WO2017119088A1 - ロボットシステムおよび制御方法 - Google Patents

ロボットシステムおよび制御方法 Download PDF

Info

Publication number
WO2017119088A1
WO2017119088A1 PCT/JP2016/050278 JP2016050278W WO2017119088A1 WO 2017119088 A1 WO2017119088 A1 WO 2017119088A1 JP 2016050278 W JP2016050278 W JP 2016050278W WO 2017119088 A1 WO2017119088 A1 WO 2017119088A1
Authority
WO
WIPO (PCT)
Prior art keywords
shape
basic
unit
operation method
basic shape
Prior art date
Application number
PCT/JP2016/050278
Other languages
English (en)
French (fr)
Inventor
敬介 藤本
宣隆 木村
高斉 松本
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2016/050278 priority Critical patent/WO2017119088A1/ja
Priority to US15/758,540 priority patent/US10688665B2/en
Priority to CN201680045142.7A priority patent/CN107848117B/zh
Priority to JP2017559981A priority patent/JP6582061B2/ja
Publication of WO2017119088A1 publication Critical patent/WO2017119088A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36404Adapt teached position as function of deviation 3-D, 2-D position workpiece
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39534By positioning fingers, dimension of object can be measured
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40564Recognize shape, contour of object, extract position and orientation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/02Arm motion controller
    • Y10S901/09Closed loop, sensor feedback controls arm movement
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Definitions

  • the present invention relates to a system and a control method for operating an article by a robot.
  • a method using a device that measures the shape of the surrounding environment such as a stereo camera or a 3D sensor.
  • the shape measuring device it is possible to measure the distance to a surrounding entity, measure the three-dimensional shape of the entity, and recognize the shape, position, and orientation of the target article.
  • a shape measuring device there is an operation method disclosed in Patent Document 1. In this operation method, the target article is detected from the shape of the surrounding environment obtained by measurement, and the posture of each detected article is recognized. By performing the gripping operation in accordance with the recognized posture, it is possible to grip the article flexibly even if the posture of each article is different.
  • Patent Document 2 or Patent Document 3 discloses a method that enables gripping by storing a gripping method for each posture of the target article and selecting the gripping method based on the actual posture of the target article. ing.
  • the operator registers in advance information on the operation method of the article, such as the shape of the target article and the gripping position of the article, which is required when operating the robot in accordance with the target article obtained by measurement. It is necessary to keep it.
  • One aspect of the present invention is a mechanism unit that operates an article to be operated, a shape measurement unit that measures the shape of an object, a basic operation storage unit that stores basic operations representing operations of a basic mechanism unit, and a shape Based on the shape of the object measured by the measurement unit, an operation method calculation unit that calculates the operation method by modifying the stored basic motion, and controls the mechanism unit based on the operation method calculated by the operation method calculation unit And a control unit.
  • the robot system further includes a basic shape storage unit that stores at least one basic shape having a predetermined shape and an operation method by the mechanism unit for the basic shape in pairs. , For the shape measured by the shape measurement unit, select at least one of the basic shapes stored in the basic shape storage unit and associate it as a selected basic shape, a selected basic shape, and a selection A basic shape deforming unit that deforms a selection operation method, which is an operation method paired with the basic shape, in accordance with the measured shape; At this time, the operation method calculation unit includes a basic operation deformation unit that deforms the basic operation based on the selected basic shape and the selection operation method after the deformation of the basic shape deformation unit, and is deformed by the basic operation deformation unit. The operation method is calculated based on the basic operation after the deformation.
  • Another aspect of the present invention is a control method for controlling a mechanism unit by an information processing apparatus including a processing device, a storage device, an input device, and an output device.
  • the storage unit stores at least one or more of a basic shape indicating a predetermined shape and an operation method by the mechanism unit for the basic shape.
  • the processing device selects one basic shape from the stored basic shapes and associates it with the measurement shape input from the input device. Further, the processing device transforms the associated basic shape and the operation method paired with the associated basic shape according to the measurement shape. Furthermore, the processing device calculates the operation method of the mechanism unit based on the deformed basic shape and the operation method, and executes the operation of the mechanism unit based on the operation method.
  • the storage unit stores a basic operation representing the basic operation of the mechanism unit
  • the processing device is compatible with the modified operation method when calculating the operation method of the mechanism unit.
  • the basic operation is modified so that the operation method is calculated from the modified basic operation.
  • Still another aspect of the present invention provides a mechanism unit for operating an article to be operated, a basic shape showing a predetermined shape, a basic shape setting unit for setting an operation method for the basic shape by the mechanism unit, and a basic shape setting unit A shape from the basic shapes stored in the basic shape storage unit, a shape measurement unit that measures at least one of the basic shapes stored in the basic shape storage unit A basic shape associating unit that associates a shape close to the shape measured by the measuring unit, a basic shape deforming unit that deforms the basic shape and the operation method according to the measured shape, and a deformed shape deformed by the basic shape deforming unit And an operation method calculation unit that calculates an operation method of the mechanism unit based on the operation method, and a control unit that executes an operation based on the operation method calculated by the operation method calculation unit. It is the robot system.
  • Process flow diagram of one embodiment of the present invention 1 is an overall perspective view of a manipulation system according to an embodiment of the present invention. Illustration of operation by basic shape setting unit Front view of basic shape setting screen Explanatory drawing of operation of basic shape synthesis unit Perspective view of shape measuring unit Conceptual diagram of the operation target extraction process Front view of the basic shape mapping interface Conceptual diagram of basic shape deformation processing by local shape transformation Configuration block diagram of operation method calculator Perspective view of basic motion deformation process Perspective view of basic motion synthesis processing Perspective view of suction manipulator Conceptual diagram of basic shape deformation processing for suction manipulators Conceptual diagram of automatic basic shape matching process Conceptual diagram of basic shape deformation processing by linear transformation Conceptual diagram of operation method deformation processing based on the center of gravity position
  • notations such as “first”, “second”, and “third” are attached to identify the constituent elements, and do not necessarily limit the number or order.
  • a number for identifying a component is used for each context, and a number used in one context does not necessarily indicate the same configuration in another context. Further, it does not preclude that a component identified by a certain number also functions as a component identified by another number.
  • FIG. 1 is a detailed configuration diagram of the robot system of the present embodiment, and shows functional blocks constituting the embodiment and information (data) to be processed.
  • a manipulator for holding a target article is mounted on the robot, taking a manipulator robot as an example, and a system for holding an arbitrary target article using a finger mechanism on the manipulator will be described.
  • the shape measuring unit 100 measures and outputs measurement data 101 indicating the shape of the object to be grasped.
  • a point cloud is handled as an example of the measurement data 101, but it is not limited to a point cloud as long as it is data indicating a shape.
  • the basic shape setting unit 102 sets a basic shape prepared in advance by the operator and an operation method indicating how the mechanism unit 115 performs an operation on the basic shape, and stores the basic shape in the basic shape storage unit 103.
  • an arbitrary shape and operation method are created by deforming a predetermined basic shape and operation method according to measurement data, and a basic shape before deformation is used as a basic shape.
  • Examples of basic shapes include cubes, cylinders, and spheres. Further, if the rough shape of the article to be handled is known, a shape close to the shape of the article may be used as the basic shape.
  • the basic shape may be any type as long as it is a shape before deformation, and is not limited to the above example. Assume that a plurality of basic shapes 104 and operation methods 105 set by the shape setting unit 102 are stored in the basic shape storage unit 103 as a pair.
  • the basic shape associating unit 106 selects and selects the closest to the measurement data 101 from the basic shapes 104 stored in the basic shape storage unit.
  • the operation method 105 stored as a pair with the basic shape 104 is selected.
  • the selected basic shape is a selected basic shape 107, and the selected operation method is a selection operation method.
  • the selection may be automatically performed by software by the system, or may be manually selected by an operator visually, or a combination of automatic and manual may be used.
  • the basic shape deforming unit 109 deforms the shape so that the shape of the selected basic shape 108 geometrically matches the measurement data 101, and performs the same deformation in the selection operation method 108.
  • the selected basic shape 107 after deformation is referred to as a basic shape 110 after deformation
  • the selection operation method 108 after deformation is referred to as an operation method 111 after deformation.
  • the operation method calculation unit 112 determines the operation method 113 of the mechanism unit 115 according to the post-deformation operation method 111 and the operation range of the mechanism unit 115. Data such as the operation range of the mechanism unit is stored as a constraint in a storage device accessible by the system. Finally, the control unit 114 controls the mechanism unit 115 based on the operation method 113.
  • the system shown in FIG. 1 that controls the operation amount of an actuator or the like constituting the mechanism unit 115 is a general information processing apparatus (hereinafter, typical) including a processing device, a storage device, an input device, and an output device.
  • a server will be described as an example.
  • Functions such as the basic shape setting unit 102, the basic shape association unit 106, the basic information transformation unit 109, the operation method calculation unit 112, the control unit 114, and the like are executed by the processing device executing a program stored in the storage device. It is assumed that the predetermined processing is performed in cooperation with other hardware.
  • a program executed by a server or means for realizing a server function may be referred to as “function”, “means”, “unit”, “module”, or the like.
  • Measurement data 101, basic shape 104, operation method 105, selected basic shape 107, selection operation method 108, post-deformation basic shape 110, post-deformation operation method 111, operation method 113, etc. are stored in a storage device such as a semiconductor memory or a hard disk. Stored temporarily or permanently.
  • the shape measuring unit 100 is configured to input measurement data 101 from a server input device (input interface) to a storage device or a processing device via a wired or wireless path.
  • the mechanism unit 115 includes a manipulator described later, and is mechanically driven by the control unit 114 being controlled via an output device (output interface) of the server.
  • the server can include a display device such as a monitor and an input device such as a keyboard and a mouse.
  • the above system configuration may be configured by a single server, or any part of the input device, the output device, the processing device, and the storage device may be configured by another server connected via a network. .
  • functions equivalent to those configured by software can also be realized by hardware such as FPGA (Field Programmable Gate Array) and ASIC (Application Specific Integrated Circuit).
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • FIG. 2 is a flowchart showing an outline of the processing flow of the system of this embodiment shown in FIG.
  • a set of the basic shape 104 and the operation method 105 is set and stored in advance (S2000). This will be described in detail later with reference to FIGS.
  • measurement data 101 of the target article is acquired (S2001). This will be described in detail later with reference to FIGS.
  • the measurement data 101 and the basic shape 104 are associated with each other, and a combination of a basic shape and an operation method having a shape close to the measurement data 101 is selected (S2002).
  • the selection may be performed automatically by the system or by the operator. This will be described in detail later with reference to FIG.
  • the shape measuring unit 100 measures and outputs measurement data 101 indicating the surrounding shape using an optical measuring device or the like.
  • the grip target measurement data setting unit 200 may output the measurement data 101 as it is, or the grip target measurement data setting unit 200 may be omitted.
  • the basic shape setting unit 102 sets a basic shape prepared in advance by the operator and an operation method indicating how the mechanism unit 115 performs an operation on the basic shape, and stores the basic shape in the basic shape storage unit 103.
  • a plurality of operation methods may be set for a predetermined basic shape.
  • the basic shape 104 and the operation method 105 can be prepared as data files in advance and stored in the basic shape storage unit 103 via the input interface of the server.
  • direct input can be performed from a keyboard or the like which is an input device of the server.
  • information necessary for a monitor that is an output device of the server may be displayed as will be described later with reference to FIGS.
  • an arbitrary shape and operation method are created by deforming a predetermined basic shape and operation method according to measurement data, and a basic shape before deformation is used as a basic shape.
  • Examples of basic shapes include cubes, cylinders, and spheres.
  • a shape close to the shape of the article may be used as the basic shape.
  • the basic shape may be any type as long as it is a shape before deformation, and is not limited to the above example.
  • a plurality of basic shapes 104 and operation methods 105 set by the basic shape setting unit 102 are stored in the basic shape storage unit 103 as a pair.
  • the basic shape synthesis unit 201 synthesizes two or more types of basic shapes 104 and operation method 105 pairs, creates a new basic shape 104 and operation method 105 pair, and stores them in the basic shape storage unit 103.
  • the basic shape associating unit 106 selects a basic shape 104 stored in the basic shape storage unit 103 and has a predetermined relationship with the measurement data 101.
  • the operation method 105 that has been selected and stored in a pair with the selected basic shape 104 is selected.
  • the selected basic shape is a selected basic shape 107, and the selected operation method is a selection operation method.
  • the basic shape associating unit 106 automatically selects a plurality of basic shapes having the smallest geometric difference from the shape measured by the shape measuring unit. Can be configured.
  • the basic shape associating unit 106 may select a plurality of items that are approximate to the measurement data, and allow the operator to select them. Alternatively, when the number of basic shapes is limited, the basic shape association unit 106 may list all the basic shapes 104 and allow the operator to select similar shapes.
  • the basic shape deforming unit 109 deforms the shape so that the shape of the selected basic shape 107 geometrically matches the measurement data 101 to be grasped, and similarly performs the deformation in the selection operation method 108.
  • the selected basic shape 107 after deformation is referred to as a basic shape 110 after deformation
  • the selection operation method 108 after deformation is referred to as an operation method 111 after deformation.
  • the post-deformation selection operation method 108 and the post-deformation operation method 111 may be added to the basic shape storage unit 103 as a pair. If the selection operation method 108 after deformation and the operation method 111 after deformation are configured as additional data, the additional data can be used as it is for the same gripping target.
  • the operation method calculation unit 112 determines the operation method 113 of the mechanism unit 115 according to the post-deformation operation method 111 and the operation range of the mechanism unit 115.
  • the post-deformation operation method 111 also includes multiple types.
  • the operator may select any one.
  • the operation method calculation unit 112 may select the operation method 113 or the like closest to the current posture of the mechanism unit 115 by software control.
  • the motion method calculation unit 112 determines the motion method 113 by causing the basic motion deformation unit 204 to deform the basic motion 203 stored in the motion storage unit 202 based on the deformed basic shape 110 and the post-deformation operation method 111. .
  • the basic motion synthesis unit 205 creates a new basic motion by combining two or more types of basic motions and stores the new basic motion in the basic motion storage unit 202.
  • the control unit 114 controls the mechanism unit 115 based on the operation method 113.
  • FIG. 1 includes a gripping target measurement data setting unit 200 and a basic shape synthesis unit 201
  • the measurement data 101 can measure the shape of the gripping target, and the basic shape synthesis unit 201 does not add a shape. If the shape of the object to be grasped can be expressed by deformation of the basic shape stored in the shape storage unit 103, the operation is possible even if it is omitted.
  • the basic shape storage unit 103 and the basic operation storage unit 202 are preferably composed of, for example, a nonvolatile semiconductor device or a hard disk.
  • the basic motion storage unit 202 is built in the motion method calculation unit 112, but it goes without saying that it may be external to the motion method calculation unit 112.
  • the basic shape storage unit 103 and the basic operation storage unit 202 can be configured as separate data files of the same hard disk device.
  • the robot system need only be able to access these data files and does not necessarily have to be built in.
  • the data file may be in an external server that can be accessed by the robot system via a network.
  • the gripping target measurement data setting unit 200, the basic shape synthesis unit 201, the basic motion deformation unit 204, the basic motion synthesis unit 205, and the like perform a predetermined process by executing a program stored in the storage device by the processing device. It shall be performed in cooperation with other hardware.
  • FIG. 3 shows an overall view of a manipulator system that is one embodiment of the present invention.
  • the shape measuring unit 100 measures the article 300 in the environment, and the mechanism unit 115 holds the article 300.
  • the mechanism unit 115 has a plurality of finger mechanisms.
  • the mechanism 115 is not limited to a manipulator that grips and holds an article, but may be an adsorption manipulator that adsorbs an article. In addition, it is not limited to gripping / sucking an article, and any part of a target object may be operated by a predetermined method. It is good also as operation
  • the mechanism unit 115 can be mounted on the carriage 301 and configured to be movable, for example.
  • a server that realizes each unit illustrated in FIG. 1 can be built in the carriage 301 and moved together with the mechanism unit 115.
  • the server 3000 can be placed in a remote place as a separate body from the carriage 301.
  • an input device 3001, an output device 3002, a processing device 3003, a storage device 3004, and the like are connected by a bus 3005 to realize the configuration illustrated in FIG.
  • the control unit 114 of the server 3000 may operate the mechanism unit 115 wirelessly or by wire using the interface 3006.
  • the shape measuring unit 100 can also be connected to the server interface 3006 wirelessly or by wire.
  • FIG. 4 shows an example of an operation controlled by the basic shape setting unit 102 for setting a predetermined basic shape input procedure and an operation method for the basic shape.
  • a basic shape 400 is created using existing CAD software or the like.
  • CAD software is stored in the storage device 3004 of the server and executed by the processing device 3003.
  • Creation and input of the basic shape 400 can be performed by a user operating a server output device 3002 such as a monitor and a server input device 3001 such as a keyboard, mouse, and tablet.
  • the data of the created basic shape 400 can be stored in a storage device 3004 such as a hard disk.
  • an arbitrary shape and operation method are created by deforming a predetermined basic shape and operation method according to measurement data, and a basic shape before deformation is used as a basic shape.
  • Examples of basic shapes include cubes, cylinders, and spheres. Further, if the rough shape of the article to be handled is known, a shape close to the shape of the article may be used as the basic shape.
  • the basic shape may be any type as long as it is a shape before deformation, and is not limited to the above example.
  • the basic shape 400 may be in any format as long as it indicates a shape.
  • a basic shape 400 is input by a basic shape input unit (for example, an input interface for data from outside the server 3000 and a part of the input device 3001) 401, and an operation method display unit (for example, a monitor and a part of the output device 3002). ) 404.
  • the operator sets the operation method 403 by the operation method instruction unit (for example, a keyboard or a mouse, and part of the input device 3001) 402 while viewing the basic shape 400 displayed on the operation method display unit 404.
  • a plurality of types of operation methods may be set for a predetermined basic shape.
  • a position to which a finger mechanism is attached when gripping is set.
  • the operation method is not limited to the setting of the position where the finger mechanism is attached. For example, if it is the operation
  • the input basic shape 400 and the set operation method 403 are paired and stored in the basic shape storage unit 103. By performing this multiple times, a plurality of types of combinations of the basic shape 104 and the operation method 105 are stored in the basic shape storage unit.
  • the combination of the basic shape and the operation method is not limited to one-to-one, but may be one-to-many.
  • a set of the basic shape 104 and the operation method 105 can be prepared in the basic shape storage unit 103.
  • the basic shape setting unit 102 in FIG. 1 (or a part other than the basic shape storage unit 103 in FIG. 4) is configured separately from the robot system, and is connected to the robot system only at the time of shipment or maintenance of the robot system.
  • the basic shape storage unit 103 can also be configured to store data.
  • FIG. 5 shows an example of the interface of the basic shape setting screen controlled by the basic shape setting unit 102.
  • the gripping position of the article is set as the operation method.
  • the operation method display unit for example, the monitor
  • the operation method being set the gripping position in this example
  • the operator operates the pointer 500 using an operation method instruction unit (for example, a keyboard) 402 and instructs the gripping position 403 from the displayed basic shape 400.
  • the gripping position 403 instructed with respect to the displayed basic shape 400 is registered and reflected on the operation method display unit 404 as the operation method 105.
  • the operation method 105 is defined, and a plurality of types of combinations of the basic shape 104 and the operation method 105 are stored.
  • Interface control including keyboard control and monitor display is performed by the processing device executing software of the basic shape setting unit 102 stored in the storage device.
  • FIG. 6 shows details of an example of processing of the basic shape synthesis unit 201 that creates a new basic shape and operation method by synthesizing a plurality of basic shapes and operation methods set by the basic shape setting unit 102.
  • the basic shape storage unit 103 stores a plurality of basic shapes 104 and operation methods 105 in pairs. First, two or more predetermined basic shapes and operation methods are taken out from these. Here, it is assumed that a pair of basic shape A600 and operation method A601 and a pair of basic shape B602 and operation method B603 are taken out.
  • the extracted basic shape A 600 and basic shape B 602 are combined by the shape combining processing unit 604.
  • the shape can be synthesized by adding and subtracting by expressing the shape with an implicit function or a CSG (Constructive / Solid / Geometry) model. It is also possible to instruct the composition position and method from the interface. Note that the method is not limited to the above as long as the shape can be synthesized.
  • the above synthesis processing is performed by the processing device 3003 executing the software of the shape synthesis processing unit 604 stored in the storage device 3004.
  • the shape synthesis processing unit 604 outputs the synthesized shape as a basic shape C605.
  • Operation method display unit 404 displays basic shape C605, and operation method instruction unit 402 sets operation method 607.
  • the setting method by the operation method instruction unit 402 and the display method of the operation method display unit 404 are the same as the methods shown in FIGS. 4 and 5, and the operation method may be set to the shape displayed on the screen.
  • the operation method C607 may be a copy of the operation method A601 or the operation method B603.
  • the basic shape synthesizing unit 201 can also be configured separately from the robot system main body, like the basic shape setting unit 102.
  • FIG. 7 shows a state in which the shape measuring unit 100 measures the surrounding article 300.
  • the shape measuring unit 100 can measure the distance to an entity in the irradiation direction by irradiating the laser in the direction of the article (measurement target or gripping target) 300 and measuring the time until the laser reflects and returns.
  • the shape measuring unit 100 can measure the shape of the entire surroundings by repeating the irradiation process in all directions. As a measurement result, one point on the surface of the surrounding object can be measured for each irradiation of the laser. By repeating this, the surrounding shape can be measured as a point cloud.
  • Measurement data 101 is obtained as a measurement result of the article 300.
  • the shape measuring device is not limited to one using a laser as long as it can measure the shape, and a method using stereo vision, a method using ultrasonic waves, or the like may be used.
  • FIG. 8 shows an operation target extraction process in which the gripping target measurement data setting unit 200 extracts only partial measurement data related to the gripping target from the measurement data 101 measured by the shape measuring unit 100.
  • the shape measurement unit 100 measures the entire shape of the surroundings, the shape of the surrounding environment and a plurality of gripping target objects are reflected in the measurement data 101. Therefore, it is necessary to extract only the shape of the object to be grasped from among them. If the shape of the object to be grasped is already known, the shape stored in advance and the measured point cloud are geometrically matched, and the point cloud to be grasped is determined by using the closest match. Can be cut out.
  • Measurement data 800, measurement data 801, and measurement data 802 can be divided.
  • the point group on the extracted surface may be removed. Even when it is not a flat surface, it is possible to extract only the placed object by recording the shape of the environment in a state where there is no object around it and taking the difference from the shape. Furthermore, when the gripping target is not determined in advance, the operator can determine the target article by selecting the gripping target article from the measurement data 800, the measurement data 801, and the measurement data 802. Hereinafter, the gripping target article will be described as measurement data 800.
  • the gripping target article is not limited to the measurement data 800. When the measurement data 101 measures only the gripping target article, the measurement data 101 may be directly handled in the subsequent processing.
  • the above processing is performed by the processing device 3003 executing the software of the gripping target measurement data setting unit 200 stored in the storage device 3004.
  • the image shown in FIG. 8 may be presented to the operator so that the operator can select and specify the part of the article to be gripped. it can.
  • FIG. 9 shows a processing example of the basic shape associating unit 106 that determines the basic shape and the operation method corresponding to the measurement data 800 of the gripping target measured by the shape measuring unit 100 and extracted by the gripping target measurement data setting unit 200. .
  • the measurement data 800 to be grasped and the basic shape storage unit 103 are stored.
  • the basic shape and operation method pairs 901, 902, 903, and 904 are displayed.
  • the operator instructs shape data to be grasped from the displayed measurement data.
  • the measurement data 800 is a gripping target.
  • the operator selects the pair closest to the measurement data 800 from the pair of basic shape and operation method.
  • the pair 901 of the basic shape and the operation method is the closest.
  • the basic shape association unit 106 can also automatically select.
  • an algorithm in this case an algorithm similar to the operation of the shape deforming unit 109 described below can be used. For example, first, a basic figure is transformed into a mesh shape. Then, the basic shape of the mesh shape is associated with the measurement data, and the surface on the measurement data closest to the point on the mesh is set as the corresponding coordinate. In addition, the selection can be made based on the distance between the points on the mesh and the coordinates on the measurement data. As a simple example, a basic shape having the smallest average distance is selected.
  • the above processing is performed by the processing device 3003 executing the software of the basic shape association unit 106 stored in the storage device 3004 and controlling the input device 3001 and the output device 3002.
  • FIG. 10 shows basic shape deformation processing in which the shape deforming unit 109 deforms by locally converting the basic shape and the operation method in accordance with the measured measurement data.
  • a pair of the basic shape 1000 and the operation method 1001 and the measurement data 800 are input.
  • the basic shape 1000 is divided into a plurality of parts with a mesh to obtain a mesh shape 1002.
  • the surface of the shape may be divided equally and the points may be connected using Delaunay division or the like.
  • the mesh shape 1002 and the measurement data 800 are associated with each other, and a coordinate conversion 1004 from each point on the mesh to the corresponding coordinate is obtained.
  • the surface on the measurement data closest to the point on the mesh is set as the corresponding coordinate.
  • the rotation / translation amount may be calculated as preprocessing.
  • the rotation / translation calculation can be performed by an existing method such as an ICP (Iterative Closest Point) algorithm.
  • the post-deformation operation method 1006 is obtained from the deformation destination position of the mesh corresponding to the gripping position.
  • the basic shape deforming unit 109 simulates in advance whether or not a correct operation can be performed when an operation is performed on the article to be grasped using the operation method after deformation. It may be output.
  • the finger mechanism applies a force with a predetermined strength to the gripped position after deformation, it is calculated by simulation whether the grip can be stably gripped without dropping. If it is not stable, a gripping position that can be gripped stably may be calculated by searching. This search process can be obtained by optimizing the operation position by a convergence calculation such as a gradient method using the degree of stability as an evaluation value.
  • the above processing is performed by the processing device 3003 executing the software of the shape deforming unit 109 stored in the storage device 3004.
  • FIG. 11 is a block diagram of the operation method calculation unit 112 including data to be processed.
  • the operation method calculation unit 112 calculates an operation method 113 for operating the mechanism unit 115 according to the post-deformation basic shape 110 and the post-deformation operation method 111 calculated by the basic shape deformation unit 119.
  • a basic operation 1100 indicates a basic operation for the mechanism unit 115 to achieve a target operation.
  • the basic operation 1100 is an opening or closing operation for each finger mechanism.
  • the basic operation of bending and stretching is defined for each finger mechanism.
  • the basic operation 1100 defined in advance is input to the basic operation setting unit 1101 and stored in the basic operation storage unit 202.
  • the basic operation is stored for each mechanism, and the basic operation storage unit 202 stores a plurality of basic operations 203.
  • the basic operation 1100 is defined for each finger mechanism, the basic operations for the number of finger mechanisms are stored.
  • the basic motion deformation unit 204 deforms the basic motion based on the basic motion 203, the post-deformation basic shape 110, and the post-deformation operation method 111.
  • the closing degree of the finger mechanism is adjusted so that the position of the finger mechanism after the operation matches the gripping position of the finger mechanism instructed by the post-deformation operation method. Whether the finger mechanisms match can be calculated from the distance between the position obtained from the finger mechanism and the instructed gripping position of the finger mechanism. This is performed for all finger mechanisms, and the operation method can be determined for each finger mechanism. Note that this operation deformation process is not limited to the gripping operation.
  • the operation method calculation unit 112 may select a deformation result of the basic operation that is closest to the current posture of the mechanism unit 115 and set it as the operation method 113.
  • FIG. 12 shows an example of the basic motion deformation process in which the basic motion deformation unit 204 creates the motion method 113 that can deform the basic motion 203 and grip the target article.
  • the basic operation 1200, 1201, 1202 of each finger mechanism of the mechanism unit 115 is deformed according to the post-deformation operation position 1204 on the post-deformation basic shape 1203, thereby enabling a gripping operation.
  • the basic operation 1205 (dotted arrow) before the deformation is transformed into a post-deformation operation 1206 (solid arrow).
  • the amount of deformation at this time can be obtained by calculating the bending degree of the mechanism unit so that the gripping position (post-deformation operation position 1204) is closest to the trajectory of the finger mechanism defined in the basic operation 1200.
  • the basic operation 1201 is changed from the basic operation 1207 before the deformation to the post-deformation operation 1208.
  • the basic operation 1202 is the same.
  • FIG. 13 shows a process for synthesizing the basic action 203 by the basic action synthesis unit 205.
  • various types of operations can be performed.
  • synthesis processing processing for selecting one of two or more types of operations and processing for adding quantity operations are shown.
  • a basic operation 1303 and a basic operation 1304 are combined with the finger mechanism 1302 mounted on the mechanism unit 115.
  • a basic operation 1303 is selected to obtain a post-synthesis operation 1311.
  • a synthesis process for the finger mechanism 1305 will be described.
  • the basic operation 1306 and the basic operation 1307 are stored, by selecting the basic operation 1307, the post-synthesis operation 1312 can be performed.
  • the combined motion 1311 is obtained by adding these motion directions. It should be noted that which combination processing is performed for which set of basic operations is not limited to the above.
  • the control unit 114 grips the target article by controlling a mechanism such as a motor mounted on the mechanism unit 115.
  • a mechanism such as a motor mounted on the mechanism unit 115.
  • PRM Proba- bilistic Roadmap Method
  • RRT Rapidly-exploring Random Trees
  • PID Proportional- Control using Integral-Derivative
  • the surrounding measurement data measured by the shape measuring unit 100 can be used to pass through a gap between objects so that the mechanism unit 115 does not hit the surroundings when moving. By calculating the trajectory in this way, it is possible to operate even in a complicated environment.
  • the basic motion deformation unit 204 may deform the motion in consideration of surrounding measurement data measured by the shape measurement unit 100.
  • FIG. 14 shows an example in which a suction manipulator 1400 is mounted on the tip of the mechanism unit 115.
  • the suction manipulator touches and sucks a predetermined object at its tip, and grips the article.
  • an embodiment for holding various kinds of articles using an adsorption manipulator will be described.
  • FIG. 15 shows the basic shape deformation process for the suction manipulator.
  • the basic shape and the operation method 1500 are stored in the basic shape storage unit 103.
  • the basic shape and operation method 1500 can be set by the processing described in FIGS.
  • the operation method 1502 is paired with respect to the basic shape 1501, and similarly, the operation method 1504 is stored in the basic shape 1503 and the operation method 1506 is stored in the basic shape 1505 as a pair.
  • the operation method the number of suctions and the suction positions for each are set.
  • the suction manipulator can handle articles of various sizes by changing the number of suction mechanisms used.
  • the basic shape closest to this is selected. This selection is performed by the basic shape association unit 106 described above. In the example of FIG. 15, it is assumed that the basic shape 1501 is closest.
  • a deformed basic shape 1508 and a post-deformation operation method 1509 are obtained.
  • the basic shape and the operation method are deformed by the basic shape deforming unit 109 described above. Thereby, since the suction position of the target article can be determined, gripping can be realized by operating the suction manipulator based on the position and sucking the determined suction position 1509.
  • the basic shape association unit 106 automates the processing when selecting the basic shape and operation method corresponding to the measurement data.
  • the basic shape associating process shown in FIG. 9 it is necessary for the operator to instruct the basic shape and the operation method corresponding to the measurement data every time the gripping operation is performed.
  • the gripping operation can be performed without performing the instruction work for the basic shape and operation method pair corresponding to the measurement data.
  • FIG. 16 shows a processing procedure for automating the processing when the basic shape associating unit 106 selects a pair of a basic shape and an operation method corresponding to the measurement data.
  • the shape closest to the measurement data 1600 is calculated from the basic shapes 1601, 1602, 1603, and 1604.
  • the difference between the basic shape and the measurement data In order to calculate the difference between the basic shape and the measurement data, basic shape deformation processing by the basic shape deformation unit 109 is executed for each basic shape, and the changed shapes 1605, 1506, 1607, 1608 and the measurement data
  • the shape with the smallest difference may be calculated using the difference from 1600.
  • the difference can be calculated by using the sum of the distances from each point of the measurement data to the surface of the closest deformed basic shape.
  • the method is not limited to the above method as long as it is a method for calculating a difference between shapes.
  • the difference between the changed shape 1605 and the measurement data 1600 is the smallest, and the basic shape 1601 is selected.
  • the basic shape association unit 106 stores a pair of the basic shape and operation method corresponding to the measurement target article in advance, and stores the stored basic shape and operation method. These pairs may be associated with each other.
  • FIG. 17 shows another example of processing of the basic shape deforming unit 109.
  • FIG. 17 shows basic shape deformation processing when the basic shape deforming unit 109 performs deformation by linearly converting the basic shape and the operation method according to the measured measurement data 1700.
  • a pair of a basic shape 1701 and an operation method 1702 and measurement data 1700 are input.
  • the basic shape 1701 is compared with the measurement data 1700, geometric matching is performed, and the best matching conversion amount is obtained.
  • the amount of conversion is determined by searching for a value that most closely matches the shape with rotation, translation, and enlargement ratio for each axis. As a specific method, it can be obtained by matching by full search, gradient method or ICP algorithm.
  • the determination of whether or not they match can be calculated by counting how many points on the surface of the deformed basic shape 1704 out of the points on the measurement data 1700.
  • FIG. 18 shows another example of processing of the basic shape deforming unit 109.
  • FIG. 18 shows a process of deforming the operation method based on the barycentric position of the measurement data when the basic shape deforming unit 109 deforms the operation method.
  • the operation method is also changed in the same manner as the degree of deformation of the basic shape.
  • the basic shape 1800 shown in FIG. 18 is transformed into the changed basic shape 1806 using this method, the relative distance 1805 from the center of gravity position 1801 is reduced, and the three gripping positions are aligned. As a result, there is a problem that the operation becomes unstable.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

少数の事前登録のみで多種の物品を扱うことができ、さらに事前登録した物品と近い形状であれば未知の物品を扱うことも可能となるロボットシステムを提供する。 操作対象の物品を操作する機構部と、物体の形状を計測する形状計測部と、基本となる機構部の動作を表す基本動作を記憶する基本動作記憶部と、形状計測部で計測された物体の形状に基づき、記憶された基本動作を変形して動作方法を算出する動作方法算出部と、動作方法算出部が算出した動作方法に基づき、機構部の制御を実行する制御部と、を備えることを特徴としたロボットシステムが開示される。

Description

ロボットシステムおよび制御方法
 本発明は、ロボットが物品を操作するためのシステムおよび制御方法に関する。
 倉庫や工場において、ロボットを用いた物品の操作(物品の把持、取り付けや溶接など)は、ロボットに対して動作手順を事前にティーチングする事で実現できる。ティーチングとは、オペレータがコントローラ等を用いて、対象物品を操作するための全ての動作手順を、ロボットに記憶させる作業である。しかしながら、ティーチングによってロボットを動作させるためには、操作対象の形状や姿勢などの状態が、ティーチング時と同じであるという前提が必要であった。
 これに対し、ステレオカメラや3Dセンサなどの周囲環境の形状を計測する装置を利用する方式がある。形状計測装置を用いることで、周囲の存在物までの距離を測り、存在物の3次元的な形状を計測でき、対象物品の形状や位置姿勢を認識できる。環境を認識し、状況に合わせてロボットを動作させることで、環境の状況がある程度変化した場合においても対象物品を操作することが可能となった。形状の計測装置を利用する例として、特許文献1に開示されている動作方法がある。この動作方法では、計測して得た周囲環境の形状の中から対象物品を検出し、検出した各物品の姿勢を認識する。認識した姿勢に合わせて把持動作を行う事により、それぞれの物品の姿勢が異なっていても、柔軟に把持する事が可能となる。
特開2011-224695号公報 特開2014-161965号公報 WO2006/006624号公報
 特許文献2または特許文献3には、対象物品の姿勢毎にそれぞれ把持方法を記憶しておき、対象物品の実際の姿勢に基づき把持方法を選択する事で、把持を可能とする方法が開示されている。これらの方法では、計測して得た対象物品に合わせてロボットを動作させる際に必要となる、対象物品の形状と該物品の把持位置などの物品の操作方法に関する情報を、事前にオペレータが登録しておく必要がある。しかしながら、複数種類の物品を一つのシステムで扱うためには、形状の異なる物品毎に、それぞれ形状や操作方法の情報を登録する作業が必要であった。
 本願において開示される代表的な例は以下の通りである。
 本発明の一側面は、操作対象の物品を操作する機構部と、物体の形状を計測する形状計測部と、基本となる機構部の動作を表す基本動作を記憶する基本動作記憶部と、形状計測部で計測された物体の形状に基づき、記憶された基本動作を変形して動作方法を算出する動作方法算出部と、動作方法算出部が算出した動作方法に基づき、機構部の制御を実行する制御部と、を備えることを特徴としたロボットシステムである。
 さらに具体的な構成を例示すると、このロボットシステムは、さらに、所定の形状を示す基本形状、および、基本形状に対する機構部による操作方法を対にして、少なくとも1つ以上記憶する基本形状記憶部と、形状計測部が計測した形状に対して、基本形状記憶部に記憶した基本形状の中からすくなくとも1つを選択し、選択基本形状として対応付ける基本形状対応付け部と、選択基本形状、および、選択基本形状と対になる操作方法である選択操作方法を、計測した形状に合わせて変形させる基本形状変形部と、を備える。このとき、動作方法算出部は、基本形状変形部が変形した、変形後の選択基本形状および選択操作方法に基づいて、基本動作を変形させる基本動作変形部を備え、基本動作変形部によって変形した変形後の基本動作に基づいて、動作方法を算出する。
 本発明の他の観点は、処理装置、記憶装置、入力装置、および出力装置を備える情報処理装置によって、機構部を制御する制御方法である。この方法では、記憶部は、所定の形状を示す基本形状、および該基本形状に対する、機構部による操作方法を対にして、少なくとも1つ以上記憶する。処理装置は、記憶した基本形状の中から1つの基本形状を選択し、入力装置から入力される計測形状と対応付ける。さらに、処理装置は、対応付けた基本形状および対応付けた基本形状と対になる操作方法を、計測形状に合わせて変形する。さらに、処理装置は、変形後の基本形状および操作方法に基づき、機構部の動作方法を算出し、動作方法に基づき機構部の動作を実行する。
 さらに具体的な例では、記憶部は、基本となる単純な機構部の動作を表す基本動作を記憶し、処理装置は、機構部の動作方法を算出する際に、変形後の操作方法と適合するように基本動作を変形し、変形後の基本動作から動作方法を算出する。
 本発明のさらに他の側面は、操作対象の物品を操作する機構部と、所定の形状を示す基本形状および該基本形状に対する機構部による操作方法を設定する基本形状設定部と、基本形状設定部によって設定した基本形状と操作方法とを対にして、少なくとも1つ以上記憶する基本形状記憶部と、周囲の形状を計測する形状計測部と、基本形状記憶部に記憶した基本形状の中から形状計測部が計測した形状と近いものを対応付ける基本形状対応付け部と、基本形状および前記操作方法を前記計測形状に合わせて変形させる基本形状変形部と、基本形状変形部が変形した変形後の形状および操作方法に基づき機構部の動作方法を算出する動作方法算出部と、動作方法算出部が算出した動作方法に基づき動作を実行する制御部と、を備える事を特徴としたロボットシステムである。
 本発明によれば、少数の事前登録のみで多種の物品を扱うことができ、さらに事前登録した物品と近い形状であれば未知の物品を扱うことも可能となる。
本発明の一実施例の詳細構成ブロック図 本発明の一実施例の処理の流れ図 本発明の一実施例のマニピュレーションシステム全体斜視図 基本形状設定部による動作の説明図 基本形状設定画面の正面図 基本形状合成部の動作の説明図 形状計測部の斜視図 操作対象抽出処理の概念図 基本形状対応付けインタフェースの正面図 局所形状変換による基本形状変形処理の概念図 動作方法算出部の構成ブロック図 基本動作変形処理の斜視図 基本動作合成処理の斜視図 吸着マニピュレータの斜視図 吸着マニピュレータを対象とした基本形状変形処理の概念図 自動基本形状対応付け処理の概念図 線形変換による基本形状変形処理の概念図 重心位置に基づく操作方法変形処理の概念図
 実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
 以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。
 本明細書等における「第1」、「第2」、「第3」などの表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
 図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。
 以下、図面を用いて本発明の一実施例について説明する。最初に概略を説明し、引き続き各部を詳細に説明する。
 図1は、本実施例のロボットシステムの詳細構成図であり、実施例を構成する機能ブロックと、処理される情報(データ)を示している。本実施例ではマニピュレーションロボットを例として、ロボット上に対象物品を把持するためのマニピュレータを搭載するものとし、マニピュレータ上の指機構を用いて任意の対象物品を把持するためのシステムについて述べる。
 まず、形状計測部100は把持対象物品の形状を示す計測データ101を計測し出力する。本実施例では計測データ101の一例として点群を扱うこととするが、形状を示すデータであれば点群に限らないものとする。
 基本形状設定部102は、オペレータが予め用意した基本形状と、さらに基本形状に対して機構部115がどのように操作を行うかを示す操作方法を設定し、基本形状記憶部103に記憶させる。本実施例は、所定の基本形状および操作方法を計測データに合わせて変形することで任意の形状および操作方法を作成するものであり、変形前の基本となる単純な形状を基本形状とする。
 基本形状の例として立方体、円柱、球などが挙げられる。また、扱う物品の大まかな形状が分かっていれば、物品の形状に近いものを基本形状としても良い。基本形状は、変形前の形状であればどのような種類でも良く、前記事例に限らないものとする。形状設定部102で設定した基本形状104および操作方法105を対にして、基本形状記憶部103に複数記憶させておくものとする。
 本実施例のシステムが対象の物品を操作する際には、まず基本形状対応付け部106が、基本形状記憶部に記憶した基本形状104の中から計測データ101と最も近いものを選択し、選択した基本形状104と対にして記憶してあった操作方法105を選択する。選択した基本形状を選択基本形状107、選択した操作方法を選択操作方法108とする。選択は、システムがソフトウェアによって自動的に行ってもよいし、オペレータが目視により手動で選択してもよいし、自動と手動を組み合わせてもよい。
 さらに基本形状変形部109は、選択基本形状108の形状が、計測データ101と幾何的に一致するように形状を変形し、同様の変形を選択操作方法108にも行う。変形後の選択基本形状107を変形後基本形状110とし、変形後の選択操作方法108を変形後操作方法111とする。
 動作方法算出部112は、変形後操作方法111および機構部115の動作範囲に応じ、機構部115の動作方法113を決定する。機構部の動作範囲等のデータは、システムがアクセスできる記憶装置に制約条件として格納しておくものとする。最後に制御部114は動作方法113に基づき、機構部115を制御する。具体的には、機構部115を構成するアクチュエータ等の動作量等を制御する
 図1のシステムは、処理装置、記憶装置、入力装置、出力装置を備える一般的な情報処理装置(以下、典型的な例としてサーバを例に説明する。)を利用して構成することができる。基本形状設定部102、基本形状対応付け部106、基本情報変形部109、動作方法算出部112、制御部114等の機能は、記憶装置に格納されたプログラムが処理装置によって実行されることで、定められた処理を他のハードウェアと協働して行うものとする。本明細書では、サーバが実行するプログラム、またはサーバの機能を実現する手段を、「機能」、「手段」、「部」、「モジュール」等と呼ぶ場合がある。
 計測データ101、基本形状104、操作方法105、選択基本形状107、選択操作方法108、変形後基本形状110、変形後操作方法111、動作方法113等は、半導体メモリやハードディスクなどの記憶装置に、一時的または恒久的に記憶される。形状計測部100は、有線または無線の経路を介して、サーバの入力装置(入力インタフェース)から、記憶装置や処理装置に計測データ101を入力するように構成される。また、機構部115は後述するマニピュレータなどを備え、制御部114が、サーバの出力装置(出力インタフェース)を介して制御することにより、機械的に駆動される。このサーバは、その他、モニタ等の表示装置、キーボードやマウスなどの入力装置を備えることができる。
 以上のシステム構成は、単体のサーバで構成してもよいし、あるいは、入力装置、出力装置、処理装置、記憶装置の任意の部分が、ネットワークで接続された他のサーバで構成されてもよい。
 本実施例中、ソフトウエアで構成した機能と同等の機能は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)などのハードウエアでも実現できる。
 図2は、図1で示した本実施例のシステムの処理の流れの概略を示すフロー図である。このシステムでは、予め基本形状104と操作方法105の組の設定および記憶を行う(S2000)。これについては、後に図4と図5で詳細に説明する。
 機構部(マニピュレータ)115による対象物品の処理の際には、まず対象物品の計測データ101を取得する(S2001)。これについては、後に図7と図8で詳細に説明する。
 次に、計測データ101と基本形状104との対応づけを行い、計測データ101と近い形状を持つ基本形状と操作方法の組を選択する(S2002)。選択は、システムが自動的に行ってもよいし、オペレータが選択してもよい。これについては、後に図9で詳細に説明する。
 次に選択した選択基本形状107と選択操作方法108の組を、計測データ101に基づいて変形する(S2003)。これについては、後に図10で詳細に説明する。
 次に、変形した変形後基本形状110と変形後操作方法111に基づいて、基本動作203を変形する(S2004)。これについては、後に図11~図13で詳細に説明する。最後に、変形した基本動作により、機構部を制御して対象物品を処理する(S2005)
 図1に戻り、本実施例のシステムの構成をより詳細に説明する。まず、形状計測部100は、光学的測定装置等を用いて周囲の形状を示す計測データ101を計測し出力する。ここで、計測データ101が、把持対象以外の周囲全体の形状も同時に計測していた場合は、その中から把持対象となる部分データのみを、把持対象計測データ設定部200で抽出することとする。なお、計測データ101が把持対象のみを計測したものであった場合は、把持対象計測データ設定部200は計測データ101をそのまま出力するか、もしくは把持対象計測データ設定部200は無くともよい。
 基本形状設定部102は、オペレータが予め用意した基本形状と、さらに基本形状に対して機構部115がどのように操作を行うかを示す操作方法を設定し、基本形状記憶部103に記憶させる。ここで、所定の基本形状に対して、複数の操作方法を設定しておくこととしても良い。
 基本形状104や操作方法105は、予めデータファイルとして準備し、サーバの入力インタフェースを介して基本形状記憶部103に記憶させることができる。あるいは、サーバの入力装置であるキーボード等から、直接入力することもできる。入力を容易にするために、後に図4、図5で説明するように、サーバの出力装置であるモニタに必要な情報を表示してもよい。
 本実施例は、所定の基本形状および操作方法を計測データに合わせて変形する事で任意の形状および操作方法を作成するものであり、変形前の基本となる単純な形状を基本形状とする。基本形状の例として立方体、円柱、球などが挙げられる。また、扱う物品の大まかな形状が分かっていれば、物品の形状に近いものを基本形状としても良い。基本形状は、変形前の形状であればどのような種類でも良く、前記事例に限らないものとする。基本形状設定部102で設定した基本形状104および操作方法105を対にして、基本形状記憶部103に複数記憶させておくものとする。
 基本形状合成部201は2種類以上の基本形状104と操作方法105の対を合成し、新たな基本形状104および操作方法105の対を作成し、基本形状記憶部103に記憶させるものとする。
 本実施例のシステムが対象の物品を操作する際には、まず基本形状対応付け部106は、基本形状記憶部103に記憶した基本形状104の中から計測データ101と所定の関係にあるものを選択し、選択した基本形状104と対にして記憶してあった操作方法105を選択する。選択した基本形状を選択基本形状107、選択した操作方法を選択操作方法108とする。選択する基本形状としては、基本形状対応付け部106が、複数の基本形状の中から、形状計測部が計測した形状と幾何的な差異の大きさが最も小さいものを、自動的に選択するように構成することができる。
 または、計測データと近似しているものを、基本形状対応付け部106が複数選び、その中からオペレータに選択させてもよい。あるいは、基本形状の個数が限定されている場合には、基本形状対応付け部106が基本形状104をすべて列挙表示し、その中からオペレータに類似の形状を選択させてもよい。
 さらに基本形状変形部109は、選択基本形状107の形状が、把持対象の計測データ101と幾何的に一致するように形状を変形し、同様に変形を選択操作方法108にも行う。変形後の選択基本形状107を変形後基本形状110とし、変形後の選択操作方法108を変形後操作方法111とする。変形後の選択操作方法108と変形後操作方法111は、対にして基本形状記憶部103に追加してもよい。変形後の選択操作方法108と変形後操作方法111を追加データする構成とすれば、同じ把持対象に対しては、追加データをそのまま利用することができる。
 動作方法算出部112は、変形後操作方法111および機構部115の動作範囲に応じ、機構部115の動作方法113を決定する。ここで、もし対象となった基本形状に複数種類の操作方法が設定されていた場合、変形後操作方法111も複数種類となる。このとき、オペレータに任意の一つを選ばせてもよい。あるいは、動作方法算出部112が、ソフトウェアの制御により、現在の機構部115の姿勢と最も近い動作方法113等を選択することとしてもよい。
 動作方法算出部112は、変形後基本形状110と変形後操作方法111に基づき、動作記憶部202に記憶された基本動作203を基本動作変形部204によって変形させることで、動作方法113を決定する。
 さらに基本動作合成部205は、2種類以上の基本動作を合成させることで、新たな基本動作を作成し、基本動作記憶部202に記憶させる。最後に制御部114は動作方法113に基づき、機構部115を制御する。
 なお、図1では把持対象計測データ設定部200、基本形状合成部201を含むが、計測データ101が把持対象の形状を計測できるものであり、基本形状合成部201で形状を追加しなくとも基本形状記憶部103に記憶された基本形状の変形で把持対象の形状を表せる場合は、省略しても動作は可能である。
 図1において、基本形状記憶部103と基本動作記憶部202は、例えば不揮発性半導体装置やハードディスクで構成することが好ましい。図1の例では、基本動作記憶部202は動作方法算出部112に内蔵されているが、動作方法算出部112の外部にあってもよいことは言うまでもない。具体的な構成例としては、基本形状記憶部103と基本動作記憶部202は、同一のハードディスク装置の別々のデータファイルとして構成することができる。ロボットシステムとしては、これらのデータファイルにアクセスできればよく、必ずしも内蔵している必要はない。例えば、データファイルは、ロボットシステムがネットワーク経由でアクセス可能な、外部のサーバにあっても構わない。
 把持対象計測データ設定部200、基本形状合成部201、基本動作変形部204、基本動作合成部205等は、記憶装置に格納されたプログラムが処理装置によって実行されることで、定められた処理を他のハードウェアと協働して行うものとする。
 図3に、本発明の実施例の一つであるマニピュレータシステムの全体図を示す。形状計測部100は、環境内の物品300を計測し、機構部115が物品300を把持することとする。ここでは機構部115は複数の指機構を持つこととする。機構部115としては、物品を掴み把持するマニピュレータに限らず、物品を吸着する吸着マニピュレータでもよい。また、物品を掴む・吸着するのに限らず、対象物体の所定の部位を、所定の方法で操作するものであれば良く、物品を持ち上げるために物品の下から支える動作、物品を横からずらす動作や、飛来する対象物品を受け止める動作としても良い。
 機構部115は例えば、台車301に搭載して移動可能に構成することができる。図1で示した各部を実現するサーバは、台車301に内蔵して機構部115とともに移動することができる。あるいは、図3に示すように、サーバ3000を台車301とは別体として遠隔地におくこともできる。サーバ3000は、入力装置3001、出力装置3002、処理装置3003、記憶装置3004等がバス3005で接続され、図1で示した構成を実現する。図3の構成では、サーバ3000の制御部114が、インタフェース3006を用いて無線または有線で機構部115を操作することにしてもよい。また、形状計測部100も、無線または有線でサーバのインタフェース3006と接続することができる。
 図4に、所定の基本形状の入力手順、および基本形状に対する操作方法を設定するための、基本形状設定部102により制御される動作の例を示す。
 はじめに、既存のCADソフトウェアなどを用いて基本形状400を作成する。公知のように、例えばCADソフトウェアはサーバの記憶装置3004に格納され、処理装置3003により実行される。基本形状400の作成や入力は、モニタなどサーバの出力装置3002、キーボード、マウスやタブレットなどのサーバの入力装置3001をユーザが操作して行うことができる。作成した基本形状400のデータはハードディスク等の記憶装置3004に格納しておくことができる。
 本実施例は、所定の基本形状および操作方法を計測データに合わせて変形する事で任意の形状および操作方法を作成するものであり、変形前の基本となる単純な形状を基本形状とする。基本形状の例として立方体、円柱、球などが挙げられる。また、扱う物品の大まかな形状が分かっていれば、物品の形状に近いものを基本形状としても良い。基本形状は、変形前の形状であればどのような種類でも良く、前記事例に限らないものとする。基本形状400は形状を示すフォーマットであればどのような形式でも良いものとする。
 以下の動作は、基本形状設定部102のソフトウェアにより全体が制御される。基本形状400を基本形状入力部(たとえばサーバ3000外部からのデータの入力インタフェースであり、入力装置3001の一部)401によって入力し、操作方法表示部(例えばモニタであり、出力装置3002の一部)404に表示する。オペレータは操作方法表示部404に表示された基本形状400を見ながら、操作方法指示部(たとえばキーボードやマウスであり、入力装置3001の一部)402によって操作方法403を設定する。ここで、所定の基本形状に対して、複数種類の操作方法を設定しておくことにしてもよい。
 物品の把持動作においては、操作方法の例として、把持する際に指機構を添える位置を設定する。操作方法は指機構を添える位置の設定に限らないものとする。例えば物品を下から支える動作であれば、支える位置を操作方法とすればよい。対象物品を横からずらす動作であれば物品が倒れないような操作位置を設定すれば良いものとする。また、飛来する対象物品を受け止める動作を対象とした場合は、対象物品の飛来角に対する相対的な受け止め位置・動作を設定することとするものでも良い。
 さらに、入力した基本形状400と、設定した操作方法403を対にして、基本形状記憶部103に記憶させる。これを複数回行う事で、基本形状記憶部には、基本形状104と操作方法105の組が複数種類記憶される。なお、基本形状と操作方法の組は、1対1に限らず1対多でもよい。
 以上のように、基本形状記憶部103に、基本形状104と操作方法105の組を準備することができる。なお、図1の基本形状設定部102(あるいは、図4の基本形状記憶部103以外の部分)は、ロボットシステムとは別構成としておき、ロボットシステムの出荷時あるいは保守時にのみロボットシステムに接続し、基本形状記憶部103にデータを格納するように構成することもできる。
 図5に、基本形状設定部102によって制御される、基本形状設定画面のインタフェースの例を示す。本実施例では物品の把持動作を対象とするため、物品の把持位置を操作方法として設定するものとする。まず操作方法表示部(例えばモニタ)404には、基本形状400および設定中の操作方法(この例では把持位置)403が表示されているものとする。オペレータは操作方法指示部(例えばキーボード)402を用いてポインタ500を操作し、表示した基本形状400から把持位置403を指示する。すると、表示された基本形状400に対して指示した把持位置403が登録され、操作方法105として、操作方法表示部404に反映される。このようにして操作方法105が規定され、基本形状104と操作方法105の組が複数種類記憶される。
 操作方法指示部402の指示方法としては、把持位置403をポインタ500で書き込むのみではなく、指示動作モードを切り替える事で、記入済みの把持位置403の削除や移動ができることとしても良い。キーボードの制御やモニタの表示を含むインタフェースの制御は、記憶装置に記憶された基本形状設定部102のソフトウェアを処理装置が実行することで行われる。
 図6に、基本形状設定部102で設定した複数の基本形状および操作方法を合成する事で、新たな基本形状および操作法を作成する、基本形状合成部201の処理の一例の詳細を示す。
 図1に示すように、基本形状記憶部103には、複数の基本形状104と操作方法105が対にして記憶されている。まず、この中から所定の2種類以上の基本形状と操作方法を取りだす。ここでは基本形状A600および操作方法A601の対と、基本形状B602および操作方法B603の対を取りだしたものとする。
 取り出した基本形状A600と基本形状B602を形状合成処理部604によって合成する。具体的な合成方法としては、例えば形状を陰関数やCSG(Constructive Solid Geometry)モデルで表現することで加減算することで合成可能である。また、インタフェース上から合成位置や方法を指示するものとしても良い。なお、形状を合成できる手法であれば上記に限らないものとする。以上の合成処理は、記憶装置3004に記憶された形状合成処理部604のソフトウェアを、処理装置3003が実行することで行われる。形状合成処理部604は合成後の形状を基本形状C605として出力する。
 操作方法表示部404は基本形状C605を表示し、操作方法指示部402によって操作方法607を設定する。操作方法指示部402による設定方法、操作方法表示部404の表示方法は図4および図5に示す方法と同様であり、画面上に表示した形状に操作方法を設定することとすればよい。なお、操作方法C607は、操作方法A601や操作方法B603をコピーすることとしても良い。
 なお、基本形状合成部201も、基本形状設定部102と同様に、ロボットシステム本体とは別構成とすることもできる。
 図7に、形状計測部100が周囲の物品300を計測する様子を示す。形状計測部100は物品(計測対象または把持対象)300の方向にレーザを照射し、レーザが反射して戻るまでの時間を計測することで、照射方向にある存在物までの距離が計測できる。形状計測部100は、上記照射処理を周囲全方向に繰り返し行うことで、周囲全体の存在物の形状を計測する事ができる。計測結果として、レーザ1回の照射につき、周囲の物体の表面上の1点が計測できるので、これを繰り返すことから、周囲の形状を点群として計測できる。物品300の計測結果として計測データ101が得られる。なお、形状計測装置は形状を計測できる装置であればレーザを用いるものに限らず、ステレオ視による方法や、超音波を用いる方法などでもよい。
 図8に、形状計測部100で計測した計測データ101から、把持対象計測データ設定部200が、把持対象に関する部分的な計測データのみを抽出する操作対象抽出処理を示す。形状計測部100が周囲全体の形状を計測するものである場合、計測データ101に周囲の環境の形状や、複数の把持対象物体が映り込む。そのため、その中から把持対象の形状のみを抽出する必要がある。もしも、把持対象の形状が既知である場合であれば、予め記憶しておいた形状と、計測した点群を幾何的にマッチングし、最も一致する部分を用いる事で、把持対象の点群を切り出す事ができる。
 また、環境内の物体が図7に示すように平らな面上に乗っている場合は、点群から平らな面を除去し、残った点群から近い点同士を集める事でクラスタリングする事で計測データ800、計測データ801、計測データ802に分割できる。
 平らな面の除去は、点群に対してハフ変換を用いる事で平面を抽出できるので、抽出した面上の点群を除去すればよい。平らな面でない場合も、周囲に物体が無い状態での環境の形状を記録しておき、その形状との差分を取れば、置かれている物体のみを抽出できる。さらに、把持対象が予め定まっていない場合は、オペレータが計測データ800、計測データ801、計測データ802から、把持対象の物品を選択する事で対象物品を決定できる。以降は、把持対象物品を、計測データ800として説明することとする。なお、把持対象物品は、計測データ800に限らない。また計測データ101が把持対象物品のみを計測している場合は、以降の処理で計測データ101を直接扱うこととしても良い。
 以上の処理は、記憶装置3004に記憶された把持対象計測データ設定部200のソフトウェアを、処理装置3003が実行することで行われる。なお、システムが自動的に把持対象の物品を選択するのではなく、図8に示す画像をオペレータに提示して、オペレータが把持対象の物品の部分を選択して指定するように構成することもできる。
 図9に、形状計測部100によって計測し把持対象計測データ設定部200が抽出した把持対象の計測データ800に対応する、基本形状および操作方法を決定する基本形状対応付け部106の処理例を示す。
 まず、基本形状対応付け画面900(出力装置3001の一部であり、操作方法表示部404と同じものであってもよい)に、把持対象となる計測データ800および、基本形状記憶部103に記憶した基本形状および操作方法の対901、902,903、904を表示する。オペレータは、表示した計測データの中から把持対象となる形状データを指示する。ここでは、その例として計測データ800を把持対象とする。さらにオペレータは、基本形状および操作方法の対の中から、計測データ800に最も近い対を選択する。ここでは基本形状と操作方法の対901が最も近いものとした。
 図9の例では、オペレータが手動で基本形状および操作方法の対の中から選択する例を示した。また、先に述べたように、基本形状対応付け部106が自動で選択することもできる。この場合のアルゴリズムは、以下の形状変形部109の動作に類似したものを用いることができる。たとえば、まず基本図形をメッシュ形状に変形する。そして、メッシュ形状の基本形状と計測データとを対応付け、メッシュ上の点から最も近い計測データ上の表面を対応先の座標とする。そのうえで、メッシュ上の点と計測データ上の座標の距離を基に選択することができる。簡単な例としては、距離の平均値が最も小さい基本形状を選択する。
 以上の処理は、記憶装置3004に記憶された基本形状対応付け部106のソフトウェアを、処理装置3003が実行し、入力装置3001、出力装置3002を制御することで行われる。
 図10に、形状変形部109において、計測した計測データに合わせて、基本形状および操作方法を局所的に形状変換することによって変形する、基本形状変形処理を示す。本処理においては、基本形状1000および操作方法1001の対と、前記計測データ800を入力することとする。まず基本形状1000をメッシュで複数の部位に分割し、メッシュ形状1002とする。メッシュへの変換は形状の表面上を等分に分割し、ドロネー分割などを用いて点同士を接続すればよい。
 続いて、メッシュ形状1002と計測データ800とを対応付け、メッシュ上の各点から対応先の座標への座標変換1004を求める。ここでは、メッシュ上の点から最も近い計測データ上の表面を対応先の座標とする。なお、計測データの姿勢が、基本形状の姿勢と合致していなかったら、前処理として回転・並進量を計算してもよい。回転・並進の計算はICP(Iterative Closest Point)アルゴリズムなどの既存手法で実施可能である。
 座標変換1004を全てのメッシュ上の点に実施する事で、変形後基本形状1005が求まる。さらに、操作方法1001に対しても、把持位置に対応するメッシュの変形先の位置より変形後操作方法1006を求める。
 また、基本形状変形部109は、把持対象の物品に対して変形後の操作方法を用いて操作を行ったときに正しく操作できるかどうかを事前にシミュレーションし、正しく操作できる場合に、その操作を出力することとしても良い。本実施例の場合は、変形後の把持位置に指機構が所定の強さで力を加えた場合に、落とさずに安定して把持する事ができるかをシミュレーションにより計算する。もし安定しなかった場合は、安定して把持できる把持位置を探索によって算出しても良い。本探索処理は、上記安定度合いを評価値とし、操作位置を勾配法などの収束計算によって最適化し、求める事ができる。
 以上の処理は、記憶装置3004に記憶された形状変形部109のソフトウェアを、処理装置3003が実行することで行われる。
 図11に、動作方法算出部112の構成ブロック図に、処理されるデータを含めた図を示す。動作方法算出部112は、基本形状変形部119が算出した変形後基本形状110および変形後操作方法111に従い、機構部115を動作させるための動作方法113を算出する。
 まず基本動作1100は、機構部115が目的の動作を達成するための基本的な動作を示す。例えば、本実施例のように把持動作を対象としたシステムである場合は、各指機構について開くまたは閉じる動作を基本動作1100とする。この際に一本の指機構毎に曲げ伸ばしの基本動作を定義することとする。
 予め定義した基本動作1100を基本動作設定部1101に入力し、基本動作記憶部202に記憶する。本実施例では、機構毎に基本動作を記憶することとし、基本動作記憶部202には複数の基本動作203が記憶されるものとする。本実施例においては指機構毎に基本動作1100を定義するので、指機構の本数分の基本動作が記憶されることとなる。
 続いて、基本動作変形部204は基本動作203、変形後基本形状110および変形後操作方法111に基づき、基本動作を変形させる。本実施例においては動作後の指機構の位置が変形後操作方法で指示された指機構の把持位置と一致するように、指機構の閉じ具合を調整する。指機構が一致したかどうかは、指機構から得られた位置と指示された指機構の把持位置の距離より算出できる。これを全ての指機構に対して行い、指機構毎にそれぞれ動作方法を決定できる。なお、本動作変形処理は把持動作に限定されないものとする。
 ここで、もし対象となった基本形状に複数種類の操作方法が設定されていた場合、変形後操作方法111も複数種類得られるので、基本動作の変形結果も複数得られる。この場合は、動作方法算出部112は、現在の機構部115の姿勢と最も近い基本動作の変形結果を選択し、動作方法113とすることとしてもよい。
 図12に、基本動作変形部204が、基本動作203を変形して対象物品を把持できる動作方法113を作成する基本動作変形処理の例を示す。
 本実施例では機構部115の各指機構の基本動作1200、1201、1202を、それぞれ変形後基本形状1203上の変形後操作位置1204に応じて変形することで、把持動作を可能とする。例えば、基本動作1200を変形することで、変形前の基本動作1205(点線矢印)から変形後動作1206(実線矢印)に変形する。この際の変形量は、基本動作1200において定義された指機構の軌道上と、把持位置(変形後操作位置1204)が最も近くなるような、機構部の曲げ具合を計算することで求まる。同様に基本動作1201は、変形前の基本動作1207から変形後動作1208に変形される。基本動作1202も同様である。
 図13に、基本動作合成部205による基本動作203の合成処理について示す。2種類以上の基本動作同士を組み合わせる事で、様々な種類の動作が可能となる。合成処理として、2種以上の動作から1つを選択する処理および、量動作を加算する処理を示す。
 まず、2種以上の動作から1つを選択する処理について説明する。機構部115に搭載された指機構1302に対し基本動作1303と基本動作1304を合成することとする。合成処理として、基本動作1303を選択する事で合成後動作1311とする。続いて、指機構1305に対する合成処理について述べる。基本動作1306と基本動作1307が記憶されている場合に、基本動作1307を選択する事で合成後動作1312とできる。
 さらに、指機構1308に対しては、基本動作1309と基本動作1310が設定されている場合、これらの動作方向を足し合わせる事で、合成後動作1311とする。なお、どの基本動作の組について、どの合成処理を行うかは上記に限定しないものとする。
 最後に、これまでに算出した動作方法113に基づいて、制御部114は機構部115に搭載されたモーターなどの機構を制御する事で、対象物品を把持する。算出した把持位置を機構部115の動作目標姿勢として、動作計画法であるPRM(Proba- bilistic Roadmap Method)やRRT(Rapidly-exploring Random Trees)などを利用して軌道計画を行い、PID(Proportional-Integral-Derivative)制御などを利用して制御する。
 ここで、制御部114で軌道計画を行う際に、形状計測部100で計測した周囲の計測データを用いて、機構部115を移動させる際に周囲にぶつからないように、物体間の隙間を通れるように軌道を計算することで、複雑な環境においても動作させる事が可能となる。あるいは、基本動作変形部204において、形状計測部100で計測した周囲の計測データを考慮して、動作を変形させてもよい。
 本実施例によれば、少数の基本形状および操作方法を記憶するのみで、基本形状および操作方法を、計測データに基づき変形させることで、多種の形状の把持が可能となる。
 本実施例では対象物品を操作するために吸着マニピュレータを利用した場合の実施例について述べる。
 図14に、機構部115の先端に吸着マニピュレータ1400を搭載した例を示す。吸着マニピュレータは、その先端で所定の物体を触れ、吸引する事で当該物品を把持する。本実施例では吸着マニピュレータを利用して様々な種類の物品を把持するための実施形態について述べる。
 図15に、吸着マニピュレータを対象とした基本形状変形処理を示す。本実施例に置いては基本形状記憶部103に基本形状および操作方法1500を記憶しているものとする。なお、基本形状および操作方法1500の設定は図4、5に述べた処理で実施可能である。
 ここでは、基本形状1501に対し操作方法1502が対となり、同様に基本形状1503には操作方法1504が、基本形状1505には操作方法1506がそれぞれ対となり記憶されているものとする。ここでは、操作方法として、吸着本数と、それぞれに対する吸着位置を設定することとする。吸着マニピュレータは利用する吸着機構の本数を変える事で、様々な大きさに物品に対応できる。
 計測データ1507が計測された場合、これと最も近い基本形状を選ぶ。この選択は、前述の基本形状対応付け部106によって行う。図15の例では基本形状1501が最も近かったものとする。基本形状1501と操作方法1502を変形させることで変形後基本形状1508と変形後操作方法1509となる。ここで基本形状と操作方法の変形方法は前述の基本形状変形部109によって行う。これにより、対象物品の吸着位置が決定できるので、その位置に基づき吸着マニピュレータを動作させ、決定した吸着位置1509を吸着する事で、把持を実現できる。
 本実施例では、基本形状対応付け部106において、計測データに対応する基本形状と操作方法を選択する際の処理を自動化した場合について述べる。図9で示した基本形状対応付け処理では、オペレータが計測データに対応する基本形状および操作方法を把持動作の度に指示する必要があった。これに対し、計測データに対応する基本形状および操作方法の対の指示作業を行わずとも把持動作を実施できるようになる。
 図16に、基本形状対応付け部106が、計測データに対応する基本形状と操作方法の対を選択する際に、その処理を自動化する処理手順について示す。本実施例では基本形状1601、1602、1603、1604のうち計測データ1600に最も近い形状を算出することとする。
 基本形状と計測データ間の差異を計算するためには、各基本形状に対してそれぞれ基本形状変形部109による基本形状変形処理を実行し、変化後の形状1605,1506,1607,1608と計測データ1600との差異を用いて、差異の最も小さい形状を算出すればよい。差異は、計測データの各点から最も近い変形後基本形状の表面までの距離の総和を用いることで計算できる。なお、形状間の差異を算出する手法であれば上記手法に限らないものとする。図16の例では、変化後の形状1605と計測データ1600との差異が最小であり、基本形状1601が選択される。
 なお、計測対象の物品が既知である場合については、基本形状対応付け部106は予め計測対象となる物品に対応する基本形状および操作方法の対を記憶しておき、記憶した基本形状および操作方法の対を対応付けることとしてもよい。
 図17に、基本形状変形部109の処理の別の例を示す。図17では、基本形状変形部109における、計測した計測データ1700に合わせて基本形状及び操作方法を線形変換することで変形を実施する場合の基本形状変形処理を示す。
 基本形状変形処理では、基本形状1701および操作方法1702の対と、計測データ1700を入力とする。基本形状1701と計測データ1700を比較し、幾何学的にマッチングを行い、最もマッチする変換量を求める。ここでは、変換量は回転、並進および各軸に関する拡大率とし、最も形状が一致する値を探索する事で求める。具体的な手法としては、全探索によるマッチングや、勾配法またはICPアルゴリズムなどによって求めることができる。一致したかどうかの判定は、計測データ1700上の各点のうち、変形後の基本形状1704の表面上に何点乗っているかを数える事によって算出できる。求めた変換量を基本形状1701および操作方法1702に適用することで、変形後基本形状1704および変形後操作方法1705が求まる。
 図18に、基本形状変形部109の処理の別の例を示す。図18では、基本形状変形部109が操作方法を変形する際に、計測データの重心位置に基づいて操作方法を変形する処理を示す。
 図10および図17に示した基本形状変形処理では、基本形状の変形度合いと等しく操作方法も変化させることとしていた。この手法を用いて図18に示す基本形状1800を変化後基本形状1806に変形すると、重心位置1801からの相対距離1805が縮み、3点の把持位置が並んでしまう。その結果、動作が不安定になるという問題がある。
 これに対し、操作方法を変形する際に、基本形状の操作に伴い重心位置1801のみ移動させ、新たな重心位置1807とする。そして、重心位置1801から各操作位置までの相対距離(図18では、把持位置1802までの相対距離1803、把持位置1804までの相対距離1805など)を維持しつつ、新たな重心位置1807に対して、新たな把持位置1808までの相対距離1809を相対距離1803と等しくし、新たな把持位置1810までの相対距離1811を相対距離1805と等しくする。これによって、変形後基本形状1806上の3点の把持位置が並ばなくなり、安定した把持が可能となる。
 以上説明した実施例によれば、予め登録しておいた基本動作を変形することで、少ない動作命令の組合せで、柔軟な動作方法を生成することができる。また、計測して得た操作対象の計測データに合わせ、予め登録しておいた基本形状および該形状に対する操作方法を変形させる事で、登録していない形状に対しても操作方法を決定できる。よって、変形後の操作方法に基づいて、適切な動作方法(例えばアクチュエータの駆動手順)を生成できるようになる。これにより、少数の事前登録のみで多種の物品を扱うことができ、さらに事前登録した物品と近い形状であれば未知の物品を扱うことも可能となる。
 本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の実施例の構成の追加・削除・置換をすることが可能である。
 物品を取り扱う各種のロボットシステムに利用可能である。
 100:形状計測部、101:計測データ、102:基本形状設定部、103:基本形状記憶部、104:基本形状、105:操作方法、106:基本形状対応付け部、107:選択基本形状、108:選択操作方法、109:基本形状変形部、110:変形後基本形状、111:変形後操作方法、112:動作方法算出部、113:動作方法、114:制御部、115:機構部、200:把持対象計測データ設定部、201:基本形状合成部、202:動作記憶部、203:本動作、204:基本動作変形部、300:物品、400:基本形状、401:基本形状入力部、404:操作方法表示部、402:操作方法指示部、403:操作方法、600:基本形状A、601:操作方法A、602:基本形状B、603:操作方法B、604:形状合成処理部、605:基本形状C、606:操作方法指示部、607:操作方法、608:操作方法表示部、800:計測データ、801:計測データ、802:計測データ、900:基本形状対応付け画面、901:基本形状および操作方法の対、902:基本形状および操作方法の対、903:基本形状および操作方法の対、904:基本形状および操作方法の対、1000:本形状、1001:操作方法、1002:メッシュ形状、1004:座標変換、1005:変形後基本形状、1006:変形後操作方法、1100:基本動作、1101:基本動作設定部、1200:基本動作、1201:基本動作、1202:基本動作、1203:変形後基本形状、1204:変形後操作位置、1205:変形前の基本動作、1206:変形後動作、1207:変形前の基本動作、1208:変形後動作、1302:指機構、1303:基本動作、1304:基本動作、1305:指機構、1306:基本動作、1307:基本動作、1308:指機構、1309:基本動作、1310:基本動作、1311:合成後動作、1312:合成後動作、1400:吸着マニピュレータ、1500:基本形状および操作方法、1501:基本形状、1502:操作方法、1503:基本形状、1504:操作方法、1505:基本形状、1506:操作方法、1507:計測データ、1508:変形後基本形状、1509:変形後操作方法、1600:計測データ、1601:基本形状、1602:基本形状、1603:基本形状、1604:基本形状、1700:計測データ、1701:基本形状、1702:操作方法、1704:変形後の基本形状、1705:変形後操作方法、1800:基本形状、1801:重心位置、1802:把持位置、1803:相対距離、1804:把持位置、1805:相対距離、1806:変化後基本形状、1807:重心位置、1808:把持位置、1809:相対距離、1810:把持位置、1811:相対距離

Claims (15)

  1.  操作対象の物品を操作する機構部と、
     物体の形状を計測する形状計測部と、
     基本となる前記機構部の動作を表す基本動作を記憶する基本動作記憶部と、
     前記形状計測部で計測された物体の形状に基づき、前記記憶された基本動作を変形して動作方法を算出する動作方法算出部と、
     前記動作方法算出部が算出した動作方法に基づき、前記機構部の制御を実行する制御部と、
     を備えることを特徴としたロボットシステム。
  2.  請求項1に記載のロボットシステムであって、
     所定の形状を示す基本形状、および、該基本形状に対する前記機構部による操作方法を対にして、少なくとも1つ以上記憶する基本形状記憶部と、
     前記形状計測部が計測した形状に対して、前記基本形状記憶部に記憶した前記基本形状の中からすくなくとも1つを選択し、選択基本形状として対応付ける基本形状対応付け部と、
     前記選択基本形状、および、該選択基本形状と対になる前記操作方法である選択操作方法を、前記計測した形状に合わせて変形させる基本形状変形部と、
     を備え、
     前記動作方法算出部は、
     前記基本形状変形部が変形した、変形後の前記選択基本形状および前記選択操作方法に基づいて、前記基本動作を変形させる基本動作変形部を備え、
     前記基本動作変形部によって変形した変形後の基本動作に基づいて、動作方法を算出すること、
     を特徴としたロボットシステム。
  3.  請求項1に記載のロボットシステムであって、
     前記形状計測部で計測した物体の形状の中から、前記操作対象の物品の形状を抽出する、把持対象計測データ設定部を備えること、
     を特徴としたロボットシステム。
  4.  請求項1記載のロボットシステムであって、
     前記基本形状変形部は、
     前記選択基本形状が、前記計測した物体の形状と一致するように線形変換することを特徴とすること、
     を特徴としたロボットシステム。
  5.  請求項1に記載のロボットシステムであって、
     前記基本形状変形部は、
     前記選択基本形状が、前記計測した物体の形状に一致するように部位毎に局所的に変形させること、
     を特徴としたロボットシステム。
  6.  請求項1に記載のロボットシステムであって、
     前記基本形状変形部は、
     前記選択操作方法の変形を、前記計測した物体の重心からの相対距離に基づいて行うこと、
     を特徴としたロボットシステム。
  7.  請求項1に記載のロボットシステムであって、
     前記制御部は、
     前記機構部が周囲と衝突しないように、前記形状計測部が計測した形状を参照し周囲の隙間の状態に合わせて動作させること、
     を特徴としたロボットシステム。
  8.  請求項1に記載のロボットシステムであって、
     2種類以上の前記基本形状を組み合わせて新たな基本形状とする、基本形状合成部を備えること、
     を特徴としたロボットシステム。
  9.  請求項1に記載のロボットシステムであって、
     2種類以上の前記基本動作を組み合わせて新たな基本動作とする、基本動作合成部を備えること、
     を特徴としたロボットシステム。
  10.  請求項1に記載のロボットシステムであって、
     前記基本形状対応付け部は、
     複数の前記基本形状の中から、前記形状計測部が計測した形状と幾何的な差異の大きさが最も小さいものを選択する、
     ことを特徴としたロボットシステム。
  11.  請求項1に記載のロボットシステムであって、
     前記操作方法は、
     前記基本形状を把持する位置によって規定されること、
     を特徴としたロボットシステム。
  12.  請求項1に記載のロボットシステムであって、
     前記操作方法は、
     前記基本形状を吸着する位置、および、吸着する点数によって規定されること、
     を特徴としたロボットシステム。
  13.  処理装置、記憶装置、入力装置、および出力装置を備える情報処理装置によって、機構部を制御する制御方法であって、
     前記記憶部は、所定の形状を示す基本形状、および該基本形状に対する、前記機構部による操作方法を対にして、少なくとも1つ以上記憶し、
     前記処理装置は、記憶した前記基本形状の中から1つの基本形状を選択し、前記入力装置から入力される計測形状と対応付け、
     前記処理装置は、対応付けた前記基本形状および該対応付けた基本形状と対になる前記操作方法を、前記計測形状に合わせて変形し、
     前記処理装置は、前記変形後の前記基本形状および前記操作方法に基づき、前記機構部の動作方法を算出し、
     前記動作方法に基づき前記機構部の動作を実行する制御方法。
  14.  前記記憶部は、基本となる単純な前記機構部の動作を表す基本動作を記憶し、
     前記処理装置は、前記機構部の動作方法を算出する際に、
     変形後の前記操作方法と適合するように前記基本動作を変形し、
     変形後の前記基本動作から前記動作方法を算出する請求項13記載の制御方法。
  15.  前記記憶部は、前記基本形状、および該基本形状に対する、前記機構部による操作方法を対にして、記憶する際に、
     1つの前記基本形状に対して、複数の前記操作方法を対にして記憶し、
     前記処理装置は、複数の前記操作方法を、前記計測形状に合わせて変形し、
     前記処理装置は、前記機構部の動作方法を算出する際に、
     前記計測形状に合わせて変形された前記複数の操作方法のうち、現在の前記機構部の姿勢と最も近い結果を選択し、動作方法とする、
     請求項13記載の制御方法。
PCT/JP2016/050278 2016-01-06 2016-01-06 ロボットシステムおよび制御方法 WO2017119088A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2016/050278 WO2017119088A1 (ja) 2016-01-06 2016-01-06 ロボットシステムおよび制御方法
US15/758,540 US10688665B2 (en) 2016-01-06 2016-01-06 Robot system, and control method
CN201680045142.7A CN107848117B (zh) 2016-01-06 2016-01-06 机器人系统以及控制方法
JP2017559981A JP6582061B2 (ja) 2016-01-06 2016-01-06 ロボットシステムおよび制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/050278 WO2017119088A1 (ja) 2016-01-06 2016-01-06 ロボットシステムおよび制御方法

Publications (1)

Publication Number Publication Date
WO2017119088A1 true WO2017119088A1 (ja) 2017-07-13

Family

ID=59273389

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050278 WO2017119088A1 (ja) 2016-01-06 2016-01-06 ロボットシステムおよび制御方法

Country Status (4)

Country Link
US (1) US10688665B2 (ja)
JP (1) JP6582061B2 (ja)
CN (1) CN107848117B (ja)
WO (1) WO2017119088A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018008319A (ja) * 2016-07-11 2018-01-18 株式会社安川電機 ロボットシステム、ロボットの制御方法、ロボットコントローラ
CN111975783A (zh) * 2020-08-31 2020-11-24 广东工业大学 一种机器人抓取检测方法及系统
CN114454174A (zh) * 2022-03-08 2022-05-10 江南大学 机械臂动作捕捉方法、介质、电子设备及系统
JP2022121671A (ja) * 2017-11-07 2022-08-19 東芝テック株式会社 画像処理システム及び画像処理方法
US11433537B2 (en) 2018-07-17 2022-09-06 Fanuc Corporation Automatic path generation device
WO2022250152A1 (ja) * 2021-05-28 2022-12-01 京セラ株式会社 保持位置決定装置、及び保持位置決定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04205318A (ja) * 1990-11-30 1992-07-27 Honda Motor Co Ltd プレイバックロボットにおける信号処理システム
JPH07251391A (ja) * 1994-03-16 1995-10-03 Tokico Ltd 工業用ロボット
JPH08309537A (ja) * 1994-07-29 1996-11-26 Hitachi Zosen Corp コルゲート重ね板継ぎ用溶接ロボットにおけるコルゲート部溶接方法
JPH1080881A (ja) * 1996-09-06 1998-03-31 Nippon Steel Corp 多関節ロボットの制御装置及びその制御方法
JP2015089589A (ja) * 2013-11-05 2015-05-11 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW277013B (ja) 1994-07-29 1996-06-01 Hitachi Shipbuilding Eng Co
SE526119C2 (sv) * 2003-11-24 2005-07-05 Abb Research Ltd Metod och system för programmering av en industrirobot
WO2006006624A1 (ja) 2004-07-13 2006-01-19 Matsushita Electric Industrial Co., Ltd. 物品保持システム、ロボット及びロボット制御方法
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
JP4835616B2 (ja) * 2008-03-10 2011-12-14 トヨタ自動車株式会社 動作教示システム及び動作教示方法
JP2011224695A (ja) 2010-04-19 2011-11-10 Toyota Motor Corp ロボットの把持制御システム及びロボット
CN103732363A (zh) * 2011-08-19 2014-04-16 株式会社安川电机 机器人系统、机器人控制装置、机器人手部及机器人控制方法
US8996167B2 (en) * 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
JP2014161965A (ja) 2013-02-26 2014-09-08 Toyota Industries Corp 物品取り出し装置
JP6022393B2 (ja) * 2013-03-28 2016-11-09 株式会社神戸製鋼所 溶接線情報設定装置、プログラム、自動教示システム、および溶接線情報設定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04205318A (ja) * 1990-11-30 1992-07-27 Honda Motor Co Ltd プレイバックロボットにおける信号処理システム
JPH07251391A (ja) * 1994-03-16 1995-10-03 Tokico Ltd 工業用ロボット
JPH08309537A (ja) * 1994-07-29 1996-11-26 Hitachi Zosen Corp コルゲート重ね板継ぎ用溶接ロボットにおけるコルゲート部溶接方法
JPH1080881A (ja) * 1996-09-06 1998-03-31 Nippon Steel Corp 多関節ロボットの制御装置及びその制御方法
JP2015089589A (ja) * 2013-11-05 2015-05-11 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018008319A (ja) * 2016-07-11 2018-01-18 株式会社安川電機 ロボットシステム、ロボットの制御方法、ロボットコントローラ
JP2022121671A (ja) * 2017-11-07 2022-08-19 東芝テック株式会社 画像処理システム及び画像処理方法
US11433537B2 (en) 2018-07-17 2022-09-06 Fanuc Corporation Automatic path generation device
DE102019118637B4 (de) 2018-07-17 2022-11-10 Fanuc Corporation Automatische pfadgenerierungsvorrichtung
CN111975783A (zh) * 2020-08-31 2020-11-24 广东工业大学 一种机器人抓取检测方法及系统
CN111975783B (zh) * 2020-08-31 2021-09-03 广东工业大学 一种机器人抓取检测方法及系统
WO2022250152A1 (ja) * 2021-05-28 2022-12-01 京セラ株式会社 保持位置決定装置、及び保持位置決定方法
CN114454174A (zh) * 2022-03-08 2022-05-10 江南大学 机械臂动作捕捉方法、介质、电子设备及系统

Also Published As

Publication number Publication date
CN107848117B (zh) 2021-01-15
US10688665B2 (en) 2020-06-23
JP6582061B2 (ja) 2019-09-25
JPWO2017119088A1 (ja) 2018-04-26
US20180250827A1 (en) 2018-09-06
CN107848117A (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
JP6582061B2 (ja) ロボットシステムおよび制御方法
US11548145B2 (en) Deep machine learning methods and apparatus for robotic grasping
JP6640060B2 (ja) ロボットシステム
US9878446B2 (en) Determination of object-related gripping regions using a robot
EP3166084B1 (en) Method and system for determining a configuration of a virtual robot in a virtual environment
US20130054030A1 (en) Object gripping apparatus, object gripping method, and object gripping program
JP2018051704A (ja) ロボット制御装置、ロボット、及びロボットシステム
EP1774443A1 (en) System and method for simulating human movement using profile paths
JP2019018272A (ja) モーション生成方法、モーション生成装置、システム及びコンピュータプログラム
JP6902369B2 (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
JP2018176311A (ja) 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
JP2018153873A (ja) マニピュレータの制御装置、制御方法およびプログラム、ならびに作業システム
JP4649554B1 (ja) ロボット制御装置
JP6456557B1 (ja) 把持位置姿勢教示装置、把持位置姿勢教示方法及びロボットシステム
US20220366660A1 (en) Method and system for predicting a collision free posture of a kinematic system
JP2013182554A (ja) 把持姿勢生成装置、把持姿勢生成方法及び把持姿勢生成プログラム
Jørgensen et al. Usage of simulations to plan stable grasping of unknown objects with a 3-fingered Schunk hand
JP7376318B2 (ja) アノテーション装置
Mitrouchev et al. Disassembly process simulation in virtual reality environment
CN115107020A (zh) 训练用于控制机器人的神经网络的装置和方法
JP2020087243A (ja) 物体計数方法、物体計数装置、および、ロボットシステム
Park et al. Robot-based Object Pose Auto-annotation System for Dexterous Manipulation
WO2023150238A1 (en) Object placement
KIKUCHI et al. Teaching of Grasp/Graspless Manipulation for Industrial Robots by Human Demonstration

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16883591

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017559981

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15758540

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16883591

Country of ref document: EP

Kind code of ref document: A1