WO2021095521A1 - 設定装置、設定方法およびプログラム - Google Patents

設定装置、設定方法およびプログラム Download PDF

Info

Publication number
WO2021095521A1
WO2021095521A1 PCT/JP2020/040349 JP2020040349W WO2021095521A1 WO 2021095521 A1 WO2021095521 A1 WO 2021095521A1 JP 2020040349 W JP2020040349 W JP 2020040349W WO 2021095521 A1 WO2021095521 A1 WO 2021095521A1
Authority
WO
WIPO (PCT)
Prior art keywords
end effector
model
point
orientation
position vector
Prior art date
Application number
PCT/JP2020/040349
Other languages
English (en)
French (fr)
Inventor
宏祐 服部
有貴 仁科
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2021095521A1 publication Critical patent/WO2021095521A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators

Definitions

  • This disclosure relates to a setting device, a setting method and a program.
  • a robot equipped with an end effector that picks a target work from a plurality of objects (hereinafter, also referred to as “work") is known.
  • the position and orientation of the end effector (hereinafter, also referred to as “grasping position and orientation”) when picking the work is registered in advance.
  • the control system controls the robot based on the pre-registered gripping position / posture and the position / posture of the work.
  • Patent Document 1 discloses a robot setting device that sets a gripping position / posture in a state where a work model that virtually represents a three-dimensional shape of a work is displayed in an image display area. doing. Specifically, the gripping position / posture corresponds to the input in the designation field for designating the X coordinate, the Y coordinate, the Z coordinate, the R x rotation angle, the R y rotation angle, and the R z rotation angle indicating the gripping position / posture. Is set.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a setting device, a setting method, and a program capable of easily setting the position and orientation of an end effector for picking an object.
  • the setting device for setting the position / orientation candidate of the end effector when the end effector of the robot picks the work includes a reception unit, a calculation unit, a determination unit, and a registration unit.
  • the reception unit accepts the designation of the first point and the second point on the work model indicated by the first CAD data that defines the three-dimensional shape of the work.
  • the calculation unit starts from a point defined from the first point and the second point, has a first position vector having the same direction as the direction from the first point to the second point, and the first point and the second point in the work model.
  • the second position vector defined from the normal vector of the point is calculated.
  • the determination unit has a relative positional relationship between the first reference position vector and the second reference position vector, and the first position vector and the second position vector, which are predetermined with respect to the end effector model showing the three-dimensional shape of the end effector.
  • the position and orientation of the end effector model are determined so as to approach a predetermined first reference relationship.
  • the registration unit registers the position / posture determined by the determination unit as a position / posture candidate.
  • the user can set the position / orientation candidate of the end effector when picking the work only by designating the first point and the second point on the work model. That is, the position and orientation of the end effector when picking the work is easily set.
  • the calculation unit further calculates the third position vector represented by the outer product of the first position vector and the second position vector.
  • the determination unit the relative positional relationship between the first reference position vector and the second reference position vector and the first position vector and the second position vector approaches the first reference relationship, and the end effector model is determined in advance. 3 The position and orientation of the end effector model are determined so that the relative positional relationship between the reference position vector and the third position vector approaches a predetermined second reference relationship.
  • the determination unit can determine the position / orientation of the end effector model that can be registered as a position / orientation candidate in consideration of the relative positional relationship between the third position vector and the third reference position vector.
  • the calculation unit may further calculate the third position vector orthogonal to the first position vector. Even in this case, the determination unit determines that the relative positional relationship between the first reference position vector and the second reference position vector and the first position vector and the second position vector approaches the first reference relationship and that the end effector model is in advance. The position and orientation of the end effector model are determined so that the relative positional relationship between the predetermined third reference position vector and the third position vector approaches the predetermined second reference relationship.
  • the end effector model is represented by the second CAD data that defines the three-dimensional shape of the end effector. According to the above disclosure, the user does not have to create an end effector model.
  • the setting device further includes a model creation unit that creates an end effector model according to an input instruction.
  • the model creation unit sets the first reference position vector and the second reference position vector. According to the above disclosure, the user can freely create an end effector model using the model creation unit.
  • the end effector has rotational symmetry.
  • the model creation unit sets the axis of rotational symmetry in the end effector model and the minimum rotational angle ⁇ that overlaps with itself.
  • the registration unit further registers the position / orientation of the end effector model rotated by n times the minimum rotation angle ⁇ about the axis of rotational symmetry from the position / orientation determined by the determination unit as a position / orientation candidate.
  • n is an integer greater than or equal to 1 and less than 360 ° / ⁇ .
  • the work can be gripped even if the end effector is rotated by n times the minimum rotational angle ⁇ with respect to the axis of rotational symmetry.
  • the position / orientation of the end effector model rotated by n times the minimum rotation angle ⁇ about the axis of rotational symmetry from the position / orientation determined by the determination unit is also automatically registered as a gripping point candidate. This reduces the time and effort required for the user to register the gripping point candidate.
  • the setting device further includes a display control unit for displaying the work model on the screen of the display device.
  • the reception unit receives the first point and the second point based on the position specified on the screen.
  • the user can specify the first point and the second point at a desired position on the work model while looking at the work model displayed on the screen.
  • the display control unit displays the coordinate axes based on the work model on the screen, and changes the position and orientation of the work model displayed on the screen according to the operation on the work model.
  • the user can change the position and orientation of the work model to a desired state so that the first point and the second point can be easily specified while looking at the coordinate axes based on the work model.
  • the display control unit superimposes and displays the end effector model of the position and orientation determined by the determination unit on the work model on the screen.
  • the determination unit accepts at least one operation of translational movement along a predetermined direction and rotational movement about a rotation axis parallel to the predetermined direction, and the position and orientation determined according to the operation. To adjust.
  • the display control unit displays an axis indicating a predetermined direction on the screen.
  • the user can easily adjust the position / orientation of the end effector model to a desired state while looking at the first reference position vector and the second reference position vector.
  • the display control unit displays the axial direction of the coordinate system of the end effector model on the screen.
  • the user can easily adjust the position and orientation of the end effector model to a desired state while looking at the axial direction of the coordinate system of the end effector model.
  • the display control unit displays a guide surface having a predetermined shape in contact with the tip of the end effector model on the screen.
  • the end effector has two fingers.
  • the guide surface is a cylindrical shape whose diameter is a line segment connecting two points corresponding to the tips of two fingers in the end effector model, or a square cylinder whose cross section is a circular circumscribing square whose diameter is a line segment. The shape.
  • the end effector is a suction hand having one or more vacuum pads.
  • the guide surface is a planar shape including the tip surface of the part corresponding to one or more vacuum pads in the end effector model.
  • the user can easily grasp the relative positional relationship between the tip of the end effector model and the work model by displaying the guide surface.
  • the setting device further includes a determination unit that determines interference between the end effector model of the position and orientation determined by the determination unit and the work model.
  • the display control unit superimposes the end effector model of the position and orientation determined by the determination unit on the work model and displays it on the screen, and responds to the determination by the determination unit that the end effector model is interfering with the end effector model. Change the display format.
  • the user can easily grasp that the end effector model and the work model are interfering with each other.
  • the setting device further includes a determination unit that determines interference between the end effector model of the position and orientation determined by the determination unit and the work model.
  • the registration unit deletes the position / posture determined to be interfering by the determination unit from the position / posture candidates.
  • the method of setting the position / orientation candidate of the end effector when the end effector of the robot picks the work includes the first to fourth steps.
  • the first step is a step of accepting the designation of the first point and the second point on the work model represented by the first CAD data that defines the three-dimensional shape of the work.
  • the second step starts from the first point and the point defined from the second point, and has the same direction as the direction from the first point to the second point, the first position vector, the first point in the work model, and the second point. This is a step of calculating the second position vector defined from the normal vector of the second point.
  • the third step is the relative position between the first reference position vector and the second reference position vector, and the first position vector and the second position vector, which are predetermined with respect to the end effector model showing the three-dimensional shape of the end effector.
  • This is a step of determining the position and orientation of the end effector model so that the relationship approaches a predetermined reference relationship.
  • the fourth step is a step of registering the determined position / posture as a position / posture candidate.
  • the program causes a computer to execute the above setting method.
  • the position and orientation of the end effector for picking the object can be easily set.
  • the position and orientation of the end effector for picking an object can be easily set.
  • FIG. 1 It is the schematic which shows the overall structure of the control system which concerns on embodiment. It is the schematic which shows an example of the hardware configuration of the image processing apparatus shown in FIG. It is a block diagram which shows an example of the functional structure of the image processing apparatus shown in FIG. It is a figure which shows an example of the model creation screen for supporting the creation of an end effector model. It is a figure which shows an example of the model creation screen displayed during the creation of an end effector model. It is a figure which shows another example of the model creation screen which is displayed during the creation of an end effector model. It is a figure which shows an example of the model creation screen at the time of setting various parameters about an end effector model. It is a figure which shows three end effector models of stroke widths different from each other.
  • FIG. 1 is a schematic view showing an overall configuration of a control system according to an embodiment.
  • the control system SYS illustrated in FIG. 1 is incorporated in a production line or the like, and performs pick-and-place control for a work 1 which is an object bulkly piled up in a container 5.
  • the position and orientation of the work 1 in the container 5 are random.
  • the control system SYS illustrated in FIG. 1 includes an image processing device 100, a robot controller 200, a robot 300, and a measurement head 400.
  • a display device 150 and an input device 160 are connected to the image processing device 100.
  • the display device 150 typically comprises a liquid crystal display and displays various screens.
  • the input device 160 includes, for example, a keyboard and a mouse.
  • the display device 150 and the input device 160 may be integrated to form a touch panel.
  • Robot 300 picks and places work 1.
  • the robot 300 includes an end effector 301 for holding the work 1, an articulated arm 302 for changing the position and orientation of the end effector 301, and a base 303 for supporting the articulated arm 302.
  • the end effector 301 is attached to the tip surface (flange surface) of the articulated arm 302.
  • the operation of the robot 300 is controlled by the robot controller 200.
  • the end effector 301 illustrated in FIG. 1 is a two-finger hand that has two finger portions 310 and grips the work 1 using the two finger portions 310.
  • the finger portion 310 is a portion that comes into contact with the work 1 when gripping the work 1, and is also referred to as a “claw portion”.
  • the robot controller 200 receives information from the image processing device 100 and controls the articulated arm 302 of the robot 300. Specifically, the robot controller 200 controls the articulated arm 302 so that the end effector 301 performs an approach operation, a picking operation, and a place operation in order.
  • the "approach operation” is a movement operation from the outside of the container 5 to a position and posture in which the work 1 can be gripped.
  • the "picking operation” is an operation of gripping the work 1 by moving the two finger portions 310.
  • "outer diameter gripping” in which the work 1 is gripped by moving the two finger portions 310 in the closing direction and by moving the two finger portions 310 in the opening direction. There is an “inner diameter grip” that grips the work 1.
  • the work 1 is located between the two fingers 310.
  • the two finger portions 310 are located inside, for example, the hollow portion of the tubular work 1.
  • the “place operation” is an operation of the end effector 301 until the work 1 is gripped and conveyed to the target position.
  • the robot controller 200 receives position / orientation information indicating the position / orientation to be taken by the end effector 301 at the start of the picking operation from the image processing device 100. Based on the position / orientation information, the robot controller 200 generates a command to sequentially execute the approach operation, the picking operation, and the place operation of the end effector 301, and outputs the command to the robot 300. In response to this command, the end effector 301 of the robot 300 sequentially performs an approach operation, a picking operation, and a place operation.
  • the measurement head 400 is installed so that the container 5 and the work 1 housed in the container 5 are the subjects, and images the subject.
  • the measuring head 400 includes a projection unit 401 and an imaging unit 402.
  • the projection unit 401 projects an arbitrary projection pattern light onto the subject according to an instruction from the image processing device 100.
  • the projection pattern is, for example, a pattern in which the brightness periodically changes along a predetermined direction in the irradiation surface.
  • the imaging unit 402 images a subject in a state where the projection pattern light is projected.
  • the projection unit 401 includes, as main components, a light source such as an LED (Light Emitting Diode) or a halogen lamp, and a filter arranged on the irradiation surface side of the projection unit 401.
  • the filter generates projection pattern light necessary for measuring a three-dimensional shape as described later, and can arbitrarily change the in-plane light transmittance in accordance with a command from the image processing device 100.
  • the projection unit 401 may project a fixed projection pattern light that does not change with time, or may project a projection pattern light that changes with time.
  • the projection unit 401 may have a configuration using a liquid crystal or DMD (Digital Mirror Device) and a light source (LED, laser light source, etc.).
  • the image pickup unit 402 includes, for example, an optical system such as a lens and an image pickup element such as a CCD (Coupled Charged Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor as main components.
  • an optical system such as a lens
  • an image pickup element such as a CCD (Coupled Charged Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor as main components.
  • the image processing device 100 selects one of the plurality of works 1 in the container 5 as the target work 2 based on the image received from the measurement head 400, and the end effector 301 when picking the target work 2 Position Position Determine the posture.
  • the position / orientation of the end effector 301 when picking the target work 2 is the position / orientation of the end effector 301 at the start of the picking operation with respect to the target work 2.
  • the image processing device 100 generates position / orientation information indicating the determined position / orientation, and outputs the generated position / orientation information to the robot controller 200.
  • the image processing device 100 measures the three-dimensional shape of the visual field region of the measuring head 400 based on the image received from the measuring head 400. Since the field of view region includes the container 5, the three-dimensional shapes of the plurality of works 1 bulkly stacked in the container 5 are measured. The image processing device 100 selects one of the plurality of works 1 as the target work 2 to be picked based on the measured three-dimensional shape.
  • the image processing device 100 is preset with position / orientation candidates (hereinafter, referred to as “grip point candidates”) to be taken by the end effector 301 at the start of the picking operation for the work 1.
  • the gripping point candidate indicates the relative position and orientation of the end effector 301 with respect to the work 1 at the start of the picking operation with respect to the work 1.
  • the image processing device 100 determines the position / orientation of the end effector 301 when picking the target work 2 based on the position / orientation of the target work 2 and the gripping point candidate.
  • the position and orientation of the target work 2 measured using the image received from the measurement head 400 is represented by a coordinate system (camera coordinate system) with reference to the image pickup unit 402 of the measurement head 400.
  • the position / orientation information output from the image processing device 100 to the robot controller 200 is represented by a coordinate system (robot-based coordinate system) with reference to the robot 300. Therefore, calibration for estimating the relative position-posture relationship between the camera coordinate system and the robot-based coordinate system is performed in advance.
  • a known hand eye calibration can be adopted.
  • the image processing device 100 appropriately performs coordinate conversion using the result of the hand eye calibration performed in advance.
  • the image processing device 100 picks the target work 2 based on the position and orientation of the target work 2 and the one grip point candidate.
  • the position and orientation (grip position and orientation) of the end effector 301 are determined.
  • the end effector 301 in the position and orientation determined in this way may interfere with the work 1 or the container 5 around the target work 2. For example, if the end effector 301 in the position and orientation determined by the image processing device 100 interferes with the container 5, the robot 300 cannot move the end effector 301 to the position and orientation determined by the image processing device 100.
  • a plurality of gripping point candidates are set in the image processing device 100.
  • the image processing device 100 selects one grip point candidate from among the plurality of grip point candidates so that the work 1 and the container 5 around the target work 2 and the end effector 301 do not interfere with each other.
  • the image processing device 100 determines the position / orientation of the end effector 301 when picking the target work 2 based on the position / orientation of the target work 2 and one selected gripping point candidate.
  • the image processing device 100 includes a grip point setting unit 10 as a configuration for supporting the setting of grip point candidates.
  • the gripping point setting unit 10 includes a reception unit 12, a calculation unit 13, a determination unit 14, and a registration unit 17.
  • the reception unit 12 receives the designation of the first point P1 and the second point P2 on the work model M1 indicated by the CAD data that defines the three-dimensional shape of the work 1.
  • the image processing device 100 illustrated in FIG. 1 displays the work model M1 on the screen of the display device 150.
  • the reception unit 12 receives the first point P1 and the second point P2 based on the positions designated on the screen of the display device 150.
  • the calculation unit 13 calculates a position vector V1 having the same direction as the direction from the first point P1 to the second point P2, starting from the point P0 defined by the first point P1 and the second point P2.
  • the point P0 is, for example, the midpoint of the line L connecting the first point P1 and the second point P2 along the surface of the work model M1.
  • the line L is a line connecting the first point P1 and the second point P2 at the shortest distance.
  • the point P0 may be the same as the first point P1 or the second point P2.
  • the position vector V1 has a predetermined length (for example, 1).
  • the calculation unit 13 calculates the position vector V2 defined from the normal vectors of the first point P1 and the second point P2 in the work model M1.
  • the normal vector of the first point P1 becomes the normal of the triangular mesh including the first point P1. It is a unit vector along.
  • the normal vector of the second point P2 is a unit vector along the normal of the triangular mesh including the second point P2.
  • the calculation unit 13 calculates a position vector having the same direction as the average vector of the normal vector of the first point P1 and the normal vector of the second point P2, starting from the point P0, as the position vector V2.
  • the position vector V2 has the same length (for example, 1) as the position vector V1.
  • the determination unit 14 sets the position and orientation of the end effector model M2 so that the relative positional relationship between the reference position vectors V11 and V12 and the position vectors V1 and V2, which are predetermined with respect to the end effector model M2, approaches the reference relationship. decide.
  • the end effector model M2 shows the three-dimensional shape of the end effector 301. The standard relationship is predetermined.
  • the reference position vectors V11 and V12 exemplified in FIG. 1 have orientations orthogonal to each other, starting from the tip of a part corresponding to one finger portion 310 in the end effector model M2.
  • the reference position vector V11 illustrated in FIG. 1 is orthogonal to the paper surface and has a direction toward the front.
  • the reference position vectors V11 and V12 have the same length (for example, 1) as the position vectors V1 and V2.
  • the registration unit 17 registers the position / posture determined by the determination unit 14 as a gripping point candidate. Specifically, the registration unit 17 registers the relative position / orientation of the end effector model M2 of the position / orientation determined by the determination unit 14 with respect to the work model M1 as a gripping point candidate.
  • the user can set the gripping point candidate only by designating the first point P1 and the second point P2 on the work model M1. That is, the position and orientation of the end effector 301 that picks the work 1 is easily set.
  • the image processing device 100 is typically a computer having a general-purpose architecture, and executes image processing according to the present embodiment by executing a pre-installed program (instruction code). .. Such a program is typically distributed in a state of being stored in various recording media or the like, or installed in the image processing apparatus 100 via a network or the like.
  • an OS Operating System
  • the program according to the present embodiment may call the necessary modules in a predetermined array at a predetermined timing among the program modules provided as a part of the OS to execute the process.
  • the program itself according to the present embodiment does not include the module as described above, and the process may be executed in cooperation with the OS.
  • the program according to the present embodiment may be in a form that does not include such a part of modules.
  • the program according to the present embodiment may be provided by being incorporated into a part of another program. Even in that case, the program itself does not include the modules included in the other programs to be combined as described above, and the processing is executed in cooperation with the other programs. That is, the program according to the present embodiment may be a form incorporated in such another program. Note that some or all of the functions provided by executing the program may be implemented as a dedicated hardware circuit.
  • FIG. 2 is a schematic view showing an example of the hardware configuration of the image processing apparatus shown in FIG.
  • the image processing device 100 includes a CPU (Central Processing Unit) 110 which is an arithmetic processing unit, a main memory 112 and a hard disk 114 as a storage unit, a measurement head interface 116, and an input interface 118. , A display controller 120, a communication interface 124, and a data reader / writer 126. Each of these parts is connected to each other via a bus 128 so as to be capable of data communication.
  • a CPU Central Processing Unit
  • main memory 112 main memory
  • a hard disk 114 as a storage unit
  • a measurement head interface 116 a measurement head interface
  • an input interface 118 a measurement head interface
  • a display controller 120 a communication interface 124
  • a data reader / writer 126 Each of these parts is connected to each other via a bus 128 so as to be capable of data communication.
  • the CPU 110 expands the programs (codes) installed on the hard disk 114 into the main memory 112 and executes them in a predetermined order to perform various operations.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory), and holds an image acquired by the measurement head 400 in addition to a program read from the hard disk 114. To do. Further, the hard disk 114 stores various data and the like as described later. In addition to the hard disk 114, or instead of the hard disk 114, a semiconductor storage device such as a flash memory may be adopted.
  • the measurement head interface 116 mediates data transmission between the CPU 110 and the measurement head 400. That is, the measurement head interface 116 is connected to the measurement head 400.
  • the measurement head interface 116 gives a projection command and an imaging command to the measurement head 400 according to an internal command generated by the CPU 110.
  • the measurement head interface 116 includes an image buffer 116a for temporarily storing an image from the measurement head 400. When a predetermined number of frames of images are accumulated in the image buffer 116a, the measurement head interface 116 transfers the accumulated images to the main memory 112.
  • the input interface 118 mediates data transmission between the CPU 110 and the input device 160. That is, the input interface 118 receives the input information input by the user to the input device 160.
  • the display controller 120 is connected to the display device 150 and controls the screen of the display device 150 so as to notify the user of the processing result of the CPU 110 and the like.
  • the communication interface 124 mediates data transmission between the CPU 110 and an external device such as the robot controller 200.
  • the communication interface 124 typically comprises Ethernet (registered trademark), USB (Universal Serial Bus), or the like.
  • the data reader / writer 126 mediates data transmission between the CPU 110 and the memory card 106, which is a recording medium. That is, the memory card 106 is distributed in a state in which a program or the like executed by the image processing device 100 is stored, and the data reader / writer 126 reads the program from the memory card 106. Further, the data reader / writer 126 writes the image captured by the measurement head 400 and / or the processing result in the image processing device 100 to the memory card 106 in response to the internal command of the CPU 110.
  • the memory card 106 is a general-purpose semiconductor storage device such as SD (Secure Digital), a magnetic storage medium such as a flexible disk (Flexible Disk), or an optical storage medium such as a CD-ROM (Compact Disk Read Only Memory). Etc.
  • SD Secure Digital
  • CD-ROM Compact Disk Read Only Memory
  • FIG. 3 is a block diagram showing an example of the functional configuration of the image processing apparatus shown in FIG.
  • the image processing device 100 includes a gripping point setting unit 10, a head control unit 20, an image processing unit 25, a model creation unit 30, and a storage unit 40.
  • the gripping point setting unit 10 and the model creation unit 30 are realized by the CPU 110, the input interface 118, and the display controller 120 shown in FIG.
  • the head control unit 20 is realized by the CPU 110 and the measurement head interface 116 shown in FIG.
  • the image processing unit 25 is realized by the CPU 110 and the communication interface 124 shown in FIG.
  • the storage unit 40 is realized by the main memory 112 and the hard disk 114 shown in FIG.
  • the head control unit 20 controls the operation of the measurement head 400.
  • the head control unit 20 outputs a projection command instructing the projection of a predetermined projection pattern light to the measurement head 400.
  • the head control unit 20 outputs an imaging command to the measurement head 400 in a state where the projection pattern light is projected.
  • the head control unit 20 stores the image data 41 acquired from the measurement head 400 in the storage unit 40.
  • the storage unit 40 stores the image data 41 obtained by imaging the measurement head 400. Further, the storage unit 40 stores in advance CAD (Computer Aided Design) data 42 indicating the three-dimensional shape of the work 1.
  • the CAD data 42 shows the position and orientation of the triangular mesh forming the surface of the work model showing the three-dimensional shape of the work 1.
  • the storage unit 40 stores model data 43 generated by the model creation unit 30 and grip point data 44 indicating grip point candidates of the end effector 301 when gripping the work 1.
  • the grip point data 44 is generated by the grip point setting unit 10.
  • the image processing unit 25 performs the following processing on the image data 41 obtained by imaging the measurement head 400.
  • the image processing unit 25 performs three-dimensional measurement in the visual field region of the measurement head 400 based on the image data 41, and generates three-dimensional point cloud data.
  • the three-dimensional point cloud data indicates the three-dimensional coordinates of each point on the object surface (measurement surface) existing in the visual field region of the measurement head 400.
  • the image processing unit 25 performs three-dimensional measurement processing using a triangular ranging method.
  • the triangular distance measuring method known techniques such as a fixed pattern projection method, a phase shift method, a stereo matching method, and an optical cutting method can be adopted.
  • the phase shift method is a method of using an image captured in a state in which projection pattern light whose shading is changed in a sinusoidal shape is projected onto a subject.
  • a plurality of projection patterns having different shade change periods and phases are prepared, and the projection unit 401 of the measurement head 400 sequentially irradiates the visual field region of the image pickup unit 402 with a plurality of projection pattern lights.
  • the image processing unit 25 calculates the three-dimensional coordinates based on the change in the brightness (brightness and brightness) of the corresponding portion in the image data 41 captured when the plurality of projection patterns are projected.
  • the three-dimensional measurement process is not limited to the triangular ranging method, and may be performed by using another method (for example, a coaxial method).
  • the image processing unit 25 collates a plurality of template data created in advance with the three-dimensional point cloud data, and extracts data similar to the template from the three-dimensional point cloud data.
  • the template data is created in advance based on the CAD data 42.
  • the image processing unit 25 detects the position and orientation of the work 1 existing in the visual field region of the measurement head 400 based on the data similar to the template extracted from the three-dimensional point cloud data.
  • the image processing unit 25 determines the detected work 1 as the target work 2. When the image processing unit 25 detects the position and orientation of the plurality of works 1, one of the plurality of works 1 is selected as the target work 2 according to a predetermined selection criterion.
  • the image processing unit 25 determines the position / orientation of the end effector 301 when picking the target work 2 based on the position / orientation of the target work 2, the grip point candidate shown in the grip point data 44, and the hand eye calibration result. To do.
  • the image processing unit 25 transmits the position / orientation information indicating the determined position / orientation to the robot controller 200.
  • the model creation unit 30 displays a model creation screen that supports the creation of the end effector model M2 on the display device 150, and creates the end effector model M2 according to an input instruction to the input device 160.
  • the model creation unit 30 sets the reference position vectors V11, V12, and V13 for the created end effector model M2.
  • the reference position vectors V11, V12, and V13 have directions orthogonal to each other, starting from one point on the end effector model M2.
  • the reference position vectors V11, V12, V13 have a predetermined length (for example, 1). Details of the method of creating the end effector model M2 and the method of setting the reference position vectors V11, V12, and V13 will be described later.
  • the gripping point setting unit 10 sets a position / orientation candidate (grasping point candidate) of the end effector 301 when picking the work 1.
  • the gripping point setting unit 10 exemplified in FIG. 3 includes a display control unit 11, a reception unit 12, a calculation unit 13, a determination unit 14, a duplication processing unit 15, a determination unit 16, and a registration unit 17. Including.
  • the display control unit 11 controls the screen of the display device 150. Specifically, the display control unit 11 causes the display device 150 to display a setting screen for setting the gripping point candidate, and shifts the screen of the display device 150 in response to the input to the input device 160.
  • the work model M1 indicated by the CAD data 42 is displayed on the setting screen. Details of the setting screen will be described later.
  • the reception unit 12 receives the designation of the first point P1 and the second point P2 on the work model M1 in response to the input operation to the input device 160.
  • the calculation unit 13 calculates a position vector V1 having the same direction as the direction from the first point P1 to the second point P2, starting from the point P0 defined from the first point P1 and the second point P2.
  • the calculation unit 13 calculates the position vector V2 defined from the normal vectors of the first point P1 and the second point P2 in the work model M1. Further, the calculation unit 13 calculates the position vector V3 represented by the outer product of the position vector V1 and the position vector V2.
  • the determination unit 14 determines the position and orientation of the end effector model M2 so that the relative positional relationship between the reference position vectors V11, V12, V13 and the position vectors V1, V2, V3 approaches the reference relationship.
  • the reference relationship is predetermined according to the set position / orientation of the reference position vectors V11, V12, V13 with respect to the end effector model M2, the desired clearance between the end effector 301 and the work 1.
  • the duplication processing unit 15 executes duplication processing of the end effector model M2 and determines the position and orientation of the duplicated end effector model. For example, the duplication processing unit 15 generates a duplicated end effector model by rotating the end effector model M2 of the position and orientation determined by the determination unit 14 in a designated direction by a designated amount.
  • the determination unit 16 determines whether or not there is interference between the end effector model M2 and the work model M1 in each position and orientation determined by the determination unit 14 and the duplication processing unit 15.
  • the registration unit 17 registers each position / posture determined by the determination unit 14 and the duplication processing unit 15 as gripping point candidates. Specifically, the registration unit 17 generates and generates grip point data 44 indicating the relative position / orientation of the end effector model M2 of each position / orientation determined by the determination unit 14 and the duplication processing unit 15 with respect to the work model M1.
  • the gripping point data 44 is stored in the storage unit 40.
  • FIG. 4 is a diagram showing an example of a model creation screen for supporting the creation of an end effector model.
  • the model creation screen 70 illustrated in FIG. 4 is displayed on the display device 150 by the model creation unit 30.
  • FIG. 4 shows a model creation screen 70 before starting the creation of the end effector model M2.
  • the model creation screen 70 includes an area 71 for displaying the end effector model M2, an editing button group 73, and a parts list 74.
  • a coordinate axis 72 indicating an end effector coordinate system is displayed in the area 71.
  • the X-axis, Y-axis, and Z-axis constituting the coordinate axis 72 are orthogonal to each other.
  • the origin of the coordinate axis 72 corresponds to the center of the flange surface at the tip of the articulated arm 302 to which the end effector 301 is attached.
  • the XY plane corresponds to the flange surface.
  • the Z axis corresponds to the normal of the flange surface.
  • the editing button group 73 includes a plurality of buttons for accepting operations of adding, duplicating, deleting, and reversing the parts constituting the end effector model M2.
  • the parts list 74 is a list of parts constituting the end effector model M2.
  • the model creation screen 70 illustrated in FIG. 4 corresponds to a state before accepting an operation on the editing button group 73. Therefore, the parts are not displayed in the parts list 74.
  • FIG. 5 is a diagram showing an example of a model creation screen displayed during creation of an end effector model.
  • the area 71 of the model creation screen 70 illustrated in FIG. 5 six parts 75 to 80 constituting the end effector model M2, which is a two-finger hand, are displayed.
  • the model creation screen 70 includes a radio button group 81 related to color display of parts.
  • the radio button group 81 includes, for example, a radio button for coloring all parts, a radio button for coloring only selected parts, and a radio button for not coloring parts. Including. By operating the radio button group 81, the user can easily distinguish a plurality of parts.
  • the model creation screen 70 includes a check box 82 for displaying the sides and sizes of the circumscribed rectangular parallelepiped of the end effector model M2.
  • the model creation unit 30 displays a line 83 indicating the side of the circumscribed rectangular parallelepiped of the end effector model M2 and a text 84 indicating the size of the circumscribed rectangular parallelepiped in the area 71. This makes it easier for the user to grasp the size of the end effector model M2.
  • each part is determined according to the type of button for adding parts included in the editing button group 73.
  • the part 75 illustrated in FIG. 5 is a part added in response to the operation of the "add cylinder” button, and has a cylindrical shape.
  • the parts 76 to 80 illustrated in FIG. 5 are parts added in response to the operation of the "add rectangular parallelepiped” button, and have a rectangular parallelepiped shape.
  • the editing button group 73 includes a "duplicate” button and a “delete” button.
  • the model creation unit 30 adds a part having the same shape as the selected part.
  • the model creation unit 30 deletes the selected part.
  • the editing button group 73 includes a "reverse (XZ plane)” button and a “reverse (YZ plane)” button.
  • the model creation unit 30 mirror-inverts the selected part with respect to the XZ plane.
  • the model creation unit 30 mirror-inverts the selected part with respect to the YZ plane.
  • the parts list 74 includes the name of the part and the group to which the part belongs for each of the parts 76 to 80 constituting the end effector model M2.
  • the model creation unit 30 sets the name of each part according to the input of the user, and displays the set name.
  • the group of each part indicates the attribute of the part and is selected from a plurality of predetermined groups.
  • the model creation unit 30 displays a pull-down menu including a plurality of groups according to the operation of the pull-down button 74a, and sets the groups according to the user's selection input.
  • the model creation unit 30 displays the set group.
  • a plurality of groups are predetermined according to the form that the end effector 301 can take.
  • the model creation unit 30 can recognize whether each part is a fixed part (non-movable part) or a movable part according to the set group.
  • the “Base” group corresponds to the part (fixed part) that supports the finger part.
  • the “Left tip finger” group corresponds to the tip of one of the two fingers.
  • the “Left finger” group corresponds to the part excluding the tip part on the one side.
  • the “Right tip finger” group corresponds to the tip of the other of the two fingers.
  • the “Right finger” group corresponds to the other part excluding the tip part.
  • the model creation unit 30 recognizes a part belonging to the “Base” group as a fixed unit.
  • the model creation unit 30 recognizes a part belonging to the "Right tip finger” group or the "Right finger” group as a movable part corresponding to one of the two finger parts.
  • the model creation unit 30 recognizes a part belonging to the "Left tip finger” group or the “Left finger” group as a movable part corresponding to the other of the two fingers. Further, in the model creation unit 30, the moving direction of the parts belonging to the "Right tip finger” group or the "Right finger” group and the moving direction of the parts belonging to the "Left tip finger” group or the “Left finger” group are opposite to each other. Recognize that it is oriented.
  • parts 75 and 76 belong to the "Base” group. Further, parts 77, 78, 79, 80 belong to the "Right finger”, “Right tip finger”, “Left finger” and “Left tip finger” groups, respectively. In the end effector model M2 illustrated in FIG. 5, parts 78 and 80 belonging to the “Right tip finger” and the “Left tip finger”, respectively, extend parallel to the Z axis.
  • the display control unit 11 makes the colors of the parts displayed in the area 71 different according to the group. .. For example, the display control unit 11 displays parts 75 and 76 belonging to the "Base” group in gray, displays parts belonging to the "Right tip finger” group or the “Right finger” group in light blue, and displays "Left tip finger”. Parts belonging to the group or "Left finger” group are displayed in pink. This makes it easier for the user to distinguish between the fixed portion and the two movable portions in the end effector model M2.
  • the model creation screen 70 includes tabs 85 and 87 for setting the position, posture and size of each part.
  • the tab 85 is operated when setting the position, posture and size for each part.
  • Tab 87 is operated when setting the positions, postures and sizes of all parts at once.
  • the model creation screen 70 illustrated in FIG. 5 corresponds to the state when the tab 85 is operated.
  • the model creation unit 30 sets various positions, postures, and sizes of the parts selected in the parts list 74 (the parts of “Left 00” are selected in FIG. 5).
  • the area 86 including the input field of is displayed.
  • the model creation unit 30 edits the position, posture, and size of the parts selected in the parts list 74 in response to the input to the input field displayed in the area 86.
  • FIG. 6 is a diagram showing another example of the model creation screen displayed during the creation of the end effector model.
  • the end effector model M2 illustrated in FIG. 6 is different from the end effector model M2 illustrated in FIG. 5 in that it includes parts 78a, 78b, 80a, 80b instead of parts 78, 80.
  • Part 78a belongs to the "Right finger” group.
  • Part 80a belongs to the "Left finger” group.
  • Part 78b belongs to the "Right tip finger” group.
  • Part 80b belongs to the "Left tip finger” group.
  • the parts 78b and 80b are inclined with respect to the Z axis.
  • the user can set the tilt direction of the parts 78b and 80b by inputting the tilt direction in the input field 86a displayed in the area 86. Further, the user can set the tilt angle of the parts 78b and 80b by inputting the tilt angle in the input field 86b displayed in the area 86.
  • FIG. 7 is a diagram showing an example of a model creation screen when setting various parameters related to the end effector model.
  • the model creation screen 70 illustrated in FIG. 7 corresponds to the state when the tab 88 is operated.
  • the model creation screen 70 includes input fields 89 and 90 and an area 91.
  • a hand ID for identifying the end effector model M2 being created is input.
  • a margin used for interference determination by the determination unit 16 is input. The method of using the margin will be described later.
  • the area 91 is used to set the distance between the part 78 belonging to the "Right tip finger” group and the part 80 belonging to the "Left tip finger” group (hereinafter, referred to as "stroke width").
  • the stroke width is also referred to as the "opening width”.
  • an input field 91a for selecting the movable direction between the part 78 belonging to the "Right tip finger” group and the part 80 belonging to the "Left tip finger” group is displayed.
  • the input field 91a includes a pull-down button.
  • the model creation unit 30 displays a pull-down menu including the "X direction” and the "Y direction” according to the operation of the pull-down button, and sets the selected direction as the movable direction.
  • the “Y direction” is selectively input.
  • the movable direction is usually parallel to the end faces (the faces opposite to the parts belonging to the "Base” group) of the parts 78 and 80 belonging to the "Right tip finger” and "Left tip finger” groups, respectively.
  • an input field 91b for setting the maximum stroke width is displayed.
  • the user may input a numerical value according to the specifications of the end effector 301 in the input field 91b.
  • a list 91c of stroke widths that the end effector model M2 can take and buttons 91d and 91e for creating the list 91c are displayed.
  • the button 91d is operated when adding a new stroke width to the list 91c.
  • the button 91e is operated when deleting an unnecessary stroke width from the list 91c.
  • the user can add a plurality of stroke widths to the list 91c according to the type of the work 1.
  • the index number that identifies the stroke width and the numerical value of the stroke width are associated with each other.
  • FIG. 8 is a diagram showing three end effector models having different stroke widths.
  • FIG. 8 shows the end effector model M2 shown in FIG.
  • FIG. 8A shows an end effector model M2 having a stroke width of “0 mm” corresponding to the index number “No. 0”.
  • FIG. 8B shows an end effector model M2 having a stroke width of “15 mm” corresponding to the index number “No. 2”.
  • FIG. 8C shows an end effector model M2 having a stroke width of “30 mm” corresponding to the index number “No. 7”.
  • the model creation unit 30 calculates the coordinates of the midpoint P100 between the center of gravity of the end face of the part 78 belonging to the "Right tip finger” group and the center of gravity of the end face of the part 80 belonging to the "Left tip finger” group.
  • the model creation unit 30 calculates the coordinates of the point P101 separated from the midpoint P100 by half the stroke width on the part 78 side belonging to the "Right tip finger” group along the movable direction.
  • the movable direction is the direction input in the input field 91a.
  • the model creation unit 30 belongs to the parts 77 belonging to the "Right finger” group and the "Right tip finger” group so that the side on the part 80 side on the end face of the part 78 belonging to the "Right tip finger” group passes through the point P101.
  • the part 78 and the part 78 are translated along the movable direction.
  • the model creation unit 30 calculates the coordinates of the point P102, which is separated from the midpoint P100 by half the stroke width on the part 80 side belonging to the "Left tip finger” group along the movable direction.
  • the model creation unit 30 includes a part 79 belonging to the "Left finger” group and a part 80 belonging to the "Left tip finger” group so that the point P102 at the tip of the part 80 belonging to the "Left tip finger” group matches the point P102. And are translated along the movable direction. In this way, the end effector model M2 having a stroke width corresponding to the index number is created.
  • an input field 91f for inputting an initial index number is displayed in the area 91.
  • one index number (initial index number) selected from at least one index number included in the list 91c is input.
  • the user inputs the index number corresponding to the gap between the two fingers 310 of the end effector 301 when picking the work 1 in the input field 91f.
  • the index number "0" is entered in the input field 91f.
  • the model creation unit 30 displays the end effector model M2 having a stroke width corresponding to the initial index number in the area 71.
  • FIG. 9 is a diagram showing an example of a model creation screen when setting information regarding the rotational symmetry of the end effector model.
  • FIG. 9 shows the end effector model M2 shown in FIG.
  • the model creation screen 70 illustrated in FIG. 9 includes a check box 92 and an input field 93.
  • the check box 92 is operated to select the presence or absence of rotational symmetry of the end effector model M2.
  • the model creation unit 30 includes a part 78 belonging to the "Right tip finger” group and a part 80 belonging to the "Left tip finger” group.
  • the Z axis is set as the rotational symmetry axis 96.
  • the minimum rotation angle ⁇ that overlaps with the part 80 when the part 78 is rotated about the rotation symmetry axis 96 is input.
  • 180 ° is input as the minimum rotation angle ⁇ .
  • the model creation screen 70 includes a save button 94 and an end button 95.
  • the save button 94 When the save button 94 is operated, the model creation unit 30 saves the current settings.
  • the end button 95 When the end button 95 is operated, the model creation unit 30 ends the process of creating the end effector model M2.
  • the model creation unit 30 sets the reference position vectors V11, V12, and V13 for the created end effector model M2.
  • FIG. 10 is a diagram showing an example of a reference position vector set for the end effector model.
  • FIG. 10 shows the end effector model M2 shown in FIG.
  • FIG. 11 is a diagram showing another example of the reference position vector set for the end effector model.
  • FIG. 11 shows the end effector model M2 shown in FIG.
  • the model creation unit 30 sets the reference position vectors V11, V12, and V13 for the end effector model M2 having a stroke width corresponding to the initial index number input in the input field 91f.
  • the model creation unit 30 sets the reference position vectors V11, V12, and V13 so as to satisfy the following conditions (a) to (e), for example. Conditions (a) to (e) are predetermined.
  • the end face 80S is a face on the opposite side of the parts belonging to the "Left tip finger” group from the parts belonging to the "Base” group.
  • the movable direction is usually parallel to the end face 80S of the part 78 belonging to the "Left tip finger" group. Therefore, by setting the reference position vectors V11, V12, and V13 according to the above conditions (c) to (e), the reference position vectors V11, V12, and V13 are orthogonal to each other.
  • the model creation unit 30 generates model data 43 indicating various setting information of the end effector model M2 set as described above, and stores the generated model data 43 in the storage unit 40.
  • the model data 43 shows at least the following information. -Position, posture and size of each part that constitutes the end effector model of the stroke width corresponding to the initial index number-Group to which each part belongs-Parts belonging to the "Right tip finger” group and parts belonging to the "Left tip finger” group Movable direction with (direction input in the input field 91a) -Reference position vectors V11, V12, V13 ⁇ Presence / absence of rotational symmetry ⁇ If there is rotational symmetry, the axis of rotational symmetry and the minimum rotational angle ⁇ -Margin entered in the input field 90.
  • FIG. 12 is a diagram illustrating a method of determining the position and orientation of the end effector by the determination unit.
  • a first point P1 and a second point P2 are designated on the surface of the work model M1.
  • the calculation unit 13 starts from the midpoint P0 of the line L connecting the first point P1 and the second point P2 at the shortest distance along the surface of the work model M1, and moves from the first point P1 to the second point P2.
  • the position vector V1 having the same direction as the direction of is calculated.
  • the position vector V1 has a predetermined length (for example, 1).
  • the calculation unit 13 calculates the average vector of the normal vector Va of the first point P1 in the work model M1 and the normal vector Vb of the second point P2 in the work model M1.
  • the normal vectors Va and Vb are unit vectors along the normals of the triangular mesh constituting the work model M1.
  • the calculation unit 13 calculates a position vector V2 having the same direction as the average vector of the normal vector Va and the normal vector Vb, starting from the point P0.
  • the position vector V2 has a predetermined length (for example, 1).
  • calculation unit 13 calculates the position vector V3 represented by the outer product of the position vector V1 and the position vector V2.
  • the reference position vectors V11, V12, and V13 are set for the end effector model M2 having a stroke width corresponding to the initial index number.
  • the model data 43 shows, for example, the coordinates of the start point and the end point of each of the reference position vectors V11, V12, and V13.
  • the determination unit 14 determines the position and orientation of the end effector model M2 so that the relative positional relationship between the reference position vectors V11, V12, V13 and the position vectors V1, V2, V3 approaches the reference relationship.
  • the reference relationship is predetermined as follows, assuming that the outer diameter is gripped by a two-finger hand. That is, the reference relationship is a relationship that coincides with the reference position vectors V11, V12, and V13 when the position vectors V1, V2, and V3 are translated by a predetermined distance in the direction of the position vector V2.
  • the specified distance is determined in consideration of the necessary gap between the end effector 301 and the work 1 at the start of the picking operation.
  • the reference position vectors V11, V12, and V13 are indicated by the end effector coordinate system.
  • the position vectors V1, V2, and V3 are shown in the work coordinate system.
  • the determination unit 14 determines a coordinate transformation matrix for rigidly transforming the end effector coordinate system so that the relative positional relationship between the reference position vectors V11 to V13 and the position vectors V1 to V3 is closest to the reference relationship.
  • the coordinate transformation matrix By transforming the coordinates of the end effector model M2 using the coordinate transformation matrix, the position and orientation of the end effector model M2 when the relative positional relationship between the reference position vectors V11 to V13 and the position vectors V1 to V3 is closest to the reference relationship. Is identified.
  • the determination unit 14 corrects the position vectors V1 to V3 based on the reference relationship in the work coordinate system. Specifically, the determination unit 14 translates the position vectors V1, V2, and V3 by a predetermined distance in the direction of the position vector V2. The determination unit 14 calculates the XYZ coordinates of the end points of the corrected position vectors V1, V2, and V3. The determination unit 14 minimizes the difference between the XYZ coordinates of the end points of the reference position vectors V11, V12, and V13 after the coordinate conversion and the XYZ coordinates of the end points of the corrected position vectors V1, V2, and V3. The coordinate conversion matrix may be determined.
  • FIG. 13 is a diagram showing an example of a setting screen for setting a gripping point candidate.
  • the setting screen 50 illustrated in FIG. 13 is displayed on the display device 150 by the display control unit 11 of the gripping point setting unit 10.
  • the setting screen 50 illustrated in FIG. 11 corresponds to the state when the tab 67 is operated, and is displayed when the end effector 301 is a two-finger hand.
  • the setting screen 50 includes the area 51.
  • the display control unit 11 reads the CAD data 42 from the storage unit 40, and displays the work model M1 indicated by the CAD data 42 in the area 51.
  • the display format of the work model M1 is not particularly limited.
  • the work model M1 may be displayed in wireframe format.
  • the display control unit 11 receives an operation on the work model M1 displayed in the area 51.
  • the display control unit 11 changes the position and orientation of the work model M1 according to the received operation. For example, the display control unit 11 enlarges / reduces, translates, or rotates the work model M1.
  • the display control unit 11 displays the X-axis 52x, the Y-axis 52y and the Z-axis 52z, and the line 53x, the line 53y and the line 53z in the area 51 in order to assist the operation by the user.
  • the X-axis 52x, the Y-axis 52y, and the Z-axis 52z are coordinate axes based on the work model, and represent a work coordinate system with the center of gravity of the work model M1 as the origin.
  • the origin set in the CAD data 42 is not necessarily the center of gravity of the work model M1. Therefore, the display control unit 11 converts the coordinates included in the CAD data 42 so that the origin coincides with the center of gravity of the work model M1.
  • the lines 53x, 53y, and 53z are circular lines indicating the rotation directions centered on the X-axis 52x, Y-axis 52y, and Z-axis 52z, respectively.
  • the reception unit 12 receives the first point P1 and the second point P2 on the work model M1 based on the position designated by the input device 160 in the area 51 of the setting screen 50. For example, when two points overlapping the work model M1 are clicked in order in the area 51, the reception unit 12 accepts the point clicked first among the two points as the first point P1 and clicks after the two points. The point is accepted as the second point P2.
  • the position vectors V1, V2, and V3 are calculated for the work model M1 according to the first point P1 and the second point P2 received by the reception unit 12. Then, the position / orientation of the end effector model M2 is determined so that the relative positional relationship between the reference position vectors V11, V12, V13 and the position vectors V1, V2, V3 indicated by the model data 43 approaches the reference relationship.
  • the reception unit 12 receives the first point P1 and the second point P2
  • the position and orientation of the end effector model M2 are determined according to the first point P1 and the second point P2. Therefore, when the reception unit 12 receives the first point P1 and the second point P2 N times (N is an integer of 2 or more), N positions and orientations of the end effector model M2 are determined.
  • the setting screen 50 includes various buttons for assisting the registration process of the gripping point candidate. As shown in FIG. 13, the setting screen 50 includes a grip point selection button group 55, a delete button 56, an adjustment button group 57, a reverse button group 58, a reset button 59, and a duplicate button group 60. ..
  • the gripping point selection button group 55 receives N positions and orientations of the determined end effector model M2 when the receiving unit 12 receives the first point P1 and the second point P2 N times (N is an integer of 2 or more). Includes a button to select one of them.
  • the display control unit 11 causes the end effector model M2 of the selected position and orientation to be displayed in the area 51 on top of the work model M1 in response to the operation of the grip point selection button group 55.
  • the delete button 56 is a button for deleting the determined position and orientation of the end effector model M2.
  • the registration unit 17 deletes the position / orientation selected by the operation of the grip point selection button group 55 from the grip point candidates.
  • the position vector V2 having the same direction as the average vector of the normal vector Va of the first point P1 in the work model M1 and the normal vector Vb of the second point P2 in the work model M1. Is set. Therefore, the position vector V2 may not be orthogonal to the position vector V1.
  • the reference position vectors V11, V12, and V13 are orthogonal to each other. Therefore, depending on how the first point P1 and the second point P2 are designated, the position / orientation determined by the determination unit 14 may deviate from the desired position / orientation.
  • the image processing device 100 according to the present embodiment has a function of adjusting the position and orientation determined by the determination unit 14.
  • FIG. 14 is a diagram illustrating an example of a method of adjusting the position and orientation of the end effector model.
  • FIG. 15 is a diagram illustrating another example of a method of adjusting the position and orientation of the end effector model.
  • the end effector model M2 of the position and orientation selected by the operation of the gripping point selection button group 55 is displayed.
  • FIG. 14 shows the end effector model M2 shown in FIG.
  • FIG. 15 shows the end effector model M2 shown in FIG.
  • the display control unit 11 converts the coordinates of the end effector model M2 indicated by the model data 43 using the coordinate conversion matrix determined by the determination unit 14.
  • the display control unit 11 displays the end effector model M2 after the coordinate conversion in the area 51.
  • the display control unit 11 performs coordinate conversion of the reference position vectors V11, V12, and V13 indicated by the model data 43 by using the coordinate conversion matrix determined by the determination unit 14.
  • the display control unit 11 may display the reference position vectors V11, V12, and V13 after the coordinate conversion in the area 51.
  • the adjustment button group 57 (see FIG. 13) includes buttons 57a to 57h.
  • the determination unit 14 adjusts the determined position and orientation according to the operation of the buttons 57a to 57h. Further, the display control unit 11 displays the end effector model M2 in the adjusted position and orientation in the area 51.
  • Buttons 57a, 57b, 57c are buttons for translating the end effector model M2.
  • the direction of translational movement is predetermined. For example, by operating the buttons 57a, 57b, 57c, the determination unit 14 is in the same direction as the reference position vectors V11, V12, V13 (that is, in the positive direction of the X-axis, Y-axis, and Z-axis of the end effector coordinate system). ), The end effector model M2 is moved in translation. Then, the display control unit 11 displays the translated end effector model M2 in the area 51.
  • Buttons 57d, 57e, 57f are buttons for rotating and moving the end effector model M2.
  • the axis of rotational movement is predetermined. For example, by operating the buttons 57d, 57e, 57f, the determination unit 14 determines the end effector with the reference position vectors V11, V12, V13 (or the axes parallel to the reference position vectors V11, V12, V13) as the rotation axis.
  • Each model M2 is rotated and moved.
  • the display control unit 11 displays the rotated end effector model M2 in the area 51.
  • the display control unit 11 changes the stroke width of the end effector model M2. Specifically, the display control unit 11 translates the parts belonging to the "Left tip finger”, “Left finger”, “Right tip finger” and “Right finger” groups.
  • the moving direction is the direction of the vector obtained by coordinate-transforming the vector indicating the movable direction shown in the model data 43 by using the coordinate transformation matrix determined by the determination unit 14.
  • the determination unit 14 By operating the button 57h, the determination unit 14 translates the end effector model M2 along the direction of the reference position vector V13. Then, the display control unit 11 displays the translated end effector model M2 in the area 51. Regardless of which of the buttons 57c and 57h is operated, the end effector model M2 translates along the direction of the reference position vector V13. However, the position and orientation of the end effector model to be duplicated when the duplicate button group 60 (see FIG. 13) is operated differs depending on which of the buttons 57c and 57h is operated.
  • the adjustment button group 57 includes a pull-down button 57i for setting a unit movement amount when the buttons 57a to 57h are operated.
  • the unit movement amount when the buttons 57a to 57c, 57g, and 57h are operated is 1% of the length of the side of the circumscribing rectangular parallelepiped of the end effector model M2.
  • the unit movement amount when the buttons 57d to 57f are operated is 1 °.
  • Each of the buttons 57a to 57h includes a plus button and a minus button.
  • the plus button is a button for moving the end effector model M2 by a unit movement amount in the positive direction
  • the minus button is a button for moving the end effector model M2 by a unit movement amount in the negative direction.
  • the display control unit 11 displays the vectors V21 and V31 parallel to the translational movement direction in the area 51 in order to make the user recognize the translational movement direction by operating the button 57a.
  • the vectors V21 and V31 are axes parallel to the reference position vector V11.
  • the display control unit 11 displays the vectors V21 and V31 and the buttons 57a and 57d in the same color (for example, red).
  • the display control unit 11 displays the vectors V22 and V32 parallel to the translational movement direction in the area 51 in order to make the user recognize the translational movement direction by operating the button 57b.
  • the vectors V22 and V32 are axes parallel to the reference position vector V12.
  • the display control unit 11 displays the vectors V22 and V32 and the buttons 57b and 57e in the same color (for example, green).
  • the display control unit 11 displays the vectors V23 and V33 parallel to the translational movement direction in the area 51 in order to make the user recognize the translational movement direction by operating the button 57c.
  • the vectors V23 and V33 are axes parallel to the reference position vector V13.
  • the display control unit 11 displays the vectors V23 and V33 and the buttons 57c and 57f in the same color (for example, blue). As a result, the user can easily perform the button operation according to the desired movement direction.
  • the vectors V21 to V23 are displayed near the tips of the parts (part 78 in FIG. 14) belonging to the "Right tip finger” group in the end effector model M2.
  • the vectors V31 to V33 are displayed near the tips of the parts belonging to the "Left tip finger” group in the end effector model M2 (part 80 in FIG. 14 and part 80b in FIG. 15).
  • one of the vectors V21 to V23 and the vectors V31 to V33 (vectors V21 to V23 in FIG. 15) is hidden in the work model M1 depending on the display direction of the work model M1.
  • the user can operate the buttons according to the desired movement direction while looking at the other. Can be done.
  • the flip button group 58 includes a vertical flip button 58a and a left / right flip button 58b.
  • the display control unit 11 rotates the end effector model M2 by 180 ° about the straight line including the reference position vector V12 as the rotation axis.
  • the display control unit 11 sets the end effector model M2 with the Z axis of the end effector coordinate system coordinate-transformed using the coordinate conversion matrix determined by the determination unit 14 as the rotation axis. Rotate 180 °. The user can easily invert the end effector model M2 by operating the inversion button group 58.
  • the determination unit 14 resets all the adjustments of the position and orientation of the end effector model M2. Therefore, the display control unit 11 returns the position / orientation of the end effector model M2 displayed in the area 51 to the position / orientation before adjustment.
  • the duplication button group 60 shown in FIG. 13 is a button group for making settings related to automatic duplication. As shown in FIG. 13, the duplicate button group 60 includes a "Single" button 60a. When the button 60a is operated, the automatic duplication function is set to off.
  • FIG. 16 is a diagram showing an example of a setting screen when the "Fan” button 60b included in the duplicate button group is operated.
  • FIG. 17 is a diagram showing an example of a setting screen when the “Cylinder” button 60c included in the duplicate button group is operated.
  • FIG. 18 is a diagram showing an example of a setting screen when the “Hybrid” button 60d included in the duplicate button group is operated.
  • FIG. 19 is a diagram showing an example of a setting screen when the “Circle” button 60e included in the duplicate button group is operated.
  • the duplication processing unit 15 determines the rotation axis according to the operation of the buttons 60b to 60e.
  • the duplication processing unit 15 has a midpoint P100 between the center of gravity of the end face of the part belonging to the “Right tip finger” group and the center of gravity of the end face of the part belonging to the “Left tip finger” group in the end effector model M2 (see FIG. 8C). ) Coordinates are calculated. The coordinates of the midpoint P100 are calculated based on the coordinates of the parts converted using the coordinate conversion matrix determined by the determination unit 14.
  • the duplication processing unit 15 determines a straight line passing through the midpoint P100 and parallel to the reference position vector V12 as the rotation axis according to the operation of the button 60b.
  • the duplication processing unit 15 determines a straight line passing through the midpoint P100 and parallel to the reference position vector V11 as the rotation center axis in response to the operation of the button 60c.
  • the duplication processing unit 15 determines a straight line passing through the midpoint P100 and parallel to the reference position vector V11 as the first rotation axis in response to the operation of the button 60d, passes through the midpoint P100, and is parallel to the reference position vector V12.
  • Straight line is determined as the second rotation axis.
  • the duplication processing unit 15 determines a straight line passing through the midpoint P100 and parallel to the reference position vector V13 as the rotation axis in response to the operation of the button 60e.
  • the duplicate button group 60 includes buttons 60f to 60h for setting a rotation angle with respect to the rotation center axis.
  • the button 60f is operated to set the start angle.
  • the button 60g is operated to set the end angle.
  • the button 60h is operated to set the number of duplicates.
  • Each of the buttons 60f to 60h includes a plus button and a minus button. By operating the plus button, the angle or number is changed to the positive side. By operating the minus button, the angle or number is changed to the negative side.
  • the duplication button group 60 includes a pull-down button 60i for selecting the unit change amount of the angle when the buttons 60f and 60g are operated.
  • a pull-down button 60i for selecting the unit change amount of the angle when the buttons 60f and 60g are operated.
  • 1 ° is selected as the unit change amount.
  • the amount of change in the number of duplicates when the button 60h is operated is 1.
  • the display control unit 11 displays the text T66 indicating the start angle, the end angle, and the number of duplicates in the area 51.
  • the user can set a desired start angle, end angle, and number of duplicates by operating the buttons 60f to 60h while looking at the text T66.
  • the duplication processing unit 15 duplicates the end effector models M2_1 to M2_3 by rotating the end effector model M2 by ⁇ 30 °, 0 °, and 30 ° with respect to the rotation axis, respectively.
  • the display control unit 11 displays the duplicated end effector models M2_1 to M2_3 in the area 51.
  • the end effector model M2_2 coincides with the end effector model M2.
  • the duplication processing unit 15 rotates the end effector model M2 by ⁇ 150 °, ⁇ 100 °, ⁇ 50 °, 0 °, 50 °, 100 °, 150 ° with respect to the rotation axis, thereby causing the end effector model.
  • M2_1 to M2_7 are duplicated respectively.
  • the display control unit 11 displays the duplicated end effector models M2_1 to M2_7 in the area 51.
  • the end effector model M2_4 coincides with the end effector model M2.
  • the duplication processing unit 15 duplicates the end effector models M2_1 to M2_3 by rotating the end effector model M2 by ⁇ 30 °, 0 °, and 30 ° with respect to the first rotation axis, respectively.
  • the duplication processing unit 15 rotates the end effector model M2_1 with respect to the second rotation axis by ⁇ 150 °, ⁇ 100 °, ⁇ 50 °, 0 °, 50 °, 100 °, 150 °. Duplicate the 7 end effector models.
  • the duplication processing unit 15 rotates the end effector model M2_2 (M2) by ⁇ 150 °, -100 °, -50 °, 0 °, 50 °, 100 °, 150 ° with respect to the second rotation axis. , 7 end effector models are duplicated.
  • the duplication processing unit 15 rotates the end effector model M2_3 by ⁇ 150 °, -100 °, -50 °, 0 °, 50 °, 100 °, 150 ° with respect to the second rotation axis, thereby causing seven rotations. Duplicate the end effector model.
  • the duplication processing unit 15 duplicates a total of 24 end effector models M2-1 to M2_24.
  • the display control unit 11 displays the duplicated end effector models M2_1 to M2_24 in the area 51.
  • the duplication processing unit 15 duplicates the end effector models M2_1 to M2_3 by rotating the end effector model M2 by ⁇ 88 °, ⁇ 6.5 °, and 75 ° with respect to the rotation axis, respectively.
  • the display control unit 11 displays the duplicated end effector models M2_1 to M2_3 in the area 51.
  • the duplication processing unit 15 duplicates the end effector model based on the adjusted position and orientation. Do it. Specifically, the duplication processing unit 15 sets the rotation axis based on the end effector model M2 of the adjusted position and orientation. The duplication processing unit 15 duplicates the end effector model by rotating the adjusted end effector model M2 with respect to the set rotation axis. Therefore, for example, when the end effector model M2 is translated by +1 in the direction of the reference position vector V11 in FIG. 17, the duplicated end effector models M2-1 to M2_7 are also translated by +1 in the direction of the reference position vector V11.
  • the duplication processing unit 15 duplicates the end effector model based on the adjusted position and orientation. However, the duplication processing unit 15 sets the rotation axis based on the end effector model M2 of the position and orientation before adjustment. Then, the duplication processing unit 15 duplicates the end effector model by rotating the adjusted end effector model M2 with respect to the set rotation axis. Therefore, for example, when the end effector model M2 is translated by +1 in the direction of the reference position vector V13 by operating the button 57h in FIG. 17, each of the duplicated end effector models M2_1 to M2_7 is brought closer to the rotation axis. Translate by +1.
  • the setting screen 50 includes a copy button 61.
  • the duplication processing unit 15 duplicates the end effector model M2 in the position and orientation determined by the determination unit 14.
  • the initial position / orientation of the duplicated end effector model is the same as the position / orientation determined by the determination unit 14.
  • the display control unit 11 displays the duplicated end effector model in the area 51.
  • the duplication processing unit 15 changes the position and orientation of the duplicated end effector model in response to an operation on the duplicated end effector model.
  • the setting screen 50 includes a reverse copy button 62.
  • the duplication processing unit 15 is point-symmetrical with respect to the origin of the work coordinate system (center of gravity of the work model M1) and the end effector model M2 of the position and orientation determined by the determination unit 14. Duplicate an end effector model.
  • the display control unit 11 displays the duplicated end effector model in the area 51.
  • the display control unit 11 has a display function of the auxiliary guide surface so that the relative positional relationship between the tip of the end effector model M2 and the work model M1 can be easily grasped.
  • the auxiliary guide surface is displayed in response to the operation of the pull-down button 63 (see FIG. 13) on the setting screen 50.
  • FIG. 20 is a diagram showing an example of an auxiliary guide surface displayed on the setting screen.
  • "Cylinder (X)" is selected by the pull-down button 63.
  • an auxiliary guide surface is formed between the part 78 belonging to the “Right tip finger” group of the end effector model M2 and the part 80 belonging to the “Left tip finger” group.
  • 69a is displayed.
  • the auxiliary guide surface 69a has a cylindrical shape having a diameter of a line segment connecting points P101 and P102 (see (c) in FIG. 8) located on the end faces of parts 78 and 80, respectively, and having an axis parallel to the reference position vector V11. is there.
  • the point P101 is the point on the end face of the part 78 that passes through the center of gravity of the end face and is parallel to the movable direction and is the closest point to the part 80.
  • the point P102 coincides with the point P10 (see FIG. 10) that is closest to the part 78 among the points on the line that passes through the center of gravity of the end face and is parallel to the movable direction on the end face of the part 80.
  • Cylinder (Z) may be selected by the pull-down button 63.
  • a cylindrical auxiliary guide surface having a diameter of a line segment connecting the points P101 and P102 and having an axis parallel to the reference position vector V13 is displayed.
  • FIG. 21 is a diagram showing another example of the auxiliary guide surface displayed on the setting screen.
  • "Rectangle (Z)" is selected by the pull-down button 63.
  • a square tube shape is formed between the part 78 belonging to the “Right tip finger” group of the end effector model M2 and the part 80 belonging to the “Left tip finger” group.
  • Auxiliary guide surface 69b is displayed.
  • the cross section of the auxiliary guide surface 69b is a circular circumscribed square having a diameter of a line segment connecting points P101 and P102 located at the tips of parts 78 and 80, respectively.
  • the axis of the square cylinder-shaped auxiliary guide surface 69b is parallel to the reference position vector V13.
  • Rectangle (X) may be selected by the pull-down button 63.
  • the area 51 of the setting screen 50 has a square tube-shaped auxiliary guide surface having a cross section of a circular circumscribed square having a diameter of a line segment connecting points P101 and P102 and having an axis parallel to the reference position vector V11. Is displayed.
  • the user may operate the pull-down button 63 according to the shape of the work model M1, the relative positional relationship between the end effector model M2 and the work model M1, and appropriately change the shape and orientation of the auxiliary guide surface.
  • the display control unit 11 displays the auxiliary guide surface based on the adjusted position / orientation. Therefore, for example, when the end effector model M2 is translated by +1 in the direction of the reference position vector V11 in FIG. 20, the auxiliary guide surface 69a is also translated by +1 in the direction of the reference position vector V11. Further, when the stroke width of the end effector model M2 is changed by +1 in FIG. 20, the diameter of the auxiliary guide surface 69a is also changed by +1.
  • the display control unit 11 assists based on the end effector model M2 of the position / orientation before adjustment (that is, the position / orientation determined by the determination unit 14). Display the guide surface. Therefore, for example, even if the end effector model M2 is translated by +1 in the direction of the reference position vector V13 by operating the button 57h in FIG. 20, the auxiliary guide surface 69a does not translate.
  • the setting screen 50 further includes the button groups 64, 65, 66.
  • the button group 64 is operated to set the traveling direction in the approach operation.
  • FIG. 22 is a diagram illustrating a method of setting the approach operation.
  • the button group 64 includes a "Tip” button 64a and a “ToolZ” button 64b.
  • the "Tip” button 64a is operated when setting an approach operation for bringing the end effector 301 closer to the work 1 along the extending direction of the finger portion 310.
  • the extension direction of the finger portion 310 corresponds to the normal direction of the end faces of the parts (part 78b in FIG. 22) belonging to the "Right tip finger” and “Left tip finger” groups in the end effector model M2.
  • the “ToolZ” button 64b is operated when setting an approach operation for bringing the end effector 301 closer to the work 1 along the normal direction of the flange surface of the articulated arm 302 (the Z-axis direction of the end effector coordinate system).
  • the button group 65 is operated to set the priority of the position / orientation determined by the determination unit 14.
  • the button group 65 includes a "High” button and a “Low” button.
  • the user operates the “High” button for the high-priority position and orientation, and operates the “Low” button for the low-priority position and orientation.
  • the registration unit 17 registers the position / posture in which the “High” button is operated as a high-priority gripping point candidate.
  • the registration unit 17 registers the position / posture in which the “Low” button is operated as a low-priority gripping point candidate.
  • the image processing unit 25 determines the position and orientation of the end effector 301 when picking the target work 2 based on the high-priority gripping point candidates.
  • the end effector 301 in the position and orientation determined by using the high-priority gripping point candidate may interfere with the other work 1 or the container 5.
  • the image processing unit 25 determines the position and orientation of the end effector 301 when picking the target work 2 based on the low priority gripping point candidate.
  • the button group 66 is operated to set a gripping method using the two finger portions 310.
  • the button group 66 includes an "Closing" button for setting the outer diameter grip and an "Open” button for setting the inner diameter grip.
  • the display control unit 11 displays the text 54 indicating the current setting state in the area 51.
  • the text 54 indicates “Object ID”, “Hand ID”, “Grasp point”, “DB ID”, “Priority”, “Approach”, “Pattern”, and “Direction”.
  • the "Object ID” is an ID that identifies the work model M1.
  • the “Hand ID” is an ID that identifies the end effector model M2.
  • the “Hand ID” is selected from the IDs entered in the input field 89 of FIG.
  • the "Grasp point” is the total number of positions and postures (denominator) determined by the determination unit 14 according to the designation of the first point P1 and the second point P2, and the position of the end effector model M2 currently displayed in the area 51.
  • the "DB ID” is the total number (denominator) of the position / orientation determined by the determination unit 14 and the position / orientation of the automatically duplicated end effector model, and the position / orientation of the end effector model M2 currently displayed in the area 51. Indicates a number (molecule). “Priority” indicates the priority currently set by operating the button group 65. “Approach” indicates the approach operation currently set by operating the button group 64. “Pattern” indicates an automatic duplication pattern currently set by operating the duplication button group 60. “Direction” indicates a gripping method currently set by operating the button group 66.
  • the determination unit 16 determines interference with the work model M1 for each of the end effector model M2 in the position and orientation determined by the determination unit 14 and the end effector model M2_k duplicated by the duplication processing unit 15. When the adjustment button group 57 is operated, the determination unit 16 determines the interference between the end effector models M2 and M2_k of the adjusted position and orientation and the work model M1.
  • the determination unit 16 makes an interference determination based on the coordinates of each part constituting the end effector models M2 and M2_k and the position coordinates of the triangular mesh constituting the surface of the work model M1.
  • the coordinates of each part constituting the end effector model M2 are calculated by converting the coordinates of each part indicated by the model data 43 using the coordinate transformation matrix determined by the determination unit 14.
  • the coordinates of each part constituting the end effector model M2_k are further calculated based on the rotation axis and the rotation angle determined according to the operation on the duplicate button group 60.
  • the shape and size of the end effector model M2 created by the model creation unit 30 may not match the shape and size of the end effector 301. Therefore, the determination unit 16 may enlarge the end effector models M2 and M2_k by the margin indicated by the model data 43 (the margin input in the input field 90 of FIG. 7). As a result, it is possible to prevent the position and orientation of the end effector 301 that interferes with the target work 2 from being mistakenly registered as a gripping point candidate.
  • FIG. 23 is a diagram showing an example of a setting screen when the end effector model of the position and orientation determined by the determination unit interferes with the work model.
  • the display control unit 11 changes the display format of the end effector model M2. For example, the display control unit 11 changes the display color of the parts 77 to 80 corresponding to the finger portion 310 in the end effector model M2.
  • the user can recognize that the end effector model M2 and the work model M1 are interfering with each other by checking the display colors of the parts 77 to 80.
  • the user may operate the adjustment button group 57 to adjust the position and orientation of the end effector model M2 so as not to interfere with the work model M1.
  • the registration unit 17 registers the position / orientation determined by the determination unit 14 and the position / orientation determined by the duplication processing unit 15 (position / orientation of the duplicated end effector model) as gripping point candidates.
  • the registration unit 17 receives the operation of the adjustment button group 57, the registration unit 17 registers the adjusted position and orientation as a gripping point candidate.
  • the registration unit 17 excludes the position and orientation of the end effector models M2 and M2_k determined by the determination unit 16 to interfere with the work model M1 from the gripping point candidates.
  • the registration unit 17 is an end effector model that is rotated by n ⁇ ⁇ about the axis of rotational symmetry from the position and orientation determined by the determination unit 14. The position and orientation are also registered as gripping point candidates. Note that n is an integer greater than or equal to 1 and less than 360 / ⁇ . Similarly, the registration unit 17 also includes the position and orientation of the end effector model that is rotated by n ⁇ ⁇ about the axis of rotational symmetry from the position and orientation of the end effector model M2_k that is automatically duplicated in response to the operation of the duplication button group 60. Register as a gripping point candidate.
  • FIG. 24 is a diagram illustrating an automatic registration process of grip point candidates in consideration of rotational symmetry of the end effector model.
  • FIG. 24 shows an example of the automatic registration process when 180 ° (two-fold symmetry) is set as the minimum rotation angle ⁇ .
  • FIG. 24A shows an end effector model M2 having a position and orientation determined by the determination unit 14.
  • the end effector model M2 (1) is rotated by 180 ° about the rotation target axis (Z axis of the end effector coordinate system) from the position and orientation of the end effector model M2 shown in (a). Is shown.
  • the end effector model M2 and the end effector model M2 (1) overlap each other.
  • the registration unit 17 registers the position and orientation of the end effector model M2 shown in FIG. 24 (a) as a gripping point candidate, the registration unit 17 of the end effector model M2 (1) shown in FIG. 24 (b).
  • the position and orientation are also automatically registered as gripping point candidates.
  • FIG. 25 is a flowchart showing an example of the flow of the registration process of the gripping point candidate.
  • the CPU 110 of the image processing device 100 accepts the designation of the first point P1 and the second point P2 on the work model M1 indicated by the CAD data 42 (step S1).
  • the CPU 110 specifies the normal vectors of the first point P1 and the second point P2 based on the CAD data 42 (step S2).
  • the CPU 110 calculates a position vector V1 having the same direction as the direction from the first point P1 to the second point P2, starting from the point P0 defined from the first point P1 and the second point P2 (step). S3).
  • the CPU 110 calculates a position vector V2 defined from the normal vector of the first point P1 and the normal vector of the second point P2 (step S4). Further, the CPU 110 calculates the position vector V3 represented by the outer product of the position vector V1 and the position vector V2 (step S5).
  • the CPU 110 makes the relative positional relationship between the predetermined reference position vectors V11, V12, V13 and the position vectors V1, V2, V3 with respect to the end effector model M2 approach the predetermined reference relationship.
  • the position and orientation of the end effector model M2 are determined (step S6).
  • the CPU 110 registers the determined position / orientation as a gripping point candidate (step S7). Specifically, the CPU 110 registers the relative position / orientation of the end effector model M2 of the position / orientation determined in step S6 with respect to the work model M1 as a gripping point candidate.
  • the adjusted position / posture may be registered as a gripping point candidate.
  • the position / orientation of the end effector model M2_k duplicated by rotating the end effector model M2 of the position / orientation determined in step S6 in a designated direction by a designated angle may also be registered as a gripping point candidate.
  • the position and orientation of the end effector model duplicated in consideration of the rotational symmetry of the end effector model M2 may also be registered as a gripping point candidate.
  • the end effector 301 is not limited to the two-finger hand.
  • the end effector 301 may be a multi-finger hand having three or more fingers or a suction hand having one or more vacuum pads.
  • the registration unit 17 registers the position and orientation of the two end effector models rotated by 120 ° and 240 ° around the axis of rotational symmetry from the position and orientation determined by the determination unit 14 as gripping point candidates.
  • FIG. 26 is a diagram showing an example of a model creation screen during creation of an end effector model corresponding to a suction hand.
  • the end effector model M2 is composed of parts 97 to 99.
  • Two groups of "Base” and “Bellows” are predetermined for the end effector which is a suction hand.
  • the "Base” group corresponds to the part that supports the vacuum pad.
  • the “Bellows” group corresponds to vacuum pads.
  • Parts 97 and 98 belong to the "Base” group.
  • Part 99 belongs to the "Bellows” group.
  • FIG. 27 is a diagram showing still another example of the auxiliary guide surface displayed on the setting screen.
  • the end effector model M2 created by using the model creation screen 70 shown in FIG. 26 is displayed.
  • the setting screen 50 illustrated in FIG. 27 corresponds to the state when the tab 68 is operated, and is displayed when the end effector 301 is a suction hand.
  • the determination unit 14 rigidly transforms the end effector coordinate system so that the relative positional relationship between the reference position vectors V11, V12, V13 and the position vectors V1, V2, V3 is closest to the reference relationship.
  • Determine the coordinate transformation matrix That is, the determination unit 14 corrects the position vectors V1, V2, and V3 based on the reference relationship in the work coordinate system.
  • the determination unit 14 minimizes the difference between the XYZ coordinates of the end points of the reference position vectors V11, V12, and V13 after the coordinate conversion and the XYZ coordinates of the end points of the corrected position vectors V1, V2, and V3. Determine the coordinate transformation matrix.
  • the method of determining the coordinate transformation matrix by the determination unit 14 is not limited to this.
  • the coordinate transformation matrix of rigid transformation is determined by using the coordinates of at least three points that are not on a straight line in each coordinate system. Therefore, the determination unit 14 has the XYZ coordinates of the common start point and each end point of the reference position vectors V11 and V12 after the coordinate conversion, and the common start point and the XYZ coordinates of each end point of the corrected position vectors V1 and V2.
  • the coordinate conversion matrix may be determined so that the difference between the two is minimized. In this case, the calculation unit 13 does not have to calculate the position vector V3. Further, the model creation unit 30 does not have to set the reference position vector V13 for the end effector model M2.
  • the calculation unit 13 calculates the position vector represented by the outer product of the position vector V1 and the position vector V2 as the position vector V3.
  • the calculation unit 13 may calculate the position vector V3 by another method.
  • the calculation unit 13 may calculate the position vector orthogonal to the position vector V1 as the position vector V3, starting from the same point P0 as the position vector V1.
  • FIG. 28 is a diagram showing a calculation method of the position vector V3 according to the modification 3.
  • the area 51 of the setting screen 50 is shown.
  • the calculation unit 13 starts at the point P0 where the first point P1 and the second point P2 are defined, and has the same direction as the direction from the first point P1 to the second point P2. Calculate the vector V1. Further, the calculation unit 13 calculates a position vector that passes through the point P0 and is parallel to the screen, with the point P0 as the starting point and the position vector orthogonal to the position vector V1 as the position vector V3.
  • FIG. 28B shows position vectors V1, V2, V3 from different viewpoints.
  • the calculation unit 13 calculates the position vector V2 in the same manner as in the above specific example. As shown in FIG. 28 (b), it is highly possible that the position vectors V1, V2, and V3 calculated according to the modification 3 are not orthogonal to each other.
  • FIG. 28C shows the relative positional relationship between the end effector model M2 and the work model M1 in the position and orientation determined by the determination unit 14.
  • the determination unit 14 determines the position and orientation of the end effector model M2 so that the relative positional relationship between the reference position vectors V11 to V13 and the position vectors V1 to V3 approaches the reference relationship, as in the above specific example.
  • the reference relationship includes a relationship in which the orientation of the position vector V2 and the orientation of the reference position vector V12 match.
  • the position vectors V1, V2, and V3 are not orthogonal to each other, the direction of the position vector V2 and the direction of the reference position vector V12 may deviate from each other as shown in FIG. 28 (c). In such a case, the position and orientation of the end effector model M2 are adjusted by operating the adjustment button group 57.
  • the calculation unit 13 calculates the position vector defined from the normal vectors of the first point P1 and the second point P2 in the work model M1 as the position vector V2.
  • the calculation unit 13 may calculate the position vector V2 by another method.
  • FIG. 29 is a diagram showing a calculation method of the position vector V2 according to the modified example 4.
  • the area 51 of the setting screen 50 is shown.
  • the calculation unit 13 starts at the point P0 where the first point P1 and the second point P2 are defined, and has the same direction as the direction from the first point P1 to the second point P2. Calculate the vector V1. Further, the calculation unit 13 calculates the position vector orthogonal to the position vector V1 as the position vector V3 on the plane parallel to the screen through the point P0 as in the above-described modification 3. ..
  • FIG. 29 (b) shows position vectors V1, V2, V3 from different viewpoints.
  • the calculation unit 13 calculates the outer product of the position vector V1 and the position vector V3 as the position vector V2.
  • the position vectors V1, V2, and V3 calculated according to the modification 4 are orthogonal to each other.
  • FIG. 29 (c) shows the relative positional relationship between the end effector model M2 and the work model M1 in the position and orientation determined by the determination unit 14.
  • the determination unit 14 determines the position and orientation of the end effector model M2 so that the relative positional relationship between the reference position vectors V11 to V13 and the position vectors V1 to V3 approaches the reference relationship, as in the above specific example.
  • the reference relationship includes a relationship in which the orientation of the position vector V2 and the orientation of the reference position vector V12 match. Since the position vectors V1, V2, and V3 are orthogonal to each other, the orientation of the position vector V2 and the orientation of the reference position vector V12 coincide with each other as shown in FIG. 29 (c).
  • the direction of the position vector V2 is not limited to the normal direction on the surface of the work model M1, the positions of the first point P1 and the second point P2, and the first point P1 and the second point. It depends on the posture of the work model M1 when P2 is specified. Therefore, as shown in FIG. 29 (c), the end effector model M2 and the work model M1 may interfere with each other. In such a case, the position and orientation of the end effector model M2 are adjusted by operating the adjustment button group 57.
  • FIG. 30 is a diagram showing a calculation method of the position vector V2 according to the modified example 5.
  • the area 51 of the setting screen 50 is shown.
  • the calculation unit 13 starts at the point P0 where the first point P1 and the second point P2 are defined, and has the same direction as the direction from the first point P1 to the second point P2. Calculate the vector V1.
  • the display control unit 11 changes the posture of the work model M1 displayed in the area 51. Specifically, the display control unit 11 changes the posture of the work model M1 displayed in the area 51 so that the point on the line passing through the point P0 and orthogonal to the position vector V1 becomes the user's viewpoint.
  • FIG. 30B shows the region 51 after the posture of the work model M1 has been changed.
  • the reception unit 12 receives the designation of the third point P3 on the plane passing through the point P0 and orthogonal to the position vector V1 in the region 51 shown in FIG. 30 (b).
  • the calculation unit 13 calculates a position vector having the same direction as the direction from the point P0 to the third point P3, starting from the point P0, as the position vector V2. Further, the calculation unit 13 calculates the outer product of the position vector V1 and the position vector V2 as the position vector V3, as in the above specific example.
  • the determination unit 14 determines the position and orientation of the end effector model M2 so that the relative positional relationship between the reference position vectors V11 to V13 and the position vectors V1 to V3 is closest to the reference relationship, as in the above specific example.
  • the user can set the gripping point candidate only by designating the first point P1, the second point P2, and the third point P3.
  • the model creation unit 30 creates the end effector model M2 according to an input instruction by the user. However, the model creation unit 30 accepts the designation of CAD data that defines the three-dimensional shape of the end effector 301, and sets the reference position vectors V11, V12, and V13 for the end effector model indicated by the designated CAD data. You may.
  • the image processing device 100 is assumed to include the gripping point setting unit 10.
  • the setting device communicably connected to the image processing device 100 may include the gripping point setting unit 10.
  • the image processing device 100 sets the position / orientation candidate (grip point candidate) of the end effector 301 when the end effector 301 of the robot 300 picks the work 1.
  • the image processing device 100 includes a reception unit 12, a calculation unit 13, a determination unit 14, and a registration unit 17.
  • the reception unit 12 receives the designation of the first point P1 and the second point P2 on the work model M1 indicated by the CAD data 42 that defines the three-dimensional shape of the work 1.
  • the calculation unit 13 calculates a position vector V1 having the same direction as the direction from the first point P1 to the second point P2, starting from the point P0 defined from the first point P1 and the second point P2.
  • the calculation unit 13 calculates the position vector V2 defined from the normal vectors of the first point P1 and the second point P2 in the work model M1.
  • the determination unit 14 is a first reference in which the relative positional relationship between the reference position vectors V11 and V12 and the position vectors V1 and V2, which are predetermined with respect to the end effector model M2 showing the three-dimensional shape of the end effector 301, is predetermined.
  • the position and orientation of the end effector model M2 are determined so as to approach the relationship.
  • the first reference relationship is, for example, a relationship that coincides with the reference position vectors V11 and V12 when the position vectors V1 and V2 are translated by a predetermined distance in the direction of the position vector V2.
  • the registration unit 17 registers the position / posture determined by the determination unit 14 as a gripping point candidate.
  • the user can set the gripping point candidate only by designating the first point P1 and the second point P2 on the work model M1. That is, the position and orientation of the end effector 301 that picks the work 1 is easily set.
  • the calculation unit 13 further calculates the position vector V3 represented by the outer product of the position vector V1 and the position vector V2.
  • the determination unit 14 the relative positional relationship between the reference position vectors V11 and V12 and the position vectors V1 and V2 approaches the first reference relationship, and the reference position vector V13 and the position vector predetermined for the end effector model M2.
  • the position and orientation of the end effector model M2 are determined so that the relative positional relationship with V3 approaches a predetermined second reference relationship.
  • the second reference relationship is, for example, a relationship that matches the reference position vector V13 when the position vector V3 is translated by a predetermined distance in the direction of the position vector V2.
  • the determination unit 14 can determine the position / orientation that can be registered as a gripping point candidate in consideration of the relative positional relationship between the position vector V3 and the reference position vector V13.
  • the calculation unit 13 may calculate the position vector orthogonal to the position vector V1 as the position vector V3.
  • the image processing device 100 further includes a model creation unit 30 that creates an end effector model M2 according to an input instruction.
  • the model creation unit 30 sets the reference position vectors V11, V12, and V13 for the end effector model M2.
  • the user can freely create the end effector model M2 by using the model creation unit 30.
  • end effector model M2 may be shown by CAD data that defines the three-dimensional shape of the end effector 301 as in the modification 6. In this case, the user does not have to create the end effector model M2 using the model creation unit 30.
  • the end effector 301 has rotational symmetry.
  • the model creation unit 30 sets the axis of rotational symmetry in the end effector model M2 and the minimum rotational angle ⁇ that overlaps with itself.
  • the registration unit 17 further registers the position / orientation of the end effector model M2 rotated by n times the minimum rotation angle ⁇ about the axis of rotational symmetry from the position / orientation determined by the determination unit 14 as a gripping point candidate.
  • n is an integer greater than or equal to 1 and less than 360 ° / ⁇ .
  • the work 1 can be gripped even if the end effector 301 is rotated by n times the minimum rotational angle ⁇ with respect to the axis of rotational symmetry.
  • the position / orientation of the end effector model M2 rotated by n times the minimum rotation angle ⁇ around the axis of rotational symmetry from the position / orientation determined by the determination unit 14 is also automatically registered as a gripping point candidate. To. This reduces the time and effort required for the user to register the gripping point candidate.
  • the image processing device 100 further includes a display control unit 11 for displaying the work model M1 on the setting screen 50 of the display device 150.
  • the reception unit 12 receives the first point P1 and the second point P2 based on the positions designated on the setting screen 50. As a result, the user can specify the first point P1 and the second point P2 at a desired position on the work model M1 while looking at the work model M1 displayed on the setting screen 50.
  • the display control unit 11 displays the coordinate axes (X-axis 52x, Y-axis 52y, and Z-axis 52z) based on the work model M1 on the setting screen 50.
  • the display control unit 11 changes the position and orientation of the work model M1 displayed on the setting screen 50 in response to an operation on the work model M1.
  • the user can easily change the position and orientation of the work model M1 to a desired state so that the first point P1 and the second point P2 can be easily specified while looking at the coordinate axes with respect to the work model M1.
  • the display control unit 11 superimposes and displays the end effector model M2 of the position and orientation determined by the determination unit 14 on the work model M1 on the setting screen 50.
  • the determination unit 14 accepts at least one operation of translational movement along the axial direction of the coordinate system (end effector coordinate system) of the end effector model M2 and rotational movement around a rotation axis parallel to the axial direction.
  • the determined position and orientation are adjusted according to the operation.
  • the user adjusts the position and orientation of the end effector model M2 determined so that the relative positional relationship between the reference position vectors V11, V12, V13 and the position vectors V1, V2, V3 approaches the reference relationship, and after the adjustment.
  • Position and orientation can be registered as gripping point candidates.
  • the reference position vectors V11, V12, and V13 are parallel to the X-axis, Y-axis, and Z-axis in the end effector coordinate system, respectively.
  • the display control unit 11 displays the reference position vectors V11, V12, and V13 on the setting screen 50. This makes it easier for the user to adjust the position and orientation of the end effector model M2 to a desired state while looking at the reference position vectors V11, V12, and V13.
  • the display control unit 11 may display the axial direction of the end effector coordinate system on the setting screen 50. Specifically, the display control unit 11 displays the vectors V21, V31, vectors V22, V32 and vectors V23, V33 parallel to the X-axis, Y-axis, and Z-axis in the end effector coordinate system, respectively. This makes it easier for the user to adjust the position and orientation of the end effector model M2 to a desired state while looking at the vectors V21, V31, V22, V32, V23, and V33.
  • the display control unit 11 displays the auxiliary guide surfaces 69a, 69b, 69c having a predetermined shape in contact with the tip of the end effector model M2 on the setting screen 50.
  • the end effector 301 has, for example, two finger portions 310.
  • a cylindrical auxiliary guide surface 69a having a diameter of a line segment connecting two points corresponding to the tips of the two finger portions 310 in the end effector model M2 is displayed.
  • a square tubular auxiliary guide surface 69b having a cross section of a circumscribed square of a circle having the diameter of the line segment is displayed.
  • the end effector 301 may be a suction hand having one or more vacuum pads.
  • a flat auxiliary guide surface 69c including the tip surface of the part corresponding to one or more vacuum pads in the end effector model M2 is displayed.
  • the user can easily grasp the relative positional relationship between the tip of the end effector model M2 and the work model M1.
  • the image processing device 100 further includes a determination unit 16 that determines interference between the end effector model M2 and the work model M1 in the position and orientation determined by the determination unit 14.
  • the display control unit 11 superimposes and displays the end effector model M2 of the position and orientation determined by the determination unit 14 on the work model M1 on the setting screen 50.
  • the display control unit 11 changes the display format of the end effector model M2 according to the determination by the determination unit 16 that the interference is occurring. As a result, the user can easily grasp that the end effector model M2 and the work model M1 are interfering with each other.
  • the registration unit 17 deletes the position / posture determined to be interfering with the determination unit 16 from the gripping point candidates. As a result, it is possible to prevent the position and orientation of the end effector model M2 that interferes with the work model M1 from being registered as a gripping point candidate.
  • this embodiment includes the following disclosures.
  • the reception unit (12) that accepts the designation of the first point (P1) and the second point (P2) on the work model (M1) indicated by the first CAD data (42) that defines the three-dimensional shape of the work (1).
  • the direction is the same as the direction from the first point (P1) to the second point (P2).
  • the second position vector (V2) defined from the first position vector (V1) and the normal vectors (Va, Vb) of the first point (P1) and the second point (P2) in the work model (M1).
  • the calculation unit (13) The first reference position vector (V11) and the second reference position vector (V12) predetermined for the end effector model (M2) showing the three-dimensional shape of the end effector (301), and the first position vector (V12).
  • a determination unit (14) that determines the position and orientation of the end effector model (M2) so that the relative positional relationship between V1) and the second position vector (V2) approaches a predetermined first reference relationship.
  • a setting device (100) including a registration unit (17) for registering a position / posture determined by the determination unit (14) as the position / posture candidate.
  • the calculation unit (13) further calculates a third position vector (V3) represented by the outer product of the first position vector (V1) and the second position vector (V2).
  • the determination unit (14) has a relative positional relationship between the first reference position vector (V11) and the second reference position vector (V12) and the first position vector (V1) and the second position vector (V2). Approaches the first reference relationship, and the relative positional relationship between the third reference position vector (V13) and the third position vector (V3) predetermined with respect to the end effector model (M2) is predetermined.
  • the setting device (100) according to the configuration 1 for determining the position and orientation of the end effector model (M2) so as to approach the second reference relationship.
  • the calculation unit (13) further calculates a third position vector (V3) orthogonal to the first position vector (V1).
  • the determination unit (14) has a relative positional relationship between the first reference position vector (V11) and the second reference position vector (V12) and the first position vector (V1) and the second position vector (V2). Approaches the first reference relationship, and the relative positional relationship between the third reference position vector (V13) and the third position vector (V3) predetermined with respect to the end effector model (M2) is predetermined.
  • the setting device (100) according to the configuration 1 for determining the position and orientation of the end effector model (M2) so as to approach the second reference relationship.
  • a model creation unit (30) for creating the end effector model (M2) according to an input instruction is further provided.
  • the setting device (100) according to any one of configurations 1 to 3, wherein the model creating unit (30) sets the first reference position vector (V11) and the second reference position vector (V12).
  • the end effector (301) has rotational symmetry and has rotational symmetry.
  • the model creation unit (30) sets the axis of rotational symmetry in the end effector model (M2) and the minimum rotation angle ⁇ that overlaps with itself.
  • the registration unit (17) sets the position and orientation of the end effector model rotated by n times the minimum rotation angle ⁇ around the axis of rotational symmetry from the position and orientation determined by the determination unit (14). Further register as a posture candidate, The setting device (100) according to the configuration 5, wherein n is an integer of 1 or more and less than 360 ° / ⁇ .
  • a display control unit (11) for displaying the work model (M1) on the screen (50) of the display device (150) is further provided.
  • the reception unit (12) according to any one of configurations 1 to 6, which receives the first point (P1) and the second point (P2) based on the position designated on the screen (50).
  • the display control unit (11) The coordinate axes (52x, 52y, 52z) based on the work model (M1) are displayed on the screen (50).
  • the setting device (100) according to configuration 7, which changes the position and orientation of the work model (M1) displayed on the screen (50) in response to an operation on the work model (M1).
  • the display control unit (11) superimposes and displays the end effector model (M2) of the position and orientation determined by the determination unit (14) on the work model (M1).
  • the determination unit (14) accepts at least one operation of translational movement along a predetermined direction and rotational movement about a rotation axis parallel to the predetermined direction, and in response to the operation,
  • the setting device (100) according to configuration 7 or 8, which adjusts the determined position and orientation.
  • the end effector (301) has two fingers (310) and has two fingers.
  • the guide surfaces (69a, 69b) have a cylindrical shape having a diameter of a line segment connecting two points (P101, P102) corresponding to the tips of the two finger portions (310) in the end effector model (M2).
  • the end effector (301) is a suction hand having one or more vacuum pads.
  • the setting device (100) according to the configuration 11 in which the guide surface (69c) has a planar shape including the tip surface of a part (99) corresponding to the one or more vacuum pads in the end effector model (M2).
  • a determination unit (16) for determining interference between the end effector model (M2) and the work model (M1) having a position and orientation determined by the determination unit (14) is further provided.
  • a determination unit (16) for determining interference between the end effector model (M2) and the work model (M1) having a position and orientation determined by the determination unit (14) is further provided.
  • the setting device (100) according to any one of configurations 1 to 13, wherein the registration unit (17) deletes the position / posture determined to be interfering with the determination unit (16) from the position / posture candidates.
  • (Structure 16) This is a method of setting a position / orientation candidate of the end effector (301) when the end effector (301) of the robot (300) picks the work (1).
  • the second position vector (V2) defined from the first position vector (V1) and the normal vectors (Va, Vb) of the first point (P1) and the second point (P2) in the work model (M1).
  • a setting method including a step of registering a position / posture determined by the determination unit (14) as the position / posture candidate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

演算部は、ワークモデル上の第１点および第２点から定義される点を始点とし、第１点から第２点への向きと同じ向きを有する位置ベクトル（Ｖ１）と、ワークモデルにおける第１点および第２点の法線ベクトルから定義される位置ベクトル（Ｖ２）とを演算する。決定部は、エンドエフェクタモデルに対して予め定められた基準位置ベクトル（Ｖ１１，Ｖ１２）と、位置ベクトル（Ｖ１，Ｖ２）との相対位置関係が基準関係に近づくように、エンドエフェクタモデルの位置姿勢を決定する。登録部は、決定された位置姿勢を、ワークをピッキングするときのエンドエフェクタの位置姿勢候補として登録する。これにより、対象物をピッキングするエンドエフェクタの位置姿勢が簡易に設定される。

Description

設定装置、設定方法およびプログラム
　本開示は、設定装置、設定方法およびプログラムに関する。
　従来、複数の物体（以下、「ワーク」とも称する。）の中から対象ワークをピッキングするエンドエフェクタを備えたロボットが知られている。このようなロボットの動作の制御システムでは、ワークをピッキングするときのエンドエフェクタの位置姿勢（以下、「把持位置姿勢」とも称する。）が予め登録される。制御システムは、予め登録された把持位置姿勢とワークの位置姿勢とに基づいて、ロボットを制御する。
　例えば、特開２０１８－１４４１６４号公報（特許文献１）は、ワークの三次元形状を仮想的に表現したワークモデルを画像表示領域に表示させた状態で把持位置姿勢を設定するロボット設定装置を開示している。具体的には、把持位置姿勢を示すＸ座標、Ｙ座標、Ｚ座標、Ｒx回転角、Ｒy回転角、Ｒz回転角を指定するための指定欄への入力に応じて、把持位置姿勢が設定される。
特開２０１８－１４４１６４号公報
　特許文献１に開示の技術では、把持位置姿勢を設定するために、ユーザは６つのパラメータを指定する必要がある。そのため、把持位置姿勢の設定に要する手間が煩雑となる。
　本発明は、上記の問題に鑑みてなされたものであり、その目的は、対象物をピッキングするエンドエフェクタの位置姿勢を簡易に設定可能な設定装置、設定方法およびプログラムを提供することである。
　本開示の一例によれば、ロボットのエンドエフェクタがワークをピッキングするときのエンドエフェクタの位置姿勢候補を設定するための設定装置は、受付部と、演算部と、決定部と、登録部とを備える。受付部は、ワークの三次元形状を定義する第１ＣＡＤデータによって示されるワークモデル上の第１点および第２点の指定を受け付ける。演算部は、第１点および第２点から定義される点を始点とし、第１点から第２点への向きと同じ向きを有する第１位置ベクトルと、ワークモデルにおける第１点および第２点の法線ベクトルから定義される第２位置ベクトルとを演算する。決定部は、エンドエフェクタの三次元形状を示すエンドエフェクタモデルに対して予め定められた第１基準位置ベクトルおよび第２基準位置ベクトルと、第１位置ベクトルおよび第２位置ベクトルとの相対位置関係が予め定められた第１基準関係に近づくように、エンドエフェクタモデルの位置姿勢を決定する。登録部は、決定部によって決定された位置姿勢を位置姿勢候補として登録する。
　この開示によれば、ユーザは、ワークモデル上の第１点および第２点を指定するだけで、ワークをピッキングするときのエンドエフェクタの位置姿勢候補を設定できる。すなわち、ワークをピッキングするときのエンドエフェクタの位置姿勢が簡易に設定される。
　上述の開示において、演算部は、第１位置ベクトルと第２位置ベクトルとの外積で表される第３位置ベクトルをさらに演算する。決定部は、第１基準位置ベクトルおよび第２基準位置ベクトルと第１位置ベクトルおよび第２位置ベクトルとの相対位置関係が第１基準関係に近づくとともに、エンドエフェクタモデルに対して予め定められた第３基準位置ベクトルと第３位置ベクトルとの相対位置関係が予め定められた第２基準関係に近づくように、エンドエフェクタモデルの位置姿勢を決定する。
　上記の開示によれば、決定部は、第３位置ベクトルと第３基準位置ベクトルとの相対位置関係も考慮して、位置姿勢候補として登録され得るエンドエフェクタモデルの位置姿勢を決定できる。
　なお、演算部は、第１位置ベクトルに直交する第３位置ベクトルをさらに演算してもよい。この場合でも、決定部は、第１基準位置ベクトルおよび第２基準位置ベクトルと第１位置ベクトルおよび第２位置ベクトルとの相対位置関係が第１基準関係に近づくとともに、エンドエフェクタモデルに対して予め定められた第３基準位置ベクトルと第３位置ベクトルとの相対位置関係が予め定められた第２基準関係に近づくように、エンドエフェクタモデルの位置姿勢を決定する。
　上述の開示において、エンドエフェクタモデルは、エンドエフェクタの三次元形状を定義する第２ＣＡＤデータによって示される。上記の開示によれば、ユーザは、エンドエフェクタモデルを作成しなくてもよい。
　上述の開示において、設定装置は、入力指示に従ってエンドエフェクタモデルを作成するモデル作成部をさらに備える。モデル作成部は、第１基準位置ベクトルおよび第２基準位置ベクトルを設定する。上記の開示によれば、ユーザは、モデル作成部を用いてエンドエフェクタモデルを自由に作成できる。
　上述の開示において、エンドエフェクタは回転対称性を有する。モデル作成部は、エンドエフェクタモデルにおける回転対称軸と、自身に重なり合う最小回転角度θとを設定する。登録部は、決定部によって決定された位置姿勢から回転対称軸を中心に最小回転角度θのｎ倍だけ回転させたエンドエフェクタモデルの位置姿勢を位置姿勢候補としてさらに登録する。ｎは、１以上かつ３６０°／θ未満の整数である。
　回転対称性を有するエンドエフェクタである場合、回転対称軸に対して最小回転角度θのｎ倍だけ回転させたエンドエフェクタであっても、ワークを把持可能となる。上記の開示によれば、決定部によって決定された位置姿勢から回転対称軸を中心に最小回転角度θのｎ倍だけ回転させたエンドエフェクタモデルの位置姿勢も把持点候補として自動で登録される。これにより、ユーザによる把持点候補の登録操作の手間が削減される。
　上述の開示において、設定装置は、ワークモデルを表示装置の画面に表示させる表示制御部をさらに備える。受付部は、画面において指定された位置に基づいて、第１点および第２点を受け付ける。
　上記の開示によれば、ユーザは、画面に表示されたワークモデルを見ながら、ワークモデル上の所望の位置において第１点および第２点を指定できる。
　上述の開示において、表示制御部は、ワークモデルを基準とする座標軸を画面に表示させ、ワークモデルに対する操作に応じて、画面に表示されるワークモデルの位置姿勢を変更する。
　上記の開示によれば、ユーザは、ワークモデルを基準とする座標軸を見ながら、第１点および第２点を指定しやすいように、ワークモデルの位置姿勢を所望の状態に変更できる。
　上述の開示において、表示制御部は、画面において、決定部によって決定された位置姿勢のエンドエフェクタモデルをワークモデルに重畳して表示させる。決定部は、予め定められた方向に沿った並進移動および当該予め定められた方向に平行な回転軸を中心とする回転移動の少なくとも一方の操作を受け付け、当該操作に応じて、決定した位置姿勢を調整する。
　上述の開示において、表示制御部は、画面において、予め定められた方向を示す軸を表示させる。
　上記の開示によれば、ユーザは、第１基準位置ベクトルおよび第２基準位置ベクトルを見ながら、エンドエフェクタモデルの位置姿勢を所望の状態に調整しやすくなる。
　上述の開示において、表示制御部は、画面において、エンドエフェクタモデルの座標系の軸方向を表示させる。
　上記の開示によれば、ユーザは、エンドエフェクタモデルの座標系の軸方向を見ながら、エンドエフェクタモデルの位置姿勢を所望の状態に調整しやすくなる。
　上述の開示において、表示制御部は、エンドエフェクタモデルの先端に接する所定形状のガイド面を画面に表示させる。
　例えば、エンドエフェクタは、２本の指部を有する。ガイド面は、エンドエフェクタモデルにおける２本の指部の先端にそれぞれ対応する２点を結ぶ線分を直径とする円筒形状、または、線分を直径とする円の外接正方形を断面とする角筒形状である。
　あるいは、エンドエフェクタは、１以上の真空パッドを有する吸着ハンドである。ガイド面は、エンドエフェクタモデルにおける１以上の真空パッドに対応するパーツの先端面を含む平面形状である。
　上記の開示によれば、ガイド面が表示されることにより、ユーザは、エンドエフェクタモデルの先端とワークモデルとの相対位置関係を容易に把握できる。
　上述の開示において、設定装置は、決定部によって決定された位置姿勢のエンドエフェクタモデルとワークモデルとの干渉判定を行なう判定部をさらに備える。表示制御部は、画面において、決定部によって決定された位置姿勢のエンドエフェクタモデルをワークモデルに重畳して表示させ、判定部によって干渉していると判定されたことに応じて、エンドエフェクタモデルの表示形式を変更する。
　上記の開示によれば、ユーザは、エンドエフェクタモデルとワークモデルとが干渉していることを容易に把握できる。
　上述の開示において、設定装置は、決定部によって決定された位置姿勢のエンドエフェクタモデルとワークモデルとの干渉判定を行なう判定部をさらに備える。登録部は、判定部によって干渉していると判定された位置姿勢を位置姿勢候補から削除する。
　上記の開示によれば、ワークモデルと干渉するエンドエフェクタモデルの位置姿勢が、ワークをピッキングするときのエンドエフェクタの位置姿勢候補として登録されることを防止できる。
　本開示の一例によれば、ロボットのエンドエフェクタがワークをピッキングするときのエンドエフェクタの位置姿勢候補の設定方法は、第１～第４のステップを備える。第１のステップは、ワークの三次元形状を定義する第１ＣＡＤデータによって示されるワークモデル上の第１点および第２点の指定を受け付けるステップである。第２のステップは、第１点および第２点から定義される点を始点とし、第１点から第２点への向きと同じ向きを有する第１位置ベクトルと、ワークモデルにおける第１点および第２点の法線ベクトルから定義される第２位置ベクトルとを演算するステップである。第３のステップは、エンドエフェクタの三次元形状を示すエンドエフェクタモデルに対して予め定められた第１基準位置ベクトルおよび第２基準位置ベクトルと、第１位置ベクトルおよび第２位置ベクトルとの相対位置関係が予め定められた基準関係に近づくように、エンドエフェクタモデルの位置姿勢を決定するステップである。第４のステップは、決定された位置姿勢を位置姿勢候補として登録するステップである。
　本開示の一例によれば、プログラムは、上記の設定方法をコンピュータに実行させる。これらの開示によっても、対象物をピッキングするエンドエフェクタの位置姿勢を簡易に設定できる。
　本開示によれば、対象物をピッキングするエンドエフェクタの位置姿勢を簡易に設定できる。
実施の形態に係る制御システムの全体構成を示す概略図である。 図１に示す画像処理装置のハードウェア構成の一例を示す概略図である。 図１に示す画像処理装置の機能構成の一例を示すブロック図である。 エンドエフェクタモデルの作成を支援するためのモデル作成画面の一例を示す図である。 エンドエフェクタモデルの作成中に表示されるモデル作成画面の一例を示す図である。 エンドエフェクタモデルの作成中に表示されるモデル作成画面の他の例を示す図である。 エンドエフェクタモデルに関する各種パラメータを設定するときのモデル作成画面の一例を示す図である。 互いに異なるストローク幅の３つのエンドエフェクタモデルを示す図である。 エンドエフェクタモデルの回転対称性に関する情報を設定するときのモデル作成画面の一例を示す図である。 エンドエフェクタモデルに対して設定された基準位置ベクトルの一例を示す図である。 エンドエフェクタモデルに対して設定された基準位置ベクトルの別の例を示す図である。 決定部によるエンドエフェクタの位置姿勢の決定方法を説明する図である。 把持点候補を設定するための設定画面の一例を示す図である。 エンドエフェクタモデルの位置姿勢の調整方法の一例を説明する図である。 エンドエフェクタモデルの位置姿勢の調整方法の他の例を説明する図である。 複製ボタン群に含まれる「Fan」ボタンが操作されたときの設定画面の例を示す図である。 複製ボタン群に含まれる「Cylinder」ボタンが操作されたときの設定画面の例を示す図である。 複製ボタン群に含まれる「Hybrid」ボタンが操作されたときの設定画面の例を示す図である。 複製ボタン群に含まれる「Circle」ボタンが操作されたときの設定画面の例を示す図である。 設定画面に表示される補助ガイド面の一例を示す図である。 設定画面に表示される補助ガイド面の別の例を示す図である。 アプローチ動作の設定方法を説明する図である。 決定部によって決定された位置姿勢のエンドエフェクタモデルとワークモデルとが干渉するときの設定画面の一例を示す図である。 エンドエフェクタモデルの回転対称性を考慮した把持点候補の自動登録処理を説明する図である。 把持点候補の登録処理の流れの一例を示すフローチャートである。 吸着ハンドに対応するエンドエフェクタモデルを作成中のモデル作成画面の一例を示す図である。 設定画面に表示される補助ガイド面のさらに別の例を示す図である。 変形例３に係る位置ベクトルＶ３の演算方法を示す図である。 変形例４に係る位置ベクトルＶ２の演算方法を示す図である。 変形例５に係る位置ベクトルＶ２の演算方法を示す図である。
　本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
　§１　適用例
　図１を参照して、本発明が適用される場面の一例について説明する。図１は、実施の形態に係る制御システムの全体構成を示す概略図である。図１に例示される制御システムＳＹＳは、生産ラインなどに組み込まれ、コンテナ５にばら積みされた物体であるワーク１に対するピックアンドプレースの制御を行なう。コンテナ５内でのワーク１の位置姿勢はランダムである。
　図１に例示される制御システムＳＹＳは、画像処理装置１００と、ロボットコントローラ２００と、ロボット３００と、計測ヘッド４００とを備える。
　画像処理装置１００には、表示装置１５０および入力装置１６０が接続されている。表示装置１５０は、典型的には液晶ディスプレイからなり、各種画面を表示する。入力装置１６０は、例えばキーボードおよびマウスを含む。なお、表示装置１５０および入力装置１６０は、一体化され、タッチパネルを構成してもよい。
　ロボット３００は、ワーク１に対するピックアンドプレースを行なう。ロボット３００は、ワーク１を保持するエンドエフェクタ３０１と、エンドエフェクタ３０１の位置姿勢を変更するための多関節アーム３０２と、多関節アーム３０２を支持するベース３０３とを含む。エンドエフェクタ３０１は、多関節アーム３０２の先端の面（フランジ面）に取り付けられる。ロボット３００の動作は、ロボットコントローラ２００によって制御される。
　図１に例示されるエンドエフェクタ３０１は、２本の指部３１０を有し、２本の指部３１０を用いてワーク１を把持する２指ハンドである。なお、指部３１０は、ワーク１を把持する際に、ワーク１に接触する部位であり、「爪部」とも称される。
　ロボットコントローラ２００は、画像処理装置１００からの情報を受けて、ロボット３００の多関節アーム３０２を制御する。具体的には、ロボットコントローラ２００は、エンドエフェクタ３０１がアプローチ動作、ピッキング動作およびプレース動作を順に行なうように多関節アーム３０２を制御する。「アプローチ動作」は、コンテナ５の外側からワーク１を把持可能な位置姿勢までの移動動作である。「ピッキング動作」は、２本の指部３１０を移動させることにより、ワーク１を把持する動作である。なお、ワーク１を把持する方法として、２本の指部３１０を閉じる方向に移動させることによりワーク１を把持する「外径把持」と、２本の指部３１０を開く方向に移動させることによりワーク１を把持する「内径把持」とがある。外径把持方法を用いたピッキング動作の開始時（アプローチ動作の終了時）において、ワーク１は、２本の指部３１０の間に位置する。内径把持方法を用いたピッキング動作の開始時（アプローチ動作の終了時）において、２本の指部３１０は、例えば筒状のワーク１の中空部分の内部に位置する。「プレース動作」は、ワーク１を把持しながら目標位置に搬送するまでのエンドエフェクタ３０１の動作である。
　ロボットコントローラ２００は、画像処理装置１００から、ピッキング動作の開始時にエンドエフェクタ３０１が取るべき位置姿勢を示す位置姿勢情報を受ける。ロボットコントローラ２００は、当該位置姿勢情報に基づいて、エンドエフェクタ３０１がアプローチ動作、ピッキング動作およびプレース動作を順次実行するように指令を生成し、ロボット３００へ出力する。この指令に応答して、ロボット３００のエンドエフェクタ３０１は、アプローチ動作、ピッキング動作およびプレース動作を順次行なう。
　計測ヘッド４００は、コンテナ５およびコンテナ５に収容されたワーク１が被写体となるように設置され、当該被写体を撮像する。計測ヘッド４００は、投影部４０１と撮像部４０２とを備える。投影部４０１は、画像処理装置１００からの指示に従って任意の投影パターン光を被写体に投影する。投影パターンは、例えば照射面内の所定方向に沿って明るさが周期的に変化するパターンである。撮像部４０２は、投影パターン光が投影された状態の被写体を撮像する。
　投影部４０１は、主要なコンポーネントとして、例えば、ＬＥＤ（Light　Emitting　Diode）やハロゲンランプなどの光源と、投影部４０１の照射面の側に配置されたフィルタとを含む。フィルタは、後述するような三次元形状の計測に必要な投影パターン光を発生させるものであり、画像処理装置１００からの指令に従って、面内の透光率を任意に変化させることができる。投影部４０１は、時間的に変化しない固定の投影パターン光を投影してもよいし、時間的に変化する投影パターン光を投影してもよい。投影部４０１は、液晶またはＤＭＤ（Digital　Mirror　Device）と光源（ＬＥＤまたはレーザ光源など）とを用いた構成であってもよい。
　撮像部４０２は、主要なコンポーネントとして、例えば、レンズなどの光学系と、ＣＣＤ（Coupled　Charged　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）センサといった撮像素子とを含む。
　画像処理装置１００は、計測ヘッド４００から受けた画像に基づいて、コンテナ５内の複数のワーク１の中の１つを対象ワーク２として選択し、対象ワーク２をピッキングするときのエンドエフェクタ３０１の位置姿勢を決定する。対象ワーク２をピッキングするときのエンドエフェクタ３０１の位置姿勢とは、対象ワーク２に対するピッキング動作の開始時におけるエンドエフェクタ３０１の位置姿勢である。画像処理装置１００は、決定した位置姿勢を示す位置姿勢情報を生成し、生成した位置姿勢情報をロボットコントローラ２００に出力する。
　具体的には、画像処理装置１００は、計測ヘッド４００から受けた画像に基づいて、計測ヘッド４００の視野領域の三次元形状を計測する。視野領域にはコンテナ５が含まれるため、コンテナ５にばら積みされた複数のワーク１の三次元形状が計測される。画像処理装置１００は、計測した三次元形状に基づいて、複数のワーク１の中の１つをピッキング対象となる対象ワーク２として選択する。
　画像処理装置１００には、ワーク１に対するピッキング動作の開始時にエンドエフェクタ３０１が取るべき位置姿勢候補（以下、「把持点候補」と称する。）が予め設定される。把持点候補は、ワーク１に対する、当該ワーク１に対するピッキング動作の開始時におけるエンドエフェクタ３０１の相対位置姿勢を示す。画像処理装置１００は、対象ワーク２の位置姿勢と把持点候補とに基づいて、対象ワーク２をピッキングするときのエンドエフェクタ３０１の位置姿勢を決定する。
　なお、計測ヘッド４００から受けた画像を用いて計測される対象ワーク２の位置姿勢は、計測ヘッド４００の撮像部４０２を基準とする座標系（カメラ座標系）で表される。一方、画像処理装置１００からロボットコントローラ２００に出力する位置姿勢情報は、ロボット３００を基準とする座標系（ロボットベース座標系）で表される。そのため、カメラ座標系とロボットベース座標系との相対的な位置姿勢関係を推定するためのキャリブレーションが予め実施される。キャリブレーションの方法として、公知のハンドアイキャリブレーションが採用され得る。画像処理装置１００は、事前に実施されたハンドアイキャリブレーションの結果を用いて、適宜座標変換を行なう。
　画像処理装置１００に１つの把持点候補のみが設定されている場合、画像処理装置１００は、対象ワーク２の位置姿勢と当該１つの把持点候補とに基づいて、対象ワーク２をピッキングするときのエンドエフェクタ３０１の位置姿勢（把持位置姿勢）を決定する。このようにして決定された位置姿勢のエンドエフェクタ３０１は、対象ワーク２の周囲のワーク１またはコンテナ５と干渉する可能性がある。例えば画像処理装置１００によって決定された位置姿勢のエンドエフェクタ３０１とコンテナ５とが干渉すると、ロボット３００は、画像処理装置１００によって決定された位置姿勢までエンドエフェクタ３０１を移動できない。
　そのため、通常、画像処理装置１００には複数の把持点候補が設定される。画像処理装置１００は、複数の把持点候補の中から、対象ワーク２の周囲のワーク１およびコンテナ５とエンドエフェクタ３０１とが干渉しない１つの把持点候補を選択する。画像処理装置１００は、対象ワーク２の位置姿勢と選択した１つの把持点候補とに基づいて、対象ワーク２をピッキングするときのエンドエフェクタ３０１の位置姿勢を決定する。
　画像処理装置１００は、把持点候補の設定を支援するための構成として把持点設定部１０を備える。把持点設定部１０は、受付部１２と、演算部１３と、決定部１４と、登録部１７とを含む。
　受付部１２は、ワーク１の三次元形状を定義するＣＡＤデータによって示されるワークモデルＭ１上の第１点Ｐ１および第２点Ｐ２の指定を受け付ける。図１に例示される画像処理装置１００は、表示装置１５０の画面にワークモデルＭ１を表示させる。受付部１２は、表示装置１５０の画面において指定された位置に基づいて、第１点Ｐ１および第２点Ｐ２を受け付ける。
　演算部１３は、第１点Ｐ１および第２点Ｐ２によって定義される点Ｐ０を始点とし、第１点Ｐ１から第２点Ｐ２への向きと同じ向きを有する位置ベクトルＶ１を演算する。点Ｐ０は、例えばワークモデルＭ１の表面に沿って第１点Ｐ１と第２点Ｐ２とを結ぶ線Ｌの中点である。線Ｌは、第１点Ｐ１と第２点Ｐ２とを最短距離で結ぶ線である。なお、点Ｐ０は、第１点Ｐ１または第２点Ｐ２と同じであってもよい。位置ベクトルＶ１は、予め定められた長さ（例えば１）を有する。
　さらに、演算部１３は、ワークモデルＭ１における第１点Ｐ１および第２点Ｐ２の法線ベクトルから定義される位置ベクトルＶ２を演算する。ワーク１に対応するＣＡＤデータがワーク１の表面を構成する複数の三角メッシュの各々の位置姿勢を示す場合、第１点Ｐ１の法線ベクトルは、第１点Ｐ１を含む三角メッシュの法線に沿った単位ベクトルである。第２点Ｐ２の法線ベクトルは、第２点Ｐ２を含む三角メッシュの法線に沿った単位ベクトルである。例えば、演算部１３は、点Ｐ０を始点とし、第１点Ｐ１の法線ベクトルと第２点Ｐ２の法線ベクトルとの平均ベクトルと同じ向きを有する位置ベクトルを位置ベクトルＶ２として演算する。位置ベクトルＶ２は、位置ベクトルＶ１と同じ長さ（例えば１）を有する。
　決定部１４は、エンドエフェクタモデルＭ２に対して予め定められた基準位置ベクトルＶ１１，Ｖ１２と、位置ベクトルＶ１，Ｖ２との相対位置関係が基準関係に近づくように、エンドエフェクタモデルＭ２の位置姿勢を決定する。エンドエフェクタモデルＭ２は、エンドエフェクタ３０１の三次元形状を示す。基準関係は、予め定められる。
　図１に例示される基準位置ベクトルＶ１１，Ｖ１２は、エンドエフェクタモデルＭ２における一方の指部３１０に対応するパーツの先端を始点とし、互いに直交する向きを有する。図１に例示される基準位置ベクトルＶ１１は、紙面に直交し、手前に向かう向きを有する。基準位置ベクトルＶ１１，Ｖ１２は、位置ベクトルＶ１，Ｖ２と同じ長さ（例えば１）を有する。
　登録部１７は、決定部１４によって決定された位置姿勢を把持点候補として登録する。具体的には、登録部１７は、ワークモデルＭ１に対する、決定部１４によって決定された位置姿勢のエンドエフェクタモデルＭ２の相対位置姿勢を把持点候補として登録する。
　図１に示す画像処理装置１００によれば、ユーザは、ワークモデルＭ１上の第１点Ｐ１および第２点Ｐ２を指定するだけで、把持点候補を設定できる。すなわち、ワーク１をピッキングするエンドエフェクタ３０１の位置姿勢が簡易に設定される。
　§２　具体例
　＜Ａ．画像処理装置のハードウェア構成例＞
　画像処理装置１００は、典型的には、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラム（命令コード）を実行することで、本実施の形態に係る画像処理を実行する。このようなプログラムは、典型的には、各種記録媒体などに格納された状態で流通し、あるいは、ネットワークなどを介して画像処理装置１００にインストールされる。
　このような汎用的なコンピュータを利用する場合には、本実施の形態に係る画像処理を実行するためのアプリケーションに加えて、コンピュータの基本的な処理を実行するためのＯＳ（Operating　System）がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行されてもよい。本実施の形態に係るプログラムとしては、このような一部のモジュールを含まない形態であってもよい。
　さらに、本実施の形態に係るプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係るプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。なお、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
　図２は、図１に示す画像処理装置のハードウェア構成の一例を示す概略図である。図２に示されるように、画像処理装置１００は、演算処理部であるＣＰＵ（Central　Processing　Unit）１１０と、記憶部としてのメインメモリ１１２およびハードディスク１１４と、計測ヘッドインターフェース１１６と、入力インターフェース１１８と、表示コントローラ１２０と、通信インターフェース１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続される。
　ＣＰＵ１１０は、ハードディスク１１４にインストールされたプログラム（コード）をメインメモリ１１２に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic　Random　Access　Memory）などの揮発性の記憶装置であり、ハードディスク１１４から読み出されたプログラムに加えて、計測ヘッド４００によって取得された画像などを保持する。さらに、ハードディスク１１４には、後述するような各種データなどが格納される。なお、ハードディスク１１４に加えて、あるいは、ハードディスク１１４に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。
　計測ヘッドインターフェース１１６は、ＣＰＵ１１０と計測ヘッド４００との間のデータ伝送を仲介する。すなわち、計測ヘッドインターフェース１１６は、計測ヘッド４００と接続される。計測ヘッドインターフェース１１６は、ＣＰＵ１１０が発生した内部コマンドに従って、計測ヘッド４００に対して投影コマンドおよび撮像コマンドを与える。計測ヘッドインターフェース１１６は、計測ヘッド４００からの画像を一時的に蓄積するための画像バッファ１１６ａを含む。計測ヘッドインターフェース１１６は、画像バッファ１１６ａに所定コマ数の画像が蓄積されると、その蓄積された画像をメインメモリ１１２へ転送する。
　入力インターフェース１１８は、ＣＰＵ１１０と入力装置１６０との間のデータ伝送を仲介する。すなわち、入力インターフェース１１８は、ユーザが入力装置１６０に入力した入力情報を受け付ける。
　表示コントローラ１２０は、表示装置１５０と接続され、ＣＰＵ１１０における処理結果などをユーザに通知するように表示装置１５０の画面を制御する。
　通信インターフェース１２４は、ＣＰＵ１１０とロボットコントローラ２００などの外部装置との間のデータ伝送を仲介する。通信インターフェース１２４は、典型的には、イーサネット（登録商標）やＵＳＢ（Universal　Serial　Bus）などからなる。
　データリーダ／ライタ１２６は、ＣＰＵ１１０と記録媒体であるメモリカード１０６との間のデータ伝送を仲介する。すなわち、メモリカード１０６には、画像処理装置１００で実行されるプログラムなどが格納された状態で流通し、データリーダ／ライタ１２６は、このメモリカード１０６からプログラムを読出す。また、データリーダ／ライタ１２６は、ＣＰＵ１１０の内部指令に応答して、計測ヘッド４００によって撮像された画像および／または画像処理装置１００における処理結果などをメモリカード１０６へ書込む。なお、メモリカード１０６は、ＳＤ（Secure　Digital）などの汎用的な半導体記憶デバイスや、フレキシブルディスク（Flexible　Disk）などの磁気記憶媒体や、ＣＤ－ＲＯＭ（Compact　Disk　Read　Only　Memory）などの光学記憶媒体等からなる。
　＜Ｂ．画像処理装置の機能構成例＞
　図３は、図１に示す画像処理装置の機能構成の一例を示すブロック図である。図３に示されるように、画像処理装置１００は、把持点設定部１０と、ヘッド制御部２０と、画像処理部２５と、モデル作成部３０と、記憶部４０とを備える。把持点設定部１０およびモデル作成部３０は、図２に示すＣＰＵ１１０、入力インターフェース１１８および表示コントローラ１２０によって実現される。ヘッド制御部２０は、図２に示すＣＰＵ１１０および計測ヘッドインターフェース１１６によって実現される。画像処理部２５は、図２に示すＣＰＵ１１０および通信インターフェース１２４によって実現される。記憶部４０は、図２に示すメインメモリ１１２およびハードディスク１１４によって実現される。
　（Ｂ－１．ヘッド制御部）
　ヘッド制御部２０は、計測ヘッド４００の動作を制御する。ヘッド制御部２０は、予め定められた投影パターン光の投影を指示する投影コマンドを計測ヘッド４００に出力する。ヘッド制御部２０は、投影パターン光が投影されている状態で撮像コマンドを計測ヘッド４００に出力する。ヘッド制御部２０は、計測ヘッド４００から取得した画像データ４１を記憶部４０に格納する。
　（Ｂ－２．記憶部）
　記憶部４０には、計測ヘッド４００の撮像により得られた画像データ４１が格納される。さらに、記憶部４０には、ワーク１の三次元形状を示すＣＡＤ（Computer　Aided　Design）データ４２が予め格納される。ＣＡＤデータ４２は、ワーク１の三次元形状を示すワークモデルの表面を構成する三角メッシュの位置姿勢を示す。さらに、記憶部４０には、モデル作成部３０によって生成されたモデルデータ４３と、ワーク１を把持するときのエンドエフェクタ３０１の把持点候補を示す把持点データ４４とが格納される。把持点データ４４は、把持点設定部１０によって生成される。
　（Ｂ－３．画像処理部）
　画像処理部２５は、計測ヘッド４００の撮像により得られた画像データ４１に対して以下のような処理を行なう。
　画像処理部２５は、画像データ４１に基づいて、計測ヘッド４００の視野領域における三次元計測を行ない、三次元点群データを生成する。三次元点群データは、計測ヘッド４００の視野領域に存在する物体表面（計測表面）上の各点の三次元座標を示す。例えば、画像処理部２５は、三角測距方式を用いて三次元計測処理を行なう。三角測距方式として、固定パターン投影法、位相シフト法、ステレオマッチング法、光切断法などの公知の技術が採用され得る。例えば、位相シフト法では、正弦波状に濃淡を変化させた投影パターン光を被写体に投影した状態で撮像された画像を用いる方法である。濃淡の変化周期や位相を異ならせた投影パターンが複数用意され、計測ヘッド４００の投影部４０１は、撮像部４０２の視野領域に対して、複数の投影パターン光を順次照射する。画像処理部２５は、複数の投影パターンが投影されたときにそれぞれ撮像される画像データ４１における対応する部分の明るさ（輝度や明度）の変化に基づいて、三次元座標を算出する。なお、三次元計測処理は、三角測距方式に限定されず、他の方法（例えば同軸方式など）を用いて実施されてもよい。
　画像処理部２５は、予め作成された複数のテンプレートデータと三次元点群データとを照合し、三次元点群データの中からテンプレートと類似するデータを抽出する。テンプレートデータは、ＣＡＤデータ４２に基づいて予め作成される。画像処理部２５は、三次元点群データの中から抽出した、テンプレートと類似するデータに基づいて、計測ヘッド４００の視野領域に存在するワーク１の位置姿勢を検出する。画像処理部２５は、検出されたワーク１を対象ワーク２として決定する。なお、画像処理部２５は、複数のワーク１の位置姿勢を検出した場合、予め定められた選択基準に従って、当該複数のワーク１のうちの１つを対象ワーク２として選択する。
　画像処理部２５は、対象ワーク２の位置姿勢と把持点データ４４で示される把持点候補とハンドアイキャリブレーション結果とに基づいて、対象ワーク２をピッキングするときのエンドエフェクタ３０１の位置姿勢を決定する。画像処理部２５は、決定した位置姿勢を示す位置姿勢情報をロボットコントローラ２００に送信する。
　（Ｂ－４．モデル作成部）
　モデル作成部３０は、エンドエフェクタモデルＭ２の作成を支援するモデル作成画面を表示装置１５０に表示し、入力装置１６０への入力指示に従ってエンドエフェクタモデルＭ２を作成する。モデル作成部３０は、作成したエンドエフェクタモデルＭ２に対して、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３を設定する。例えば、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３は、エンドエフェクタモデルＭ２上の一点を始点とし、互いに直交する向きを有する。基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３は、予め定められた長さ（例えば１）を有する。エンドエフェクタモデルＭ２の作成方法と、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３の設定方法との詳細については後述する。
　（Ｂ－５．把持点設定部）
　把持点設定部１０は、ワーク１をピッキングするときのエンドエフェクタ３０１の位置姿勢候補（把持点候補）を設定する。図３に例示される把持点設定部１０は、表示制御部１１と、受付部１２と、演算部１３と、決定部１４と、複製処理部１５と、判定部１６と、登録部１７とを含む。
　表示制御部１１は、表示装置１５０の画面を制御する。具体的には、表示制御部１１は、把持点候補を設定するための設定画面を表示装置１５０に表示させ、入力装置１６０への入力に応じて表示装置１５０の画面を遷移させる。設定画面には、ＣＡＤデータ４２によって示されるワークモデルＭ１が表示される。設定画面の詳細については後述する。
　受付部１２は、入力装置１６０への入力操作に応じて、ワークモデルＭ１上の第１点Ｐ１および第２点Ｐ２の指定を受け付ける。
　演算部１３は、第１点Ｐ１および第２点Ｐ２から定義される点Ｐ０を始点とし、第１点Ｐ１から第２点Ｐ２への向きと同じ向きを有する位置ベクトルＶ１を演算する。演算部１３は、ワークモデルＭ１における第１点Ｐ１および第２点Ｐ２の法線ベクトルから定義される位置ベクトルＶ２を演算する。さらに、演算部１３は、位置ベクトルＶ１と位置ベクトルＶ２との外積で表される位置ベクトルＶ３を演算する。
　決定部１４は、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３と位置ベクトルＶ１，Ｖ２，Ｖ３との相対位置関係が基準関係に近づくように、エンドエフェクタモデルＭ２の位置姿勢を決定する。基準関係は、エンドエフェクタモデルＭ２に対する基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３の設定位置姿勢、エンドエフェクタ３０１とワーク１との所望のクリアランスなどに応じて予め定められる。
　複製処理部１５は、エンドエフェクタモデルＭ２の複製処理を実行し、複製されたエンドエフェクタモデルの位置姿勢を決定する。例えば、複製処理部１５は、決定部１４によって決定された位置姿勢のエンドエフェクタモデルＭ２を指定方向に指定量だけ回転させることによって複製されたエンドエフェクタモデルを生成する。
　判定部１６は、決定部１４および複製処理部１５によって決定された各位置姿勢のエンドエフェクタモデルＭ２とワークモデルＭ１との干渉の有無を判定する。
　登録部１７は、決定部１４および複製処理部１５によって決定された各位置姿勢を把持点候補として登録する。具体的には、登録部１７は、ワークモデルＭ１に対する、決定部１４および複製処理部１５によって決定された各位置姿勢のエンドエフェクタモデルＭ２の相対位置姿勢を示す把持点データ４４を生成し、生成した把持点データ４４を記憶部４０に格納する。
　＜Ｃ．エンドエフェクタモデルの作成＞
　図４～９を参照して、モデル作成部３０の処理例について説明する。図４は、エンドエフェクタモデルの作成を支援するためのモデル作成画面の一例を示す図である。図４に例示されるモデル作成画面７０は、モデル作成部３０によって表示装置１５０に表示される。図４には、エンドエフェクタモデルＭ２の作成を開始する前のモデル作成画面７０が示される。
　モデル作成画面７０は、エンドエフェクタモデルＭ２を表示するための領域７１と、編集用ボタン群７３と、パーツ一覧７４とを含む。領域７１には、エンドエフェクタ座標系を示す座標軸７２が表示されている。座標軸７２を構成するＸ軸、Ｙ軸およびＺ軸は、互いに直交する。座標軸７２の原点は、エンドエフェクタ３０１が取り付けられる多関節アーム３０２の先端のフランジ面に中心に対応する。ＸＹ平面は、当該フランジ面に対応する。Ｚ軸は、フランジ面の法線に対応する。
　編集用ボタン群７３は、エンドエフェクタモデルＭ２を構成するパーツの追加、複製、削除、反転の操作を受け付けるための複数のボタンを含む。パーツ一覧７４は、エンドエフェクタモデルＭ２を構成するパーツの一覧である。図４に例示されるモデル作成画面７０は、編集用ボタン群７３に対する操作を受け付ける前の状態に対応している。そのため、パーツ一覧７４にはパーツが表示されていない。
　図５は、エンドエフェクタモデルの作成中に表示されるモデル作成画面の一例を示す図である。図５に例示されるモデル作成画面７０の領域７１には、２指ハンドであるエンドエフェクタモデルＭ２を構成する６つのパーツ７５～８０が表示されている。
　モデル作成画面７０は、パーツの色表示に関するラジオボタン群８１を含む。ラジオボタン群８１は、例えば、全てのパーツに対して色を付けるためのラジオボタンと、選択されたパーツのみに色を付けるためのラジオボタンと、パーツに色を付けないためのラジオボタンとを含む。ユーザは、ラジオボタン群８１を操作することにより、複数のパーツを区別しやすくなる。
　モデル作成画面７０は、エンドエフェクタモデルＭ２の外接直方体の辺およびサイズを表示するためのチェックボックス８２を含む。チェックボックス８２がチェックされることに応じて、モデル作成部３０は、エンドエフェクタモデルＭ２の外接直方体の辺を示す線８３と、当該外接直方体のサイズを示すテキスト８４とを領域７１に表示する。これにより、ユーザは、エンドエフェクタモデルＭ２のサイズを把握しやすくなる。
　各パーツの形状は、編集用ボタン群７３に含まれるパーツ追加用のボタンの種類に応じて定められる。図５に例示されるパーツ７５は、「円柱追加」ボタンの操作に応じて追加されたパーツであり、円柱形状である。図５に例示されるパーツ７６～８０は、「直方体追加」ボタンの操作に応じて追加されたパーツであり、直方体形状である。
　編集用ボタン群７３は、「複製」ボタンと「削除」ボタンとを含む。「複製」ボタンが操作されると、モデル作成部３０は、選択されたパーツと同形状のパーツを追加する。「削除」ボタンが操作されると、モデル作成部３０は、選択されたパーツを削除する。
　さらに、編集用ボタン群７３は、「反転（ＸＺ平面）」ボタンと、「反転（ＹＺ平面）」ボタンとを含む。「反転（ＸＺ平面）」ボタンが操作されると、モデル作成部３０は、選択されたパーツをＸＺ平面に対して鏡像反転させる。「反転（ＹＺ平面）」ボタンが操作されると、モデル作成部３０は、選択されたパーツをＹＺ平面に対して鏡像反転させる。
　パーツ一覧７４は、エンドエフェクタモデルＭ２を構成するパーツ７６～８０の各々について、当該パーツの名前と当該パーツが属するグループとを含む。モデル作成部３０は、ユーザの入力に応じて各パーツの名前を設定し、設定した名前を表示する。各パーツのグループは、当該パーツの属性を示し、予め定められた複数のグループの中から選択される。モデル作成部３０は、プルダウンボタン７４ａの操作に応じて複数のグループを含むプルダウンメニューを表示し、ユーザの選択入力に応じてグループを設定する。モデル作成部３０は、設定したグループを表示する。
　複数のグループは、エンドエフェクタ３０１が取りうる形態に応じて予め定められている。モデル作成部３０は、設定されたグループに応じて、各パーツが固定部（非可動部）であるか可動部であるかを認識できる。
　例えば、２指ハンドであるエンドエフェクタについて、「Base」、「Left　tip　finger」、「Left　finger」、「Right　tip　finger」および「Right　finger」の５つのグループが予め定められる。「Base」グループは、指部を支持する部分（固定部）に対応する。「Left　tip　finger」グループは、２本の指部のうちの一方の先端部分に対応する。「Left　finger」グループは、当該一方において、先端部分を除く部分に対応する。「Right　tip　finger」グループは、２本の指部のうちの他方の先端部分に対応する。「Right　finger」グループは、当該他方において、先端部分を除く部分に対応する。モデル作成部３０は、「Base」グループに属するパーツを固定部として認識する。モデル作成部３０は、「Right　tip　finger」グループまたは「Right　finger」グループに属するパーツを、２本の指部のうちの一方に対応する可動部であると認識する。モデル作成部３０は、「Left　tip　finger」グループまたは「Left　finger」グループに属するパーツを、２本の指部のうちの他方に対応する可動部であると認識する。さらに、モデル作成部３０は、「Right　tip　finger」グループまたは「Right　finger」グループに属するパーツの移動方向と、「Left　tip　finger」グループまたは「Left　finger」グループに属するパーツの移動方向とが互いに反対向きであると認識する。
　図５に例示されるモデル作成画面７０では、パーツ７５，７６が「Base」グループに属する。さらに、パーツ７７、７８，７９，８０が「Right　finger」，「Right　tip　finger」，「Left　finger」および「Left　tip　finger」グループにそれぞれ属する。図５に例示されるエンドエフェクタモデルＭ２において、「Right　tip　finger」および「Left　tip　finger」にそれぞれ属するパーツ７８，８０は、Ｚ軸に平行に延びている。
　全てのパーツに対して色を付けるためのラジオボタン（ラジオボタン群８１に含まれる）がチェックされた場合、表示制御部１１は、領域７１に表示されるパーツの色をグループに応じて異ならせる。例えば、表示制御部１１は、「Base」グループに属するパーツ７５，７６を灰色で表示し、「Right　tip　finger」グループまたは「Right　finger」グループに属するパーツを水色で表示し、「Left　tip　finger」グループまたは「Left　finger」グループに属するパーツをピンク色で表示する。これにより、ユーザは、エンドエフェクタモデルＭ２における固定部と２つの可動部とを区別しやすくなる。
　モデル作成画面７０は、各パーツの位置、姿勢およびサイズを設定するためのタブ８５，８７を含む。タブ８５は、パーツごとに位置、姿勢およびサイズを設定するときに操作される。タブ８７は、全てのパーツの位置、姿勢およびサイズを一括で設定するときに操作される。
　図５に例示されるモデル作成画面７０は、タブ８５が操作されたときの状態に対応する。タブ８５が操作されると、モデル作成部３０は、パーツ一覧７４において選択されているパーツ（図５では「Left00」のパーツが選択されている）の位置、姿勢およびサイズを設定するための各種の入力欄を含む領域８６を表示する。モデル作成部３０は、領域８６に表示される入力欄への入力に応じて、パーツ一覧７４において選択されているパーツの位置、姿勢およびサイズを編集する。
　図６は、エンドエフェクタモデルの作成中に表示されるモデル作成画面の他の例を示す図である。図６に例示されるエンドエフェクタモデルＭ２は、図５に例示されるエンドエフェクタモデルＭ２と比較して、パーツ７８，８０の代わりに、パーツ７８ａ，７８ｂ，８０ａ，８０ｂを含む点で相違する。パーツ７８ａは「Right　finger」グループに属する。パーツ８０ａは「Left　finger」グループに属する。パーツ７８ｂは「Right　tip　finger」グループに属する。パーツ８０ｂは「Left　tip　finger」グループに属する。
　図６に示されるように、パーツ７８ｂ，８０ｂは、Ｚ軸に対して傾斜している。ユーザは、領域８６に表示される入力欄８６ａに傾き方向を入力することにより、パーツ７８ｂ，８０ｂの傾き方向を設定できる。さらに、ユーザは、領域８６に表示される入力欄８６ｂに傾き角度を入力することにより、パーツ７８ｂ，８０ｂの傾き角度を設定できる。
　図７は、エンドエフェクタモデルに関する各種パラメータを設定するときのモデル作成画面の一例を示す図である。図７に例示されるモデル作成画面７０は、タブ８８が操作されたときの状態に対応する。
　図７に示されるように、モデル作成画面７０は、入力欄８９，９０と、領域９１とを含む。
　入力欄８９には、作成中のエンドエフェクタモデルＭ２を識別するためのハンドＩＤが入力される。
　入力欄９０には、判定部１６による干渉判定に利用されるマージンが入力される。当該マージンの利用方法については後述する。
　領域９１は、「Right　tip　finger」グループに属するパーツ７８と、「Left　tip　finger」グループに属するパーツ８０との間隔（以下、「ストローク幅」と称する。）を設定するために用いられる。ストローク幅は、「開き幅」とも称される。
　領域９１には、「Right　tip　finger」グループに属するパーツ７８と、「Left　tip　finger」グループに属するパーツ８０との可動方向を選択するための入力欄９１ａが表示される。入力欄９１ａは、プルダウンボタンを含む。モデル作成部３０は、プルダウンボタンへの操作に応じて、「Ｘ方向」および「Ｙ方向」を含むプルダウンメニューを表示し、選択された方向を可動方向として設定する。図７に例示されるモデル作成画面７０の入力欄９１ａには、「Ｙ方向」が選択入力されている。なお、可動方向は、通常、「Right　tip　finger」および「Left　tip　finger」グループにそれぞれ属するパーツ７８，８０における端面（「Base」グループに属するパーツと反対側の面）に平行である。
　領域９１には、最大のストローク幅を設定するための入力欄９１ｂが表示される。ユーザは、エンドエフェクタ３０１の仕様に応じた数値を入力欄９１ｂに入力すればよい。
　領域９１には、エンドエフェクタモデルＭ２が取りうるストローク幅のリスト９１ｃと、リスト９１ｃを作成するためのボタン９１ｄ，９１ｅとが表示される。ボタン９１ｄは、リスト９１ｃに新たなストローク幅を追加するときに操作される。ボタン９１ｅは、リスト９１ｃから不要なストローク幅を削除するときに操作される。ユーザは、ワーク１の種類に応じて、複数のストローク幅をリスト９１ｃに追加できる。リスト９１ｃにおいて、ストローク幅を識別するインデックス番号とストローク幅の数値とが対応付けられている。
　図８は、互いに異なるストローク幅の３つのエンドエフェクタモデルを示す図である。図８には、図５に示すエンドエフェクタモデルＭ２が示される。図８の（ａ）には、インデックス番号「Ｎｏ．０」に対応するストローク幅「０ｍｍ」のエンドエフェクタモデルＭ２が示される。図８の（ｂ）には、インデックス番号「Ｎｏ．２」に対応するストローク幅「１５ｍｍ」のエンドエフェクタモデルＭ２が示される。図８の（ｃ）には、インデックス番号「Ｎｏ．７」に対応するストローク幅「３０ｍｍ」のエンドエフェクタモデルＭ２が示される。
　図８の（ｃ）を参照して、インデックス番号に対応するストローク幅のエンドエフェクタモデルＭ２の作成方法を説明する。モデル作成部３０は、「Right　tip　finger」グループに属するパーツ７８の端面の重心と、「Left　tip　finger」グループに属するパーツ８０の端面の重心との中点Ｐ１００の座標を演算する。
　モデル作成部３０は、中点Ｐ１００から可動方向に沿って「Right　tip　finger」グループに属するパーツ７８側にストローク幅の半分だけ離れた点Ｐ１０１の座標を演算する。可動方向は、入力欄９１ａに入力された方向である。モデル作成部３０は、「Right　tip　finger」グループに属するパーツ７８の端面におけるパーツ８０側の辺が点Ｐ１０１を通るように、「Right　finger」グループに属するパーツ７７と「Right　tip　finger」グループに属するパーツ７８とを可動方向に沿って並進移動させる。
　同様に、モデル作成部３０は、中点Ｐ１００から可動方向に沿って「Left　tip　finger」グループに属するパーツ８０側にストローク幅の半分だけ離れた点Ｐ１０２の座標を演算する。モデル作成部３０は、「Left　tip　finger」グループに属するパーツ８０の先端の点Ｐ１０２が点Ｐ１０２に一致するように、「Left　finger」グループに属するパーツ７９と「Left　tip　finger」グループに属するパーツ８０とを可動方向に沿って並進移動させる。このようにして、インデックス番号に対応するストローク幅のエンドエフェクタモデルＭ２が作成される。
　図７に戻って、領域９１には、初期インデックス番号を入力するための入力欄９１ｆが表示される。入力欄９１ｆには、リスト９１ｃに含まれる少なくとも１つのインデックス番号から選択された１つのインデックス番号（初期インデックス番号）が入力される。ユーザは、ワーク１をピッキングするときのエンドエフェクタ３０１の２本の指部３１０間の隙間に対応するインデックス番号を入力欄９１ｆに入力する。図７に示す例では、インデックス番号「０」が入力欄９１ｆに入力されている。モデル作成部３０は、初期インデックス番号に対応するストローク幅のエンドエフェクタモデルＭ２を領域７１に表示する。
　図９は、エンドエフェクタモデルの回転対称性に関する情報を設定するときのモデル作成画面の一例を示す図である。図９には、図５に示すエンドエフェクタモデルＭ２が示される。図９に例示されるモデル作成画面７０は、チェックボックス９２と入力欄９３とを含む。
　チェックボックス９２は、エンドエフェクタモデルＭ２の回転対称性の有無を選択するために操作される。チェックボックス９２がチェックされたことに応じて、モデル作成部３０は、エンドエフェクタモデルＭ２を回転させたときに、「Right　tip　finger」グループに属するパーツ７８および「Left　tip　finger」グループに属するパーツ８０の一方が他方に重なり、かつ、他方が一方に重なる回転対称軸９６を設定する。図９に例示されるモデル作成画面７０では、Ｚ軸が回転対称軸９６として設定される。
　入力欄９３には、回転対称軸９６を中心にパーツ７８を回転させたときにパーツ８０に重なり合う最小回転角度θが入力される。図９に例示されるモデル作成画面７０では、最小回転角度θとして１８０°が入力されている。
　モデル作成画面７０は、保存ボタン９４と終了ボタン９５とを含む。保存ボタン９４が操作されると、モデル作成部３０は、現在の設定を保存する。終了ボタン９５が操作されると、モデル作成部３０は、エンドエフェクタモデルＭ２の作成処理を終了する。
　モデル作成部３０は、作成されたエンドエフェクタモデルＭ２に対して、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３を設定する。
　図１０は、エンドエフェクタモデルに対して設定された基準位置ベクトルの一例を示す図である。図１０には、図５に示すエンドエフェクタモデルＭ２が示される。図１１は、エンドエフェクタモデルに対して設定された基準位置ベクトルの別の例を示す図である。図１１には、図６に示すエンドエフェクタモデルＭ２が示される。モデル作成部３０は、入力欄９１ｆに入力された初期インデックス番号に対応するストローク幅のエンドエフェクタモデルＭ２に対して、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３を設定する。
　モデル作成部３０は、例えば以下の条件（ａ）～（ｅ）を満たすように、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３を設定する。条件（ａ）～（ｅ）は、予め定められる。
条件（ａ）：基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３の始点は、「Left　tip　finger」グループに属するパーツ（図１０ではパーツ８０，図１１ではパーツ８０ｂ）の端面８０Ｓ内において、重心Ｐ１１を通り、かつ可動方向に平行な線上の点のうち、「Right　tip　finger」グループに属するパーツに最も近い点Ｐ１０である。端面８０Ｓは、「Left　tip　finger」グループに属するパーツにおいて、「Base」グループに属するパーツと反対側の面である。
条件（ｂ）：基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３は、予め定められた長さ（例えば１）を有する。
条件（ｃ）：基準位置ベクトルＶ１２は、可動方向に平行であり、「Right　tip　finger」グループに属するパーツに向いた向きを有する。
条件（ｄ）：基準位置ベクトルＶ１３は、端面８０Ｓの法線方向と同じ向きを有する。
条件（ｅ）：基準位置ベクトルＶ１１は、端面８０Ｓに平行であり、基準位置ベクトルＶ１２と直交する向きを有する。ただし、基準位置ベクトルＶ１１と基準位置ベクトルＶ１２との外積Ｖ１１×Ｖ１２は、「Base」グループに属するパーツと反対側を向く。
　上述したように、可動方向は、通常、「Left　tip　finger」グループに属するパーツ７８の端面８０Ｓに平行である。そのため、上記の条件（ｃ）～（ｅ）に従った基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３が設定されることにより、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３は、互いに直交する。
　モデル作成部３０は、上記のようにして設定したエンドエフェクタモデルＭ２の各種の設定情報を示すモデルデータ４３を生成し、生成したモデルデータ４３を記憶部４０に格納する。具体的には、モデルデータ４３は、少なくとも以下の情報を示す。
・初期インデックス番号に対応するストローク幅のエンドエフェクタモデルを構成する各パーツの位置、姿勢およびサイズ
・各パーツが属するグループ
・「Right　tip　finger」グループに属するパーツと「Left　tip　finger」グループに属するパーツとの可動方向（入力欄９１ａに入力された方向）
・基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３
・回転対称性の有無
・回転対称性が有りの場合、回転対称軸および最小回転角度θ
・入力欄９０に入力されたマージン。
　＜Ｄ．把持点候補の登録方法＞
　＜Ｄ－１．決定部によるエンドエフェクタの位置姿勢の決定方法＞
　図１２は、決定部によるエンドエフェクタの位置姿勢の決定方法を説明する図である。図１２に示されるように、ワークモデルＭ１の表面上において第１点Ｐ１と第２点Ｐ２とが指定される。演算部１３は、例えば、ワークモデルＭ１の表面に沿って第１点Ｐ１と第２点Ｐ２とを最短距離で結ぶ線Ｌの中点Ｐ０を始点とし、第１点Ｐ１から第２点Ｐ２への向きと同じ向きを有する位置ベクトルＶ１を演算する。位置ベクトルＶ１は、予め定められた長さ（例えば１）を有する。
　演算部１３は、ワークモデルＭ１における第１点Ｐ１の法線ベクトルＶａと、ワークモデルＭ１における第２点Ｐ２の法線ベクトルＶｂとの平均ベクトルを演算する。法線ベクトルＶａ，Ｖｂは、ワークモデルＭ１を構成する三角メッシュの法線に沿った単位ベクトルである。演算部１３は、点Ｐ０を始点とし、法線ベクトルＶａと法線ベクトルＶｂとの平均ベクトルと同じ向きを有する位置ベクトルＶ２を演算する。位置ベクトルＶ２は、予め定められた長さ（例えば１）を有する。
　さらに、演算部１３は、位置ベクトルＶ１と位置ベクトルＶ２との外積で表される位置ベクトルＶ３を演算する。
　上述したように、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３は、初期インデックス番号に対応するストローク幅のエンドエフェクタモデルＭ２に対して設定される。モデルデータ４３は、例えば、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３それぞれの始点および終点の座標を示す。
　決定部１４は、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３と位置ベクトルＶ１，Ｖ２，Ｖ３との相対位置関係が基準関係に近づくように、エンドエフェクタモデルＭ２の位置姿勢を決定する。
　本実施の形態では、基準関係は、２指ハンドによる外径把持を想定して、以下のように予め定められる。すなわち、基準関係は、位置ベクトルＶ２の向きに位置ベクトルＶ１，Ｖ２，Ｖ３を規定距離だけ並進移動させたときに、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３にそれぞれ一致する関係である。規定距離は、ピッキング動作の開始時においてエンドエフェクタ３０１とワーク１との間の必要な隙間を考慮して定められる。
　基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３は、エンドエフェクタ座標系で示される。位置ベクトルＶ１，Ｖ２，Ｖ３は、ワーク座標系で示される。決定部１４は、基準位置ベクトルＶ１１～Ｖ１３と位置ベクトルＶ１～Ｖ３との相対位置関係が基準関係に最も近づくようにエンドエフェクタ座標系を剛体変換させるための座標変換行列を決定する。当該座標変換行列を用いてエンドエフェクタモデルＭ２を座標変換することにより、基準位置ベクトルＶ１１～Ｖ１３と位置ベクトルＶ１～Ｖ３との相対位置関係が基準関係に最も近づくときのエンドエフェクタモデルＭ２の位置姿勢が特定される。
　決定部１４は、ワーク座標系において、基準関係に基づいて位置ベクトルＶ１～Ｖ３を補正する。具体的には、決定部１４は、位置ベクトルＶ２の向きに規定距離だけ位置ベクトルＶ１，Ｖ２，Ｖ３を並進移動させる。決定部１４は、補正後の位置ベクトルＶ１，Ｖ２，Ｖ３の各々の終点のＸＹＺ座標を演算する。決定部１４は、座標変換後の基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３の終点のＸＹＺ座標と補正後の位置ベクトルＶ１，Ｖ２，Ｖ３の終点のＸＹＺ座標とのそれぞれの差分が最小となるように、座標変換行列を決定すればよい。
　＜Ｄ－２．設定画面＞
　図１３は、把持点候補を設定するための設定画面の一例を示す図である。図１３に例示される設定画面５０は、把持点設定部１０の表示制御部１１によって表示装置１５０に表示される。図１１に例示される設定画面５０は、タブ６７が操作されたときの状態に対応し、エンドエフェクタ３０１が２指ハンドであるときに表示される。
　図１３に示されるように、設定画面５０は、領域５１を含む。表示制御部１１は、記憶部４０からＣＡＤデータ４２を読み出し、ＣＡＤデータ４２によって示されるワークモデルＭ１を領域５１に表示させる。なお、ワークモデルＭ１の表示形式は特に限定されない。例えば、ワークモデルＭ１は、ワイヤーフレーム形式で表示されてもよい。
　表示制御部１１は、領域５１に表示されたワークモデルＭ１に対する操作を受け付ける。表示制御部１１は、受け付けた操作に応じて、ワークモデルＭ１の位置姿勢を変更する。例えば、表示制御部１１は、ワークモデルＭ１を拡大縮小、並進移動または回転移動させる。
　表示制御部１１は、ユーザによる操作を補助するために、Ｘ軸５２ｘ、Ｙ軸５２ｙおよびＺ軸５２ｚと、線５３ｘ、線５３ｙおよび線５３ｚとを領域５１に表示させる。
　Ｘ軸５２ｘ、Ｙ軸５２ｙおよびＺ軸５２ｚは、ワークモデルを基準とする座標軸であり、ワークモデルＭ１の重心を原点とするワーク座標系を表す。なお、ＣＡＤデータ４２において設定されている原点は、必ずしもワークモデルＭ１の重心とは限らない。そのため、表示制御部１１は、原点がワークモデルＭ１の重心と一致するように、ＣＡＤデータ４２に含まれる座標を変換する。
　線５３ｘ，５３ｙ，５３ｚは、それぞれＸ軸５２ｘ，Ｙ軸５２ｙおよびＺ軸５２ｚを中心とする回転方向を示す円状の線である。
　受付部１２は、設定画面５０の領域５１において入力装置１６０によって指定された位置に基づいて、ワークモデルＭ１上の第１点Ｐ１および第２点Ｐ２を受け付ける。例えば、領域５１においてワークモデルＭ１と重なる２点が順にクリックされると、受付部１２は、当該２点のうち先にクリックされた点を第１点Ｐ１として受け付け、当該２点のうち後にクリックされた点を第２点Ｐ２として受け付ける。
　上述したように、受付部１２が受け付けた第１点Ｐ１および第２点Ｐ２に応じて、ワークモデルＭ１に対して位置ベクトルＶ１，Ｖ２，Ｖ３が演算される。そして、モデルデータ４３によって示される基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３と位置ベクトルＶ１、Ｖ２，Ｖ３との相対位置関係が基準関係に近づくように、エンドエフェクタモデルＭ２の位置姿勢が決定される。
　受付部１２が第１点Ｐ１および第２点Ｐ２を受け付けるたびに、当該第１点Ｐ１および第２点Ｐ２に応じて、エンドエフェクタモデルＭ２の位置姿勢が決定される。そのため、受付部１２が第１点Ｐ１および第２点Ｐ２をＮ回（Ｎは２以上の整数）受け付けた場合、エンドエフェクタモデルＭ２のＮ個の位置姿勢が決定される。
　設定画面５０は、把持点候補の登録処理を補助するための各種のボタンを含む。図１３に示されるように、設定画面５０は、把持点選択ボタン群５５と、削除ボタン５６と、調整ボタン群５７と、反転ボタン群５８と、リセットボタン５９と、複製ボタン群６０とを含む。
　把持点選択ボタン群５５は、受付部１２が第１点Ｐ１および第２点Ｐ２をＮ回（Ｎは２以上の整数）受け付けた場合に、決定されたエンドエフェクタモデルＭ２のＮ個の位置姿勢のうちの１つを選択するためのボタンを含む。表示制御部１１は、把持点選択ボタン群５５の操作に応じて、選択された位置姿勢のエンドエフェクタモデルＭ２を領域５１にワークモデルＭ１と重ねて表示させる。
　削除ボタン５６は、決定されたエンドエフェクタモデルＭ２の位置姿勢を削除するためのボタンである。削除ボタン５６の操作に応じて、登録部１７は、把持点選択ボタン群５５の操作によって選択された位置姿勢を把持点候補から削除する。
　＜Ｄ－３．エンドエフェクタモデルの位置姿勢の調整＞
　図１２を用いて説明したように、ワークモデルＭ１における第１点Ｐ１の法線ベクトルＶａと、ワークモデルＭ１における第２点Ｐ２の法線ベクトルＶｂとの平均ベクトルと同じ向きを有する位置ベクトルＶ２が設定される。そのため、位置ベクトルＶ２は、位置ベクトルＶ１と直交しない可能性がある。一方、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３は互いに直交する。従って、第１点Ｐ１および第２点Ｐ２の指定の仕方によっては、決定部１４によって決定された位置姿勢が所望の位置姿勢からずれ得る。本実施の形態に係る画像処理装置１００は、決定部１４によって決定された位置姿勢を調整する機能を有する。
　図１４は、エンドエフェクタモデルの位置姿勢の調整方法の一例を説明する図である。図１５は、エンドエフェクタモデルの位置姿勢の調整方法の他の例を説明する図である。図１４に例示される設定画面５０の領域５１には、把持点選択ボタン群５５の操作によって選択された位置姿勢のエンドエフェクタモデルＭ２が表示されている。図１４には、図５に示すエンドエフェクタモデルＭ２が示される。図１５には、図６に示すエンドエフェクタモデルＭ２が示される。表示制御部１１は、モデルデータ４３によって示されるエンドエフェクタモデルＭ２の座標を決定部１４によって決定された座標変換行列を用いて変換する。表示制御部１１は、座標変換後のエンドエフェクタモデルＭ２を領域５１に表示させる。
　さらに、表示制御部１１は、決定部１４によって決定された座標変換行列を用いて、モデルデータ４３によって示される基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３を座標変換する。表示制御部１１は、座標変換後の基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３を領域５１に表示させてもよい。
　調整ボタン群５７（図１３参照）は、ボタン５７ａ～５７ｈを含む。決定部１４は、ボタン５７ａ～５７ｈの操作に応じて、決定した位置姿勢を調整する。さらに、表示制御部１１は、調整された位置姿勢のエンドエフェクタモデルＭ２を領域５１に表示させる。
　ボタン５７ａ，５７ｂ，５７ｃは、エンドエフェクタモデルＭ２を並進移動させるためのボタンである。並進移動の方向は、予め定められている。例えば、ボタン５７ａ，５７ｂ，５７ｃが操作されることにより、決定部１４は、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３と同じ方向（すなわち、エンドエフェクタ座標系のＸ軸，Ｙ軸，Ｚ軸の正方向）にエンドエフェクタモデルＭ２をそれぞれ並進移動させる。そして、表示制御部１１は、並進移動されたエンドエフェクタモデルＭ２を領域５１に表示させる。
　ボタン５７ｄ，５７ｅ，５７ｆは、エンドエフェクタモデルＭ２を回転移動させるためのボタンである。回転移動の軸は、予め定められている。例えば、ボタン５７ｄ，５７ｅ，５７ｆが操作されることにより、決定部１４は、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３（または、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３に平行な軸）を回転軸としてエンドエフェクタモデルＭ２をそれぞれ回転移動させる。表示制御部１１は、回転移動されたエンドエフェクタモデルＭ２を領域５１に表示させる。
　ボタン５７ｇが操作されることにより、表示制御部１１は、エンドエフェクタモデルＭ２のストローク幅を変更する。具体的には、表示制御部１１は、「Left　tip　finger」、「Left　finger」、「Right　tip　finger」および「Right　finger」グループに属するパーツを並進移動させる。移動方向は、決定部１４によって決定された座標変換行列を用いて、モデルデータ４３で示される可動方向を示すベクトルを座標変換することにより得られるベクトルの方向である。
　ボタン５７ｈが操作されることにより、決定部１４は、エンドエフェクタモデルＭ２を基準位置ベクトルＶ１３の方向に沿って並進移動させる。そして、表示制御部１１は、並進移動されたエンドエフェクタモデルＭ２を領域５１に表示させる。なお、ボタン５７ｃ，５７ｈのいずれが操作されても、エンドエフェクタモデルＭ２は、基準位置ベクトルＶ１３の方向に沿って並進移動する。ただし、ボタン５７ｃ，５７ｈのいずれが操作されたかに応じて、複製ボタン群６０（図１３参照）が操作されたときに複製されるエンドエフェクタモデルの位置姿勢に差異が生じる。
　調整ボタン群５７は、ボタン５７ａ～５７ｈが操作されたときの単位移動量を設定するためのプルダウンボタン５７ｉを含む。図１４および図１５に例示される設定画面５０では、ボタン５７ａ～５７ｃ，５７ｇ，５７ｈが操作されたときの単位移動量がエンドエフェクタモデルＭ２の外接直方体の辺の長さの１％であり、ボタン５７ｄ～５７ｆが操作されたときの単位移動量が１°である。なお、ボタン５７ａ～５７ｈの各々は、プラスボタンとマイナスボタンとを含む。プラスボタンは、正方向に単位移動量だけエンドエフェクタモデルＭ２を移動させるためのボタンであり、マイナスボタンは、負方向に単位移動量だけエンドエフェクタモデルＭ２を移動させるためのボタンである。
　表示制御部１１は、ボタン５７ａの操作による並進移動方向をユーザに認識させるために、当該並進移動方向と平行であるベクトルＶ２１，Ｖ３１を領域５１に表示させる。ベクトルＶ２１，Ｖ３１は、基準位置ベクトルＶ１１と平行な軸である。表示制御部１１は、ベクトルＶ２１，Ｖ３１とボタン５７ａ，５７ｄとを同一色（例えば赤色）で表示させる。表示制御部１１は、ボタン５７ｂの操作による並進移動方向をユーザに認識させるために、当該並進移動方向と平行であるベクトルＶ２２，Ｖ３２を領域５１に表示させる。ベクトルＶ２２，Ｖ３２は、基準位置ベクトルＶ１２と平行な軸である。表示制御部１１は、ベクトルＶ２２，Ｖ３２とボタン５７ｂ，５７ｅとを同一色（例えば緑色）で表示させる。表示制御部１１は、ボタン５７ｃの操作による並進移動方向をユーザに認識させるために、当該並進移動方向と平行であるベクトルＶ２３，Ｖ３３を領域５１に表示させる。ベクトルＶ２３，Ｖ３３は、基準位置ベクトルＶ１３と平行な軸である。表示制御部１１は、ベクトルＶ２３，Ｖ３３とボタン５７ｃ，５７ｆとを同一色（例えば青色）で表示させる。これにより、ユーザは、所望の移動方向に応じたボタン操作を行ないやすい。
　ベクトルＶ２１～Ｖ２３は、エンドエフェクタモデルＭ２における「Right　tip　finger」グループに属するパーツ（図１４ではパーツ７８）の先端付近に表示される。ベクトルＶ３１～Ｖ３３は、エンドエフェクタモデルＭ２における「Left　tip　finger」グループに属するパーツ（図１４ではパーツ８０、図１５ではパーツ８０ｂ）の先端付近に表示される。図１５に示されるように、ワークモデルＭ１の表示方向によって、ベクトルＶ２１～Ｖ２３とベクトルＶ３１～Ｖ３３との一方（図１５ではベクトルＶ２１～Ｖ２３）は、ワークモデルＭ１に隠れる。しかしながら、ユーザは、ベクトルＶ２１～Ｖ２３とベクトルＶ３１～Ｖ３３との一方がワークモデルＭ１またはエンドエフェクタモデルＭ２に隠れている場合であっても、他方を見ながら、所望の移動方向に応じたボタン操作を行なえる。
　図１４および図１５に示されるように、反転ボタン群５８（図１３参照）は、上下反転ボタン５８ａと、左右反転ボタン５８ｂとを含む。上下反転ボタン５８ａが操作されると、表示制御部１１は、基準位置ベクトルＶ１２を含む直線を回転軸として、エンドエフェクタモデルＭ２を１８０°回転させる。左右反転ボタン５８ｂが操作されると、表示制御部１１は、決定部１４によって決定された座標変換行列を用いて座標変換されたエンドエフェクタ座標系のＺ軸を回転軸として、エンドエフェクタモデルＭ２を１８０°回転させる。ユーザは、反転ボタン群５８を操作することにより、エンドエフェクタモデルＭ２を簡単に反転させることができる。
　リセットボタン５９が操作されると、決定部１４は、エンドエフェクタモデルＭ２の位置姿勢の調整を全てリセットする。そのため、表示制御部１１は、領域５１に表示されているエンドエフェクタモデルＭ２の位置姿勢を、調整前の位置姿勢に戻す。
　＜Ｄ－４．ボタン操作に応じたエンドエフェクタモデルの自動複製＞
　図１３および図１６～図１９を参照して、エンドエフェクタモデルＭ２の自動複製操作について説明する。指定された第１点Ｐ１および第２点Ｐ２に基づいて決定されたエンドエフェクタモデルの位置姿勢から指定方向に回転移動した位置姿勢であっても、把持点候補として利用できる場合がありうる。そのため、指定方向に回転移動した位置姿勢も把持点候補として登録可能なように、複製処理部１５は、エンドエフェクタモデルＭ２の自動複製処理を行なう。
　図１３に示す複製ボタン群６０は、自動複製に関する設定を行なうためのボタン群である。図１３に示されるように、複製ボタン群６０は、「Single」ボタン６０ａを含む。ボタン６０ａが操作されたとき、自動複製機能がオフに設定される。
　図１６は、複製ボタン群に含まれる「Fan」ボタン６０ｂが操作されたときの設定画面の例を示す図である。図１７は、複製ボタン群に含まれる「Cylinder」ボタン６０ｃが操作されたときの設定画面の例を示す図である。図１８は、複製ボタン群に含まれる「Hybrid」ボタン６０ｄが操作されたときの設定画面の例を示す図である。図１９は、複製ボタン群に含まれる「Circle」ボタン６０ｅが操作されたときの設定画面の例を示す図である。
　複製処理部１５は、ボタン６０ｂ～６０ｅの操作に応じて、回転軸を決定する。複製処理部１５は、エンドエフェクタモデルＭ２における「Right　tip　finger」グループに属するパーツの端面の重心と「Left　tip　finger」グループに属するパーツの端面の重心との中点Ｐ１００（図８（ｃ）参照）の座標を演算する。中点Ｐ１００の座標は、決定部１４によって決定された座標変換行列を用いて変換されたパーツの座標に基づいて演算される。
　複製処理部１５は、ボタン６０ｂの操作に応じて、中点Ｐ１００を通り、基準位置ベクトルＶ１２に平行な直線を回転軸として決定する。複製処理部１５は、ボタン６０ｃの操作に応じて、中点Ｐ１００を通り、基準位置ベクトルＶ１１に平行な直線を回転中心軸として決定する。複製処理部１５は、ボタン６０ｄの操作に応じて、中点Ｐ１００を通り、基準位置ベクトルＶ１１に平行な直線を第１の回転軸として決定し、中点Ｐ１００を通り、基準位置ベクトルＶ１２に平行な直線を第２の回転軸として決定する。複製処理部１５は、ボタン６０ｅの操作に応じて、中点Ｐ１００を通り、基準位置ベクトルＶ１３に平行な直線を回転軸として決定する。
　複製ボタン群６０は、回転中心軸に対する回転角度を設定するためのボタン６０ｆ～６０ｈを含む。ボタン６０ｆは、開始角度を設定するために操作される。ボタン６０ｇは、終了角度を設定するために操作される。ボタン６０ｈは、複製個数を設定するために操作される。ボタン６０ｆ～６０ｈの各々は、プラスボタンとマイナスボタンとを含む。プラスボタンが操作されることにより、角度または個数が正側に変更される。マイナスボタンが操作されることにより、角度または個数が負側に変更される。
　複製ボタン群６０は、ボタン６０ｆ，６０ｇが操作されたときの角度の単位変更量を選択するためのプルダウンボタン６０ｉを含む。図１６～図１９に例示される設定画面５０では、単位変更量として１°が選択されている。なお、ボタン６０ｈが操作されたときの複製個数の変更量は１である。
　表示制御部１１は、領域５１において、開始角度、終了角度および複製個数を示すテキストＴ６６を表示させる。ユーザは、テキストＴ６６を見ながらボタン６０ｆ～６０ｈを操作することにより、所望の開始角度、終了角度および複製個数を設定できる。
　図１６に例示される設定画面５０では、開始角度「－３０°」、終了角度「３０°」、複製個数「３個」が設定されている。そのため、複製処理部１５は、回転軸に対して、エンドエフェクタモデルＭ２を－３０°、０°、３０°回転させることにより、エンドエフェクタモデルＭ２＿１～Ｍ２＿３をそれぞれ複製する。表示制御部１１は、複製されたエンドエフェクタモデルＭ２＿１～Ｍ２＿３を領域５１に表示する。なお、エンドエフェクタモデルＭ２＿２は、エンドエフェクタモデルＭ２と一致する。
　図１７に例示される設定画面５０では、開始角度「－１５０°」、終了角度「１５０°」、複製個数「７個」が設定されている。そのため、複製処理部１５は、回転軸に対して、エンドエフェクタモデルＭ２を－１５０°，－１００°，－５０°，０°，５０°，１００°，１５０°回転させることにより、エンドエフェクタモデルＭ２＿１～Ｍ２＿７をそれぞれ複製する。表示制御部１１は、複製されたエンドエフェクタモデルＭ２＿１～Ｍ２＿７を領域５１に表示する。なお、エンドエフェクタモデルＭ２＿４は、エンドエフェクタモデルＭ２と一致する。
　図１８に例示される設定画面５０では、第１の回転軸に対して、開始角度「－３０°」、終了角度「３０°」、複製個数「３個」が設定されている。さらに、第２の回転軸に対して、開始角度「－１５０°」、終了角度「１５０°」、複製個数「７個」が設定されている。そのため、複製処理部１５は、第１の回転軸に対して、エンドエフェクタモデルＭ２を－３０°、０°、３０°回転させることにより、エンドエフェクタモデルＭ２＿１～Ｍ２＿３をそれぞれ複製する。
　さらに、複製処理部１５は、第２の回転軸に対して、エンドエフェクタモデルＭ２＿１を－１５０°，－１００°，－５０°，０°，５０°，１００°，１５０°回転させることにより、７つのエンドエフェクタモデルを複製する。複製処理部１５は、第２の回転軸に対して、エンドエフェクタモデルＭ２＿２（Ｍ２）を－１５０°，－１００°，－５０°，０°，５０°，１００°，１５０°回転させることにより、７つのエンドエフェクタモデルを複製する。複製処理部１５は、第２の回転軸に対して、エンドエフェクタモデルＭ２＿３を－１５０°，－１００°，－５０°，０°，５０°，１００°，１５０°回転させることにより、７つのエンドエフェクタモデルを複製する。
　このようにして、複製処理部１５は、合計２４個のエンドエフェクタモデルＭ２＿１～Ｍ２＿２４を複製する。表示制御部１１は、複製されたエンドエフェクタモデルＭ２＿１～Ｍ２＿２４を領域５１に表示する。
　図１９に例示される設定画面５０では、開始角度「－８８°」、終了角度「７５°」、複製個数「３個」が設定されている。そのため、複製処理部１５は、回転軸に対して、エンドエフェクタモデルＭ２を－８８°，－６．５°，７５°回転させることにより、エンドエフェクタモデルＭ２＿１～Ｍ２＿３をそれぞれ複製する。表示制御部１１は、複製されたエンドエフェクタモデルＭ２＿１～Ｍ２＿３を領域５１に表示する。
　なお、調整ボタン群５７に含まれるボタン５７ａ～５７ｇが操作され、決定部１４が位置姿勢の調整を行なった場合、複製処理部１５は、調整後の位置姿勢に基づいてエンドエフェクタモデルの複製を行なう。具体的には、複製処理部１５は、調整後の位置姿勢のエンドエフェクタモデルＭ２に基づいて回転軸を設定する。複製処理部１５は、設定した回転軸に対して調整後のエンドエフェクタモデルＭ２を回転させることにより、エンドエフェクタモデルを複製する。そのため、例えば図１７においてエンドエフェクタモデルＭ２が基準位置ベクトルＶ１１の向きに＋１だけ並進移動された場合、複製されるエンドエフェクタモデルＭ２＿１～Ｍ２＿７も基準位置ベクトルＶ１１の向きに＋１だけ並進移動する。
　調整ボタン群５７に含まれるボタン５７ｈが操作された場合も、複製処理部１５は、調整後の位置姿勢に基づいてエンドエフェクタモデルの複製を行なう。ただし、複製処理部１５は、調整前の位置姿勢のエンドエフェクタモデルＭ２に基づいて回転軸を設定する。そして、複製処理部１５は、設定した回転軸に対して調整後のエンドエフェクタモデルＭ２を回転させることにより、エンドエフェクタモデルを複製する。そのため、例えば図１７においてボタン５７ｈの操作によりエンドエフェクタモデルＭ２が基準位置ベクトルＶ１３の向きに＋１だけ並進移動された場合、複製されるエンドエフェクタモデルＭ２＿１～Ｍ２＿７の各々は、回転軸に近づくように＋１だけ並進移動する。
　＜Ｄ－５．エンドエフェクタモデルの手動複製＞
　図１３に示されるように、設定画面５０は、コピーボタン６１を含む。コピーボタン６１の操作に応じて、複製処理部１５は、決定部１４によって決定された位置姿勢のエンドエフェクタモデルＭ２を複製する。複製されたエンドエフェクタモデルの初期の位置姿勢は、決定部１４によって決定された位置姿勢と同一である。表示制御部１１は、複製されたエンドエフェクタモデルを領域５１に表示する。複製処理部１５は、複製されたエンドエフェクタモデルに対する操作に応じて、当該複製されたエンドエフェクタモデルの位置姿勢を変更する。
　図１３に示されるように、設定画面５０は、反転コピーボタン６２を含む。反転コピーボタン６２の操作に応じて、複製処理部１５は、ワーク座標系の原点（ワークモデルＭ１の重心）に対して、決定部１４によって決定された位置姿勢のエンドエフェクタモデルＭ２と点対称であるエンドエフェクタモデルを複製する。表示制御部１１は、複製されたエンドエフェクタモデルを領域５１に表示する。
　＜Ｄ－６．補助ガイド面の表示機能＞
　表示制御部１１は、エンドエフェクタモデルＭ２の先端とワークモデルＭ１との相対位置関係が容易に把握されるように、補助ガイド面の表示機能を有している。補助ガイド面は、設定画面５０のプルダウンボタン６３（図１３参照）の操作に応じて表示される。
　図２０は、設定画面に表示される補助ガイド面の一例を示す図である。図２０に例示される設定画面５０では、プルダウンボタン６３により「Cylinder（Ｘ）」が選択されている。図２０に示されるように、設定画面５０の領域５１には、エンドエフェクタモデルＭ２の「Right　tip　finger」グループに属するパーツ７８と「Left　tip　finger」グループに属するパーツ８０との間に補助ガイド面６９ａが表示される。補助ガイド面６９ａは、パーツ７８，８０の端面にそれぞれ位置する点Ｐ１０１，Ｐ１０２（図８の（ｃ）参照）を結ぶ線分を直径とし、基準位置ベクトルＶ１１に平行な軸を有する円筒形状である。点Ｐ１０１は、パーツ７８の端面において、当該端面の重心を通り、かつ可動方向に平行な線上の点のうちパーツ８０に最も近い点である。点Ｐ１０２は、パーツ８０の端面において、当該端面の重心を通り、かつ可動方向に平行な線上の点のうちパーツ７８に最も近い点Ｐ１０（図１０参照）と一致する。補助ガイド面６９ａが表示されることにより、エンドエフェクタモデルＭ２の先端とワークモデルＭ１との相対位置関係が容易に把握される。
　なお、プルダウンボタン６３により、「Cylinder（Ｚ）」が選択されてもよい。この場合、設定画面５０の領域５１には、点Ｐ１０１，Ｐ１０２を結ぶ線分を直径とし、基準位置ベクトルＶ１３に平行な軸を有する円筒形状の補助ガイド面が表示される。
　図２１は、設定画面に表示される補助ガイド面の別の例を示す図である。図２１に例示される設定画面５０では、プルダウンボタン６３により「Rectangular（Ｚ）」が選択されている。図２１に示されるように、設定画面５０の領域５１には、エンドエフェクタモデルＭ２の「Right　tip　finger」グループに属するパーツ７８と「Left　tip　finger」グループに属するパーツ８０との間に角筒形状の補助ガイド面６９ｂが表示される。補助ガイド面６９ｂの断面は、パーツ７８，８０の先端にそれぞれ位置する点Ｐ１０１，Ｐ１０２を結ぶ線分を直径とする円の外接正方形である。さらに、角筒形状の補助ガイド面６９ｂの軸は、基準位置ベクトルＶ１３に平行である。補助ガイド面６９ｂが表示されることにより、エンドエフェクタモデルＭ２の先端と直方体形状のワークモデルＭ１との相対位置関係が容易に把握される。
　なお、プルダウンボタン６３により、「Rectangular（Ｘ）」が選択されてもよい。この場合、設定画面５０の領域５１には、点Ｐ１０１，Ｐ１０２を結ぶ線分を直径とする円の外接正方形を断面とし、基準位置ベクトルＶ１１に平行な軸を有する角筒形状の補助ガイド面が表示される。
　ユーザは、ワークモデルＭ１の形状、エンドエフェクタモデルＭ２とワークモデルＭ１との相対位置関係などに応じてプルダウンボタン６３を操作し、補助ガイド面の形状および向きを適宜変更すればよい。
　なお、調整ボタン群５７に含まれるボタン５７ａ～５７ｇが操作され、決定部１４が位置姿勢を調整した場合、表示制御部１１は、調整後の位置姿勢に基づいて補助ガイド面を表示させる。そのため、例えば図２０においてエンドエフェクタモデルＭ２が基準位置ベクトルＶ１１の向きに＋１だけ並進移動された場合、補助ガイド面６９ａも基準位置ベクトルＶ１１の向きに＋１だけ並進移動する。また、図２０においてエンドエフェクタモデルＭ２のストローク幅が＋１だけ変更された場合、補助ガイド面６９ａの直径も＋１だけ変更される。
　一方、調整ボタン群５７に含まれるボタン５７ｈが操作された場合、表示制御部１１は、調整前の位置姿勢（すなわち、決定部１４によって決定された位置姿勢）のエンドエフェクタモデルＭ２に基づいて補助ガイド面を表示させる。そのため、例えば図２０においてボタン５７ｈの操作によりエンドエフェクタモデルＭ２が基準位置ベクトルＶ１３の向きに＋１だけ並進移動されたとしても、補助ガイド面６９ａは並進移動しない。
　＜Ｄ－７．他の設定機能＞
　図１３に戻って、設定画面５０は、ボタン群６４，６５，６６をさらに含む。ボタン群６４は、アプローチ動作における進行方向を設定するために操作される。
　図２２は、アプローチ動作の設定方法を説明する図である。図２２に示されるように、ボタン群６４は、「Tip」ボタン６４ａと、「ToolZ」ボタン６４ｂとを含む。「Tip」ボタン６４ａは、指部３１０の延伸方向に沿ってエンドエフェクタ３０１をワーク１に近づけるアプローチ動作を設定するときに操作される。指部３１０の延伸方向は、エンドエフェクタモデルＭ２における「Right　tip　finger」および「Left　tip　finger」グループに属するパーツ（図２２ではパーツ７８ｂ）の端面の法線方向に対応する。「ToolZ」ボタン６４ｂは、多関節アーム３０２のフランジ面の法線方向（エンドエフェクタ座標系のＺ軸方向）に沿ってエンドエフェクタ３０１をワーク１に近づけるアプローチ動作を設定するときに操作される。
　ボタン群６５は、決定部１４によって決定された位置姿勢の優先度を設定するために操作される。ボタン群６５は、「High」ボタンと「Low」ボタンとを含む。ユーザは、優先度の高い位置姿勢に対して「High」ボタンを操作し、優先度の低い位置姿勢に対して「Low」ボタンを操作する。登録部１７は、「High」ボタンが操作された位置姿勢を、高優先度の把持点候補として登録する。登録部１７は、「Low」ボタンが操作された位置姿勢を、低優先度の把持点候補として登録する。
　まず、画像処理部２５は、高優先度の把持点候補に基づいて、対象ワーク２をピッキングするときのエンドエフェクタ３０１の位置姿勢を決定する。ただし、高優先度の把持点候補を用いて決定した位置姿勢のエンドエフェクタ３０１が他のワーク１やコンテナ５と干渉する可能性がある。このような場合、画像処理部２５は、低優先度の把持点候補に基づいて、対象ワーク２をピッキングするときのエンドエフェクタ３０１の位置姿勢を決定する。
　ボタン群６６は、２本の指部３１０を用いた把持方法を設定するために操作される。ボタン群６６は、外径把持を設定するための「Closing」ボタンと、内径把持を設定するための「Open」ボタンとを含む。
　表示制御部１１は、現在の設定状態を示すテキスト５４を領域５１内に表示する。テキスト５４は、「Object　ID」と「Hand　ID」と「Grasp　point」と「DB　ID」と「Priority」と「Approach」と「Pattern」と「Direction」とを示す。「Object　ID」は、ワークモデルＭ１を識別するＩＤである。「Hand　ID」は、エンドエフェクタモデルＭ２を識別するＩＤである。「Hand　ID」は、図７の入力欄８９に入力されたＩＤの中から選択される。「Grasp　point」は、第１点Ｐ１および第２点Ｐ２の指定に応じて決定部１４によって決定された位置姿勢の総数（分母）と、領域５１に現在表示されているエンドエフェクタモデルＭ２の位置姿勢の番号（分子）とを示す。「DB　ID」は、決定部１４によって決定された位置姿勢と自動複製されたエンドエフェクタモデルの位置姿勢との総数（分母）と、領域５１に現在表示されているエンドエフェクタモデルＭ２の位置姿勢の番号（分子）とを示す。「Priority」は、ボタン群６５への操作によって現在設定されている優先度を示す。「Approach」は、ボタン群６４への操作によって現在設定されているアプローチ動作を示す。「Pattern」は、複製ボタン群６０への操作によって現在設定されている自動複製パターンを示す。「Direction」は、ボタン群６６への操作によって現在設定されている把持方法を示す。
　＜Ｄ－８．干渉判定＞
　判定部１６は、決定部１４によって決定された位置姿勢のエンドエフェクタモデルＭ２と複製処理部１５によって複製されたエンドエフェクタモデルＭ２＿ｋとの各々について、ワークモデルＭ１との干渉判定を行なう。なお、調整ボタン群５７が操作されている場合、判定部１６は、調整後の位置姿勢のエンドエフェクタモデルＭ２，Ｍ２＿ｋとワークモデルＭ１との干渉判定を行なう。
　判定部１６は、エンドエフェクタモデルＭ２，Ｍ２＿ｋを構成する各パーツの座標と、ワークモデルＭ１の表面を構成する三角メッシュの位置座標とに基づいて、干渉判定を行なう。エンドエフェクタモデルＭ２を構成する各パーツの座標は、決定部１４によって決定された座標変換行列を用いて、モデルデータ４３によって示される各パーツの座標を変換することにより算出される。エンドエフェクタモデルＭ２＿ｋを構成する各パーツの座標は、さらに複製ボタン群６０への操作に応じて定められる回転軸および回転角度に基づいて算出される。
　モデル作成部３０によって作成されたエンドエフェクタモデルＭ２の形状およびサイズは、エンドエフェクタ３０１の形状およびサイズと一致していないことがありうる。そのため、判定部１６は、モデルデータ４３によって示されるマージン（図７の入力欄９０に入力されたマージン）だけ、エンドエフェクタモデルＭ２，Ｍ２＿ｋを拡大させてもよい。これにより、対象ワーク２と干渉するエンドエフェクタ３０１の位置姿勢が誤って把持点候補として登録されることを抑制できる。
　図２３は、決定部によって決定された位置姿勢のエンドエフェクタモデルとワークモデルとが干渉するときの設定画面の一例を示す図である。エンドエフェクタモデルＭ２とワークモデルＭ１とが干渉している場合、表示制御部１１は、エンドエフェクタモデルＭ２の表示形式を変更する。例えば、表示制御部１１は、エンドエフェクタモデルＭ２において指部３１０に対応するパーツ７７～８０の表示色を変更する。これにより、ユーザは、パーツ７７～８０の表示色を確認することにより、エンドエフェクタモデルＭ２とワークモデルＭ１とが干渉していることを認識できる。エンドエフェクタモデルＭ２とワークモデルＭ１とが干渉している場合、ユーザは、調整ボタン群５７を操作して、ワークモデルＭ１と干渉しないようにエンドエフェクタモデルＭ２の位置姿勢を調整すればよい。
　＜Ｄ－９．登録処理＞
　登録部１７は、決定部１４によって決定された位置姿勢と複製処理部１５によって決定された位置姿勢（複製されたエンドエフェクタモデルの位置姿勢）とを把持点候補として登録する。なお、登録部１７は、調整ボタン群５７の操作を受けた場合には、調整後の位置姿勢を把持点候補として登録する。ただし、登録部１７は、判定部１６によってワークモデルＭ１と干渉していると判定されたエンドエフェクタモデルＭ２，Ｍ２＿ｋの位置姿勢を把持点候補から除外する。
　＜Ｄ－１０．エンドエフェクタモデルの回転対称性を考慮した把持点候補の自動登録処理＞
　エンドエフェクタモデルＭ２が回転対称性を有する場合、登録部１７は、当該回転対称性を考慮して把持点候補の自動登録処理を行なう。エンドエフェクタモデルＭ２の回転対称性は、図９に示すモデル作成画面において、チェックボックス９２がチェックされ、入力欄９３に最小回転角度θが入力されることにより設定される。これにより、回転対称軸と最小回転角度θとを示すモデルデータ４３が作成される。
　登録部１７は、モデルデータ４３が回転対称軸と最小回転角度θとを示す場合、決定部１４によって決定された位置姿勢から当該回転対称軸を中心にｎ×θだけ回転させたエンドエフェクタモデルの位置姿勢も把持点候補として登録する。なお、ｎは、１以上かつ３６０／θ未満の整数である。同様に、登録部１７は、複製ボタン群６０の操作に応じて自動複製されたエンドエフェクタモデルＭ２＿ｋの位置姿勢から当該回転対称軸を中心にｎ×θだけ回転させたエンドエフェクタモデルの位置姿勢も把持点候補として登録する。
　図２４は、エンドエフェクタモデルの回転対称性を考慮した把持点候補の自動登録処理を説明する図である。図２４には、最小回転角度θとして１８０°（２回対称）が設定されたときの自動登録処理の例が示される。図２４の（ａ）には、決定部１４によって決定された位置姿勢のエンドエフェクタモデルＭ２が示される。図２４の（ｂ）には、（ａ）に示すエンドエフェクタモデルＭ２の位置姿勢から回転対象軸（エンドエフェクタ座標系のＺ軸）を中心に１８０°だけ回転させたエンドエフェクタモデルＭ２（１）が示される。図２４に示されるように、エンドエフェクタモデルＭ２とエンドエフェクタモデルＭ２（１）とは重なり合う。そのため、登録部１７は、図２４の（ａ）に示されるエンドエフェクタモデルＭ２の位置姿勢を把持点候補として登録するときに、図２４の（ｂ）に示されるエンドエフェクタモデルＭ２（１）の位置姿勢も把持点候補として自動登録する。
　＜Ｅ．把持点候補の登録処理の流れ＞
　図２５は、把持点候補の登録処理の流れの一例を示すフローチャートである。まず、画像処理装置１００のＣＰＵ１１０は、ＣＡＤデータ４２によって示されるワークモデルＭ１上の第１点Ｐ１および第２点Ｐ２の指定を受け付ける（ステップＳ１）。ＣＰＵ１１０は、ＣＡＤデータ４２に基づいて、第１点Ｐ１および第２点Ｐ２の各々の法線ベクトルを特定する（ステップＳ２）。
　次に、ＣＰＵ１１０は、第１点Ｐ１および第２点Ｐ２から定義される点Ｐ０を始点とし、第１点Ｐ１から第２点Ｐ２への向きと同じ向きを有する位置ベクトルＶ１を演算する（ステップＳ３）。ＣＰＵ１１０は、第１点Ｐ１の法線ベクトルおよび第２点Ｐ２の法線ベクトルから定義される位置ベクトルＶ２を演算する（ステップＳ４）。さらに、ＣＰＵ１１０は、位置ベクトルＶ１と位置ベクトルＶ２との外積で表される位置ベクトルＶ３を演算する（ステップＳ５）。
　次に、ＣＰＵ１１０は、エンドエフェクタモデルＭ２に対して予め定められた基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３と、位置ベクトルＶ１，Ｖ２，Ｖ３との相対位置関係が予め定められた基準関係に近づくように、エンドエフェクタモデルＭ２の位置姿勢を決定する（ステップＳ６）。
　ＣＰＵ１１０は、決定された位置姿勢を把持点候補として登録する（ステップＳ７）。具体的には、ＣＰＵ１１０は、ワークモデルＭ１に対する、ステップＳ６において決定された位置姿勢のエンドエフェクタモデルＭ２の相対位置姿勢を把持点候補として登録する。
　なお、ステップＳ６において決定された位置姿勢が調整された場合、調整後の位置姿勢が把持点候補として登録されてもよい。また、ステップＳ６において決定された位置姿勢のエンドエフェクタモデルＭ２を指定方向に指定角度だけ回転させることにより複製されたエンドエフェクタモデルＭ２＿ｋの位置姿勢も把持点候補として登録されてもよい。さらに、エンドエフェクタモデルＭ２の回転対称性を考慮して複製されたエンドエフェクタモデルの位置姿勢も把持点候補として登録されてもよい。
　＜Ｆ．変形例＞
　＜Ｆ－１．変形例１＞
　エンドエフェクタ３０１は、２指ハンドに限定されない。例えば、エンドエフェクタ３０１は、３本以上の指部を有する多指ハンドや、１以上の真空パッドを有する吸着ハンドであってもよい。
　エンドエフェクタ３０１が３本の指部を有する場合、エンドエフェクタモデルＭ２における３本の指部にそれぞれ対応する３つのパーツは、３回対称となる。そのため、図９に示すモデル作成画面７０の入力欄９３には、最小回転角度θとして１２０°が入力される。これにより、登録部１７は、決定部１４によって決定された位置姿勢から回転対称軸を中心に１２０°，２４０°だけそれぞれ回転させた２つのエンドエフェクタモデルの位置姿勢を把持点候補として登録する。
　図２６は、吸着ハンドに対応するエンドエフェクタモデルを作成中のモデル作成画面の一例を示す図である。図２６に例示されるモデル作成画面７０では、エンドエフェクタモデルＭ２は、パーツ９７～９９によって構成される。吸着ハンドであるエンドエフェクタについて、「Base」および「Bellows」の２つのグループが予め定められる。「Base」グループは、真空パッドを支持する部分に対応する。「Bellows」グループは、真空パッドに対応する。パーツ９７，９８は、「Base」グループに属する。パーツ９９は、「Bellows」グループに属する。
　図２７は、設定画面に表示される補助ガイド面のさらに別の例を示す図である。図２７に例示される設定画面５０には、図２６に示すモデル作成画面７０を用いて作成されたエンドエフェクタモデルＭ２が表示されている。なお、図２７に例示される設定画面５０は、タブ６８が操作されたときの状態に対応し、エンドエフェクタ３０１が吸着ハンドであるときに表示される。
　図２７に示されるように、タブ６８が操作されると、プルダウンボタン６３により「Plane」が選択可能となる。「Plane」が選択されると、表示制御部１１は、「Bellows」グループに属するパーツ９９の先端面を含む平面形状の補助ガイド面６９ｃを表示させる。これにより、パーツ９９の先端とワークモデルＭ１との相対位置関係が容易に把握される。
　＜Ｆ－２．変形例２＞
　上記の具体例では、決定部１４は、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３と位置ベクトルＶ１，Ｖ２，Ｖ３との相対位置関係が基準関係に最も近づくようにエンドエフェクタ座標系を剛体変換させるための座標変換行列を決定する。すなわち、決定部１４は、ワーク座標系において、基準関係に基づいて位置ベクトルＶ１，Ｖ２，Ｖ３を補正する。決定部１４は、座標変換後の基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３の終点のＸＹＺ座標と補正後の位置ベクトルＶ１，Ｖ２，Ｖ３の終点のＸＹＺ座標とのそれぞれの差分が最小となるように、座標変換行列を決定する。しかしながら、決定部１４による座標変換行列の決定方法はこれに限定されない。
　剛体変換の座標変換行列は、各座標系における、一直線上にない少なくとも３つの点の座標を用いることにより決定される。そのため、決定部１４は、座標変換後の基準位置ベクトルＶ１１，Ｖ１２の共通の始点および各々の終点のＸＹＺ座標と、補正後の位置ベクトルＶ１，Ｖ２の共通の始点および各々の終点のＸＹＺ座標とのそれぞれの差分が最小となるように、座標変換行列を決定してもよい。この場合、演算部１３は、位置ベクトルＶ３を演算しなくてもよい。また、モデル作成部３０は、エンドエフェクタモデルＭ２に対して基準位置ベクトルＶ１３を設定しなくてもよい。
　＜Ｆ－３．変形例３＞
　上記の具体例では、演算部１３は、位置ベクトルＶ１と位置ベクトルＶ２との外積で表される位置ベクトルを位置ベクトルＶ３として演算した。しかしながら、演算部１３は、別の方法で位置ベクトルＶ３を演算してもよい。例えば、演算部１３は、位置ベクトルＶ１と同じ点Ｐ０を始点とし、位置ベクトルＶ１に直交する位置ベクトルを位置ベクトルＶ３として演算してもよい。
　図２８は、変形例３に係る位置ベクトルＶ３の演算方法を示す図である。図２８の（ａ）には、設定画面５０の領域５１が示される。演算部１３は、上記の具体例と同様に、第１点Ｐ１および第２点Ｐ２が定義される点Ｐ０を始点とし、第１点Ｐ１から第２点Ｐ２への向きと同じ向きを有する位置ベクトルＶ１を演算する。さらに、演算部１３は、点Ｐ０を通り、画面に平行な平面上において、点Ｐ０を始点とし、位置ベクトルＶ１に直交する位置ベクトルを位置ベクトルＶ３として演算する。
　図２８の（ｂ）には、異なる視点からの位置ベクトルＶ１，Ｖ２，Ｖ３が示される。なお，演算部１３は、上記の具体例と同様に、位置ベクトルＶ２を演算する。図２８の（ｂ）に示されるように、変形例３に従って演算された位置ベクトルＶ１，Ｖ２，Ｖ３は、互いに直交しない可能性が高い。
　図２８の（ｃ）には、決定部１４によって決定された位置姿勢のエンドエフェクタモデルＭ２とワークモデルＭ１との相対位置関係が示される。決定部１４は、上記の具体例と同様に、基準位置ベクトルＶ１１～Ｖ１３と位置ベクトルＶ１～Ｖ３との相対位置関係が基準関係に近づくように、エンドエフェクタモデルＭ２の位置姿勢を決定する。例えば、基準関係は、位置ベクトルＶ２の向きと基準位置ベクトルＶ１２の向きとが一致する関係を含む。ただし、位置ベクトルＶ１，Ｖ２，Ｖ３が互いに直交しないため、図２８の（ｃ）に示されるように、位置ベクトルＶ２の向きと基準位置ベクトルＶ１２の向きとにずれが生じうる。このような場合、調整ボタン群５７の操作によってエンドエフェクタモデルＭ２の位置姿勢が調整される。
　＜Ｆ－４．変形例４＞
　上記の具体例では、演算部１３は、ワークモデルＭ１における第１点Ｐ１および第２点Ｐ２の法線ベクトルから定義される位置ベクトルを位置ベクトルＶ２として演算した。しかしながら、演算部１３は、別の方法で位置ベクトルＶ２を演算してもよい。
　図２９は、変形例４に係る位置ベクトルＶ２の演算方法を示す図である。図２９の（ａ）には、設定画面５０の領域５１が示される。演算部１３は、上記の具体例と同様に、第１点Ｐ１および第２点Ｐ２が定義される点Ｐ０を始点とし、第１点Ｐ１から第２点Ｐ２への向きと同じ向きを有する位置ベクトルＶ１を演算する。さらに、演算部１３は、上記の変形例３と同様に、点Ｐ０を通り、画面に平行な平面上において、点Ｐ０を始点とし、位置ベクトルＶ１に直交する位置ベクトルを位置ベクトルＶ３として演算する。
　図２９の（ｂ）には、異なる視点からの位置ベクトルＶ１，Ｖ２，Ｖ３が示される。演算部１３は、位置ベクトルＶ１と位置ベクトルＶ３との外積を位置ベクトルＶ２として演算する。図２９の（ｂ）に示されるように、変形例４に従って演算された位置ベクトルＶ１，Ｖ２，Ｖ３は、互いに直交する。
　図２９の（ｃ）には、決定部１４によって決定された位置姿勢のエンドエフェクタモデルＭ２とワークモデルＭ１との相対位置関係が示される。決定部１４は、上記の具体例と同様に、基準位置ベクトルＶ１１～Ｖ１３と位置ベクトルＶ１～Ｖ３との相対位置関係が基準関係に近づくように、エンドエフェクタモデルＭ２の位置姿勢を決定する。例えば、基準関係は、位置ベクトルＶ２の向きと基準位置ベクトルＶ１２の向きとが一致する関係を含む。位置ベクトルＶ１，Ｖ２，Ｖ３が互いに直交するため、図２９の（ｃ）に示されるように、位置ベクトルＶ２の向きと基準位置ベクトルＶ１２の向きとは一致する。ただし、変形例４では、位置ベクトルＶ２の向きは、ワークモデルＭ１の表面における法線方向とは限らず、第１点Ｐ１および第２点Ｐ２の位置、および、第１点Ｐ１および第２点Ｐ２を指定するときのワークモデルＭ１の姿勢に依存する。そのため、図２９の（ｃ）に示されるように、エンドエフェクタモデルＭ２とワークモデルＭ１とが干渉してしまうことがある。このような場合、調整ボタン群５７の操作によってエンドエフェクタモデルＭ２の位置姿勢が調整される。
　＜Ｆ－５．変形例５＞
　図３０は、変形例５に係る位置ベクトルＶ２の演算方法を示す図である。図３０の（ａ）には、設定画面５０の領域５１が示される。演算部１３は、上記の具体例と同様に、第１点Ｐ１および第２点Ｐ２が定義される点Ｐ０を始点とし、第１点Ｐ１から第２点Ｐ２への向きと同じ向きを有する位置ベクトルＶ１を演算する。
　位置ベクトルＶ１が演算されると、表示制御部１１は、領域５１に表示されるワークモデルＭ１の姿勢を変更する。具体的には、表示制御部１１は、点Ｐ０を通り、位置ベクトルＶ１に直交する線上の点がユーザの視点となるように、領域５１に表示されるワークモデルＭ１の姿勢を変更する。
　図３０の（ｂ）には、ワークモデルＭ１の姿勢が変更された後の領域５１が示される。受付部１２は、図３０の（ｂ）に示す領域５１において、点Ｐ０を通り、位置ベクトルＶ１に直交する平面上の第３点Ｐ３の指定を受け付ける。演算部１３は、点Ｐ０を始点とし、点Ｐ０から第３点Ｐ３への向きと同じ向きを有する位置ベクトルを位置ベクトルＶ２として演算する。さらに、演算部１３は、上記の具体例と同様に、位置ベクトルＶ１と位置ベクトルＶ２との外積を位置ベクトルＶ３として演算する。
　決定部１４は、上記の具体例と同様に、基準位置ベクトルＶ１１～Ｖ１３と位置ベクトルＶ１～Ｖ３との相対位置関係が基準関係に最も近づくように、エンドエフェクタモデルＭ２の位置姿勢を決定する。これにより、ユーザは、第１点Ｐ１、第２点Ｐ２および第３点Ｐ３を指定だけで、把持点候補を設定できる。
　＜Ｆ－６．変形例６＞
　上記の具体例では、モデル作成部３０は、ユーザによる入力指示に従ってエンドエフェクタモデルＭ２を作成する。しかしながら、モデル作成部３０は、エンドエフェクタ３０１の三次元形状を定義するＣＡＤデータの指定を受け付け、指定されたＣＡＤデータによって示されるエンドエフェクタモデルに対して基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３を設定してもよい。
　＜Ｆ－７．変形例７＞
　上記の具体例では、画像処理装置１００が把持点設定部１０を備えるものとした。しかしながら、画像処理装置１００と通信可能に接続された設定装置が把持点設定部１０を備えていてもよい。
　＜Ｇ．作用・効果＞
　以上のように、画像処理装置１００は、ロボット３００のエンドエフェクタ３０１がワーク１をピッキングするときのエンドエフェクタ３０１の位置姿勢候補（把持点候補）を設定する。画像処理装置１００は、受付部１２と、演算部１３と、決定部１４と、登録部１７とを備える。受付部１２は、ワーク１の三次元形状を定義するＣＡＤデータ４２によって示されるワークモデルＭ１上の第１点Ｐ１および第２点Ｐ２の指定を受け付ける。演算部１３は、第１点Ｐ１および第２点Ｐ２から定義される点Ｐ０を始点とし、第１点Ｐ１から第２点Ｐ２への向きと同じ向きを有する位置ベクトルＶ１を演算する。さらに、演算部１３は、ワークモデルＭ１における第１点Ｐ１および第２点Ｐ２の法線ベクトルから定義される位置ベクトルＶ２を演算する。決定部１４は、エンドエフェクタ３０１の三次元形状を示すエンドエフェクタモデルＭ２に対して予め定められた基準位置ベクトルＶ１１，Ｖ１２と位置ベクトルＶ１，Ｖ２との相対位置関係が予め定められた第１基準関係に近づくように、エンドエフェクタモデルＭ２の位置姿勢を決定する。なお、第１基準関係は、例えば、位置ベクトルＶ２の向きに位置ベクトルＶ１，Ｖ２を規定距離だけ並進移動させたときに、基準位置ベクトルＶ１１，Ｖ１２にそれぞれ一致する関係である。登録部１７は、決定部１４によって決定された位置姿勢を把持点候補として登録する。
　上記の構成によれば、ユーザは、ワークモデルＭ１上の第１点Ｐ１および第２点Ｐ２を指定するだけで、把持点候補を設定できる。すなわち、ワーク１をピッキングするエンドエフェクタ３０１の位置姿勢が簡易に設定される。
　演算部１３は、位置ベクトルＶ１と位置ベクトルＶ２との外積で表される位置ベクトルＶ３をさらに演算する。決定部１４は、基準位置ベクトルＶ１１，Ｖ１２と位置ベクトルＶ１，Ｖ２との相対位置関係が前記第１基準関係に近づくとともに、エンドエフェクタモデルＭ２に対して予め定められた基準位置ベクトルＶ１３と位置ベクトルＶ３との相対位置関係が予め定められた第２基準関係に近づくように、エンドエフェクタモデルＭ２の位置姿勢を決定する。なお、第２基準関係は、例えば、位置ベクトルＶ２の向きに位置ベクトルＶ３を規定距離だけ並進移動させたときに、基準位置ベクトルＶ１３に一致する関係である。
　上記の構成によれば、決定部１４は、位置ベクトルＶ３と基準位置ベクトルＶ１３との相対位置関係も考慮して、把持点候補として登録され得る位置姿勢を決定できる。
　なお、変形例３のように、演算部１３は、位置ベクトルＶ１に直交する位置ベクトルを位置ベクトルＶ３として演算してもよい。
　画像処理装置１００は、入力指示に従ってエンドエフェクタモデルＭ２を作成するモデル作成部３０をさらに備える。モデル作成部３０は、エンドエフェクタモデルＭ２に対して、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３を設定する。
　上記の構成によれば、ユーザは、モデル作成部３０を用いてエンドエフェクタモデルＭ２を自由に作成できる。
　なお、変形例６のように、エンドエフェクタモデルＭ２は、エンドエフェクタ３０１の三次元形状を定義するＣＡＤデータによって示されてもよい。この場合、ユーザは、モデル作成部３０を用いてエンドエフェクタモデルＭ２を作成しなくてもよい。
　エンドエフェクタ３０１は回転対称性を有する。モデル作成部３０は、エンドエフェクタモデルＭ２における回転対称軸と、自身に重なり合う最小回転角度θとを設定する。登録部１７は、決定部１４によって決定された位置姿勢から回転対称軸を中心に最小回転角度θのｎ倍だけ回転させたエンドエフェクタモデルＭ２の位置姿勢を把持点候補としてさらに登録する。ｎは、１以上かつ３６０°／θ未満の整数である。
　回転対称性を有するエンドエフェクタ３０１である場合、回転対称軸に対して最小回転角度θのｎ倍だけ回転させたエンドエフェクタ３０１であっても、ワーク１を把持可能となる。上記の構成によれば、決定部１４によって決定された位置姿勢から回転対称軸を中心に最小回転角度θのｎ倍だけ回転させたエンドエフェクタモデルＭ２の位置姿勢も把持点候補として自動で登録される。これにより、ユーザによる把持点候補の登録操作の手間が削減される。
　画像処理装置１００は、ワークモデルＭ１を表示装置１５０の設定画面５０に表示させる表示制御部１１をさらに備える。受付部１２は、設定画面５０において指定された位置に基づいて、第１点Ｐ１および第２点Ｐ２を受け付ける。これにより、ユーザは、設定画面５０に表示されたワークモデルＭ１を見ながら、ワークモデルＭ１上の所望の位置において第１点Ｐ１および第２点Ｐ２を指定できる。
　表示制御部１１は、ワークモデルＭ１を基準とする座標軸（Ｘ軸５２ｘ、Ｙ軸５２ｙおよびＺ軸５２ｚ）を設定画面５０に表示させる。表示制御部１１は、ワークモデルＭ１に対する操作に応じて、設定画面５０に表示されるワークモデルＭ１の位置姿勢を変更する。これにより、ユーザは、ワークモデルＭ１を基準とする座標軸を見ながら、第１点Ｐ１および第２点Ｐ２を指定しやすいように、ワークモデルＭ１の位置姿勢を所望の状態に変更しやすくなる。
　表示制御部１１は、設定画面５０において、決定部１４によって決定された位置姿勢のエンドエフェクタモデルＭ２をワークモデルＭ１に重畳して表示させる。決定部１４は、エンドエフェクタモデルＭ２の座標系（エンドエフェクタ座標系）の軸方向に沿った並進移動および当該軸方向に平行な回転軸を中心とする回転移動の少なくとも一方の操作を受け付け、当該操作に応じて、決定した位置姿勢を調整する。これにより、ユーザは、基準位置ベクトルＶ１１，Ｖ１２、Ｖ１３と位置ベクトルＶ１，Ｖ２，Ｖ３との相対位置関係が基準関係に近づくように決定されたエンドエフェクタモデルＭ２の位置姿勢を調整し、調整後の位置姿勢を把持点候補として登録できる。
　基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３は、エンドエフェクタ座標系におけるＸ軸、Ｙ軸およびＺ軸とそれぞれ平行である。表示制御部１１は、設定画面５０において、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３を表示させる。これにより、ユーザは、基準位置ベクトルＶ１１，Ｖ１２，Ｖ１３を見ながら、エンドエフェクタモデルＭ２の位置姿勢を所望の状態に調整しやすくなる。
　表示制御部１１は、設定画面５０において、エンドエフェクタ座標系の軸方向を表示させてもよい。具体的には、表示制御部１１は、エンドエフェクタ座標系におけるＸ軸、Ｙ軸およびＺ軸にそれぞれ平行なベクトルＶ２１，Ｖ３１，ベクトルＶ２２，Ｖ３２およびベクトルＶ２３，Ｖ３３を表示させる。これにより、ユーザは、ベクトルＶ２１、Ｖ３１，Ｖ２２，Ｖ３２，Ｖ２３，Ｖ３３を見ながら、エンドエフェクタモデルＭ２の位置姿勢を所望の状態に調整しやすくなる。
　表示制御部１１は、エンドエフェクタモデルＭ２の先端に接する所定形状の補助ガイド面６９ａ，６９ｂ，６９ｃを設定画面５０に表示させる。
　エンドエフェクタ３０１は、例えば２本の指部３１０を有する。この場合、エンドエフェクタモデルＭ２における２本の指部３１０の先端にそれぞれ対応する２点を結ぶ線分を直径とする円筒形状の補助ガイド面６９ａが表示される。または、当該線分を直径とする円の外接正方形を断面とする角筒形状の補助ガイド面６９ｂが表示される。
　あるいは、エンドエフェクタ３０１は、１以上の真空パッドを有する吸着ハンドであってもよい。この場合、エンドエフェクタモデルＭ２における１以上の真空パッドに対応するパーツの先端面を含む平面形状の補助ガイド面６９ｃが表示される。
　補助ガイド面６９ａ，６９ｂ，６９ｃが表示されることにより、ユーザは、エンドエフェクタモデルＭ２の先端とワークモデルＭ１との相対位置関係を容易に把握できる。
　画像処理装置１００は、決定部１４によって決定された位置姿勢のエンドエフェクタモデルＭ２とワークモデルＭ１との干渉判定を行なう判定部１６をさらに備える。表示制御部１１は、設定画面５０において、決定部１４によって決定された位置姿勢のエンドエフェクタモデルＭ２をワークモデルＭ１に重畳して表示させる。表示制御部１１は、判定部１６によって干渉していると判定されたことに応じて、エンドエフェクタモデルＭ２の表示形式を変更する。これにより、ユーザは、エンドエフェクタモデルＭ２とワークモデルＭ１とが干渉していることを容易に把握できる。
　登録部１７は、判定部１６によって干渉していると判定された位置姿勢を把持点候補から削除する。これにより、ワークモデルＭ１と干渉するエンドエフェクタモデルＭ２の位置姿勢が把持点候補として登録されることを防止できる。
　§３　付記
　以上のように、本実施の形態は以下のような開示を含む。
　（構成１）
　ロボット（３００）のエンドエフェクタ（３０１）がワーク（１）をピッキングするときの前記エンドエフェクタ（３０１）の位置姿勢候補を設定するための設定装置（１００）であって、
　前記ワーク（１）の三次元形状を定義する第１ＣＡＤデータ（４２）によって示されるワークモデル（Ｍ１）上の第１点（Ｐ１）および第２点（Ｐ２）の指定を受け付ける受付部（１２）と、
　前記第１点（Ｐ１）および前記第２点（Ｐ２）から定義される点（Ｐ０）を始点とし、前記第１点（Ｐ１）から前記第２点（Ｐ２）への向きと同じ向きを有する第１位置ベクトル（Ｖ１）と、前記ワークモデル（Ｍ１）における前記第１点（Ｐ１）および前記第２点（Ｐ２）の法線ベクトル（Ｖａ，Ｖｂ）から定義される第２位置ベクトル（Ｖ２）とを演算する演算部（１３）と、
　前記エンドエフェクタ（３０１）の三次元形状を示すエンドエフェクタモデル（Ｍ２）に対して予め定められた第１基準位置ベクトル（Ｖ１１）および第２基準位置ベクトル（Ｖ１２）と、前記第１位置ベクトル（Ｖ１）および前記第２位置ベクトル（Ｖ２）との相対位置関係が予め定められた第１基準関係に近づくように、前記エンドエフェクタモデル（Ｍ２）の位置姿勢を決定する決定部（１４）と、
　前記決定部（１４）によって決定された位置姿勢を前記位置姿勢候補として登録する登録部（１７）とを備える、設定装置（１００）。
　（構成２）
　前記演算部（１３）は、前記第１位置ベクトル（Ｖ１）と前記第２位置ベクトル（Ｖ２）との外積で表される第３位置ベクトル（Ｖ３）をさらに演算し、
　前記決定部（１４）は、前記第１基準位置ベクトル（Ｖ１１）および前記第２基準位置ベクトル（Ｖ１２）と前記第１位置ベクトル（Ｖ１）および前記第２位置ベクトル（Ｖ２）との相対位置関係が前記第１基準関係に近づくとともに、前記エンドエフェクタモデル（Ｍ２）に対して予め定められた第３基準位置ベクトル（Ｖ１３）と前記第３位置ベクトル（Ｖ３）との相対位置関係が予め定められた第２基準関係に近づくように、前記エンドエフェクタモデル（Ｍ２）の位置姿勢を決定する、構成１に記載の設定装置（１００）。
　（構成３）
　前記演算部（１３）は、前記第１位置ベクトル（Ｖ１）に直交する第３位置ベクトル（Ｖ３）をさらに演算し、
　前記決定部（１４）は、前記第１基準位置ベクトル（Ｖ１１）および前記第２基準位置ベクトル（Ｖ１２）と前記第１位置ベクトル（Ｖ１）および前記第２位置ベクトル（Ｖ２）との相対位置関係が前記第１基準関係に近づくとともに、前記エンドエフェクタモデル（Ｍ２）に対して予め定められた第３基準位置ベクトル（Ｖ１３）と前記第３位置ベクトル（Ｖ３）との相対位置関係が予め定められた第２基準関係に近づくように、前記エンドエフェクタモデル（Ｍ２）の位置姿勢を決定する、構成１に記載の設定装置（１００）。
　（構成４）
　前記エンドエフェクタモデル（Ｍ２）は、前記エンドエフェクタ（３０１）の三次元形状を定義する第２ＣＡＤデータによって示される、構成１から３のいずれかに記載の設定装置（１００）。
　（構成５）
　入力指示に従って前記エンドエフェクタモデル（Ｍ２）を作成するモデル作成部（３０）をさらに備え、
　前記モデル作成部（３０）は、前記第１基準位置ベクトル（Ｖ１１）および前記第２基準位置ベクトル（Ｖ１２）を設定する、構成１から３のいずれかに記載の設定装置（１００）。
　（構成６）
　前記エンドエフェクタ（３０１）は回転対称性を有し、
　前記モデル作成部（３０）は、前記エンドエフェクタモデル（Ｍ２）における回転対称軸と、自身に重なり合う最小回転角度θとを設定し、
　前記登録部（１７）は、前記決定部（１４）によって決定された位置姿勢から前記回転対称軸を中心に前記最小回転角度θのｎ倍だけ回転させた前記エンドエフェクタモデルの位置姿勢を前記位置姿勢候補としてさらに登録し、
　ｎは、１以上かつ３６０°／θ未満の整数である、構成５に記載の設定装置（１００）。
　（構成７）
　前記ワークモデル（Ｍ１）を表示装置（１５０）の画面（５０）に表示させる表示制御部（１１）をさらに備え、
　前記受付部（１２）は、前記画面（５０）において指定された位置に基づいて、前記第１点（Ｐ１）および前記第２点（Ｐ２）を受け付ける、構成１から６のいずれかに記載の設定装置（１００）。
　（構成８）
　前記表示制御部（１１）は、
　　前記ワークモデル（Ｍ１）を基準とする座標軸（５２ｘ，５２ｙ，５２ｚ）を前記画面（５０）に表示させ、
　　前記ワークモデル（Ｍ１）に対する操作に応じて、前記画面（５０）に表示される前記ワークモデル（Ｍ１）の位置姿勢を変更する、構成７に記載の設定装置（１００）。
　（構成９）
　前記表示制御部（１１）は、前記画面（５０）において、前記決定部（１４）によって決定された位置姿勢の前記エンドエフェクタモデル（Ｍ２）を前記ワークモデル（Ｍ１）に重畳して表示させ、
　前記決定部（１４）は、予め定められた方向に沿った並進移動および当該予め定められた方向に平行な回転軸を中心とする回転移動の少なくとも一方の操作を受け付け、当該操作に応じて、決定した位置姿勢を調整する、構成７または８に記載の設定装置（１００）。
　（構成１０）
　前記表示制御部（１１）は、前記画面（５０）において、前記予め定められた方向を示す軸を表示させる、構成９に記載の設定装置（１００）。
　（構成１１）
　前記表示制御部（１１）は、前記エンドエフェクタモデル（Ｍ２）の先端に接する所定形状のガイド面（６９ａ～６９ｃ）を前記画面（５０）に表示させる、構成９または１０に記載の設定装置（１００）。
　（構成１２）
　前記エンドエフェクタ（３０１）は、２本の指部（３１０）を有し、
　前記ガイド面（６９ａ，６９ｂ）は、前記エンドエフェクタモデル（Ｍ２）における前記２本の指部（３１０）の先端にそれぞれ対応する２点（Ｐ１０１，Ｐ１０２）を結ぶ線分を直径とする円筒形状、または、前記線分を直径とする円の外接正方形を断面とする角筒形状である、構成１１に記載の設定装置（１００）。
　（構成１３）
　前記エンドエフェクタ（３０１）は、１以上の真空パッドを有する吸着ハンドであり、
　前記ガイド面（６９ｃ）は、前記エンドエフェクタモデル（Ｍ２）における前記１以上の真空パッドに対応するパーツ（９９）の先端面を含む平面形状である、構成１１に記載の設定装置（１００）。
　（構成１４）
　前記決定部（１４）によって決定された位置姿勢の前記エンドエフェクタモデル（Ｍ２）と前記ワークモデル（Ｍ１）との干渉判定を行なう判定部（１６）をさらに備え、
　前記表示制御部（１１）は、
　　前記画面（５０）において、前記決定部（１４）によって決定された位置姿勢の前記エンドエフェクタモデル（Ｍ２）を前記ワークモデル（Ｍ１）に重畳して表示させ、
　　前記判定部（１６）によって干渉していると判定されたことに応じて、前記エンドエフェクタモデル（Ｍ２）の表示形式を変更する、構成７または８に記載の設定装置（１００）。
　（構成１５）
　前記決定部（１４）によって決定された位置姿勢の前記エンドエフェクタモデル（Ｍ２）と前記ワークモデル（Ｍ１）との干渉判定を行なう判定部（１６）をさらに備え、
　前記登録部（１７）は、前記判定部（１６）によって干渉していると判定された位置姿勢を前記位置姿勢候補から削除する、構成１から１３のいずれかに記載の設定装置（１００）。
　（構成１６）
　ロボット（３００）のエンドエフェクタ（３０１）がワーク（１）をピッキングするときの前記エンドエフェクタ（３０１）の位置姿勢候補の設定方法であって、
　前記ワーク（１）の三次元形状を定義する第１ＣＡＤデータ（４２）によって示されるワークモデル（Ｍ１）上の第１点（Ｐ１）および第２点（Ｐ２）の指定を受け付けるステップと、
　前記第１点（Ｐ１）および前記第２点（Ｐ２）から定義される点（Ｐ０）を始点とし、前記第１点（Ｐ１）から前記第２点（Ｐ２）への向きと同じ向きを有する第１位置ベクトル（Ｖ１）と、前記ワークモデル（Ｍ１）における前記第１点（Ｐ１）および前記第２点（Ｐ２）の法線ベクトル（Ｖａ，Ｖｂ）から定義される第２位置ベクトル（Ｖ２）とを演算するステップと、
　前記エンドエフェクタ（３０１）の三次元形状を示すエンドエフェクタモデル（Ｍ２）に対して予め定められた第１基準位置ベクトル（Ｖ１１）および第２基準位置ベクトル（Ｖ１２）と、前記第１位置ベクトル（Ｖ１）および前記第２位置ベクトル（Ｖ２）との相対位置関係が予め定められた第１基準関係に近づくように、前記エンドエフェクタモデル（Ｍ２）の位置姿勢を決定するステップと、
　前記決定部（１４）によって決定された位置姿勢を前記位置姿勢候補として登録するステップとを備える、設定方法。
　（構成１７）
　構成１６に記載の設定方法をコンピュータに実行させるプログラム。
　本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１　ワーク、２　対象ワーク、５　コンテナ、１０　把持点設定部、１１　表示制御部、１２　受付部、１３　演算部、１４　決定部、１５　複製処理部、１６　判定部、１７　登録部、２０　ヘッド制御部、２５　画像処理部、３０　モデル作成部、４０　記憶部、４１　画像データ、４２　ＣＡＤデータ、４３　モデルデータ、４４　把持点データ、５０　設定画面、５１，７１，８６，９１　領域、５２ｘ　Ｘ軸、５２ｙ　Ｙ軸、５２ｚ　Ｚ軸、５３ｘ～５３ｚ，８３，Ｌ　線、５４，Ｔ６６，８４　テキスト、５５　把持点選択ボタン群、５６　削除ボタン、５７　調整ボタン群、５７ａ～５７ｈ，６０ａ～６０ｈ，９１ｄ，９１ｅ　ボタン、５７ｉ，６０ｉ，６３，７４ａ　プルダウンボタン、５８　反転ボタン群、５８ａ　上下反転ボタン、５８ｂ　左右反転ボタン、５９　リセットボタン、６０　複製ボタン群、６１　コピーボタン、６２　反転コピーボタン、６４，６５，６６　ボタン群、６７，６８，８５，８７，８８　タブ、６９ａ～６９ｃ　補助ガイド面、７０　モデル作成画面、７２　座標軸、７３　編集用ボタン群、７４　パーツ一覧、７５～８０，９７～９９　パーツ、８１　ラジオボタン群、８２，９２　チェックボックス、８６ａ，８６ｂ，８９，９０，９１ａ，９１ｂ，９１ｆ，９３　入力欄、９１ｃ　リスト、９４　保存ボタン、９５　終了ボタン、９６　回転対称軸、１００　画像処理装置、１０６　メモリカード、１１０　ＣＰＵ、１１２　メインメモリ、１１４　ハードディスク、１１６　計測ヘッドインターフェース、１１６ａ　画像バッファ、１１８　入力インターフェース、１２０　表示コントローラ、１２４　通信インターフェース、１２６　データリーダ／ライタ、１２８　バス、１５０　表示装置、１６０　入力装置、２００　ロボットコントローラ、３００　ロボット、３０１　エンドエフェクタ、３０２　多関節アーム、３０３　ベース、３１０　指部、４００　計測ヘッド、４０１　投影部、４０２　撮像部、Ｍ１　ワークモデル、Ｐ０　点、Ｐ１　第１点、Ｐ２　第２点、Ｐ３　第３点、ＳＹＳ　制御システム、Ｖ１，Ｖ２，Ｖ３，Ｖ１３　位置ベクトル、Ｖ１１，Ｖ１２，Ｖ１３　基準位置ベクトル、Ｖａ，Ｖｂ　法線ベクトル。

Claims (17)

  1. 　ロボットのエンドエフェクタがワークをピッキングするときの前記エンドエフェクタの位置姿勢候補を設定するための設定装置であって、
    　前記ワークの三次元形状を定義する第１ＣＡＤデータによって示されるワークモデル上の第１点および第２点の指定を受け付ける受付部と、
    　前記第１点および前記第２点から定義される点を始点とし、前記第１点から前記第２点への向きと同じ向きを有する第１位置ベクトルと、前記ワークモデルにおける前記第１点および前記第２点の法線ベクトルから定義される第２位置ベクトルとを演算する演算部と、
    　前記エンドエフェクタの三次元形状を示すエンドエフェクタモデルに対して予め定められた第１基準位置ベクトルおよび第２基準位置ベクトルと、前記第１位置ベクトルおよび前記第２位置ベクトルとの相対位置関係が予め定められた第１基準関係に近づくように、前記エンドエフェクタモデルの位置姿勢を決定する決定部と、
    　前記決定部によって決定された位置姿勢を前記位置姿勢候補として登録する登録部とを備える、設定装置。
  2. 　前記演算部は、前記第１位置ベクトルと前記第２位置ベクトルとの外積で表される第３位置ベクトルをさらに演算し、
    　前記決定部は、前記第１基準位置ベクトルおよび前記第２基準位置ベクトルと前記第１位置ベクトルおよび前記第２位置ベクトルとの相対位置関係が前記第１基準関係に近づくとともに、前記エンドエフェクタモデルに対して予め定められた第３基準位置ベクトルと前記第３位置ベクトルとの相対位置関係が予め定められた第２基準関係に近づくように、前記エンドエフェクタモデルの位置姿勢を決定する、請求項１に記載の設定装置。
  3. 　前記演算部は、前記第１位置ベクトルに直交する第３位置ベクトルをさらに演算し、
    　前記決定部は、前記第１基準位置ベクトルおよび前記第２基準位置ベクトルと前記第１位置ベクトルおよび前記第２位置ベクトルとの相対位置関係が前記第１基準関係に近づくとともに、前記エンドエフェクタモデルに対して予め定められた第３基準位置ベクトルと前記第３位置ベクトルとの相対位置関係が予め定められた第２基準関係に近づくように、前記エンドエフェクタモデルの位置姿勢を決定する、請求項１に記載の設定装置。
  4. 　前記エンドエフェクタモデルは、前記エンドエフェクタの三次元形状を定義する第２ＣＡＤデータによって示される、請求項１から３のいずれか１項に記載の設定装置。
  5. 　入力指示に従って前記エンドエフェクタモデルを作成するモデル作成部をさらに備え、
    　前記モデル作成部は、前記第１基準位置ベクトルおよび前記第２基準位置ベクトルを設定する、請求項１から３のいずれか１項に記載の設定装置。
  6. 　前記エンドエフェクタは回転対称性を有し、
    　前記モデル作成部は、前記エンドエフェクタモデルにおける回転対称軸と、自身に重なり合う最小回転角度θとを設定し、
    　前記登録部は、前記決定部によって決定された位置姿勢から前記回転対称軸を中心に前記最小回転角度θのｎ倍だけ回転させた前記エンドエフェクタモデルの位置姿勢を前記位置姿勢候補としてさらに登録し、
    　ｎは、１以上かつ３６０°／θ未満の整数である、請求項５に記載の設定装置。
  7. 　前記ワークモデルを表示装置の画面に表示させる表示制御部をさらに備え、
    　前記受付部は、前記画面において指定された位置に基づいて、前記第１点および前記第２点を受け付ける、請求項１から６のいずれか１項に記載の設定装置。
  8. 　前記表示制御部は、
    　　前記ワークモデルを基準とする座標軸を前記画面に表示させ、
    　　前記ワークモデルに対する操作に応じて、前記画面に表示される前記ワークモデルの位置姿勢を変更する、請求項７に記載の設定装置。
  9. 　前記表示制御部は、前記画面において、前記決定部によって決定された位置姿勢の前記エンドエフェクタモデルを前記ワークモデルに重畳して表示させ、
    　前記決定部は、予め定められた方向に沿った並進移動および当該予め定められた方向に平行な回転軸を中心とする回転移動の少なくとも一方の操作を受け付け、当該操作に応じて、決定した位置姿勢を調整する、請求項７または８に記載の設定装置。
  10. 　前記表示制御部は、前記画面において、前記予め定められた方向を示す軸を表示させる、請求項９に記載の設定装置。
  11. 　前記表示制御部は、前記エンドエフェクタモデルの先端に接する所定形状のガイド面を前記画面に表示させる、請求項９または１０に記載の設定装置。
  12. 　前記エンドエフェクタは、２本の指部を有し、
    　前記ガイド面は、前記エンドエフェクタモデルにおける前記２本の指部の先端にそれぞれ対応する２点を結ぶ線分を直径とする円筒形状、または、前記線分を直径とする円の外接正方形を断面とする角筒形状である、請求項１１に記載の設定装置。
  13. 　前記エンドエフェクタは、１以上の真空パッドを有する吸着ハンドであり、
    　前記ガイド面は、前記エンドエフェクタモデルにおける前記１以上の真空パッドに対応するパーツの先端面を含む平面形状である、請求項１１に記載の設定装置。
  14. 　前記決定部によって決定された位置姿勢の前記エンドエフェクタモデルと前記ワークモデルとの干渉判定を行なう判定部をさらに備え、
    　前記表示制御部は、
    　　前記画面において、前記決定部によって決定された位置姿勢の前記エンドエフェクタモデルを前記ワークモデルに重畳して表示させ、
    　　前記判定部によって干渉していると判定されたことに応じて、前記エンドエフェクタモデルの表示形式を変更する、請求項７または８に記載の設定装置。
  15. 　前記決定部によって決定された位置姿勢の前記エンドエフェクタモデルと前記ワークモデルとの干渉判定を行なう判定部をさらに備え、
    　前記登録部は、前記判定部によって干渉していると判定された位置姿勢を前記位置姿勢候補から削除する、請求項１から１３のいずれか１項に記載の設定装置。
  16. 　ロボットのエンドエフェクタがワークをピッキングするときの前記エンドエフェクタの位置姿勢候補の設定方法であって、
    　前記ワークの三次元形状を定義する第１ＣＡＤデータによって示されるワークモデル上の第１点および第２点の指定を受け付けるステップと、
    　前記第１点および前記第２点から定義される点を始点とし、前記第１点から前記第２点への向きと同じ向きを有する第１位置ベクトルと、前記ワークモデルにおける前記第１点および前記第２点の法線ベクトルから定義される第２位置ベクトルとを演算するステップと、
    　前記エンドエフェクタの三次元形状を示すエンドエフェクタモデルに対して予め定められた第１基準位置ベクトルおよび第２基準位置ベクトルと、前記第１位置ベクトルおよび前記第２位置ベクトルとの相対位置関係が予め定められた基準関係に近づくように、前記エンドエフェクタモデルの位置姿勢を決定するステップと、
    　決定された位置姿勢を前記位置姿勢候補として登録するステップとを備える、設定方法。
  17. 　請求項１６に記載の設定方法をコンピュータに実行させるプログラム。
PCT/JP2020/040349 2019-11-15 2020-10-28 設定装置、設定方法およびプログラム WO2021095521A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-207051 2019-11-15
JP2019207051A JP7392409B2 (ja) 2019-11-15 2019-11-15 設定装置、設定方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2021095521A1 true WO2021095521A1 (ja) 2021-05-20

Family

ID=75912312

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/040349 WO2021095521A1 (ja) 2019-11-15 2020-10-28 設定装置、設定方法およびプログラム

Country Status (2)

Country Link
JP (1) JP7392409B2 (ja)
WO (1) WO2021095521A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022189506A (ja) * 2021-06-11 2022-12-22 オムロン株式会社 把持情報生成装置、方法、及びプログラム
EP4364905A4 (en) * 2021-06-29 2024-08-14 Fuji Corp ROBOT DEVICE AND ARM OPERATING METHOD
WO2024150319A1 (ja) * 2023-01-11 2024-07-18 ファナック株式会社 制御装置及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10264065A (ja) * 1997-03-27 1998-10-06 Mitsubishi Electric Corp ロボットの遠隔操作支援装置
JPH1158279A (ja) * 1997-08-22 1999-03-02 Meidensha Corp 把持位置姿勢教示装置及びその処理を実現するソフトウェアを記録した記録媒体
JP2009214212A (ja) * 2008-03-10 2009-09-24 Toyota Motor Corp 動作教示システム及び動作教示方法
JP2013046937A (ja) * 2011-08-29 2013-03-07 Dainippon Screen Mfg Co Ltd 対象物把持装置および対象物把持方法および対象物把持プログラム
JP2015085475A (ja) * 2013-10-31 2015-05-07 キヤノン株式会社 情報処理装置、情報処理方法
US20170326728A1 (en) * 2016-05-11 2017-11-16 X Development Llc Generating a grasp pose for grasping of an object by a grasping end effector of a robot
JP2018144164A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10264065A (ja) * 1997-03-27 1998-10-06 Mitsubishi Electric Corp ロボットの遠隔操作支援装置
JPH1158279A (ja) * 1997-08-22 1999-03-02 Meidensha Corp 把持位置姿勢教示装置及びその処理を実現するソフトウェアを記録した記録媒体
JP2009214212A (ja) * 2008-03-10 2009-09-24 Toyota Motor Corp 動作教示システム及び動作教示方法
JP2013046937A (ja) * 2011-08-29 2013-03-07 Dainippon Screen Mfg Co Ltd 対象物把持装置および対象物把持方法および対象物把持プログラム
JP2015085475A (ja) * 2013-10-31 2015-05-07 キヤノン株式会社 情報処理装置、情報処理方法
US20170326728A1 (en) * 2016-05-11 2017-11-16 X Development Llc Generating a grasp pose for grasping of an object by a grasping end effector of a robot
JP2018144164A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Also Published As

Publication number Publication date
JP2021079464A (ja) 2021-05-27
JP7392409B2 (ja) 2023-12-06

Similar Documents

Publication Publication Date Title
WO2021095521A1 (ja) 設定装置、設定方法およびプログラム
US11207781B2 (en) Method for industrial robot commissioning, industrial robot system and control system using the same
JP6427972B2 (ja) ロボット、ロボットシステム及び制御装置
US10805546B2 (en) Image processing system, image processing device, and image processing program
US9135519B2 (en) Pattern matching method and pattern matching apparatus
JP6973444B2 (ja) 制御システム、情報処理装置および制御方法
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
US10664939B2 (en) Position control system, position detection device, and non-transitory recording medium
JP2020027439A (ja) 情報処理装置、情報処理方法
JP7250489B2 (ja) 画像処理装置およびその制御方法、プログラム
JP6420537B2 (ja) 多関節型三次元測定装置
CN112109069A (zh) 机器人示教装置以及机器人系统
JP2018194542A (ja) 画像処理システム、画像処理装置および画像処理プログラム
JP2021024052A (ja) 画像処理装置、画像処理方法およびプログラム
TWI834918B (zh) 影像處理設備及其控制方法和儲存其控制程式的儲存媒體
CN112818428B (zh) 一种用于cad模型面结构光全自动扫描路径规划方法
JP7533265B2 (ja) 支援システム、画像処理装置、支援方法およびプログラム
JP2021071420A (ja) 情報処理装置、情報処理方法、プログラム、システム、物品の製造方法、計測装置及び計測方法
TWI747500B (zh) 自動物件取像方法及裝置
US20240246237A1 (en) Robot control device, robot control system, and robot control method
CN118551583B (zh) 一种基于多评估算法的多机器人协同测量视点规划方法
US20240346674A1 (en) Information processing device, information processing method, imaging device, and information processing system
CN113297952B (zh) 一种复杂环境下绳驱柔性机器人的测量方法和系统
JP2023085916A (ja) 画像処理装置、ロボット制御システムおよび制御方法
JP2021077290A (ja) 情報処理装置、情報処理方法、プログラム、システム及び物品の製造方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20887162

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20887162

Country of ref document: EP

Kind code of ref document: A1