WO2021181929A1 - 情報処理方法、情報処理システム、プログラム - Google Patents

情報処理方法、情報処理システム、プログラム Download PDF

Info

Publication number
WO2021181929A1
WO2021181929A1 PCT/JP2021/002878 JP2021002878W WO2021181929A1 WO 2021181929 A1 WO2021181929 A1 WO 2021181929A1 JP 2021002878 W JP2021002878 W JP 2021002878W WO 2021181929 A1 WO2021181929 A1 WO 2021181929A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
point cloud
tool
cloud data
point
Prior art date
Application number
PCT/JP2021/002878
Other languages
English (en)
French (fr)
Inventor
ヒーブ アヤーデ
Original Assignee
リンクウィズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リンクウィズ株式会社 filed Critical リンクウィズ株式会社
Priority to EP21767948.9A priority Critical patent/EP3967461A4/en
Priority to US17/618,370 priority patent/US12066812B2/en
Priority to CN202180003633.6A priority patent/CN113905856B/zh
Publication of WO2021181929A1 publication Critical patent/WO2021181929A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4093Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
    • G05B19/40937Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine concerning programming of machining or material parameters, pocket machining
    • G05B19/40938Tool management
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G05B19/21Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path using an incremental digital measuring device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/404Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for compensation, e.g. for backlash, overshoot, tool offset, tool wear, temperature, machine construction errors, load, inertia
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/34Director, elements to supervisory
    • G05B2219/34096Approximate, replace curve, surface with circle, linear segments, least error
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36248Generate automatically machining, stitching points from scanned contour
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37205Compare measured, vision data with computer model, cad data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40543Identification and location, position of components, objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40564Recognize shape, contour of object, extract position and orientation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the present invention relates to an information processing method, an information processing system, and a program.
  • CAD drawing data when CAD drawing data is used as CAD data, the shape of the CAD data of the object may not match the shape of the actual object.
  • scan data of an actual object for example, 3D point cloud data
  • the present invention has been made in view of such a background, and is a technique capable of easily and quickly detecting the contour shape of an object from three-dimensional point cloud data and using the same to control a robot arm and a tool.
  • the purpose is to provide.
  • the main invention of the present invention for solving the above-mentioned problems is to specify a step of acquiring three-dimensional point cloud data from an object by a sensor and a contour point cloud data constituting the outline of the object from the three-dimensional point cloud data. Steps to be performed, a step to acquire tool control information including tool position information and tool attitude information for specifying the tool trajectory of the tool connected to the arm of the working robot from the contour point cloud data, and the tool control. It is an information processing method including a step of controlling the tool based on information.
  • the contour shape of an object can be easily and quickly detected from the three-dimensional point cloud data, and the robot arm and the tool can be controlled using the contour shape.
  • FIG. 1 It is a figure which shows the whole structure example of one information processing system 100 of this embodiment. It is a figure which shows the hardware configuration example of the terminal 1 which concerns on this embodiment. It is a figure which shows the functional structure example of the terminal 1 which concerns on this embodiment. The figure which shows the display example of the 3D point cloud data which concerns on this embodiment is shown. It is a figure which shows the display example of the contour point cloud data which concerns on this embodiment. It is a figure which shows the flowchart example of the information processing method which concerns on this embodiment. It is a figure which shows the flowchart example of the boundary processing method which concerns on this embodiment. It is a figure explaining an example of the boundary processing method which concerns on this Embodiment.
  • the present invention includes, for example, the following configuration.
  • Information processing method The step of acquiring the first 3D point cloud data from the first object by the sensor, First contour point cloud data that constitutes the contour of the entire first object from the first three-dimensional point cloud data based on the mutual positional relationship of the point data in the first three-dimensional point cloud data. Steps to specify and A step of designating a predetermined point data of the first contour point cloud data as point data of the reference point in a comparison target setting range that defines a predetermined range including at least a reference point. A step of storing the first contour point cloud data belonging to the predetermined range as feature point data of the first object, and a step of storing the data.
  • the reference point is the center point of the comparison target setting range, and is
  • the comparison target setting range is a range composed of spheres having a predetermined radius from the point data of the center point.
  • the step of acquiring the tool control information includes a step of setting a tool movement range.
  • the step of acquiring the tool control information is a step of designating the first contour point cloud data within the tool movement range as a sparse straight line portion and a dense curved portion as a tool position to acquire the tool position information. including, An information processing method characterized by the fact that.
  • the information processing method is A step of selecting one point data from the first three-dimensional point cloud data, and A step of drawing a line segment from the selected point data for each of the points contained inside a circle having a predetermined radius centered on the selected point data.
  • An information processing method characterized by the fact that.
  • Information processing method Steps to acquire 3D point cloud data from an object with a sensor, A step of designating the contour point cloud data that constitutes the contour of the object from the three-dimensional point cloud data, and From the contour point cloud data, a step of acquiring tool control information including tool position information and tool posture information for specifying the tool trajectory of the tool connected to the arm of the working robot, and Steps to control the tool based on the tool control information, An information processing method characterized by including.
  • the step of acquiring the tool control information is Steps to set the tool movement range and Includes a step of designating contour point cloud data within the tool movement range as a tool position at regular intervals and acquiring tool position information.
  • the step of acquiring the tool control information is Steps to set the tool movement range and The contour point cloud data within the tool movement range includes a step of sparsely designating a straight line portion and densely designating a curved portion as a tool position to acquire tool position information.
  • the step of acquiring the tool control information is The step of calculating the surface normal vector of the point data specified as the tool position, and Further including a step of acquiring the direction of the surface normal vector as tool posture information in the point data.
  • [Item 9] The information processing method according to items 5 to 8. Further including a step in which the user edits the tool position information or the tool posture information.
  • [Item 10] The information processing method according to items 5 to 9.
  • the step of storing the feature point data is A step of designating a predetermined point cloud of the contour point cloud data of the first object as point data of the center point of the comparison target setting range that defines a predetermined range including at least the center point.
  • the first three-dimensional point cloud data is acquired from the first object by a sensor, and A 3D point cloud data acquisition unit that acquires 2D point cloud data from a second object using a sensor, and a 3D point cloud data acquisition unit.
  • First contour point cloud data that constitutes the contour of the entire first object from the first three-dimensional point cloud data based on the mutual positional relationship of the point data in the first three-dimensional point cloud data.
  • Boundary processing unit that specifies A predetermined point data among the first contour point cloud data is designated as the point data of the reference point in the comparison target setting range that defines at least a predetermined range including the reference point.
  • the first contour point cloud data belonging to the predetermined range is stored as the feature point data of the first object, and the data is stored.
  • the second three-dimensional point cloud data belonging to the predetermined range is stored as the feature point data of the second object, and the data is stored.
  • a correction control unit for calculating the amount of deviation by comparing the feature point data of the first object with the feature point data of the second object is provided.
  • the reference point is the center point of the comparison target setting range, and is
  • the comparison target setting range is a range composed of spheres having a predetermined radius from the point data of the center point.
  • Tool control unit that controls An information processing system characterized by including.
  • the reference point is the center point of the comparison target setting range, and is
  • the comparison target setting range is a range composed of spheres having a predetermined radius from the point data of the center point.
  • a program characterized by that. [Item 16] A program that allows a computer to execute an information processing method. The program is used as the information processing method.
  • Steps to acquire 3D point cloud data from an object with a sensor A step of designating the contour point cloud data that constitutes the contour of the object from the three-dimensional point cloud data, and From the contour point cloud data, a step of acquiring tool control information including tool position information and tool posture information for specifying the tool trajectory of the tool connected to the arm of the working robot, and Steps to control the tool based on the tool control information, A program characterized by having a computer execute.
  • FIG. 1 is a diagram showing an example of the information processing system 100 of the present embodiment.
  • the information processing system 100 of the present embodiment has a terminal 1 and a working robot 2.
  • the working robot 2 has at least an arm 21, a tool 22, and a sensor 23.
  • the terminal 1 and the working robot 2 are connected to each other so as to be able to communicate with each other by wire or wirelessly.
  • FIG. 2 is a diagram showing a hardware configuration of the terminal 1.
  • the terminal 1 may be a general-purpose computer such as a personal computer, or may be logically realized by cloud computing.
  • the illustrated configuration is an example, and may have other configurations.
  • the terminal 1 includes at least a processor 10, a memory 11, a storage 12, a transmission / reception unit 13, an input / output unit 14, and the like, and these are electrically connected to each other through a bus 15.
  • the processor 10 is an arithmetic unit that controls the operation of the entire terminal 1, at least controls the transmission and reception of data and the like with the work robot 2, and performs information processing and the like necessary for application execution and authentication processing.
  • the processor 10 is a CPU (Central Processing Unit) and / or a GPU (Graphics Processing Unit), and executes each information processing by executing a program or the like for the system stored in the storage 12 and expanded in the memory 11. ..
  • the memory 11 includes a main memory composed of a volatile storage device such as a DRAM (Dynamic Random Access Memory) and an auxiliary memory composed of a non-volatile storage device such as a flash memory or an HDD (Hard Disc Drive). ..
  • the memory 11 is used as a work area or the like of the processor 10, and also stores a BIOS (Basic Input / Output System) executed when the terminal 1 is started, various setting information, and the like.
  • BIOS Basic Input / Output System
  • the storage 12 stores various programs such as application programs.
  • a database storing data used for each process may be built in the storage 12.
  • the transmission / reception unit 13 connects the terminal 1 to at least the work robot 2 and transmits / receives data and the like according to the instructions of the processor.
  • the transmission / reception unit 13 is configured by wire or wireless, and when it is wireless, it may be configured by, for example, a short-range communication interface of WiFi, Bluetooth (registered trademark), or BLE (Bluetooth Low Energy). ..
  • the input / output unit 14 is an information input device such as a keyboard and a mouse, and an output device such as a display.
  • the bus 15 is commonly connected to each of the above elements and transmits, for example, an address signal, a data signal, and various control signals.
  • the working robot 2 has an arm 21, a tool 22, and a sensor 23.
  • the illustrated configuration is an example, and may have other configurations.
  • the operation of the arm 21 is controlled by the terminal 1 based on the three-dimensional robot coordinate system. Further, the arm 21 may further include a controller (not shown) connected to the working robot 2 by wire or wirelessly, thereby controlling its operation.
  • the operation of the tool 22 is controlled by the terminal 1 based on the three-dimensional tool coordinate system.
  • the configuration of the tool 22 may include any tool according to the application, and may be, for example, a welding torch, a paint injection device for painting, a gripping device, an excavating device, a polishing device, or the like.
  • the sensor 23 senses an object based on a three-dimensional sensor coordinate system.
  • the sensor 23 is, for example, a laser sensor that operates as a three-dimensional scanner, and acquires three-dimensional point cloud data of an object by sensing.
  • the three-dimensional point cloud data is as shown in FIG. 4, for example, and each point data has sensor coordinates, and the shape of the object can be grasped by the point cloud.
  • the arm is subjected to a predetermined calibration before the work, the robot coordinate system, the tool coordinate system, and the sensor coordinate system are associated with each other, and the user specifies a position based on the sensor coordinate system, for example.
  • the operation of the 21 and the tool 22 may be controlled based on the corresponding positions.
  • FIG. 3 is a block diagram illustrating the functions implemented in the terminal 1.
  • the processor 10 of the terminal 1 has a three-dimensional point cloud data acquisition unit 101, a three-dimensional point cloud data display unit 102, a boundary processing unit 103, and a tool control unit 104.
  • the storage 12 of the terminal 1 has a three-dimensional point cloud data storage unit 121, a contour point cloud data storage unit 122, and a tool control information storage unit 123.
  • the three-dimensional point cloud data acquisition unit 101 controls the work robot 2 according to an instruction from the input / output unit 14 of the terminal 1, and acquires the three-dimensional point cloud data of the object by the sensor 23.
  • the acquired three-dimensional point cloud data is, for example, three-dimensional coordinate information data based on the sensor coordinate system, and is stored in the three-dimensional point cloud data storage unit 121.
  • the three-dimensional point cloud data display unit 102 displays the three-dimensional point cloud data acquired by the three-dimensional point cloud data acquisition unit 101 on the input / output unit 14 of the terminal 1 as illustrated in FIG. 4, for example.
  • the user can visually recognize the displayed three-dimensional point cloud data from any direction, and can specify the arbitrary direction with an information input device such as a keyboard or mouse connected to the input / output unit 14, for example. be.
  • the boundary processing unit 103 leaves only the contour point cloud data 51 that constitutes the contour of the three-dimensional point cloud data as illustrated in FIG. 5 based on the three-dimensional point cloud data 41 as illustrated in FIG. Process as follows. Like the three-dimensional point cloud data, the contour point cloud data is, for example, three-dimensional coordinate information data based on the sensor coordinate system, and is stored in the contour point cloud data storage unit 122. Further, the contour point cloud data is displayed on the input / output unit 14 of the terminal 1 by the contour point cloud data display unit (not shown) like the three-dimensional point cloud data. An example of a specific processing method of the boundary processing unit 103 will be described later.
  • the tool control unit 104 calculates tool control information including one or more position information and posture information of the tool 22 with respect to the object based on the tool movement range, the tool movement interval, and the contour point cloud data, and the calculated tool.
  • the tool 22 is moved based on the control information. That is, in the tool control unit 104 of the processor 10 or other configurations (not shown), arm trajectory data for operating the arm 21 according to the tool trajectory data is generated based on the tool control information corresponding to the so-called tool trajectory data.
  • An example of a specific calculation method of the tool control unit 104 will be described later.
  • FIG. 6 is an example of a flowchart of an information processing method in the information processing system 100 of the present embodiment.
  • the user operates the work robot 2 by the terminal 1 or a controller (not shown), and based on the control by the three-dimensional point cloud data acquisition unit 101 of the terminal 1, the sensor 23, for example, an object located on the work table.
  • Acquire three-dimensional point cloud data of an object SQ101).
  • the three-dimensional point cloud data acquired by the three-dimensional point cloud data display unit 102 is displayed on the terminal 1 (SQ102).
  • the boundary processing unit 103 processes the contour point cloud data so as to generate it from the three-dimensional point cloud data, and displays it on the terminal 1 (SQ103).
  • the tool control unit 104 calculates tool control information including one or more position information and posture information of the tool 22 with respect to the object based on the tool movement range, the tool movement interval, and the contour point cloud data, and calculates the calculation.
  • the tool 22 is moved based on the tool control information provided (SQ104).
  • the information processing system 100 of the present embodiment can easily and quickly detect the contour shape of the object from the three-dimensional point cloud data, and control the robot arm using the contour shape.
  • FIG. 7 is an example of a more detailed flowchart of the boundary processing method SQ103 in the information processing system 100 of the present embodiment.
  • the boundary processing unit 103 selects one point data from the three-dimensional point cloud data (SQ201).
  • the boundary processing unit 103 draws a line segment from the selected point data for each of the points included inside the circle having a predetermined radius centered on the selected point data (SQ202).
  • the angle formed by two adjacent line segments in a predetermined rotation direction centering on the selected point data is calculated (SQ203).
  • the angle formed by the two adjacent line segments is smaller than the set value like the angle A. It is determined that the value (A ⁇ 100 °) is (Yes), and in the circle 72, it is determined that there is an angle having a value (B> 100 °) larger than the set value, such as the angle B (No). ..
  • the selected point data is stored in the contour point cloud data storage unit 122 as the contour point cloud data (SQ205).
  • the information processing system 100 of the present embodiment can easily and quickly detect the contour point cloud data constituting the contour shape of the object from the three-dimensional point cloud data by, for example, the boundary processing method described above. be.
  • the contour point cloud data may be displayed on the input / output unit 14 of the terminal 1. Further, for example, at the timing before or after SQ206, the point cloud data that was not regarded as the contour point cloud data is deleted from the three-dimensional point cloud data, and the three-dimensional point cloud data display unit 102 corresponds to the contour point cloud data.
  • the three-dimensional point cloud data to be used may be displayed on the input / output unit 14 of the terminal 1. By doing so, for example, as shown in FIG. 5, only the outline of the three-dimensional point cloud data can be displayed.
  • FIG. 9 is an example of the tool control information calculation method SQ104 in the information processing system 100 of the present embodiment.
  • the tool position information for example, as shown in FIG. 9, the tool movement range (for example, defined by the tool movement start position and the tool movement end position) is set, and the tool control unit 104 sets the contour within the tool movement range.
  • the tool position information By designating the point cloud data as the tool position at regular intervals, the tool position information at equal intervals along the contour can be obtained.
  • Information about a part of the contour point cloud data designated as the tool position is stored in the tool control information storage unit 123 as the tool position information.
  • the tool position information can be specified by a simple process.
  • the outline (dotted line) of the virtual object is displayed for easy understanding, it does not have to be displayed when it is displayed on the actual terminal 1.
  • the contour point cloud data in the vicinity may be specified.
  • the tool movement range is set, and the tool control unit 104 uses the tool control unit 104 to roughly set the contour point cloud data in the tool movement range as the tool position in the straight line portion and the curved portion of the object contour. You may specify it. This is because the tool 22 moves linearly between the tool positions, so that the tool position spacing may be wide in the straight line portion, but in the curved portion, the tool position spacing is narrow in order to draw a tool trajectory that approximates the curve. Is more preferable.
  • the angle formed by the two virtual center lines connecting the reference point data and the two point data in the contour point cloud data is equal to or greater than the reference value.
  • a line connecting the center of the point data n and the center of the point data n + 1 adjacent to the point data n is drawn.
  • the virtual center line A is defined as the virtual center line B
  • the line connecting the center of the point data n and the center of the predetermined point data m is defined as the virtual center line B. Let it be the virtual center line C.
  • the point data m is not stored in the tool control information storage unit 123 as the tool position.
  • the point data m + 1 is stored in the tool control information storage unit 123 as the tool position. Since the position of the point data n + 1 is usually close to the position of the point data n, it is not necessary to adopt the point data n + 1 as the tool position.
  • the tool control unit 104 can easily draw a tool trajectory closer to the contour shape of the object.
  • the point data stored as the tool position may be displayed on the terminal 1 so that the user can confirm it.
  • the point data stored as the tool position and the other point data are displayed in a distinctive manner by color-coding, and the user deletes the point data stored as the tool position, for example. Or you may make it editable by specifying the tool position from other point data. This enables more accurate arm control.
  • peripheral point group data for example, a point adjacent to the point data C.
  • the surface normal vector is calculated from the group data), and the direction along the surface normal vector is stored in the tool control information storage unit 123 as tool attitude information. This makes it possible to align the tool 22 perpendicular to the surface of the object at the tool position.
  • the tool posture may also be displayed on the terminal 1 so that it can be recognized. At that time, the tool posture may be arbitrarily changed by the user. This enables more accurate arm control.
  • first object a predetermined object
  • second object a predetermined object having the same or similar shape
  • sensing may be performed once by the sensor 23 before the operation of the tool.
  • the contour point cloud data of the first object when the tool control information is acquired is compared with the point cloud data of the second object acquired before the work. Then, an operation (fitting) for correcting the positional deviation may be executed.
  • the point cloud data of the second object may be three-dimensional point cloud data, point cloud data obtained by thinning the three-dimensional point cloud data by a certain ratio, or after boundary processing. It may be contour point cloud data.
  • each point cloud data as shown in FIG. 13 can be obtained from the first object and the second object.
  • the comparison method for correcting the positional deviation between the two may be, for example, comparing the feature point data of each object.
  • the designation method for storing the feature point data in each object is as follows as an example.
  • the processor 10 uses, for example, the predetermined point data of the contour point cloud data (white point data in FIG. 14) of the first object in a comparison target setting range that defines a predetermined range including at least the center point. It is specified as point data of the center point.
  • a comparison target setting range that defines a predetermined range including at least the center point. It is specified as point data of the center point.
  • two ranges composed of spheres having a radius Rs from the point data of the center point are shown as comparison target setting ranges S, but what kind of shape is the shape of the comparison target setting range S?
  • the number of comparison target setting ranges S may be arbitrary (for example, points, cubes, rectangular parallelepipeds, prisms, cylinders, ellipsoids, etc.).
  • the processor 10 and the storage 12 use the contour point cloud data of the first object belonging to the range of the comparison target setting range S as the feature point data of the first object. It is designated and stored, and the point cloud data of the second object belonging to the range of the comparison target setting range S is designated and stored as the feature point data of the second object.
  • the comparison method between the feature point data of each object is as follows as an example.
  • the processor 10 has a th-order included in the circle from the center point of the circle consisting of the search range radius R of a predetermined range centered on each of the feature point data of the first object.
  • the distance L to each feature point data of the two objects is calculated, and for example, the average value of the shortest distance L from each of the feature point data of the first object, or the average value of all the distances L is calculated. calculate.
  • the processor 10 moves the point cloud data of the second object and calculates the average value again.
  • the number of times to be executed a plurality of times may be set to a predetermined number of times by the user in advance, or may be set to end when the average value becomes equal to or less than the predetermined value set by the user in advance. You may.
  • the processor 10 corrects the tool trajectory information for the first object to the position of the second object by using the amount of deviation to match the second object. It is possible to use a tool trajectory.
  • the point data of the feature portion (for example, the corner portion) constituting the object is used as the feature point data in the contour point cloud data storage unit 122. Further, it may be stored and the deviation in the sensor coordinate system may be determined by comparing the feature point data of both. Based on this, the positional deviation of the tool control information is corrected. As a result, it is possible to draw a tool trajectory that matches the position of the actual object as in the above specific example, but since it is not necessary to execute the tool control information acquisition process (SQ104) again, it is easy. It is possible to correct the misalignment.
  • the tool control information calculation SQ104 may be executed again.
  • the tool control information calculation SQ104 may be executed again only within the range of the tool control information corresponding to the point data in which the position shift occurs by a predetermined distance or more. This makes it possible to draw a tool trajectory along the actual shape, especially when working on an object having a similar shape, but it is not necessary to execute the tool control information calculation SQ104 every time. , Processing load and work time are further reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

【課題】三次元点群データから対象物の輪郭形状を簡易かつ迅速に検出し、それを用いてロボットアーム及びツールを制御することのできるようにする。 【解決手段】対象物からセンサにより三次元点群データを取得するステップと、前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するステップと、前記輪郭点群データから、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するステップと、前記ツール制御情報に基づき、前記ツールを制御するステップと、を含む、ことを特徴とする情報処理方法である。

Description

情報処理方法、情報処理システム、プログラム
 本発明は、情報処理方法、情報処理システム、プログラムに関する。
 従来、対象物のCADデータに基づいて作業用ロボットのアーム軌道データを生成する方法が存在していた(例えば、特許文献1を参照)。
特開2002-46087号公報
 しかしながら、CADデータとしてCAD図面データを用いた場合には、対象物のCADデータの形状と実際の対象物の形状とが一致しない場合があり得る。これに代えて、実際の対象物のスキャンデータ(例えば、三次元点群データなど)からCADデータを作成する場合には、両者の誤差は減るものの、スキャンデータからCADデータを作成する必要があり、その分の工数が増えてしまうため、ユーザにとって有用ではなかった。
 また、もし三次元点群データからアーム軌道データを直接生成しようとしても、三次元点群データは単なる点データの集まりであるため、点群データから対象物の輪郭形状を判別することが難しい。そのため、ユーザが人手によりアーム軌道を教示する必要が発生する場合もある。
 本発明はこのような背景を鑑みてなされたものであり、三次元点群データから対象物の輪郭形状を簡易かつ迅速に検出し、それを用いてロボットアーム及びツールを制御することのできる技術を提供することを目的とする。
 上記課題を解決するための本発明の主たる発明は、対象物からセンサにより三次元点群データを取得するステップと、前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するステップと、前記輪郭点群データから、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するステップと、前記ツール制御情報に基づき、前記ツールを制御するステップと、を含む、ことを特徴とする情報処理方法である。
 その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
 本発明によれば、三次元点群データから対象物の輪郭形状を簡易かつ迅速に検出し、それを用いてロボットアーム及びツールを制御することができる。
本実施形態の一の情報処理システム100の全体構成例を示す図である。 本実施形態に係る端末1のハードウェア構成例を示す図である。 本実施形態に係る端末1の機能構成例を示す図である。 本実施形態に係る三次元点群データの表示例を示す図を示す。 本実施形態に係る輪郭点群データの表示例を示す図である。 本実施形態に係る情報処理方法のフローチャート例を示す図である。 本実施形態に係るバウンダリ処理方法のフローチャート例を示す図である。 本実施形態に係るバウンダリ処理方法の一例を説明する図である。 本実施形態に係るツール制御情報算出方法の一例を説明する図である。 本実施形態に係るツール制御情報算出方法の他の例を説明する図である。 本実施形態に係るツール制御情報算出方法の他の例を説明する図である。 本実施形態に係るツール制御情報算出方法の一例を説明する図である。 本実施形態に係るフィッティング方法の一例を説明する概要図である。 本実施形態に係るフィッティング方法の一例を説明する詳細図である。 本実施形態に係るフィッティング方法の一例を説明する詳細図である。
 本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を備える。
[項目1]
 情報処理方法であって、
 第1の対象物からセンサにより第1の三次元点群データを取得するステップと、
 前記第1の三次元点群データ内の点データの相互の位置関係に基づき、前記第1の三次元点群データから前記第1の対象物全体の輪郭を構成する第1の輪郭点群データを指定するステップと、
 前記第1の輪郭点群データのうち所定の点データを、少なくとも基準点を含む所定範囲を規定する比較対象設定範囲の前記基準点の点データとして指定するステップと、
 前記所定範囲内に属する前記第1の輪郭点群データを前記第1の対象物の特徴点データとして記憶するステップと、
 第2の対象物からセンサにより第2の三次元点群データを取得するステップと、
 前記所定範囲内に属する前記第2の三次元点群データを前記第2の対象物の特徴点データとして記憶するステップと、
 前記第1の対象物の特徴点データと前記第2の対象物の特徴点データとを比較してズレ量を算出するステップと、
 を含み、
 前記基準点は、前記比較対象設定範囲の中心点であり、
 前記比較対象設定範囲は、前記中心点の点データから所定の半径の球体で構成される範囲である、
 ことを特徴とする情報処理方法。
[項目2]
 項目1に記載の情報処理方法であって、
 少なくとも前記第1の輪郭点群データに基づき、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するステップと、
 前記ツール制御情報に基づき、前記ツールを制御するステップと、をさらに含み、
 前記ツール制御情報を取得するステップは、ツール移動範囲を設定するステップを含む、
 ことを特徴とする情報処理方法。
[項目3]
 項目2に記載の情報処理方法であって、
 前記ツール制御情報を取得するステップは、前記ツール移動範囲内の前記第1の輪郭点群データを、直線部分は疎に、曲線部分は密にツール位置として指定してツール位置情報を取得するステップを含む、
 ことを特徴とする情報処理方法。
[項目4]
 項目1ないし3に記載の情報処理方法であって、
 前記第1の輪郭点群データを指定するステップは、
 前記第1の三次元点群データのうち1つの点データを選択するステップと、
 前記選択された点データを中心とする所定の半径を有する円の内部に含まれる点のそれぞれについて、前記選択された点データから線分をそれぞれ引くステップと、
 複数の当該線分のうち、前記選択された点データを中心に所定の回転方向で隣り合う2つの線分がなす角度を算出するステップと、
 算出された角度を設定値と比較するステップと、
 前記算出された角度が前記設定値より大きいと判定された場合には、前記選択された点データを前記第1の輪郭点群データと判定するステップと、を含む、
ことを特徴とする情報処理方法。
[項目5]
 情報処理方法であって、
 対象物からセンサにより三次元点群データを取得するステップと、
 前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するステップと、
 前記輪郭点群データから、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するステップと、
 前記ツール制御情報に基づき、前記ツールを制御するステップと、
 を含む、ことを特徴とする情報処理方法。
[項目6]
 項目5に記載の情報処理方法であって、
 前記ツール制御情報を取得するステップは、
 ツール移動範囲を設定するステップと、
 前記ツール移動範囲内の輪郭点群データを一定数ごとにツール位置として指定してツール位置情報を取得するステップと、を含む、
 ことを特徴とする情報処理方法。
[項目7]
 項目5に記載の情報処理方法であって、
 前記ツール制御情報を取得するステップは、
 ツール移動範囲を設定するステップと、
 前記ツール移動範囲内の輪郭点群データを、直線部分は疎に、曲線部分は密にツール位置として指定してツール位置情報を取得するステップと、を含む、
 ことを特徴とする情報処理方法。
[項目8]
 項目6または7に記載の情報処理方法であって、
 前記ツール制御情報を取得するステップは、
 前記ツール位置として指定した点データの面法線ベクトルを算出するステップと、
 前記面法線ベクトルの向きを当該点データにおけるツール姿勢情報として取得するステップと、をさらに含む、
 ことを特徴とする情報処理方法。
[項目9]
 項目5ないし8に記載の情報処理方法であって、
 前記ツール位置情報または前記ツール姿勢情報をユーザが編集するステップをさらに含む、
 ことを特徴とする情報処理方法。
[項目10]
 項目5ないし9に記載の情報処理方法であって、
 前記輪郭点群データにおいて特徴点データを記憶するステップと、
 前記対象物は第1の対象物であり、前記第1の対象物とは異なる対象物は、第2の対象物であり、
 前記第2の対象物から三次元点群データを取得し、輪郭点群データを指定し、特徴点データを記憶するステップと、
 前記第1の対象物の特徴点データと前記第2の対象物の特徴点データとを比較してズレ量を算出し、前記ズレ量に基づき第1の対象物に関する座標データの位置ズレを補正する、
 ことを特徴とする情報処理方法。
[項目11]
 項目10に記載の情報処理方法であって、
 前記位置ズレの補正として、ツール位置情報の位置ズレを補正する、
 ことを特徴とする情報処理方法。
[項目12]
 項目10または11に記載の情報処理方法であって、
 前記特徴点データを記憶するステップは、
 前記第1の対象物の輪郭点群データのうち所定の点データを、少なくとも中心点を含む所定範囲を規定する比較対象設定範囲の前記中心点の点データとして指定するステップと、
 前記所定範囲内に属する前記第1の対象物の輪郭点群データを前記第1の対象物の特徴点データとして記憶するステップと、
 前記所定範囲内に属する前記第2の対象物の点群データを前記第2の対象物の特徴点データとして記憶するステップと、を含む
 ことを特徴とする情報処理方法。
[項目13]
 情報処理システムであって、
 第1の対象物からセンサにより第1の三次元点群データを取得し、
 第2の対象物からセンサにより第2の三次元点群データを取得する三次元点群データ取得部と、
 前記第1の三次元点群データ内の点データの相互の位置関係に基づき、前記第1の三次元点群データから前記第1の対象物全体の輪郭を構成する第1の輪郭点群データを指定するバウンダリ処理部と、
 前記第1の輪郭点群データのうち所定の点データを、少なくとも基準点を含む所定範囲を規定する比較対象設定範囲の前記基準点の点データとして指定し、
 前記所定範囲内に属する前記第1の輪郭点群データを前記第1の対象物の特徴点データとして記憶し、
 前記所定範囲内に属する前記第2の三次元点群データを前記第2の対象物の特徴点データとして記憶し、
 前記第1の対象物の特徴点データと前記第2の対象物の特徴点データとを比較してズレ量を算出する補正制御部と、を備え、
 前記基準点は、前記比較対象設定範囲の中心点であり、
 前記比較対象設定範囲は、前記中心点の点データから所定の半径の球体で構成される範囲である、
 ことを特徴とする情報処理システム。
[項目14]
 情報処理システムであって、
 対象物からセンサにより三次元点群データを取得する三次元点群データ取得部と、
 前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するバウンダリ処理部と、
 前記輪郭点群データから、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得し、前記ツール制御情報に基づき、前記ツールを制御するツール制御部と、
 を含む、ことを特徴とする情報処理システム。
[項目15]
 情報処理方法をコンピュータに実行させるためのプログラムであって、
 前記プログラムは、前記情報処理方法として、
 第1の対象物からセンサにより第1の三次元点群データを取得するステップと、
 前記第1の三次元点群データ内の点データの相互の位置関係に基づき、前記第1の三次元点群データから前記第1の対象物全体の輪郭を構成する第1の輪郭点群データを指定するステップと、
 前記第1の輪郭点群データのうち所定の点データを、少なくとも基準点を含む所定範囲を規定する比較対象設定範囲の前記基準点の点データとして指定するステップと、
 前記所定範囲内に属する前記第1の輪郭点群データを前記第1の対象物の特徴点データとして記憶するステップと、
 第2の対象物からセンサにより第2の三次元点群データを取得するステップと、
 前記所定範囲内に属する前記第2の三次元点群データを前記第2の対象物の特徴点データとして記憶するステップと、
 前記第1の対象物の特徴点データと前記第2の対象物の特徴点データとを比較してズレ量を算出するステップと、
 をコンピュータに実行させる、プログラムであり、
 前記基準点は、前記比較対象設定範囲の中心点であり、
 前記比較対象設定範囲は、前記中心点の点データから所定の半径の球体で構成される範囲である、
 ことを特徴とするプログラム。
[項目16]
 情報処理方法をコンピュータに実行させるためのプログラムであって、
 前記プログラムは、前記情報処理方法として、
 対象物からセンサにより三次元点群データを取得するステップと、
 前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するステップと、
 前記輪郭点群データから、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するステップと、
 前記ツール制御情報に基づき、前記ツールを制御するステップと、
 をコンピュータに実行させる、ことを特徴とするプログラム。
[項目17]
 情報処理方法であって、
 対象物からセンサにより三次元点群データを取得するステップと、
 前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するステップと、
 を含む、ことを特徴とする情報処理方法。
<実施の形態の詳細>
 本発明の一実施形態に係る情報処理システム100の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
 図1は、本実施形態の情報処理システム100の一例を示す図である。図1に示されるように、本実施形態の情報処理システム100では、端末1と、作業用ロボット2とを有している。作業用ロボット2は、少なくともアーム21、ツール22、センサ23を有している。端末1と作業用ロボット2とは、有線または無線にて互いに通信可能に接続されている。
<端末1>
 図2は、端末1のハードウェア構成を示す図である。端末1は、例えばパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
 端末1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
 プロセッサ10は、端末1全体の動作を制御し、少なくとも作業用ロボット2とのデータ等の送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ10はCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
 メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、端末1の起動時に実行されるBIOS(Basic Input / Output System)、及び各種設定情報等を格納する。
 ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよい。
 送受信部13は、端末1を少なくとも作業用ロボット2と接続し、プロセッサの指示に従い、データ等の送受信を行う。なお、送受信部13は、有線または無線により構成されおり、無線である場合には、例えば、WiFiやBluetooth(登録商標)及びBLE(Bluetooth Low Energy)の近距離通信インターフェースにより構成されていてもよい。
 入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
 バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
<作業用ロボット2>
 図1に戻り、本実施形態に係る作業用ロボット2について説明する。
 上述のとおり、作業用ロボット2は、アーム21と、ツール22と、センサ23とを有する。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
 アーム21は、三次元のロボット座標系に基づき、端末1にその動作を制御される。また、アーム21は、有線または無線で作業用ロボット2と接続されたコントローラ(不図示)をさらに備え、これによりその動作を制御されてもよい。
 ツール22は、三次元のツール座標系に基づき、端末1にその動作を制御される。また、ツール22の構成は、用途に合わせて何れのツールを備えていてもよく、例えば、溶接用トーチや塗装用塗料噴射装置、把持装置、掘削装置、研磨装置などであってもよい。
 センサ23は、三次元のセンサ座標系に基づき、対象物のセンシングを行う。センサ23は、例えば三次元スキャナとして動作するレーザセンサであり、センシングにより対象物の三次元点群データを取得する。三次元点群データは、例えば、図4に示されるようなものであり、それぞれの点データがセンサ座標を有し、点群により対象物の形状を把握することが可能となる。
 なお、より具体的には、作業前に所定のキャリブレーションを行い、ロボット座標系及びツール座標系、センサ座標系を互いに関連付け、例えばセンサ座標系を基にユーザが位置を指定することにより、アーム21やツール22が対応した位置を基に動作制御されるように構成をなしてもよい。
<端末1の機能>
 図3は、端末1に実装される機能を例示したブロック図である。本実施の形態においては、端末1のプロセッサ10は、三次元点群データ取得部101、三次元点群データ表示部102、バウンダリ処理部103、ツール制御部104を有している。また、端末1のストレージ12は、三次元点群データ記憶部121、輪郭点群データ記憶部122、ツール制御情報記憶部123を有している。
 三次元点群データ取得部101は、端末1の入出力部14からの指示により、作業用ロボット2を制御し、センサ23により対象物の三次元点群データを取得する。取得した三次元点群データは、例えばセンサ座標系に基づく三次元座標情報データであり、三次元点群データ記憶部121に記憶される。
 三次元点群データ表示部102は、三次元点群データ取得部101により取得された三次元点群データを、例えば図4に例示されるように端末1の入出力部14に表示する。ユーザは、表示された三次元点群データを任意の方向から視認可能であり、例えば入出力部14に接続されたキーボード・マウス類等の情報入力機器にて、当該任意の方向を指定可能である。
 バウンダリ処理部103は、図4に例示されるような三次元点群データ41を基に、図5に例示されるような三次元点群データの輪郭を構成する輪郭点群データ51のみを残すように処理を行う。輪郭点群データは、三次元点群データ同様、例えばセンサ座標系に基づく三次元座標情報データであり、輪郭点群データ記憶部122に記憶される。また、輪郭点群データは、三次元点群データ同様、輪郭点群データ表示部(不図示)により端末1の入出力部14において表示される。なお、バウンダリ処理部103の具体的な処理方法の一例については、後述する。
 ツール制御部104は、ツール移動範囲及びツール移動間隔と輪郭点群データとを基に、対象物に対するツール22の位置情報及び姿勢情報を一以上含むツール制御情報を算出し、当該算出されたツール制御情報を基にツール22を移動させる。すなわち、プロセッサ10のツール制御部104または図示しないその他の構成において、所謂ツール軌道データに該当するツール制御情報を基に、当該ツール軌道データのとおりアーム21を動作させるアーム軌道データが生成される。なお、ツール制御部104の具体的な算出方法の一例については、後述する。
<情報処理方法のフローチャート>
 図6は、本実施形態の情報処理システム100における情報処理方法のフローチャートの一例である。
 まず、ユーザは、端末1またはコントローラ(不図示)により作業用ロボット2を操作し、端末1の三次元点群データ取得部101による制御に基づき、センサ23により、例えば作業台上に位置する対象物の三次元点群データを取得する(SQ101)。
 次に、三次元点群データ表示部102により取得した三次元点群データを端末1上で表示する(SQ102)。
 次に、バウンダリ処理部103により三次元点群データから輪郭点群データを生成するように処理し、端末1上で表示する(SQ103)。
 次に、ツール制御部104は、ツール移動範囲及びツール移動間隔と輪郭点群データとを基に、対象物に対するツール22の位置情報及び姿勢情報を一以上含むツール制御情報を算出し、当該算出されたツール制御情報を基にツール22を移動させる(SQ104)。
 したがって、本実施形態の情報処理システム100は、三次元点群データから対象物の輪郭形状を簡易かつ迅速に検出し、それを用いてロボットアームを制御することのできるものである。
<バウンダリ処理方法のフローチャート>
 図7は、本実施形態の情報処理システム100におけるバウンダリ処理方法SQ103のより詳細なフローチャートの一例である。
 まず、バウンダリ処理部103は、三次元点群データのうち1つの点データを選択する(SQ201)。
 次に、バウンダリ処理部103は、選択された点データを中心とする所定の半径を有する円の内部に含まれる点のそれぞれについて、選択された点データから線分をそれぞれ引く(SQ202)。
 次に、複数の当該線分のうち、例えば選択された点データを中心に所定の回転方向で隣り合う2つの線分がなす角度を算出する(SQ203)。
 次に、算出された角度の何れもが、ユーザが設定した設定値より小さいかどうかを判定する(SQ204)。
 より具体的には、図8において、例えばユーザが設定値を100°と設定した場合、円71においては、いずれの隣り合う2つの線分がなす角度も角度Aのように設定値よりも小さい値(A<100°)であると判定され(Yes)、円72においては、角度Bのように設定値よりも大きい値(B>100°)を有する角度が存在すると判定される(No)。
 ここで、Noと判定された場合には、選択された点データを輪郭点群データとして輪郭点群データ記憶部122に記憶する(SQ205)。
 そして、Yesと判定された場合、または、SQ205終了後には、全ての点データを選択したかどうかを判定し、Noと判定された場合にはSQ201へ戻り、Yesと判定された場合には終了とする(SQ206)。
 したがって、本実施形態の情報処理システム100は、例えば上述のバウンダリ処理方法により、三次元点群データから対象物の輪郭形状を構成する輪郭点群データを簡易かつ迅速に検出することのできるものである。
 なお、図7のフローチャートに加えて、例えばSQ206の後、端末1の入出力部14に輪郭点群データのみを表示するようにしてもよい。また、例えばSQ206の前または後のタイミングで、輪郭点群データとされなかった点群データを三次元点群データから削除するようにし、三次元点群データ表示部102により輪郭点群データに対応する三次元点群データを端末1の入出力部14に表示するようにしてもよい。このようにすることで、例えば図5のように、三次元点群データの輪郭のみを表示することができる。
<ツール制御情報の算出方法>
 図9は、本実施形態の情報処理システム100におけるツール制御情報の算出方法SQ104の一例である。
 まず、ツール位置情報について、例えば、図9に示されるように、ツール移動範囲(例えば、ツール移動開始位置及びツール移動終了位置により規定)を設定し、ツール制御部104によりツール移動範囲内の輪郭点群データを一定数ごとにツール位置として指定をすることで、輪郭に沿った等間隔のツール位置情報が得られる。当該ツール位置として指定された輪郭点群データの一部に関する情報は、ツール位置情報としてツール制御情報記憶部123に記憶される。これにより、簡易な処理によりツール位置情報を指定可能である。なお、理解を容易にするために仮想対象物輪郭(点線)を表示しているが、実際の端末1に表示する際には表示しなくてもよい。また、ツール移動開始位置及びツール移動終了位置においてツール位置が指定されているが、近傍の輪郭点群データを指定していてもよい。
 また、例えば、図10に示されるように、ツール移動範囲を設定し、ツール制御部104によりツール移動範囲内の輪郭点群データを対象物輪郭の直線部分と曲線部分とでツール位置として粗密に指定してもよい。これは、ツール位置間でツール22は直線移動をするため、直線部分においてはツール位置間隔が広くてもよいが、曲線部分においては、曲線に近似したツール軌道を描くためにツール位置間隔が狭いほうがより好ましい。
 上述の粗密な指定については、例えば、輪郭点群データのうち基準点データと2つの点データとをそれぞれ結んだ2つの仮想中心線のなす角度が基準値以上かどうかで判断してもよい。例えば図11に示されるように、輪郭点群データのうち点データnを基準点データとした時、点データnの中心と当該点データnに隣接する点データn+1の中心とを結んだ線を仮想中心線Aとし、点データnの中心と所定の点データmの中心とを結んだ線を仮想中心線Bとし、点データnの中心と所定の点データm+1の中心とを結んだ線を仮想中心線Cとする。そして、例えば仮想中心線Aと仮想中心線Bのなす角度が基準値を下回る際には、点データmはツール位置としてツール制御情報記憶部123に記憶されない。一方、例えば仮想中心線Aと仮想中心線Cのなす角度が基準値以上である場合には、点データm+1はツール位置としてツール制御情報記憶部123に記憶される。なお、点データn+1の位置は、点データnの位置と通常近接しているため、点データn+1についてもツール位置として採用しなくてもよい。
 そして、次は点データm+1を基準点データとして同様に順次点データを判定し、これを繰り返してツール位置を指定していく。これにより、ツール制御部104により容易に対象物の輪郭形状により近いツール軌道を描くことが可能となる。
 なお、ツール位置として記憶された点データは、端末1において表示することでユーザが確認可能としてもよい。そしてその際に、例えば、ツール位置として記憶された点データと、それ以外の点データを色分けするなどして区別可能に表示し、ユーザが例えばツール位置としてして記憶された点データを削除したり、それ以外の点データからツール位置を指定したりと任意で編集可能にしてもよい。これにより、より精度のアーム制御が可能となる。
 つぎに、ツール姿勢情報について、例えば図12に示されるように、ツール位置としてツール制御情報記憶部123に記憶された点データCにおいて、周辺の点群データ(例えば、点データCに隣接する点群データ)から面法線ベクトルを算出し、当該面法線ベクトルに沿った向きをツール姿勢情報としてツール制御情報記憶部123に記憶される。これにより、ツール位置において、対象物表面に対して垂直にツール22を沿わせることが可能となる。
 なお、ツール姿勢についても認識可能に端末1に表示してもよい。その際に、ツール姿勢をユーザが任意で変更可能にしてもよい。これにより、より精度のアーム制御が可能となる。
<フィッティングの一例>
 本実施形態の情報処理システム100において、ツール制御部104により記憶された所定の対象物(以下、「第1の対象物」という。)に対するツール軌道情報(ツール位置情報及びツール姿勢情報を含むツール制御情報)を利用して、同一または類似の形状をした複数の対象物(以下、「第2の対象物」という。)に対して、ツール22の種類に伴う作業を順次行う場合、位置ズレを考慮してツール動作前にセンサ23により一旦センシングを行ってもよい。
 この時、第2の対象物においては、例えばツール制御情報を取得した際の第1の対象物の輪郭点群データと、作業前に取得した第2の対象物の点群データとを比較して、位置ズレを補正する動作(フィッティング)を実行してもよい。なお、第2の対象物の点群データは、三次元点群データであってもよいし、三次元点群データを一定の割合間引いた点群データであってもよいし、バウンダリ処理後の輪郭点群データでもよい。
 例えば、図13に示されるような各点群データが第1の対象物及び第2の対象物から得られる。両者の位置ズレを補正するための比較方法は、より具体的には、例えば各対象物の特徴点データ同士を比較するようにしてもよい。
 各対象物における特徴点データを記憶するための指定方法は、一例として以下のとおりである。まず、プロセッサ10は、例えば第1の対象物の輪郭点群データ(図14の白抜きの点データ)のうち所定の点データを、少なくとも中心点を含む所定範囲を規定する比較対象設定範囲の当該中心点の点データとして指定する。なお、図14においては、当該中心点の点データから半径Rsの球体で構成される範囲を比較対象設定範囲Sとして2つ図示しているが、比較対象設定範囲Sの形状はどのような形状でもよく(例えば、点、立方体、直方体、角柱、円柱、楕円体など)、比較対象設定範囲Sの数も任意の数でよい。
 そして、図15に例示されるように、例えばプロセッサ10及びストレージ12は、比較対象設定範囲Sの範囲内に属する第1の対象物の輪郭点群データを第1の対象物の特徴点データとして指定して記憶し、比較対象設定範囲Sの範囲内に属する第2の対象物の点群データを第2の対象物の特徴点データとして指定して記憶する。
 各対象物の特徴点データ同士の比較方法は、一例として次のとおりである。図15に例示されるように、例えばプロセッサ10は、第1の対象物の特徴点データのそれぞれを中心とする所定範囲の探索範囲半径Rからなる円の中心点から、当該円に含まれる第2の対象物の各特徴点データまでの距離Lを算出し、例えば第1の対象物の特徴点データのそれぞれからの一番短い距離Lの平均値、または、全ての距離Lの平均値を算出する。そして、例えばプロセッサ10は、第2の対象物の点群データを移動させ、再度上記平均値を算出する。これを複数回実行し、例えばプロセッサ10は、当該平均値が一番小さい場合の第2の対象物の点群データの移動量を確認または算出する。最後に、例えばストレージ12は、当該移動量を位置ズレのズレ量として記憶する。なお、複数回実行する際の回数設定は、例えば事前にユーザが所定回数に設定しておいてもよいし、平均値が事前にユーザが設定した所定値以下となった際に終了するようにしてもよい。
 最後に、当該ズレ量に基づき、例えばプロセッサ10は、当該ズレ量を用いて第1の対象物に対するツール軌道情報を第2の対象物の位置に補正することで、第2の対象物に合ったツール軌道とすることが可能となる。
<フィッティングの他の例>
 上述のフィッティング方法以外に、例えば図5に示される輪郭点群データのうち、対象物を構成する特徴部(例えば、角部など)の点データを特徴点データとして輪郭点群データ記憶部122にさらに記憶しておき、両者の特徴点データを比較することで、センサ座標系におけるズレを判定するようにしてもよい。これに基づき、ツール制御情報の位置ズレを補正する。これにより、上記具体例と同様に、実際の対象物の位置にあったツール軌道を描くことが可能になる一方、再度ツール制御情報の取得処理(SQ104)を実行する必要がないため、簡易に位置ズレの補正を行うことが可能となる。
 なお、特徴点データの比較によるズレ補正の後、さらに少なくともツール位置として記憶された第1の対象物の輪郭点群データと、それに対応する作業前に取得した第2の対象物の点群データの比較を行い、補正後においても所定距離以上位置ズレが生じている点データが存在する場合には、再度ツール制御情報算出SQ104を実行するようにしてもよい。もしくは、所定距離以上位置ズレが生じている点データに対応するツール制御情報の範囲においてのみ、再度ツール制御情報算出SQ104を実行するようにしてもよい。これにより、特に類似の形状をした対象物に対して作業を行う場合に、実際の形状に沿ったツール軌道を描くことが可能となる一方、ツール制御情報算出SQ104を毎回実行する必要がなくなるので、処理負担や作業時間がより軽減される。
 以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
  1   端末
  2   作業用ロボット
  21  アーム
  22  ツール
  23  センサ

Claims (17)

  1.  情報処理方法であって、
     第1の対象物からセンサにより第1の三次元点群データを取得するステップと、
     前記第1の三次元点群データ内の点データの相互の位置関係に基づき、前記第1の三次元点群データから前記第1の対象物全体の輪郭を構成する第1の輪郭点群データを指定するステップと、
     前記第1の輪郭点群データのうち所定の点データを、少なくとも基準点を含む所定範囲を規定する比較対象設定範囲の前記基準点の点データとして指定するステップと、
     前記所定範囲内に属する前記第1の輪郭点群データを前記第1の対象物の特徴点データとして記憶するステップと、
     第2の対象物からセンサにより第2の三次元点群データを取得するステップと、
     前記所定範囲内に属する前記第2の三次元点群データを前記第2の対象物の特徴点データとして記憶するステップと、
     前記第1の対象物の特徴点データと前記第2の対象物の特徴点データとを比較してズレ量を算出するステップと、
     を含み、
     前記基準点は、前記比較対象設定範囲の中心点であり、
     前記比較対象設定範囲は、前記中心点の点データから所定の半径の球体で構成される範囲である、
     ことを特徴とする情報処理方法。
  2.  請求項1に記載の情報処理方法であって、
     少なくとも前記第1の輪郭点群データに基づき、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するステップと、
     前記ツール制御情報に基づき、前記ツールを制御するステップと、をさらに含み、
     前記ツール制御情報を取得するステップは、ツール移動範囲を設定するステップを含む、
     ことを特徴とする情報処理方法。
  3.  請求項2に記載の情報処理方法であって、
     前記ツール制御情報を取得するステップは、前記ツール移動範囲内の前記第1の輪郭点群データを、直線部分は疎に、曲線部分は密にツール位置として指定してツール位置情報を取得するステップを含む、
     ことを特徴とする情報処理方法。
  4.  請求項1ないし3に記載の情報処理方法であって、
     前記第1の輪郭点群データを指定するステップは、
     前記第1の三次元点群データのうち1つの点データを選択するステップと、
     前記選択された点データを中心とする所定の半径を有する円の内部に含まれる点のそれぞれについて、前記選択された点データから線分をそれぞれ引くステップと、
     複数の当該線分のうち、前記選択された点データを中心に所定の回転方向で隣り合う2つの線分がなす角度を算出するステップと、
     算出された角度を設定値と比較するステップと、
     前記算出された角度が前記設定値より大きいと判定された場合には、前記選択された点データを前記第1の輪郭点群データと判定するステップと、を含む、
    ことを特徴とする情報処理方法。
  5.  情報処理方法であって、
     対象物からセンサにより三次元点群データを取得するステップと、
     前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するステップと、
     前記輪郭点群データから、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するステップと、
     前記ツール制御情報に基づき、前記ツールを制御するステップと、
     を含む、ことを特徴とする情報処理方法。
  6.  請求項5に記載の情報処理方法であって、
     前記ツール制御情報を取得するステップは、
     ツール移動範囲を設定するステップと、
     前記ツール移動範囲内の輪郭点群データを一定数ごとにツール位置として指定してツール位置情報を取得するステップと、を含む、
     ことを特徴とする情報処理方法。
  7.  請求項5に記載の情報処理方法であって、
     前記ツール制御情報を取得するステップは、
     ツール移動範囲を設定するステップと、
     前記ツール移動範囲内の輪郭点群データを、直線部分は疎に、曲線部分は密にツール位置として指定してツール位置情報を取得するステップと、を含む、
     ことを特徴とする情報処理方法。
  8.  請求項6または7に記載の情報処理方法であって、
     前記ツール制御情報を取得するステップは、
     前記ツール位置として指定した点データの面法線ベクトルを算出するステップと、
     前記面法線ベクトルの向きを当該点データにおけるツール姿勢情報として取得するステップと、をさらに含む、
     ことを特徴とする情報処理方法。
  9.  請求項5ないし8に記載の情報処理方法であって、
     前記ツール位置情報または前記ツール姿勢情報をユーザが編集するステップをさらに含む、
     ことを特徴とする情報処理方法。
  10.  請求項5ないし9に記載の情報処理方法であって、
     前記輪郭点群データにおいて特徴点データを記憶するステップと、
     前記対象物は第1の対象物であり、前記第1の対象物とは異なる対象物は、第2の対象物であり、
     前記第2の対象物から三次元点群データを取得し、輪郭点群データを指定し、特徴点データを記憶するステップと、
     前記第1の対象物の特徴点データと前記第2の対象物の特徴点データとを比較してズレ量を算出し、前記ズレ量に基づき第1の対象物に関する座標データの位置ズレを補正する、
     ことを特徴とする情報処理方法。
  11.  請求項10に記載の情報処理方法であって、
     前記位置ズレの補正として、ツール位置情報の位置ズレを補正する、
     ことを特徴とする情報処理方法。
  12.  請求項10または11に記載の情報処理方法であって、
     前記特徴点データを記憶するステップは、
     前記第1の対象物の輪郭点群データのうち所定の点データを、少なくとも中心点を含む所定範囲を規定する比較対象設定範囲の前記中心点の点データとして指定するステップと、
     前記所定範囲内に属する前記第1の対象物の輪郭点群データを前記第1の対象物の特徴点データとして記憶するステップと、
     前記所定範囲内に属する前記第2の対象物の点群データを前記第2の対象物の特徴点データとして記憶するステップと、を含む
     ことを特徴とする情報処理方法。
  13.  情報処理システムであって、
     第1の対象物からセンサにより第1の三次元点群データを取得し、
     第2の対象物からセンサにより第2の三次元点群データを取得する三次元点群データ取得部と、
     前記第1の三次元点群データ内の点データの相互の位置関係に基づき、前記第1の三次元点群データから前記第1の対象物全体の輪郭を構成する第1の輪郭点群データを指定するバウンダリ処理部と、
     前記第1の輪郭点群データのうち所定の点データを、少なくとも基準点を含む所定範囲を規定する比較対象設定範囲の前記基準点の点データとして指定し、
     前記所定範囲内に属する前記第1の輪郭点群データを前記第1の対象物の特徴点データとして記憶し、
     前記所定範囲内に属する前記第2の三次元点群データを前記第2の対象物の特徴点データとして記憶し、
     前記第1の対象物の特徴点データと前記第2の対象物の特徴点データとを比較してズレ量を算出する補正制御部と、を備え、
     前記基準点は、前記比較対象設定範囲の中心点であり、
     前記比較対象設定範囲は、前記中心点の点データから所定の半径の球体で構成される範囲である、
     ことを特徴とする情報処理システム。
  14.  情報処理システムであって、
     対象物からセンサにより三次元点群データを取得する三次元点群データ取得部と、
     前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するバウンダリ処理部と、
     前記輪郭点群データから、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得し、前記ツール制御情報に基づき、前記ツールを制御するツール制御部と、
     を含む、ことを特徴とする情報処理システム。
  15.  情報処理方法をコンピュータに実行させるためのプログラムであって、
     前記プログラムは、前記情報処理方法として、
     第1の対象物からセンサにより第1の三次元点群データを取得するステップと、
     前記第1の三次元点群データ内の点データの相互の位置関係に基づき、前記第1の三次元点群データから前記第1の対象物全体の輪郭を構成する第1の輪郭点群データを指定するステップと、
     前記第1の輪郭点群データのうち所定の点データを、少なくとも基準点を含む所定範囲を規定する比較対象設定範囲の前記基準点の点データとして指定するステップと、
     前記所定範囲内に属する前記第1の輪郭点群データを前記第1の対象物の特徴点データとして記憶するステップと、
     第2の対象物からセンサにより第2の三次元点群データを取得するステップと、
     前記所定範囲内に属する前記第2の三次元点群データを前記第2の対象物の特徴点データとして記憶するステップと、
     前記第1の対象物の特徴点データと前記第2の対象物の特徴点データとを比較してズレ量を算出するステップと、
     をコンピュータに実行させる、プログラムであり、
     前記基準点は、前記比較対象設定範囲の中心点であり、
     前記比較対象設定範囲は、前記中心点の点データから所定の半径の球体で構成される範囲である、
     ことを特徴とするプログラム。
  16.  情報処理方法をコンピュータに実行させるためのプログラムであって、
     前記プログラムは、前記情報処理方法として、
     対象物からセンサにより三次元点群データを取得するステップと、
     前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するステップと、
     前記輪郭点群データから、作業用ロボットのアームに接続されたツールのツール軌道を特定するためのツール位置情報及びツール姿勢情報を含むツール制御情報を取得するステップと、
     前記ツール制御情報に基づき、前記ツールを制御するステップと、
     をコンピュータに実行させる、ことを特徴とするプログラム。
  17.  情報処理方法であって、
     対象物からセンサにより三次元点群データを取得するステップと、
     前記三次元点群データから対象物の輪郭を構成する輪郭点群データを指定するステップと、
     を含む、ことを特徴とする情報処理方法。
PCT/JP2021/002878 2020-03-09 2021-01-27 情報処理方法、情報処理システム、プログラム WO2021181929A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21767948.9A EP3967461A4 (en) 2020-03-09 2021-01-27 INFORMATION PROCESSING METHOD, INFORMATION PROCESSING SYSTEM AND PROGRAM
US17/618,370 US12066812B2 (en) 2020-03-09 2021-01-27 Information processing method, information processing system, and program
CN202180003633.6A CN113905856B (zh) 2020-03-09 2021-01-27 信息处理方法、信息处理系统及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-040250 2020-03-09
JP2020040250A JP6713700B1 (ja) 2020-03-09 2020-03-09 情報処理方法、情報処理システム、プログラム

Publications (1)

Publication Number Publication Date
WO2021181929A1 true WO2021181929A1 (ja) 2021-09-16

Family

ID=71103961

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002878 WO2021181929A1 (ja) 2020-03-09 2021-01-27 情報処理方法、情報処理システム、プログラム

Country Status (5)

Country Link
US (1) US12066812B2 (ja)
EP (1) EP3967461A4 (ja)
JP (2) JP6713700B1 (ja)
CN (1) CN113905856B (ja)
WO (1) WO2021181929A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113858188A (zh) * 2020-06-30 2021-12-31 罗伯特·博世有限公司 工业机器人的抓取方法和设备、计算机存储介质以及工业机器人
JPWO2022113952A1 (ja) * 2020-11-24 2022-06-02
CN113344952B (zh) * 2021-07-28 2021-11-19 浙江华睿科技股份有限公司 一种切边方法、装置及电子设备
CN118510633A (zh) * 2022-01-14 2024-08-16 发那科株式会社 具备三维传感器的机器人装置以及机器人装置的控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01177615A (ja) * 1988-01-08 1989-07-13 Fanuc Ltd ロボット用オフラインプログラミング方法
JPH05134737A (ja) * 1991-11-11 1993-06-01 Toyoda Mach Works Ltd ロボツトの教示装置
JPH07302110A (ja) * 1994-05-09 1995-11-14 Fanuc Ltd ロボット動作プログラムの作成方法
JP2000207557A (ja) * 1999-01-11 2000-07-28 Matsushita Electric Ind Co Ltd 位置ずれ量計測方法
JP2002046087A (ja) 2000-08-01 2002-02-12 Mitsubishi Heavy Ind Ltd 3次元位置計測方法及び計測装置並びにロボット制御装置
JP2010172969A (ja) * 2009-01-27 2010-08-12 Yaskawa Electric Corp ロボットシステムおよびロボットの制御方法
JP2014029664A (ja) * 2012-06-28 2014-02-13 Seiko Epson Corp 比較画像範囲生成方法、位置姿勢検出方法、比較画像範囲生成装置、位置姿勢検出装置、ロボット、ロボットシステム、比較画像範囲生成プログラム及び位置姿勢検出プログラム
JP2018017654A (ja) * 2016-07-29 2018-02-01 セイコーエプソン株式会社 検出装置、ロボットおよびロボット制御装置
CN109683552A (zh) * 2018-11-27 2019-04-26 大连理工大学 一种基面曲线导向的复杂点云模型上的数控加工路径生成方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450609B2 (ja) * 1996-08-21 2003-09-29 株式会社東芝 ロボットのオフライン教示装置
JP3970559B2 (ja) * 2001-07-06 2007-09-05 日産自動車株式会社 データの座標変換方法
JP2004046542A (ja) * 2002-07-11 2004-02-12 Mitsubishi Heavy Ind Ltd モデル加工方法およびモデル加工システム
WO2006066207A2 (en) * 2004-12-19 2006-06-22 Ade Corporation System and method for inspecting a workpiece surface using combinations of light collectors
JP2008020993A (ja) * 2006-07-11 2008-01-31 Tookin:Kk 作業用ロボットの教示データ作成装置
JP4699406B2 (ja) 2007-02-28 2011-06-08 シャープ株式会社 画像処理装置、画像処理方法、画像処理装置制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5201341B2 (ja) * 2008-09-09 2013-06-05 富士電機株式会社 遠隔操作支援装置
JP5480667B2 (ja) 2010-02-26 2014-04-23 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、プログラム
JP5022508B1 (ja) * 2011-06-02 2012-09-12 三菱重工業株式会社 形状計測方法
JP5839671B2 (ja) 2011-09-20 2016-01-06 株式会社Screenホールディングス 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
ES2728861T3 (es) * 2013-03-15 2019-10-29 Univ Carnegie Mellon Sistema robótico autónomo supervisado para inspección y procesamiento de superficie compleja
JP5845212B2 (ja) * 2013-06-28 2016-01-20 ファナック株式会社 視覚センサ及び力センサを備えたバリ取り装置
CN108182689B (zh) * 2016-12-08 2021-06-22 中国科学院沈阳自动化研究所 应用于机器人搬运打磨领域的板状工件三维识别定位方法
EP3366433B1 (en) * 2017-02-09 2022-03-09 Canon Kabushiki Kaisha Method of controlling robot, method of teaching robot, and robot system
JP6889574B2 (ja) * 2017-03-03 2021-06-18 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6823502B2 (ja) * 2017-03-03 2021-02-03 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US10509415B2 (en) * 2017-07-27 2019-12-17 Aurora Flight Sciences Corporation Aircrew automation system and method with integrated imaging and force sensing modalities
JP7155660B2 (ja) 2018-06-26 2022-10-19 セイコーエプソン株式会社 ロボット制御装置およびロボットシステム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01177615A (ja) * 1988-01-08 1989-07-13 Fanuc Ltd ロボット用オフラインプログラミング方法
JPH05134737A (ja) * 1991-11-11 1993-06-01 Toyoda Mach Works Ltd ロボツトの教示装置
JPH07302110A (ja) * 1994-05-09 1995-11-14 Fanuc Ltd ロボット動作プログラムの作成方法
JP2000207557A (ja) * 1999-01-11 2000-07-28 Matsushita Electric Ind Co Ltd 位置ずれ量計測方法
JP2002046087A (ja) 2000-08-01 2002-02-12 Mitsubishi Heavy Ind Ltd 3次元位置計測方法及び計測装置並びにロボット制御装置
JP2010172969A (ja) * 2009-01-27 2010-08-12 Yaskawa Electric Corp ロボットシステムおよびロボットの制御方法
JP2014029664A (ja) * 2012-06-28 2014-02-13 Seiko Epson Corp 比較画像範囲生成方法、位置姿勢検出方法、比較画像範囲生成装置、位置姿勢検出装置、ロボット、ロボットシステム、比較画像範囲生成プログラム及び位置姿勢検出プログラム
JP2018017654A (ja) * 2016-07-29 2018-02-01 セイコーエプソン株式会社 検出装置、ロボットおよびロボット制御装置
CN109683552A (zh) * 2018-11-27 2019-04-26 大连理工大学 一种基面曲线导向的复杂点云模型上的数控加工路径生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3967461A4

Also Published As

Publication number Publication date
US12066812B2 (en) 2024-08-20
JP2021137940A (ja) 2021-09-16
CN113905856B (zh) 2024-08-09
JP6713700B1 (ja) 2020-06-24
US20220253039A1 (en) 2022-08-11
EP3967461A1 (en) 2022-03-16
EP3967461A4 (en) 2023-06-21
CN113905856A (zh) 2022-01-07
JP2021137946A (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
WO2021181929A1 (ja) 情報処理方法、情報処理システム、プログラム
US10661440B2 (en) Robot teaching device for warning or correcting positional deviation of teaching points or teaching line
JP6348097B2 (ja) ワーク位置姿勢算出装置およびハンドリングシステム
JP6917096B1 (ja) 情報処理方法、情報処理システム、プログラム
JP6849262B1 (ja) 情報処理方法、情報処理システム、プログラム
US10618163B2 (en) Simulation device, simulation method, and computer program for robot system
JP2006293826A (ja) ロボットプログラム補正装置
JP6796899B1 (ja) 情報処理方法、情報処理システム、プログラム
US20220164975A1 (en) Shape detection method, shape detection system, and program
US20240119686A1 (en) Information processing method, information processing system, and program
CN109752730B (zh) 一种基于v槽检测的激光定位方法及系统
JP6742661B1 (ja) 形状検出方法、形状検出システム、プログラム
JP6758696B1 (ja) 形状検出方法、形状検出システム、プログラム
JP6758695B1 (ja) 形状検出方法、形状検出システム、プログラム
US20230145056A1 (en) Mobile robot system
WO2024105847A1 (ja) 制御装置、3次元位置計測システム、及びプログラム
US20180240278A1 (en) System and method for determining minimal negative distance between two objects

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21767948

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021767948

Country of ref document: EP

Effective date: 20211210

NENP Non-entry into the national phase

Ref country code: DE