WO2022210948A1 - 特定点検出システム、特定点検出方法及び特定点検出プログラム - Google Patents

特定点検出システム、特定点検出方法及び特定点検出プログラム Download PDF

Info

Publication number
WO2022210948A1
WO2022210948A1 PCT/JP2022/016214 JP2022016214W WO2022210948A1 WO 2022210948 A1 WO2022210948 A1 WO 2022210948A1 JP 2022016214 W JP2022016214 W JP 2022016214W WO 2022210948 A1 WO2022210948 A1 WO 2022210948A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
specific point
burr
detection model
dimensional information
Prior art date
Application number
PCT/JP2022/016214
Other languages
English (en)
French (fr)
Inventor
健太郎 東
一輝 倉島
仁志 蓮沼
祥一 西尾
Original Assignee
川崎重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 川崎重工業株式会社 filed Critical 川崎重工業株式会社
Priority to CN202280023818.8A priority Critical patent/CN117043546A/zh
Priority to US18/552,675 priority patent/US20240169550A1/en
Publication of WO2022210948A1 publication Critical patent/WO2022210948A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present disclosure relates to a specific point detection system, a specific point detection method, and a specific point detection program.
  • Patent Literature 1 discloses an apparatus that detects burrs as specific points by comparing a three-dimensional shape expressed using voxels from measurement data of a workpiece with a 3D-CAD model of the workpiece.
  • the present disclosure has been made in view of this point, and its purpose is to simplify processing when detecting specific points from three-dimensional information of an object.
  • the specific point detection system of the present disclosure uses an imaging device that acquires an image of an object and a first detection model that has been learned by machine learning, and the image acquired by the imaging device is used as an input, and the object a first detection unit that detects a specific point included in a three-dimensional information acquisition device that acquires three-dimensional information of the object including the specific point detected by the first detection unit; and learning by machine learning a second detection unit that re-detects the specific point using the three-dimensional information obtained by the three-dimensional information obtaining device using the already-finished second detection model.
  • the specific point detection method of the present disclosure acquires an image of an object and uses a first detection model that has been learned by machine learning to detect specific points included in the object using the image as an input. obtaining three-dimensional information of the object including the specific point detected by the first detection model; and acquiring the three-dimensional information using a second detection model that has been learned by machine learning. and re-detecting said specific point as an input.
  • the specific point detection program of the present disclosure acquires an image of an object to a computer in order to detect a specific point of the object, and uses a first detection model that has been learned by machine learning to input the image. As, detecting a specific point included in the object, acquiring three-dimensional information of the object including the specific point detected by the first detection model, and learning by machine learning and re-detecting the specific point using a second detection model with the three-dimensional information as an input.
  • the specific point detection system it is possible to simplify processing when detecting specific points from three-dimensional information of an object.
  • the specific point detection method it is possible to simplify processing when detecting specific points from the three-dimensional information of the object.
  • the process for detecting specific points from the three-dimensional information of the object can be simplified.
  • FIG. 1 is a schematic diagram showing the configuration of a machining system.
  • FIG. 2 is a diagram showing a schematic hardware configuration of the robot controller.
  • FIG. 3 is a diagram showing a schematic hardware configuration of the operation control device.
  • FIG. 4 is a diagram showing a schematic hardware configuration of the control device.
  • FIG. 5 is a block diagram showing the configuration of a control system for manual control of the machining system.
  • FIG. 6 is a block diagram showing the configuration of a control system for automatic control of the machining system.
  • FIG. 7 is a flow chart of automatic control of the machining system.
  • FIG. 8 is a schematic diagram showing the state of the robot arm when the object W is imaged.
  • FIG. 9 is a schematic diagram showing an example of an image acquired by an imaging device.
  • FIG. 9 is a schematic diagram showing an example of an image acquired by an imaging device.
  • FIG. 10 is a schematic diagram showing the state of the robot arm when acquiring point cloud data of an object.
  • FIG. 11 is a schematic diagram showing an example of point cloud data acquired by a three-dimensional scanner.
  • FIG. 12 is a schematic diagram showing the state of the robot arm when grinding burrs.
  • FIG. 1 is a schematic diagram showing the configuration of a processing system 100 according to an embodiment. Note that the dashed lines in FIG. 1 represent wireless communication.
  • the processing system 100 includes a specific point detection system 200 (hereinafter also referred to as "detection system 200") that detects specific points on the object W.
  • the specific point is a burr on the object W.
  • FIG. Burrs include casting burrs, cutting burrs, grinding burrs, shear burrs, plastic deformation burrs, sprue burrs and welding burrs.
  • the detection system 200 includes an imaging device 71 that acquires an image of the object W, and a first detection unit 83 that detects burrs B included in the object W based on the image acquired by the imaging device 71 (see FIG. 6). a three-dimensional scanner 72 that acquires three-dimensional information of the object W including the burr B detected by the first detection unit 83; and a second detection unit 85 (see FIG. 6).
  • the 3D scanner 72 is an example of a 3D information acquisition device.
  • the detection system 200 further comprises a robot arm 12.
  • An imaging device 71 and a three-dimensional scanner 72 are arranged on the robot arm 12 .
  • the detection system 200 further includes a robot 1 and a controller 3 that controls the robot 1 .
  • a robot arm 12 is included in the robot 1 .
  • the processing system 100 further includes an operating device 2 operated by a user.
  • the robot 1 acts on the object W according to the operation of the operating device 2 .
  • the control device 3 also controls the operating device 2 .
  • the robot 1 and the operating device 2 are remotely arranged.
  • the processing system 100 is capable of manually processing the object W and automatically processing the object W. FIG.
  • the processing system 100 realizes remote control between the operating device 2 and the robot 1.
  • the operating device 2 functions as a master device and the robot 1 functions as a slave device.
  • the work performed by the robot 1 does not include teaching work and teaching confirmation and correction work. Therefore, the operating device 2 does not include a teach pendant.
  • the robot 1 and the operation device 2 are communicably connected. Specifically, the robot 1 is communicably connected to the control device 3 .
  • the operation device 2 is communicably connected to the control device 3 . That is, the operating device 2 communicates with the robot 1 via the control device 3 .
  • robot 1 is an industrial robot.
  • the robot 1 applies an action to the object W.
  • the action is specifically machining, more specifically grinding.
  • the action is not limited to grinding, and may be cutting, polishing, or the like.
  • the robot 1 has a sensor that detects the operating state of the robot 1.
  • the robot 1 further has a contact force sensor 13 that detects a reaction force received from the object W (hereinafter referred to as "contact force").
  • the control device 3 receives the detection result of the contact force sensor 13 via the robot 1.
  • the control device 3 executes motion control of at least one of the robot 1 and the operation device 2 based on the detection result of the contact force sensor 13 .
  • the control device 3 controls the motion of the robot 1 and presents the reaction force acting on the robot 1 to the user in accordance with the operation of the operation device 2 by the user and the detection result of the contact force sensor 13 . It controls the operation of the operating device 2 .
  • the robot 1 may have an end effector 11 that acts on the object W and a robot arm 12 that operates the end effector 11 .
  • the robot 1 operates, that is, moves the end effector 11 by the robot arm 12 and applies an action to the object W by the end effector 11 .
  • the robot 1 may further include a base 10 that supports the robot arm 12 and a robot controller 14 that controls the robot 1 as a whole.
  • a robot coordinate system with three orthogonal axes is defined for the robot 1.
  • the Z-axis is set in the vertical direction
  • the X-axis and Y-axis are set in the horizontal direction, which are perpendicular to each other.
  • the end effector 11 has a grinding device 11a and applies grinding to the object W as an action.
  • the grinding device 11a may be a grinder, an orbital sander, a random orbit sander, a delta sander, a belt sander, or the like.
  • the grinder may be of a type that rotates a disk-shaped grinding wheel, a type that rotates a conical or cylindrical grinding wheel, or the like.
  • the grinding device 11a is a grinder.
  • the robot arm 12 changes the position of the grinding device 11a. Furthermore, the robot arm 12 may change the posture of the grinding device 11a.
  • the robot arm 12 is a vertically articulated robot arm.
  • the robot arm 12 has a plurality of links 12a, joints 12b that connect the plurality of links 12a, and a servo motor 15 (see FIG. 2) that rotationally drives the plurality of joints 12b.
  • the robot arm 12 may be a horizontal articulated robot arm, a parallel link robot arm, a rectangular coordinate robot arm, a polar coordinate robot arm, or the like.
  • the contact force sensor 13 is provided between the robot arm 12 and the end effector 11 (specifically, the connecting portion between the robot arm 12 and the end effector 11).
  • the contact force sensor 13 detects the contact force that the end effector 11 receives from the object W. As shown in FIG.
  • the contact force sensor 13 detects forces in directions of three orthogonal axes and moments around the three axes.
  • the force sensor is not limited to the contact force sensor 13.
  • the contact force sensor 13 may detect only uniaxial, biaxial, or triaxial forces.
  • the force sensor may be a current sensor that detects the current of the servomotor 15 of the robot arm 12 or a torque sensor that detects the torque of the servomotor 15 .
  • the imaging device 71 is attached to the robot arm 12. Specifically, the imaging device 71 is attached to the link 12 a on the most tip side of the robot arm 12 . The imaging device 71 shoots an RGB image. An image captured by the imaging device 71 is input from the robot control device 14 to the control device 3 as an image signal.
  • the three-dimensional scanner 72 is attached to the robot arm 12. Specifically, the three-dimensional scanner 72 is attached to the link 12a of the robot arm 12, which is the most distal end.
  • the three-dimensional scanner 72 acquires point cloud data of the object W as three-dimensional information. That is, the three-dimensional scanner 72 outputs three-dimensional coordinates of many points on the surface of the object W as a point group. Point cloud data of the three-dimensional scanner 72 is input from the robot controller 14 to the controller 3 .
  • the imaging device 71 When the robot arm 12 acquires an image of the object W, the imaging device 71 is moved to a predetermined imaging position.
  • the three-dimensional scanner 72 is moved to a position corresponding to the burr B that has been detected.
  • FIG. 2 is a diagram showing a schematic hardware configuration of the robot control device 14.
  • the robot controller 14 controls the servo motor 15 of the robot arm 12 and the grinding device 11a.
  • the robot controller 14 receives detection signals from the contact force sensor 13 .
  • the robot control device 14 transmits and receives information, commands, data, etc. to and from the control device 3 .
  • the robot control device 14 has a control section 16 , a storage section 17 and a memory 18 .
  • the control unit 16 controls the robot control device 14 as a whole.
  • the control unit 16 performs various arithmetic processing.
  • the control unit 16 is formed by a processor such as a CPU (Central Processing Unit).
  • the control unit 16 may be formed of MCU (Micro Controller Unit), MPU (Micro Processor Unit), FPGA (Field Programmable Gate Array), PLC (Programmable Logic Controller), system LSI, and the like.
  • the storage unit 17 stores programs executed by the control unit 16 and various data.
  • the storage unit 17 is formed of a nonvolatile memory, HDD (Hard Disc Drive), SSD (Solid State Drive), or the like.
  • the memory 18 temporarily stores data and the like.
  • memory 18 is formed of volatile memory.
  • the operation device 2 has an operation unit 21 operated by a user and an operation force sensor 23 that detects an operation force applied to the operation unit 21 by the user.
  • the operation device 2 receives an input for manually operating the robot 1 and outputs operation information, which is the input information, to the control device 3 .
  • the user operates the operation device 2 by gripping the operation unit 21 .
  • the operating force sensor 23 detects the force applied to the operating portion 21 at that time.
  • the operating force detected by the operating force sensor 23 is output to the control device 3 as operation information.
  • the operation device 2 may further include a base 20 , a support mechanism 22 provided on the base 20 to support the operation section 21 , and an operation control device 24 that controls the entire operation device 2 .
  • the operation device 2 presents the user with a reaction force against the operation force under the control of the control device 3 .
  • the operation control device 24 receives a command from the control device 3 and controls the support mechanism 22 to allow the user to sense the reaction force.
  • the operation device 2 has an operation coordinate system with three orthogonal axes.
  • the operation coordinate system corresponds to the robot coordinate system. That is, the Z-axis is set in the vertical direction, and the X-axis and the Y-axis are set in the horizontal direction, which are perpendicular to each other.
  • the support mechanism 22 has a plurality of links 22a, joints 22b that connect the plurality of links 22a, and a servo motor 25 (see FIG. 3) that rotationally drives the plurality of joints 22b.
  • the support mechanism 22 supports the operating section 21 so that the operating section 21 can assume any position and orientation within the three-dimensional space.
  • a servomotor 25 rotates in accordance with the position and orientation of the operation unit 21 . The amount of rotation of the servomotor 25, that is, the rotation angle is uniquely determined.
  • the operating force sensor 23 is provided between the operating portion 21 and the support mechanism 22 (specifically, the connecting portion between the operating portion 21 and the support mechanism 22).
  • the operating force sensor 23 detects forces in directions of three orthogonal axes and moments around the three axes.
  • the operating force detection unit is not limited to the operating force sensor 23 .
  • the operating force sensor 23 may detect only uniaxial, biaxial, or triaxial forces.
  • the detection unit may be a current sensor that detects the current of the servomotor 25 of the support mechanism 22, a torque sensor that detects the torque of the servomotor 25, or the like.
  • FIG. 3 is a diagram showing a schematic hardware configuration of the operation control device 24.
  • the operation control device 24 operates the support mechanism 22 by controlling the servomotor 25 .
  • the operation control device 24 receives detection signals from the operation force sensor 23 .
  • the operation control device 24 transmits and receives information, commands, data, etc. to and from the control device 3 .
  • the operation control device 24 has a control section 26 , a storage section 27 and a memory 28 .
  • the control unit 26 controls the operation control device 24 as a whole.
  • the control unit 26 performs various arithmetic processing.
  • the control unit 26 is formed by a processor such as a CPU (Central Processing Unit).
  • the control unit 26 may be formed of MCU (Micro Controller Unit), MPU (Micro Processor Unit), FPGA (Field Programmable Gate Array), PLC (Programmable Logic Controller), system LSI, and the like.
  • the storage unit 27 stores programs executed by the control unit 26 and various data.
  • the storage unit 27 is formed of a nonvolatile memory, HDD (Hard Disc Drive), SSD (Solid State Drive), or the like.
  • the memory 28 temporarily stores data and the like.
  • memory 28 is formed of volatile memory.
  • the control device 3 controls the processing system 100 and the detection system 200 as a whole, and performs motion control of the robot 1 and the operation device 2 . Specifically, the control device 3 performs manual control of the processing system 100 and automatic control of the processing system 100 according to the user's operation. In manual control, the control device 3 performs master-slave control, specifically bilateral control, between the robot 1 and the operating device 2 . The control device 3 controls the operation of the robot 1 according to the operation of the operation device 2 by the user's operation, and operates the operation device 2 so as to present the user with a reaction force according to the detection result of the contact force sensor 13. to control.
  • the end effector 11 processes the object W according to the user's operation, and the reaction force during processing is presented to the user via the operation device 2 . Further, the control device 3 detects the burr B of the object W in the automatic control. Furthermore, the control device 3 automatically grinds the burr B after the burr B is detected.
  • FIG. 4 is a diagram showing a schematic hardware configuration of the control device 3.
  • the control device 3 transmits and receives information, commands, data, etc. to and from the robot control device 14 and the operation control device 24 .
  • the control device 3 has a control section 31 , a storage section 32 and a memory 33 . Although illustration is omitted, the control device 3 further has an input operation unit operated by the user to set the operation control of the robot 1 and the operation device 2, and a display for displaying the setting contents. good too.
  • the control unit 31 controls the control device 3 as a whole.
  • the control unit 31 performs various kinds of arithmetic processing.
  • the control unit 31 is formed by a processor such as a CPU (Central Processing Unit).
  • the control unit 31 may be formed of MCU (Micro Controller Unit), MPU (Micro Processor Unit), FPGA (Field Programmable Gate Array), PLC (Programmable Logic Controller), system LSI, and the like.
  • the storage unit 32 stores programs executed by the control unit 31 and various data.
  • the storage unit 32 stores programs for controlling the processing system 100 and the detection system 200 .
  • the storage unit 32 is formed of a non-volatile memory, HDD (Hard Disc Drive), SSD (Solid State Drive), or the like.
  • the program stored in the storage unit 32 is a specific point detection program 32a that causes a computer to execute a predetermined procedure in order to detect the burrs B on the object W.
  • the memory 33 temporarily stores data and the like.
  • memory 33 is formed of volatile memory.
  • control device 3 controls the operation of the robot 1 according to the operation of the operation device 2 operated by the user, Manual control is performed to control the operation of the operating device 2 so as to present the user with a reaction force according to the detection result of the contact force sensor 13 .
  • the control device 3 detects the burr B based on the image of the object W and the three-dimensional information obtained by the imaging device 71 and the three-dimensional scanner 72, and detects the detected burr B. Automatic control for processing by the robot 1 is executed.
  • FIG. 5 is a block diagram showing the configuration of a control system for manual control of the machining system 100. As shown in FIG. 5
  • the control unit 16 of the robot control device 14 implements various functions by reading programs from the storage unit 17 to the memory 18 and expanding them. Specifically, the control unit 16 functions as an input processing unit 41 and an operation control unit 42 .
  • the input processing unit 41 outputs information, data, commands, etc. received from the contact force sensor 13 and the servomotor 15 to the control device 3 .
  • the input processing unit 41 receives six-axis force detection signals (hereinafter referred to as “sensor signals”) from the contact force sensor 13 and outputs the sensor signals to the control device 3 .
  • the input processing unit 41 also receives detection signals from a rotation sensor (for example, an encoder) and a current sensor from the servomotor 15 .
  • the input processing unit 41 outputs the detection signal to the motion control unit 42 for feedback control of the robot arm 12 by the motion control unit 42 .
  • the input processing unit 41 also outputs the detection signal to the control device 3 as positional information of the robot arm 12 .
  • the motion control unit 42 receives the command position xds from the control device 3 and generates a control command for operating the robot arm 12 according to the command position xds.
  • the motion control unit 42 outputs a control command to the servomotor 15 to operate the robot arm 12 and move the grinding device 11a to a position corresponding to the commanded position.
  • the motion control unit 42 feedback-controls the motion of the robot arm 12 based on the detection signal of the rotation sensor and/or the current sensor of the servomotor 15 from the input processing unit 41 .
  • the operation control unit 42 outputs a control command to the grinding device 11a to operate the grinding device 11a.
  • the grinding device 11a grinds the target object W.
  • the control unit 26 of the operation control device 24 implements various functions by reading programs from the storage unit 27 into the memory 28 and expanding them. Specifically, the control unit 26 functions as an input processing unit 51 and an operation control unit 52 .
  • the input processing unit 51 outputs information, data, commands, etc. received from the operating force sensor 23 to the control device 3 . Specifically, the input processing unit 51 receives detection signals of six-axis forces from the operating force sensor 23 and outputs the detection signals to the control device 3 . The input processing unit 51 also receives detection signals from a rotation sensor (for example, an encoder) and a current sensor from the servomotor 25 . The input processing unit 51 outputs the detection signal to the operation control unit 52 for feedback control of the support mechanism 22 by the operation control unit 52 .
  • a rotation sensor for example, an encoder
  • a current sensor from the servomotor 25
  • the motion control unit 52 receives the command position xdm from the control device 3 and generates a control command for operating the support mechanism 22 according to the command position xdm.
  • the motion control unit 52 outputs a control command to the servomotor 25 to operate the support mechanism 22 and move the operation unit 21 to a position corresponding to the commanded position.
  • the motion control unit 52 feedback-controls the motion of the support mechanism 22 based on the detection signal of the rotation sensor and/or the current sensor of the servomotor 25 from the input processing unit 51 .
  • a reaction force is applied to the operation force applied to the operation unit 21 by the user.
  • the user can operate the operation unit 21 while feeling the reaction force of the object W from the operation unit 21 in a pseudo manner.
  • the control unit 31 of the control device 3 implements various functions by reading programs from the storage unit 32 to the memory 33 and expanding them.
  • the control unit 31 includes an operating force acquisition unit 61, a contact force acquisition unit 62, an addition unit 63, a force/velocity conversion unit 64, a first speed/position conversion unit 65, and a second speed/position conversion unit 66. function as
  • the operating force acquiring unit 61 receives the detection signal of the operating force sensor 23 via the input processing unit 51 and acquires the operating force fm based on the detection signal.
  • the operating force acquisition unit 61 inputs the operating force fm to the adding unit 63 .
  • the contact force acquisition unit 62 receives the sensor signal of the contact force sensor 13 via the input processing unit 41 and acquires the contact force fs based on the sensor signal.
  • the contact force acquisition unit 62 inputs the contact force fs to the addition unit 63 .
  • the adding section 63 calculates the sum of the operating force fm input from the operating force acquiring section 61 and the contact force fs input from the contact force acquiring section 62 .
  • the operating force fm and the contact force fs are forces in opposite directions, the positive and negative signs of the operating force fm and the contact force fs are different. That is, by adding the operation force fm and the contact force fs, the absolute value of the resultant force fm+fs, which is the sum of the operation force fm and the contact force fs, becomes smaller than the absolute value of the operation force fm.
  • Adder 63 outputs resultant force fm+fs.
  • the force/velocity conversion unit 64 converts the input combined force fm+fs into the command velocity xd'.
  • the force/velocity conversion unit 64 calculates the command velocity xd' using a motion model based on an equation of motion including an inertia coefficient, a viscosity coefficient (damper coefficient), and a stiffness coefficient (spring coefficient). Specifically, the force/velocity conversion unit 64 calculates the command velocity xd' based on the following equation of motion.
  • xd is the command position.
  • md is the inertia coefficient.
  • cd is the viscosity coefficient.
  • kd is the stiffness coefficient.
  • fm is the operating force.
  • fs is the contact force.
  • "'" represents one-time differentiation, and """ represents two-time differentiation.
  • Equation (1) is a linear differential equation, and solving Equation (1) for xd' yields Equation (2).
  • A is a term represented by fm, fs, md, cd, kd, and so on.
  • Formula (2) is stored in the storage unit 32.
  • the force/velocity conversion unit 64 reads the formula (2) from the storage unit 32 to obtain the command speed xd′, and converts the obtained command speed xd′ to the first speed/position conversion unit 65 and the second speed/position conversion unit. 66.
  • the first speed/position conversion unit 65 converts the coordinate-converted command speed xd' into a command position xds for the robot 1 on the basis of the robot coordinate system. For example, when the ratio of the movement amount of the robot 1 to the movement amount of the operating device 2 is set, the first speed/position conversion unit 65 multiplies the command position xd obtained from the command speed xd' according to the movement ratio. to obtain the command position xds. The first speed/position converter 65 outputs the obtained command position xds to the robot controller 14 , more specifically, to the motion controller 42 . The motion control unit 42 moves the robot arm 12 based on the command position xds as described above.
  • the second speed/position conversion unit 66 converts the command speed xd' into a command position xdm for the operating device 2 based on the operation coordinate system.
  • the second speed/position conversion section 66 outputs the obtained command position xdm to the operation control device 24 , more specifically, to the motion control section 52 .
  • the motion control unit 52 operates the support mechanism 22 based on the command position xdm as described above.
  • FIG. 6 is a block diagram showing the configuration of the control system for automatic control of the machining system 100. As shown in FIG. 6
  • the control unit 31 of the control device 3 implements various functions by reading a program (for example, a specific point detection program 32a) from the storage unit 32 into the memory 33 and developing it. Specifically, the control unit 31 functions as an operation command unit 81 , an imaging unit 82 , a first detection unit 83 , a three-dimensional information acquisition unit 84 and a second detection unit 85 .
  • a program for example, a specific point detection program 32a
  • the control unit 31 functions as an operation command unit 81 , an imaging unit 82 , a first detection unit 83 , a three-dimensional information acquisition unit 84 and a second detection unit 85 .
  • the first detection unit 83 uses a first detection model 86 that has been learned by machine learning, receives an image captured by the imaging device 71 as an input, and detects burrs B included in the object W (hereinafter referred to as this detection). is also called “first detection”).
  • the second detection unit 85 uses a second detection model 87 that has already been learned by machine learning, receives point cloud data acquired by the three-dimensional scanner 72 as an input, and redetects the burr B (hereinafter, this detection is referred to as " Also referred to as "second detection”).
  • the first detection model 86 and the second detection model 87 are stored in the storage unit 32 .
  • the motion command unit 81 creates command positions for the robot arm 12 and obtains the rotation angle of each joint 12b of the robot arm 12 according to the created command positions. Further, the motion command unit 81 creates a command value corresponding to the obtained rotation angle of each joint 12b and outputs the created command value to the robot control device 14 .
  • the robot control device 14 drives the servomotor 15 based on the command value from the motion command section 81 . At this time, the robot control device 14 feedback-controls the supply current to the servomotor 15 based on the detection result of the encoder.
  • the imaging unit 82 controls the imaging device 71 and causes the imaging device 71 to capture an image of the object W.
  • the first detection unit 83 detects burrs B on the object W based on the image acquired by the imaging device 71 .
  • the first detection unit 83 detects the burr B using a first detection model 86 that has been learned by machine learning.
  • the first detection model 86 receives the image of the object W as an input and outputs the position of the burr B of the object W.
  • the three-dimensional information acquisition unit 84 controls the three-dimensional scanner 72 to acquire the point cloud data of the target object W.
  • the second detection unit 85 detects burrs B on the object W based on the point cloud data acquired by the three-dimensional scanner 72 .
  • the second detection unit 85 detects the burr B using a second detection model 87 that has been learned by machine learning.
  • the second detection model 87 receives the point cloud data of the object W and outputs the position of the burr B of the object W.
  • the first detection model 86 and the second detection model 87 will be further explained.
  • the first detection model 86 is created by machine learning such as deep learning or neural network. For example, training data in which images of the object W before and after grinding the burr B are acquired, and classes and regions (that is, positions) are annotated from the acquired images with attributes of the burr B and portions other than the burr B. is created. Using the created training data as an input, a first detection model 86 is created using a deep learning algorithm such as a neural network. The first detection model 86 receives the image of the object W as an input, and outputs the presence or absence of the burr B on the object W and the position of the burr B. FIG.
  • the first detection model 86 includes an extraction block that extracts the feature amount of the burr from the image, a position prediction block that regression-predicts the position coordinates of the burr from the feature amount extracted by the extraction block, and an extraction block that and a prediction block that predicts the burr class from the extracted features.
  • a convolutional neural network is used to extract the feature amount in the extraction block. Note that a convolutional neural network that encompasses all blocks may also be used. Also, each block need not exist independently, and one block may have the functions of a plurality of blocks.
  • the training data for the first detection model 86 is an image that includes a relatively large range of the object W, such as an image that includes all or most of the object W. For each type of object W, images of the object W having various burrs B are employed as training data. Also, the training data for the first detection model 86 is preferably images of the object W before and after actual processing by the manually controlled processing system 100 . Since the object W is actually manually processed using the machining system 100, training data can be easily obtained by acquiring images of the object W before and after grinding at this time. Furthermore, since an image reflecting the environment of the site where the robot 1 is actually installed can be acquired, the first detection model 86 with high detection accuracy of the burr B is created.
  • the second detection model 87 is created by machine learning with higher descriptiveness or readability than the first detection model 86.
  • the second detection model 87 is created using a decision tree based machine learning algorithm. For example, from point cloud data obtained from a sample of burr B, training data annotated with classes and regions (ie positions) with attributes of burr B and parts other than burr B are created.
  • a second detection model 87 is created using a decision tree machine learning algorithm using the created training data as an input.
  • the second detection model 87 receives the point cloud data of the target object W, and outputs the presence or absence of the burr B on the target object W and the position of the burr B.
  • the second detection model 87 includes a calculation block that calculates a local feature amount for each point of the point cloud data or each voxel area generated from the point cloud data, and a burr detection model based on the feature amount calculated by the calculation block.
  • Machine learning having a prediction block that predicts a class, and a position calculation block that calculates position coordinates of burrs from geometric processing of feature values calculated by the calculation block, classes predicted by the prediction block, and point cloud data. can be a model.
  • a decision tree-based machine learning algorithm is used for the prediction block.
  • each block need not exist independently, and one block may have the functions of a plurality of blocks.
  • the range of the object W represented by the point cloud data may be a local portion including the burr B, and is smaller than the range of the object W represented by the image input to the first detection model 86.
  • the second detection model 87 is a model created by machine learning that can be additionally learned. That is, the learned second detection model 87 is updated by additionally performing machine learning using new training data.
  • the training data for the second detection model 87 is an image including a relatively small range of the object W, such as a local image including the burr B.
  • the training data does not need to be point cloud data of the entire sample, and may be local point cloud data including at least the burr B. Therefore, the sample may be a component of the same type as the object W, or may be a component of a different type from the object W.
  • the range of the object W input to the second detection model 87 as point cloud data is narrower than the range of the object W input to the first detection model 86 as an image.
  • the object W represented by the point cloud data input to the second detection model 87 is localized compared to the object W represented by the image input to the first detection model 86 .
  • the first detection model 86 globally and preliminarily detects the burr B from the entire object W based on the image of the object W.
  • the second detection model 87 locally examines the burr B detected by the first detection unit 83 based on the point cloud data of the object W, and re-detects it with higher accuracy than the first detection model 86. do.
  • ⁇ Manual control> In manual control, the user operates the operation device 2 to cause the robot 1 to perform the actual work on the object W.
  • FIG. For example, the user operates the operating device 2 to grind the object W by the robot 1 .
  • the operating force sensor 23 detects an operating force applied by the user to the operating unit 21 as an operation performed by the user through the operating device 2 .
  • the robot arm 12 is controlled according to the operating force.
  • the operating force sensor 23 detects the operating force applied by the user via the operating section 21 .
  • the contact force sensor 13 of the robot 1 detects the contact force.
  • the operating force detected by the operating force sensor 23 is input to the control device 3 as a detection signal by the input processing unit 51 .
  • the operating force acquiring section 61 inputs the operating force fm based on the detection signal to the adding section 63 .
  • the contact force detected by the contact force sensor 13 is input to the input processing unit 41 as a sensor signal.
  • a sensor signal input to the input processing unit 41 is input to the contact force acquisition unit 62 .
  • the contact force acquisition unit 62 inputs the contact force fs based on the sensor signal to the addition unit 63 .
  • the addition unit 63 inputs the resultant force fm+fs to the force/velocity conversion unit 64.
  • the force/velocity conversion unit 64 obtains the command velocity xd' based on the formula (2) using the combined force fm+fs.
  • the first speed/position conversion unit 65 obtains the command position xds from the command speed xd'.
  • the motion control unit 42 of the robot control device 14 operates the robot arm 12 according to the command position xds to control the position of the grinding device 11a.
  • the object W is ground by the grinding device 11a while a pressing force corresponding to the operating force fm is applied to the object W.
  • the second speed/position conversion unit 66 obtains the command position xdm from the command speed xd'.
  • the operation control unit 52 of the operation control device 24 operates the support mechanism 22 according to the command position xdm to control the position of the operation unit 21 . Thereby, the user perceives the reaction force corresponding to the contact force fs.
  • the processing of the object W by the robot 1 is executed by the user's operation of the operating device 2 as described above.
  • a first detection model 86 can be created using the acquired images as training data.
  • FIG. 7 is a flow chart of automatic control of the processing system 100. As shown in FIG.
  • step S1 the control device 3 captures an image of the object W.
  • FIG. 8 is a schematic diagram showing the state of the robot arm 12 when the object W is imaged.
  • FIG. 9 is a schematic diagram showing an example of an image acquired by the imaging device 71. As shown in FIG.
  • the motion command unit 81 moves the robot arm 12 so that the imaging device 71 is positioned at a predetermined imaging position.
  • the imaging unit 82 causes the imaging device 71 to image the object W.
  • FIG. For example, the imaging device 71 images the object W so as to obtain an image of the entire object W, as shown in FIG.
  • the imaging of the object W may be performed multiple times instead of once. That is, the imaging device 71 moves to a plurality of imaging positions and images the object W at each imaging position.
  • control device 3 may acquire point cloud data of the object W in order to detect the position of the object W in the robot coordinate system.
  • the three-dimensional information acquisition unit 84 causes the three-dimensional scanner 72 to acquire point cloud data of a relatively large range of the object W (preferably, the entire range of the object W).
  • the three-dimensional scanner 72 acquires point cloud data of the object W at the position of the robot arm 12 when imaging the object W described above.
  • the operation command unit 81 causes the robot arm 12 may be moved to the appropriate position, and then the three-dimensional scanner 72 may acquire point cloud data of the appropriate area of the object W.
  • step S2 the control device 3 performs the first detection of the burr B from the image acquired by the imaging device 71. Specifically, the first detection unit 83 inputs the obtained image to the first detection model 86 . The first detection model 86 outputs the position of the burr B. When the object W does not include the burr B, the first detection model 86 outputs that the object W does not include the burr B. The first detection is performed as many times as the number of acquired images.
  • step S3 the control device 3 acquires the point cloud data of the object W.
  • FIG. 10 is a schematic diagram showing the state of the robot arm 12 when point cloud data of the object W is acquired.
  • FIG. 11 is a schematic diagram showing an example of point cloud data acquired by the three-dimensional scanner 72. As shown in FIG.
  • the motion command unit 81 controls the robot arm 12 so that the three-dimensional scanner 72 is positioned at a position where the point cloud data of the portion of the object W that includes the burr B detected by the first detection can be obtained. to move.
  • the motion command unit 81 moves the robot arm 12 based on the position of the burr B detected by the first detection.
  • the three-dimensional information acquisition unit 84 causes the three-dimensional scanner 72 to acquire point cloud data of the object W.
  • the three-dimensional scanner 72 acquires point cloud data of a local portion of the object W including at least the burr B instead of the point cloud data of the entire object W.
  • the number of acquisitions of the point cloud data of the object W corresponds to the number of burrs B detected in the first detection. That is, when multiple burrs B are detected in the first detection, multiple point cloud data are obtained. However, when a plurality of burrs B can be included in one piece of point cloud data, acquisition of point cloud data is performed once for those burrs B. FIG.
  • step S4 the control device 3 executes the second detection of the burr B from the point cloud data acquired by the three-dimensional scanner 72.
  • the second detection unit 85 inputs the point cloud data to the second detection model 87 .
  • the second detection model 87 outputs the position of the burr B.
  • the second detection model 87 outputs that the object W does not include the burr B.
  • the detection of the burr B by the second detection model 87 is performed the same number of times as the point cloud data acquisition.
  • Point cloud data of the burr B preliminarily detected by the first detection model 86 is input to the second detection model 87 . That is, the detection of the burr B by the second detection model 87 is re-determination of the burr B detected by the first detection model 86, that is, re-evaluation.
  • the first detection model 86 detects the burr B from a two-dimensional image
  • the second detection model 87 detects the burr B from point cloud data, which is three-dimensional information. Therefore, the second detection model 87 can detect the burr B with higher accuracy than the first detection model 86 can.
  • the point cloud data input to the second detection model 87 is local point cloud data of the object W. FIG. In this respect as well, the second detection model 87 can detect the burr B with high accuracy.
  • step S5 the control device 3 grinds the burr B.
  • FIG. 12 is a schematic diagram showing the state of the robot arm 12 when grinding the burr B.
  • the operation command unit 81 outputs a control command to the grinding device 11a to operate the grinding device 11a. Then, the operation command unit 81 moves the robot arm 12 so that the grinding device 11a grinds the burr B detected by the second detection. The motion command unit 81 moves the robot arm 12 based on the position of the burr B detected by the second detection. Thereby, the grinding device 11a grinds the target object W. FIG. Grinding is performed on all burrs B detected by the second detection.
  • the processing system 100 detects the burr B on the object W and grinds the detected burr B by the grinding device 11a.
  • the burr B included in the object W is preliminarily detected using the first detection model 86 using the image of the object W as an input.
  • the three-dimensional scanner 72 acquires point cloud data of the object W including the burr B detected by the first detection model 86 .
  • the burr B included in the object W is finally detected using the second detection model 87 using the point cloud data of the object W as an input.
  • the detection accuracy of the burr B is improved. At this time, it is not necessary to obtain the point cloud data of the entire object W, and the point cloud data including the burrs B preliminarily detected from the image of the object W may be obtained. Therefore, since local point cloud data of the object W with the burr B enlarged can be obtained, fine point cloud data of the burr B can be obtained. This also improves the detection accuracy of the burr B.
  • the object W when acquiring fine point cloud data for the entire object W, it is necessary to divide the object W into a plurality of pieces and acquire the point cloud data multiple times.
  • the number of times of acquiring point cloud data can be reduced. That is, the man-hours for acquiring the point cloud data can be reduced, and as a result, the man-hours for analyzing the point cloud data (that is, the man-hours for detecting the burrs B using the second detection model 87) can also be reduced. .
  • the burr B can be detected with high accuracy. Processing can be simplified.
  • the resolution of three-dimensional information such as point cloud data is finite, and if the three-dimensional scanner 72 obtains the point cloud data of the object W over a relatively wide range, data corresponding to the burrs B may be lost. .
  • the burr B is approached and enlarged. Point cloud data of the burr B that has been formed can be obtained. As a result, loss of data corresponding to the burr B in the point cloud data can be prevented.
  • the training data of the second detection model 87 is the point cloud data including the burr B. and does not depend on the type of object W. That is, the point cloud data of the burrs B of the object W of different types can also be training data. Therefore, the learned second detection model 87 can be applied to detect the burrs B of various types of objects W without depending on the type of the object W.
  • the detection system 200 uses the imaging device 71 that acquires the image of the target object W and the first detection model 86 that has been learned by machine learning, and the image acquired by the imaging device 71 is input, A first detection unit 83 that detects burrs B (specific points) included in the object W, and a three-dimensional scanner 72 that acquires three-dimensional information of the object W including the burrs B detected by the first detection unit 83. (three-dimensional information acquisition device) and a second detection unit 85 that re-detects the burr B by inputting the three-dimensional information acquired by the three-dimensional scanner 72 using the second detection model 87 that has been learned by machine learning. and
  • the specific point detection method of the specific point detection system acquires an image of the target object W, and uses the first detection model 86 that has been learned by machine learning as an input to detect the image included in the target object W. detection of the burr B (specific point) that is detected by the first detection model 86, acquisition of three-dimensional information of the object W including the burr B detected by the first detection model 86, and learning of the second detection model by machine learning. 87 using the three-dimensional information as input to re-detect burrs B.
  • the specific point detection program causes the computer to acquire an image of the object W in order to detect the burrs B of the object W, and uses the first detection model 86 that has been learned by machine learning to obtain the image.
  • detection of burrs B (specific points) included in the object W acquisition of three-dimensional information of the object W including the burrs B detected by the first detection model 86, and machine learning.
  • the burr B is re-detected with three-dimensional information as an input.
  • the image of the object W acquired by the imaging device 71 is input, and the burr B included in the object W is detected using the first detection model 86 .
  • the three-dimensional scanner 72 acquires three-dimensional information of the object W including the burr B thus detected.
  • the burr B included in the object W is detected. That is, the detection of the burr B based on the image of the object W is preliminary detection.
  • Three-dimensional information of the burr B located by the preliminary detection of the burr B is obtained by the three-dimensional scanner 72 . Therefore, the local three-dimensional information of the burr B, that is, the three-dimensional information of the enlarged burr B can be obtained.
  • the burr B can be detected with high accuracy. That is, the detection of the burr B based on the three-dimensional information of the object W is final or definite detection.
  • the range of the object W from which the three-dimensional information is acquired is limited. The number of man-hours for obtaining information is reduced, and detailed three-dimensional information of the burr B can be obtained. As a result, the processing for detecting the burr B from the three-dimensional information of the object W can be simplified, and the detection accuracy of the burr B can be improved.
  • the range of the target W input to the second detection model 87 as three-dimensional information is narrower than the range of the target W input to the first detection model 86 as an image.
  • the burr B is detected by the first detection model 86 by inputting the image of the object W in a relatively wide range, and the three-dimensional information of the object W in a relatively narrow range is input.
  • the burr B is detected by the 2 detection model 87 . Since the detection of the burr B by the first detection model 86 is a preliminary detection, it is possible to detect the burr B from a wide range of the target W by inputting an image of the target W in a relatively wide range.
  • the detection of the burr B by the second detection model 87 is for re-detecting the burr B detected by the first detection model 86, by inputting the three-dimensional information of the object W in a relatively narrow range, Fine three-dimensional information can be used, and the detection accuracy of the burr B can be improved.
  • the three-dimensional information is point cloud data.
  • the position of the burr B on the object W is preliminarily specified by detecting the burr B by the first detection model 86, and then the point cloud data of the burr B is acquired by the three-dimensional scanner 72. Therefore, the enlarged point cloud data of the burr B can be acquired, and the loss of the point cloud data corresponding to the burr B can be prevented.
  • the machine learning of the second detection model 87 is more explainable than the machine learning of the first detection model 86.
  • the machine learning of the second detection model 87 is highly explainable, so when burr B is erroneously detected, it is easy to verify the reason for the erroneous detection.
  • machine learning with high descriptiveness is easy to perform additional learning, additional learning can be performed using erroneously detected three-dimensional information as training data, and updating of the second detection model 87 is facilitated.
  • the detection system 200 further includes a robot arm 12, the imaging device 71 and the three-dimensional scanner 72 are arranged on the robot arm 12, and the robot arm 12, when acquiring an image of the object W, uses the imaging device 71 is moved to a predetermined imaging position, and the three-dimensional scanner 72 is moved to a position corresponding to the burr B detected by the first detection section 83 when three-dimensional information of the object W is acquired.
  • the movement of the imaging device 71 and the three-dimensional scanner 72 is realized by the robot arm 12. Therefore, the imaging device 71 can be flexibly moved to an imaging position suitable for acquiring an image of the object W, and the three-dimensional scanner 72 can be flexibly moved to a position suitable for acquiring three-dimensional information of the object W.
  • the robot arm 12 can acquire images of the object W multiple times by moving the imaging device 71 to a plurality of imaging positions so that there are no blind spots. Also, the robot arm 12 can move the three-dimensional scanner 72 to the optimum position for acquiring three-dimensional information of the burrs B detected by the first detection model 86 .
  • the detection system 200 is incorporated in the processing system 100, but is not limited to this.
  • the robot 1 is not limited to those capable of bilateral control.
  • the operating device 2 may be omitted.
  • the detection system 200 does not need to process the burr B until it detects the burr B.
  • the specific point of the object is not limited to burr B. Any portion can be a specific point as long as it can be detected using a trained model with input of an image and three-dimensional information.
  • the specific point may be a point to be painted or welded (that is, a point to be painted or welded) of the object. If the painting or welding target point can be distinguished from other parts of the object, by creating the first detection model 86 and the second detection model 87 so that the painting or welding target point can be detected, A target point of painting or welding can be detected by inputting each of the image and the three-dimensional information. In that case, the processing of processing system 100 is painting or welding instead of grinding.
  • the imaging device 71 may not be provided on the robot arm 12.
  • the imaging device 71 may be fixed at a location distant from the robot 1 .
  • the imaging device 71 may be arranged above the robot 1 and the object W. FIG.
  • the device that moves the three-dimensional scanner 72 is not limited to the robot arm 12.
  • the three-dimensional scanner 72 is arranged on any device as long as it can be moved to a position suitable for acquiring three-dimensional information of the specific point detected by the first detection.
  • the 3D information of the object is not limited to point cloud data.
  • the three-dimensional information may be any information that expresses the three-dimensional shape of the object.
  • the three-dimensional information may be depth images.
  • the training data for the first detection model 86 is not limited to images of the object W before and after actual processing by the manually controlled processing system 100 .
  • the training data for the first detection model 86 is not limited to images reflecting the environment of the site where the robot 1 is actually installed, and any image can be used.
  • the first detection model 86 can be a model that has been learned by machine learning using deep learning.
  • Deep learning can be, for example, neural networks, more specifically convolutional neural networks.
  • the second detection model 87 is not limited to a model that has been learned by decision tree machine learning.
  • the second detection model 87 may be any model as long as it is a model that detects specific points from input of three-dimensional information such as point cloud data.
  • the second detection model 87 may be a regression model using logistic regression or support vector machines, or a tree structure model using regression trees, gradient boosting trees, random forests, or the like.
  • the second detection model 87 may be a rule-based model.
  • the models exemplified as these second detection models 87 have relatively high explanatory power.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

特定点検出システム２００は、対象物Ｗの画像を取得する撮像装置７１と、機械学習によって学習済みの第１検出モデル８６を用いて、撮像装置７１によって取得された画像を入力として、対象物Ｗに含まれるバリＢを検出する第１検出部８３と、第１検出部８３によって検出されたバリＢを含む対象物Ｗの三次元情報を取得する三次元スキャナ７２と、機械学習によって学習済みの第２検出モデル８７を用いて、三次元スキャナ７２によって取得された三次元情報を入力として、バリＢを再検出する第２検出部８５とを備えている。

Description

特定点検出システム、特定点検出方法及び特定点検出プログラム
　本開示は、特定点検出システム、特定点検出方法及び特定点検出プログラムに関する。
　従来より、ワークに含まれる特定点を検出する装置が知られている。例えば、特許文献１には、ワークの計測データからボクセルを用いて表現される三次元形状と、ワークの３Ｄ－ＣＡＤモデルとを比較することによって、特定点としてバリを検出する装置が開示されている。
特開２００９－１２８０９７号公報
　ところで、特許文献１のように対象物の三次元情報を計測、即ち、取得して、対象物の特定点を検出する場合には、三次元情報が精細であるほど特定点の検出精度が向上する。精細な三次元情報を取得するためには、拡大された対象物の三次元情報を取得することによって、対象物を表す三次元情報の解像度を向上させることが考えられる。しかしながら、拡大された対象物の三次元情報を取得すると、１回の三次元情報の取得では対象物の部分的な三次元情報しか取得できない。そのため、三次元情報を取得する工数が増加すると共に、三次元情報から特定点を検出する工数も増加する。
　本開示は、かかる点に鑑みてなされたものであり、その目的とするところは、対象物の三次元情報から特定点を検出する際の処理を簡便にすることにある。
　本開示の特定点検出システムは、対象物の画像を取得する撮像装置と、機械学習によって学習済みの第１検出モデルを用いて、前記撮像装置によって取得された前記画像を入力として、前記対象物に含まれる特定点を検出する第１検出部と、前記第１検出部によって検出された前記特定点を含む、前記対象物の三次元情報を取得する三次元情報取得装置と、機械学習によって学習済みの第２検出モデルを用いて、前記三次元情報取得装置によって取得された前記三次元情報を入力として、前記特定点を再検出する第２検出部とを備える。
　本開示の特定点検出方法は、対象物の画像を取得することと、機械学習によって学習済みの第１検出モデルを用いて、前記画像を入力として、前記対象物に含まれる特定点を検出することと、前記第１検出モデルによって検出された前記特定点を含む、前記対象物の三次元情報を取得することと、機械学習によって学習済みの第２検出モデルを用いて、前記三次元情報を入力として、前記特定点を再検出することとを含む。
　本開示の特定点検出プログラムは、対象物の特定点を検出するためにコンピュータに、対象物の画像を取得することと、機械学習によって学習済みの第１検出モデルを用いて、前記画像を入力として、前記対象物に含まれる特定点を検出することと、前記第１検出モデルによって検出された前記特定点を含む、前記対象物の三次元情報を取得することと、機械学習によって学習済みの第２検出モデルを用いて、前記三次元情報を入力として、前記特定点を再検出することとを実行させる。
　前記特定点検出システムによれば、対象物の三次元情報から特定点を検出する際の処理を簡便にすることができる。
　前記特定点検出方法によれば、対象物の三次元情報から特定点を検出する際の処理を簡便にすることができる。
　前記特定点検出プログラムによれば、対象物の三次元情報から特定点を検出する際の処理を簡便にすることができる。
図１は、加工システムの構成を示す模式図である。 図２は、ロボット制御装置の概略的なハードウェア構成を示す図である。 図３は、操作制御装置の概略的なハードウェア構成を示す図である。 図４は、制御装置の概略的なハードウェア構成を示す図である。 図５は、加工システムの手動制御の制御系統の構成を示すブロック図である。 図６は、加工システムの自動制御の制御系統の構成を示すブロック図である。 図７は、加工システムの自動制御のフローチャートである。 図８は、対象物Ｗの撮像時のロボットアームの状態を示す模式図である。 図９は、撮像装置によって取得された画像の一例を示す模式図である。 図１０は、対象物の点群データ取得時のロボットアームの状態を示す模式図である。 図１１は、三次元スキャナによって取得された点群データの一例を示す模式図である。 図１２は、バリを研削するときのロボットアームの状態を示す模式図である。
　以下、例示的な実施形態を図面に基づいて詳細に説明する。図１は、実施形態に係る加工システム１００の構成を示す模式図である。尚、図１における破線は、無線通信を表している。
　加工システム１００は、対象物Ｗの特定点を検出する特定点検出システム２００（以下、「検出システム２００」ともいう）を備えている。この例では、特定点は、対象物Ｗのバリである。バリには、鋳造バリ、切削バリ、研削バリ、せん断バリ、塑性変形バリ、湯口バリ及び溶接バリ等が含まれる。
　検出システム２００は、対象物Ｗの画像を取得する撮像装置７１と、撮像装置７１によって取得された画像に基づいて対象物Ｗに含まれるバリＢを検出する第１検出部８３（図６参照）と、第１検出部８３によって検出されたバリＢを含む対象物Ｗの三次元情報を取得する三次元スキャナ７２と、三次元スキャナ７２によって取得された三次元情報に基づいてバリＢを再検出する第２検出部８５（図６参照）とを備えている。三次元スキャナ７２は、三次元情報取得装置の一例である。
　検出システム２００は、ロボットアーム１２をさらに備えている。撮像装置７１及び三次元スキャナ７２は、ロボットアーム１２に配置されている。より詳しくは、検出システム２００は、ロボット１と、ロボット１を制御する制御装置３とをさらに備えている。ロボットアーム１２は、ロボット１に含まれている。
　加工システム１００は、ユーザに操作される操作装置２をさらに備えている。ロボット１は、操作装置２の動作に応じて対象物Ｗに作用を加える。制御装置３は、操作装置２も制御する。ロボット１と操作装置２とは、遠隔配置されている。加工システム１００は、対象物Ｗの手動での加工と対象物Ｗの自動での加工とが実施可能である。
　加工システム１００は、操作装置２とロボット１との間で遠隔制御を実現する。遠隔制御においては、操作装置２は、マスタ装置として機能し、ロボット１は、スレーブ装置として機能する。
　尚、本開示において、ロボット１が行う作業は、ティーチング作業並びに教示の確認及び修正作業を含まない。したがって、操作装置２は、ティーチペンダントを含まない。
　ロボット１と操作装置２とは、通信可能に接続されている。具体的には、ロボット１は、制御装置３に通信可能に接続されている。操作装置２は、制御装置３に通信可能に接続されている。すなわち、操作装置２は、制御装置３を介してロボット１と通信を行う。
　この例では、ロボット１は、産業用ロボットである。ロボット１は、対象物Ｗに作用を加える。作用は、具体的には加工であり、より具体的には研削である。作用は、研削に限定されず、切削又は研磨等であってもよい。
　ロボット１は、ロボット１の動作状態を検出するセンサを有している。この例では、センサは、ロボット１は、対象物Ｗから受ける反力（以下、「接触力」という）を検出する接触力センサ１３をさらに有している。
　制御装置３は、接触力センサ１３の検出結果をロボット１を介して受信している。制御装置３は、接触力センサ１３の検出結果に基づいてロボット１及び操作装置２の少なくとも一方の動作制御を実行している。この例では、制御装置３は、ユーザによる操作装置２の操作及び接触力センサ１３の検出結果に応じて、ロボット１の動作を制御すると共にロボット１に作用する反力をユーザに提示するように操作装置２の動作を制御する。
　［ロボット］
　ロボット１は、対象物Ｗに作用を加えるエンドエフェクタ１１と、エンドエフェクタ１１を動作させるロボットアーム１２とを有していてもよい。ロボット１は、ロボットアーム１２によってエンドエフェクタ１１を動作、即ち、移動させて、エンドエフェクタ１１によって対象物Ｗに作用を加える。ロボット１は、ロボットアーム１２を支持するベース１０と、ロボット１の全体を制御するロボット制御装置１４とをさらに有していてもよい。
　ロボット１には、直交３軸のロボット座標系が規定されている。例えば、上下方向にＺ軸が設定され、水平方向に互いに直交するＸ軸及びＹ軸が設定される。
　エンドエフェクタ１１は、研削装置１１ａを有し、対象物Ｗに作用としての研削を加える。例えば、研削装置１１ａは、グラインダ、オービタルサンダ、ランダムオービットサンダ、デルタサンダ又はベルトサンダ等であってもよい。グラインダは、円盤状の研削砥石を回転させるタイプ、円錐状又は円柱状の研削砥石を回転させるタイプ等であってもよい。ここでは、研削装置１１ａは、グラインダである。
　ロボットアーム１２は、研削装置１１ａの位置を変更する。さらに、ロボットアーム１２は、研削装置１１ａの姿勢を変更してもよい。ロボットアーム１２は、垂直多関節型のロボットアームである。ロボットアーム１２は、複数のリンク１２ａと、複数のリンク１２ａを接続する関節１２ｂと、複数の関節１２ｂを回転駆動するサーボモータ１５（図２参照）とを有している。
　尚、ロボットアーム１２は、水平多関節型、パラレルリンク型、直角座標型、又は極座標型のロボットアーム等であってもよい。
　接触力センサ１３は、この例では、ロボットアーム１２とエンドエフェクタ１１との間（具体的には、ロボットアーム１２とエンドエフェクタ１１との連結部）に設けられている。接触力センサ１３は、エンドエフェクタ１１が対象物Ｗから受ける接触力を検出する。接触力センサ１３は、直交する３軸方向の力と該３軸回りのモーメントを検出する。
　尚、力覚センサは、接触力センサ１３に限定されない。例えば、接触力センサ１３は、１軸、２軸又は３軸方向の力のみを検出してもよい。あるいは、力覚センサは、ロボットアーム１２のサーボモータ１５の電流を検出する電流センサ又はサーボモータ１５のトルクを検出するトルクセンサ等であってもよい。
　撮像装置７１は、ロボットアーム１２に取り付けられている。具体的には、撮像装置７１は、ロボットアーム１２のうち、最も先端側のリンク１２ａに取り付けられている。撮像装置７１は、ＲＧＢ画像を撮影する。撮像装置７１の撮影画像は、画像信号としてロボット制御装置１４から制御装置３へ入力される。
　三次元スキャナ７２は、ロボットアーム１２に取り付けられている。具体的には、三次元スキャナ７２は、ロボットアーム１２のうち、最も先端側のリンク１２ａに取り付けられている。三次元スキャナ７２は、三次元情報として対象物Ｗの点群データを取得する。つまり、三次元スキャナ７２は、対象物Ｗの表面の多数の点の三次元座標を点群として出力する。三次元スキャナ７２の点群データは、ロボット制御装置１４から制御装置３へ入力される。
　ロボットアーム１２は、対象物Ｗの画像を取得する際には、撮像装置７１を所定の撮像位置へ移動させ、対象物Ｗの点群データを取得する際には、第１検出部８３によって検出されたバリＢに対応する位置へ三次元スキャナ７２を移動させる。
　図２は、ロボット制御装置１４の概略的なハードウェア構成を示す図である。ロボット制御装置１４は、ロボットアーム１２のサーボモータ１５及び研削装置１１ａを制御する。ロボット制御装置１４は、接触力センサ１３の検出信号を受け付ける。ロボット制御装置１４は、制御装置３と情報、指令及びデータ等の送受信を行う。ロボット制御装置１４は、制御部１６と、記憶部１７と、メモリ１８とを有している。
　制御部１６は、ロボット制御装置１４の全体を制御する。制御部１６は、各種の演算処理を行う。例えば、制御部１６は、ＣＰＵ（Central Processing Unit）等のプロセッサで形成されている。制御部１６は、ＭＣＵ（Micro Controller Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、システムＬＳＩ等で形成されていてもよい。
　記憶部１７は、制御部１６で実行されるプログラム及び各種データを格納している。記憶部１７は、不揮発性メモリ、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等で形成される。
　メモリ１８は、データ等を一時的に格納する。例えば、メモリ１８は、揮発性メモリで形成される。
　［操作装置］
　操作装置２は、図１に示すように、ユーザが操作する操作部２１と、操作部２１にユーザから加えられる操作力を検出する操作力センサ２３とを有している。操作装置２は、ロボット１を手動運転で操作するための入力を受け付け、入力された情報である操作情報を制御装置３へ出力する。具体的には、ユーザは、操作部２１を把持して操作装置２を操作する。その際に操作部２１に加えられる力を操作力センサ２３が検出する。操作力センサ２３によって検出される操作力は、操作情報として制御装置３へ出力される。
　操作装置２は、ベース２０と、ベース２０に設けられ、操作部２１を支持する支持機構２２と、操作装置２の全体を制御する操作制御装置２４とをさらに有していてもよい。操作装置２は、制御装置３からの制御によって、操作力に対する反力をユーザに提示する。具体的には、操作制御装置２４は、制御装置３からの指令を受けて、支持機構２２を制御することによって、反力をユーザに感知させる。
　操作装置２には、直交３軸の操作座標系が規定されている。操作座標系は、ロボット座標系と対応している。つまり、上下方向にＺ軸が設定され、水平方向に互いに直交するＸ軸及びＹ軸が設定される。
　支持機構２２は、複数のリンク２２ａと、複数のリンク２２ａを接続する関節２２ｂと、複数の関節２２ｂを回転駆動するサーボモータ２５（図３参照）とを有している。支持機構２２は、操作部２１が三次元空間内で任意の位置及び姿勢をとることができるように、操作部２１を支持する。操作部２１の位置及び姿勢に対応して、サーボモータ２５が回転する。サーボモータ２５の回転量、即ち、回転角は、一義的に決まる。
　操作力センサ２３は、この例では、操作部２１と支持機構２２との間（具体的には、操作部２１と支持機構２２との連結部）に設けられている。操作力センサ２３は、直交する３軸方向の力と該３軸回りのモーメントを検出する。
　尚、操作力の検出部は、操作力センサ２３に限定されない。例えば、操作力センサ２３は、１軸、２軸又は３軸方向の力のみを検出してもよい。あるいは、検出部は、支持機構２２のサーボモータ２５の電流を検出する電流センサ又はサーボモータ２５のトルクを検出するトルクセンサ等であってもよい。
　図３は、操作制御装置２４の概略的なハードウェア構成を示す図である。操作制御装置２４は、サーボモータ２５を制御することによって支持機構２２を動作させる。操作制御装置２４は、操作力センサ２３の検出信号を受け付ける。操作制御装置２４は、制御装置３と情報、指令及びデータ等の送受信を行う。操作制御装置２４は、制御部２６と、記憶部２７と、メモリ２８とを有している。
　制御部２６は、操作制御装置２４の全体を制御する。制御部２６は、各種の演算処理を行う。例えば、制御部２６は、ＣＰＵ（Central Processing Unit）等のプロセッサで形成されている。制御部２６は、ＭＣＵ（Micro Controller Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、システムＬＳＩ等で形成されていてもよい。
　記憶部２７は、制御部２６で実行されるプログラム及び各種データを格納している。記憶部２７は、不揮発性メモリ、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等で形成される。
　メモリ２８は、データ等を一時的に格納する。例えば、メモリ２８は、揮発性メモリで形成される。
　［制御装置］
　制御装置３は、加工システム１００及び検出システム２００の全体を制御し、ロボット１及び操作装置２の動作制御を行う。具体的には、制御装置３は、ユーザの操作に応じた加工システム１００の手動制御と、加工システム１００の自動制御とを行う。制御装置３は、手動制御においては、ロボット１と操作装置２との間でマスタスレーブ制御、具体的には、バイラテラル制御を行う。制御装置３は、ユーザの操作による操作装置２の動作に応じてロボット１の動作を制御すると共に、接触力センサ１３の検出結果に応じた反力をユーザに提示するように操作装置２の動作を制御する。つまり、エンドエフェクタ１１がユーザの操作に応じて対象物Ｗを加工すると共に、加工時の反力が操作装置２を介してユーザに提示される。また、制御装置３は、自動制御においては、対象物ＷのバリＢを検出する。さらに、制御装置３は、バリＢの検出後にバリＢを自動的に研削する。
　図４は、制御装置３の概略的なハードウェア構成を示す図である。制御装置３は、ロボット制御装置１４及び操作制御装置２４と情報、指令及びデータ等の送受信を行う。制御装置３は、制御部３１と、記憶部３２と、メモリ３３とを有している。尚、図示を省略するが、制御装置３は、ロボット１及び操作装置２の動作制御の設定を行うためにユーザが操作する入力操作部と、設定内容を表示するディスプレイとをさらに有していてもよい。
　制御部３１は、制御装置３の全体を制御する。制御部３１は、各種の演算処理を行う。例えば、制御部３１は、ＣＰＵ（Central Processing Unit）等のプロセッサで形成されている。制御部３１は、ＭＣＵ（Micro Controller Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、システムＬＳＩ等で形成されていてもよい。
　記憶部３２は、制御部３１で実行されるプログラム及び各種データを格納している。例えば、記憶部３２は、加工システム１００及び検出システム２００を制御するプログラムが格納されている。記憶部３２は、不揮発性メモリ、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等で形成される。例えば、記憶部３２に記憶されたプログラムは、対象物ＷのバリＢを検出するためにコンピュータに所定の手順を実行させる特定点検出プログラム３２ａである。
　メモリ３３は、データ等を一時的に格納する。例えば、メモリ３３は、揮発性メモリで形成される。
　＜加工システムの制御＞
　このように構成された加工システム１００においては、手動での加工が実行される際には、制御装置３は、ユーザの操作による操作装置２の動作に応じてロボット１の動作を制御すると共に、接触力センサ１３の検出結果に応じた反力をユーザに提示するように操作装置２の動作を制御する手動制御を実行する。自動での加工が実行される際には、制御装置３は、撮像装置７１及び三次元スキャナ７２による対象物Ｗの画像及び三次元情報に基づいてバリＢを検出し、検出されたバリＢに対してロボット１によって加工を行う自動制御を実行する。
　まず、加工システム１００の手動制御について説明する。図５は、加工システム１００の手動制御の制御系統の構成を示すブロック図である。
　ロボット制御装置１４の制御部１６は、記憶部１７からプログラムをメモリ１８に読み出して展開することによって、各種機能を実現する。具体的には、制御部１６は、入力処理部４１と動作制御部４２として機能する。
　入力処理部４１は、接触力センサ１３及びサーボモータ１５から受け取る情報、データ及び指令等を制御装置３に出力する。具体的には、入力処理部４１は、接触力センサ１３から６軸の力の検出信号（以下、「センサ信号」という）を受け取り、該センサ信号を制御装置３へ出力する。また、入力処理部４１は、サーボモータ１５から回転センサ（例えば、エンコーダ）及び電流センサの検出信号を受け取る。入力処理部４１は、動作制御部４２によるロボットアーム１２のフィードバック制御のために該検出信号を動作制御部４２へ出力する。また、入力処理部４１は、ロボットアーム１２の位置情報として該検出信号を制御装置３へ出力する。
　動作制御部４２は、制御装置３から指令位置ｘｄｓを受け取り、指令位置ｘｄｓに従ってロボットアーム１２を動作させるための制御指令を生成する。動作制御部４２は、サーボモータ１５へ制御指令を出力し、ロボットアーム１２を動作させ、研削装置１１ａを指令位置に対応する位置へ移動させる。このとき、動作制御部４２は、入力処理部４１からのサーボモータ１５の回転センサ及び／又は電流センサの検出信号に基づいて、ロボットアーム１２の動作をフィードバック制御する。また、動作制御部４２は、研削装置１１ａに制御指令を出力し、研削装置１１ａを動作させる。これにより、研削装置１１ａが対象物Ｗを研削する。
　操作制御装置２４の制御部２６は、記憶部２７からプログラムをメモリ２８に読み出して展開することによって、各種機能を実現する。具体的には、制御部２６は、入力処理部５１と動作制御部５２として機能する。
　入力処理部５１は、操作力センサ２３から受け取る情報、データ及び指令等を制御装置３に出力する。具体的には、入力処理部５１は、操作力センサ２３から６軸の力の検出信号を受け取り、該検出信号を制御装置３へ出力する。また、入力処理部５１は、サーボモータ２５から回転センサ（例えば、エンコーダ）及び電流センサの検出信号を受け取る。入力処理部５１は、動作制御部５２による支持機構２２のフィードバック制御のために該検出信号を動作制御部５２へ出力する。
　動作制御部５２は、制御装置３から指令位置ｘｄｍを受け取り、指令位置ｘｄｍに従って支持機構２２を動作させるための制御指令を生成する。動作制御部５２は、サーボモータ２５へ制御指令を出力し、支持機構２２を動作させ、操作部２１を指令位置に対応する位置へ移動させる。このとき、動作制御部５２は、入力処理部５１からのサーボモータ２５の回転センサ及び／又は電流センサの検出信号に基づいて、支持機構２２の動作をフィードバック制御する。これにより、ユーザが操作部２１に与える操作力に対して反力が与えられる。その結果、ユーザは、対象物Ｗから反力を操作部２１から疑似的に感じつつ、操作部２１を操作することができる。
　制御装置３の制御部３１は、記憶部３２からプログラムをメモリ３３に読み出して展開することによって、各種機能を実現する。具体的には、制御部３１は、操作力取得部６１と接触力取得部６２と加算部６３と力／速度換算部６４と第１速度／位置換算部６５と第２速度／位置換算部６６として機能する。
　操作力取得部６１は、入力処理部５１を介して、操作力センサ２３の検出信号を受け取り、検出信号に基づいて操作力ｆｍを取得する。操作力取得部６１は、操作力ｆｍを加算部６３へ入力する。
　接触力取得部６２は、入力処理部４１を介して、接触力センサ１３のセンサ信号を受け取り、センサ信号に基づいて接触力ｆｓを取得する。接触力取得部６２は、接触力ｆｓを加算部６３へ入力する。
　加算部６３は、操作力取得部６１から入力された操作力ｆｍと接触力取得部６２から入力された接触力ｆｓとの和を算出する。ここで、操作力ｆｍと接触力ｆｓとは、反対向きの力なので、操作力ｆｍと接触力ｆｓとは正負の符号が異なる。つまり、操作力ｆｍと接触力ｆｓとが足されることによって、操作力ｆｍと接触力ｆｓとの和である合成力ｆｍ＋ｆｓの絶対値は、操作力ｆｍの絶対値よりも小さくなる。加算部６３は、合成力ｆｍ＋ｆｓを出力する。
　力／速度換算部６４は、入力された合成力ｆｍ＋ｆｓを指令速度ｘｄ’に換算する。力／速度換算部６４は、慣性係数、粘性係数（ダンパ係数）及び剛性係数（バネ係数）を含む運動方程式に基づく運動モデルを用いて指令速度ｘｄ’を算出する。具体的には、力／速度換算部６４は、以下の運動方程式に基づいて指令速度ｘｄ’を算出する。
Figure JPOXMLDOC01-appb-M000001
 　ここで、ｘｄは、指令位置である。ｍｄは、慣性係数である。ｃｄは、粘性係数である。ｋｄは、剛性係数である。ｆｍは、操作力である。ｆｓは、接触力である。尚、「’」は１回微分を表し、「”」は２回微分を表す。
　式（１）は線形微分方程式であり、式（１）をｘｄ’について解くと、式（２）のようになる。
Figure JPOXMLDOC01-appb-M000002
 　ここで、Ａは、ｆｍ，ｆｓ，ｍｄ，ｃｄ，ｋｄ等によって表される項である。
　式（２）は、記憶部３２に格納されている。力／速度換算部６４は、記憶部３２から式（２）を読み出して指令速度ｘｄ’を求め、求められた指令速度ｘｄ’を第１速度／位置換算部６５及び第２速度／位置換算部６６へ出力する。
　第１速度／位置換算部６５は、座標変換された指令速度ｘｄ’をロボット座標系を基準として、ロボット１のための指令位置ｘｄｓに換算する。例えば、操作装置２の移動量に対するロボット１の移動量の比が設定されている場合、第１速度／位置換算部６５は、指令速度ｘｄ’から求めた指令位置ｘｄを移動比に応じて逓倍して指令位置ｘｄｓを求める。第１速度／位置換算部６５は、求めた指令位置ｘｄｓをロボット制御装置１４、具体的には、動作制御部４２へ出力する。動作制御部４２は、前述の如く、指令位置ｘｄｓに基づいてロボットアーム１２を動作させる。
　第２速度／位置換算部６６は、操作座標系を基準として、指令速度ｘｄ’を操作装置２のための指令位置ｘｄｍに換算する。第２速度／位置換算部６６は、求めた指令位置ｘｄｍを操作制御装置２４、具体的には、動作制御部５２へ出力する。動作制御部５２は、前述の如く、指令位置ｘｄｍに基づいて支持機構２２を動作させる。
　次に、加工システム１００の自動制御について説明する。図６は、加工システム１００の自動制御の制御系統の構成を示すブロック図である。
　制御装置３の制御部３１は、記憶部３２からプログラム（例えば、特定点検出プログラム３２ａ）をメモリ３３に読み出して展開することによって、各種機能を実現する。具体的には、制御部３１は、動作指令部８１と、撮像部８２と、第１検出部８３と、三次元情報取得部８４と、第２検出部８５として機能する。
　第１検出部８３は、機械学習によって学習済みの第１検出モデル８６を用いて、撮像装置７１によって取得された画像を入力として、対象物Ｗに含まれるバリＢを検出する（以下、この検出を「第１検出」ともいう）。第２検出部８５は、機械学習によって学習済みの第２検出モデル８７を用いて、三次元スキャナ７２によって取得された点群データを入力として、バリＢを再検出する（以下、この検出を「第２検出」ともいう）。第１検出モデル８６及び第２検出モデル８７は、記憶部３２に保存されている。
　動作指令部８１は、ロボットアーム１２の指令位置を作成し、作成された指令位置に応じたロボットアーム１２の各関節１２ｂの回転角を求める。さらに、動作指令部８１は、求められた各関節１２ｂの回転角に応じた指令値を作成し、作成された指令値をロボット制御装置１４へ出力する。
　ロボット制御装置１４は、動作指令部８１からの指令値に基づいてサーボモータ１５を駆動する。このとき、ロボット制御装置１４は、エンコーダの検出結果に基づいてサーボモータ１５への供給電流をフィードバック制御する。
　撮像部８２は、撮像装置７１を制御して、撮像装置７１に対象物Ｗを撮像させる。
　第１検出部８３は、撮像装置７１によって取得された画像に基づいて対象物ＷのバリＢを検出する。第１検出部８３は、機械学習によって学習済みの第１検出モデル８６を用いてバリＢを検出する。第１検出モデル８６は、対象物Ｗの画像を入力として、対象物ＷのバリＢの位置を出力する。
　三次元情報取得部８４は、三次元スキャナ７２を制御して、三次元スキャナ７２に対象物Ｗの点群データを取得させる。
　第２検出部８５は、三次元スキャナ７２によって取得された点群データに基づいて対象物ＷのバリＢを検出する。第２検出部８５は、機械学習によって学習済みの第２検出モデル８７を用いてバリＢを検出する。第２検出モデル８７は、対象物Ｗの点群データを入力として、対象物ＷのバリＢの位置を出力する。
　第１検出モデル８６及び第２検出モデル８７についてさらに説明する。
　第１検出モデル８６は、深層学習又はニューラルネットワークなどの機械学習によって作成される。例えば、バリＢの研削前後の対象物Ｗの画像が取得されると共に、取得された画像から、バリＢとバリＢ以外の部分という属性でクラス及び領域（即ち、位置）がアノテーションされた訓練データが作成される。作成された訓練データを入力として、ニューラルネットワークなどの深層学習アルゴリズムを用いて第１検出モデル８６が作成される。第１検出モデル８６は、対象物Ｗの画像を入力として、対象物ＷのバリＢの有無及びバリＢの位置を出力する。
　より詳しくは、第１検出モデル８６は、画像からバリの特徴量の抽出を行う抽出ブロックと、抽出ブロックで抽出された特徴量からバリの位置座標を回帰予測する位置予測ブロックと、抽出ブロックで抽出された特徴量からバリのクラスを予測する予測ブロックとを有する機械学習モデルであり得る。抽出ブロックにおける特徴量の抽出には、畳み込みニューラルネットワークが用いられる。尚、全てのブロックを包含する畳み込みニューラルネットワークが用いられてもよい。また、各ブロックは、独立して存在する必要はなく、１つのブロックが複数のブロックの機能を有していてもよい。
　第１検出モデル８６の訓練データは、対象物Ｗの全体又は大部分が含まれる画像等の、対象物Ｗの比較的大きな範囲を含む画像である。対象物Ｗの種類ごとに、様々なバリＢを有する対象物Ｗの画像が訓練データとして採用される。また、第１検出モデル８６の訓練データは、手動制御の加工システム１００によって実際に加工される前後の対象物Ｗの画像であることが好ましい。加工システム１００を用いて実際に対象物Ｗが手動で加工されているので、このときに研削前後の対象物Ｗの画像を取得することによって、訓練データを容易に入手することができる。さらに、実際にロボット１が設置されている現場の環境を反映した画像を取得することができるため、バリＢの検出精度が高い第１検出モデル８６が作成される。
　第２検出モデル８７は、第１検出モデル８６よりも説明性又は可読性が高い機械学習によって作成される。例えば、第２検出モデル８７は、決定木系の機械学習アルゴリズムを利用して作成される。例えば、バリＢのサンプルから取得された点群データから、バリＢとバリＢ以外の部分という属性でクラス及び領域（即ち、位置）がアノテーションされた訓練データが作成される。作成された訓練データを入力として、決定木系の機械学習アルゴリズムを用いて第２検出モデル８７が作成される。第２検出モデル８７は、対象物Ｗの点群データを入力として、対象物ＷのバリＢの有無及びバリＢの位置を出力する。
　より詳しくは、第２検出モデル８７は、点群データの各点又は点群データから生成された各ボクセル領域に局所特徴量を算出する算出ブロックと、算出ブロックによって算出された特徴量からバリのクラスを予測する予測ブロックと、算出ブロックで算出された特徴量及び予測ブロックで予測されたクラス並びに点群データに対する幾何学的な処理からバリの位置座標を算出する位置算出ブロックとを有する機械学習モデルであり得る。予測ブロックに、決定木系の機械学習アルゴリズムが用いられる。また、各ブロックは、独立して存在する必要はなく、１つのブロックが複数のブロックの機能を有していてもよい。
　点群データで表される対象物Ｗの範囲は、バリＢを含んだ局所的な部分であればよく、第１検出モデル８６に入力される画像で表される対象物Ｗの範囲よりも小さくてもよい。また、第２検出モデル８７は、追加学習できる機械学習によって作成されたモデルである。つまり、学習済の第２検出モデル８７は、新たな訓練データにより追加的に機械学習を行うことによって更新される。
　第２検出モデル８７の訓練データは、バリＢが含まれる局所的な画像等の、対象物Ｗの比較的小さな範囲を含む画像である。訓練データは、サンプル全体の点群データである必要はなく、少なくともバリＢを含む局所的な点群データであればよい。そのため、サンプルは、対象物Ｗと同じ種類の部品であってもよく、対象物Ｗと異なる種類の部品であってもよい。
　点群データとして第２検出モデル８７に入力される対象物Ｗの範囲は、画像として第１検出モデル８６に入力される対象物Ｗの範囲よりも狭い。換言すると、第２検出モデル８７に入力される点群データによって表される対象物Ｗは、第１検出モデル８６に入力される画像によって表される対象物Ｗに比べて局所的である。
　このように、第１検出モデル８６は、対象物Ｗの画像に基づいて、バリＢを対象物Ｗの全体から大域的に且つ予備的に検出する。その後、第２検出モデル８７は、第１検出部８３によって検出されたバリＢを、対象物Ｗの点群データに基づいて局所的に調べて、第１検出モデル８６よりも高い精度で再検出する。
　［加工システムの動作］
　次に、このように構成された加工システム１００の動作について説明する。
　〈手動制御〉
　手動制御においては、ユーザが操作装置２を操作することによってロボット１に対象物Ｗに対して実際の作業を実行させる。例えば、ユーザは、操作装置２を操作して、ロボット１によって対象物Ｗに研削加工を行う。ユーザの操作装置２を介した操作として、操作部２１にユーザから加えられる操作力が操作力センサ２３によって検出される。ロボットアーム１２は、操作力に応じて制御される。
　具体的には、ユーザが操作装置２を操作すると、ユーザが操作部２１を介して加えた操作力を操作力センサ２３が検出する。このとき、ロボット１の接触力センサ１３が接触力を検出する。
　操作力センサ２３に検出された操作力は、入力処理部５１によって検出信号として制御装置３へ入力される。制御装置３では、操作力取得部６１が、検出信号に基づく操作力ｆｍを加算部６３へ入力する。
　このとき、接触力センサ１３に検出された接触力は、センサ信号として入力処理部４１に入力される。入力処理部４１に入力されたセンサ信号は、接触力取得部６２へ入力される。接触力取得部６２は、センサ信号に基づく接触力ｆｓを加算部６３へ入力する。
　加算部６３は、合成力ｆｍ＋ｆｓを力／速度換算部６４へ入力する。力／速度換算部６４は、合成力ｆｍ＋ｆｓを用いて式（２）に基づいて指令速度ｘｄ’を求める。
　ロボット１に関しては、第１速度／位置換算部６５が指令速度ｘｄ’から指令位置ｘｄｓを求める。ロボット制御装置１４の動作制御部４２は、指令位置ｘｄｓに従ってロボットアーム１２を動作させ、研削装置１１ａの位置を制御する。これにより、操作力ｆｍに応じた押付力が対象物Ｗに加えられつつ、対象物Ｗが研削装置１１ａにより研削される。
　一方、操作装置２に関しては、第２速度／位置換算部６６が指令速度ｘｄ’から指令位置ｘｄｍを求める。操作制御装置２４の動作制御部５２は、指令位置ｘｄｍに従って支持機構２２を動作させ、操作部２１の位置を制御する。これにより、ユーザは接触力ｆｓに応じた反力を感知する。
　ユーザがこのような操作装置２の操作を行うことによって、ロボット１による対象物Ｗの加工が実行される。
　尚、このようなユーザの手動操作による対象物Ｗの加工の前後において、前述のように対象物Ｗの画像が取得されることが好ましい。取得された画像を訓練データとして、第１検出モデル８６を作成することができる。
　〈自動制御〉
　続いて、加工システム１００の自動制御の動作を説明する。図７は、加工システム１００の自動制御のフローチャートである。
　まず、ステップＳ１において、制御装置３は、対象物Ｗの撮像を実行する。図８は、対象物Ｗの撮像時のロボットアーム１２の状態を示す模式図である。図９は、撮像装置７１によって取得された画像の一例を示す模式図である。
　具体的には、動作指令部８１は、図８に示すように、撮像装置７１が所定の撮像位置に位置するようにロボットアーム１２を移動させる。その後、撮像部８２は、撮像装置７１に対象物Ｗを撮像させる。例えば、撮像装置７１は、図９に示すように、対象物Ｗの全体の画像を取得するように、対象物Ｗを撮像する。
　尚、対象物Ｗの撮像は、１回ではなく、複数回であってもよい。つまり、撮像装置７１は、複数の撮像位置へ移動し、各撮像位置において対象物Ｗを撮像する。
　さらに、制御装置３は、ロボット座標系における対象物Ｗの位置を検出するために、対象物Ｗの点群データの取得を実行してもよい。このとき、三次元情報取得部８４は、三次元スキャナ７２に対象物Ｗの比較的大きな範囲（好ましくは、対象物Ｗの全範囲）の点群データを取得させる。例えば、前述の対象物Ｗの撮像を実行するときのロボットアーム１２の位置において、三次元スキャナ７２は、対象物Ｗの点群データを取得する。尚、対象物Ｗの撮像時のロボットアーム１２の位置（、即ち、三次元スキャナの位置）が対象物Ｗの広範囲の点群データの取得に適さない場合には、動作指令部８１がロボットアーム１２を適切な位置に移動させてから、三次元スキャナ７２が対象物Ｗの適切な範囲の点群データを取得してもよい。
　尚、ロボット座標系における対象物Ｗの位置が既知の場合、又は、ステップＳ１における対象物Ｗの取得画像等を用いて対象物Ｗの位置を検出する場合などには、前述の対象物Ｗの点群データの取得を省略することができる。
　ステップＳ２において、制御装置３は、撮像装置７１による取得画像からバリＢの第１検出を実行する。具体的には、第１検出部８３は、取得画像を第１検出モデル８６に入力する。第１検出モデル８６は、バリＢの位置を出力する。尚、対象物ＷにバリＢが含まれない場合には、第１検出モデル８６は、対象物ＷにバリＢが含まれない旨を出力する。第１検出は、取得画像の個数だけ実行される。
　ステップＳ３において、制御装置３は、対象物Ｗの点群データの取得を実行する。図１０は、対象物Ｗの点群データ取得時のロボットアーム１２の状態を示す模式図である。図１１は、三次元スキャナ７２によって取得された点群データの一例を示す模式図である。
　具体的には、動作指令部８１は、対象物Ｗのうち第１検出によって検出されたバリＢが含まれる部分の点群データが取得できる位置に三次元スキャナ７２が位置するようにロボットアーム１２を移動させる。動作指令部８１は、第１検出によって検出されたバリＢの位置に基づいてロボットアーム１２を移動させる。その後、三次元情報取得部８４は、三次元スキャナ７２に対象物Ｗの点群データを取得させる。例えば、三次元スキャナ７２は、対象物Ｗの全体の点群データではなく、少なくともバリＢを含む対象物Ｗの局所的な部分の点群データを取得する。
　尚、対象物Ｗの点群データの取得の回数は、第１検出において検出されたバリＢの個数に対応している。つまり、第１検出において複数のバリＢが検出された場合には、複数の点群データが取得される。ただし、複数のバリＢが１つの点群データに含まれ得る場合には、それらのバリＢに関して１回の点群データの取得が実行される。
　ステップＳ４において、制御装置３は、三次元スキャナ７２によって取得された点群データからバリＢの第２検出を実行する。具体的には、第２検出部８５は、点群データを第２検出モデル８７に入力する。第２検出モデル８７は、バリＢの位置を出力する。尚、対象物ＷにバリＢが含まれない場合には、第２検出モデル８７は、対象物ＷにバリＢが含まれない旨を出力する。第２検出モデル８７によるバリＢの検出は、点群データの取得回数と同じ回数だけ実行される。
　第２検出モデル８７に入力されるのは、第１検出モデル８６によって予備的に検出されたバリＢの点群データである。つまり、この第２検出モデル８７によるバリＢの検出は、第１検出モデル８６によって検出されたバリＢの再判定、即ち、再評価である。第１検出モデル８６は二次元的な画像からバリＢを検出しているのに対し、第２検出モデル８７は、三次元情報である点群データによってバリＢを検出している。そのため、第２検出モデル８７は、第１検出モデル８６に比べて、より高い精度でバリＢを検出することができる。さらに、第２検出モデル８７に入力される点群データは、対象物Ｗの局所的な点群データである。この点においても、第２検出モデル８７は、バリＢを高精度で検出することができる。
　ステップＳ５において、制御装置３は、バリＢの研削を実行する。図１２は、バリＢを研削するときのロボットアーム１２の状態を示す模式図である。具体的には、動作指令部８１は、研削装置１１ａに制御指令を出力し、研削装置１１ａを動作させる。そして、動作指令部８１は、第２検出によって検出されたバリＢを研削装置１１ａが研削するように、ロボットアーム１２を移動させる。動作指令部８１は、第２検出によって検出されたバリＢの位置に基づいてロボットアーム１２を移動させる。これにより、研削装置１１ａが対象物Ｗを研削する。研削は、第２検出によって検出された全てのバリＢに対して実行される。
　このように、加工システム１００の自動制御によれば、加工システム１００は、対象物ＷのバリＢを検出し、検出されたバリＢを研削装置１１ａによって研削する。このとき、まず対象物Ｗの画像を入力として、第１検出モデル８６を用いて対象物Ｗに含まれるバリＢが予備的に検出される。その後、第１検出モデル８６によって検出されたバリＢを含む、対象物Ｗの点群データが三次元スキャナ７２によって取得される。対象物Ｗの点群データを入力として、第２検出モデル８７を用いて対象物Ｗに含まれるバリＢが最終的に検出される。
　最終的にバリＢが点群データに基づいて検出されるので、バリＢの検出精度が向上する。このとき、対象物Ｗの全体の点群データを取得する必要はなく、対象物Ｗの画像から予備的に検出されたバリＢを含む点群データを取得すればよい。そのため、バリＢが拡大された、対象物Ｗの局所的な点群データを取得することができるので、バリＢの精細な点群データを取得することができる。これによっても、バリＢの検出精度が向上する。
　さらに、対象物Ｗの全体に関して精細な点群データを取得する場合には、対象物Ｗを複数に分割して、点群データを複数回取得する必要がある。しかしながら、第１検出モデル８６を用いてバリＢを予備的に検出することによって、点群データを取得する対象物Ｗの範囲を限定することができる。そのため、点群データを取得する回数を低減することができる。つまり、点群データを取得する工数を低減することができ、結果として、点群データを解析する工数（即ち、第２検出モデル８７を用いてバリＢを検出する工数）も削減することができる。
　加工システム１００の特定点検出によれば、設計データのような三次元データが無くても、バリＢを精度よく検出できると共に、対象物Ｗの点群データの取得からバリＢを検出するまでの処理を簡便にすることができる。
　特に、点群データ等の三次元情報の解像度は有限であり、三次元スキャナ７２によって比較的広い範囲の対象物Ｗの点群データを取得すると、バリＢに対応するデータが欠損する虞がある。それに対し、前述のように、第１検出モデル８６によってバリＢを予備的に検出することによって、三次元スキャナ７２によって対象物Ｗの点群データを取得する際にバリＢに接近して、拡大されたバリＢの点群データを取得することができる。これにより、点群データにおけるバリＢに対応するデータの欠損を防止することができる。
　また、第２検出モデル８７は、バリＢを含む対象物Ｗの局所的な点群データを入力としてバリＢを検出するため、第２検出モデル８７の訓練データは、バリＢを含む点群データであり、対象物Ｗの種類に依存しない。つまり、種類が異なる対象物ＷのバリＢの点群データも訓練データとなり得る。そのため、学習済みの第２検出モデル８７は、対象物Ｗの種類に依存せず、様々な種類の対象物ＷのバリＢの検出に適用することができる。
　以上のように、検出システム２００は、対象物Ｗの画像を取得する撮像装置７１と、機械学習によって学習済みの第１検出モデル８６を用いて、撮像装置７１によって取得された画像を入力として、対象物Ｗに含まれるバリＢ（特定点）を検出する第１検出部８３と、第１検出部８３によって検出されたバリＢを含む、対象物Ｗの三次元情報を取得する三次元スキャナ７２（三次元情報取得装置）と、機械学習によって学習済みの第２検出モデル８７を用いて、三次元スキャナ７２によって取得された三次元情報を入力として、バリＢを再検出する第２検出部８５とを備えている。
　換言すると、特定点検出システムの特定点検出方法は、対象物Ｗの画像を取得することと、機械学習によって学習済みの第１検出モデル８６を用いて、画像を入力として、対象物Ｗに含まれるバリＢ（特定点）を検出することと、第１検出モデル８６によって検出されたバリＢを含む、対象物Ｗの三次元情報を取得することと、機械学習によって学習済みの第２検出モデル８７を用いて、三次元情報を入力として、バリＢを再検出することとを含む。
　また、特定点検出プログラムは、対象物ＷのバリＢを検出するためにコンピュータに、対象物Ｗの画像を取得することと、機械学習によって学習済みの第１検出モデル８６を用いて、画像を入力として、対象物Ｗに含まれるバリＢ（特定点）を検出することと、第１検出モデル８６によって検出されたバリＢを含む、対象物Ｗの三次元情報を取得することと、機械学習によって学習済みの第２検出モデル８７を用いて、三次元情報を入力として、バリＢを再検出することとを実行させる。
　これらの構成によれば、撮像装置７１によって取得された対象物Ｗの画像を入力として、第１検出モデル８６を用いて、対象物Ｗに含まれるバリＢが検出される。これにより検出されたバリＢを含む、対象物Ｗの三次元情報が三次元スキャナ７２によって取得される。取得された三次元情報を入力として、第２検出モデル８７を用いて、対象物Ｗに含まれるバリＢが検出される。つまり、対象物Ｗの画像に基づくバリＢの検出は、予備的な検出である。バリＢの予備的な検出によって位置が特定されたバリＢの三次元情報が三次元スキャナ７２によって取得される。そのため、バリＢの局所的な三次元情報、即ち、拡大されたバリＢの三次元情報を取得することができる。そのような三次元情報を入力として、第２検出モデル８７を用いてバリＢを検出することによって、バリＢを精度よく検出することができる。つまり、対象物Ｗの三次元情報に基づくバリＢの検出は、最終的又は確定的な検出である。このような第１検出部８３によるバリＢの検出及び第２検出部８５によるバリＢの検出を順番に行うことによって、三次元情報を取得する対象物Ｗの範囲が限定されるので、三次元情報を取得する工数が低減されると共に、バリＢの精細な三次元情報を取得することができる。その結果、対象物Ｗの三次元情報からバリＢを検出する際の処理を簡便にすることができると共に、バリＢの検出精度を向上させることができる。
　また、三次元情報として第２検出モデル８７に入力される対象物Ｗの範囲は、画像として第１検出モデル８６に入力される対象物Ｗの範囲よりも狭い。
　この構成によれば、相対的に広い範囲の対象物Ｗの画像を入力として第１検出モデル８６によってバリＢを検出する一方、相対的に狭い範囲の対象物Ｗの三次元情報を入力として第２検出モデル８７によってバリＢを検出する。第１検出モデル８６によるバリＢの検出は予備的な検出なので、相対的に広い範囲の対象物Ｗの画像を入力することによって対象物Ｗの広い範囲からからバリＢを検出ことができる。第２検出モデル８７によるバリＢの検出は、第１検出モデル８６によって検出されたバリＢを再検出するためのものなので、相対的に狭い範囲の対象物Ｗの三次元情報を入力することによって精細な三次元情報を利用することができ、バリＢの検出精度を高めることができる。
　具体的には、三次元情報は、点群データである。
　この構成によれば、第１検出モデル８６によるバリＢの検出によって対象物ＷにおけるバリＢの位置を予備的に特定した上で、バリＢの点群データが三次元スキャナ７２によって取得される。そのため、拡大されたバリＢの点群データを取得することができ、バリＢに対応する点群データの欠損を防止することができる。
　また、第２検出モデル８７の機械学習は、第１検出モデル８６の機械学習に比べて説明性が高い。
　この構成によれば、第２検出モデル８７の機械学習は説明性が高いため、バリＢの誤検出が発生した場合に、誤検出の理由を検証しやすい。また、説明性が高い機械学習は追加学習がしやすいため、誤検出した三次元情報を訓練データとして追加学習を行うことができ、第２検出モデル８７の更新が容易となる。
　また、検出システム２００は、ロボットアーム１２をさらに備え、撮像装置７１及び三次元スキャナ７２は、ロボットアーム１２に配置され、ロボットアーム１２は、対象物Ｗの画像を取得する際には、撮像装置７１を所定の撮像位置へ移動させ、対象物Ｗの三次元情報を取得する際には、第１検出部８３によって検出されたバリＢに対応する位置へ三次元スキャナ７２を移動させる。
　この構成によれば、撮像装置７１及び三次元スキャナ７２の移動がロボットアーム１２によって実現される。そのため、撮像装置７１を対象物Ｗの画像の取得に適した撮像位置へ柔軟に移動させることができると共に、三次元スキャナ７２を対象物Ｗの三次元情報の取得に適した位置へ柔軟に移動させることができる。例えば、死角によって映らない部分が無いように、ロボットアーム１２は、撮像装置７１を複数の撮像位置へ移動させて、対象物Ｗの画像を複数回取得することができる。また、ロボットアーム１２は、第１検出モデル８６によって検出されたバリＢの三次元情報を取得するのに最適な位置へ三次元スキャナ７２を移動させることができる。
　《その他の実施形態》
　以上のように、本出願において開示する技術の例示として、前記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、前記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　例えば、検出システム２００は、加工システム１００に組み込まれているが、これに限定されるものではない。ロボット１は、バイラテラル制御が実現可能なものに限定されない。例えば、操作装置２が省略されてもよい。
　検出システム２００は、バリＢを検出するまでで、バリＢの加工は必須ではない。
　対象物の特定点は、バリＢに限定されない。学習済のモデルを用いて、画像及び三次元情報のそれぞれを入力として検出可能な部分であれば、任意の部分が特定点となり得る。例えば、特定点は、対象物のうち塗装又は溶接の対象点（すなわち、塗装又は溶接が行われる点）であってもよい。塗装又は溶接の対象点が対象物における他の部分と識別可能な場合には、塗装又は溶接の対象点を検出可能に第１検出モデル８６及び第２検出モデル８７を作成しておくことによって、塗装又は溶接の対象点を画像及び三次元情報のそれぞれを入力として検出することができる。その場合、加工システム１００の加工は、研削ではなく、塗装又は溶接である。
　撮像装置７１は、ロボットアーム１２に設けられていなくてもよい。例えば、撮像装置７１は、ロボット１から離れた場所に固定されていてもよい。例えば、撮像装置７１は、ロボット１及び対象物Ｗの上方に配置されていてもよい。
　三次元スキャナ７２を移動させる装置は、ロボットアーム１２に限定されない。三次元スキャナ７２は、第１検出によって検出された特定点の三次元情報を取得するのに適した位置へ移動可能な装置であれば、任意の装置に配置される。
　対象物の三次元情報は、点群データに限定されない。三次元情報は、対象物の三次元形状を表現する情報であればよい。例えば、三次元情報は、デプス画像であってもよい。
　第１検出モデル８６の訓練データは、手動制御の加工システム１００によって実際に加工される前後の対象物Ｗの画像に限定されない。第１検出モデル８６の訓練データは、実際にロボット１が設置されている現場の環境を反映した画像に限定されず、任意の画像を採用し得る。
　第１検出モデル８６は、深層学習を用いた機械学習によって学習済みのモデルであり得る。深層学習は、例えば、ニューラルネットワーク、より具体的には、畳み込みニューラルネットワークであり得る。
　第２検出モデル８７は、決定木系の機械学習によって学習済のモデルに限定されない。第２検出モデル８７は、点群データ等の三次元情報を入力として、特定点を検出するモデルであれば、任意のモデルであり得る。例えば、第２検出モデル８７は、ロジスティック回帰若しくはサポートベクターマシン等を用いた回帰モデル、又は、回帰木、勾配ブースティング木、、若しくはランダムフォレスト等を用いた木構造モデルであってもよい。あるいは、第２検出モデル８７は、ルールベース系のモデルであってもよい。これらの第２検出モデル８７として例示されたモデルは、比較的高い説明性を有する。

 

Claims (7)

  1. 　対象物の画像を取得する撮像装置と、
    　機械学習によって学習済みの第１検出モデルを用いて、前記撮像装置によって取得された前記画像を入力として、前記対象物に含まれる特定点を検出する第１検出部と、
    　前記第１検出部によって検出された前記特定点を含む、前記対象物の三次元情報を取得する三次元情報取得装置と、
    　機械学習によって学習済みの第２検出モデルを用いて、前記三次元情報取得装置によって取得された前記三次元情報を入力として、前記特定点を再検出する第２検出部とを備える特定点検出システム。
  2. 　請求項１に記載の特定点検出システムにおいて、
    　前記三次元情報として前記第２検出モデルに入力される前記対象物の範囲は、前記画像として前記第１検出モデルに入力される前記対象物の範囲よりも狭い特定点検出システム。
  3. 　請求項1又は２に記載の特定点検出システムにおいて、
    　前記三次元情報は、点群データである特定点検出システム。
  4. 　請求項１乃至３の何れか１つに記載の特定点検出システムにおいて、
    　前記第２検出モデルの機械学習は、前記第１検出モデルの機械学習に比べて説明性が高い特定点検出システム。
  5. 　請求項１乃至４の何れか１つに記載の特定点検出システムにおいて、
    　ロボットアームをさらに備え、
    　前記撮像装置及び前記三次元情報取得装置は、前記ロボットアームに配置され、
    　前記ロボットアームは、
    　　前記対象物の前記画像を取得する際には、前記撮像装置を所定の撮像位置へ移動させ、
    　　前記対象物の前記三次元情報を取得する際には、前記第１検出部によって検出された前記特定点に対応する位置へ前記三次元情報取得装置を移動させる特定点検出システム。
  6. 　対象物の画像を取得することと、
    　機械学習によって学習済みの第１検出モデルを用いて、前記画像を入力として、前記対象物に含まれる特定点を検出することと、
    　前記第１検出モデルによって検出された前記特定点を含む、前記対象物の三次元情報を取得することと、
    　機械学習によって学習済みの第２検出モデルを用いて、前記三次元情報を入力として、前記特定点を再検出することとを含む特定点検出方法。
  7. 　対象物の特定点を検出するためにコンピュータに、
    　対象物の画像を取得することと、
    　機械学習によって学習済みの第１検出モデルを用いて、前記画像を入力として、前記対象物に含まれる特定点を検出することと、
    　前記第１検出モデルによって検出された前記特定点を含む、前記対象物の三次元情報を取得することと、
    　機械学習によって学習済みの第２検出モデルを用いて、前記三次元情報を入力として、前記特定点を再検出することとを実行させる特定点検出プログラム。

     
PCT/JP2022/016214 2021-03-30 2022-03-30 特定点検出システム、特定点検出方法及び特定点検出プログラム WO2022210948A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280023818.8A CN117043546A (zh) 2021-03-30 2022-03-30 特定点检测系统、特定点检测方法以及特定点检测程序
US18/552,675 US20240169550A1 (en) 2021-03-30 2022-03-30 Specific point detection system, specific point detection method, and specific point detection program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-058534 2021-03-30
JP2021058534A JP2022155168A (ja) 2021-03-30 2021-03-30 特定点検出システム、特定点検出方法及び特定点検出プログラム

Publications (1)

Publication Number Publication Date
WO2022210948A1 true WO2022210948A1 (ja) 2022-10-06

Family

ID=83459562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/016214 WO2022210948A1 (ja) 2021-03-30 2022-03-30 特定点検出システム、特定点検出方法及び特定点検出プログラム

Country Status (4)

Country Link
US (1) US20240169550A1 (ja)
JP (1) JP2022155168A (ja)
CN (1) CN117043546A (ja)
WO (1) WO2022210948A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06273137A (ja) * 1993-03-18 1994-09-30 Tokico Ltd バリ取りロボット
JP2018120300A (ja) * 2017-01-23 2018-08-02 株式会社リコー 情報処理装置、情報処理方法およびプログラム
US20190080446A1 (en) * 2017-09-11 2019-03-14 All Axis Robotics, LLC System and method for automated defect detection
WO2020129618A1 (ja) * 2018-12-19 2020-06-25 パナソニックＩｐマネジメント株式会社 溶接システム及びそれを用いたワークの溶接方法
JP2021021669A (ja) * 2019-07-30 2021-02-18 三菱パワー株式会社 点検支援方法、点検支援システム、及び点検支援プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06273137A (ja) * 1993-03-18 1994-09-30 Tokico Ltd バリ取りロボット
JP2018120300A (ja) * 2017-01-23 2018-08-02 株式会社リコー 情報処理装置、情報処理方法およびプログラム
US20190080446A1 (en) * 2017-09-11 2019-03-14 All Axis Robotics, LLC System and method for automated defect detection
WO2020129618A1 (ja) * 2018-12-19 2020-06-25 パナソニックＩｐマネジメント株式会社 溶接システム及びそれを用いたワークの溶接方法
JP2021021669A (ja) * 2019-07-30 2021-02-18 三菱パワー株式会社 点検支援方法、点検支援システム、及び点検支援プログラム

Also Published As

Publication number Publication date
CN117043546A (zh) 2023-11-10
JP2022155168A (ja) 2022-10-13
US20240169550A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
González et al. Advanced teleoperation and control system for industrial robots based on augmented virtuality and haptic feedback
Neto et al. High‐level robot programming based on CAD: dealing with unpredictable environments
Siradjuddin et al. A position based visual tracking system for a 7 DOF robot manipulator using a Kinect camera
Ponte et al. Visual sensing for developing autonomous behavior in snake robots
JP2018167334A (ja) 教示装置および教示方法
JP7239399B2 (ja) 調整支援装置
Lai et al. Integration of visual information and robot offline programming system for improving automatic deburring process
WO2023037634A1 (ja) 指令値生成装置、方法、及びプログラム
Lippiello et al. An open architecture for sensory feedback control of a dual‐arm industrial robotic cell
Nemec et al. Learning by demonstration and adaptation of finishing operations using virtual mechanism approach
WO2022210948A1 (ja) 特定点検出システム、特定点検出方法及び特定点検出プログラム
Teke et al. Real-time and robust collaborative robot motion control with Microsoft Kinect® v2
CN116652939A (zh) 一种并联机器人无标定视觉伺服柔顺控制方法
Shauri et al. Sensor integration and fusion for autonomous screwing task by dual-manipulator hand robot
Zhao et al. Visual servoing using non-vector space control theory
Yip et al. Development of an omnidirectional mobile robot using a RGB-D sensor for indoor navigation
WO2023013559A1 (ja) ロボットシステム、ロボットの加工方法及び加工プログラム
WO2022220217A1 (ja) ロボットシステム、その制御方法及び制御プログラム
JP2021186929A (ja) 多軸ロボットの制御方法
WO2023013560A1 (ja) ロボットシステム、ロボットの加工方法及び加工プログラム
WO2021210514A1 (ja) ロボットの制御装置及び制御方法、ロボットシステム、ロボットの動作プログラムを生成する装置及び方法
Lippiello et al. An experimental setup for visual servoing applications on an industrial robotic cell
US20220401169A1 (en) Master-slave system and controlling method
Kiswanto et al. Development of Robotic Arm Manipulator Control System for Micromilling Tool Wear Monitoring Based on Computer Vision
WO2022265644A1 (en) System and method to generate augmented training data for neural network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22781158

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280023818.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18552675

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22781158

Country of ref document: EP

Kind code of ref document: A1