WO2020175308A1 - 切屑検出装置、工作機械、切屑検出方法、学習用画像合成装置 - Google Patents

切屑検出装置、工作機械、切屑検出方法、学習用画像合成装置 Download PDF

Info

Publication number
WO2020175308A1
WO2020175308A1 PCT/JP2020/006748 JP2020006748W WO2020175308A1 WO 2020175308 A1 WO2020175308 A1 WO 2020175308A1 JP 2020006748 W JP2020006748 W JP 2020006748W WO 2020175308 A1 WO2020175308 A1 WO 2020175308A1
Authority
WO
WIPO (PCT)
Prior art keywords
mesh
image
chip
chips
cleaning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/006748
Other languages
English (en)
French (fr)
Inventor
絢一郎 奥野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DMG Mori Co Ltd
Original Assignee
DMG Mori Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DMG Mori Co Ltd filed Critical DMG Mori Co Ltd
Priority to US17/433,873 priority Critical patent/US12340494B2/en
Priority to JP2020542668A priority patent/JP7634140B2/ja
Publication of WO2020175308A1 publication Critical patent/WO2020175308A1/ja
Anticipated expiration legal-status Critical
Priority to JP2022083536A priority patent/JP7503593B2/ja
Priority to JP2024093822A priority patent/JP2024103815A/ja
Priority to US19/218,640 priority patent/US20250285257A1/en
Ceased legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2409—Arrangements for indirect observation of the working space using image recording means, e.g. a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q11/00—Accessories fitted to machine tools for keeping tools or parts of the machine in good working condition or for cooling work; Safety devices specially combined with or arranged in, or specially adapted for use in connection with, machine tools
    • B23Q11/0042—Devices for removing chips
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Definitions

  • Chip detection device machine tool, chip detection method, learning image synthesizer
  • the present invention relates to a chip detection device for detecting chips generated when a work is machined by a machine tool, a machine tool, a chip detection method, a learning image synthesizing device, and the like.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 7-1 08 4 3 5
  • the chips generated during processing have innumerable variations in shape, color, size, and assembly status, etc., depending on the processing conditions, tools used, work materials, and so on.
  • the environment inside the machine which is the background of the image, has conditions such as structure and position, types of workpieces and jigs, presence/absence of coolant (cleaning liquid), and illuminance, and there are various patterns of combinations.
  • the present invention provides a chip detecting device, a machine tool, a chip detecting method, a learning image synthesizing device, and the like.
  • a chip detection device is produced when a workpiece is machined by a machine tool in order to solve the problem of simply and accurately detecting the chips produced when the workpiece is machined by the machine tool.
  • a chip detection device for detecting chips comprising a mesh division unit for dividing at least a part of an area image of the target area for detecting chips into a plurality of mesh images with a predetermined mesh size, and the chip.
  • a chip information determination unit that determines the chip information for each of the mesh images by using a determination parameter set in advance for determining the chip information regarding
  • chips generated when a workpiece is machined by a machine tool can be easily detected.
  • Fig. 1 is a block diagram showing an embodiment of a chip detection device and a machine tool including the same.
  • FIG. 2 A diagram showing a state in which an area image is divided into a plurality of mesh images in the present embodiment.
  • FIG. 3 A diagram showing how an area image is constructed by combining a plurality of partial images in the present embodiment.
  • FIG. 4 is a diagram showing a division process by the mesh division unit of the present embodiment.
  • FIG. 5 A diagram for explaining a “class” which is chip information of the present embodiment.
  • FIG. 6 is a diagram showing a determination process by the chip determination model of the present embodiment.
  • FIG. 6 is a diagram showing an example of a feature amount of a mesh image.
  • FIG. 8 is an example of a display screen showing (3) a determination result before correction and (a) a determination result after correction in the teaching mode of the present embodiment.
  • FIG. 9 is a flow _ Chiya _ Bok showing chips detecting method performed by the chip detecting device of the present embodiment.
  • FIG. 10 A flow chart showing a chip detection process in the present embodiment.
  • FIG. 11 A flow chart showing the teaching process in the present embodiment.
  • FIG. 12 is a block diagram showing the configuration of a learning image synthesizing device in the present embodiment.
  • the chip detecting device 1 of the present embodiment detects chips generated when a work is machined by the machine tool 10. Specifically, as shown in FIG. 1, the chip detecting device 1 controls the photographing means 11 provided on the machine tool 10 to acquire an image of a target area for detecting chips. Then, as shown in FIG. 2, the image is divided into a plurality of mesh images, and chip information regarding chips is determined for each of the mesh images.
  • FIG. 1 the chip detecting device 1 controls the photographing means 11 provided on the machine tool 10 to acquire an image of a target area for detecting chips.
  • the image is divided into a plurality of mesh images, and chip information regarding chips is determined for each of the mesh images.
  • chip information is a concept that includes information that can be detected regarding chips, such as the presence or absence of chips, the amount of chips, the shape of chips, the type of chips, or a combination thereof. Therefore, in the present embodiment, as will be described later, the “class” indicating the ease of cleaning the chips is determined as the chip information.
  • the machine tool 10 is a machine for performing machining such as cutting and grinding on a workpiece such as metal, wood, stone, and resin.
  • the machine tool 10 is numerically controlled according to a drive signal output from a numerical control device as the chip detection device 1.
  • the chip detection device 1 and the machine tool ⁇ 0 2020/175308 4 ⁇ (: 171? 2020 /006748
  • the numerical control device of the machine is composed of the same device, but is not limited to this.
  • a computer other than the machine tool may be used as the chip detection device 1.
  • the machine tool 10 illuminates the inside of the machine with a photographing means 11 for photographing the inside of the machine, a table 12 on which a work is placed, a cleaning means 13 for cleaning chips. Lighting means 14 and.
  • the photographing means 11 is for photographing the target area for detecting chips.
  • the photographing means 11 is an automatic tool changer (8 1 ⁇ ⁇ 11131
  • the image capturing means 11 does not need to be installed in the machine, and is removable from the spindle of the machine tool in consideration of the merit that the exposure time to the coolant mist is relatively short.
  • I'm using a camera Since the camera can be attached to the spindle of the machine tool, if the spindle of the machine tool is moved, the camera can be moved to follow it. Therefore, the shooting range and shooting direction of the camera can be easily changed.
  • the 8 camera is described as an example because the shooting range and shooting direction of the camera can be easily changed, but the present invention is not limited to this configuration.
  • One or more fixed cameras may be installed on board. With this configuration, the shooting time is relatively short, and the advantage is that you can shoot even during processing.
  • the angle of view of the photographing means 11 is smaller than the target area, as shown in Fig. 3, if the camera is a straight camera, a plurality of partial images are photographed while moving the spindle, and a fixed camera may be used. For example, multiple fixed images are taken with multiple fixed cameras. Then, the partial area images covering the entire target area may be configured by combining the partial images.
  • the cleaning means 13 cleans and removes the chips generated by machining the workpiece. ⁇ 0 2020/175 308 5 ⁇ (: 171? 2020 /006748
  • the cleaning means 13 is composed of a programmable nozzle capable of controlling the injection direction of the cleaning liquid. Then, according to a cleaning control signal from a cleaning processing unit 48, which will be described later, a cleaning liquid such as a coolant liquid is sprayed onto a desired area on the work or the table 12.
  • the programmable nozzle is used as the cleaning unit 13, but the present invention is not limited to this configuration.
  • a plurality of cleaning nozzles having a fixed spraying direction may be installed so as to cover the entire target area, and the cleaning liquid may be sprayed from the cleaning nozzle near the area where cleaning is required.
  • the illumination means 14 illuminates the inside of the machine so that chips can be easily detected.
  • the illuminating means 14 is fixed to the inside of the machine and is constituted by a programmable light capable of controlling on/off switching, brightness, irradiation direction and the like.
  • the configuration is not limited to this, and the light attached to the 8-chome camera may be used.
  • the illumination means 14 may be rotated or a polarization filter may be attached to the camera lens of the imaging means 11.
  • the chip detecting device 1 is composed of a computer such as a numerical control device for controlling the machine tool 10. As shown in Fig. 1, mainly, the user inputs instructions and displays judgment results.
  • each constituent means will be described in detail.
  • the chip detection device may be a device different from the numerical control device for controlling the machine tool 10.
  • the chip detector is designed to use at least a part of the area image of the target area where chips are to be detected. ⁇ 0 2020/175308 6 ⁇ (: 171? 2020 /006748
  • the chip information judgment for judging the chip information for each of the mesh images is performed.
  • the display input means 2 is composed of a touch panel and has both an input function of receiving an instruction input from a user and a display function of displaying a chip determination result or the like.
  • the touch panel is used as the display input means 2, but the present invention is not limited to this configuration, and a display means having only a display function and an input means having only an input function may be used. You may have each separately.
  • the storage means 3 is a hard disk
  • a program memory 3 1 a judgment parameter memory 3 2 and a judgment result memory. It has a unit 33, a cleaning condition storage unit 34, and a cleaning frequency storage unit 35.
  • a chip detection program 13 for controlling the chip detection device 1 of the present embodiment is installed in the program storage unit 31. Then, the arithmetic processing means 4 executes the chip detection program 13 to cause the chip detection device 1 as the computer to function as each component described later.
  • the usage form of the chip detection program 13 is not limited to the above configuration.
  • the chip detection program 13 may be stored in a non-temporary recording medium that can be read by a computer and directly read from the recording medium and executed.
  • it may be used from an external server or the like in the cloud computing method or the 8 3 (8 ⁇ les 1081; ⁇ ⁇ ⁇ $ 61 ⁇ _ 106 ⁇ "0 _1 ⁇ 16") method.
  • the determination parameter storage unit 32 stores a determination parameter preset for determining chip information regarding chips. This embodiment ⁇ 0 2020/175308 7 ⁇ (: 171? 2020 /006748
  • a chip determination model that applies learning parameters to a learning/reasoning model, which is a machine learning algorithm, is used as an algorithm for determining chip information. For this reason, learning parameters obtained by pre-learning are stored as the determination parameters by using teacher data that is a set of mesh images and chip information.
  • the judgment parameter storage unit 32 stores learning parameters as judgment parameters for each of a plurality of different mesh sizes.
  • the determination parameter storage unit 32 is additionally set with hyperparameters that left and right characteristics such as learning efficiency of the chip determination model.
  • the determination result storage unit 33 stores the chip information determined for each mesh image as a determination result.
  • the chip information determination unit 46 which will be described later, determines the probability of being the class as chip information for each of the mesh images for each class indicating the ease of cleaning the chips.
  • the determination result is not limited to the probability for each class, and the class with the highest probability may be simply stored as the determination result. Further, as the number of classes increases, the determination becomes more difficult, and the performance becomes difficult to improve. Therefore, it is preferable to set the number to about several. Examples of the simplest classes are two classes, "Class 0" with no chips and "Class 1" with chips.
  • the cleaning condition storage unit 34 is a cleaning condition for determining whether or not chips need cleaning. ⁇ 0 2020/175308 8 ⁇ (: 171? 2020 /006748
  • a condition is set that combines the probability for each class and the position of the mesh area corresponding to each mesh image. For example, when the above-mentioned three classes are set, an efficient and high-performance judgment algorithm is realized by evaluating the following cleaning conditions (1) to (4) in descending order.
  • the cleaning condition is set by combining the chip information and the position of the mesh area.
  • the cleaning condition is not limited to this, and may be set using the chip information. Good. For example, if the above-mentioned two most simplified classes are set, regardless of the position of the mesh area, Class 0 (without chips) will not be washed and Class 1 (with chips) will not be washed. You may set the washing condition of washing.
  • the cleaning number storage unit 35 stores the number of times the chips have been continuously cleaned.
  • the cleaning frequency storage unit 35 stores the number of continuous cleanings, which is the number of continuous cleanings in the target area, and the number of local continuous cleanings, which is the number of continuous cleanings of the same mesh area. Is remembered. Then, by using these cleaning times, as will be described later, the automatic cleaning operation is prevented from never ending.
  • the arithmetic processing means 4 As shown in FIG. 1, by executing the chip detection program 13 installed in the storage means 3, the target area setting section 41, the drive control section 42, Image data acquisition unit 43, mesh size selection unit 44, mesh division unit 45, chip information determination unit 46, cleaning necessity determination unit 47, cleaning processing unit 48, teaching process It functions as part 49 and additional learning part 50.
  • the chip detection program 13 installed in the storage means 3
  • the target area setting section 41 the drive control section 42
  • Image data acquisition unit 43
  • mesh size selection unit 44 mesh division unit 45
  • chip information determination unit 46 chip information determination unit 46
  • cleaning necessity determination unit 47 cleaning processing unit 48
  • teaching process It functions as part 49 and additional learning part 50.
  • the target area setting unit 41 sets a target area in which chips are to be detected.
  • the target area setting unit 41 is responsive to the user's instruction input using the display input means 2, the entire inside of the machine, the table 12, the protector, the work periphery, a part of these, or these. Any target area is set, such as a combination of.
  • the target area setting unit 41 sets the target area manually by the user, but the present invention is not limited to this configuration and may be set automatically. Good. Specifically, the target area setting unit 41 may acquire the shape of the work in each processing step by referring to the processing program and automatically set the target area so that the entire work is included. The target area may be set automatically only on the route.
  • the drive control unit 42 drives and controls the motor of each axis provided in the machine tool 10.
  • the drive control unit 42 is configured to generate a drive control signal for causing the machine tool 10 to execute cutting processing or the like based on the processing program, and output the drive control signal to the motor of each axis.
  • the drive control unit 42 uses an automatic tool changer (e.g., 111; 0111131; ⁇ (; 1 " x 1 ⁇ 18 hits 6": 8 x x ) Is controlled so that the tool can be replaced with an eight camera.
  • the image data acquisition unit 43 acquires an image of the entire target area.
  • the image data acquisition unit 43 outputs a shooting control signal to the shooting unit 11 at a preset shooting timing and acquires an image of the entire area. Further, when the image capturing means 11 acquires a partial image smaller than the target area, a plurality of partial images are captured so as to cover the target area, and they are combined to acquire an image of the entire area.
  • the photographing timing may be manually set by the user or may be automatically set in accordance with predetermined setting conditions.
  • the setting conditions are, for example, between processes, when changing tools, at certain time intervals, and when a predetermined machining amount is reached.
  • the machining amount can be estimated from the processing program. ⁇ 0 2020/175 308 10 ⁇ (: 17 2020 /006748
  • the mesh size selection unit 44 selects the mesh size when dividing the image of the entire area into a plurality of mesh images.
  • the mesh size selection unit 44 is configured to select one or a plurality of mesh sizes as candidates from preset mesh sizes based on a predetermined criterion.
  • the present invention simplifies and increases the accuracy of chip detection by dividing the image of the entire area into mesh images. Therefore, the mesh size is an important factor that affects the accuracy of chip detection, and it is preferable to consider the following characteristics of chips when selecting the mesh size.
  • the mesh size selection unit 44 has a mesh size such that the shape of the chips can be recognized based on the sizes of the chips, the work, and the jig, and It is preferable to select a mesh size such that the edge shape of the background work or jig is simplified. By selecting such a mesh size, the edge shape of the work or jig can be easily distinguished from the chips, and false detection can be reduced.
  • the mesh size selection unit 44 is not limited to the above configuration, and the user may manually select from a plurality of preset mesh sizes.
  • the mesh support ⁇ 0 2020/175308 1 1 ⁇ (: 171? 2020 /006748
  • the mesh division unit 45 divides the area image into a plurality of mesh images.
  • the mesh division unit 45 generates a plurality of mesh images by dividing the area image acquired by the image data acquisition unit 43 with the mesh size selected by the mesh size selection unit 44. It is designed to be completed.
  • a grid-like or lattice-like mesh is adopted, but the shape is not limited to this, and a rhombus, a triangle, a honeycomb shape or the like may be used. Good.
  • the entire area image is divided into mesh images, but the present invention is not limited to this, and areas where chip detection is unnecessary are not divided, and at least a part of the area image is divided. You may make it divide only.
  • the captured image of the area and the mesh information in a grid pattern may be stored separately in association with each other.
  • the mesh division unit 45 is not limited to generating individual mesh images, but superimposes the captured image and the lattice information and processes the regions of the captured image divided by the lattice as mesh regions. Good.
  • the mesh area in this case corresponds to the mesh image described above.
  • the mesh division unit 45 when the image data acquisition unit 43 acquires the area image by combining a plurality of partial images, the mesh division unit 45 performs the division process as shown in FIG. , Is designed to perform one of the following processes
  • the chip information determining unit 46 determines chip information for each mesh image.
  • the chip information determining unit 46 determines the chip information for each of the mesh images divided by the mesh dividing unit 45 using the determination parameters read from the determination parameter storage unit 32. Then, the judgment result storage section 33 is adapted to save the data.
  • the chip information determination unit 46 is configured to determine, as the chip information, the “class” indicating the ease of cleaning the chips. This class is determined by comprehensively considering the amount of chips, density, size, length and shape. Specifically, as shown in Figure 5, there are few chips, scattered, small, short, difficult to get caught, etc. It is classified as a higher class when it is hard to wash, such as large, long, easy to get caught, etc.
  • the chip information determining unit 46 is configured by a chip determining model in which learning parameters are applied to a learning/inference model that is a machine learning algorithm.
  • a learning/inference model that is a machine learning algorithm.
  • CNN convolutional neural network
  • the chip information determination unit 46 When chip information is determined using the chip determination model as described above, the chip information determination unit 46 first performs noise removal processing, image size conversion processing, etc. on each mesh image. Pre-processing to improve the judgment accuracy is performed. Next, as shown in Fig. 6, the chip information judging unit 46 inputs the mesh image to the learned chip judgment model to which the learning parameters prepared in advance in the judgment parameter storage unit 32 are applied. The probability of each class is output as chip information for each mesh image.
  • the convolutional neural network is adopted as the machine learning algorithm, but the machine learning algorithm is not limited to this, and another machine learning algorithm may be used.
  • a machine learning algorithm that uses input data that is not an image, such as a support vector machine (SVM)
  • SVM support vector machine
  • filter processing is performed on the mesh image to The shape feature amount of the mesh image is calculated.
  • the class may be determined for each mesh image by inputting the shape feature amount into the learned chip determination model.
  • the machine learning algorithm is adopted as the chip information determining unit 46, but the present invention is not limited to this, and a non-machine learning algorithm such as a deterministic algorithm is used. May be.
  • a mesh image tends to be more complicated as the number of chips increases, and the number of high image frequency components tends to increase. Therefore, the chip information determination unit 46 performs frequency analysis such as Fast Fourier Transform (FFT), as shown in Fig. 7, and uses the vector statistic of each mesh image as a feature amount. calculate. Then, the class as the chip information may be determined for each mesh image based on the magnitude relation between the feature amount and the threshold value set as a determination parameter in advance.
  • FFT Fast Fourier Transform
  • the fast Fourier transform has a high environmental dependency, and if small screw holes other than chips, coolant splashes, etc. are imaged in the mesh image, the high-frequency component increases and erroneous determination easily occurs. .. For this reason, an area image without chips is prepared in advance, the difference image between this area image and the area image to be judged is divided into meshes, and fast Fourier transform is performed to eliminate environment-dependent components. You may do so.
  • the chip information determining unit 46 determines the chip information using a single algorithm, but the present invention is not limited to this configuration, and the chip information is determined by a plurality of algorithms. You may make a comprehensive determination based on the result.
  • the chip information determination unit 46 performs the determination for all mesh sizes. ⁇ 0 2020/175308 14 ⁇ (: 171? 2020 /006748
  • the chip information for each mesh size is stored in the determination result storage unit 33 as the determination result.
  • the cleaning necessity determination unit 47 determines whether or not the cleaning of chips is necessary for each mesh image. In the present embodiment, the cleaning necessity determination unit 47 compares the cleaning conditions stored in the cleaning condition storage unit 34 with the chip information of each mesh image stored in the determination result storage unit 33. .. Then, it is determined that cleaning is required for mesh images that satisfy the cleaning conditions.
  • the cleaning processing unit 48 controls the cleaning unit 13 to clean the chips.
  • the cleaning processing unit 48 calculates the position of the mesh area (actual position in the machine tool 10) corresponding to the mesh image determined to require cleaning and directs it toward the mesh area.
  • the cleaning liquid is sprayed from the cleaning means 13.
  • the position of the mesh area can be specified, for example, by making an image memory (not shown) that stores the area image correspond to the coordinate system in the machine tool 10. Further, in the present embodiment, since the cleaning means 13 is composed of the programmable nozzle, the coolant is sprayed to all the mesh areas determined to require cleaning while changing the spraying direction.
  • the cleaning processing unit 48 causes the cleaning frequency storage unit 35 to store the number of continuous cleanings performed continuously in the target area every time the cleaning operation is performed. , And the same mesh area are continuously washed and the local continuous washing frequency is updated. Then, the cleaning processing unit 48 carries out cleaning when the number of continuous cleanings and the number of local continuous cleanings are less than a predetermined threshold. On the other hand, when at least one of the number of continuous cleanings and the number of local continuous cleanings reaches a predetermined threshold value, a predetermined abnormal condition process is executed to avoid the situation where the automatic cleaning operation does not end indefinitely.
  • the abnormal-time process is not particularly limited as long as it is a process for avoiding a situation where the automatic cleaning operation does not end indefinitely.
  • the threshold of the number of continuous cleanings and the threshold of the number of local continuous cleanings are configured to be individually set by the user.
  • a method of notifying the alarm for example, a method of outputting a warning sound from a speaker (not shown) may be mentioned, but the method is not limited to this as long as it can notify the user. .. Specifically, a message may be displayed on the display input means 2, and a light (not shown) may be turned on and off. If there are no users around the machine tool 10, an error message may be sent to the user's mobile terminal.
  • the teaching processing section 49 confirms and corrects the judgment result by the chip information judging section 46.
  • the teaching processing unit 49 first reads the determination result of each mesh image from the determination result storage unit 33 and displays it on the display input means 2 as shown in FIG. 8(a). Specifically, different determination results are colored differently, and each mesh image is displayed in an identifiable manner.
  • the chip information determination unit 46 calculates the determination probability for each mesh image, and the determination result may be incorrect for mesh images in which the determination probability of any class is not so high. It may be highlighted as something that is more likely to be correct (no confidence in the judgment result) to assist the user in making corrections. For example, in the example shown in Fig. 8 (a), the classification probability of class 0 (without chips) is 0, and the classification probability of class 1 (with chips) is 1, the following four groups are classified.
  • [0065] 1 is ⁇ to 30% (0 is 70 to 100%): “Confidence” of class 0 (no chips)
  • the teaching processing unit 49 determines that The judgment result is acquired, and the judgment result stored in the judgment result storage unit 33 is corrected. Then, as shown in FIG. 8 (13), the corrected determination result is displayed on the display input means 2.
  • the additional learning unit 50 performs additional learning using new teacher data.
  • the additional learning unit 50 performs additional learning on the chip determination model with the teacher data consisting of the set of the determination result (correct chip information) corrected by the teaching processing unit 49 and the mesh image.
  • the learning parameter that reflects the correct judgment result is acquired.
  • the learning parameter is used as a new judgment parameter to update the judgment parameter in the judgment parameter storage unit 32.
  • the additional learning unit 50 is provided in the oral chip detecting device 1 to execute the additional learning in the background, but the present invention is not limited to this configuration. That is, the learning data may be uploaded to a learning server on the network for additional learning, and the obtained learning parameter may be downloaded and used as a new determination parameter.
  • an automatic cleaning mode and a teaching mode are prepared as the operation modes of the cleaning processing by the chip detection device 1, and either operation mode can be set.
  • the automatic cleaning mode is a mode in which the cleaning result is automatically executed by using the judgment result of the chip information judging unit 46 as it is.
  • the teaching mode is a mode in which the cleaning process is executed by using the determination result corrected by the teaching processing unit 49.
  • the judgment parameters are stored in the judgment parameter storage unit 32 in advance.
  • one or a plurality of sample images of chips are prepared, and the sample images are divided into a predetermined mesh size.
  • a large number of mesh images are acquired as teaching data for the chip determination model to learn.
  • the teaching data is learned by the chip determination model, and the optimized determination parameter is stored in the determination parameter storage unit 32.
  • the teaching data used in this embodiment is a mesh image and its class, and a large amount of teaching data is required to obtain a certain level of performance and versatility. For some reason, teacher data is easy to prepare. (1) Many mesh images, which are learning units, can be obtained from one area image. (2) Even with the same area image, different teaching data can be easily increased by performing simple processing such as shifting or rotating the division boundaries of the mesh image. (3) Object detection algorithms such as Object Detection and Semantic Segmentation require information on the position of all chips reflected in the area image. On the other hand, in the present embodiment, by dividing the mesh with a mesh size necessary and sufficient for cleaning, it is not necessary to specify the exact position of the chip in the area image, and the classification can be simplified. (4) When class classification is used as chip information, teacher data is created by assigning one numerical value (class) to each mesh image. ⁇ 0 2020/175 308 18 ⁇ (: 171? 2020 /006748
  • the target area setting unit 41 sets the target area in which chips are to be detected (step 3 1), and then the drive control unit 4 2 sets the machine tool. Machining the workpiece by controlling 10 (step 3 2). As a result, as shown in Fig. 1, the chips are scattered on the table 12 and the workpiece, and the image data acquisition unit 43 acquires the area image of the target area from the imaging means 11 (step 33 ).
  • step 34 the chip detection processing according to the present invention is executed (step 34).
  • the chip detection processing according to step 34 will be described with reference to FIG.
  • the mesh size selection unit 44 selects a mesh size (step 3 2 1).
  • the mesh size selection unit 44 has a mesh size that allows the shape of chips to be recognized, and that the edge shape of the workpiece or jig that is the background of the chips is simplified. Select one or more candidates that are likely to fit your size. As a result, the chips are easily distinguished from the background, and erroneous detection is suppressed, so that the detection accuracy is improved.
  • the mesh division unit 45 divides the area image into a plurality of mesh images with one of the mesh sizes selected by the mesh size selection unit 4 4 (step 3 2 2). Therefore, when the chip information is used, it is only necessary to specify the mesh area corresponding to each mesh image, and it is not necessary to specify the exact position for all chips. For this reason, the amount of calculation for chip detection is greatly reduced.
  • the mesh division unit 45 determines whether the boundary images of the partial images overlap or not. Then perform the process of I) or (I). This ensures that the same ⁇ 0 2020/175 308 19 ⁇ (: 171? 2020 /006748
  • a plurality of different partial images will not be mixed in the cache image. Therefore, erroneous detection due to difference in lightness between partial images and misalignment is reduced.
  • the chip information determining unit 46 determines chip information for one mesh image (step 3 2 3) and repeats until the determination of all mesh images in the target area is completed (step 3 2 4: N 0). As a result, it is only necessary to determine chip information for a mesh image divided into a predetermined mesh size, which simplifies and improves the accuracy of chip detection processing.
  • step 3 2 4 Mimi 3
  • the chip information determination unit 46 determines whether or not the determination has been completed for all mesh sizes in the target area (step 3 2 5). Then, if there is a mesh size that has not been judged yet (step 3 2 5: 1 ⁇ 100), the process returns to step 3 2 1, and the division process (step 3 2 2) and judgment process (step 3 2 2) with the mesh size are performed. 3 2 3) is repeated.
  • step 3 2 5 Mimi 3
  • the chip information judgment unit 46 stores the judgment results for each mesh size in the judgment result storage unit 3 3. Then (step 3 2 6), the process is terminated.
  • step 35 it is determined whether or not the operation mode is set to the teaching mode (step 35), and if the automatic cleaning mode is set (step 35: N 0) , Proceed to the processing of step 7 described later. On the other hand, if the teaching mode has been set (step 35: step 3), the teaching processing section 49 executes the teaching process (step 36).
  • step 36 The teaching process according to step 36 will be described below with reference to FIG.
  • the teaching processing unit 49 displays the judgment result on the display input means 2 (step 331) and accepts the selection of the mesh image by the user. At this time, if there are judgment results for a plurality of mesh sizes, the user can visually select the optimum mesh size and use the mesh size to improve the accuracy of chip information judgment. Continue ⁇ 0 2020/175308 20 20 (:171?2020/006748
  • step 332 It is determined whether or not a misaligned mesh image is selected (step 332), and if no mesh image is selected (step 332:N0), unless the teaching mode is finished (step 332). 3 5 :N 0), accept selection of mesh image.
  • the teaching processing unit 49 causes the user to input the correct chip information about the selected mesh image, and acquires the chip information as a determination result (step 3 3 3).
  • the correct judgment result corrected and visually confirmed by the user is stored in the judgment result storage unit 33 (Step 3 34) and the judgment result is displayed on the display input means 2 (Step 3 3 5) 0
  • step 3 36 Mimi 3
  • the additional learning unit 50 starts additional learning in the background at a predetermined timing, and the corrected determination result is displayed.
  • the reflected judgment parameters are acquired and the judgment parameters in the judgment parameter storage unit 32 are updated with the judgment parameters (step 337).
  • the cleaning necessity determination unit 47 determines that the chips are cleaned. It is determined whether or not is necessary (step 37). In the present embodiment, since the cleaning condition is set by combining the chip information and the position of the mesh area, the cleaning process is efficiently executed according to the detected amount and position of the chips.
  • the cleaning condition may be that only the mesh area corresponding to the mesh image determined to be class 2 (there are many chips) is cleaned. If so, the cleaning condition may be that no cleaning is performed. By setting such cleaning conditions, And the consumption of cleaning liquid is suppressed.
  • step S7 As a result of the determination in step S7, if cleaning is not necessary (step S7
  • step S13 the cleaning processing unit 48 initializes the number of continuous cleanings and the number of local continuous cleanings. Then, unless the end of machining is instructed (step S 15: N0), the process returns to step S 1 and the subsequent processing is repeated. As a result, it becomes possible to machine the workpiece with the chips removed.
  • step S 7 if cleaning is required (step S 8)
  • the cleaning processing unit 48 determines whether or not the number of continuous cleanings reaches a predetermined threshold value (step S8). As a result of the determination, when the number of continuous cleanings reaches the threshold value (step S8: YES), the cleaning processing unit 48 executes the abnormal condition processing without performing the cleaning operation (step S14). This avoids the case where the chips that should have been cleaned have just moved to another mesh area but have not actually been removed, and the automatic cleaning operation does not end forever.
  • step S 8 even if the number of continuous cleanings is less than the threshold value (step S 8: YES), the cleaning processing unit 48 separately determines whether or not the number of local continuous cleanings reaches a predetermined threshold value. It is determined (step S9). As a result of the determination, even when the number of local continuous cleanings reaches the threshold value (step S9: YES), the cleaning processing unit 48 executes the abnormal condition processing without performing the cleaning operation (step S14). This makes it possible to erroneously detect chips such as those that try to clean chips that are difficult to remove by washing many times because they are sticking to or stuck on the work, etc., jig screws, and dirt inside the machine. However, the case of forever cleaning is avoided.
  • step S8:N0, step S9:N0 the cleaning processing unit 48 determines that cleaning is necessary.
  • the mesh area corresponding to each of the mesh images is calculated (step S10), and each mesh area is cleaned by the cleaning means 13 ( ⁇ 0 2020/175 308 22 ⁇ (: 171? 2020 /006748
  • Step 3 1 chips are cleaned automatically and efficiently according to the chip information.
  • the amount of cleaning liquid sprayed is less than when cleaning the entire machine, which is economical and eco-friendly.
  • step 33 Return to step 33 and repeat the subsequent processing. As a result, unless the number of continuous cleanings and the number of local continuous cleanings reach the threshold value, the chip information is determined and the cleaning according to the cleaning condition is executed.
  • step 3 15: ⁇ 3 when the processing end is instructed (step 3 15: ⁇ 3), this processing ends.
  • Chips generated when a workpiece is machined by the machine tool 10 can be detected easily and with high accuracy.
  • Chips can be detected with high precision using machine learning.
  • Chips can be easily detected using the image feature amount.
  • Chips can be cleaned automatically and efficiently according to the chip information. 8 Can be efficiently cleaned according to the amount and position of the detected chips. 9. It is possible to prevent the cleaning operation from being repeated forever due to misdetection of chips.
  • the chip detecting device 1 according to the present invention, the machine tool 10 including the same, and the chip detecting method are not limited to the above-described embodiments, but can be appropriately changed.
  • the chips are cleaned using the chip information, but the present invention is not limited to this configuration, and the chip detection device 1 has a cleaning function. ⁇ 0 2020/175 308 23 ⁇ (: 171? 2020 /006748
  • the chip information may be used in various situations other than being used as information for cleaning the chips. For example, if the mesh information can identify a mesh area where a large amount of chips or the chips are likely to accumulate frequently, it will be used as reference information when setting cleaning conditions such as cleaning the mesh area early or always. Similarly, based on the information on the mesh area where chips are likely to accumulate, it may be used by the machine tool vendor when designing a machine in which chips are less likely to accumulate.
  • the chip detection device 1 has the teaching mode, but it is not an essential configuration. If the teaching mode is not required, it is not necessary to provide the teaching processing unit 49, and in the flow chart shown in FIG. 9, the processes of steps 35 and 36 are unnecessary. Also, the teaching process shown in Fig. 11 is not required.
  • the cleaning operation is controlled by using both the number of continuous cleanings and the number of local continuous cleanings, but the present invention is not limited to this configuration, and only one of them is used. You may control it. In this case, in the format chart shown in FIG. 9, either step 38 or step 39 is unnecessary.
  • the learning parameter is used as the determination parameter, but the present invention is not limited to this configuration, and the chip is determined based on various feature amounts of the mesh image. It may be a threshold for classifying information.
  • the above feature amount is not particularly limited as long as it is a feature amount that can represent the features of chips, and the degree of complexity of the edge component in the mesh image, the ratio of the straight line component to the edge component in the mesh image, Various features used in image processing such as brightness of mesh images and brightness statistics can be used. ⁇ 0 2020/175308 24 ⁇ (: 171? 2020 /006748
  • a score of the feature amount is calculated for each of the mesh images obtained by dividing the sample image, and the score is aggregated for each class of chip information. It may be set by optimizing or may be set by combining a plurality of feature amounts.
  • the "class" indicating the easiness of cleaning of chips is determined as the chip information, but the present invention is not limited to this, and the presence or absence of chips and the presence of chips It may be quantity, chip shape, chip type, or a combination thereof. For example, when the amount and shape of chips are used as chip information, it is possible to set a cleaning condition that even if the mesh area has a small amount of chips, chips with a shape that is difficult to clean are cleaned.
  • the chip detection device 1 is configured to be able to additionally learn new teacher data by mouth, but the present invention is not limited to this configuration, and the chip detection device 1 and Teacher data may be transmitted to a learning device connected to the network for additional learning. Further, the teaching data for additional learning from a plurality of chip detection devices 1 may be aggregated in the learning device, and the learning parameter (judgment parameter) obtained by additional learning may be shared to improve versatility. ..
  • a learning image for deriving the determination parameter used in the above-described chip detecting device 1 may be generated by the learning image synthesizing device 1200 as shown in FIG.
  • the learning image synthesizer 1 2 0 0 includes a chip image storage unit 1 2 0 1 that stores chip images representing various chips, and a background image storage unit 1 2 0 2 that stores background images captured in various aircraft.
  • the learning image compositing apparatus 1203 includes an image generating unit 1203 that randomly composes the chip image and the background image to generate a learning image.
  • the chip image may be an imaged image of an actual chip without a background. Further, the background image may be a picked-up image obtained by actually picking up the inside of the aircraft.
  • the image generator 1 2 0 3 composites the chip images into in-flight photos to create multiple environmental patterns and to create a number of learning patterns, as if they were random, but as truly scattered as possible. ⁇ 0 2020/175 308 25 ⁇ (: 171? 2020 /006748
  • the image generation unit 1203 creates scratches or the like on the background image.
  • the learning image generated by the learning image synthesizing device 1250 is provided to the learning device 125 and stored in the learning image storage unit 1251. Then, it is used by the determination parameter derivation unit 1 2 5 2 to derive the determination parameter.
  • the judgment parameters are provided to the chip judgment model derivation unit 1 2 5 3 and are used to generate the chip judgment model.
  • the learning image synthesizer 1200 may provide the chip determination model to the chip detector 1 via the network 1260.
  • the learning image synthesizing device 1200 and the learning device 125 0 may be provided in the chip detecting device 1, but in such a case, the chip detecting device 1 can operate at a high speed such as ⁇ II. It is necessary to have resources.
  • the chip image storage unit 1201 preferably stores images of various chips having different colors, shapes, and sizes. In addition, it is preferable to store an image of chips with coolant and an image of chips without coolant.
  • the background image stored in the background image storage unit 1 0 2 is divided into areas with many chips, areas with few chips, and areas without chips. When combining with the chip image, weighting is applied to each area. You may change and synthesize.
  • the image generation unit 123 may add a process such as paint baldness, scratches, and stains to the background image, and then combine the background image with the chip image.
  • the size of the chip images may be changed or rotated during composition.
  • the image generation unit 1 2 0 3 prepares and pastes correct answer data representing the presence or absence of chips for each area of the mesh image.
  • the image compositing device for learning 1 2 0 0 uses various background images of various models, various chip images, and various weights and densities, which are combined to produce various effects (brightness, Applying a coolant mist) creates an enormous amount of teacher data.
  • the learning image synthesizing device 1200 may generate learning images by classifying the learning images.
  • the chip detecting device 1 is realized as one function of the numerical control device, but the present invention is not limited to this configuration. That is, the chip detection device 1 may be configured by a computer independent of the numerical control device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Auxiliary Devices For Machine Tools (AREA)

Abstract

工作機械によってワークを加工した際に生じる切屑を簡単かつ高精度に検出するため、工作機械によってワークを加工した際に生じる切屑を検出する切屑検出装置であって、切屑を検出する対象エリアを撮影したエリア画像の少なくとも一部を所定のメッシュサイズで複数のメッシュ画像に分割処理するメッシュ分割部と、切屑に関する切屑情報を判定するためにあらかじめ設定された判定用パラメータを用いて、メッシュ画像のそれぞれについて切屑情報を判定する切屑情報判定部と、を有する。

Description

\¥02020/175308 1 2020/006748 明 細 書
発明の名称 ：
切屑検出装置、 工作機械、 切屑検出方法、 学習用画像合成装置
技術分野
[0001 ] 本発明は、 工作機械によってワークを加工した際に生じる切屑を検出する 切屑検出装置、 工作機械、 切屑検出方法、 学習用画像合成装置などに関する ものである。
背景技術
[0002] 従来、 工作機械によってワークを加工した際に生じる切屑は、 加工時にワ —クを傷つける要因となったり、 加工不良、 機械の動作不良および意図しな い動作停止による稼働率の低下を引き起こす要因となったりしている。 この ため、 加工中に発生する切屑を自動的に検出し除去する技術として、 例えば 、 特開平 7 - 1 0 8 4 3 5号公報には、 テーブルおよびワークの画像を取り 込んで、 切屑の位置を検出する切屑除去装置が開示されている （特許文献 1 先行技術文献
特許文献
[0003] 特許文献 1 :特開平 7 - 1 0 8 4 3 5号公報
発明の概要
発明が解決しようとする課題
[0004] しかしながら、 加工中に発生する切屑は、 加工条件、 使用する工具、 ワー クの素材等の違いによって、 形状、 色、 サイズ、 集合状況等が異なり無数の バリエーションが存在する。 また、 画像の背景となる機内環境についても、 構造と位置、 ワークや治具の種類、 クーラント （洗浄液） の有無、 照度等の 条件があり、 その組み合わせには様々なパターンが存在する。
[0005] このため、 特許文献 1のように、 一枚の画像全体から切屑を検出しようと すると、 当該画像には多数の切屑と機内環境とが多種多様な組み合わせで複 \¥0 2020/175308 2 卩（：171? 2020 /006748
雑に写り込んでいる。 このため、 画像処理によって各切屑を精緻かつ高精度 に検出することは困難であり、 全ての切屑を検出するための画像処理に膨大 な計算量や時間を要する。
課題を解決するための手段
［0006］ そこで、 本発明では、 切屑検出装置、 工作機械、 切屑検出方法、 学習用画 像合成装置などを提供するものである。
本発明の一態様である切屑検出装置は、 工作機械によってワークを加工し た際に生じる切屑を簡単かつ高精度に検出するという課題を解決するために 、 工作機械によってワークを加工した際に生じる切屑を検出する切屑検出装 置であって、 前記切屑を検出する対象エリアを撮影したエリア画像の少なく とも一部を所定のメッシユサイズで複数のメッシユ画像に分割処理するメッ シユ分割部と、 前記切屑に関する切屑情報を判定するためにあらかじめ設定 された判定用パラメータを用いて、 前記メッシユ画像のそれぞれについて前 記切屑情報を判定する切屑情報判定部と、 を有する。
発明の効果
［0007］ 本発明によれば、 工作機械によってワークを加工した際に生じる切屑を簡 単に検出することができる。
図面の簡単な説明
［0008］ ［図 1］切屑検出装置およびこれを備えた工作機械の一実施形態を示すブロック 図である。
［図 2］本実施形態において、 エリア画像を複数のメッシユ画像に分割した状態 を示す図である。
［図 3］本実施形態において、 複数の部分画像を合成してエリア画像を構成する 様子を示す図である。
［図 4］本実施形態のメッシユ分割部による分割処理を示す図である。
［図 5］本実施形態の切屑情報である 「クラス」 を説明する図である。
［図 6］本実施形態の切屑判定モデルによる判定処理を示す図である。
［図 7］非機械学習アルゴリズムを採用した切屑情報判定部によって算出される \¥0 2020/175308 3 卩（：171? 2020 /006748
、 メッシュ画像の特徴量の一例を示す図である。
［図 8］本実施形態のティーチングモードにおいて、 （3） 訂正前の判定結果、 および （匕） 訂正後の判定結果を示す表示画面の一例である。
［図 9］本実施形態の切屑検出装置によって実行される切屑検出方法を示すフロ _チヤ _卜である。
［図 10］本実施形態における、 切屑検出処理を示すフローチヤートである。
［図 1 1］本実施形態における、 ティーチング処理を示すフローチヤートである
［図 12］本実施形態における、 学習用画像の合成装置の構成を示すブロック図 である。
発明を実施するための形態
［0009］ 以下、 切屑検出装置およびこれを備えた工作機械、 ならびに切屑検出方法 の一実施形態について図面を用いて説明する。
［0010］ 本実施形態の切屑検出装置 1は、 工作機械 1 0によってワークを加工した 際に生じる切屑を検出するものである。 具体的には、 図 1 に示すように、 切 屑検出装置 1は、 工作機械 1 〇に設けられた撮影手段 1 1 を制御し、 切屑を 検出する対象エリアの画像を取得する。 そして、 図 2に示すように、 当該画 像を複数のメッシュ画像に分割し、 当該メッシュ画像のそれぞれについて切 屑に関する切屑情報を判定するようになっている。 以下、 各構成について詳 細に説明する。
［001 1］ なお、 本発明において、 切屑情報とは、 切屑の有無、 切屑の量、 切屑の形 状、 切屑の種類またはこれらの組み合わせ等のように、 切屑に関して検出可 能な情報を含む概念であり、 本実施形態では、 後述するとおり、 切屑の洗浄 のし易さを示す 「クラス」 を切屑情報として判定するようになっている。 ［0012］ 工作機械 1 0は、 金属、 木材、 石材、 樹脂等のワークに対して、 切削や研 削等の加工を行うための機械である。 本実施形態において、 工作機械 1 〇は 、 切屑検出装置 1 としての数値制御装置から出力される駆動信号に従って数 値制御されるようになっている。 本実施形態では、 切屑検出装置 1 と工作機 \¥0 2020/175308 4 卩（：171? 2020 /006748
械の数値制御装置とが同一の装置で構成されているが、 これに限定されるも のではない。 工作機械とは別のコンビュータを切屑検出装置 1 として用いて もよい。 また、 図 1 に示すように、 工作機械 1 0は、 機内を撮影する撮影手 段 1 1 と、 ワークを載置するテーブル 1 2と、 切屑を洗浄する洗浄手段 1 3 と、 機内を照明する照明手段 1 4とを有している。
[0013] 撮影手段 1 1は、 切屑を検出する対象エリアを撮影するものである。 本実 施形態において、 撮影手段 1 1は、 自動工具交換装置 （八1^〇11131|〇 1〇〇1 Chan
Figure imgf000006_0001
により工具と同様に工作機械 1 0の主軸に着脱可能なカメラ （ 以下、 八丁〇カメラと呼称） によって構成されている。 そして、 後述する画 像データ取得部 4 3からの撮影制御信号に従って、 あらかじめ設定した撮影 タイミングで、 あらかじめ設定した対象エリアをカバーするエリア画像を撮 影するようになっている。
[0014] なお、 本実施形態では、 撮影手段 1 1 として、 機内への設置が不要であり 、 クーラントミスト等に晒される時間が比較的短いというメリッ トを考慮し 、 工作機械の主軸に着脱可能な 丁〇カメラを使用している。 丁〇カメラ は、 工作機械の主軸に取り付けることができるため、 工作機械の主軸を動か せば、 それに追随してカメラも移動させることができる。 そのため、 カメラ の撮影範囲や撮影方向を容易に変更することができる。 カメラの撮影範囲や 撮影方向を容易に変更できるため八丁〇カメラを例に説明しているが、 この 構成に限定されるものではない。 一または複数の固定カメラを機内に設置し てもよい。 この構成によれば、 撮影時間が比較的短く、 加工中も撮影できる というメリッ トを有する。
[0015] また、 撮影手段 1 1の画角が対象エリアより小さい場合、 図 3に示すよう に、 丁〇カメラであれば、 主軸を移動させながら複数の部分画像を撮影し 、 固定カメラであれば、 複数の固定カメラによって複数の部分画像を撮影す る。 そして、 各部分画像を合成することにより、 対象エリアの全体をカバー するエリア全体画像を構成してもよい。
[0016] 洗浄手段 1 3は、 ワークの加工により発生した切屑を洗浄し除去するもの \¥0 2020/175308 5 卩（：171? 2020 /006748
である。 本実施形態において、 洗浄手段 1 3は、 洗浄液の噴射方向を制御可 能なプログラマブルノズルによって構成されている。 そして、 後述する洗浄 処理部 4 8からの洗浄制御信号に従って、 ワーク上やテーブル 1 2上におけ る所望のエリアに対してクーラント液等の洗浄液を噴射するようになってい る。
[0017] なお、 本実施形態では、 洗浄手段 1 3としてプログラマブルノズルを使用 しているが、 この構成に限定されるものではない。 例えば、 対象エリアの全 体をカバーするように、 噴射方向が固定された洗浄ノズルを複数個設置し、 洗浄が必要なエリアに近い洗浄ノズルから洗浄液を噴射させるようにしても よい。
[0018] 照明手段 1 4は、 切屑を検出しやすくするように機内を照明するものであ る。 本実施形態において、 照明手段 1 4は、 図 1 に示すように、 機内に固定 され、 オン ·オフの切り替え、 明るさおよび照射方向等を制御可能なプログ ラマブルライ トによって構成されている。 しかしながら、 この構成に限定さ れるものではなく、 八丁〇カメラに付属されているライ トを使用してもよい 。 また、 照明による反射を抑制するため、 照明手段 1 4を回転させたり、 撮 影手段 1 1のカメラレンズに偏光フィルタを取り付けたりしてもよい。
[0019] つぎに、 切屑検出装置 1は、 工作機械 1 〇を制御する数値制御装置等のコ ンピュータによって構成されており、 図 1 に示すように、 主として、 ユーザ による指示入力や判定結果の表示を行う表示入力手段 2と、 各種のデータを 記憶するとともに、 演算処理手段 4が演算処理を行う際のワーキングエリア として機能する記憶手段 3と、 記憶手段 3にインストールされた切屑検出プ ログラム 1 3を実行することにより、 各種の演算処理を実行し後述する各構 成部として機能する演算処理手段 4とを有している。 以下、 各構成手段につ いて詳細に説明する。
[0020] なお、 繰り返しになるが、 切屑検出装置は、 工作機械 1 0を制御する数値 制御装置とは別の装置でもよい。 切屑検出装置は、 少なくとも、 切屑を検出 する対象エリアを撮影したエリア画像の少なくとも一部を所定のメッシュサ \¥0 2020/175308 6 卩（：171? 2020 /006748
イズで複数のメッシュ画像に分割処理するメッシュ分割部と、 切屑に関する 切屑情報を判定するためにあらかじめ設定された判定用パラメータを用いて 、 前記メッシュ画像のそれぞれについて前記切屑情報を判定する切屑情報判 定部と、 を有していればよい。
[0021 ] 表示入力手段 2は、 タッチパネルで構成されており、 ユーザからの指示入 力を受け付ける入力機能と、 切屑の判定結果等を表示する表示機能とを兼ね 備えるものである。 なお、 本実施形態では、 表示入力手段 2としてタッチパ ネルを採用しているが、 この構成に限定されるものではなく、 表示機能のみ を備えた表示手段、 および入力機能のみを備えた入力手段をそれぞれ別個に 有していてもよい。
[0022] 記憶手段 3は、 ハードディスク、
Figure imgf000008_0001
8门〇1〇111八00633 1^1110「 ） 、 フラッシュメモリ等で構成されており、 図 1 に示す ように、 プログラム記憶部 3 1 と、 判定用パラメータ記憶部 3 2と、 判定結 果記憶部 3 3と、 洗浄条件記憶部 3 4と、 洗浄回数記憶部 3 5とを有してい る。
[0023] プログラム記憶部 3 1 には、 本実施形態の切屑検出装置 1 を制御するため の切屑検出プログラム 1 3がインストールされている。 そして、 演算処理手 段 4が、 当該切屑検出プログラム 1 3を実行することにより、 コンビュータ としての切屑検出装置 1 を後述する各構成部として機能させるようになって いる。
[0024] なお、 切屑検出プログラム 1 3の利用形態は、 上記構成に限られるもので はない。 例えば、
Figure imgf000008_0002
コンビュータで 読み取り可能な非一時的な記録媒体に切屑検出プログラム 1 3を記憶させて おき、 当該記録媒体から直接読み出して実行してもよい。 また、 外部サーバ 等からクラウドコンピューティング方式や八 3 （八卩卩レ1081；丨〇门 $61^ _106 卩「0 _1〇16「） 方式等で利用してもよい。
[0025] 判定用パラメータ記憶部 3 2は、 切屑に関する切屑情報を判定するために あらかじめ設定された判定用パラメータを記憶するものである。 本実施形態 \¥0 2020/175308 7 卩（：171? 2020 /006748
では、 後述するとおり、 切屑情報を判定するためのアルゴリズムとして、 機 械学習アルゴリズムである学習 ·推論モデルに学習パラメータを適用してな る切屑判定モデルを採用している。 このため、 判定用パラメータとしては、 メッシュ画像と切屑情報とのセッ トからなる教師データを用いて、 事前学習 させて得られる学習パラメータが記憶されている。
[0026] また、 本実施形態では、 後述するとおり、 メッシュ画像のメッシュサイズ を選択するメッシュサイズ選択部 4 4を有している。 このため、 判定用パラ メータ記憶部 3 2には、 複数の異なるメッシュサイズごとに判定用パラメー 夕としての学習パラメータが記憶されている。 なお、 本実施形態において、 判定用パラメータ記憶部 3 2には、 切屑判定モデルの学習効率等の特性を左 右するハイパーパラメータが別途、 設定されている。
[0027] 判定結果記憶部 3 3は、 メッシュ画像のそれぞれについて判定された切屑 情報を判定結果として記憶するものである。 本実施形態では、 後述する切屑 情報判定部 4 6によって、 メッシュ画像のそれぞれについて、 切屑の洗浄の し易さを示すクラスごとに、 当該クラスである確率が切屑情報として判定さ れる。
[0028] 例えば、 切屑がない 「クラス 0」 と、 切屑が少ない 「クラス 1」 と、 切屑 が多い 「クラス 2」 の 3クラスが設定されている場合、 「クラス 0」 である 確率 〇と、 「クラス 1」 である確率 1 と、 「クラス 2」 である確率 2 とが判定される。 このため、 判定結果記憶部 3 3には、 上述したクラスごと の確率 0 , 1 , 2が判定結果として、 各メッシュ画像に対応付けて記 憶される。
[0029] なお、 判定結果としては、 クラスごとの確率に限定されるものではなく、 最も確率の高いクラスを単純に判定結果として記憶するようにしてもよい。 また、 クラスの数は増やすほど判定が難しく、 性能が向上しにくくなるため 、 数個程度に設定することが好ましい。 最も単純なクラスの例としては、 切 屑がない 「クラス 0」 と、 切屑がある 「クラス 1」 との 2クラスになる。
[0030] 洗浄条件記憶部 3 4は、 切屑の洗浄が必要か否かを判定するための洗浄条 \¥0 2020/175308 8 卩（：171? 2020 /006748
件を記憶するものである。 本実施形態では、 洗浄条件として、 クラスごとの 確率と、 各メッシュ画像に対応するメッシュエリアの位置とを組み合わせた 条件が設定されている。 例えば、 上述した 3クラスが設定されている場合に は、 以下のような洗浄条件 （1） 〜 （4） を降順に評価することにより、 効 率的で高性能な判定アルゴリズムが実現される。
[0031 ] （1） 〇, 1 , 2のうち、 最大値が 2である ：洗浄する （2） 1 十 2 ³ 9 9 %である ：洗浄する （3） メッシュエリアがテーブル 1 2上で あり、 かつ、 1 + 2 ³ 0である ：洗浄する （4） 上記条件 （ 1） ~ （ 3） に該当しない：洗浄しない
[0032] なお、 本実施形態では、 切屑情報とメッシュエリアの位置とを組み合わせ た洗浄条件が設定されているが、 これに限定されるものではなく、 切屑情報 を用いて設定されるものであればよい。 例えば、 上述した最も単純化された 2クラスが設定されている場合は、 メッシュエリアの位置に関わらず、 クラ ス〇 （切屑なし） であれば洗浄せず、 クラス 1 （切屑あり） であれば洗浄す る、 という洗浄条件を設定してもよい。
[0033] 洗浄回数記憶部 3 5は、 切屑を連続して洗浄した洗浄回数を記憶するもの である。 本実施形態において、 洗浄回数記憶部 3 5には、 対象エリア内を連 続して洗浄した回数である連続洗浄回数と、 同一のメッシュエリアを連続し て洗浄した回数である局所連続洗浄回数とが記憶されている。 そして、 これ らの洗浄回数を用いて、 後述するとおり、 自動洗浄動作がいつまでも終了し ない事態を回避するようになっている。
[0034] つぎに、 演算処理手段 4は、
Figure imgf000010_0001
等によっ て構成されており、 記憶手段 3にインストールされた切屑検出プログラム 1 3を実行することにより、 図 1 に示すように、 対象エリア設定部 4 1 と、 駆 動制御部 4 2と、 画像データ取得部 4 3と、 メッシュサイズ選択部 4 4と、 メッシュ分割部 4 5と、 切屑情報判定部 4 6と、 洗浄要否判定部 4 7と、 洗 浄処理部 4 8と、 ティーチング処理部 4 9と、 追加学習部 5 0として機能す るようになっている。 以下、 各構成部についてより詳細に説明する。 \¥0 2020/175308 9 卩（：171? 2020 /006748
[0035] 対象エリア設定部 4 1は、 切屑を検出しようとする対象エリアを設定する ものである。 本実施形態において、 対象エリア設定部 4 1は、 ユーザによる 表示入力手段 2を用いた指示入力に応じて、 機内全体、 テーブル 1 2上、 プ ロテクタ上、 ワーク周辺、 これらの一部、 もしくはこれらの組み合わせ等の ように、 任意の対象エリアを設定するようになっている。
[0036] なお、 本実施形態において、 対象エリア設定部 4 1は、 ユーザの手動によ って対象エリアを設定しているが、 この構成に限定されるものではなく、 自 動設定してもよい。 具体的には、 対象エリア設定部 4 1は、 加エプログラム を参照して各加工工程におけるワークの形状を取得し、 ワーク全体が含まれ るように対象エリアを自動設定してもよく、 加工経路上のみを対象エリアと して自動設定してもよい。
[0037] 駆動制御部 4 2は、 工作機械 1 0に備えられた各軸のモータを駆動制御す るものである。 本実施形態において、 駆動制御部 4 2は、 加エプログラムに 基づいて、 工作機械 1 0に切削加工等を実行させる駆動制御信号を生成し、 各軸のモータへ出力するようになっている。 また、 撮影手段 1 1 として八丁 〇カメラを使用する場合、 駆動制御部 4 2は、 図示しない自動工具交換装置 （八111；011131；丨（； 1"〇〇1 ^18叩6「： 八丁〇） を制御し、 工具を八丁〇カメラに交換 させるようになっている。
[0038] 画像データ取得部 4 3は、 対象エリアのエリア全体の画像を取得するもの である。 本実施形態において、 画像データ取得部 4 3は、 あらかじめ設定し た撮影タイミングで撮影手段 1 1 に撮影制御信号を出力し、 エリア全体の画 像を取得するようになっている。 また、 撮影手段 1 1が対象エリアより小さ い部分画像を取得する場合には、 対象エリアをカバーするように複数の部分 画像を撮影させ、 それらを合成してエリア全体の画像を取得する。
[0039] なお、 撮影タイミングは、 ユーザが任意に手動設定してもよく、 所定の設 定条件に従って自動設定するようにしてもよい。 設定条件としては、 工程と 工程との間、 工具交換時、 一定時間間隔、 所定の加工量に達したタイミング 等である。 なお、 当該加工量は、 加エプログラム等から推定することができ \¥0 2020/175308 10 卩（：17 2020 /006748
る。
[0040] メッシュサイズ選択部 4 4は、 エリア全体の画像を複数のメッシュ画像に 分割する際のメッシュサイズを選択するものである。 本実施形態において、 メッシュサイズ選択部 4 4は、 所定の基準に基づいて、 あらかじめ設定され たメッシュサイズの中から、 一つまたは複数のメッシュサイズを候補として 選択するようになっている。
[0041 ] なお、 本発明は、 エリア全体の画像をメッシュ画像に分割することにより 、 切屑の検出を簡単化かつ高精度化するものである。 このため、 メッシュサ イズは、 切屑の検出精度に影響を与える重要なファクターであり、 その選択 に際しては以下のような切屑の特徴を考慮することが好ましい。
[0042] 具体的には、 上述したとおり、 切屑には様々なバリエーシヨンやパターン があるため、 二次元画像上では完全に同一の切屑は存在しない。 しかしなが ら、 切屑の外形を構成するエッジ （稜線） は、 比較的複雑で不規則であると いう共通の特徴を有している。 そして、 当該特徴は、 多数の切屑が堆積して 折り重なり、 個々の形状が認識できないような状態においても失われること がない。
[0043] 一方、 切屑の背景となるワークや治具については、 一般的に、 切屑のよう な不規則性はほとんどなく、 切屑と同等のスケールで比較すると、 エッジ形 状が単純である。 したがって、 本実施形態において、 メッシュサイズ選択部 4 4は、 切屑、 ワークおよび治具の各サイズに基づいて、 切屑の形状を認識 しうる程度のメッシュサイズであって、 かつ、 メッシュ画像において切屑の 背景となるワークや治具のエッジ形状が単純化される程度のメッシュサイズ を選択することが好ましい。 このようなメッシュサイズを選択することによ り、 ワークや治具のエッジ形状と切屑とが識別しやすくなり、 誤検出が低減 される。
[0044] なお、 メッシュサイズ選択部 4 4は、 上記構成に限定されるものではなく 、 あらかじめ設定された複数のメッシュサイズの中からユーザが手動で選択 してもよい。 ただし、 切屑情報を判定する切屑判定モデルでは、 メッシュサ \¥0 2020/175308 1 1 卩（：171? 2020 /006748
イズを固定する必要があるため、 複数のメッシュサイズを用意する場合には 、 各メッシュサイズのメッシュ画像によって学習させた切屑判定モデルが必 要となる。 一方、 使用するメッシュサイズが常に固定であれば、 メッシュサ イズ選択部 4 4を設ける必要はない。
[0045] メッシュ分割部 4 5は、 エリア画像を複数のメッシュ画像に分割処理する ものである。 本実施形態において、 メッシュ分割部 4 5は、 メッシュサイズ 選択部 4 4によって選択されたメッシュサイズで、 画像データ取得部 4 3に よって取得されたエリア画像を分割することにより複数のメッシュ画像を生 成するようになっている。 なお、 本実施形態では、 図 2に示すように、 碁盤 目状や格子状のメッシュを採用しているが、 この形状に限定されるものでは なく、 菱形、 三角形、 ハニカム形状等であってもよい。 また、 本実施形態で は、 エリア画像の全てをメッシュ画像に分割しているが、 これに限定される ものではなく、 切屑の検出が不要なエリアについては分割せず、 エリア画像 の少なくとも一部のみを分割するようにしてもよい。 また、 エリアを撮影し た撮影画像と格子状のメッシュ情報とを別々に関連付けて保存されている状 態でもよい。 つまり、 メッシュ分割部 4 5は、 個々のメッシュ画像を生成す ることに限定されず、 撮影画像と格子情報とを重ねて、 格子で区分けされて いる撮影画像の領域をメッシュ領域として処理してもよい。 この場合のメッ シュ領域が上述のメッシュ画像に相当する。
[0046] また、 本実施形態において、 画像データ取得部 4 3が複数の部分画像を合 成してエリア画像を取得する場合、 メッシュ分割部 4 5は、 図 4に示すよう に、 分割処理に際して、 以下のいずれかの処理を実行するようになっている
( _| ) 部分画像と他の部分画像との境界部分に重複がない場合、 メッシュ画 像の境界線を各部分画像の境界線と一致させる。
( | '| ) 部分画像と他の部分画像との境界部分に重複がある場合、 いずれか 一方の部分画像のみから境界部分を含むメッシュ画像を切り出す。
[0047] メッシュ分割部 4 5が上記 (丨) または (丨丨) の処理を実行することにより 、 同一のメッシュ画像内に、 複数の異なる部分画像が混在することがない。 このため、 部分画像間における明度の相違や、 位置ズレ等に起因する誤検出 が低減される。
[0048] 切屑情報判定部 4 6は、 メッシュ画像のそれぞれについて切屑情報を判定 するものである。 本実施形態において、 切屑情報判定部 4 6は、 メッシュ分 割部 4 5によって分割処理されたメッシュ画像のそれぞれについて、 判定用 パラメータ記憶部 3 2から読み出した判定用パラメータを用いて切屑情報を 判定し、 判定結果記憶部 3 3に保存するようになっている。
[0049] また、 本実施形態において、 切屑情報判定部 4 6は、 切屑情報として、 切 屑の洗浄のし易さを示す 「クラス」 を判定するようになっている。 このクラ スは、 切屑の量、 密集度合、 大きさ、 長さ、 形状等を総合的に勘案して決定 される。 具体的には、 図 5に示すように、 切屑が少ない、 散在している、 小 さい、 短い、 引っ掛かり難い等のように、 洗浄し易い状態であるほど低いク ラスとし、 切屑が多い、 密集している、 大きい、 長い、 引っ掛かり易い等の ように、 洗浄し難い状態であるほど高いクラスとして分類される。
[0050] 本実施形態において、 切屑情報判定部 4 6は、 機械学習アルゴリズムであ る学習 ·推論モデルに学習パラメータを適用してなる切屑判定モデルによっ て構成されている。 具体的には、 環境変化に比較的強いディープラーニング 手法のうち、 とりわけ画像のクラス分類に特化したモデルである畳み込み二 ューラルネツ トワーク (Convo lut i ona l Neura l Network : CNN) を用いている
[0051 ] 上記のような切屑判定モデルを用いて切屑情報を判定する場合、 まず、 切 屑情報判定部 4 6は、 各メッシュ画像に対して、 ノイズの除去処理や、 画像 サイズの変換処理等のような、 判定精度を向上させるための前処理を実行す る。 つぎに、 切屑情報判定部 4 6は、 図 6に示すように、 判定用パラメータ 記憶部 3 2にあらかじめ用意された学習パラメータを適用した学習済の切屑 判定モデルに、 メッシュ画像を入力することにより、 メッシュ画像のそれぞ れについて、 切屑情報として各クラスの確率を出力するようになっている。 [0052] なお、 本実施形態では、 機械学習アルゴリズムとして畳み込みニューラル ネッ トワークを採用しているが、 これに限定されるものではなく、 他の機械 学習アルゴリズムを用いてもよい。 例えば、 サボートべクターマシン ( S V M : support vector mach i ne) 等のように、 画像ではない入カデータを用い る機械学習アルゴリズムを使用する場合、 メッシュ画像に対してフィルタ処 理等を実行し、 各メッシュ画像が有する形状特徴量を算出する。 そして、 当 該形状特徴量を学習済の切屑判定モデルに入力することにより、 メッシュ画 像のそれぞれについてクラスを判定してもよい。
[0053] また、 本実施形態では、 切屑情報判定部 4 6として、 機械学習アルゴズム を採用しているが、 これに限定されるものではなく、 決定的アルゴリズムの ような非機械学習アルゴリズムを使用してもよい。 例えば、 メッシュ画像は 、 切屑が多いほど複雑になり、 高い画像周波数成分が多くなる傾向がある。 そこで、 切屑情報判定部 4 6は、 図 7に示すように、 高速フーリエ変換 (Fas t Four i er Transform : FFT) 等の周波数解析を実行し、 各メッシュ画像のス ベクトル統計量を特徴量として算出する。 そして、 当該特徴量とあらかじめ 判定用パラメータとして設定した閾値との大小関係に基づいて、 メッシュ画 像のそれぞれについて切屑情報としてのクラスを判定してもよい。
[0054] ただし、 高速フーリエ変換は環境依存度が高く、 メッシュ画像内に切屑以 外の小さなネジ穴や、 クーラントの飛沫等が撮像されていると、 高周波成分 が多くなり、 誤判定しやすくなる。 このため、 切屑がない状態でのエリア画 像をあらかじめ用意しておき、 これと判定対象であるエリア画像との差分画 像をメッシュ分割し、 高速フーリエ変換することにより、 環境依存成分を排 除するようにしてもよい。
[0055] さらに、 本実施形態において、 切屑情報判定部 4 6は、 単一のアルゴリズ ムを用いて切屑情報を判定しているが、 この構成に限定されるものではなく 、 複数のアルゴリズムによる判定結果に基づいて総合的に判定してもよい。
[0056] なお、 メッシュサイズ選択部 4 4によって複数のメッシュサイズが選択さ れた場合、 切屑情報判定部 4 6は、 全てのメッシュサイズについて判定を実 \¥0 2020/175308 14 卩（：171? 2020 /006748
行する。 そして、 各メッシュサイズでの切屑情報を判定結果として判定結果 記憶部 3 3に記憶させるようになっている。
[0057] 洗浄要否判定部 4 7は、 メッシュ画像のそれぞれについて、 切屑の洗浄が 必要か否かを判定するものである。 本実施形態において、 洗浄要否判定部 4 7は、 洗浄条件記憶部 3 4に記憶されている洗浄条件と、 判定結果記憶部 3 3に記憶されている各メッシュ画像の切屑情報とを比較する。 そして、 洗浄 条件を満たすメッシュ画像については洗浄が必要と判定するようになってい る。
[0058] 洗浄処理部 4 8は、 洗浄手段 1 3を制御して切屑の洗浄を行わせるもので ある。 本実施形態において、 洗浄処理部 4 8は、 洗浄が必要と判定されたメ ッシュ画像に対応するメッシュエリアの位置 （工作機械 1 0内における実際 の位置） を算出し、 当該メッシュエリアに向けて、 洗浄手段 1 3から洗浄液 を噴射させるようになっている。
[0059] なお、 メッシュエリアの位置は、 例えば、 エリア画像を格納する画像メモ リ （図示せず） を工作機械 1 0内の座標系に対応させておくことにより、 特 定することができる。 また、 本実施形態において、 洗浄手段 1 3はプログラ マブルノズルによって構成されるため、 噴射方向を変えながら、 洗浄が必要 と判定された全てのメッシュエリアに対してクーラント液を噴射する。
[0060] また、 本実施形態において、 洗浄処理部 4 8は、 洗浄動作を実行するたび に、 洗浄回数記憶部 3 5に記憶されている、 対象エリア内を連続して洗浄し た連続洗浄回数、 および同一のメッシュエリアを連続して洗浄し局所連続洗 浄回数を更新する。 そして、 洗浄処理部 4 8は、 連続洗浄回数および局所連 続洗浄回数が、 所定の閾値未満の場合には洗浄を実施する。 一方、 連続洗浄 回数および局所連続洗浄回数のうち少なくとも一方が、 所定の閾値に到達し た場合には、 自動洗浄動作がいつまでも終了しない事態を回避するため、 所 定の異常時処理を実行する。
[0061 ] 異常時処理は、 自動洗浄動作がいつまでも終了しない事態を回避するため の処理であれば特に限定されるものではなく、 例えば、 工作機械 1 0の運転 \¥0 2020/175308 15 卩（：171? 2020 /006748
を停止するとともにアラームを報知してもよい。 あるいは、 閾値に到達した 旨を記録、 通知するとともに、 そのメッシュエリアの洗浄はあらかじめユー ザが設定した 「洗浄中断期間」 だけ中断し、 他のメッシュエリアの洗浄やエ 作機械 1 〇の運転は継続してもよい。
[0062] なお、 連続洗浄回数の閾値および局所連続洗浄回数の閾値は、 ユーザによ って個別に設定可能に構成されている。 また、 上記アラームを報知する方法 としては、 例えば、 スピーカー （図示せず） から警告音を出力する方法が挙 げられるが、 ユーザに通知しうる方法であれば、 これに限定されるものでは ない。 具体的には、 表示入力手段 2にメッセージを表示させてもよく、 ライ 卜 （図示せず） を点滅 ·点灯させてもよい。 また、 工作機械 1 0の周囲にユ —ザがいない場合、 ユーザの携帯端末等にエラーメッセージを通知してもよ い。
[0063] ティーチング処理部 4 9は、 切屑情報判定部 4 6による判定結果を確認 · 訂正するものである。 本実施形態において、 ティーチング処理部 4 9は、 ま ず、 各メッシュ画像の判定結果を判定結果記憶部 3 3から読み出し、 図 8 （ a） に示すように、 表示入力手段 2に表示させる。 具体的には、 異なる判定 結果ごとに異なる着色等を施し、 各メッシュ画像を識別可能な態様で表示す る。
[0064] なお、 判定結果の表示に際しては、 切屑情報判定部 4 6によってメッシュ 画像ごとの判定確率を算出させ、 どのクラスの判定確率もそれほど高くない メッシュ画像については、 判定結果が誤っている可能性が高い （判定結果に 自信がない） ものとして強調表示し、 ユーザの訂正作業を補助するようにし てもよい。 例えば、 図 8 （a） に示す例では、 クラス 0 （切屑なし） の判定 確率 〇、 およびクラス 1 （切屑あり） の判定確率 1の値によって、 以下 に示す 4グループに分類されている。
[0065] 1が〇〜 3 0 % （ 0が 7 0〜 1 0 0 %） : クラス 0 （切屑なし） の 「 自信ぁり」
1が 3 0〜 5 0 % （ 0が 5 0〜 7 0 %） : 「自信なし」 \¥0 2020/175308 16 卩（：171? 2020 /006748
1が 5 0〜 7 0 % （ 0が 3 0〜 5 0 %） : 「自信なし」 1が 7 0〜 1 0 0 % （ 0が〇〜 3 0 %） : クラス 1 （切屑あり） の 「 自信ぁり」
[0066] つぎに、 上記判定結果を確認したユーザによって、 誤って判定されている 任意のメッシュ画像がタッチ選択され、 正しい判定結果としての切屑情報が 入力されると、 ティーチング処理部 4 9は当該判定結果を取得し、 判定結果 記憶部 3 3に記憶されている判定結果を訂正する。 そして、 図 8 （13） に示 すように、 訂正後の判定結果を表示入力手段 2に表示させる。
[0067] 追加学習部 5 0は、 新たな教師データを用いて追加学習を行うものである 。 本実施形態において、 追加学習部 5 0は、 ティーチング処理部 4 9によっ て訂正された判定結果 （正しい切屑情報） とメッシュ画像とのセッ トからな る教師データを切屑判定モデルに追加学習を実行させることにより、 正しい 判定結果が反映された学習パラメータを取得する。 そして、 当該学習パラメ —夕を新たな判定用パラメータとして判定用パラメータ記憶部 3 2内の判定 用パラメータを更新するようになっている。
[0068] なお、 本実施形態では、 追加学習部 5 0を口ーカルな切屑検出装置 1 に設 け、 バックグラウンドで追加学習を実行しているが、 この構成に限定される ものではない。 すなわち、 ネッ トワーク上の学習サーバに教師データをアッ プロードして追加学習させ、 得られた学習パラメータをダウンロードするこ とにより新たな判定用パラメータとして利用するようにしてもよい。
[0069] また、 本実施形態では、 切屑検出装置 1 による洗浄処理の運転モードとし て、 自動洗浄モードとティーチングモードとが用意されており、 いずれかの 運転モードに設定可能に構成されている。 自動洗浄モードは、 切屑情報判定 部 4 6による判定結果をそのまま用いて自動的に洗浄処理を実行するモード である。 また、 テイーチングモードは、 テイーチング処理部 4 9によって訂 正された判定結果を用いて洗浄処理を実行するモードである。
[0070] つぎに、 本実施形態の切屑検出装置 1およびこれを備えた工作機械 1 0の 作用ならびに切屑検出方法について、 図 9を参照しつつ説明する。 なお、 以 下の説明では、 切屑を検出した後、 当該切屑を洗浄する場合について説明す る。
[0071 ] 本実施形態の切屑検出装置 1およびこれを備えた工作機械 1 0を用いて切 屑を検出する場合、 あらかじめ、 判定用パラメータ記憶部 3 2に判定用パラ メータを記憶させておく。 このとき、 まず切屑を撮影したサンプル画像を 1 または複数用意し、 当該サンプル画像を所定のメッシュサイズで分割する。 これにより、 多数のメッシュ画像が切屑判定モデルに学習させるための教師 データとして取得される。 そして、 当該教師データを切屑判定モデルに学習 させ、 最適化された判定用パラメータを判定用パラメータ記憶部 3 2に記憶 する。
[0072] なお、 本実施形態の切屑検出装置 1のように、 機械学習を用いたシステム では、 運用前に学習モデルに対して事前に多くの教師データを用意し学習さ せておく必要がある。 しかしながら、 当該教師データを用意する作業には、 手間や時間が非常にかかるため、 導入の障壁となっているという問題がある
[0073] この点、 本実施形態で用いられる教師データは、 メッシュ画像とそのクラ スであり、 ある程度の性能と汎用性を得るには大量の教師データが必要とな るが、 以下のような理由により、 教師データの準備が容易である。 （1） 学 習単位であるメッシュ画像は、 1枚のエリア画像から多数得ることができる 。 （2） 同一のエリア画像であっても、 メッシュ画像の分割境界をずらした り、 回転させたりするなど、 単純な処理を施すだけで、 異なる教師データを 簡単に増やすことができる。 （3） Obj ect Detect i onや Semant i c Segmentat i on等の物体検出アルゴリズムでは、 エリア画像に映り込んでいる全切屑の位 置情報が必要となる。 これに対し、 本実施形態では洗浄に必要十分なメッシ ュサイズで分割することにより、 エリア画像内における切屑の正確な位置を 特定する必要がなく、 単純なクラス分類に帰着させることができる。 （4） 切屑情報としてクラス分類を用いた場合、 各メッシュ画像に対して 1つの数 値 （クラス） を割り当てるだけ教師データが作成される。 \¥0 2020/175308 18 卩（：171? 2020 /006748
[0074] これにより、 エリア画像を数枚撮影するだけで、 少なくとも特定環境下に おいて切屑を検知するための教師データを入力することができる。 つまり、 比較的少ない回数のティーチング作業によって個別の機械、 環境、 加工に最 適化することができる。
[0075] つづいて、 切屑を検出するにあたり、 まず、 対象エリア設定部 4 1が、 切 屑を検出しようとする対象エリアを設定した後 （ステップ 3 1） 、 駆動制御 部 4 2が、 工作機械 1 0を制御しワークを加工する （ステップ 3 2） 。 これ により、 図 1 に示すように、 テーブル 1 2上やワーク上に切屑が散乱するた め、 画像データ取得部 4 3が、 撮影手段 1 1から対象エリアのエリア画像を 取得する （ステップ 3 3） 。
[0076] エリア画像が取得されると、 本発明に係る切屑検出処理が実行される （ス テップ3 4） 。 以下、 ステップ 3 4に係る切屑検出処理について、 図 1 0を 参照しつつ説明する。
[0077] 切屑検出処理では、 まず、 メッシュサイズ選択部 4 4が、 メッシュサイズ を選択する （ステップ 3 2 1） 。 本実施形態では、 メッシュサイズ選択部 4 4が、 切屑の形状を認識しうる程度のメッシュサイズであって、 かつ、 切屑 の背景となるワークや治具のエッジ形状が単純化される程度のメッシュサイ ズに該当しそうな候補を一つまたは複数選択する。 これにより、 切屑が背景 と区別され易くなり、 誤検出が抑制されるため、 検出精度が向上する。
[0078] つぎに、 メッシュ分割部 4 5が、 メッシュサイズ選択部 4 4によって選択 されたいずれかのメッシュサイズでエリア画像を複数のメッシュ画像に分割 する （ステップ 3 2 2） 。 これにより、 切屑情報を利用する際には、 各メッ シュ画像に対応するメッシュエリアを特定するだけでよく、 全ての切屑につ いて正確な位置を特定する必要がない。 このため、 切屑の検出にかかる計算 量が大幅に低減される。
[0079] また、 本実施形態では、 複数の部分画像を合成してエリア画像を取得する 場合、 メッシュ分割部 4 5が、 各部分画像の境界部分に重複が有るか無いか に応じて、 上記 し I） または （ I） の処理を実行する。 これにより、 同一のメ \¥0 2020/175308 19 卩（：171? 2020 /006748
ッシュ画像内に、 複数の異なる部分画像が混在することがなくなる。 このた め、 部分画像間における明度の相違や、 位置ズレ等に起因する誤検出が低減 される。
[0080] つづいて、 切屑情報判定部 4 6が、 1つのメッシュ画像について切屑情報 を判定し （ステップ 3 2 3） 、 対象エリア内の全てのメッシュ画像の判定が 完了するまで繰り返す （ステップ 3 2 4 : N 0） 。 これにより、 所定のメッ シュサイズに分割したメッシュ画像について切屑情報を判定するだけでよい ため、 切屑の検出処理が簡単化および高精度化する。
[0081 ] 対象エリア内の全てのメッシュ画像について判定が完了すると （ステップ
3 2 4 : 丫巳3） 、 切屑情報判定部 4 6が、 対象エリア内の全てのメッシュ サイズでの判定が完了したか否かを判定する （ステップ 3 2 5） 。 そして、 まだ判定していないメッシュサイズがあれば （ステップ 3 2 5 : 1\1〇） 、 ス テップ3 2 1 に戻り、 当該メッシュサイズでの分割処理 （ステップ 3 2 2） および判定処理 （ステップ 3 2 3） を繰り返す。
[0082] 一方、 全てのメッシュサイズでの判定が完了すると （ステップ 3 2 5 : 丫 巳3） 、 切屑情報判定部 4 6が、 各メッシュサイズでの判定結果を判定結果 記憶部 3 3に記憶し （ステップ 3 2 6） 、 本処理を終了する。
[0083] つづいて、 図 9に戻り、 運転モードがティーチングモードに設定されてい るか否かを判定し （ステップ 3 5） 、 自動洗浄モードに設定されていれば （ ステップ 3 5 : N 0） 、 後述するステップ 7の処理に進む。 一方、 ティーチ ングモードに設定されていれば （ステップ 3 5 : 丫巳3） 、 ティーチング処 理部 4 9がティーチング処理を実行する （ステップ 3 6） 。 以下、 ステップ 3 6に係るティーチング処理について、 図 1 1 を参照しつつ説明する。
[0084] ティーチング処理では、 まず、 ティーチング処理部 4 9が表示入力手段 2 に判定結果を表示し （ステップ 3 3 1） 、 ユーザによるメッシュ画像の選択 を受け付ける。 このとき、 複数のメッシュサイズについての判定結果があれ ば、 ユーザの目視によって最適なメッシュサイズを選択させ、 当該メッシュ サイズを用いることにより、 切屑情報の判定精度が向上する。 つづいて、 い \¥0 2020/175308 20 卩（：171? 2020 /006748
ずれかのメッシュ画像が選択されたか否かを判定し （ステップ 3 3 2） 、 メ ッシュ画像が選択されなければ （ステップ 3 3 2 : N 0） 、 ティーチングモ —ドを終了しない限り （ステップ 3 3 5 : N 0） 、 メッシュ画像の選択を受 け付ける。
[0085] —方、 ユーザによっていずれかのメッシュ画像が選択されると （ステップ
3 3 2 : 丫巳3） 、 ティーチング処理部 4 9は、 選択されたメッシュ画像に ついての正しい切屑情報をユーザに入力させ、 当該切屑情報を判定結果とし て取得する （ステップ 3 3 3） 。 これにより、 ユーザの目視によって確認 · 訂正された正しい判定結果が判定結果記憶部 3 3に記憶されるとともに （ス テップ3 3 4） 、 当該判定結果が表示入力手段 2に表示される （ステップ 3 3 5） 0
[0086] その後、 ティーチングモードの終了が指示されると （ステップ 3 3 6 : 丫 巳3） 、 所定のタイミングで追加学習部 5 0がバックグラウンドで追加学習 を開始し、 訂正された判定結果を反映させた判定用パラメータを取得すると ともに、 当該判定用パラメータによって判定用パラメータ記憶部 3 2内の判 定用パラメータを更新する （ステップ 3 3 7） 。 以上のようなティーチング 処理を実行することにより、 判定結果の精度が向上するとともに、 個別の機 械、 環境、 加工向けに判定用パラメータを更新することで、 切屑の判定性能 が最適化される。
[0087] つぎに、 図 9に戻り、 ティーチング処理 （ステップ 3 6） の実行後、 また は自動洗浄モードの場合 （ステップ 3 5 : N 0） 、 洗浄要否判定部 4 7が、 切屑の洗浄が必要か否かを判定する （ステップ 3 7） 。 本実施形態では、 洗 浄条件が、 切屑情報とメッシュエリアの位置とを組み合わせて設定されるた め、 検出された切屑の量や位置に応じて効率的に洗浄処理が実行される。
[0088] 例えば、 上述した 3クラスのうち、 クラス 2 （切屑が多い） と判定された メッシュ画像に対応するメッシュエリアのみを洗浄する、 という洗浄条件に してもよく、 テーブル 1 2外のエリアであれば洗浄しない、 という洗浄条件 にしてもよい。 このような洗浄条件を設定することにより、 洗浄にかかる時 間や洗浄液の消費量が抑制される。
[0089] ステップ S 7における判定の結果、 洗浄の必要がなければ （ステップ S 7
: N0） 、 洗浄処理部 48が、 連続洗浄回数および局所連続洗浄回数を初期 化する （ステップ S 1 3） 。 そして、 加工終了が指示されない限り （ステッ プ S 1 5 : N0） 、 ステップ S 1へと戻り、 それ以降の処理が繰り返される 。 これにより、 切屑が除去された状態でワークを加工することが可能になる 〇
[0090] —方、 ステップ S 7における判定の結果、 洗浄が必要であれば （ステップ
S 7 : YES） 、 洗浄処理部 48は、 連続洗浄回数が所定の閾値に到達した か否かを判定する （ステップ S 8） 。 当該判定の結果、 連続洗浄回数が閾値 に到達した場合 （ステップ S 8 : YES） 、 洗浄処理部 48は洗浄動作を行 うことなく異常時処理を実行する （ステップ S 1 4） 。 これにより、 洗浄し たはずの切屑が別のメッシュエリアに移動しただけで、 実際には除去されて いないケースが繰り返され、 いつまでも自動洗浄動作が終了しないケースが 回避される。
[0091] また、 ステップ S 8における判定の結果、 連続洗浄回数が閾値未満でも （ ステップ S 8 : YES） 、 洗浄処理部 48は、 別途、 局所連続洗浄回数が所 定の閾値に到達したか否かを判定する （ステップ S 9） 。 当該判定の結果、 局所連続洗浄回数が閾値に到達した場合にも （ステップ S 9 : YES） 、 洗 浄処理部 48は洗浄動作を行うことなく異常時処理を実行する （ステップ S 1 4） 。 これにより、 ワーク等にこびりついたり、 引っ掛かったりしている 等の理由で、 洗浄による除去が難しい切屑を何回も洗浄しようとするケース や、 治具のビスや機内の汚れ等を切屑と誤検知し、 いつまでも洗浄しようと するケースが回避される。
[0092] _方、 連続洗浄回数および局所連続洗浄回数の双方が閾値未満であれば （ ステップ S 8 : N0, ステップ S 9 : N0） 、 洗浄処理部 48は、 洗浄が必 要と判定されたメッシュ画像のそれぞれに対応するメッシュエリアを算出し （ステップ S 1 0） 、 各メッシュエリアを洗浄手段 1 3によって洗浄する （ \¥0 2020/175308 22 卩（：171? 2020 /006748
ステップ 3 1 1） 。 これにより、 切屑情報に応じて切屑が自動的かつ効率的 に洗浄される。 また、 洗浄が必要なメッシュエリアだけが洗浄されるため、 機内全体を洗浄する場合と比較して、 洗浄液の噴射量が抑制され経済的であ り、 環境にもやさしい。
[0093] 最後に、 洗浄処理部 4 8が、 洗浄回数記憶部 3 5に記憶されている連続洗 浄回数および局所連続洗浄回数のそれぞれを更新した後 （ステップ 3 1 2）
、 ステップ 3 3へと戻り、 それ以降の処理を繰り返す。 これにより、 連続洗 浄回数および局所連続洗浄回数が閾値に到達しない限り、 切屑情報が判定さ れて、 洗浄条件に応じた洗浄が実行される。
[0094] なお、 本実施形態では、 加工終了が指示された場合 （ステップ 3 1 5 : 丫 巳3） 、 本処理が終了する。
[0095] 以上のような本実施形態の切屑検出装置 1、 切屑検出プログラム 1 3およ び切屑検出方法によれば、 以下のような効果を奏する。 1 . 工作機械 1 0に よつてワークを加工した際に生じる切屑を簡単かつ高精度に検出することが できる。 2 . 機械学習を用いて切屑を高精度に検出することができる。 3 . 画像の特徴量を用いて切屑を簡単に検出することができる。 4 . 使用環境や 個別の加工に合わせて判定用パラメータを最適化し、 切屑の検出性能を向上 することができる。 5 . 切屑の背景による影響を低減し、 誤検出を抑制する ことができる。 6 . エリア画像として複数の部分画像を合成して使用する場 合の誤検出を抑制することができる。 7 . 切屑情報に応じて切屑を自動的か つ効率的に洗浄することができる。 8 . 検出された切屑の量や位置に応じて 効率的に洗浄することができる。 9 . 切屑の誤検出等により洗浄動作がいつ までも繰り返されてしまうことを防止することができる。
[0096] なお、 本発明に係る切屑検出装置 1およびこれを備えた工作機械 1 0、 な らびに切屑検出方法は、 上述した実施形態に限定されるものではなく、 適宜 変更することができる。
[0097] 例えば、 上述した本実施形態では、 切屑情報を用いて切屑を洗浄している が、 この構成に限定されるものではなく、 切屑検出装置 1が洗浄機能を有し \¥0 2020/175308 23 卩（：171? 2020 /006748
ている必要はない。 切屑の洗浄機能を設けない場合、 洗浄条件記憶部 3 4、 洗浄回数記憶部 3 5、 洗浄要否判定部 4 7および洗浄処理部 4 8が不要とな り、 図 9に示すフローチヤートでは、 ステップ 3 7からステップ 3 1 4まで の処理が不要となる。
[0098] なお、 切屑情報は、 切屑を洗浄するための情報として利用される以外にも 、 様々な場面で利用することが考えられる。 例えば、 切屑情報によって、 切 屑が大量または頻繁にたまりやすいメッシュエリアが特定できれば、 当該メ ッシュエリアを早めにまたは常に洗浄する等の洗浄条件を設定する際の参考 情報として利用される。 同様に、 切屑がたまりやすいメッシュエリアの情報 に基づいて、 工作機械のベンダが切屑のたまりにくい機械設計を行う際に利 用することも考えられる。
[0099] また、 上述した本実施形態では、 切屑検出装置 1がティーチングモードを 有しているが、 必須の構成ではない。 ティーチングモードが不要であれば、 ティーチング処理部 4 9を設ける必要がなく、 図 9に示すフローチヤートで は、 ステップ 3 5およびステップ 3 6の処理が不要となる。 また、 図 1 1 に 示すティーチング処理も不要となる。
[0100] さらに、 上述した本実施形態では、 連続洗浄回数および局所連続洗浄回数 の双方を用いて洗浄動作を制御しているが、 この構成に限定されるものでは なく、 どちらか一方のみを用いて制御してもよい。 この場合、 図 9に示すフ 口ーチヤートでは、 ステップ 3 8またはステップ 3 9のうち、 いずれか一方 の処理が不要となる。
[0101 ] また、 上述した本実施形態では、 判定用パラメータとして、 学習パラメー 夕を用いているが、 この構成に限定されるものではなく、 メッシュ画像が有 する各種の特徴量に基づいて、 切屑情報を分類するための閾値であってもよ い。 上記特徴量は、 切屑の特徴を表しうる特徴量であれば特に限定されるも のではなく、 メッシュ画像内のエッジ成分の複雑度合、 メッシュ画像内のエ ッジ成分に占める直線成分の割合、 メッシュ画像の明度、 輝度統計量など、 画像処理に利用される各種の特徴量が利用可能である。 \¥0 2020/175308 24 卩（：171? 2020 /006748
[0102] なお、 判定用パラメータとしての閾値は、 サンプル画像を分割して得られ たメッシユ画像のそれぞれについて特徴量のスコアを算出し、 切屑情報の分 類ごとにスコアの集計を行うなどして最適化することによって設定してもよ く、 複数の特徴量を組み合わせて設定するようにしてもよい。
[0103] また、 上述した本実施形態では、 切屑情報として、 切屑の洗浄のし易さを 示す 「クラス」 を判定しているが、 これに限定されるものではなく、 切屑の 有無、 切屑の量、 切屑の形状、 切屑の種類またはこれらの組み合わせ等でも よい。 例えば、 切屑の量および形状を切屑情報とした場合には、 切屑の量が 少ないメッシユエリアであっても、 洗浄しにくい形状の切屑であれば洗浄す る、 という洗浄条件を設定することもできる。
[0104] さらに、 上述した実施形態では、 切屑検出装置 1が新たな教師データを口 —カルで追加学習可能に構成されているが、 この構成に限定されるものでは なく、 切屑検出装置 1 とネッ トワーク接続された学習装置に教師データを送 信し、 追加学習させるようにしてもよい。 また、 複数の切屑検出装置 1から 追加学習用の教師データを学習装置に集約し、 追加学習させて得られた学習 パラメータ （判定用パラメータ） を共有化し、 汎用性を向上するようにして もよい。
[0105] さらに、 上述した切屑検出装置 1で用いる判定用パラメータを導き出すた めの学習用画像を図 1 2に示すような学習用画像合成装置 1 2 0 0で生成し てもよい。 学習用画像合成装置 1 2 0 0は、 様々な切屑を表わす切屑画像を 記憶する切屑画像記憶部 1 2 0 1 と、 様々な機内を撮像した背景画像を記憶 する背景画像記憶部 1 2 0 2と、 を有する。 さらに、 学習用画像合成装置 1 2 0 0は、 切屑画像と背景画像をランダムに合成して学習用画像を生成する 画像生成部 1 2 0 3を有する。
[0106] 切屑画像は、 実際の切屑を無背景で撮像した撮像画像でもよい。 また、 背 景画像は、 実際の機内を撮像した撮像画像でもよい。 画像生成部 1 2 0 3は 、 切屑画像を、 ランダムではあるが、 できるだけ本当にばらまかれているよ うに、 機内の写真に合成して、 複数の環境パターンを作り出し、 数多くの学 \¥0 2020/175308 25 卩（：171? 2020 /006748
習用の教師データを自動的に作る。 これにより学習データを容易に用意する ことが可能になる。
[0107] さらに、 画像生成部 1 2 0 3は、 背景画像に対して、 傷などを作り出す。
できるだけたくさんのバターンを用意しておく。
[0108] 学習用画像合成装置 1 2 0 0で生成された学習用画像は、 学習装置 1 2 5 〇に提供され、 学習用画像記憶部 1 2 5 1 に記憶される。 そして、 判定用パ ラメータ導出部 1 2 5 2によって、 判定用パラメータの導出に用いられる。 判定用パラメータは、 切屑判定モデル導出部 1 2 5 3に提供され、 切屑判定 モデルを生成するために用いられる。
学習用画像合成装置 1 2 0 0は、 ネッ トワーク 1 2 6 0を介して、 切屑判 定モデルを切屑検出装置 1 に提供してもよい。
[0109] なお、 学習用画像合成装置 1 2 0 0および学習装置 1 2 5 0は、 切屑検出 装置 1内に設けられてもよいが、 その場合、 切屑検出装置 1 に高速な◦ II などのリソースが備わっていることが必要になる。
[01 10] さらに、 工作機械の機内の実際の画像を、 ネッ トワーク 1 2 6 0を介して 学習用画像合成装置 1 2 0 0に送り、 背景画像記憶部 1 2 0 2に記憶しても よい。 その場合、 より精度の高い教師データ （学習用画像） を生成すること が可能になる。
[01 1 1 ] 切屑画像記憶部 1 2 0 1は、 色、 形、 大きさが異なる様々な切屑の画像を 記憶していることが好ましい。 さらに、 クーラントがかかっている切屑の画 像、 クーラントがかかっていない切屑の画像、 を記憶していることが好まし い。
[01 12] 背景画像記憶部 1 2 0 2に記憶された背景画像は、 切屑が多い領域、 少な い領域、 切屑がない領域に分類されており、 切屑画像との合成時に、 各領域 で重み付けを変えて、 合成してもよい。
[01 13] 画像生成部 1 2 0 3は、 背景画像に、 塗装はげ、 傷、 シミなどの加工を加 えた上で、 切屑画像と合成してもよい。 合成する際に、 切屑画像のサイズを 変えたり回転させたりしてもよい。 画像生成部 1 2 0 3は、 合成後の画像の \¥0 2020/175308 26 卩（：171? 2020 /006748
全体の色、 明るさ、 照明の当たり具合などを変えて複数種類の学習用画像を 生成することが好ましい。
[01 14] 画像生成部 1 2 0 3は、 合成時に、 メッシュ画像の領域ごとに、 切屑の有 無を表わす正解データを用意して貼り付ける。
[01 15] 学習用画像合成装置 1 2 0 0は、 様々な機種の背景画像と、 様々な切屑画 像と、 様々に重み付けや密度を変えて組み合わせて、 さらに様々な効果 （明 るさ、 クーラントミストのかかりかた） をかけて、 非常に多くの教師データ を作る。 学習用画像合成装置 1 2 0 0は、 機種ごとに分類して学習用画像を 生成してもよい。
[01 16] 以上の構成によれば、 非常に効率的に教師データを生成することができる
[01 17] また、 上述した本実施形態では、 数値制御装置の一機能として切屑検出装 置 1 を実現させているが、 この構成に限定されるものではない。 すなわち、 数値制御装置とは別個独立のコンピュータによって切屑検出装置 1 を構成し てもよい。
[01 18] なお、 上述した実施形態の説明は、 全ての点で例示であって制限的なもの ではなく、 当業者にとって変形および変更が適宜可能である。 本発明の範囲 は、 上述した実施形態ではなく、 特許請求の範囲によって示される。 さらに 、 本発明の範囲には、 特許請求の範囲と均等の範囲内での実施形態からの変 更が含まれる。
[01 19] この出願は、 2 0 1 9年2月 2 5日に出願された日本出願特願 2 0 1 9 - 0 3 1 1 2 7を基礎とする優先権を主張し、 その開示の全てをここに取り込 む。

Claims

\¥0 2020/175308 27 卩（：17 2020 /006748 請求の範囲
[請求項 1 ] 工作機械によってワークを加工した際に生じる切屑を検出する切屑 検出装置であって、
前記切屑を検出する対象エリァを撮影したエリァ画像の少なくとも 一部を所定のメッシュサイズで複数のメッシュ画像に分割処理するメ ッシュ分割部と、
前記切屑に関する切屑情報を判定するためにあらかじめ設定された 判定用パラメータを用いて、 前記メッシュ画像のそれぞれについて前 記切屑情報を判定する切屑情報判定部と、 を有する、 切屑検出装置
[請求項 2] 前記判定用パラメータは、 前記メッシュ画像と前記切屑情報とのセ ッ トからなる教師データを用いた事前学習によって得られる学習パラ メータであり、
前記切屑情報判定部は、 前記学習パラメータが適用された切屑判定 モデルに、 前記メッシュ画像を入力することにより、 前記メッシュ画 像のそれぞれについて前記切屑情報を出力する、 請求項 1 に記載の切 屑検出装置。
[請求項 3] 前記判定用パラメータは、 前記メッシュ画像が有する特徴量に基づ いて、 前記切屑情報を分類するための閾値であり、 前記切屑情報判定部は、 前記特徴量と前記閾値との大小関係に基づ いて、 前記メッシュ画像のそれぞれについて前記切屑情報を出力する 、 請求項 1 に記載の切屑検出装置。
[請求項 4] 前記メッシュ画像のそれぞれについて、 前記切屑情報判定部による 判定結果を表示手段に表示させ、 任意の前記メッシュ画像が選択され た場合、 当該メッシュ画像の正しい判定結果を取得して前記判定結果 を訂正するティーチング処理部と、
前記ティーチング処理部によって訂正された判定結果と前記メッシ ュ画像とのセッ トからなる教師データを前記切屑判定モデルに追加学 \¥0 2020/175308 28 卩（：171? 2020 /006748
習させ、 得られた学習パラメータを新たな判定用パラメータとして取 得する追加学習部と、
を有する、 請求項 2に記載の切屑検出装置。
[請求項 5] 前記メッシュサイズを選択するメッシュサイズ選択部を有しており 前記メッシュサイズ選択部は、 前記切屑、 ワークおよび治具の各サ イズに基づいて、 前記切屑の形状を認識しうる程度のメッシュサイズ であって、 かつ、 前記メッシュ画像において前記切屑の背景となるワ —クや治具のエッジ形状が単純化される程度のメッシュサイズを選択 する、 請求項 1から請求項 4のいずれかに記載の切屑検出装置。
[請求項 6] 前記エリア画像を取得する画像データ取得部を有しており、
前記画像データ取得部が複数の部分画像を合成して前記エリア画像 を取得する場合、 前記メッシュ分割部は分割処理に際して、 以下のい ずれかの処理を実行する、 請求項 1から請求項 5のいずれかに記載の 切屑検出装置；
( 0 前記部分画像と他の部分画像との境界部分に重複がない場合 、 前記メッシュ画像の境界線を各部分画像の境界線と一致させる ； ( |〇 前記部分画像と他の部分画像との境界部分に重複がある場合 、 いずれか一方の部分画像のみから前記境界部分を含むメッシュ画像 を切り出す。
[請求項 7] 前記切屑情報を用いた洗浄条件に基づいて、 前記メッシュ画像のそ れぞれについて、 前記切屑の洗浄が必要か否かを判定する洗浄要否判 定部と、
洗浄が必要と判定されたメッシュ画像に対応するメッシュエリアの 位置を算出し、 当該メッシュエリアに向けて、 洗浄手段から洗浄液を 噴射させる洗浄処理部と、
を有する、 請求項 1から請求項 6のいずれかに記載の切屑検出装置 \¥0 2020/175308 29 卩（：171? 2020 /006748
[請求項 8] 前記洗浄条件として、 前記切屑情報と前記メッシユエリアの位置と を組み合わせた条件が設定されている、 請求項 7に記載の切屑検出装 置。
[請求項 9] 前記洗浄処理部は、 前記対象エリア内を連続して洗浄した連続洗浄 回数、 および同一の前記メッシュエリアを連続して洗浄した局所連続 洗浄回数が、 所定の閾値未満の場合に洗浄を実施し、 前記連続洗浄回 数および前記局所連続洗浄回数のうち少なくとも一方が、 所定の閾値 に到達した場合、 所定の異常時処理を実行する、 請求項 7または請求 項 8に記載の切屑検出装置。
[請求項 10] 請求項 1から請求項 9のいずれかに記載の切屑検出装置を備えるエ 作機械。
[請求項 1 1 ] 工作機械によってワークを加工した際に生じる切屑を検出する切屑 検出方法であって、
前記切屑を検出する対象エリアを撮影したエリア全体画像の少なく とも一部を所定のメッシュサイズで複数のメッシュ画像に分割処理す るメッシュ分割ステップと、
前記切屑に関する切屑情報を判定するためにあらかじめ設定された 判定用パラメータを用いて、 前記メッシュ画像のそれぞれについて前 記切屑情報を判定する切屑情報判定ステップと、
を有する、 切屑検出方法。
[請求項 12] 工作機械の機内を撮影した画像の少なくとも一部を複数のメッシュ 画像に分割するメッシュ分割部と、 前記メッシュ画像のそれぞれにつ いて、 判定用パラメータを用いて、 前記工作機械によってワークを加 エした際に生じた切屑の有無を判定する判定部と、 を有する切屑検出 装置に提供する前記判定パラメータを導くための学習用画像を生成す る学習用画像合成装置であって、
切屑を表わす切屑画像を、 機内を撮像した背景画像に対して、 ラン ダムに合成して学習用画像を生成する学習用画像合成装置。
PCT/JP2020/006748 2019-02-25 2020-02-20 切屑検出装置、工作機械、切屑検出方法、学習用画像合成装置 Ceased WO2020175308A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/433,873 US12340494B2 (en) 2019-02-25 2020-02-20 Chip detection apparatus, machine tool, chip detection method, and learning image composition apparatus
JP2020542668A JP7634140B2 (ja) 2019-02-25 2020-02-20 切屑検出装置
JP2022083536A JP7503593B2 (ja) 2019-02-25 2022-05-23 情報処理装置、情報処理方法およびプログラム
JP2024093822A JP2024103815A (ja) 2019-02-25 2024-06-10 情報処理装置
US19/218,640 US20250285257A1 (en) 2019-02-25 2025-05-27 Chip detection apparatus, machine tool, chip detection method, and learning image composition apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-031127 2019-02-25
JP2019031127 2019-02-25

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/433,873 A-371-Of-International US12340494B2 (en) 2019-02-25 2020-02-20 Chip detection apparatus, machine tool, chip detection method, and learning image composition apparatus
US19/218,640 Continuation US20250285257A1 (en) 2019-02-25 2025-05-27 Chip detection apparatus, machine tool, chip detection method, and learning image composition apparatus

Publications (1)

Publication Number Publication Date
WO2020175308A1 true WO2020175308A1 (ja) 2020-09-03

Family

ID=72238859

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006748 Ceased WO2020175308A1 (ja) 2019-02-25 2020-02-20 切屑検出装置、工作機械、切屑検出方法、学習用画像合成装置

Country Status (3)

Country Link
US (2) US12340494B2 (ja)
JP (3) JP7634140B2 (ja)
WO (1) WO2020175308A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210158506A1 (en) * 2019-11-21 2021-05-27 Fanuc Corporation Control device and recording medium storing program
KR102419738B1 (ko) * 2021-08-31 2022-07-12 주식회사 별하늘친구 인공지능을 이용하는 얼룩검사 학습을 위한 이미지 데이터를 생성하는 방법
WO2022244070A1 (ja) * 2021-05-17 2022-11-24 ファナック株式会社 稼働状況表示装置、およびコンピュータ読み取り可能な記憶媒体
JP2023168068A (ja) * 2022-05-13 2023-11-24 Ｊｆｅスチール株式会社 画像解析装置、機械の評価装置、及び機械の診断方法
CN117400065A (zh) * 2023-11-08 2024-01-16 珠海格力智能装备技术研究院有限公司 基于图像识别的数控机床的切削质量确定方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7065262B2 (ja) * 2019-12-09 2022-05-11 Dmg森精機株式会社 情報処理装置、工作機械及び情報処理システム
JP7762678B2 (ja) * 2022-03-28 2025-10-30 日本碍子株式会社 ワークの検査装置及び方法
JP7782409B2 (ja) * 2022-10-18 2025-12-09 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US12367587B2 (en) * 2023-01-03 2025-07-22 Fair Isaac Corporation Segmentation using zero value features in machine learning
JP7717108B2 (ja) * 2023-03-29 2025-08-01 日本碍子株式会社 ハニカム構造体の製造方法及び検査装置
KR102892131B1 (ko) * 2023-12-28 2025-11-28 주식회사 딥인스펙션 생성형 인공지능 기반 인프라시설의 자동 메쉬생성 및 노이즈필터를 포함한 디지털트윈 모델 구축 시스템
WO2025154142A1 (ja) * 2024-01-15 2025-07-24 ファナック株式会社 異常判定装置および工作機械
TWI904704B (zh) * 2024-06-05 2025-11-11 國立勤益科技大學 機械精密加工之排屑系統節能控制方法
WO2026062989A1 (ja) * 2024-09-19 2026-03-26 ジヤトコ株式会社 発生源特定システム及び発生源特定方法
JP7818689B1 (ja) * 2024-12-24 2026-02-20 Dmg森精機株式会社 工作機械および工作機械の加工室内の洗浄方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03184747A (ja) * 1989-12-13 1991-08-12 Osaka Kiko Co Ltd 工作機械における工作物の自動照合認識装置
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP2015026369A (ja) * 2013-06-20 2015-02-05 株式会社パスコ 林相解析装置、林相解析方法及びプログラム
JP2016191979A (ja) * 2015-03-30 2016-11-10 エヌ・ティ・ティ・コムウェア株式会社 感性評価装置、感性評価方法、およびプログラム
WO2017078072A1 (ja) * 2015-11-06 2017-05-11 クラリオン株式会社 物体検知方法及び物体検知システム
JP2017094420A (ja) * 2015-11-20 2017-06-01 ファナック株式会社 工作機械
JP2018024094A (ja) * 2017-11-14 2018-02-15 ファナック株式会社 工作機械の洗浄システム
JP2018097506A (ja) * 2016-12-12 2018-06-21 株式会社日立製作所 衛星画像処理システム及び方法
JP2018156317A (ja) * 2017-03-16 2018-10-04 阪神高速技術株式会社 ひび割れ検出処理装置、およびひび割れ検出処理プログラム
JP2019016249A (ja) * 2017-07-10 2019-01-31 住友電気工業株式会社 判定装置、判定方法および判定プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3502422B2 (ja) * 1993-10-06 2004-03-02 東芝機械株式会社 工作機械の切屑除去装置
JP4085844B2 (ja) 2003-03-03 2008-05-14 松下電工株式会社 画像処理装置
JP4680026B2 (ja) 2005-10-20 2011-05-11 株式会社日立ソリューションズ 画像間変化抽出支援システム及び方法
JP5893719B1 (ja) * 2014-12-25 2016-03-23 ファナック株式会社 異物の有無を確認する視覚センサを備えたワーク着脱手段付加工装置
JP2017107455A (ja) 2015-12-10 2017-06-15 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
RU2694021C1 (ru) * 2015-12-14 2019-07-08 Моушен Метрикс Интернешэнл Корп. Способ и устройство идентификации частей фрагментированного материала в пределах изображения
JP6557183B2 (ja) * 2016-06-28 2019-08-07 ファナック株式会社 切削加工工具の寿命判定装置、寿命判定方法及びプログラム
JP6502983B2 (ja) * 2017-03-15 2019-04-17 ファナック株式会社 洗浄工程最適化装置及び機械学習装置
CN109426771A (zh) * 2017-08-24 2019-03-05 日立汽车系统株式会社 对车辆周围的小物体区域进行识别的装置和方法
US10692221B2 (en) * 2018-07-13 2020-06-23 Adobe Inc. Automatic trimap generation and image segmentation
JP6922051B1 (ja) * 2020-08-06 2021-08-18 Dmg森精機株式会社 情報処理装置、工作機械及びプログラム
JPWO2022044882A1 (ja) * 2020-08-24 2022-03-03

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03184747A (ja) * 1989-12-13 1991-08-12 Osaka Kiko Co Ltd 工作機械における工作物の自動照合認識装置
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP2015026369A (ja) * 2013-06-20 2015-02-05 株式会社パスコ 林相解析装置、林相解析方法及びプログラム
JP2016191979A (ja) * 2015-03-30 2016-11-10 エヌ・ティ・ティ・コムウェア株式会社 感性評価装置、感性評価方法、およびプログラム
WO2017078072A1 (ja) * 2015-11-06 2017-05-11 クラリオン株式会社 物体検知方法及び物体検知システム
JP2017094420A (ja) * 2015-11-20 2017-06-01 ファナック株式会社 工作機械
JP2018097506A (ja) * 2016-12-12 2018-06-21 株式会社日立製作所 衛星画像処理システム及び方法
JP2018156317A (ja) * 2017-03-16 2018-10-04 阪神高速技術株式会社 ひび割れ検出処理装置、およびひび割れ検出処理プログラム
JP2019016249A (ja) * 2017-07-10 2019-01-31 住友電気工業株式会社 判定装置、判定方法および判定プログラム
JP2018024094A (ja) * 2017-11-14 2018-02-15 ファナック株式会社 工作機械の洗浄システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210158506A1 (en) * 2019-11-21 2021-05-27 Fanuc Corporation Control device and recording medium storing program
US11657490B2 (en) * 2019-11-21 2023-05-23 Fanuc Corporation Control device for controlling machine tool capable of alarm stop and non-transitory computer readable medium recording a program
WO2022244070A1 (ja) * 2021-05-17 2022-11-24 ファナック株式会社 稼働状況表示装置、およびコンピュータ読み取り可能な記憶媒体
JPWO2022244070A1 (ja) * 2021-05-17 2022-11-24
JP7688121B2 (ja) 2021-05-17 2025-06-03 ファナック株式会社 稼働状況表示装置、およびコンピュータ読み取り可能な記憶媒体
KR102419738B1 (ko) * 2021-08-31 2022-07-12 주식회사 별하늘친구 인공지능을 이용하는 얼룩검사 학습을 위한 이미지 데이터를 생성하는 방법
JP2023168068A (ja) * 2022-05-13 2023-11-24 Ｊｆｅスチール株式会社 画像解析装置、機械の評価装置、及び機械の診断方法
JP7582250B2 (ja) 2022-05-13 2024-11-13 Ｊｆｅスチール株式会社 画像解析装置、機械の評価装置、及び機械の診断方法
CN117400065A (zh) * 2023-11-08 2024-01-16 珠海格力智能装备技术研究院有限公司 基于图像识别的数控机床的切削质量确定方法及装置

Also Published As

Publication number Publication date
JP2022116122A (ja) 2022-08-09
JPWO2020175308A1 (ja) 2021-03-11
JP7503593B2 (ja) 2024-06-20
JP2024103815A (ja) 2024-08-01
JP7634140B2 (ja) 2025-02-21
US20250285257A1 (en) 2025-09-11
US20220237767A1 (en) 2022-07-28
US12340494B2 (en) 2025-06-24

Similar Documents

Publication Publication Date Title
JP7634140B2 (ja) 切屑検出装置
CN1699916B (zh) 从由机器视觉检查系统执行的检查操作中排除无关特征的系统和方法
JP6239232B2 (ja) 高性能エッジフォーカスツール
JP6792980B2 (ja) マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム
JP6774588B1 (ja) 工作機械およびその制御方法
JP6071452B2 (ja) マシンビジョンシステムのパートプログラム編集環境内で編集初期化ブロックを利用するシステム及び方法
CN114746213B (zh) 显示装置、机床及液体的放出方法
EP1622082A2 (en) Method of measuring occluded features for high precision machine vision metrology
EP1653407A2 (en) Method of filtering an image for high precision machine vision metrology
WO2022044882A1 (ja) 情報処理装置及び工作機械
JP2022180272A (ja) 情報処理装置
JP2021126713A (ja) 情報処理装置及び情報処理システム
JP6922051B1 (ja) 情報処理装置、工作機械及びプログラム
JP6887033B1 (ja) 画像処理装置、工作機械および画像処理方法
JP6774587B1 (ja) 工作機械
JP6788758B1 (ja) 情報処理装置および工作機械
US9167215B2 (en) Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
CN114746212B (zh) 显示装置、机床及液体的放出方法
CN111275022B (zh) 基于遗忘因子型经验模态分解的污渍检测分析方法及应用
CN113592800A (zh) 基于动态扫描参数的图像扫描方法及装置
Neufeld et al. Mixed Initiative Interactive Edge Detection.
WO2025022595A1 (ja) 切粉堆積領域推定装置、切粉堆積領域推定方法及び切粉除去装置
Dayrit et al. Vision Algorithm and Optimization Process
JP2023140007A (ja) 切削加工システム、制御方法、プログラム及び制御システム
CN121776938A (zh) 一种铝合金框类零件自清洁方法、系统及介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020542668

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20763882

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20763882

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17433873

Country of ref document: US