WO2021161592A1 - 情報処理装置及び情報処理システム - Google Patents

情報処理装置及び情報処理システム Download PDF

Info

Publication number
WO2021161592A1
WO2021161592A1 PCT/JP2020/041227 JP2020041227W WO2021161592A1 WO 2021161592 A1 WO2021161592 A1 WO 2021161592A1 JP 2020041227 W JP2020041227 W JP 2020041227W WO 2021161592 A1 WO2021161592 A1 WO 2021161592A1
Authority
WO
WIPO (PCT)
Prior art keywords
mesh
detection target
information processing
mesh region
image data
Prior art date
Application number
PCT/JP2020/041227
Other languages
English (en)
French (fr)
Inventor
建太 神藤
Original Assignee
Dmg森精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dmg森精機株式会社 filed Critical Dmg森精機株式会社
Priority to EP20919055.2A priority Critical patent/EP4104967A4/en
Priority to CN202080096204.3A priority patent/CN115103737B/zh
Priority to US17/797,759 priority patent/US20230076772A1/en
Publication of WO2021161592A1 publication Critical patent/WO2021161592A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2409—Arrangements for indirect observation of the working space using image recording means, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P70/00—Climate change mitigation technologies in the production process for final industrial or consumer products
    • Y02P70/10—Greenhouse gas [GHG] capture, material saving, heat recovery or other energy efficient measures, e.g. motor control, characterised by manufacturing processes, e.g. for rolling metal or metal working

Definitions

  • This disclosure relates to information processing devices and information processing systems.
  • Patent Document 1 describes a technique for detecting a state of chip accumulation inside a machine and cleaning a portion where it is determined that chip removal is necessary.
  • the information processing device of the present disclosure is an information processing device (10) that identifies a position of a detection target from image data captured by an image pickup unit in a machine tool including an image pickup unit that images the inside, and is at least one of the image data.
  • the specific unit includes an image generation unit (102) that generates a mesh image in which the unit is divided into a plurality of mesh regions, and a specific unit (103) that specifies the position of a detection target with respect to the first mesh region of the mesh image. , The position is specified by using the first mesh region and the second mesh region which is shifted by a predetermined amount from the first mesh region and partially overlaps with the first mesh region.
  • the present disclosure can also provide an information processing system.
  • the information processing system or information processing method of the present disclosure includes an imaging step of imaging the inside of a machine tool, an image generation step of generating a mesh image in which at least a part of the captured image data is divided into a plurality of mesh regions, and the above-mentioned. It has a specific step of specifying the position of the detection target with respect to the first mesh region of the mesh image.
  • the specific step uses the first mesh region and the second mesh region which is deviated by a predetermined amount from the first mesh region and partially overlaps with the first mesh region, and is the detection target from the image data. It is characterized by specifying the position.
  • the machine tool of the present disclosure is a machine tool that processes a work, and is an image generation unit and an image generation unit that generates a mesh image in which at least a part of image data captured by the image pickup unit is divided into a plurality of mesh regions. And, from the plurality of first mesh regions that are each mesh region of the mesh image, the plurality of first mesh regions and the plurality of first mesh regions and a part thereof are shifted by a predetermined amount from the plurality of first mesh regions.
  • the second mesh region in which a part of the first mesh region overlaps even when the existence of the detection target is not specified in the first mesh region by using a plurality of second mesh regions in which the first mesh regions overlap.
  • the liquid is discharged into the specific portion where the detection target exists in the first mesh region and the first mesh region where the existence of the detection target is specified. It has a part and.
  • the information processing device is an information processing device that identifies the existence of a detection target from image data captured by the image pickup unit in a machine tool including an image pickup unit that images the inside. It includes an image generation unit that generates a mesh image in which at least a part of the image data is divided into a plurality of first mesh regions, and a specific unit that identifies the existence of a detection target from each of the first mesh regions of the mesh image. Even when the existence of the detection target is not specified from each of the first mesh regions, the specific portion has the same size as the first mesh region and a predetermined amount from the plurality of first mesh regions.
  • the existence of the detection target is specified from at least one of a plurality of second mesh regions provided so as to be staggered and partially overlap the first mesh region.
  • the detection target exists in the second mesh region, or when the detection target exists in at least one of a plurality of first mesh regions overlapping the second mesh region in which the presence of the detection target is specified. It is characterized by being identified. At this time, it may be specified that the detection target exists in the first mesh region group in which a plurality of first mesh regions overlapping the second mesh region in which the existence of the detection target is specified are grouped together.
  • an imaging step for imaging the inside of a machine tool and a mesh in which at least a part of the captured image data is divided into a plurality of first mesh regions.
  • an image generation step for generating an image and a specific step for identifying the existence of a detection target from each of the first mesh regions of the mesh image, and the specific step is a detection target from each of the first mesh regions. Even if the existence is not specified, the size is the same as that of the first mesh region, the first mesh region is displaced by a predetermined amount, and the first mesh region is partially overlapped with the first mesh region.
  • the detection target exists in the second mesh region in which the existence of the detection target is specified, or the detection target is specified. It is characterized in that it is specified that the detection target exists in at least one of a plurality of first mesh regions that overlap with the second mesh region in which the existence of the detection target is specified. At this time, it may be specified that the detection target exists in the first mesh region group in which a plurality of first mesh regions overlapping the second mesh region in which the existence of the detection target is specified are grouped together.
  • the machine tool is, more specifically, a machine tool for processing a work, and a plurality of image data of an imaging unit and at least a part of image data in the machine tool imaged by the imaging unit.
  • the existence of the detection target is specified from the image generation unit that generates the mesh image divided into the first mesh region and each of the first mesh regions of the mesh image, and the existence of the detection target is present from each of the first mesh regions. Even if they are not specified, they are provided so as to have the same size as the first mesh region, deviate from the plurality of first mesh regions by a predetermined amount, and partially overlap the first mesh region.
  • the detection target exists in the second mesh region in which the existence of the detection target is specified, or the detection target is specified.
  • a liquid discharging portion for discharging the liquid is provided at a position corresponding to the second mesh region.
  • the specific unit may detect the abundance of the detection target in addition to or instead of specifying the existence of the detection target.
  • the specific step may detect the abundance of the detection target in addition to or instead of identifying the presence of the detection target.
  • the priority of the position where the liquid is discharged from the liquid discharge portion is determined based on the abundance of the detection target. May be good. The priority may be higher as the abundance is higher, or the liquid may be discharged in descending order of priority. Further, when the abundance of the detection target in the first mesh region or the second mesh region is smaller than a predetermined threshold value, it may be determined that the detection target does not exist in the mesh region.
  • the abundance of the detection target may be detected as any numerical value. Specifically, the abundance amount may be detected as a physical quantity such as mass or weight (for example, 96 g), or may be detected as an abundance probability (for example, 0.96) in a mesh region, and an image occupancy rate (for example, 0.96 g) may be detected. It may be detected as a ratio such as 96%), or may be detected as another quantity.
  • detection is used as a concept that includes judgment, identification, and other processes depending on the situation.
  • the "machine tool” described below is a machine tool that processes a work such as metal to be processed into a desired shape by cutting, grinding, or the like. Further, the "information processing device” and the “information processing system” specify the position of the detection target from the imaged data obtained by imaging the inside of the machine tool.
  • the "detection target" of the information processing apparatus is, for example, chips generated by machining from a work that is a machining target of a machine tool and accumulated in the machine tool, or scratches generated on the work by machining.
  • the "mesh area” means a part of the image obtained by dividing the image data. By dividing the image of 1, the image of 1 can be divided into a plurality of mesh regions.
  • the machine tool 1 processes the target work. Due to the processing of the work, chips generated by separating a part of the work are accumulated inside the machine tool 1.
  • the machine tool 1 includes a numerical control device 2 that controls the drive of a spindle for machining, a liquid discharge unit 3 that discharges a liquid that moves chips generated by machining, and an image pickup that captures the inside of the machine tool 1.
  • a unit 4 and a machine coordinate acquisition unit 5 are provided.
  • the machine tool 1 stores an information processing device 10 that identifies the position of a detection target from image data captured by the imaging unit 4, and a storage that stores control signals and calculation results by the machine machine 1 and the information processing device 10. It is connected to the device 6.
  • the numerical control device 2 transmits a control signal of the motor of the machine tool 1 or the like to each part. As will be described later, this control signal is generated and transmitted based on processing by the information processing apparatus 10.
  • the liquid discharge unit 3 discharges the liquid in order to move the chips accumulated inside the machine tool 1 under the control of the numerical control device 2. As will be described later, a control signal generated by the nozzle control unit 104 of the information processing device 10 is input to the liquid discharge unit 3 via the numerical control device 2. The machine tool 1 can collect the chips thus moved and discharge them to the outside outside the machining area.
  • the liquid discharge unit 3 includes, for example, a nozzle capable of discharging the liquid, an actuator for driving the nozzle, and a pump for pumping the liquid from the liquid storage unit for storing the liquid, and the liquid is transferred from the nozzle to chips. Is released.
  • a coolant for cooling and lubricating a work, a processing means, or the like that generates heat during processing may be used, or another liquid may be used.
  • a coolant as a liquid for moving chips
  • the liquid discharge unit 3 can clean a wide area inside the machine tool 1, for example, the position and orientation of the nozzle and the liquid discharge pressure can be adjusted.
  • the machine tool 1 can include a plurality of liquid discharge units 3.
  • the image pickup unit 4 is, for example, a camera provided with an image pickup element such as a CCD or CMOS.
  • the imaging unit 4 can image the inside of the machine tool 1 at a predetermined timing.
  • the imaging unit 4 is an internal image of the machine tool 1, and has an imaging range of a target area for detecting chips generated from the work. Further, the image pickup unit 4 outputs the obtained image data to the information processing device 10. For example, the imaging unit 4 images the work at regular timings during processing. Further, the imaging unit 4 may take an image at a timing before the processed work is removed from the machine tool 1 and a new work is placed.
  • the machine tool 1 can be provided with a plurality of imaging units 4 in order to be able to grasp a wide range of states.
  • the machine coordinate acquisition unit 5 acquires machine coordinates representing the positions of moving parts such as the pallet 14, the table 16, and the spindle 22, which will be described later with reference to FIG. 2, in the structure of the machine tool 1. do.
  • the machine coordinate acquisition unit 5 transmits the acquired machine coordinates to the information processing device 10.
  • the machine coordinates may be obtained by using, for example, the position information included in the control signal generated for control by the numerical control device 2 for processing, or by using some kind of sensor.
  • FIG. 2 is a captured image of the inside of the machine tool 1, showing a pallet 14, a cover 15, a table 16, a swivel door 17, a side surface 18, a slope 19, a protector 20, a shooter 21, and a spindle 22.
  • the long shaft 23 of the spindle 22 shown in FIG. 2 is the front-rear direction inside the machine tool 1
  • the root side of the spindle 22 is the front side
  • the tip side is the back side.
  • the horizontal direction orthogonal to the main axis 22 is defined as the left-right direction
  • the vertical direction orthogonal to the long axis 23 is defined as the vertical direction.
  • the pallet 14 is a table on which a work is placed and fixed.
  • the machine tool 1 may be provided with a plurality of pallets 14. As a result, when changing the work to be machined, the work can be changed by changing the pallet 14, and time efficiency can be improved.
  • the cover 15 is a component located on the left and right sides of the pallet 14.
  • the table 16 can be moved in the front-rear direction, whereby the work fixed on the pallet 14 can be moved.
  • the table can rotate at least a part of the table in the horizontal direction, whereby the work fixed on the pallet can be rotated.
  • the table 16 is a part to which the pallet 14 can be attached.
  • the table 16 can be moved in the front-rear direction, whereby the work fixed on the pallet 14 can be moved. Further, the table 16 can rotate at least a part of the table 16 in the horizontal direction, whereby the work fixed on the pallet 14 can be rotated.
  • the swivel door 17 is a door that can rotate around the shaft 25.
  • the cover 15 separates the pallet 14 from the table 16 and rotates with the pallet 14 and the cover 15.
  • the pallet 14 in which the work has been machined can be carried out to the pallet storage unit, and the pallet 14 to which the work to be machined next is fixed can be carried in from the pallet storage unit into the machine tool 1.
  • Covers 15 may be provided on both the inside of the machine tool 1 and the storage portion side of the swivel door 17, and the pallet 14 may be carried in and out at the same time by rotating the swivel door 17 by 180 °.
  • the side surface 18 is a wall that can be opened and closed of the machine tool 1.
  • the side surface 18 divides the inside and the outside of the machine tool 1, and when the side surface 18 is opened, an operator can enter the inside of the machine tool 1.
  • a side surface 18 (not shown) located at a position facing the side surface 18 separates the inside of the machine tool 1 and the tool storage portion.
  • the tool compartment stores a plurality of tools, and during machining, the side surface 18 opens as needed to replace the tool attached to the spindle 22 with another tool stored in the tool storage unit. be able to.
  • the shooter 21 is a place where chips flow due to cleaning.
  • the side surface 18 and the protector 20 are provided on the lower side of the swivel door 17 and the side surface 18, and are inclined downward toward the shooter 21 so that chips can easily flow to the shooter 21.
  • the work can be machined by attaching a tool to the tip of the spindle 22 and rotating it around its long axis 23.
  • the spindle 22 has a cylindrical outer shape.
  • the information processing device 10 detects a detection target from the imaged data captured inside the machine tool 1.
  • the information processing device 10 includes a calculation unit 100, a storage unit 110, an input unit 120, a display unit 130, and a communication unit 140.
  • the information processing device 10 is, for example, an information processing device such as a computer or a tablet terminal.
  • the information processing device 10 may be configured to be included in the machine tool 1, or may be configured separately from the machine tool 1 such as a personal computer. In the latter case, the information processing device 10 and the machine tool 1 can perform wired communication or wireless communication.
  • the information processing device 10 may have a configuration in which, for example, the input unit 120 and the display unit 130 are not included in the information processing device 10 of FIG.
  • the machine tool 1 may include the input unit 120 and the display unit 130.
  • the input unit 120 and the display unit 130 may be operation panels of a machine tool.
  • the input unit 120 and the display unit 130 may be provided in the information processing device 10 and the machine tool 1, respectively, and may be configured so that the user can select and use an arbitrary input unit 120 and the display unit 130.
  • the calculation unit 100 is a controller that controls the entire information processing device 10.
  • the calculation unit 100 reads and executes the control program P stored in the storage unit 110 to execute the processing as the image generation unit 102, the specific unit 103, the nozzle control unit 104, and the output control unit 105.
  • the arithmetic unit 100 is not limited to one that realizes a predetermined function by the cooperation of hardware and software, and may be a hardware circuit specially designed to realize a predetermined function. That is, the arithmetic unit 100 can be realized by various processors such as a CPU, MPU, GPU, FPGA, DSP, and ASIC.
  • the storage unit 110 is a recording medium for recording various information.
  • the storage unit 110 is realized, for example, a RAM, a ROM, a flash memory, an SSD (Solid State Device), a hard disk, another storage device, or a combination thereof as appropriate.
  • the storage unit 110 stores various data and the like used by the machine tool 1 in addition to the control program P executed by the calculation unit 100.
  • the storage unit 110 stores the image data 111 and the mesh image data 112.
  • the storage device 6 shown in FIG. 1 may be configured to store the image data 111 and the mesh image data 112.
  • the input unit 120 is an input means such as a keyboard, a mouse, and a touch panel used for inputting data and operation signals.
  • the display unit 130 is an output means such as a display used for outputting data.
  • the communication unit 140 is an interface circuit (module) for enabling data communication with an external device (not shown).
  • the communication unit 140 can execute data communication with the image pickup unit 4 that captures image data.
  • the acquisition unit 101 acquires the image data captured by the image pickup unit 4. Further, the acquisition unit 101 stores the acquired image data 111 in the storage unit 110 together with the arbitrarily attached identification information and the information for specifying the time of imaging. Therefore, the storage unit 110 can store a plurality of image data 111 of the same target area captured at different timings.
  • the image generation unit 102 generates mesh image data in which at least a part of the image data is divided into a plurality of mesh areas. Further, the image generation unit 102 stores the mesh image data 112 obtained by division in the storage unit 110.
  • FIG. 4 shows an example in which the entire image data 111 is divided into mesh regions, but the present invention is not limited to this. Specifically, the image generation unit 102 may set a mesh area only for a part of the image data 111.
  • the X-axis, Y-axis, and Z-axis shown in the image data 111 of FIG. 4 indicate the coordinates of the machine tool 1, respectively, and the x-axis and y-axis outside the image data 111 are image data. It shows the xy coordinates of. That is, the coordinate system in the machine tool and the coordinate system in the image data are different.
  • each mesh area of the first mesh image data is referred to as a "first mesh area”. That is, the first mesh region may be any one of a plurality of first mesh regions in the first mesh image data.
  • the size and shape of the mesh to be divided may be configured to be changeable as needed.
  • the size of the mesh region may be determined according to the size of the chips to be detected. This makes it possible to detect chips with high accuracy. Specifically, when the size of the chip to be detected is 5 to 10 mm, for example, by setting the vertical and horizontal sizes of the mesh region to 20 mm, the chip can be detected and the detection accuracy can be maintained. can.
  • the mesh image data 112 of the present specification is not limited to the one in which the mesh information is added to the captured image to generate a new image, and the captured image and the information related to the mesh may be associated with each other. That is, the data in which the captured image and the mesh are stored as separate data is also called mesh image data.
  • the mesh image data may be generated by superimposing the mesh data stored in advance on the captured image, for example.
  • the identification unit 103 sets each mesh area of the mesh image data 112 as the first mesh area, and specifies the position of the detection target from each first mesh area.
  • FIG. 5A shows a part of the mesh image data 112 as an example, and each mesh region R11 to R14 is a first mesh region.
  • the chip S to be detected exists over a plurality of first mesh regions R11 to R14. Therefore, in the case of the state shown in FIG. 5A, the area of the chips S in each of the first mesh regions R11 to R14 is small. Therefore, the specifying unit 103 may not be able to specify the position of the detection target because there is no chip S in each of the first mesh regions R11 to R14 or the amount of the chip S is small.
  • the identification unit 103 uses a first mesh region and a second mesh region that is shifted by a predetermined amount from the first mesh region and partially overlaps with the first mesh region. To identify the position of the detection target. Specifically, the specific unit 103 is the first when the detection target is included in the second mesh region where a part of the first mesh region overlaps even if the detection target is not included in the first mesh region. 1 The position of the mesh area is the position included in the detection target.
  • Each mesh region of the broken line in FIG. 5B is the first mesh region described above with reference to FIG. 5A. Further, each mesh region of the solid line in FIG. 5B is a "second mesh region" set at a position shifted from the first mesh region. Further, in order to distinguish the image divided in the second mesh region from the first mesh image data, it is referred to as "second mesh image data".
  • the second mesh image data may be generated by the image generation unit 102 and stored in the storage unit 110 together with the image data 111, or may be generated by the specific unit 103.
  • each second mesh region is moved with respect to each first mesh region in at least one of the x-axis direction, which is the first direction on the image, and the y-axis direction, which is the second direction, and the first.
  • the mesh area and the second mesh area do not match.
  • FIG. 5B shows the mesh region moved by plus 0.5 in the x direction and minus 0.5 in the y direction from the first mesh region. This is an example of a two-mesh area.
  • the second mesh region R21 partially overlaps with the first mesh regions R11 to R14. Further, in the example of FIG.
  • the identification unit 103 can easily identify the position of the detection target.
  • the specifying unit 103 specifies, for example, the positions of the chips S in the first mesh regions R11 to R14 that partially overlap the second mesh region R21 in which the chip S to be detected is detected.
  • the specific unit 103 may specify that the chip S to be detected exists in the second mesh region R21, and is to be detected in at least one of the first mesh regions R11 to R14 that partially overlaps the second mesh region R21. It may be specified that the chip S is present.
  • the specific unit 103 uses the result of the first mesh region, which is the first time, and the result of the second mesh region, which is the second time, so that the position is not detected only by the first time. Even if there is a detection target in, it can be detected. In other words, the specific unit 103 moves the mesh region to at least one of the xy directions to improve the detection accuracy.
  • the nozzle control unit 104 controls the direction of the nozzle so that the direction of liquid discharge from the nozzle is the position specified by the specific unit 103. Generate a signal to do. Specifically, when the detection target is a chip, the nozzle control unit 104 generates a signal for causing the numerical control device 2 to transmit a control signal to the liquid discharge unit 3. Further, the nozzle control unit 104 controls the liquid discharge unit 3 via the numerical control device 2 by transmitting the generated signal to the numerical control device 2. Further, the nozzle control unit 104 may store the history of liquid discharge by the liquid discharge unit 3 in the storage unit 110 as discharge history data.
  • the nozzle control unit 104 can adjust the direction of the nozzle so as to face the detected position, and can improve the accuracy of chip removal. For example, the nozzle control unit 104 generates a control signal for discharging a liquid toward the detection target whose position has been specified after the position of the detection target has been specified in the first mesh region, and detects the position in the second mesh region. After the position of the target is identified, a control signal is generated to discharge the liquid toward the detected target whose position has been identified.
  • the output control unit 105 causes the display unit 130 to display the specific result of the specific unit 103. This makes it possible for the user to grasp the position of the detection target such as chips or scratches.
  • the nozzle control unit 104 determines the abundance of the detection target. Based on the above, the priority of the position where the liquid is discharged from the liquid discharge unit may be determined, and the nozzle may be controlled so as to discharge the liquid in order from the position having the highest priority. In this case, the nozzle control unit 104 generates a control signal according to the priority. By transmitting the generated signal to the numerical control device 2, the liquid discharge unit 3 is controlled to move to a position where the liquid is discharged according to the priority order via the numerical control device 2. Further, the nozzle control unit 104 may generate a control signal for adjusting the timing of outputting the control signal for discharging the liquid or adjusting the amount of the liquid to be discharged according to the abundance of the detection target.
  • the machine tool 1 may incorporate the information processing device 10 inside. Further, these processes may be realized by a combination of a plurality of computers connected via a network as an information processing system. Further, for example, all or a part of the data stored in the storage unit 110 is stored in an external recording medium connected via a network (not shown), and the information processing device 10 and the information processing system are external. It may be configured to use the data stored in the recording medium of.
  • the acquisition unit 101 acquires the image data 111 captured by the image pickup unit 4 and stores it in the storage unit 110 (S01).
  • the image generation unit 102 reads out the image data 111 stored in the storage unit 110, divides the image data 111 into a plurality of first mesh regions, and generates the mesh image data 112 which is the first mesh image data (S02). Further, the image generation unit 102 stores the mesh image data 112 in the storage unit 110.
  • the identification unit 103 specifies the position of the detection target by using the first mesh image data as the first identification process (S03). Specifically, the identification unit 103 specifies the first mesh region in which the detection target is detected. Alternatively, in step S03, the identification unit 103 may detect the existence probability or the like of the detection target for each first mesh region of the first mesh image data as the first detection process.
  • the identification unit 103 specifies the position of the detection target by using the second mesh image data as the second identification process (S04). Specifically, the identification unit 103 specifies the second mesh region in which the detection target is detected. Alternatively, in step S04, the identification unit 103 may detect the existence probability or the like of the detection target for each second mesh region of the second mesh image data as the second detection process. As described above, the timing of generating the second mesh image data used in step S04 is not limited. For example, the mesh image data 112 may be generated at the same time by the image generation unit 102 when the mesh image data 112 is generated in step S02, or may be generated by the specific unit 103 at the timing of step S04.
  • the identification unit 103 specifies the position of the detection target by combining the results of the first identification process in step S03 and the second identification process in S04 (S05). Specifically, the specific unit 103 detects, in addition to the first mesh region in which the detection target is detected in step S03, the first mesh region that overlaps with the second mesh region in which the detection target is detected in step S04. Specify as a position. Alternatively, the specifying unit 103 may specify in step S05 that the detection target exists in that region of the second mesh region, for example, when the existence probability of the detection target is high in one of the second mesh regions.
  • the existence probability of the detection target when the existence probability of the detection target is high in the second mesh region, it may be specified that the detection target exists in one of the first mesh regions having an image region overlapping the second mesh region, or the first When the existence probability of the detection target is high in the two mesh regions, it may be specified that the detection target exists in all of the first mesh regions having the image region overlapping the second mesh region.
  • the nozzle control unit 104 outputs a signal to the numerical control device 2, outputs a control signal for moving the chips at the position specified in step S05 to the liquid discharge unit 3 via the numerical control device 2, and outputs the liquid. Is controlled (S06). As a result, the liquid discharge unit 3 discharges the liquid for moving the chips.
  • step S06 corresponds to the first mesh region. Discharge coolant to the position.
  • the second mesh region corresponds to the second mesh region in step S06. Coolant may be released to the position.
  • the chips overlap with the second mesh region in step S06. Coolant may be discharged to positions corresponding to a plurality of first mesh regions.
  • the information processing device 10 may output the position of the detection target by the output control unit 105.
  • the position, abundance amount, existence probability, etc. of the detection target such as chips are detected or specified by using a plurality of mesh regions. Can be done. Therefore, it is possible to prevent detection omission according to the positional relationship between the mesh region and the chips, and to accurately identify the position of the chips.
  • the results of the first and second specific processes are used.
  • the method of specifying the position of the target in the information processing apparatus 10 is not limited to the method of using the results of the first and second specific processes, and may be a method of using only one of them.
  • the identification unit 103 uses (1) the first mesh area to specify a position corresponding to a predetermined mesh area as a target position, and (2) does not specify the target position using the first mesh area.
  • the predetermined second mesh region is specified as the target position by using the two mesh regions that deviate from the first mesh region by a predetermined amount and partially overlap the first mesh region, and (3) the first mesh region or the first mesh region.
  • the position of the target may be specified using the results of the first mesh area and the second mesh area.
  • FIG. 7 will be described with reference to the identification of the position of the detection target and the liquid discharge process in the information processing apparatus 10 in the first modification. Since the configuration of the information processing device 10 is the same as the configuration described above with reference to FIG. 3, reference is made to FIG. Further, in the flowchart of FIG. 7, the same processing as that of the flowchart of FIG. 6 is underlined by using the same reference numerals.
  • the acquisition unit 101 acquires the image data 111 captured by the image pickup unit 4 and stores it in the storage unit 110 (S01).
  • the image generation unit 102 reads out the image data 111 stored in the storage unit 110, divides the image data 111 into a plurality of first mesh regions, and generates the mesh image data 112 which is the first mesh image data (S02).
  • the identification unit 103 specifies the position of the detection target by using the first mesh image data as the first identification process (S03). Alternatively, in step S03, the identification unit 103 may detect the existence probability or the like of the detection target for each first mesh region of the first mesh image data as the first detection process.
  • the nozzle control unit 104 When the position of the detection target equal to or higher than the predetermined position can be specified from the first mesh image data (YES in S14), the nozzle control unit 104 outputs a signal to the numerical control device 2 and passes through the numerical control device 2 in step S14. A control signal for moving the chips at the position specified in (S15) is output to the liquid discharge unit 3 to control the discharge of the liquid (S15).
  • the identification unit 103 when the position of the detection target equal to or higher than the predetermined position cannot be specified from the first mesh image data (NO in S14), the identification unit 103 generates the second mesh image data in which the first mesh image data is shifted (S16).
  • the identification unit 103 specifies the position of the detection target by using the second mesh image data as the second identification process (S17). Alternatively, in step S17, the identification unit 103 may detect the existence probability or the like of the detection target for each second mesh region of the second mesh image data as the second detection process.
  • the specifying unit 103 has determined whether or not the position of the detection target of the predetermined mesh region or more (for example, 50% or more of all the mesh regions in the second mesh image data) can be specified from the second mesh image data. (S18).
  • the identification unit 103 specifies the position of the detection target by using the first mesh image data and the second mesh image data. (S19).
  • the nozzle control unit 104 When the position of the detection target above a predetermined value can be specified from the second mesh image data (YES in S18), or when the position of the detection target is specified using the first mesh image data and the second mesh image data (YES in S18). S19), the nozzle control unit 104 outputs a signal to the numerical control device 2, and transmits a control signal for moving the chips at the position specified in step S18 or S19 via the numerical control device 2 to the liquid discharge unit 3. Is output to control the release of the liquid (S15).
  • the specific unit 103 may specify that the detection target exists in the region of the second mesh region when the existence probability of the detection target is high in, for example, one of the second mesh regions, or the first When the existence probability of the detection target is high in the two mesh areas, it may be specified that the detection target exists in one of the first mesh areas having an image area overlapping the second mesh area, or the second mesh area. When the existence probability of the detection target is high, it may be specified that the detection target exists in all of the first mesh regions having the image region overlapping with the second mesh region.
  • the information processing apparatus 10 obtains the information of the mesh area in which the position of the detection target can be specified.
  • the second mesh image data was created without using the data, and the second identification process for specifying the position of the detection target in the entire mesh area was performed.
  • the information of the mesh region for which the position of the detection target can be specified in step S14 may be used.
  • the information processing apparatus 10 uses the mesh having the specified detection target.
  • Control is performed to discharge the liquid into the region (S15).
  • the information processing apparatus 10 first moves the detection target. Further, the information processing apparatus 10 stores the information of the mesh region that could not be specified in step S14, generates the second mesh image data, and has a mesh region that corresponds to the mesh area that could not be specified in step S14. Perform the specific processing of 2. Further, the information processing apparatus 10 controls the mesh region in which the position of the detection target is specified by the second specific process to discharge the liquid to the mesh region in which the specified detection target is located. In this case, there is no need to branch to NO in step S18.
  • the information processing apparatus 10 detects the position of the detection target using two mesh image data, so that the position detection accuracy of the detection target is higher than that of using one mesh image data. Will also be higher. Further, it is not necessary to compare and analyze the detection results of the two mesh image data, and the image analysis process is reduced, so that the liquid can be discharged in a short time.
  • the identification unit 103 may specify the position of the detection target by using the learned learning model. Specifically, the specific unit 103 describes the relationship between a plurality of learning image data including a detection target, a plurality of mesh areas set for each learning image data, and the presence / absence of a detection target in each mesh image. Using the trained model obtained by machine learning, the image data acquired by the acquisition unit 101 is used as the detection image data, and the region including the detection target is specified from the detection image data. By using the learning model, the detection accuracy can be improved.
  • the trained model is machine-learned about the relationship between the learning image data, the mesh region, and the presence / absence of the detection target, and the amount of the detection target, and the specific unit 103 includes the presence / absence of the detection target.
  • the amount to be detected may be specified.
  • the nozzle control unit 104 can adjust the timing of outputting the control signal for discharging the liquid or generate a control signal for adjusting the amount of discharge according to the specified amount of the detection target. Thereby, the accuracy of chip removal can be improved.
  • the information processing apparatus, machine tool and information processing system described in all the claims of the present disclosure are realized by cooperation with hardware resources such as a processor, a memory, and a program.
  • the information processing apparatus, machine tool and information processing system of the present disclosure are useful for identifying the position of a detection target in a machine tool, for example.
  • Machine tool 10 Information processing device 100 Calculation unit 101 Acquisition unit 102 Image generation unit 103 Specific unit 104 Nozzle control unit 105 Output control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Auxiliary Devices For Machine Tools (AREA)
  • Numerical Control (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置は、内部を撮像する撮像部を備える工作機械における撮像部で撮像された画像データから検出対象の位置を特定する情報処理装置（１０）であって、画像データの少なくとも一部を複数のメッシュ領域に区分したメッシュ画像を生成する画像生成部（１０２）と、メッシュ画像の第１メッシュ領域について検出対象の位置を特定する特定部（１０３）と、を備え、特定部は、第１メッシュ領域と、第１メッシュ領域から所定量ずらしかつ第１メッシュ領域と一部が重なる第２メッシュ領域と、を用いて、位置を特定する。

Description

情報処理装置及び情報処理システム
　この開示は、情報処理装置及び情報処理システムに関する。
　工作機械で加工対象であるワークを加工した際、切屑が生じる。切屑が多く堆積すると、加工の継続が困難となる。そのため、工作機械では、加工において生じた切屑を除去する必要がある。特許文献１には、機械内部の切粉の堆積状況を検出し、切粉除去が必要と判断された箇所を清掃する技術が記載される。
特開２０１６－１２０５８９号公報
　しかしながら、切屑の堆積位置を正確に特定することは困難な場合がある。また、切屑の他にも、工作機械内で、ワークの傷等の位置を特定することもあるが、これらも困難な場合がある。
　よって、本開示では、切屑の堆積位置やワークの傷等の位置の検出精度を高めることを目的とする。
　本開示の情報処理装置は、内部を撮像する撮像部を備える工作機械における撮像部で撮像された画像データから検出対象の位置を特定する情報処理装置（１０）であって、画像データの少なくとも一部を複数のメッシュ領域に区分したメッシュ画像を生成する画像生成部（１０２）と、メッシュ画像の第１メッシュ領域について検出対象の位置を特定する特定部（１０３）と、を備え、特定部は、第１メッシュ領域と、第１メッシュ領域から所定量ずらしかつ第１メッシュ領域と一部が重なる第２メッシュ領域と、を用いて、位置を特定する、ことを特徴とする。
　また、本開示では、情報処理システムも提供できる。本開示の情報処理システムもしくは情報処理方法は、工作機械内を撮像する撮像ステップと、撮像された画像データの少なくとも一部を複数のメッシュ領域に区分したメッシュ画像を生成する画像生成ステップと、前記メッシュ画像の第１メッシュ領域について検出対象の位置を特定する特定ステップと、を有する。前記特定ステップは、前記第１メッシュ領域と、前記第１メッシュ領域から所定量ずれかつ前記第１メッシュ領域と一部が重なる第２メッシュ領域と、を用いて、前記画像データから前記検出対象の位置を特定する、ことを特徴とする。
　また、本開示では、工作機械も提供できる。本開示の工作機械は、ワークを加工する工作機械であって、撮像部と、前記撮像部で撮像された画像データの少なくとも一部を複数のメッシュ領域に区分したメッシュ画像を生成する画像生成部と、前記メッシュ画像の各メッシュ領域である複数の第１メッシュ領域から、前記複数の第１メッシュ領域と、前記複数の第１メッシュ領域から所定量ずらしかつ前記複数の第１メッシュ領域と一部が重なる複数の第２メッシュ領域と、を用いて、前記第１メッシュ領域に前記検出対象の存在が特定されない場合であっても、当該第１メッシュ領域の一部が重複する前記第２メッシュ領域に前記検出対象の存在が特定された場合、当該第１メッシュ領域に前記検出対象が存在する特定部と、前記検出対象の存在が特定された前記第１メッシュ領域に、液体を放出する液体放出部と、を備える。
　これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
　本開示によれば、切屑の堆積位置やワークの傷等の位置の検出精度を高めることできる。
工作機械の構成を示すブロック図である。 工作機械内部の撮像画像である。 情報処理装置の構成を示すブロック図である。 情報処理装置で生成されるメッシュ画像データである。 情報処理装置で利用される第１メッシュ領域の説明図である。 情報処理装置で利用される第２メッシュ領域の説明図である。 検出対象の位置を特定する処理を説明するフローチャートである。 変形例１の検出対象の位置を特定する処理を説明するフローチャートである。
　本開示に係る情報処理装置は、より詳細には、内部を撮像する撮像部を備える工作機械における前記撮像部で撮像された画像データから検出対象の存在を特定する情報処理装置であって、前記画像データの少なくとも一部を複数の第１メッシュ領域に区分したメッシュ画像を生成する画像生成部と、前記メッシュ画像の前記各第１メッシュ領域から検出対象の存在を特定する特定部と、を備え、前記特定部は、前記各第１メッシュ領域から前記検出対象の存在が特定されない場合であっても、それぞれ前記第１メッシュ領域と同一のサイズであり、前記複数の第１メッシュ領域から所定量ずらし、かつ、前記第１メッシュ領域と一部が重なるように設けられた複数の第２メッシュ領域の少なくともいずれかから前記検出対象の存在が特定された場合、前記検出対象の存在が特定された前記第２メッシュ領域に前記検出対象が存在すると特定するか、もしくは前記検出対象の存在が特定された前記第２メッシュ領域と重なる複数の第１メッシュ領域の少なくともいずれかに前記検出対象が存在すると特定する、ことを特徴とする。このとき、前記検出対象の存在が特定された第２メッシュ領域と重なる複数の第１メッシュ領域をひとまとまりにした第１メッシュ領域群に前記検出対象が存在すると特定してもよい。
　また、本開示に係る情報処理システムもしくは情報処理方法は、より詳細には、工作機械内を撮像する撮像ステップと、撮像された画像データの少なくとも一部を複数の第１メッシュ領域に区分したメッシュ画像を生成する画像生成ステップと、前記メッシュ画像の前記各第１メッシュ領域から検出対象の存在を特定する特定ステップと、があり、前記特定ステップは、前記各第１メッシュ領域から前記検出対象の存在が特定されない場合であっても、それぞれ前記第１メッシュ領域と同一のサイズであり、前記複数の第１メッシュ領域から所定量ずらし、かつ、前記第１メッシュ領域と一部が重なるように設けられた複数の第２メッシュ領域の少なくともいずれかから前記検出対象の存在が特定された場合、前記検出対象の存在が特定された第２メッシュ領域に前記検出対象が存在すると特定するか、もしくは前記検出対象の存在が特定された前記第２メッシュ領域と重なる複数の第１メッシュ領域の少なくともいずれかに前記検出対象が存在すると特定する、ことを特徴とする。このとき、前記検出対象の存在が特定された第２メッシュ領域と重なる複数の第１メッシュ領域をひとまとまりにした第１メッシュ領域群に前記検出対象が存在すると特定してもよい。
　また、本開示に係る工作機械は、より詳細には、ワークを加工する工作機械であって、撮像部と、前記撮像部で撮像された前記工作機械内の画像データの少なくとも一部を複数の第１メッシュ領域に区分したメッシュ画像を生成する画像生成部と、前記メッシュ画像の前記各第１メッシュ領域から検出対象の存在を特定し、前記各第１メッシュ領域からに前記検出対象の存在が特定されない場合であっても、それぞれ前記第１メッシュ領域と同一のサイズであり、前記複数の第１メッシュ領域から所定量ずらし、かつ、前記第１メッシュ領域と一部が重なるように設けられた複数の第２メッシュ領域の少なくともいずれかから前記検出対象の存在が特定された場合、前記検出対象の存在が特定された第２メッシュ領域に前記検出対象が存在すると特定するか、もしくは前記検出対象の存在が特定された前記第２メッシュ領域と重なる複数の第１メッシュ領域の少なくともいずれかに前記検出対象が存在すると特定する特定部と、前記検出対象の存在が特定された前記第１メッシュ領域もしくは第２メッシュ領域に対応する位置に、液体を放出する液体放出部と、を備える。
　なお、特定部は、検出対象の存在を特定することに加えて、もしくはその代わりに、検出対象の存在量を検出してもよい。同様に、特定ステップは、検出対象の存在を特定することに加えて、もしくはその代わりに、検出対象の存在量を検出してもよい。このとき、検出対象が存在する第１メッシュ領域もしくは第２メッシュ領域が複数存在する場合には、検出対象の存在量に基づいて、液体放出部から液体を放出する位置の優先順位が決定されてもよい。優先順位は、存在量の多い位置ほど高くしてもよく、優先順位の高い順に液体を放出してもよい。また、第１メッシュ領域もしくは第２メッシュ領域における検出対象の存在量が所定の閾値よりも小さい場合、当該メッシュ領域に検出対象が存在しないと判断されてもよい。
　検出対象の存在量は、どのような数値として検出されてもよい。具体的には、存在量は、質量もしくは重量（例えば９６ｇ）のような物理量として検出してもよく、メッシュ領域における存在確率（例えば０．９６）として検出してもよく、画像占有率（例えば９６％のような割合）として検出してもよく、更に別の数量として検出してもよい。なお、検出という言葉は、状況に応じて、判断、特定、その他のプロセスなども含む概念として用いられる。
　以下に、図面を参照して各実施形態に係る情報処理装置、工作機械及び情報処理システムについて説明する。以下の説明では、同一の構成について、同一の符号を付して説明を省略する。
　以下で説明する「工作機械」は、加工対象である金属等のワークに対し、切断、研削等により所望の形状に加工するものである。また、「情報処理装置」及び「情報処理システム」は、工作機械内部を撮像された撮像データから、検出対象の位置を特定するものである。ここで、情報処理装置の「検出対象」は、例えば、工作機械の加工対象であるワークから加工により生じ、工作機械内に堆積された切り屑、または、加工によりワークに生じた傷である。
　以下の説明において、「メッシュ領域」は、画像データを区分して得られる画像の一部の領域を意味する。１の画像を区分することで、１の画像を複数のメッシュ領域に分けることができる。
［実施の形態］
〈工作機械〉
　図１を用いて、実施の形態に係る工作機械１の一例を説明する。工作機械１は、対象のワークを加工するものである。ワークの加工により、工作機械１内部では、ワークの一部が分離して生じた切屑が堆積する。例えば、工作機械１は、加工を行うために主軸の駆動制御を行う数値制御装置２と、加工により生じた切屑を移動させる液体を放出する液体放出部３と、工作機械１内部を撮像する撮像部４と、機械座標取得部５と、を備える。また、例えば、工作機械１は、撮像部４で撮像された画像データから検出対象の位置を特定する情報処理装置１０と、工作機械１及び情報処理装置１０による制御信号や演算結果を記憶する記憶装置６と、接続される。
　数値制御装置２は、工作機械１のモータ等の制御信号を各部に送信する。この制御信号は、後述するように、情報処理装置１０による処理に基づいて生成され、送信される。
　液体放出部３は、数値制御装置２の制御に従い、工作機械１の内部に堆積した切屑を移動させるため、液体を放出する。なお、後述するように、液体放出部３には、情報処理装置１０のノズル制御部１０４により生成された制御信号が、数値制御装置２を介して入力される。工作機械１は、このように移動された切屑を集めて加工領域外の外部に排出することができる。液体放出部３は、例えば、液体を放出することができるノズルと、ノズルを駆動するアクチュエータと、液体を貯留しておく液体貯留部から液体をくみ上げるポンプと、を備え、ノズルから切屑へと液体を放出する。この液体には、加工時に熱を生じるワーク及び加工手段等を冷却及び潤滑するためのクーラントを用いてもよいし、他の液体を使用してもよい。以下では、切屑を移動させるための液体として、クーラントを用いた例で説明する。液体放出部３は、工作機械１の内部の広範囲を洗浄可能とするため、例えば、ノズルの位置及び向き、液体の放出圧力を調整可能に構成される。また、工作機械１は、複数の液体放出部３を備えることができる。
　撮像部４は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を備えたカメラである。この撮像部４は、所定のタイミングで、工作機械１の内部を撮像することができる。この撮像部４は、工作機械１の内部画像であって、ワークから発生する切屑を検出する対象エリアを撮像範囲とする。また、撮像部４は、得られた画像データを、情報処理装置１０に出力する。例えば、撮像部４は、ワークを加工中の定期的なタイミングで撮像する。また、撮像部４は、加工されたワークが工作機械１から取り除かれ、新たなワークが裁置される前のタイミングで撮像してもよい。工作機械１は、広範囲の様子を把握可能とするため、複数の撮像部４を備えることができる。
　機械座標取得部５は、工作機械１の構造のうち、図２を用いて後述するパレット１４、テーブル１６及び主軸２２等の移動する部品について、工作機械１内での位置を表す機械座標を取得する。機械座標取得部５は、取得した機械座標を情報処理装置１０に送信する。この機械座標は、例えば、加工のために数値制御装置２により制御のために生成された制御信号に含まれる位置情報を用いてもよいし、何らかのセンサを用いて取得してもよい。
　また、図１では図示を省略するが、工作機械１は、他に、図２を用いて説明する種々の部品を備える。図２は、工作機械１の内部を撮像した撮像画像であり、パレット１４、カバー１５、テーブル１６、旋回扉１７、側面１８、斜面１９、プロテクタ２０、シュータ２１及び主軸２２が示されている。本実施形態において、図２に示す主軸２２の長軸２３を工作機械１内部の前後方向として、主軸２２の根元側を手前側、先端側を奥側とする。また、主軸２２に直交する水平方向を左右方向、長軸２３に直交する垂直方向を上下方向とする。
　パレット１４は、ワークを載せて固定する台である。工作機械１は、複数のパレット１４を設けることができる。それにより、加工するワークを変更する際、パレット１４を変更することでワークを変更でき、時間の効率化を図ることができる。
　カバー１５は、パレット１４の左右の側部に位置している部品である。テーブル１６は、前後方向へ移動することができ、それによりパレット１４上に固定されたワークを移動させることができる。また、テーブルは少なくともテーブルの一部を水平方向へ回転することができ、それによりパレット上に固定されたワークを回転させることができる。
　テーブル１６は、パレット１４を取り付けることができる部品である。テーブル１６は、前後方向へ移動することができ、それによりパレット１４上に固定されたワークを移動させることができる。また、テーブル１６は少なくともテーブル１６の一部を水平方向へ回転することができ、それによりパレット１４上に固定されたワークを回転させることができる。
　旋回扉１７は、軸２５を中心に回転することができる扉である。旋回扉１７が回転する際、カバー１５がパレット１４をテーブル１６から分離させて、パレット１４およびカバー１５と一緒に回転する。それにより、ワークの加工が終了したパレット１４をパレット格納部へと搬出することができ、また次に加工するワークが固定されたパレット１４をパレット格納部から工作機械１内へと搬入することができる。旋回扉１７の工作機械１内側と格納部側の両方にカバー１５を設け、旋回扉１７が１８０°回転することで、パレット１４の搬入と搬出を同時に行ってもよい。
　側面１８は、工作機械１の開閉可能な壁である。側面１８は、工作機械１の内部と外部とを区画しており、側面１８を開放すると作業者が工作機械１の内部に入ることができる。また、側面１８に対向する位置にある図示しない側面１８は、工作機械１の内部と、工具格納部とを区画している。工具区画部は、複数の工具を格納しており、加工の際、必要に応じて側面１８が開き、主軸２２に取り付けられている工具を工具格納部に格納されている別の工具と交換することができる。
　シュータ２１は、洗浄によって切屑が流れていく場所である。側面１８、プロテクタ２０は、旋回扉１７及び側面１８の下側に設けられており、シュータ２１へと切屑が流れやすいように、それぞれシュータ２１へ向けて下向きに傾斜している。
　主軸２２は、先端に工具を取り付け、その長軸２３を中心に回転させることにより、ワークを加工することができる。本実施形態においては、図２に示すように、主軸２２は、円柱形の外形を有する。
〈情報処理装置〉
　図３を用いて、実施形態に係る情報処理装置１０の一例を説明する。情報処理装置１０は、工作機械１内部を撮像された撮像データから、検出対象を検出するものである。具体的には、情報処理装置１０は、演算部１００と、記憶部１１０と、入力部１２０と、表示部１３０と、通信部１４０とを備える。この情報処理装置１０は、例えば、コンピュータやタブレット端末等の情報処理装置である。情報処理装置１０は、工作機械１に含まれる構成でもよく、工作機械１と別のパソコンなどの別体で構成されていてもよい。後者の場合、情報処理装置１０と工作機械１とは有線通信または無線通信が可能である。また、情報処理装置１０は、図３の情報処理装置１０のうち、例えば、入力部１２０と表示部１３０がない構成でもよい。この場合、入力部１２０と表示部１３０とが工作機械１に含まれる構成でもよい。例えば、入力部１２０と表示部１３０が工作機械の操作盤であってもよい。また、入力部１２０と表示部１３０は、情報処理装置１０と工作機械１にそれぞれ設けられており、使用者が任意の入力部１２０と表示部１３０を選択して利用可能な構成としてもよい。
　演算部１００は、情報処理装置１０全体の制御を司るコントローラである。例えば、演算部１００は、記憶部１１０に記憶される制御プログラムＰを読み出して実行することにより、画像生成部１０２、特定部１０３、ノズル制御部１０４及び出力制御部１０５としての処理を実行する。また、演算部１００は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、演算部１００は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。
　記憶部１１０は種々の情報を記録する記録媒体である。記憶部１１０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Device）、ハードディスク、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶部１１０には、演算部１００が実行する制御プログラムＰの他、工作機械１で使用する種々のデータ等が格納される。例えば、記憶部１１０は、画像データ１１１及びメッシュ画像データ１１２を記憶する。なお、ここでは、記憶部１１０において、画像データ１１１及びメッシュ画像データ１１２を記憶する例で示すがこれに限定されない。具体的には、図１に示す記憶装置６が、画像データ１１１及びメッシュ画像データ１１２を記憶する構成であってもよい。
　入力部１２０は、データや操作信号の入力に利用するキーボード、マウス及びタッチパネル等の入力手段である。表示部１３０は、データの出力に利用するディスプレイ等の出力手段である。
　通信部１４０は、外部の装置（図示せず）とのデータ通信を可能とするためのインタフェース回路（モジュール）である。例えば、通信部１４０は、画像データを撮像する撮像部４とデータ通信を実行することができる。
　取得部１０１は、撮像部４で撮像された画像データを取得する。また、取得部１０１は、取得した画像データ１１１を、任意に付された識別情報及び撮像の時刻を特定する情報と共に記憶部１１０に記憶させる。したがって、記憶部１１０は、異なるタイミングで撮像された同一の対象エリアの画像データ１１１を複数記憶することができる。
　画像生成部１０２は、画像データの少なくとも一部を複数のメッシュ領域に区分したメッシュ画像データを生成する。また、画像生成部１０２は、分割して得られたメッシュ画像データ１１２を、記憶部１１０に記憶させる。図４は、画像データ１１１の全体についてメッシュ領域に分割した例であるが、これに限定されない。具体的には、画像生成部１０２は、画像データ１１１の一部の領域についてのみメッシュ領域を設定してもよい。なお、図４の画像データ１１１中で示されるＸ軸、Ｙ軸及びＺ軸は、それぞれ工作機械１の各座標を示すものであり、画像データ１１１の外のｘ軸及びｙ軸は、画像データのｘｙ座標を示すものである。すなわち、工作機械における座標系と画像データにおける座標系とは異なる。
　なお、後述するが、画像生成部１０２で生成されるメッシュ画像データ１１２を、特定部１０３で利用される他のメッシュ領域で分割される画像データと区別するため、必要に応じて、「第１メッシュ画像データ」とする。また、第１メッシュ画像データの各メッシュ領域を、「第１メッシュ領域」とする。すなわち、第１メッシュ領域とは、第１メッシュ画像データ中に複数ある第１メッシュ領域の任意の１つであってよい。
　また、分割するメッシュの大きさ及び形状は、必要に応じて変更可能に構成されてもよい。例えば、メッシュ領域のサイズは、検出対象である切り屑のサイズに応じて定めることが考えられる。これにより、切り屑を、精度良く検出することが可能となる。具体的には、検出対象である切り屑のサイズが、５～１０ｍｍである場合、例えば、メッシュ領域の縦横のサイズをそれぞれ２０ｍｍとすることで、切屑を検出可能となり、検出精度を保つことができる。
　なお、本明細書のメッシュ画像データ１１２は、撮像画像にメッシュの情報を付加し新たな画像を生成したものに限られず、撮影画像とメッシュに関する情報とを関連付けたものでもよい。つまり、撮像画像とメッシュとを別々のデータとして保存しているものもメッシュ画像データという。メッシュ画像データは、例えば、撮像画像に予め保存されたメッシュのデータを重ねて生成してもよい。
　特定部１０３は、メッシュ画像データ１１２の各メッシュ領域を第１メッシュ領域とし、各第１メッシュ領域から検出対象の位置を特定する。図５Ａは、メッシュ画像データ１１２の一部を一例として示すものであり、各メッシュ領域Ｒ１１～Ｒ１４が第１メッシュ領域である。図５Ａに示す例では、検出対象である切屑Ｓは、複数の第１メッシュ領域Ｒ１１～Ｒ１４にまたがって存在する。したがって、図５Ａに示すような状態の場合、各第１メッシュ領域Ｒ１１～Ｒ１４における切屑Ｓの面積は小さい。そのため、特定部１０３は、各第１メッシュ領域Ｒ１１～Ｒ１４に切屑Ｓがない、または、切屑Ｓの量が少ないとして、検出対象の位置を特定することができない可能性がある。
　このような検出対象の位置を特定するため、特定部１０３は、第１メッシュ領域と、第１メッシュ領域から所定量ずらし、かつ、第１メッシュ領域と一部が重なる第２メッシュ領域とを用いて、検出対象の位置を特定する。具体的には、特定部１０３は、第１メッシュ領域に検出対象が含まれない場合であっても、第１メッシュ領域の一部が重複する第２メッシュ領域に検出対象が含まれる場合、第１メッシュ領域の位置を検出対象が含む位置とする。
　図５Ｂを用いて具体的に説明する。図５Ｂの破線の各メッシュ領域は、図５Ａを用いて上述した第１メッシュ領域である。また、図５Ｂの実線の各メッシュ領域が、第１メッシュ領域からずらした位置に設定された「第２メッシュ領域」である。また、第２メッシュ領域で分割される画像を、第１メッシュ画像データと区別するため、「第２メッシュ画像データ」とする。なお、第２メッシュ画像データは、画像生成部１０２によって生成し、画像データ１１１と共に記憶部１１０に記憶しても良いし、特定部１０３によって生成してもよい。
　具体的には、各第２メッシュ領域は、各第１メッシュ領域に対して画像上の第１方向であるｘ軸方向又は第２方向であるｙ軸方向の少なくともいずれかに移動され、第１メッシュ領域と第２メッシュ領域とは一致しない。メッシュ領域のサイズをｘ方向及びｙ方向でそれぞれ１としたとき、図５Ｂは、第１メッシュ領域から、ｘ方向にプラス０．５移動し、ｙ方向にマイナス０．５移動したメッシュ領域を第２メッシュ領域とした例である。図５Ｂの例では、第２メッシュ領域Ｒ２１は、第１メッシュ領域Ｒ１１～Ｒ１４と一部が重なる。また、図５Ｂの例では、第２メッシュ領域Ｒ２１に検出対象である切屑Ｓの全てが位置することとなる。したがって、特定部１０３は、検出対象の位置を特定しやすくなる。このような場合、特定部１０３は、例えば、検出対象である切屑Ｓが検出された第２メッシュ領域Ｒ２１と一部が重なる各第１メッシュ領域Ｒ１１～Ｒ１４について、切屑Ｓの位置として特定する。特定部１０３は、第２メッシュ領域Ｒ２１に検出対象である切屑Ｓが存在すると特定してもよく、第２メッシュ領域Ｒ２１と一部が重なる第１メッシュ領域Ｒ１１～Ｒ１４の少なくとも１つに検出対象である切屑Ｓが存在すると特定してもよい。
　すなわち、特定部１０３は、メッシュ領域をずらすことで、１回目である第１メッシュ領域による結果と、２回目である第２メッシュ領域による結果とを利用することで、１回目のみでは検出されない位置に検出対象がある場合も、検出可能となる。いいかえると、特定部１０３は、少なくともｘｙ方向のいずれかにメッシュ領域を移動させ、検出精度を向上させる。
　ノズル制御部１０４は、特定部で特定された位置に液体を放出させる必要がある場合、ノズルからの液体の放出の方向が特定部１０３で特定された位置となるように、ノズルの向きを制御するための信号を生成する。具体的には、検出対象が切屑であるとき、ノズル制御部１０４は、数値制御装置２に、液体放出部３に制御信号を送信させるための信号を生成する。また、ノズル制御部１０４は、生成した信号を数値制御装置２に送信することで、数値制御装置２を介して液体放出部３を制御する。さらに、ノズル制御部１０４は、液体放出部３による液体の放出の履歴を放出履歴データとして記憶部１１０に記憶させてもよい。これにより、ノズル制御部１０４は、検出された位置に向くようにノズルの向きを調整し、切り屑の除去の精度を向上させることができる。例えば、ノズル制御部１０４は、第１メッシュ領域で検出対象の位置が特定された後に、位置が特定できた前記検出対象に向かって液体を放出する制御信号を生成し、第２メッシュ領域で検出対象の位置が特定された後に、位置が特定できた検出対象に向かって液体を放出する制御信号を生成する。
　出力制御部１０５は、特定部１０３による特定結果を、表示部１３０に表示させる。これにより、利用者に切屑または傷等の検出対象の位置を把握させることができる。
　特定部１０３が検出対象の存在量を判断もしくは特定し、かつ検出対象の存在が特定された第１メッシュ領域もしくは第２メッシュ領域が複数存在する場合、ノズル制御部１０４は、検出対象の存在量に基づいて、液体放出部から液体を放出する位置の優先順位を決定し、優先順位の高い位置から順に液体を放出するようにノズルを制御してもよい。この場合、ノズル制御部１０４は、優先順位に応じた制御信号を生成する。生成した信号が数値制御装置２に送信されることで、数値制御装置２を介して、液体放出部３が優先順位に沿って液体を放出する位置に移動するように制御される。また、ノズル制御部１０４は、検出対象の存在量に応じ、液体を放出する制御信号を出力するタイミングを調整したり、放出する液体の量を調節したりする制御信号を生成してもよい。
　なお、工作機械１は、この情報処理装置１０を内部に組み込んでいてもよい。また、これらの処理を、情報処理システムとしてネットワークを介して接続される複数台のコンピュータの組み合わせにより実現されてもよい。また、例えば、記憶部１１０に記憶されるデータの全部又は一部が、ネットワーク（図示せず）を介して接続される外部の記録媒体に記憶され、情報処理装置１０や情報処理システムは、外部の記録媒体に記憶されるデータを使用するように構成されていてもよい。
〈検出対象の位置の特定及び液体放出の処理〉
　図６に示すフローチャートを用いて、実施の形態に係る情報処理装置１０における検出対象の位置の特定（もしくは存在量の検出）及び液体放出の処理について説明する。まず、取得部１０１は、撮像部４が撮像した画像データ１１１を取得し、記憶部１１０に記憶させる（Ｓ０１）。
　画像生成部１０２は、記憶部１１０に記憶される画像データ１１１を読み出し、複数の第１メッシュ領域に分割し、第１メッシュ画像データであるメッシュ画像データ１１２を生成する（Ｓ０２）。また、画像生成部１０２は、このメッシュ画像データ１１２を記憶部１１０に記憶させる。
　特定部１０３は、第１の特定処理として、第１メッシュ画像データを利用して、検出対象の位置を特定する（Ｓ０３）。具体的には、特定部１０３は、検出対象が検出された第１メッシュ領域を特定する。又は、ステップＳ０３において、特定部１０３は、第１の検出処理として、第１メッシュ画像データの各第１メッシュ領域に対してそれぞれ検出対象の存在確率等を検出してもよい。
　また、特定部１０３は、第２の特定処理として、第２メッシュ画像データを利用して、検出対象の位置を特定する（Ｓ０４）。具体的には、特定部１０３は、検出対象が検出された第２メッシュ領域を特定する。又は、ステップＳ０４において、特定部１０３は、第２の検出処理として、第２メッシュ画像データの各第２メッシュ領域に対してそれぞれ検出対象の存在確率等を検出してもよい。なお、上述したように、ステップＳ０４で利用する第２メッシュ画像データを生成するタイミングは限定されない。例えば、ステップＳ０２のメッシュ画像データ１１２の生成の際に画像生成部１０２により同時に生成されてもよいし、ステップＳ０４のタイミングで特定部１０３に生成されてもよい。
　続いて、特定部１０３は、ステップＳ０３の第１の特定処理及びＳ０４の第２の特定処理の結果を合わせて、検出対象の位置を特定する（Ｓ０５）。具体的には、特定部１０３は、ステップＳ０３で検出対象が検出された第１メッシュ領域に加え、ステップＳ０４で検出対象が検出された第２メッシュ領域と重なる第１メッシュ領域を、検出対象の位置として特定する。又は、特定部１０３は、ステップＳ０５において、例えば、第２メッシュ領域の１つで検出対象の存在確率が高い場合に、検出対象が第２メッシュ領域のその領域に存在すると特定してもよく、又は、第２メッシュ領域で検出対象の存在確率が高い場合に、検出対象がその第２メッシュ領域と重なる画像領域を有する第１メッシュ領域の１つに存在すると特定してもよく、又は、第２メッシュ領域で検出対象の存在確率が高い場合に、検出対象がその第２メッシュ領域と重なる画像領域を有する第１メッシュ領域のすべてに存在すると特定してもよい。
　ノズル制御部１０４は、数値制御装置２に信号を出力し、数値制御装置２を介して、ステップＳ０５で特定された位置の切屑を移動させるための制御信号を液体放出部３に出力し、液体の放出を制御する（Ｓ０６）。これにより、液体放出部３は、切屑を移動させるための液体を放出する。
　例えば、ステップＳ０５で任意の１つの第１メッシュ領域で切屑が検出されず、対応する１つ以上の第２メッシュ領域で切屑が検出されたとき、ステップＳ０６で、その第１メッシュ領域に対応する位置にクーラントを放出する。あるいは、ステップＳ０５で任意の１つの第１メッシュ領域で切屑が検出されず、対応する１つ以上の第２メッシュ領域で切屑が検出されたとき、ステップＳ０６で、その第２メッシュ領域に対応する位置にクーラントを放出してもよい。あるいは、ステップＳ０５で任意の１つの第１メッシュ領域で切屑が検出されず、対応する１つ以上の第２メッシュ領域で切り屑が検出されたとき、ステップＳ０６で、その第２メッシュ領域と重なる複数の第１メッシュ領域に対応する位置にクーラントを放出してもよい。
　その後、工作機械１での加工が終了する場合（Ｓ０７でＮＯ）、処理は終了する。一方、工作機械１での加工が継続する場合（Ｓ０７でＹＥＳ）、情報処理装置１０では、ステップＳ０１の処理に戻り、ステップＳ０１～Ｓ０７の処理を繰り返す。
　なお、図６に示すフローチャートでは、検出対象が切屑であり、切屑の検出に応じて液体を放出する例で説明した。しかしながら、情報処理装置１０は、出力制御部１０５によって、検出対象の位置を出力してもよい。
　このように、実施形態に係る工作機械１及び情報処理装置１０によれば、複数通りのメッシュ領域を利用して、切屑等の検出対象の位置、存在量もしくは存在確率等を検出もしくは特定することができる。したがって、メッシュ領域と切屑との位置関係に応じた検出漏れを防止し、切屑の位置を精度よく特定することが可能となる。
［変形例１］
　上述した情報処理装置１０では、第１及び第２の特定処理の結果を利用していた。しかしながら、情報処理装置１０で対象の位置を特定する方法は、第１及び第２の特定処理の結果を利用する方法に限定されず、一方のみを利用する方法であってもよい。例えば、特定部１０３は、（１）第１メッシュ領域を用いて、所定のメッシュ領域に対応する位置を対象の位置として特定し、（２）第１メッシュ領域を用いて対象の位置が特定されない場合、第１メッシュ領域から所定量ずれかつ第１メッシュ領域と一部が重なる２メッシュ領域を用いて、所定の第２メッシュ領域を対象の位置として特定し、（３）第１メッシュ領域または第２メッシュ領域のみを用いて位置が特定されない場合、第１メッシュ領域及び第２メッシュ領域の結果を用いて、対象の位置を特定する構成であってもよい。
　図７を用いて、変形例１における情報処理装置１０における検出対象の位置の特定及び液体放出の処理について説明する。なお、情報処理装置１０の構成は、図３を用いて上述した構成と同一であるため、図３を参照する。また、図７のフローチャートにおいて、図６のフローチャートの処理と同一の処理については、同一の符号を用いて下線を付す。
　まず、取得部１０１は、撮像部４が撮像した画像データ１１１を取得し、記憶部１１０に記憶させる（Ｓ０１）。
　画像生成部１０２は、記憶部１１０に記憶される画像データ１１１を読み出し、複数の第１メッシュ領域に分割し、第１メッシュ画像データであるメッシュ画像データ１１２を生成する（Ｓ０２）。
　特定部１０３は、第１の特定処理として、第１メッシュ画像データを利用して、検出対象の位置を特定する（Ｓ０３）。又は、ステップＳ０３において、特定部１０３は、第１の検出処理として、第１メッシュ画像データの各第１メッシュ領域に対してそれぞれ検出対象の存在確率等を検出してもよい。
　続いて、特定部１０３は、第１メッシュ画像データから所定メッシュ領域以上（例えば、第１メッシュ画像データ内の全メッシュ領域の内の５０％以上の領域以上）で検出対象の位置が特定できたか否かを判定する（Ｓ１４）。
　第１メッシュ画像データから所定以上の検出対象の位置が特定できたとき（Ｓ１４でＹＥＳ）、ノズル制御部１０４は、数値制御装置２に信号を出力し、数値制御装置２を介して、ステップＳ１４で特定された位置の切屑を移動させるための制御信号を液体放出部３に出力し、液体の放出を制御する（Ｓ１５）。
　一方、第１メッシュ画像データから所定以上の検出対象の位置が特定できないとき（Ｓ１４でＮＯ）、特定部１０３は、第１メッシュ画像データをずらした第２メッシュ画像データを生成する（Ｓ１６）。
　また、特定部１０３は、第２の特定処理として、第２メッシュ画像データを利用して、検出対象の位置を特定する（Ｓ１７）。又は、ステップＳ１７において、特定部１０３は、第２の検出処理として、第２メッシュ画像データの各第２メッシュ領域に対してそれぞれ検出対象の存在確率等を検出してもよい。
　続いて、特定部１０３は、第２メッシュ画像データから所定メッシュ領域以上（例えば、第２メッシュ画像データ内の全メッシュ領域の内の５０％以上領域で）の検出対象の位置が特定できたか否かを判定する（Ｓ１８）。
　第２メッシュ画像データから所定以上の検出対象の位置が特定できないとき（Ｓ１８でＮＯ）、特定部１０３は、第１メッシュ画像データ及び第２メッシュ画像データを利用して、検出対象の位置を特定する（Ｓ１９）。
　第２メッシュ画像データから所定以上の検出対象の位置が特定できたとき（Ｓ１８でＹＥＳ）、又は、第１メッシュ画像データ及び第２メッシュ画像データを利用して検出対象の位置を特定したとき（Ｓ１９）、ノズル制御部１０４は、数値制御装置２に信号を出力し、数値制御装置２を介して、ステップＳ１８又はＳ１９で特定された位置の切屑を移動させるための制御信号を液体放出部３に出力し、液体の放出を制御する（Ｓ１５）。このとき、特定部１０３は、例えば、第２メッシュ領域の１つで検出対象の存在確率が高い場合に、検出対象が第２メッシュ領域のその領域に存在すると特定してもよく、又は、第２メッシュ領域で検出対象の存在確率が高い場合に、検出対象がその第２メッシュ領域と重なる画像領域を有する第１メッシュ領域の１つに存在すると特定してもよく、又は、第２メッシュ領域で検出対象の存在確率が高い場合に、検出対象がその第２メッシュ領域と重なる画像領域を有する第１メッシュ領域のすべてに存在すると特定してもよい。
　その後、工作機械１での加工が終了する場合（Ｓ２０でＮＯ）、処理は終了する。一方、工作機械１での加工が継続する場合（Ｓ０７でＹＥＳ）、情報処理装置１０では、ステップＳ０１の処理に戻り、ステップＳ０１～Ｓ２０の処理を繰り返す。
　なお、これまでの説明では、図７のステップＳ１４で、所定数のメッシュ領域以上で検出対象の位置が特定できない場合、情報処理装置１０は、検出対象の位置を特定できたメッシュ領域の情報を利用することなく、第２メッシュ画像データを作成し、全メッシュ領域で検出対象の位置を特定する第２の特定処理を行っていた。しかし、このようなフローでなくてもよい。例えば、ステップＳ１４で検出対象の位置を特定できたメッシュ領域の情報を利用する形態でもよい。具体的には、ステップＳ１４で第１メッシュ画像データの中で所定メッシュ領域の検出対象の位置が特定できた場合は（Ｓ１４でＹＥＳ）、情報処理装置１０は、特定された検出対象があるメッシュ領域に液体を放出する制御を行う（Ｓ１５）。その後の処理については図示を省略するが、まず情報処理装置１０は、検出対象を移動させる。また、情報処理装置１０は、ステップＳ１４で特定できなかったメッシュ領域の情報を記憶し、第２メッシュ画像データを生成し、ステップＳ１４で特定できなかったメッシュ領域と対応関係にあるメッシュ領域に関して第２の特定処理を行う。また、情報処理装置１０は、第２の特定処理により、検出対象の位置が特定されたメッシュ領域に関しては、特定された検出対象があるメッシュ領域に液体を放出する制御を行う。この場合は、ステップＳ１８でＮＯへの分岐はなくてもよい。このようなフローを行うことにより、情報処理装置１０は、２つのメッシュ画像データを用いて検出対象の位置を検出しているため、検出対象の位置検出精度は１つのメッシュ画像データを用いる場合よりも高くなる。また、２つのメッシュ画像データの検出結果を比較分析する必要がなく、画像の解析処理が少なくなるため短時間での液体の放出が可能になる。
［変形例２］
　特定部１０３は、学習済みの学習モデルを利用して、検出対象の位置を特定してもよい。具体的には、特定部１０３は、検出対象を含む複数の学習用画像データと、各学習用画像データに対して設定された複数のメッシュ領域と、各メッシュ画像における検出対象の有無との関係を機械学習した学習済みのモデルを利用して、取得部１０１で取得された画像データを検出用画像データとし、検出用画像データから、検出対象を含む領域を特定する。学習モデルを用いることで、検出精度を向上させることができる。
　また、学習済みのモデルは、前記学習用画像データ、前記メッシュ領域及び前記検出対象の有無と共に、検出対象の量の関係を機械学習したものであり、特定部１０３は、検出対象の有無と共に、検出対象の量を特定してもよい。この場合、ノズル制御部１０４は、特定された検出対象の量に応じ、液体を放出する制御信号を出力するタイミングを調整したり、放出する量を調節する制御信号を生成することができる。これにより、切屑の除去の精度を向上させることができる。
　以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。
　本開示の全請求項に記載の情報処理装置、工作機械及び情報処理システムは、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
　本開示の情報処理装置、工作機械及び情報処理システムは、例えば、工作機械における検出対象の位置の特定に有用である。
１　工作機械
１０　情報処理装置
１００　演算部
１０１　取得部
１０２　画像生成部
１０３　特定部
１０４　ノズル制御部
１０５　出力制御部
 
 

Claims (8)

  1. 　内部を撮像する撮像部を備える工作機械における前記撮像部で撮像された画像データから検出対象の位置を特定する情報処理装置であって、
    　前記画像データの少なくとも一部を複数のメッシュ領域に区分したメッシュ画像を生成する画像生成部と、
    　前記メッシュ画像の第１メッシュ領域について検出対象の位置を特定する特定部と、を備え、
    　前記特定部は、前記第１メッシュ領域と、前記第１メッシュ領域から所定量ずらしかつ前記第１メッシュ領域と一部が重なる第２メッシュ領域と、を用いて、前記位置を特定する、ことを特徴とする情報処理装置。
  2. 　前記検出対象の位置に液体を放出する制御信号を生成する制御部を備え、
    　前記制御部は、前記第１メッシュ領域で前記位置が特定された後に、前記位置が特定できた前記検出対象に向かって液体を放出する制御信号を生成し、前記第２メッシュ領域で前記位置が特定された後に、前記位置が特定できた前記検出対象に向かって液体を放出する制御信号を生成することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記第２メッシュ領域は、前記第１メッシュ領域に対して第１方向又は前記第１方向と直交する第２方向の少なくともいずれかに移動され、前記第１メッシュ領域と前記第２メッシュ領域とは一致しない、
    　ことを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　前記特定部は、前記第１メッシュ領域に前記検出対象が含まれない場合であっても、当該第１メッシュ領域の一部が重複する前記第２メッシュ領域に前記検出対象が含まれる場合、当該第１メッシュ領域の位置を前記検出対象が含む位置とする、
    　ことを特徴とする請求項３に記載の情報処理装置。
  5. 　前記検出対象は、前記工作機械の加工対象であるワークから加工により生じ、前記工作機械内に堆積された切り屑、または、加工により前記ワークに生じた傷である、
    　ことを特徴とする請求項１乃至４のいずれか１に記載の情報処理装置。
  6. 　前記工作機械内には液体を放出するノズルが設置され、
    　前記ノズルからの液体の放出の方向が前記特定部で特定された前記位置となるように、前記ノズルの向きを制御するノズル制御部をさらに備える、
    　ことを特徴とする請求項１乃至５のいずれか１に記載の情報処理装置。
  7. 　前記特定部は、検出対象を含む複数の学習用画像データと、前記各学習用画像データに対して設定された複数のメッシュ画像の領域情報と、前記各メッシュ画像における検出対象の有無との関係を機械学習した学習済みのモデルを利用して、入力される画像データを検出用画像データとし、前記検出用画像データから、前記検出対象を含む領域を特定する、
    　ことを特徴とする請求項１乃至５のいずれか１に記載の情報処理装置。
  8. 　工作機械内を撮像する撮像ステップと、
    　撮像された画像データの少なくとも一部を複数のメッシュ領域に区分したメッシュ画像を生成する画像生成ステップと、
    　前記メッシュ画像の第１メッシュ領域について検出対象の位置を特定する特定ステップと、があり、
    　前記特定ステップは、前記第１メッシュ領域と、前記第１メッシュ領域から所定量ずれかつ前記第１メッシュ領域と一部が重なる第２メッシュ領域と、を用いて、前記画像データから前記検出対象の位置を特定する、
    　ことを特徴とする情報処理システム。
     
     
PCT/JP2020/041227 2020-02-12 2020-11-04 情報処理装置及び情報処理システム WO2021161592A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20919055.2A EP4104967A4 (en) 2020-02-12 2020-11-04 INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING SYSTEM
CN202080096204.3A CN115103737B (zh) 2020-02-12 2020-11-04 信息处理装置及信息处理系统
US17/797,759 US20230076772A1 (en) 2020-02-12 2020-11-04 Information processing device and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020021365A JP6788759B1 (ja) 2020-02-12 2020-02-12 情報処理装置及び情報処理システム
JP2020-021365 2020-02-12

Publications (1)

Publication Number Publication Date
WO2021161592A1 true WO2021161592A1 (ja) 2021-08-19

Family

ID=73455199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041227 WO2021161592A1 (ja) 2020-02-12 2020-11-04 情報処理装置及び情報処理システム

Country Status (5)

Country Link
US (1) US20230076772A1 (ja)
EP (1) EP4104967A4 (ja)
JP (1) JP6788759B1 (ja)
CN (1) CN115103737B (ja)
WO (1) WO2021161592A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6921354B1 (ja) * 2021-05-24 2021-08-18 Dmg森精機株式会社 情報処理装置
JP7083943B1 (ja) 2021-05-24 2022-06-13 Dmg森精機株式会社 情報処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03184747A (ja) * 1989-12-13 1991-08-12 Osaka Kiko Co Ltd 工作機械における工作物の自動照合認識装置
JPH08197383A (ja) * 1995-01-30 1996-08-06 Toshiba Mach Co Ltd 切削工具の切屑付着検知方法および装置
JP2016120589A (ja) 2014-12-25 2016-07-07 ファナック株式会社 工作機械の機内清掃装置
JP2017094420A (ja) * 2015-11-20 2017-06-01 ファナック株式会社 工作機械
JP2017104943A (ja) * 2015-12-10 2017-06-15 ファナック株式会社 加工屑を除去する機能を有する除去システムおよび加工システム
JP2018024094A (ja) * 2017-11-14 2018-02-15 ファナック株式会社 工作機械の洗浄システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007114742A (ja) * 2005-09-21 2007-05-10 Olympus Corp 観察装置
JP2010035756A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 診断支援装置及び診断支援方法
JP5460488B2 (ja) * 2010-06-29 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、画像検索システム、及び電子内視鏡システムの作動方法
JP6306544B2 (ja) * 2015-08-11 2018-04-04 ファナック株式会社 工作機械の洗浄システム
CN106845424B (zh) * 2017-01-24 2020-05-05 南京大学 基于深度卷积网络的路面遗留物检测方法
JP6412185B2 (ja) * 2017-03-02 2018-10-24 ファナック株式会社 工作機械システム
JP6233824B1 (ja) * 2017-04-25 2017-11-22 合同会社ウイングビジョン 画像検査装置、生産システム、画像検査方法、プログラム及び記憶媒体
JP2019030917A (ja) * 2017-08-04 2019-02-28 オークマ株式会社 加工屑検出装置および工作機械
CN107818303B (zh) * 2017-10-23 2021-06-15 中石化石油工程地球物理有限公司 无人机油气管线影像自动对比分析方法、系统及软件存储器
US10681344B2 (en) * 2017-12-15 2020-06-09 Samsung Display Co., Ltd. System and method for mura detection on a display
JP6652549B2 (ja) * 2017-12-26 2020-02-26 ファナック株式会社 切粉除去装置及び情報処理装置
CN110738722B (zh) * 2019-10-10 2022-08-30 支付宝(杭州)信息技术有限公司 一种热力图纹理的生成方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03184747A (ja) * 1989-12-13 1991-08-12 Osaka Kiko Co Ltd 工作機械における工作物の自動照合認識装置
JPH08197383A (ja) * 1995-01-30 1996-08-06 Toshiba Mach Co Ltd 切削工具の切屑付着検知方法および装置
JP2016120589A (ja) 2014-12-25 2016-07-07 ファナック株式会社 工作機械の機内清掃装置
JP2017094420A (ja) * 2015-11-20 2017-06-01 ファナック株式会社 工作機械
JP2017104943A (ja) * 2015-12-10 2017-06-15 ファナック株式会社 加工屑を除去する機能を有する除去システムおよび加工システム
JP2018024094A (ja) * 2017-11-14 2018-02-15 ファナック株式会社 工作機械の洗浄システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4104967A4

Also Published As

Publication number Publication date
US20230076772A1 (en) 2023-03-09
CN115103737A (zh) 2022-09-23
EP4104967A1 (en) 2022-12-21
JP2021126713A (ja) 2021-09-02
CN115103737B (zh) 2024-04-26
EP4104967A4 (en) 2024-02-28
JP6788759B1 (ja) 2020-11-25

Similar Documents

Publication Publication Date Title
CN110052887B (zh) 清洁系统
WO2021161592A1 (ja) 情報処理装置及び情報処理システム
CN107030520B (zh) 去除系统以及加工系统
WO2022249968A1 (en) Information processing device
JP2002018680A (ja) 工作機械
JP6788758B1 (ja) 情報処理装置および工作機械
WO2021161775A1 (ja) 情報処理装置及び情報処理システム
JP2022116122A (ja) 情報処理装置、情報処理方法およびプログラム
WO2021107076A1 (ja) 表示装置、工作機械および液体の放出方法
US20240087158A1 (en) Information processing device, and program
JP6887033B1 (ja) 画像処理装置、工作機械および画像処理方法
JP6927917B2 (ja) 加工屑を除去する機能を有する加工システム
JP7065262B2 (ja) 情報処理装置、工作機械及び情報処理システム
WO2021107075A1 (ja) 表示装置、工作機械および液体の放出方法
EP4129568A1 (en) Information processing device, machine tool, and program
WO2022163426A1 (ja) 画像処理装置
JP7311820B1 (ja) 異常判定方法、異常判定装置及びプログラム
JP2024078846A (ja) 異常判定方法、異常判定装置及びプログラム
JP2024005533A (ja) 作業管理装置及び作業管理方法
JP2013236324A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20919055

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020919055

Country of ref document: EP

Effective date: 20220912

NENP Non-entry into the national phase

Ref country code: JP