WO2024071670A1 - 인공지능 기반 봉제결함 탐지 및 분류 방법 및 시스템 - Google Patents

인공지능 기반 봉제결함 탐지 및 분류 방법 및 시스템 Download PDF

Info

Publication number
WO2024071670A1
WO2024071670A1 PCT/KR2023/011999 KR2023011999W WO2024071670A1 WO 2024071670 A1 WO2024071670 A1 WO 2024071670A1 KR 2023011999 W KR2023011999 W KR 2023011999W WO 2024071670 A1 WO2024071670 A1 WO 2024071670A1
Authority
WO
WIPO (PCT)
Prior art keywords
sewing
defect
defects
neural network
defect detection
Prior art date
Application number
PCT/KR2023/011999
Other languages
English (en)
French (fr)
Inventor
정우균
이재원
Original Assignee
주식회사 엠파파
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230012459A external-priority patent/KR20240043642A/ko
Application filed by 주식회사 엠파파 filed Critical 주식회사 엠파파
Publication of WO2024071670A1 publication Critical patent/WO2024071670A1/ko

Links

Images

Classifications

    • D—TEXTILES; PAPER
    • D05—SEWING; EMBROIDERING; TUFTING
    • D05B—SEWING
    • D05B19/00—Programme-controlled sewing machines
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06H—MARKING, INSPECTING, SEAMING OR SEVERING TEXTILE MATERIALS
    • D06H3/00—Inspecting textile materials
    • D06H3/08—Inspecting textile materials by photo-electric or television means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to the field of clothing sewing technology, and more specifically, to technology for automatically detecting sewing defects that occur while performing clothing sewing work in a clothing production factory.
  • Figure 1 illustrates sewing defects occurring in actual sewing work results.
  • the area indicated by an oval in Figure 1 is a sewing defect area.
  • the types of sewing defects are diverse, such as skipping, Brocken stitch, pinching, dents, stitching, puckering, contamination and damage, needle marks, underthread showing, double stitching, etc.
  • Figure 2 shows statistical data on the frequency of occurrence of each type of sewing defect in clothing production.
  • sealing and sealing defects occur the most, accounting for approximately 36% and 31%, respectively, followed by pinching, crushing, threading, and puckering defects, accounting for approximately 12%, 9%, and 5%, respectively. It accounts for about 4%. Therefore, since other types of defects other than sewing defects account for about 70%, a technology that can detect these sewing defects at the same time is required.
  • Republic of Korea Patent No. 10-2322546 (title of the invention: Sewing stitching defect detection method and system) captures images of broken stitches among sewing defects through a camera, detects seam lines in real time, and detects multiple images.
  • a method for detecting sewing defects by measuring similarity by comparing in real time This patented technology discloses the use of artificial intelligence techniques for seam detection and the use of the HED (holistically-Nested Edge Detection) algorithm as an edge (contour) detection algorithm.
  • HED Holistically-Nested Edge Detection
  • the average of all predictions can be obtained, and detection It is disclosed that an image that has gone through an edge filter can be extracted by passing the HED algorithm according to the size of the image.
  • the disclosure of this patent is limited to a method of simply extracting edges from an acquired image.
  • the above-described prior patent mentioned defects that can be detected as defects such as defects (breaks), defects (skipped), and dents. However, what characteristics each defect has, except for defects (breaks), the rest are unknown. It does not specify how the defect can be detected.
  • Figure 3 illustrates a process flow when a sewing defect occurs during a clothing sewing operation.
  • the illustrated process involves head tuning the front and back of the duckdown and combining the sleeves, cuffs, pockets, and collar to complete the garment.
  • process 18 a defect is found in the sewing process (process 18) that connects the pocket to the duckdown during the quality inspection (QC) stage
  • the process is reversed starting with process 37.
  • the work details up to process 17, which is the previous process must be dismantled, the work transferred to process 17, and then reworked up to process 37.
  • extra time and labor must be invested, and the cost of producing the product increases accordingly. Therefore, if sewing stitching defects can be detected in real time in sewing work and given early warning, the time and cost required can be reduced and efficiency and productivity on the production line can be maximized.
  • the present invention uses an artificial neural network to automatically detect and classify various types of sewing defects that occur during sewing work on clothing production equipment such as sewing machines and automated cutting machines in the production of clothing, classify them in real time, and issue a sewing defect warning. It is intended to provide detection and classification methods and systems for them.
  • the artificial neural network-based sewing defect detection and classification method involves learning a large amount of training images for each type of sewing defect prepared in a computer system using an artificial neural network-based machine learning algorithm or a deep learning algorithm. Obtaining a sewing defect detection and defect type classification model; And in the computer system, an artificial neural network-based computer program to which the sewing defect detection and defect type classification model is applied is executed, and real-time captured images of the work being sewn provided from a camera are input to the sewing defect detection and defect type classification model. It includes the step of detecting sewing defects that occur during sewing work in real time and classifying the type of sewing defect.
  • the method of detecting sewing defects and building a defect type classification model may further include performing data augmentation by enlarging, reducing, and rotating images prepared as learning data.
  • the types of sewing defects may include sewing defects, sewing defects, and pinching defects.
  • the types of sewing defects may further include dent defects, thread fraying defects, puckering defects, contamination and damage defects, needle mark defects, lower thread showing, and double stitch defects.
  • the step of classifying the type of sewing defect includes: while the sewing machine is sewing the work, the camera photographs a sewing area of the work in real time; In the computer system, collecting images of the captured sewing area in real time from the camera; And in the computer system, it may include inputting the collected sewing area image into the sewing defect detection and defect type classification model to detect sewing defects and simultaneously classify the type of detected sewing defect.
  • the method may further include, in the computer system, outputting information about classified types of sewing defects to an output means.
  • the outputting step may include outputting a warning so that the worker can be aware that a sewing defect has occurred.
  • the information about the sewing defect may include information about the type name and cause of the sewing defect that occurred, and a measure for correcting the sewing defect.
  • the method may further include performing image preprocessing to binarize data of the real-time captured image and remove background from areas other than the stitching portion.
  • the artificial neural network-based sewing defect detection and classification system is installed with a camera and a computer device to photograph the sewing area of the work sewn by the sewing machine, and the captured image a camera that provides a computer; And a large number of prepared training images for each type of sewing defect are learned with an artificial neural network-based machine learning algorithm or a deep learning algorithm to obtain a sewing defect detection and defect type classification model, and the sewing defect detection and defect type classification model is built based on an artificial neural network.
  • real-time captured images of the work being sewn provided by the camera are input into the sewing defect detection and defect type classification model to detect sewing defects occurring during sewing work in real time and identify the type of sewing defect. It may include a computer system configured to classify.
  • the types of sewing defects may include sewing defects, sewing defects, and pinching defects.
  • the types of sewing defects may further include dent defects, thread fraying defects, puckering defects, contamination and damage defects, needle mark defects, lower thread showing, and double stitch defects.
  • the artificial neural network-based computer program includes a function of collecting images captured by the camera in real time of a sewing area of the workpiece in real time from the camera while the sewing machine sews the workpiece; And it may include a function to input the collected sewing area image into the sewing defect detection and defect type classification model to detect sewing defects and simultaneously classify the type of detected sewing defect.
  • the artificial neural network-based computer program may further include a function to output information about classified types of sewing defects to an output means of the computer system.
  • the artificial neural network-based sewing defect detection and classification system may further include an alarm unit configured to receive a sewing combination detection signal from the computer system and warn that a sewing defect has occurred.
  • a computer-executable program stored in a computer-readable recording medium may be provided.
  • a computer-readable recording medium recording a computer program for performing the artificial neural network-based sewing defect detection and classification method mentioned above may be provided.
  • various types of sewing defects that occur during sewing work in clothing production equipment such as sewing machines and automated cutting machines can be accurately and automatically detected and classified in real time based on artificial intelligence technology, and real-time warnings can be issued to related parties such as workers. there is.
  • appropriate follow-up measures to resolve the defect can be guided depending on the type of defect that occurred.
  • workers, etc. can recognize in real time the occurrence of a sewing defect and the type of the defect, and can immediately take appropriate follow-up measures accordingly.
  • the productivity of the sewing production line can be improved by minimizing the waste of time and money that may be wasted due to poor stitching.
  • the status of sewing defects occurring during sewing work for each worker and/or work line in a garment production factory can be stored in a database using IoT technology. Based on the data thus secured, big data analysis on the defect rate of individual workers and/or work lines can be performed. Through this, it is possible to secure information on the skill level and productivity of each worker, as well as information on the productivity of each work line.
  • the method of the present invention can also be applied to products of other product groups, such as shoes, bags, and car seats, for which similarity in appearance with a reference product must be compared. This makes it possible to expand rapid shape defect inspection to other industrial fields.
  • Figure 1 shows images of various types of sewing defects that may commonly occur in sewing work.
  • Figure 2 shows the frequency of occurrence of various sewing defects shown in Figure 1.
  • Figure 3 illustrates a flow chart of the process when a sewing defect occurs.
  • Figure 4 is a flowchart schematically showing the overall procedure of the sewing defect detection and type classification method according to an exemplary embodiment of the present invention.
  • Figure 5 is a block diagram showing the configuration of a sewing defect detection and type classification system according to an exemplary embodiment of the present invention.
  • FIG. 6 is a block diagram showing the configuration of the computer device shown in FIG. 5.
  • Figure 7 shows an example of actually applying the sewing defect detection and classification system of Figure 5 to a sewing machine.
  • FIG. 8 shows portion “A” of FIG. 7 in more detail.
  • Figure 9 is a flowchart showing detailed performance procedures of the sewing defect detection and type classification method according to an exemplary embodiment of the present invention.
  • FIG. 10 illustrates images for each type of sewing defect used in artificial neural network-based learning in step S20 of Figure 9.
  • Figure 11 summarizes feature examples for each sewing defect type and application of the features in the AI algorithm learning process for each case.
  • Figures 12 (A), (B), and (C) illustrate related images in steps S24, S26, and S28 of Figure 9, respectively.
  • Figure 13 shows an example of providing a method of action for each type of sewing combination in relation to step S32 of Figure 9.
  • Figure 4 schematically shows the overall procedure of the sewing defect detection and type classification method according to an exemplary embodiment.
  • types of sewing defects include skipping stitches, broken stitches, pinching, denting, thread fraying, puckering, contamination and damage, needle marks, lower thread showing, and double stitching.
  • various training image data labeled for each type of sewing defect are used. You can prepare. Then, using a computer system, a large amount of training image data for each type of sewing defect is trained with an artificial neural network-based machine learning algorithm or a deep learning algorithm, and through the learning, a sewing defect detection and defect type classification model can be obtained.
  • An environment that can be executed on a computer system can be built by creating a computer program for sewing defect classification that applies the obtained sewing defect detection and defect type classification model (step S10).
  • the sewing area of the work being sewn can be photographed using a camera while running an artificial neural network-based computer program with sewing defect detection and defect type classification model applied in the computer system (step S12).
  • the background of the captured image may vary, and the diversity of the background area may reduce the accuracy of judgment and classification of sewing defects. Considering this, image preprocessing can be performed to binarize the data of the real-time captured image and remove the background from areas other than the stitching area (step S14).
  • the sewing area image captured by the camera can be provided to the computer system in real time, either directly or after preprocessing, and input into the sewing defect detection and defect type classification model of the artificial neural network-based computer program. Then, the sewing defect detection and defect type classification model determines whether the sewing work is normal or defective with respect to the input sewing area image, and in the case of a sewing defect, it can be classified by the type of sewing combination (step S16).
  • the artificial neural network-based computer program can output a warning so that the sewing worker and/or work manager knows that a sewing defect has been detected.
  • the type of detected sewing defect and appropriate measures to resolve it can be output through an output means (e.g. monitor, etc.) so that the sewing worker and/or work manager can be informed (step S18).
  • Figure 5 shows the configuration of a sewing defect detection and type classification system according to an exemplary embodiment of the present invention.
  • the sewing defect detection and type classification system 10 may include a camera 40 and a computer device 50. This stitching defect detection system 10 may further include an alarm unit 60.
  • the camera 40 may be installed in each sewing machine 20.
  • the camera 40 may be attached directly to the sewing machine 20 or installed near the sewing machine 20 so as to photograph the workpiece 30 being sewn.
  • the camera 40 may be communicatively connected to the computer device 50 so as to transmit captured images to the computer device 50 .
  • Sewing defect detection and classification information may be notified to the operator of the sewing machine 20 that caused the defect.
  • an alarm unit 60 may also be installed in each sewing machine 20.
  • the alarm unit 60 may consist of an output unit 55, for example, a speaker and/or display of the computer device 50, or an alarm, such as an independent speaker and/or buzzer and/or warning light, separate from the computer device 50. It can be composed of means.
  • the alarm unit 60 may be communicatively connected to the computer device 50 to receive defect detection information from the operation processing unit 52 of the computer device 50.
  • the computer device 50 is implemented as one or more computers configured to match the cameras 40 and alarm units 60 installed in the plurality of sewing machines 20 and communicate with them through a communication network. It can be.
  • the computer device 50 may include a local computer device installed one at a time for each sewing machine 20 or one at a time for a plurality of sewing machines 20 . Additionally, in addition to the local computer device, a separate server computer device connected to the local computer devices through a network may be further included.
  • the cameras 40 and alarm units 60 installed in each sewing machine 20 may be communicatively connected to the computer device 50 through a wired and/or wireless communication network (not shown).
  • the local computer device 50 installed in each sewing machine 20 may be implemented as a general-purpose small computer or a dedicated computing device configured for the present invention.
  • the sewing defect detection and type classification system 10 may further include a separate server computer device 70 capable of communicating with the local computer device 50.
  • This server computer device 70 can acquire sewing defect detection and defect type classification models by learning a large amount of various types of sewing defect images.
  • sewing defect detection and type classification tasks can also be performed on real-time sewing images provided by the local computer device 50 using a sewing defect detection and type classification model.
  • Figure 6 shows the configuration of a computer device 50 according to an exemplary embodiment of the present invention.
  • the computer device 50 includes hardware devices such as an input unit 54 and an output unit 55, an operation processing unit 52, a storage unit 53, and a communication unit 51, an operating system program, and an operating system program, which will be described later. It may include software 56 such as a computer program implementing a sewing defect detection and classification method according to the embodiment.
  • the camera 40 and the alarm unit 60 may be directly connected to the computer device 50.
  • the storage unit 53 may store image data, programs, etc. collected from the camera 40.
  • the operation processing unit 52 includes memory and, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), a programmable logic unit (PLU), and a microcomputer. It can be implemented with a processor, etc.
  • ALU arithmetic logic unit
  • FPA field programmable array
  • PLU programmable logic unit
  • the calculation processing unit 52 of the computer device 50 executes the computer program 56 for classification of sewing defects stored in the storage unit 53 and sends the sewing image data provided by each camera 40 in real time through the communication unit 51. It can be delivered to and stored in the storage unit 53. Additionally, the calculation processing unit 52 may read sewing image data stored in the storage unit 53 and perform data preprocessing to detect sewing defects. Furthermore, the operation processing unit 52 provides the preprocessed sewing image data as input to a computer program for classifying sewing defects, detects and classifies whether the sewing in the sewing image is normal sewing or sewing with some type of defect. can do.
  • the operation processing unit 52 can warn of the detected sewing defect (transmit a feedback signal, display an alarm signal) and take appropriate follow-up measures according to the type of the sewing defect. Specifically, when the sewing defect evaluation result is determined to be normal, the calculation processing unit 52 feeds back the 'normal' evaluation result to the camera 40 through the communication unit 51 and sends a newly captured image from the camera 40. Tasks such as receiving data, image processing of the image data, evaluation (detection and classification) of sewing defects, and transmission of feedback signals can be repeated as before. If a sewing defect (defect) is found as a result of the evaluation, the operation processing unit 52 of the computer device 50 may control the alarm unit 60 to output an alarm indicating the occurrence of a defect.
  • information regarding the type of detected defect and appropriate follow-up measures to resolve the defect can be output to an output means of the computer device 50, such as a monitor.
  • This series of processes ensures that when a sewing defect occurs, an alarm is displayed within a very short time (for example, within 3 seconds) from the time the image is captured by the camera 40, so that sewing defects can be detected in real time and immediate action can be taken. It can be done.
  • the defect data may be provided to a separate central computer device (not shown) using IoT and stored in a database.
  • FIG. 7 shows an example of the sewing defect detection and classification system 10 of FIG. 5 actually installed in the sewing machine 20, and FIG. 8 shows portion “A” of FIG. 7 in more detail.
  • the computer device 50 is a local computer 50-1 installed in each sewing machine 20.
  • the local computer 50-1 may be installed on the body 22 of the sewing machine 20 according to the operator's gaze height.
  • the camera 40-1 may be fixed to the rear part of the body 22 of the sewing machine 20 to photograph the area behind the presser foot 26 where the workpiece 30 is sewn and discharged.
  • the computer device 50 and the camera 40 can be mounted using a fixing jig for stable mounting in a location that does not interfere with the sewing worker's work.
  • the alarm unit 60 may be implemented as an output unit 55 of the computer device 50, such as a speaker and/or display, or as a separate alarm device 60-1.
  • Figure 8 illustrates that the camera 40 is installed with a fixed jig on the rear of the sewing machine body, which is a position for accurately photographing sewing stitching without interfering with sewing work.
  • Figure 9 shows detailed performance procedures of the sewing defect detection and type classification method according to an exemplary embodiment of the present invention.
  • preparation work is performed to detect sewing defects and obtain a defect type classification model.
  • a small camera 40 that does not affect the sewing work is installed in the manual and/or automatic sewing machine 20 and the sewing area including the stitches of the sewing work is photographed 3-4 times per second.
  • the captured sewing stitch image data is connected to the small camera 40 and transmitted to the local computer device 50 that controls the small camera, and can be transmitted to a separate server computer device 70 through the communication unit 51 and stored.
  • Server computer device 70 may be a cloud server.
  • This learning data may include sewing stitch images with normal sewing work and sewing stitch images for various defect types mentioned above.
  • the sewing stitch image data collected and stored in the server computer device 70 is divided into 'normal' and defect types (sewing stitches, defects, pinching, crushing, thread fraying, puckering, contamination and damage, needle marks, visible lower thread, Learning data can be generated by classifying by double stitch and labeling each group.
  • Figure 10 illustrates normal sewing stitch images and sewing stitch images of various defect types collected for artificial neural network training.
  • data augmentation is performed by enlarging, reducing, and rotating the prepared sewing stitch image data. Through this preparation work, for example, 100,000 sewing stitch images with normal sewing and 100,000 sewing stitch images for each sewing defect can be prepared as sewing stitch images for learning (step S20).
  • a deep learning model such as VGG16 is built and a sewing defect detection and defect type classification model is learned using the prepared sewing stitch image data for learning (step S22).
  • the system can be configured to configure a guidance screen for each sewing defect type, cause, and action method so that the local computer 50 can call the screen when the corresponding type is detected.
  • Figure 11 summarizes feature examples for each sewing defect type and application of the features in the AI algorithm learning process for each case.
  • the stitching is characterized by uneven or skipped stitches, and the start and end of the stitches are not clearly visible.
  • sewing stitch images showing these characteristics can be classified as sewing stitches.
  • Bongtal is a state in which the seam line is broken and separated, and is characterized by the fact that the seam line is broken. By learning the feature of broken seam lines, sewing stitch images showing this feature can be classified as sewing stitches.
  • Stitching is a state in which the fabric is double-stitched along the sewing line, and is characterized by the fabric being double-stitched in the middle of sewing.
  • a dent is a state in which the seam line is uneven and crooked, and is characterized by a curve visible in the middle of the seam line.
  • Siltteum is a condition in which the seam line is widened and is characterized by loose stitching on the seam line. By learning these features, sewing stitch images showing these features can be classified as sewing stitches.
  • Puckering is a condition in which wrinkles and shrinkage occur along the seam line. Although the fabric is not double sewn, it has the characteristic of forming wrinkles. By learning wrinkle-generating features, sewing stitch images showing these features can be classified as puckering.
  • Contamination and damage are states in which contamination or damage has occurred. By learning the characteristics of contamination and damage to the fabric, sewing stitch images showing these characteristics can be classified as contamination or damage.
  • a needle mark defect is a condition in which needle marks are visible in the sewing correction area. By learning the characteristics of needle marks observed along the sewing line, sewing stitch images showing these characteristics can be classified as needle mark defects.
  • a lower thread visible defect is a condition in which the lower thread is visible as it rises from the seam line.
  • Double stitching is a state in which stitches are overlapped on a seam line. By learning the characteristics of double stitched seams, sewing stitch images showing this characteristic can be classified as double stitch defects.
  • the computer program for detecting and classifying sewing defects is executed on the local computer device 50 and/or the server computer device 70, so that images are captured between actual sewing operations and recorded on the local computer device 50 and/or in real time.
  • sewing defect detection and type classification may be performed on the sewing stitch image provided to the server computer device 70.
  • the camera 40 installed in the automatic or manual sewing machine 20 photographs the sewing area of the workpiece 30 where sewing work is performed and provides the image to the local computer device 50 and/or the server computer device 70. can do.
  • Shooting can be done at, for example, 4 pictures per second and the resolution can be, for example, 200x200 pixels (step S24).
  • the camera 40 can photograph the work 30 being sewn on the sewing machine 20 .
  • the camera 40 can provide the captured image to the computer device 50.
  • the computer device 50 may collect image data provided by the camera 40 in predetermined units.
  • the calculation processing unit 52 may receive image data provided by the camera 40 through the communication unit 51 and store it in the storage unit 53.
  • the image data provided by the camera 40 is an image based on RGB model data. If the system 10 is configured to perform sewing defect detection and type classification processing at the server computer device 70, the local computer device 50 receives sewing stitch image data from the camera 40 and sends it to the server computer device 70. ) can be transmitted.
  • the camera 40 needs to photograph all sections of the workpiece 30 without exception. If the number of captured images per unit time is too small compared to the moving speed of the workpiece 30, missed capture sections may occur. To prevent this, when collecting images, the minimum number of images taken per unit time can be obtained by considering the sewing speed (RPM) of the sewing machine 20, the number of stitches in the unit section, and the analysis pixel size.
  • the camera 40 may be set to capture frames equal to or greater than the minimum number of captured images obtained per unit time. Depending on the sewing speed, the number of images that must be captured may increase. Accordingly, it is necessary to select an appropriate fps (frames per second). Depending on the sewing speed, the minimum number of frames (fps) that must be shot per unit time can be calculated using the formula below.
  • the camera 40 must shoot at a shooting speed of at least the required number of frames per second (fps) calculated by equation (1) to capture the sewing section in the captured image area (horizontal*vertical) without missing it.
  • the sewing speed is 500 RPM
  • the feed distance per second is 30 mm
  • the required number of frames per second is 3 (three photos are taken per second)
  • the sewing speed is 500 RPM
  • the feed distance per second is 140 mm.
  • the number of stitches per second is 40
  • the required number of frames per second is calculated as 3.5, so it is actually necessary to take at least 4 photos (100x200 pixels) per second. This means that as the sewing speed (RPM) becomes faster, more photos must be taken to capture all the stitches applied to the workpiece 30 in the photo.
  • the local computer device 50 and/or the server computer device 70 may perform preprocessing, such as binarizing the image received from the camera 40 and removing the background (step S26). Specifically, preprocessing involves removing the fabric background from the fabric image and converting the RGB model data of the fabric image into HSV model data that specifies a specific color using the coordinates of hue, saturation, and value. After conversion, the image may be simplified by detecting outlines through a simplification process using only the saturation (S) channel data among the converted HSV model-based data.
  • preprocessing such as binarizing the image received from the camera 40 and removing the background (step S26). Specifically, preprocessing involves removing the fabric background from the fabric image and converting the RGB model data of the fabric image into HSV model data that specifies a specific color using the coordinates of hue, saturation, and value. After conversion, the image may be simplified by detecting outlines through a simplification process using only the saturation (S) channel data among the converted HSV model-based data.
  • the stitch image of the preprocessed sewing area may be given as input data to the prepared sewing defect detection and defect type classification model.
  • the sewing defect detection and defect type classification model analyzes the sewing stitches of the input data to detect whether the sewing work in the image is normal or defective, and if it is defective, can perform processing to classify what type of defect it is. (Step S28).
  • FIGS 12 (A), (B), and (C) illustrate related images in steps S24, S26, and S28 of Figure 9.
  • (A) illustrates images taken of a part where sewing work was performed normally and images taken of a part containing various sewing defects.
  • (B) illustrates images obtained by preprocessing the sewing images in (A), such as binarization and background removal.
  • (C) illustrates the result of classifying the preprocessed images in (B) by defect type by inputting them into a sewing defect detection and defect type classification model.
  • step S30 If the sewing defect detection and classification results of the artificial intelligence algorithm-based sewing defect detection and defect type classification model for sewing stitch image data transmitted in real time are 'normal', detection and classification are performed on the next image, and the 'normal' classification is continuously performed. 'If yes, repeat this process (step S30).
  • the sewing defect detection and classification results of the artificial intelligence algorithm-based sewing defect detection and defect type classification model for sewing stitch image data transmitted in real time are detected and classified as falling into one of the various sewing defect types mentioned above.
  • related information is output through the output unit 55 connected to the local computer device 50. That is, when a sewing defect is detected, the operation processing unit 52 of the computer device 50 may generate a buzzer or warning light alarm operation signal and provide the alarm operation signal to the alarm unit 60. Additionally, the calculation processing unit 52 can store related data in the storage unit 53. Accordingly, the alarm unit 60 can output an alarm warning that a stitching defect has occurred. When a defect occurrence alarm is output, the user will be able to immediately stop sewing work.
  • Figure 13 shows an example providing a method of action for each type of sewing combination in relation to step S32 of Figure 9.
  • follow-up measures such as needle replacement, book position adjustment, presser foot pressure strengthening, needle bar height adjustment, etc.
  • follow-up measures such as strengthening the presser foot pressure, adjusting the presser foot, and adjusting the leveling of the needle plate can be guided. In this way, as shown in Figure 13, follow-up measures to be taken for each sewing defect type can be guided.
  • the sewing worker can inspect/correct the defect in the sewing product by referring to the type, cause, and action method of the defect demonstrated on the monitor 55 and correct the cause of the defect (step 34).
  • step S36 the sewing worker can reset the sewing defect detection and classification algorithm and classify real-time data captured during actual sewing work and transmitted to the server using the re-learned artificial intelligence-based sewing defect detection and classification algorithm. There is (step S36).
  • the above process can be continuously repeated until the sewing work of the relevant sewn product is completed.
  • the sewing defect detection and type classification method and system processes images obtained by photographing the sewing area with a camera during sewing work for clothing production in real time based on artificial intelligence in a computer device. This allows you to quickly detect sewing stitching defects and classify the type of defect. Furthermore, when a defect occurs in sewing work, information about what type of defect occurred in the process in which the defect occurred can be provided to the worker in real time, allowing the worker to immediately correct the defect. Through this, you can minimize waste of time, manpower, etc. and improve the productivity of the sewing production line. This can be informed to workers.
  • the sewing stitching defect detection and type classification method according to the embodiments of the present invention described above may be implemented in the form of a computer program that can be executed through various computer means.
  • the implemented computer program may be recorded in the data storage of the local computer device 50 and/or the server computer device 70 or in a separate computer-readable recording medium.
  • the method of the present invention can be performed by reading and executing the implemented computer program stored in a recording medium by an arithmetic processing unit in a computer device.
  • the computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • the present invention can be used in the clothing sewing field to detect sewing defects during sewing work and automatically classify their types.
  • the present invention can be applied to automated sewing machines as well as to cases where a sewing worker performs sewing work using a basic sewing machine (main sewing machine).
  • the present invention can be used not only to detect and classify clothing sewing defects, but also to quickly analyze appearance errors in various manufactured products to determine whether there is a defect and the type of defect. For example, it can be used as an external quality inspection system in industries that produce macro-scale products.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Textile Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Analytical Chemistry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Materials Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Sewing Machines And Sewing (AREA)

Abstract

인공지능 기반 봉제결함 탐지 및 분류 방법 및 시스템이 개시된다. 컴퓨터 시스템에서, 준비된 봉제결함 유형별 다량의 학습용 이미지를 인공신경망 기반 기계학습 알고리즘 또는 딥러닝 알고리즘으로 학습하여 봉제결함 탐지 및 결함유형 분류모델을 획득한다. 그 컴퓨터 시스템에서, 봉제결함 탐지 및 결함유형 분류모델이 적용된 인공신경망 기반 컴퓨터 프로그램을 실행하여, 카메라로부터 제공되는 봉제작업 중인 작업물의 실시간 촬영 이미지를 상기 봉제결함 탐지 및 결함유형 분류모델에 입력하여 봉제작업 중에 발생하는 봉제결함을 실시간으로 검출하여 그 봉제결함의 유형을 분류한다. 결함이 검출된 경우, 결함의 유형에 적합한 조치를 포함하는 검출된 결함에 관한 정보를 작업자에게 표출시킨다.

Description

인공지능 기반 봉제결함 탐지 및 분류 방법 및 시스템
본 발명은 의류 봉제 기술분야에 관한 것으로, 보다 상세하게는 의류생산공장에서 의류 봉제 작업을 수행함에 있어서 발생하는 봉제결함을 자동으로 검출하는 기술에 관한 것이다.
일반적으로 의류 생산을 위한 대부분의 작업에는 봉제기를 이용한 봉제 작업이 포함된다. 봉제 작업의 품질은 곧 생산되는 의류의 품질에 직결된다. 작업자의 기술 숙련도에 따라 봉제 작업의 품질은 다르게 나타난다.
봉제기, 자동화 재봉기 등을 이용하여 원단 패턴에 대한 봉제 작업을 수행하는 봉제 현장에서 발생하는 봉제 결함은 상당히 많은 유형이 있다. 도 1은 실제 봉제 작업 결과물들에서 봉제결함이 일어난 것을 예시한 것이다. 도 1에서 타원으로 표시된 영역이 봉제결함 부분이다. 도 1에 도시된 것처럼, 봉제결함의 종류는 봉비(건너뜀), 봉탈(Brocken stitch), 찝힘, 찌그러짐, 실뜸, 퍼커링, 오염 및 손상, 바늘자국, 밑실보임, 이중박음 등과 같이 다양하다.
불량의 종류별 특징은 아래 표 1에 정리되어 있다. 이러한 다양한 봉제 결함들은 생산품의 품질에 결정적 영향을 미친다. 그런데 이러한 봉제 결함이 해당 공정에서 인지되지 못하여 최종 검사 단계까지 가서 확인되면, 그 결함이 발생한 공정으로부터 최종 검사 직전 공정까지의 작업 내역을 모두 해체하고 다시 해당 공정으로 송하여 공정을 진행해야 할 수도 있다.
[표 1]
Figure PCTKR2023011999-appb-img-000001
도 2는 의복 생산에 있어서 봉제 결함의 유형별 발생빈도에 관한 통계 자료를 도시한다. 도 2에 도시된 것처럼, 봉비, 봉탈 결함이 가장 많이 발생하는데 각각 약 36%, 31%를 차지하고, 그 다음으로 찝힘, 찌그러짐, 실뜸, 퍼커링 결함이 각각 약 12%, 9%, 5%, 4% 정도 차지한다. 따라서 봉탈 이외의 다른 유형의 결함이 약 70% 정도를 차지하므로 이들 봉제 결함까지 한꺼번에 탐지할 수 있는 기술이 요구된다.
대한민국 특허 제10-2322546호(발명의 명칭: 봉제 스티칭 불량 검출 방법 및 시스템)는 봉제 불량 중 봉탈(Broken stitch)에 대하여 카메라를 통해 이미지를 촬영하고 실시간으로 봉제선을 검출하고, 검출된 다수의 이미지를 실시간으로 비교하여 유사도를 측정하여 봉제 불량을 검출하는 방법을 개시한다. 이 특허기술은 봉제선 검출을 위해 인공지능 기법을 사용하는 것과, HED(holistically-Nested Edge Detection) 알고리즘을 에지(윤곽선) 검출 알고리즘으로 사용하는 것을 개시한다. 이 특허에 따르면, 에지 안의 윤곽과 객체 경계에 대한 해상도 정보를 설명하기 위한, 계층적으로 포함된 다중 크기의 에지 필터를 학습하여 최종적으로 모든 필터를 비교함으로써 모든 예측의 평균을 구할 수 있고, 검출된 이미지의 크기에 맞춰 HED 알고리즘을 통과시켜 에지 필터를 거친 이미지를 추출할 수 있다는 것이 개시된다. 그런데 이 특허의 개시내용은 단순히 취득한 이미지에서 에지를 추출하는 방법에만 국한되어 있다. 또한, 상기 종래 특허는 검출할 수 있는 결함의 종류로 봉탈(끊김), 봉비(건너뜀), 찌그러짐을 언급하였으나, 각각의 결함이 어떤 특징을 가지는지, 이들 중 봉탈(끊김)을 제외하고 나머지 결함을 어떻게 탐지할 수 있는지에 대해 명시하지 않았다.
도 3은 의류 봉제 작업 과정에서 봉제 결함이 발생할 때의 공정 흐름을 예시한다. 예시된 공정은 Duckdown의 앞뒤판에 Head tuning을 하고, Sleeve와 Cuff, Pockets, Collar를 각각 결합하여 옷을 완성하는 공정이다. 예컨대 1번부터 37번까지의 공정 전부를 다 마친 다음 품질 검사(QC) 단계에서 Pocket을 Duckdown에 결합하는 봉제 작업공정(18번 공정)에서 결함이 생긴 것이 발견되면, 37번 공정부터 역으로 그 직전 공정인 17번 공정까지의 작업 내역을 해체하고, 작업물을 17번 공정으로 이송하여 다시 37번 공정까지 재작업을 해야 하는 경우가 생길 수 있다. 이런 경우에는 과외의 시간과 노동력 등이 투입되어야 하고, 그에 따라 제품 생산 비용이 높아진다. 그러므로 봉제 작업에서 봉제 스티칭 결함을 실시간으로 탐지하여 조기에 경고할 수 있다면, 소요되는 시간과 비용을 절감하여 생산라인에서의 효율성과 생산성을 극대화 할 수 있을 것이다.
본 발명은 의복 생산에 있어서 봉제기, 자동화 재단기 등 의류생산장비에서 봉제 작업 수행 중에 발생하는 다양한 유형의 봉제결함을 인공신경망을 이용하여 자동으로 실시간으로 검출하여 분류하고, 경고를 발할 수 있는 봉제결함 탐지 및 분류 방법과 이를 위한 시스템을 제공하기 위한 것이다.
본 발명이 해결하고자 하는 과제는 상술한 과제들에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
상기 본 발명의 일 목적을 실현하기 위한 실시예에 따른 인공신경망 기반 봉제결함 검출 및 분류 방법은, 컴퓨터 시스템에서, 준비된 봉제결함 유형별 다량의 학습용 이미지를 인공신경망 기반 기계학습 알고리즘 또는 딥러닝 알고리즘으로 학습하여 봉제결함 탐지 및 결함유형 분류모델을 획득하는 단계; 및 상기 컴퓨터 시스템에서, 상기 봉제결함 탐지 및 결함유형 분류모델이 적용된 인공신경망 기반 컴퓨터 프로그램을 실행하여, 카메라로부터 제공되는 봉제작업 중인 작업물의 실시간 촬영 이미지를 상기 봉제결함 탐지 및 결함유형 분류모델에 입력하여 봉제작업 중에 발생하는 봉제결함을 실시간으로 검출하여 그 봉제결함의 유형을 분류하는 단계를 포함한다.
예시적인 실시예에 있어서, 상기 방법은 상기 봉제결함 탐지 및 결함유형 분류모델을 구축하는 단계는 학습데이터로 준비된 이미지들을 확대, 축소, 회전시켜 데이터 증강을 수행하는 단계를 더 포함할 수 있다.
예시적인 실시예에 있어서, 상기 봉제결함 유형은 봉비 결함, 봉탈 결함, 찝힘 결함을 포함할 수 있다.
예시적인 실시예에 있어서, 상기 봉제결함 유형은 찌그러짐 결함, 실뜸 결함, 퍼커링 결함, 오염 및 손상 결함, 바늘자국 결함, 밑실 보임, 이중박음 결함을 더 포함할 수 있다.
예시적인 실시예에 있어서, 상기 봉제결함의 유형을 분류하는 단계는, 봉제기가 작업물을 봉제하는 동안에, 상기 카메라가 상기 작업물의 봉제영역을 실시간으로 촬영하는 단계; 상기 컴퓨터 시스템에서, 촬영된 봉제영역 이미지를 상기 카메라로부터 실시간으로 수집하는 단계; 및 상기 컴퓨터 시스템에서, 수집된 상기 봉제영역 이미지를 상기 봉제결함 탐지 및 결함유형 분류모델에 입력하여 봉제결함을 검출함과 동시에 탐지된 봉제결함의 유형을 분류하는 단계를 포함할 수 있다.
예시적인 실시예에 있어서, 상기 방법은 상기 컴퓨터 시스템에서, 분류된 유형의 봉제결함에 관한 정보를 출력수단에 출력하는 단계를 더 포함할 수 있다.
예시적인 실시예에 있어서, 상기 출력하는 단계는 봉제결함이 발생하였음을 작업자가 알 수 있도록 경고를 출력하는 단계를 포함할 수 있다.
예시적인 실시예에 있어서, 상기 봉제결함에 관한 정보는 발생한 봉제결함의 유형명 및 발생원인, 봉제결함 수정을 위한 조치 방법에 관한 정보를 포함할 수 있다.
예시적인 실시예에 있어서, 상기 방법은 실시간 촬영 이미지의 데이터를 이진화하고 박음질 부분 이외의 영역에서 배경을 제거하는 이미지 전처리를 하는 단계를 더 포함할 수 있다.
한편, 상기 본 발명의 일 목적을 실현하기 위한 실시예에 따른 인공신경망 기반 봉제결함 검출 및 분류 시스템은 카메라와 컴퓨터 장치를 , 봉제기에 의해 봉제되는 작업물의 봉제영역을 촬영하도록 설치되고, 촬영한 이미지를 컴퓨터에 제공하는 카메라; 및 준비된 봉제결함 유형별 다량의 학습용 이미지를 인공신경망 기반 기계학습 알고리즘 또는 딥러닝 알고리즘으로 학습하여 봉제결함 탐지 및 결함유형 분류모델을 획득하고, 상기 봉제결함 탐지 및 결함유형 분류모델이 구축된 인공신경망 기반 컴퓨터 프로그램을 실행하여, 상기 카메라로부터 제공되는 봉제작업 중인 작업물의 실시간 촬영 이미지를 상기 봉제결함 탐지 및 결함유형 분류모델에 입력하여 봉제작업 중에 발생하는 봉제결함을 실시간으로 검출하여 그 봉제결함의 유형을 분류하도록 구성된 컴퓨터 시스템을 포함할 수 있다.
예시적인 실시예에 있어서, 상기 봉제결함 유형은 봉비 결함, 봉탈 결함, 찝힘 결함을 포함할 수 있다.
예시적인 실시예에 있어서, 상기 봉제결함 유형은 찌그러짐 결함, 실뜸 결함, 퍼커링 결함, 오염 및 손상 결함, 바늘자국 결함, 밑실 보임, 이중박음 결함을 더 포함할 수 있다.
예시적인 실시예에 있어서, 상기 인공신경망 기반 컴퓨터 프로그램은, 봉제기가 작업물을 봉제하는 동안에 상기 카메라가 상기 작업물의 봉제영역을 실시간으로 촬영한 이미지를 상기 카메라로부터 실시간으로 수집하는 기능; 및 수집된 상기 봉제영역 이미지를 상기 봉제결함 탐지 및 결함유형 분류모델에 입력하여 봉제결함을 검출함과 동시에 탐지된 봉제결함의 유형을 분류하는 기능을 포함할 수 있다.
예시적인 실시예에 있어서, 상기 인공신경망 기반 컴퓨터 프로그램은 분류된 유형의 봉제결함에 관한 정보를 상기 컴퓨터 시스템의 출력수단에 출력되도록 하는 기능을 더 포함할 수 있다.
예시적인 실시예에 있어서, 상기 인공신경망 기반 봉제결함 검출 및 분류 시스템은 상기 컴퓨터 시스템으로부터 봉제결합 검출신호를 전달받아 봉제결함이 발생하였음을 경고하도록 구성된 알람부를 더 포함할 수 있다.
앞에서 언급된 인공신경망 기반 봉제결함 검출 및 분류 방법을 수행하기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 실행가능 프로그램이 제공될 수 있다.
또한, 앞에서 언급된 인공신경망 기반 봉제결함 검출 및 분류 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.
본 발명에 따르면, 봉제기, 자동화 재단기 등 의류생산장비에서 봉제 작업 중에 발생하는 다양한 종류의 봉제결함을 인공지능 기술에 기반하여 실시간으로 정확하게 자동 탐지 및 분류하여 작업자 등 관련 당사자에게 실시간 경고를 발할 수 있다. 또한, 경고와 함께, 발생한 불량 유형에 따라 그 불량 해소를 위한 적합한 후속조치를 안내할 수 있다. 이에 의해, 작업자 등은 발생한 봉제결함의 발생과 그 불량의 종류를 실시간으로 인식할 수 있고, 그에 따라 적합한 후속 조치를 즉시 취할 수 있다. 스티칭 불량으로 인해 낭비될 수도 있는 시간과 비용의 낭비를 최소화 하여 봉제 생산라인의 생산성을 향상시킬 수 있다.
또한, 본 발명에 따르면, 의복 생산 공장에서 작업자별 및/또는 작업라인별로 봉제 작업 중에 발생하는 봉제결함 현황을 IoT 기술을 이용하여 데이터베이스에 저장할 수 있다. 그렇게 확보되는 데이터에 기초하여, 개별 작업자 및/또는 작업라인의 불량률 등에 대한 빅데이터 분석을 할 수 있다. 이를 통해, 각 작업자의 기술수준과 생산성 등에 관한 정보, 그리고 각 작업라인별 생산성 등에 관한 정보를 확보할 수 있다.
본 발명의 방법은 기준 제품과 외형의 유사도를 비교하여야 하는 타 제품군예컨대, 신발, 가방, 자동차 시트 등의 제품에 적용할 수도 있다. 이를 통해 신속한 형상 불량 검사의 타 산업분야 확장이 가능하다.
도 1은 봉제 작업에서 일반적으로 발생할 수 있는 다양한 유형의 봉제결함에 관한 이미지들을 보여준다.
도 2는 도 1에 도시된 다양한 봉제결함의 발생 빈도를 나타낸다.
도 3은 봉제 결함 발생 시 공정의 흐름도를 예시한다.
도 4는 본 발명의 예시적인 실시예에 따른 봉제결함 탐지 및 유형 분류 방법의 전반적인 절차를 개략적으로 나타낸 흐름도이다.
도 5는 본 발명의 예시적인 실시예에 따른 봉제결함 탐지 및 유형 분류 시스템의 구성을 나타낸 블록도이다.
도 6은 도 5에 도시된 컴퓨터 장치의 구성을 나타낸 블록도이다.
도 7은 도 5의 봉제결함 탐지 및 분류 시스템을 실제로 봉제기에 적용한 예를 보여준다.
도 8은 도 7의 "A" 부분을 좀 더 상세하게 도시한 것이다.
도 9는 본 발명의 예시적인 실시예에 따른 봉제 결함 탐지 및 유형 분류 방법의 세부 수행 절차를 나타낸 흐름도이다.
도 10은 도 9의 단계 S20에서 인공신경망 기반 학습에 사용된 봉제 결함 유형별 이미지를 예시한다.
도 11은 봉제 결함 유형별 특징 사례 및 각 사례별 AI 알고리즘 학습과정에서의 특징을 적용하는 것을 정리한 것이다.
도 12의 (A), (B), (C)는 도 9의 단계 S24, S26, S28에서의 관련 이미지들을 각각 예시한다.
도 13은 도 9의 단계 S32와 관련하여 봉제 결합의 유형별 조치방법을 제공하는 예를 보여준다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 4는 예시적인 실시예에 따른 봉제결함 탐지 및 유형 분류 방법의 전반적인 절차를 개략적으로 나타낸다.
위에서 언급하였듯이 봉제 결함의 유형에는 봉비(건너뜀), 봉탈(Brocken stitch), 찝힘, 찌그러짐, 실뜸, 퍼커링, 오염 및 손상, 바늘자국, 밑실보임, 이중박음 등이 있다. 먼저, 봉제결함을 탐지하고 유형을 분류할 수 있는 인공신경망 모델(이하, '봉제결함 탐지 및 결함유형 분류모델'이라 함)을 확보하기 위해, 각 봉제 결함의 유형별로 라벨링된 다양한 학습용 이미지 데이터를 준비할 수 있다. 그런 다음 컴퓨터 시스템을 이용하여, 준비된 봉제결함 유형별 다량의 학습용 이미지 데이터를 인공신경망 기반 기계학습 알고리즘 또는 딥러닝 알고리즘으로 학습시키고, 그 학습을 통해 봉제결함 탐지 및 결함유형 분류모델을 획득할 수 있다. 그 획득된 봉제결함 탐지 및 결함유형 분류모델을 적용한 봉제결함 분류용 컴퓨터 프로그램을 작성하여 컴퓨터 시스템에서 실행할 수 있는 환경을 구축할 수 있다(S10 단계).
이런 준비가 완료된 후, 컴퓨터 시스템에서 봉제결함 탐지 및 결함유형 분류모델이 적용된 인공신경망 기반 컴퓨터 프로그램을 실행한 상태에서, 봉제작업 중인 작업물의 봉제영역을 카메라를 이용하여 촬영할 수 있다(S12 단계).
촬영 이미지의 배경이 다양할 수 있는데, 그런 배경 영역의 다양성으로 인해 봉제결함의 판단과 분류의 정확도가 낮아질 수도 있다. 이런 점을 감안하여, 실시간 촬영 이미지의 데이터를 이진화하고 박음질 부분 이외의 영역에서 배경을 제거하는 이미지 전처리를 수행할 수도 있다(S14 단계)
카메라가 촬영한 봉제영역 이미지는 곧바로 또는 전처리를 거친 다음 실시간으로 컴퓨터 시스템에 제공되어 상기 인공신경망 기반 컴퓨터 프로그램의 봉제결함 탐지 및 결함유형 분류모델에 입력될 수 있다. 그러면, 봉제결함 탐지 및 결함유형 분류모델은 그 입력된 봉제영역 이미지에 대하여 봉제작업이 정상인지 아니면 불량인지를 판단하고, 봉제결함인 경우 봉제 결합의 유형으로 분류할 수 있다(S16 단계).
인공신경망 기반 컴퓨터 프로그램은 봉제 작업이 불량으로 판단된 경우, 봉제결함이 검출된 사실을 봉제 작업자 및/또는 작업 관리자가 알 수 있도록 경고를 출력할 수 있다. 이와 더불어 검출된 봉제결함의 유형과 그것을 해소하기 위한 적합한 조치 등을 출력수단(예: 모니터 등)을 통해 출력하여 봉제 작업자 및/또는 작업 관리자가 알 수 있도록 할 수 있다(S18 단계).
도 5는 본 발명의 예시적인 실시예에 따른 봉제결함 탐지 및 유형 분류 시스템을 구성을 도시한다.
도 5를 참조하면, 봉제결함 탐지 및 유형 분류 시스템(10)은 카메라(40)와 컴퓨터 장치(50)를 포함할 수 있다. 이 스티칭 불량 검출 시스템(10)은 알람부(60)를 더 포함할 수 있다.
의류 생산 공장에는 규모에 따라 다르지만 수백 내지 수천 대의 봉제기(20)가 운용될 수 있다. 카메라(40)는 각 봉제기(20)마다 설치될 수 있다. 카메라(40)는 봉제 작업 중인 작업물(30)을 촬영할 수 있도록 봉제기(20)에 직접 부착되거나 또는 봉제기(20) 근처에 설치될 수 있다. 카메라(40)는 촬영한 영상을 컴퓨터 장치(50)에 전달할 수 있도록 컴퓨터 장치(50)와 통신가능하게 연결될 수 있다.
봉제결함 검출 및 분류 정보는 불량을 발생시킨 봉제기(20)의 작업자에게 통지될 수 있다. 이를 위해 알람부(60) 또한 각 봉제기(20)마다 설치될 수 있다. 알람부(60)는 예컨대 컴퓨터 장치(50)의 스피커 및/또는 디스플레이와 같은 출력부(55)로 구성되거나 또는 컴퓨터 장치(50)와는 별개로 독립된 스피커 및/또는 부저 및/또는 경고등과 같은 알람수단으로 구성될 수 있다. 알람부(60)는 컴퓨터 장치(50)의 연산처리부(52)로부터 불량 검출 정보를 전달받을 수 있도록 컴퓨터 장치(50)와 통신가능하게 연결될 수 있다.
예시적인 일예에서, 컴퓨터 장치(50)는 다수의 봉제기(20)에 설치된 카메라(40)들과 알람부(60)들과 매칭되어 통신망을 통해 그것들과 통신할 수 있도록 구성된 하나 이상의 컴퓨터로 구현될 수 있다. 컴퓨터 장치(50)는 각 봉제기(20)마다 한 대씩 또는 복수의 봉제기(20)마다 한 대씩 설치되는 로컬 컴퓨터 장치를 포함할 수 있다. 또한, 그 로컬 컴퓨터 장치 외에도, 그 로컬 컴퓨터 장치들과 네트워크로 연결되는 별도의 서버 컴퓨터 장치를 더 포함할 수 있다. 각 봉제기(20)마다 설치된 카메라(40)들과 알람부(60)들은 유선 및/또는 무선 통신망(비도시)을 통해 컴퓨터 장치(50)와 통신가능하게 연결될 수 있다. 각 봉제기(20)마다 설치되는 로컬 컴퓨터 장치(50)는 범용의 소형 컴퓨터 또는 본 발명용으로 구성된 전용의 컴퓨팅 장치로 구현될 수 있다.
봉제결함 탐지 및 유형 분류 시스템(10)은 로컬 컴퓨터 장치(50)와 통신가능한 별도의 서버 컴퓨터 장치(70)를 더 포함할 수 있다. 이 서버 컴퓨터 장치(70)는 다량의 다양한 종류의 봉제 결함 이미지들을 학습하여 봉제결함 탐지 및 결함유형 분류모델을 취득할 수 있다. 일 실시예에서는, 봉제결함 탐지 및 유형 분류 모델을 이용하여 로컬 컴퓨터 장치(50)가 제공해주는 실시간 봉제 이미지에 대하여 봉제 결함 탐지 및 유형 분류 작업도 수행할 수 있다.
도 6은 본 발명의 예시적인 실시예에 따른 컴퓨터 장치(50)의 구성을 나타내낸다.
도 6을 참조하면, 컴퓨터 장치(50)는 입력부(54) 및 출력부(55), 연산처리부(52), 저장부(53), 통신부(51) 등과 같은 하드웨어 장치와, 운영체제 프로그램과 후술할 실시예에 따른 봉제결함 탐지 및 분류 방법이 구현된 컴퓨터 프로그램 등과 같은 소프트웨어(56)를 포함할 수 있다. 카메라(40)와 알람부(60)는 컴퓨터 장치(50)에 직접 연결될 수 있다. 저장부(53)에는 카메라(40)로부터 수집된 이미지 데이터, 프로그램 등이 저장될 수 있다.
연산처리부(52)는 메모리와 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서 등으로 구현될 수 있다.
컴퓨터 장치(50)의 연산처리부(52)는 저장부(53)에 저장된 봉제결함 분류용 컴퓨터 프로그램(56)을 실행하여 각 카메라(40)가 제공하는 봉제 이미지 데이터를 통신부(51)를 통해 실시간으로 전달받아 저장부(53)에 저장할 수 있다. 또한, 연산처리부(52)는 저장부(53)에 저장된 봉제 이미지 데이터를 읽어와서 봉제결함을 검출하기 위한 데이터 전처리를 수행할 수 있다. 나아가, 연산처리부(52)는 그 전처리된 봉제 이미지 데이터를 그 봉제결함 분류용 컴퓨터 프로그램에 입력으로 제공하여, 그 봉제 이미지의 봉제가 정상 봉제인지 아니면 어떤 유형의 불량이 있는 봉제인지를 검출하여 분류할 수 있다.
연산처리부(52)는 봉제 결함이 검출되면, 그 검출된 봉제결함을 경고하고(피드백 신호 전송, 알람 신호 표출), 그 봉제결함의 유형에 따른 적합한 후속 조치 등을 수행할 수 있다. 구체적으로, 연산처리부(52)는 봉제결함 평가 결과가 정상으로 판정되면, 통신부(51)를 통해서 '정상'이라는 평가 결과를 카메라(40)로 피드백하면서 해당 카메라(40)로부터 새로 촬영한 영상을 전송받고, 그 영상 데이터에 대한 이미지 처리, 봉제결함 평가(검출 및 분류), 피드백 신호 전송 등의 작업을 이전과 같이 동일하게 반복할 수 있다. 만약 평가 결과가 봉제 결함(불량)이 발견되면, 컴퓨터 장치(50)의 연산처리부(52)는 알람부(60)를 통해 불량 발생을 나타내는 알람이 출력되도록 제어할 수 있다. 나아가, 검출된 불량 유형과 그 불량을 해소하기에 적합한 사후 조치 등에 관한 정보를 컴퓨터 장치(50)의 출력수단, 예컨대 모니터에 출력할 수 있다. 이와 같은 일련의 과정은 봉제결함 발생시, 카메라(40)에서 영상을 촬영한 시점으로부터 아주 짧은 시간 내에 (예컨대 3초 이내에) 알람이 표출되도록 함으로써, 봉제 결함을 실시간으로 탐지하고 즉시적인 조치를 취할 수 있도록 할 수 있다. 또한, 해당 결함 데이터는 IoT를 이용하여 별도의 중앙 컴퓨터 장치(비도시)에 제공되어 데이터베이스로 저장될 수도 있다.
도 7은 도 5의 봉제결함 탐지 및 분류 시스템(10)을 실제로 봉제기(20)에 설치한 예를 도시하고, 도 8은 도 7의 "A" 부분을 좀 더 상세하게 도시한 것이다.
도 7 및 도 8을 참조하면, 컴퓨터 장치(50)는 각 봉제기(20)마다 하나씩 설치되는 로컬 컴퓨터(50-1)인 경우이다. 일예로 로컬 컴퓨터(50-1)는 작업자의 시선 높이에 맞춰 봉제기(20)의 몸체(22) 위에 설치될 수 있다. 카메라(40-1)는 작업물(30)이 봉제되어 배출되는 노루발(26) 후방 영역을 촬영하도록 봉제기(20)의 몸체(22) 후면부에 고정될 수 있다. 컴퓨터 장치(50)와 카메라(40)는 봉제작업자의 작업에 방해가 되지 않는 위치에 안정적인 장착을 위해 고정 지그를 이용하여 장착될 수 있다. 알람부(60)는 컴퓨터 장치(50)의 출력부(55) 예컨대 스피커 및/또는 디스플레이로 구현되거나 또는 별도의 알람기(60-1)로 구현될 수 있다. 도 8은 봉제 작업에 방해되지 않으면서도 봉제 스티칭을 정확하게 촬영하기 위한 위치인 봉제기 몸체의 후면에 카메라(40)가 고정 지그로 설치된 것을 예시한다.
도 9는 본 발명의 예시적인 실시예에 따른 봉제 결함 탐지 및 유형 분류 방법의 세부 수행 절차를 보여준다.
도 9 를 참조하면, 먼저 봉제결함 탐지 및 결함유형 분류모델을 획득하기 위한 준비 작업을 수행한다. 이를 위해, 수동 및/또는 자동 봉제기(20)에 봉제작업에 영향을 미치지 않는 소형 카메라(40)를 설치하고 초당 3-4회 봉제 작업의 스티치(땀)를 포함하는 봉제영역을 촬영한다. 촬영된 봉제 스티치 이미지 데이터는 소형 카메라(40)와 연결되어 소형카메라를 제어하는 로컬 컴퓨터 장치(50)에 전달되어 통신부(51)를 통해 별도의 서버 컴퓨터 장치(70)로 전송되어 저장될 수 있다. 서버 컴퓨터 장치(70)는 클라우드 서버일 수도 있다.
이런 방식으로 다량의 봉제 스티치 이미지 데이터를 수집하여 학습데이터로 이용한다. 이 학습데이터에는 봉제 작업이 정상인 봉제 스티치 이미지와 위에서 언급한 다양한 결함 유형별 봉제 스티치 이미지를 포함할 수 있다. 학습 데이터를 만들기 위해, 서버 컴퓨터 장치(70)에 수집 저장된 봉제 스티치 이미지 데이터를 '정상'과 결함 유형별(봉비, 봉탈, 찝힘, 찌그러짐, 실뜸, 퍼커링, 오염 및 손상, 바늘자국, 밑실 보임, 이중박음)로 분류하여 그룹별 라벨링을 실시함으로써 학습데이터를 생성할 수 있다. 도 10은 인공신경망 학습용으로 수집된 정상인 봉제 스티치 이미지와 다양한 결함 유형의 봉제 스티치 이미지를 예시한 것이다. 학습데이터를 충분히 생성하기 위해 준비된 봉제 스티치 이미지 데이터를 확대, 축소, 회전 등의 방법을 통해 데이터 증강을 실시한다. 이런 준비작업을 통해 예컨대 봉제가 정상적인 봉제 스티치 이미지 100,000장과, 각 봉제 결함별 봉제 스티치 이미지 100,000장을 학습용 봉제 스티치 이미지로 준비할 수 있다(S20 단계).
예컨대, VGG16 등의 딥러닝 모델을 구축하고 준비된 학습용 봉제 스티치 이미지 데이터를 이용하여 봉제결함 탐지 및 결함유형 분류모델을 학습한다(S22 단계). 또한, 각 봉제 결함 유형과 원인, 조치방법에 대한 안내 화면을 구성하여 해당 유형이 탐지될 시 로컬 컴퓨터(50)에서 해당 화면을 호출할 수 있도록 시스템을 구성할 수 있다.
도 11은 봉제 결함 유형별 특징 사례 및 각 사례별 AI알고리즘 학습과정에서의 특징을 적용하는 것을 정리한 것이다.
도 11을 참조하면, 봉비는 스티치가 균일하지 않거나 건너뛴 상태이며, 스티치의 시작과 끝이 명확히 보이지 않는 것이 특징이다. 스티치가 균일하지 않는 특징을 학습시켜 이러한 특징을 보이는 봉제 스티치 이미지를 봉비로 분류할 수 있다.
봉탈은 봉제선이 끊어지며 이탈한 상태이며, 봉제선의 끊김이 확인되는 것이 특징이다. 봉제선이 끊긴 특징을 학습시켜 이러한 특징을 보이는 봉제 스티치 이미지를 봉탈로 분류할 수 있다.
찝힘은 봉제 선상에서 원단이 이중으로 박힌 상태이며, 봉제 중간에 원단이 두겹으로 봉제되는 것이 특징이다. 원단이 두겹으로 봉제된 특징을 학습시켜 이러한 특징을 보이는 봉제 스티치 이미지를 찝힘으로 분류할 수 있다.
찌그러짐은 봉제선이 일정하지 않고 삐뚤어진 상태이며, 봉제선의 중간에 굴곡이 보이는 특징이 있다. 봉제선이 중간에 굴곡이 보이는 특징을 학습시켜 이러한 특징을 보이는 봉제 스티치 이미지를 찌그러짐으로 분류할 수 있다.
실뜸은 봉제선이 벌어지는 상태로서 봉제선상 스티치가 느슨해진 특징이 있다. 이러한 특징을 학습시켜 이러한 특징이 보이는 봉제 스티치 이미지를 실뜸으로 분류할 수 있다.
퍼커링은 봉제선을 따라 주름과 오그라듦이 발생한 상태로서, 원단이 이중으로 봉제되지는 않으나 주름이 발생하는 특징이 있다. 주름발생 특징으로 학습시켜 이러한 특징이 보이는 봉제 스티치 이미지를 퍼커링으로 분류할 수 있다.
오염 및 손상은 오염이나 손상이 발생한 상태로서, 원단의 오염 및 원단의 손상 특징을 학습시켜 이러한 특징이 보이는 봉제 스티치 이미지를 오염 및 손상으로 분류할 수 있다.
바늘자국 결함은 봉제 수정부분의 바늘자국이 보이는 상태로서, 봉제선을 따라 바늘자국이 관찰되는 특징을 학습시켜 이러한 특징이 보이는 봉제 스티치 이미지를 바늘자국 결함으로 분류할 수 있다.
밑실 보임 결함은 봉제선에서 밑실이 위로 딸려 올라와서 보이는 상태로서, 봉제선을 따라 밑실의 일부가 관찰되는 특징을 학습시켜 이러한 특징이 보이는 봉제 스티치 이미지를 밑실 보임 결함으로 분류할 수 있다.
이중박음은 봉제선에 스티치가 겹쳐서 박힌 상태로서, 봉제선이 이중으로 스티치된 특징을 학습시켜 이러한 특징이 보이는 봉제 스티치 이미지를 이중박음 결함으로 분류할 수 있다.
위와 같은 봉제 결함이 없는 이미지들은 정상 이미지로 분류할 수 있다.
이렇게 각 봉제결함 유형별로 라벨링된 학습용 봉제 스티치 이미지들에 대하여 VGG16 등의 딥러닝 모델을 이용한 인공신경망 기반 학습을 수행할 수 있다. 그 학습을 통해 어떤 입력 이미지를 봉제결함 유형별로 분류할 수 있는 인공지능 알고리즘 기반 봉제결함 탐지 및 결함유형 분류모델을 획득할 수 있다. 그 봉제결함 탐지 및 결함유형 분류모델을 적용한 컴퓨터 프로그램을 작성하여 로컬 컴퓨터 장치(50) 및/또는 서버 컴퓨터 장치(70)에 구축할 수 있다.
이러한 준비가 완성되면, 봉제결함 탐지 및 분류용 컴퓨터 프로그램을 로컬 컴퓨터 장치(50) 및/또는 서버 컴퓨터 장치(70)에서 실행하여, 실제 봉제작업 간에 촬영되어 실시간으로 로컬 컴퓨터 장치(50) 및/또는 서버 컴퓨터 장치(70)에 제공되는 봉제 스티치 이미지에 대하여 봉제결함 탐지 및 유형 분류를 수행할 수 있다.
구체적으로, 자동 또는 수동 봉제기(20)에 설치된 카메라(40)는 봉제 작업이 이루어지는 작업물(30)의 봉제 영역을 촬영하여 로컬 컴퓨터 장치(50) 및/또는 서버 컴퓨터 장치(70)에 제공할 수 있다. 촬영은 예컨대 초당 4장, 해상도는 예컨대 200x200 픽셀 정도로 할 수 있다(S24 단계).
구체적으로, 카메라(40)는 봉제기(20) 위에서 봉제 작업이 이루어지고 있는 작업물(30)을 촬영할 수 있다. 카메라(40)는 촬영된 영상을 컴퓨터 장치(50)로 제공할 수 있다. 컴퓨터 장치(50)는 카메라(40)가 제공하는 이미지 데이터를 소정 분량 단위로 수집할 수 있다. 연산처리부(52)는 카메라(40)가 제공하는 이미지 데이터를 통신부(51)를 통해 수신하여 저장부(53)에 저장할 수 있다. 카메라(40)가 제공하는 이미지 데이터는 RGB 모델 데이터 기반의 이미지이다. 봉제결함의 탐지 및 유형 분류 처리를 서버 컴퓨터 장치(70)에서 수행하도록 시스템(10)이 구성된 경우에는 로컬 컴퓨터 장치(50)는 카메라(40)로부터 수신하여 봉제 스티치 이미지 데이터를 서버 컴퓨터 장치(70)로 전송할 수 있다.
카메라(40)는 작업물(30)의 모든 구간을 빠짐없이 촬영할 필요가 있다. 작업물(30)의 이동 속도에 비해 단위 시간당 촬영 이미지의 개수가 너무 적으면 촬영 누락 구간이 생길 수 있다. 이를 방지하기 위해, 이미지 수집 시에는 봉제기(20)의 봉제속도(RPM), 단위 구간 스티치 개수, 그리고 분석 픽셀 크기 등을 고려하여 단위시간당 최소 촬영 이미지 개수 등을 구할 수 있다. 카메라(40)는 단위시간당 구해진 최소 촬영 이미지 개수 이상의 프레임을 촬영하도록 설정될 수 있다. 봉제 속도에 따라 촬영되어야 하는 이미지의 개수는 더 많아질 수 있다. 이에 따라 적절한 fps(초당 프레임 수)를 선정할 필요가 있다. 봉제 속도에 따라 단위시간 당 촬영되어야 하는 최소 프레임 개수(fps)는 아래 식으로 계산될 수 있다.
초당 요구 프레임 수(fps) = 초당 이송거리 / 초당 스티치 개수 ......(1)
카메라(40)는 적어도 식 (1)로 산출되는 초당 요구 프레임 수(fps) 이상의 촬영 속도로 촬영하여야 봉제 작업된 구간을 놓치지 않고 촬영된 이미지 영역 (가로*세로)에 포착할 수 있게 된다. 일례로 봉제 속도가 500RPM의 경우, 초당 이송거리가 30mm이고, 초당 스티치 개수가 10 이라면 초당 요구 프레임 수는 3(1초에 3장의 사진을 찍음)이며, 2500 RPM의 경우 초당 이송거리가 140mm이고, 초당 스티치 개수가 40이라면, 초당 요구 프레임 수는 3.5로 계산되므로 실제로 1초에 적어도 4장의 사진(100x200 픽셀)을 촬영할 필요가 있다. 이는 봉제 속도(RPM)가 빨라질수록 작업물(30)에 가해진 스티치를 모두 사진 속에 담아내기 위해서는 보다 많은 사진을 찍어야 함을 의미한다.
로컬 컴퓨터 장치(50) 및/또는 서버 컴퓨터 장치(70)는 카메라(40)로부터 수시된 이미지를 이진화하고 배경을 제거하는 등의 전처리를 수행할 수 있다(S26 단계). 구체적으로, 전처리는 원단 이미지에서 원단 배경을 제거하기 위한 처리와 원단 이미지의 RGB 모델 데이터를 색상(Hue), 채도(Saturation), 명도(Value)의 좌표를 써서 특정한 색을 지정하는 HSV 모델 데이터로 변환한 다음, 그 변환된 HSV 모델 기반 데이터 중에서 채도(S) 채널의 데이터만을 이용한 단순화 처리를 통해 윤곽선을 검출하여 이미지를 단순화하는 처리를 포함할 수 있다.
로컬 컴퓨터 장치(50) 및/또는 서버 컴퓨터 장치(70)에서, 그 전처리된 봉제 영역의 스티치 이미지는 준비된 봉제결함 탐지 및 결함유형 분류모델의 입력데이터로 주어질 수 있다. 봉제결함 탐지 및 결함유형 분류모델은 그 입력데이터의 봉제 스티치를 분석하여 그 이미지의 봉제 작업이 정상인지 아니면 불량인지 여부를 탐지하고, 불량인 경우 어떤 유형의 불량인지 분류하는 처리를 수행할 수 있다 (S28 단계).
도 12의 (A), (B), (C)는 도 9의 단계 S24, S26, S28에서의 관련 이미지들을 예시한 것이다.
도 12를 참조하면, (A)는 봉제작업이 정상적으로 이루어진 부분을 촬영한 이미지와 여러 가지 봉제 결함이 포함된 부분을 촬영한 이미지들을 예시한다. (B)는 (A)의 촬영된 봉제 이미지들을 이진화 및 배경 제거 등의 전처리를 하여 얻은 이미지들을 예시한다. (C)는 (B)의 전처리 이미지들을 봉제결함 탐지 및 결함유형 분류모델에 입력하여 불량 유형별로 분류한 결과 이미지를 예시한다.
실시간 전송된 봉제 스티치 이미지 데이터에 대한 인공지능 알고리즘 기반 봉제결함 탐지 및 결함유형 분류모델의 봉제결함 탐지 및 분류 결과가 '정상'일 경우, 다음 이미지에 대해 탐지 및 분류를 실시하고, 지속적으로 '정상'일 경우 이 과정을 반복한다(S30 단계).
실시간 전송된 봉제 스티치 이미지 데이터에 대한 인공지능 알고리즘 기반 봉제결함 탐지 및 결함유형 분류모델의 봉제결함 탐지 및 분류 결과가 앞서 언급한 여러 가지 봉제 결함 유형들 중 어느 하나에 해당하는 것으로 탐지 및 분류되는 경우, 관련 사항을 로컬 컴퓨터 장치(50)에 연결된 출력부(55)를 통해 출력시킨다. 즉, 봉제결함이 탐지된 경우, 컴퓨터 장치(50)의 연산처리부(52)는 부저 또는 경고등 알람 작동 신호를 생성하여 알람부(60)에 제공할 수 있다. 또한, 연산처리부(52)는 관련 데이터를 저장부(53)에 저장되도록 할 수 있다. 이에 의해, 알람부(60)는 스티칭 불량이 발생하였음을 경고하는 알람을 출력할 수 있다. 불량 발생 알람이 출력되면, 사용자는 즉시 봉제 작업을 중지할 수 있을 것이다.
또한, 로컬 컴퓨터 장치(50)에 연결된 모니터(55)에 결함의 유형 및 원인, 적합한 조치방법을 표출할 수 있다(S32 단계). 이와 관련하여, 도 13은 도 9의 단계 S32와 관련하여 봉제 결합의 유형별 조치방법을 제공하는 예를 보여준다. 도 13에 예시되어 있듯이, 예컨대 봉비 결함이 탐지된 경우, 바늘 교환, 북 위치 조정, 노루발 압력강화, 바늘대 높이 조절 등과 같은 후속 조치를 안내할 수 있다. 예컨대 봉탈 결함이 탐지된 경우, 노루발 압력 강화, 노루발 교화, 침판 수평조절 등과 같은 후속 조치를 안내할 수 있다. 이렇듯 도 13에 도시된 것처럼 각 봉제결함 유형별로 취해야 할 후속조치를 안내할 수 있다.
봉제작업자는 결함에 대한 경고 발생 시 모니터(55)에 시연된 결함의 유형 및 원인, 조치방법을 참고하여 봉제물의 결함을 검사/수정하고 결함 발생 원인을 교정할 수 있다(34 단계).
봉제작업자는 교정이 완료되면 봉제결함 탐지 및 분류 알고리즘을 리셋하여 다시 학습된 인공지능 기반 봉제결함 탐지 및 분류 알고리즘을 이용하여 실제 봉제작업간 촬영되어 서버로 전송되는 실시간 데이터에 대한 분류를 실시할 수 있다(S36 단계).
상기의 과정은 해당 봉제물의 봉제작업이 완료될 때까지 지속적으로 반복할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 봉제 결함 탐지 및 유형 분류 방법과 시스템은, 의복 생산을 위한 봉제 작업 중 봉제영역을 카메라로 촬영하여 얻어지는 이미지를 컴퓨터 장치에서 인공지능 기반으로 실시간 처리하여 봉제 스티칭 결함을 신속하게 검출하고 그 결함의 유형을 분류할 수 있다. 나아가, 봉제 작업에 불량이 발생한 경우, 해당 불량이 발생한 공정에서 어떤 종류의 불량이 발생하였는지에 관한 정보를 실시간으로 작업자에게 제공함으로써 작업자가 즉시 불량을 수정할 수 있도록 지원할 수 있다. 이를 통해 시간, 인력 등의 비용 낭비를 최소화하고 봉제 생산라인의 생산성을 향상시킬 수 있다.하여 작업자에게 알려줄 수 있다.
이상에서 설명한 본 발명의 실시예들에 따른 봉제 스티칭 불량 검출 및 유형 분류 방법은 다양한 컴퓨터 수단을 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있다. 구현된 컴퓨터 프로그램은 로컬 컴퓨터 장치(50) 및/또는 서버 컴퓨터 장치(70)의 데이터 저장소 또는 컴퓨터 판독이 가능한 별도의 기록매체에 기록될 수 있다. 그 구현된 컴퓨터 프로그램을 컴퓨터 장치에서 연산처리장치가 기록 매체에 저장된 그 컴퓨터 프로그램을 읽어 들여 실행하는 것에 의해 본 발명의 방법을 수행할 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명은 이용한 봉제 작업 시 봉제결함을 검출하고 그 유형을 자동으로 분류하는 의류의 봉제 분야에 이용될 수 있다. 본 발명은 봉제작업자가 기본봉제기(본봉)를 이용하여 봉제 작업을 하는 경우와 함께 자동화 봉제기에도 적용이 가능하다. 또한, 본 발명은 의류 봉제 결함의 검출 및 분류뿐만 아니라 다양한 제조 제품에 대하여 외형의 오류를 빠르게 분석하여 결함 여부 및 결함의 종류를 판단하는 데도 이용될 수 있다. 예컨대, 매크로 규모의 제품을 생산하는 산업에서 외형 품질검사 시스템으로도 이용될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 그러므로 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 컴퓨터 시스템에서, 준비된 봉제결함 유형별 다량의 학습용 이미지를 인공신경망 기반 기계학습 알고리즘 또는 딥러닝 알고리즘으로 학습하여 봉제결함 탐지 및 결함유형 분류모델을 획득하는 단계; 및
    상기 컴퓨터 시스템에서, 상기 봉제결함 탐지 및 결함유형 분류모델이 적용된 인공신경망 기반 컴퓨터 프로그램을 실행하여, 카메라로부터 제공되는 봉제작업 중인 작업물의 실시간 촬영 이미지를 상기 봉제결함 탐지 및 결함유형 분류모델에 입력하여 봉제작업 중에 발생하는 봉제결함을 실시간으로 검출하여 그 봉제결함의 유형을 분류하는 단계를 포함하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 방법.
  2. 제1항에 있어서, 상기 봉제결함 탐지 및 결함유형 분류모델을 구축하는 단계는 학습데이터로 준비된 이미지들을 확대, 축소, 회전시켜 데이터 증강을 수행하는 단계를 더 포함하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 방법.
  3. 제1항에 있어서, 상기 봉제결함 유형은 봉비 결함, 봉탈 결함, 찝힘 결함을 포함하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 방법.
  4. 제3항에 있어서, 상기 봉제결함 유형은 찌그러짐 결함, 실뜸 결함, 퍼커링 결함, 오염 및 손상 결함, 바늘자국 결함, 밑실 보임, 이중박음 결함을 더 포함하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 방법.
  5. 제1항에 있어서, 상기 봉제결함의 유형을 분류하는 단계는, 봉제기가 작업물을 봉제하는 동안에, 상기 카메라가 상기 작업물의 봉제영역을 실시간으로 촬영하는 단계; 상기 컴퓨터 시스템에서, 촬영된 봉제영역 이미지를 상기 카메라로부터 실시간으로 수집하는 단계; 및 상기 컴퓨터 시스템에서, 수집된 상기 봉제영역 이미지를 상기 봉제결함 탐지 및 결함유형 분류모델에 입력하여 봉제결함을 검출함과 동시에 탐지된 봉제결함의 유형을 분류하는 단계를 포함하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 방법.
  6. 제5항에 있어서, 상기 컴퓨터 시스템에서, 분류된 유형의 봉제결함에 관한 정보를 출력수단에 출력하는 단계를 더 포함하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 방법.
  7. 제6항에 있어서, 상기 출력하는 단계는 봉제결함이 발생하였음을 작업자가 알 수 있도록 경고를 출력하는 단계를 포함하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 방법.
  8. 제6항에 있어서, 상기 봉제결함에 관한 정보는 발생한 봉제결함의 유형명 및 발생원인, 봉제결함 수정을 위한 조치 방법에 관한 정보를 포함하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 방법.
  9. 제1항에 있어서, 실시간 촬영 이미지의 데이터를 이진화하고 박음질 부분 이외의 영역에서 배경을 제거하는 이미지 전처리를 하는 단계를 더 포함하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 방법.
  10. 봉제기에 의해 봉제되는 작업물의 봉제영역을 촬영하도록 설치되고, 촬영한 이미지를 컴퓨터에 제공하는 카메라; 및
    준비된 봉제결함 유형별 다량의 학습용 이미지를 인공신경망 기반 기계학습 알고리즘 또는 딥러닝 알고리즘으로 학습하여 봉제결함 탐지 및 결함유형 분류모델을 획득하고, 상기 봉제결함 탐지 및 결함유형 분류모델이 구축된 인공신경망 기반 컴퓨터 프로그램을 실행하여, 상기 카메라로부터 제공되는 봉제작업 중인 작업물의 실시간 촬영 이미지를 상기 봉제결함 탐지 및 결함유형 분류모델에 입력하여 봉제작업 중에 발생하는 봉제결함을 실시간으로 검출하여 그 봉제결함의 유형을 분류하도록 구성된 컴퓨터 시스템을 구비하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 시스템.
  11. 제10항에 있어서, 상기 봉제결함 유형은 봉비 결함, 봉탈 결함, 찝힘 결함을 포함하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 시스템.
  12. 제11항에 있어서, 상기 봉제결함 유형은 찌그러짐 결함, 실뜸 결함, 퍼커링 결함, 오염 및 손상 결함, 바늘자국 결함, 밑실 보임, 이중박음 결함을 더 포함하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 시스템.
  13. 제10항에 있어서, 상기 인공신경망 기반 컴퓨터 프로그램은, 봉제기가 작업물을 봉제하는 동안에 상기 카메라가 상기 작업물의 봉제영역을 실시간으로 촬영한 이미지를 상기 카메라로부터 실시간으로 수집하는 기능; 및 수집된 상기 봉제영역 이미지를 상기 봉제결함 탐지 및 결함유형 분류모델에 입력하여 봉제결함을 검출함과 동시에 탐지된 봉제결함의 유형을 분류하는 기능을 포함하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 시스템.
  14. 제13에 있어서, 상기 인공신경망 기반 컴퓨터 프로그램은 분류된 유형의 봉제결함에 관한 정보를 상기 컴퓨터 시스템의 출력수단에 출력되도록 하는 기능을 더 포함하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 시스템.
  15. 제10항에 있어서, 상기 컴퓨터 시스템으로부터 봉제결합 검출신호를 전달받아 봉제결함이 발생하였음을 경고하도록 구성된 알람부를 더 구비하는 것을 특징으로 하는 인공신경망 기반 봉제결함 검출 및 분류 시스템.
PCT/KR2023/011999 2022-09-27 2023-08-11 인공지능 기반 봉제결함 탐지 및 분류 방법 및 시스템 WO2024071670A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220122531 2022-09-27
KR10-2022-0122531 2022-09-27
KR10-2023-0012459 2023-01-31
KR1020230012459A KR20240043642A (ko) 2022-09-27 2023-01-31 인공지능 기반 봉제결함 탐지 및 분류 방법 및 시스템

Publications (1)

Publication Number Publication Date
WO2024071670A1 true WO2024071670A1 (ko) 2024-04-04

Family

ID=90478371

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/011999 WO2024071670A1 (ko) 2022-09-27 2023-08-11 인공지능 기반 봉제결함 탐지 및 분류 방법 및 시스템

Country Status (1)

Country Link
WO (1) WO2024071670A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175988A (zh) * 2019-04-25 2019-08-27 南京邮电大学 基于深度学习的布匹缺陷检测方法
CN111028204A (zh) * 2019-11-19 2020-04-17 清华大学 一种基于多模态融合深度学习的布匹缺陷检测方法
KR102322546B1 (ko) * 2020-11-13 2021-11-09 호전실업 주식회사 봉제 스티칭 불량 검출 방법 및 시스템
US20220044389A1 (en) * 2018-10-30 2022-02-10 University Of North Texas Reconfigurable fabric inspection system
CN114066820A (zh) * 2021-10-26 2022-02-18 武汉纺织大学 一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220044389A1 (en) * 2018-10-30 2022-02-10 University Of North Texas Reconfigurable fabric inspection system
CN110175988A (zh) * 2019-04-25 2019-08-27 南京邮电大学 基于深度学习的布匹缺陷检测方法
CN111028204A (zh) * 2019-11-19 2020-04-17 清华大学 一种基于多模态融合深度学习的布匹缺陷检测方法
KR102322546B1 (ko) * 2020-11-13 2021-11-09 호전실업 주식회사 봉제 스티칭 불량 검출 방법 및 시스템
CN114066820A (zh) * 2021-10-26 2022-02-18 武汉纺织大学 一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法

Similar Documents

Publication Publication Date Title
CN105808416B (zh) 一种人机图形交互界面的自动化测试方法和系统
CN109239076B (zh) 一种基于机器视觉的缝纫线迹缺陷检测方法
KR102322546B1 (ko) 봉제 스티칭 불량 검출 방법 및 시스템
KR20190118451A (ko) 영상 인식을 이용한 의류 생산 모니터링 시스템
CN111289538A (zh) 基于机器视觉的pcb板元件检测系统及检测方法
JP2021119341A5 (ko)
CN110533654A (zh) 零部件的异常检测方法及装置
TW202331655A (zh) 標籤完整度自適應檢測方法及系統
WO2024071670A1 (ko) 인공지능 기반 봉제결함 탐지 및 분류 방법 및 시스템
CN117274720B (zh) 一种计算机硬件异常检测方法及系统
TWI749714B (zh) 瑕疵檢測方法、瑕疵分類方法及其系統
CN110596118A (zh) 印刷图案检测方法及印刷图案检测装置
KR20240043642A (ko) 인공지능 기반 봉제결함 탐지 및 분류 방법 및 시스템
CN106846302B (zh) 一种工具正确取件的检测方法及基于此方法的考核台
WO2021261905A1 (ko) 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치와 그 방법
CN114047193A (zh) 一种拉链缝合机生产监测方法及监测装置
CN111757002B (zh) 图像处理方法、输出控制方法、图像采集设备及显示设备
JP2016099633A (ja) 携帯端末を利用した保全点検システム
EP0544752A1 (en) Inspecting garments
JP2018190132A (ja) 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法
CN115104113A (zh) 作业率测量设备和作业率测量方法
KR102587918B1 (ko) 봉제 불량 자동 검출 방법 및 시스템
CN111402341A (zh) 相机参数确定方法、装置、电子设备及可读存储介质
CN114745500B (zh) 图像处理方法及输出检测系统
JP2020017131A (ja) 作業異常検知支援装置、作業異常検知支援方法、および作業異常検知支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23872793

Country of ref document: EP

Kind code of ref document: A1