KR102653930B1 - 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템 - Google Patents
이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템 Download PDFInfo
- Publication number
- KR102653930B1 KR102653930B1 KR1020230071111A KR20230071111A KR102653930B1 KR 102653930 B1 KR102653930 B1 KR 102653930B1 KR 1020230071111 A KR1020230071111 A KR 1020230071111A KR 20230071111 A KR20230071111 A KR 20230071111A KR 102653930 B1 KR102653930 B1 KR 102653930B1
- Authority
- KR
- South Korea
- Prior art keywords
- knitting machine
- circular knitting
- detection model
- image
- defect
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000007689 inspection Methods 0.000 title claims abstract description 67
- 238000009940 knitting Methods 0.000 title claims abstract description 51
- 230000003287 optical effect Effects 0.000 title description 3
- 230000007547 defect Effects 0.000 claims abstract description 106
- 239000004744 fabric Substances 0.000 claims abstract description 40
- 230000002950 deficient Effects 0.000 claims abstract description 27
- 238000004519 manufacturing process Methods 0.000 claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 230000005856 abnormality Effects 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 9
- 238000013136 deep learning model Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 19
- 238000013135 deep learning Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000013140 knowledge distillation Methods 0.000 description 11
- 230000002787 reinforcement Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013450 outlier detection Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004821 distillation Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06H—MARKING, INSPECTING, SEAMING OR SEVERING TEXTILE MATERIALS
- D06H3/00—Inspecting textile materials
- D06H3/08—Inspecting textile materials by photo-electric or television means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
- G01N21/898—Irregularities in textured or patterned surfaces, e.g. textiles, wood
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Textile Engineering (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Materials Engineering (AREA)
- Economics (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Wood Science & Technology (AREA)
- General Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템이 제공되며, 기 구축된 이상탐지모델을 이용하여 원단을 편성하는 환편기로부터 토출되는 원단의 결함 이미지를 탐지, 분류, 저장 및 출력하는 사용자 단말 및 비지도학습기반 이상탐지모델을 정상 이미지만을 이용하여 학습 및 검증함으로써 모델링하는 모델링부, 이상탐지모델을 사용자 단말에 적용하여 사용자 단말의 비전 검사로부터 입력되는 이미지로부터 결함 이미지를 탐지하는 이상탐지부, 결함 이미지가 탐지된 경우 결함 이미지의 원단생산좌표, 결함 이미지의 결함종류 데이터를 분석하여 저장하는 분석부, 사용자 단말에서 결함 이미지, 결함종류 데이터 및 원단생산좌표가 출력 및 저장되도록 하는 데이터베이스화부를 포함하는 검사 서비스 제공 서버를 포함한다.
Description
본 발명은 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템에 관한 것으로, 환편기에서 발생하는 원단의 결함을 이상탐지모델을 이용하여 탐지, 분류 및 저장할 수 있는 솔루션을 제공한다.
제조 산업은 현대 사회에서 빠르게 발전하고 있지만 제조 산업의 핵심 공정 중 하나인 이상치 탐지 및 불량 검출의 발달은 특정 분야에만 적용 가능한 형태로 발달하였기에 대부분의 산업에서는 아직 작업자가 직접 육안으로 검사하는 것이 대부분이다. 이상치 탐지 및 불량 검출에 있어서 딥러닝이 뛰어난 성능을 보이며 필수적인 요소로 자리잡게 되었지만, 특징 학습 또는 표현 학습의 경우 정상 데이터와 결함 데이터가 모두 많이 필요하므로 결함 데이터가 상대적으로 부족한 제조현장에 투입되기가 어렵다. 이에, 정상 데이터만을 사용해 정상 데이터의 특징을 학습하는 비지도학습 기반의 이상치 탐지 및 불량 검출만을 위해 제작된 모델이 연구 및 개발되었는데, 이러한 모델은 정상 데이터의 특징을 학습시켜 새롭게 데이터가 입력될 때마다 유사도를 측정하게 되고, 만약 결함 데이터가 입력되면 유사도가 일정 수준을 만족하지 못하여 불량으로 판단하는 방식으로 이루어진다.
이때, 빅데이터를 기반으로 원단의 결함을 추출하거나 딥러닝을 이용하여 불량을 식별하는 방법이 연구 및 개발되었는데, 이와 관련하여 선행기술인 한국등록특허 제10-2445162호(2022년 09월 20일 공고) 및 국제공개특허 제2019-107614호(2019년 6월 6일 공개)에는, 원단을 제작하는 부분의 결함 데이터를 수집하고, 수집된 정보를 토대로 빅데이터를 확보하며, 비전 검사(Automated Optical Inspection, AOI) 중 발생한 품질 데이터를 빅데이터에 추가하고, 머신러닝 또는 딥러닝으로 원단의 결함을 검출 및 분석하는 구성과, 머신 비전 기반 품질검사를 위하여 딥러닝을 이용하여 정상 이미지와 결함 이미지를 분류하도록 학습시키고, 학습된 분류기를 이용하여 정상 및 결함을 판정하도록 하는 구성이 각각 개시되어 있다.
다만, 전자의 경우, 머신 비전 검사는 공정 특성 및 대상 품목에 맞춰 엔지니어가 규칙을 하나씩 설정하면서 설계하는 방법으로, 엔지니어가 규칙을 얼마나 잘 만들었는지에 따라 성능이 좌우되고, 분석 대상이 복잡한 경우 미세한 불량에 대한 검출 정확도가 떨어진다. 후자의 경우 딥러닝을 이용하는 구성이 개시되어 있지만, 정밀 공정이나 신규 설비 또는 다품종 산업에서는 결함 이미지가 거의 나오지 않기 때문에 구축할 빅데이터 자체가 부족하고 결과적으로 결함 이미지의 부족으로 딥러닝의 학습 및 검증이 되지 않게 된다. 즉, 딥러닝은 이상치 탐지 및 불량 검출을 위해 만들어진 모델이 아니고, 특징을 학습하기 위해 정상 이미지와 결함 이미지가 모두 많이 필요하기 때문이다. 이에, 정상 이미지만을 이용하여 결함 이미지를 탐지해내는 솔루션의 연구 및 개발이 요구된다.
본 발명의 일 실시예는, 정상 이미지만을 이용하여 이상치를 탐지하는 딥러닝 기반 이상탐지모델을 이용할 때, Teacher-Student 모델의 트윈구조를 이용하여 학습한 정상 이미지와 다른 특성을 가지는 이미지를 단계적 특성을 비교하여 검출하도록 함으로써, 이상치로 탐지된 원단생산좌표에 결함을 마킹하고, 결함의 종류를 분석하여 결함종류 데이터를 생성하며, 결함이 검출된 부분의 이미지를 사용자 단말에 출력하면서 결함종류 데이터와 원단생산좌표를 데이터베이스에 저장할 수 있도록 하는, 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 기 구축된 이상탐지모델을 이용하여 원단을 편성하는 환편기로부터 토출되는 원단의 결함 이미지를 탐지, 분류, 저장 및 출력하는 사용자 단말 및 비지도학습기반 이상탐지모델을 정상 이미지만을 이용하여 학습 및 검증함으로써 모델링하는 모델링부, 이상탐지모델을 사용자 단말에 적용하여 사용자 단말의 비전 검사로부터 입력되는 이미지로부터 결함 이미지를 탐지하는 이상탐지부, 결함 이미지가 탐지된 경우 결함 이미지의 원단생산좌표, 결함 이미지의 결함종류 데이터를 분석하여 저장하는 분석부, 사용자 단말에서 결함 이미지, 결함종류 데이터 및 원단생산좌표가 출력 및 저장되도록 하는 데이터베이스화부를 포함하는 검사 서비스 제공 서버를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 정상 이미지만을 이용하여 이상치를 탐지하는 딥러닝 기반 이상탐지모델을 이용할 때, Teacher-Student 모델의 트윈구조를 이용하여 학습한 정상 이미지와 다른 특성을 가지는 이미지를 단계적 특성을 비교하여 검출하도록 함으로써, 이상치로 탐지된 원단생산좌표에 결함을 마킹하고, 결함의 종류를 분석하여 결함종류 데이터를 생성하며, 결함이 검출된 부분의 이미지를 사용자 단말에 출력하면서 결함종류 데이터와 원단생산좌표를 데이터베이스에 저장할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 검사 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 이상탐지모델을 이용한 환편기 비전 검사 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
도 2는 도 1의 시스템에 포함된 검사 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 이상탐지모델을 이용한 환편기 비전 검사 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 검사 서비스 제공 서버(300), 적어도 하나의 정보제공서버(400)를 포함할 수 있다. 다만, 이러한 도 1의 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 검사 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 검사 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 정보제공서버(400)와 연결될 수 있다. 또한, 적어도 하나의 정보제공서버(400)는, 네트워크(200)를 통하여 검사 서비스 제공 서버(300)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 사용자 단말(100)은, 이상탐지모델을 이용한 환편기 비전 검사 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 환견기에서 토출되는 원단의 결함을 탐지, 추출, 분류 및 저장하는 사용자의 단말일 수 있다.
여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
검사 서비스 제공 서버(300)는, 이상탐지모델을 이용한 환편기 비전 검사 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 검사 서비스 제공 서버(300)는, 이상탐지모델을 트윈 구조의 Teacher-Student 모델을 이용하여 정상 이미지를 학습 및 검증하도록 함으로써 구축하는 서버일 수 있다. 또한, 검사 서비스 제공 서버(300)는, 사용자 단말(100)과 카메라를 연결하여 환편기에서 탐지, 검출 및 분류된 결함 이미지를 출력하도록 함과 동시에 원단생산좌표를 표시함으로써 결함 부분을 원단에서 찾아낼 수 있도록 하는 서버일 수 있다. 그리고 검사 서비스 제공 서버(300)는, 결함 이미지에 결함종류 데이터가 라벨링될 수 있도록 결함 이미지를 분류하는 딥러닝 모델을 구축하고, 이를 기반으로 결함 이미지도 정상 이미지와 함께 데이터의 부족이 일어나지 않도록 빅데이터를 구축하는 서버일 수 있다. 정상 이미지 및 결함 이미지의 양이 유사하고 대규모로 누적되는 경우 상술한 Teacher-Student 모델 이외에도 다양한 딥러닝의 적용이 가능하므로 검사 서비스 제공 서버(300)는, 이에 대한 데이터셋 및 발판을 마련할 수 있는 서버일 수 있다.
여기서, 검사 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 정보제공서버(400)는, 이상탐지모델을 이용한 환편기 비전 검사 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 결함 이미지에 결함종류 데이터를 라벨링한 후 검사 서비스 제공 서버(300)로 업로드하는 서버일 수 있다. 본 출원인의 기업((주)디월드)은 머신 비전 검사 장비, 하드웨어 및 소프트웨어를 납품하는 회사로 본 출원인의 기업에서 머신 비전 컴퓨팅 자원 및 네트워킹 자원을 포함한 인프라를 구축한 회사가 다수인데, 이러한 회사가 본 발명의 솔루션을 세팅하기 이전에는 사용자 단말(100)의 사용자일 수 있고, 인프라가 구축되고 이상탐지모델이 세팅된 후에는 정보제공서버(400)와 같이 이미지를 업로드해주는 소스(Source)의 역할도 함께 수행하게 된다. 물론, 이미지 수집에 동의를 한 경우에만 사용자 단말(100)이 정보제공서버(400)의 역할을 겸할 수 있고, 이미지 수집에 동의를 하지 않은 경우에는 사용자 단말(100)은 정보제공서버(400)의 역할을 겸하지 않게 된다. 또, 사용자 단말(100)은 정보제공서버(400)일 수 있지만, 본 발명의 일 실시예에서는 설명의 편의를 위하여 사용자 단말(100)은 본 발명의 솔루션을 구축 및 이용하는 사용자(User)로, 정보제공서버(400)의 정보제공자는 이미지를 제공하는 자(Provider)로 역할을 나누어 설명하기로 한다.
여기서, 적어도 하나의 정보제공서버(400)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 정보제공서버(400)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 정보제공서버(400)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1의 시스템에 포함된 검사 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 이상탐지모델을 이용한 환편기 비전 검사 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 검사 서비스 제공 서버(300)는, 모델링부(310), 이상탐지부(320), 분석부(330), 데이터베이스화부(340), 모델설정부(350), 학습부(360), 종류분류부(370), 구축부(380), 빅데이터화부(390), 전처리부(391) 및 실시간검출부(393)를 포함할 수 있다.
본 발명의 일 실시예에 따른 검사 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100) 및 적어도 하나의 정보제공서버(400)로 이상탐지모델을 이용한 환편기 비전 검사 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100) 및 적어도 하나의 정보제공서버(400)는, 이상탐지모델을 이용한 환편기 비전 검사 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100) 및 적어도 하나의 정보제공서버(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.
도 2를 참조하면, 모델링부(310)는, 비지도학습기반 이상탐지모델을 정상 이미지만을 이용하여 학습 및 검증함으로써 모델링할 수 있다. 최근, 딥러닝 기술은 영상, 비디오 등의 컴퓨터 비전 분야에서 탁월한 성능을 보여주고 있으며 현재 다양한 분야로의 적용범위가 확대되어 가는 추세이지만, 고사양의 딥러닝 모델은 일반적으로 수 천 만개 이상의 수 많은 학습변수들로 이루어진 복잡한 네트워크 구조를 가지기 때문에, 이미 학습이 완료된 복잡한 네트워크 구조로부터 다양한 응용분야로 의 적용을 활성화하기 위해서는 효율적인 정보추출(Knowledge Distillation) 및 정보이전(knowledge Transfer) 기술이 요구되고 있다. 이미 학습이 완료된 복잡한 네트워크로부터 유용한 정보를 추출하고 상대적으로 저사양의 딥러닝 모델로 그 정보를 이전하는 연구가 진행되어 왔는데, 이미 학습이 완료된 복잡한 네트워크를 Teacher(교수) 모델, Teacher 모델로부터 정보를 이전받아 학습을 수행하는 저사양 네트워크를 Student(학생) 모델로 정의하고, Teacher 모델의 확률기반의 소프트맥스 출력층(Softmax Output Layer)에서 출력된 값을 소프트맥스 팩터(Factor)로 완화하여 Student 모델을 학습시키는 방법, 즉 지식증류(Knowledge Distillation, KD) 학습방법이 개발되었다. Teacher 모델의 힌트층(Hint Layer)을 이용한 가중치(Weight) 최적화를 일반적인 KD 학습에 포함하여 힌트 학습과 KD 학습을 차례대로 수행하여 학습 성능을 향상시킬 수도 있다. 이때 후술하는 바와 같이 본 발명의 일 실시예에서는 Teacher-Student 모델을 트윈 구조로 구성하지만, Teacher 모델과 Student 모델 모두 ResNet으로 폭은 같은 크기를 가지고 Teacher 모델이 Student 모델보다 더 깊은 네트워크를 가지도록 구성할 수도 있다.
<힌트 학습 알고리즘>
ResNet에 적용하기 위한 힌트 학습 알고리즘이란, 우선 이미 학습이 완료된 Teacher 모델의 중간층인 힌트층에서의 출력값과 학습하고자 하는 Student 모델의 중간층인 가이드(Guided Layer)에서의 출력값을 이용하여 이하 수학식 1과 같이 L2 비용을 계산한다.
여기서, fh, fg 및 fr은 입력층으로부터 힌트층까지의 가중치에 해당하는 Wh로부터 활성함수(Activation Function)들을 통과한 출력을, 입력층으로부터 가이드층까지의 가중치에 해당하는 Wg로부터 활성함수를 통과한 출력을, Wr 가중치를 가지는 회귀함수(Regressor Function)의 출력을 각각 나타낸다. 이때, 회귀함수는 힌트층의 특징맵의 크기 및 개수와 가이드 층의 특징맵의 크기 및 개수가 서로 다를 경우 이들을 일치하도록 중간에 삽입하는 회귀연산자를 의미한다. 회귀함수 연산에 따른 계산의 복잡성을 줄이기 위하여 층수는 서로 다른 반면 특징맵 크기는 서로 같은 ResNet 구조를 고려한다. 따라서, 수학식 1에서 회귀함수를 제외하여 수학식 2와 같이 같이 힌트학습을 위한 L2 비용을 계산할 수 있다.
수학식 2로부터 추출된 Student 모델에서 가이드층까지의 (hat)Wg를 이용하여 힌트-KD 학습을 수행할 수 있다.
<힌트-KD 학습 알고리즘>
수학식 2의 힌트학습으로부터 추출된 가중치 정보와 Teacher 모델의 완화상수 기반의 KD 정보 모두를 이용하는 힌트-KD 학습 방법을 우선 설명한다. 먼저, 힌트-KD 학습 전 Student 모델의 전체 가중치 초기화를 이하의 수학식 3과 같이 수행한다.
여기서 W-1s는 Student 모델에서 가이드층으로부터 최종 출력층까지 랜덤값을 가지는 가중치를 의미한다. 즉, Student 모델에서 입력층으로부터 가이드층까지의 가중치는 수학식 2의 이 전 힌트학습에서 구한 (hat)Wg를 이용하고, 그 나머지인 가이드층으로부터 최종 출력층까지의 가중치인 W-1s는 랜덤값으로 초기화하여 Ws를 구성한다. 다음으로, Teacher 모델의 최종 출력층에서의 소프트맥스출력값을 τ로 완화하고, 학습시켜야 하는 Student 모델의 최종 출력값 또한 τ로 완화하여 이하 수학식 4와 같이 비용함수를 구성하여 KD 학습을 수행한다.
여기서, E는 크로스 엔트로피(Cross-Entropy)를, λ는 다중 비용함수 제어상수를, Ytrue는 실제 라벨(True Label)을 가지는 GT(Ground Truth)를, PT=softmax(aT/τ), Ps=softmax(aS/τ), aT는 Teacher 모델에서 소프트맥스 출력 전의 입력벡터를, aS는 Student 모델에서 소프트맥스 출력 전의 입력벡터를, τ는 완화상수를 각각 나타낸다. 이에, 수학식 2를 이용하여 Teacher 모델에서 입력층으로부터 힌트층까지의 가중치인 Wh를 닮아가도록 Student 모델의 (hat)Wg를 구하는 힌트학습을 먼저 수행하고, 수학식 3을 이용하여 (hat)Wg로부터 초기 가중치인 Ws를 구성한 다음, 수학식 4를 이용하여 힌트정보와 KD정보를 모두 이용하는 힌트-KD 학습을 최종 수행할 수 있다. 물론, 후술할 트윈 구조의 Teacher-Student 모델나, STPM(Student-Teacher Feature Pyramid Matching) 모델, RD(Reverse Distillation) 등 다양한 Teacher-Student 모델이 이용될 수 있음은 자명하다 할 것이다.
이상탐지부(320)는, 이상탐지모델을 사용자 단말(100)에 적용하여 사용자 단말(100)의 비전 검사로부터 입력되는 이미지로부터 결함 이미지를 탐지할 수 있다. 사용자 단말(100)은, 기 구축된 이상탐지모델을 이용하여 원단을 편성하는 환편기로부터 토출되는 원단의 결함 이미지를 탐지, 분류, 저장 및 출력할 수 있다. 이때, Teacher-Student 모델은 정상 이미지만을 학습하기 때문에 결함 이미지가 정상 이미지와 패턴이 달라 탐지는 해낼 수 있을지는 몰라도, 결함 이미지의 결함종류가 무엇인지는 또 다른 문제로 탐지해낼 수가 없다. 이때, 결함 이미지를 탐지 및 분류하기 위해서는 [결함 이미지-결함종류 데이터]의 데이터셋이 요구되는데, 본 출원인이 출원하는 별도 출원에서 결함 이미지와 결함종류 데이터를 한국표준산업분류의 코드에 대응하도록 데이터베이스화하고 더 나아가 빅데이터를 구축한다. 이를 위해서는 별도의 딥러닝 모델이 요구되며, 이는 후술하는 구축부(380)에서 상세히 설명하기로 한다.
분석부(330)는, 결함 이미지가 탐지된 경우 결함 이미지의 원단생산좌표, 결함 이미지의 결함종류 데이터를 분석하여 저장할 수 있다. 이때, 결함종류 데이터는 후술하는 종류분류부(370)에서 설명되므로 상세한 설명은 생략한다.
데이터베이스화부(340)는, 사용자 단말(100)에서 결함 이미지, 결함종류 데이터 및 원단생산좌표가 출력 및 저장되도록 할 수 있다.
모델설정부(350)는, 이상탐지모델을 비지도학습기반 트윈 구조의 Teacher-Student 모델을 이용할 수 있다. 학습부(360)는, Teacher-Student 모델의 학습 시 Teacher 인코더와 Student 인코더 모두에 정상 이미지를 입력하고, Teacher 레이어에서 출력된 결과의 출력 매트릭스와, Student 레이어에서 출력된 결과의 출력 매트릭스 간의 차이를 계산하며, 차이를 Student 레이어에 가중치로 갱신한 후 Teacher 레이어와 Student 레이어가 유사한 출력 매트릭스를 출력하도록 학습을 시킬 수 있다. Teacher 레이어는 Pretrain된 레이어로 학습이 불가하고 특징(Feature)을 추출하는 레이어이고, Student 레이어는 Pretrain되지 않은 레이어로 학습이 가능하며 특징을 추출하는 레이어일 수 있다. 이때 트윈 구조의 Teacher-Student 모델을 설명하기 이전에 STPM(Student-Teacher Feature Pyramid Matching) 모델 및 RD(Reverse Distillation)를 도 3a 및 도 3b를 참조로 설명한다.
결함 이미지가 부족한 한계로 인하여 정상 이미지만을 이용하여 정상 이미지의 특징을 학습하는 비지도학습 기반의 이상치 탐지 및 불량 검출만을 위해 제작된 모델은 정상 이미지터의 특징을 학습시켜 새롭게 데이터가 들어올 때마다 유사도를 측정하게 되는데 만약 결함 이미지가 들어와 유사도가 일정 수준을 만족하지 못하면 불량으로 판단하는 방식이 일반적이다. 이러한 비지도학습기반의 모델 중 클래스를 하나씩 학습하는 경우 One Class Anomaly Detection 모델로 구분이 되는데 해당 분야에서 자주 사용되는 기법은 인코더를 사용하는 KD(Knowledge Distillation) 방식이다. KD 기반 모델은 Teacher-Student(또는 Student-Teacher) 모델을 이용하는 STPM 모델이 있다. 또, Teacher-Student의 인코더와 디코더를 이용하여 구축한 모델이 있는데, 이는 RD로 불리운다. 이 두 모델은 아키텍처가 학습 시 한 개의 클래스만을 학습한다는 점과 결함 영역의 시각화가 가능하다는 점에서 유사하나, STPM 모델은 인코더만을 사용하며, RD 모델은 인코더와 디코더 그리고 피쳐 압축 모듈을 사용한다는 차이점이 있다.
<STPM 모델>
도 3a를 참조하면, STPM의 경우 학습 시 정상 데이터를 Teacher 인코더와 Student 인코더에 모두 입력한다는 특징이있다. Teacher와 Student 모두 ResNet을 기반으로 동일한 레이어로 만들어져 있으며, 스케일에 따라 크게 3개의 부분을 가진다. Teacher의 경우 미리 학습(Pretrain)된 레이어로, 학습이 불가능하며 특징(Feature)을 추출하는 역할을 한다. Student는 학습이 가능한 레이어로 Teacher와 동일한 레이어로 구성이 되어있지만 미리 학습되어 있지 않다. 스케일에 따라 추출된 특징맵은 각기 쌍을 이루어 T1과 S1, T2와 S2 그리고 T3와 S3에서 유사도를 측정하게 된다. 이 유사도가 Loss가 되며 Teacher와 Student가 유사한 특징맵을 산출하도록 학습이 이루어진다. 이후 추론단계에서 결함 데이터가 들어올 경우 미리 학습된 Teacher는 특징을 잘 추출하지만 정상 이미지만 경험한 Student는 특징을 잘 추출하지 못하며 이 차이를 모아 시각화를 할 수 있고, F1-Score가 높게 나타나는 임계값(Threshold) 값을 통해 분류(Classification) 또한 가능하다.
<RD 모델>
도 3b를 참조하면, RD 모델은 STPM과 유사하지만 Student의 경우 인코더가 아닌 디코더를 사용한 점과 특징(Feature) 압축 모듈로 인코더로부터 나온 특징을 압축시킨 후 디코더를 사용해 복원시킨다는 점에서 차이가 있다. Teacher는 STPM과 마찬가지로 미리 학습되어 학습이 불가한 ResNet이며, Student는 학습이 가능한 ResNet을 Deconvolution Layer를 사용해 구성한 디코더이다. 특징 압축 모듈 또한 ResNet의 일부분으로 구성되어 있으며 학습이 가능하다. STPM과 마찬가지로 특징맵 간 유사도를 측정하여 이를 학습에 사용한다. 또한 복원 실패한 부분을 모아 시각화가 가능하며 유사도의 임계값을 설정할 경우 분류 또한 가능하다.
<Teacher-Student 모델>
도 3c와 같이 트윈 구조의 컨볼루션 및 맥스풀링으로 출력된 값을 각 레이어를 거치면서 출력 매트릭스로 출력함으로써 Teacher가 출력한 출력 매트릭스를 Student가 학습하도록 Teacher의 출력 매트릭스를 기준으로 Student로 가중치를 갱신하여 학습을 반복한다. 도 3d와 같이 검증(테스트) 과정에서는 결함(불량) 이미지를 검출하는지의 여부를 확인하게 된다.
종류분류부(370)는, 이상탐지모델에서 이미지를 결함 이미지로 분류한 경우, 결함 이미지의 결함종류를 분류자(Classifier)가 분류하도록 하고, 결함종류의 결함종류 데이터를 결함 이미지에 라벨링하여 저장할 수 있다. 이때, 라벨러를 고용하여 결함 이미지의 결함종류 데이터를 초기에 라벨링하는 과정이 필요하겠지만, 강화학습의 모방학습을 이용하는 경우, 점차 사람이 라벨링하는 것과 같은 자동 라벨링이 가능해질 수 있다. 영상에서 이미지는 2 차원의 평면에 시각적 정보를 표현하는 방법이다. 이미지를 활용하여 정보를 처리하는 방법에 있어 최근 심층신경망은 합성곱을 사용하여 이미지 인식 분야인 객체 탐지, 패턴 인식에서 빠른 발전을 이루어 제한적인 조건에서는 사람보다 높은 판독률을 나타내기도 한다. 합성곱 신경망은 입력층과 출력층 사이에 여러 은닉층으로 이루어진 인공신경망의 한 종류로서 합성곱의 패턴을 스스로 학습한다. 많은 합성곱 신경망은 지도 학습으로 학습되어지며 입력으로 이미지와 출력으로 단어 혹은 이미지인 라벨이 주어진다. 효과적인 합성곱 신경망을 위해서는 많은 데이터셋이 존재할 때 과적합 문제를 효과적으로 해결하면서 높은 정확도의 결과를 얻을 수 있다.
이를 위해, 데이터셋은 많은 전문가, 즉 라벨러가 직접 공수를 들여 라벨링을 하게 되며, 많은 데이터셋을 효과적으로 처리하기 위해서 병렬로 처리된다. 그러나 최근 이미지는 전문가로만 처리할 수 있는 용량을 넘어서는 데이터가 축적되어가고 있다. 이에 따라 다수의 전문가는 협력한 데이터셋 획득 방법이 필요하다. 강화학습은 어떤 환경(Environment) 안에서 정의된 모델이 현재 상태(State)를 인식하고 선택 가능한 행동(Action) 중 최대한의 보상(Reward)이 주어지는 행동 혹은 행동의 순서를 선택하는 신경망이다. 본 발명의 일 실시예에서는, 전문가 집단이 딥러닝 기반 학습 이미지 분류 및 전문가를 모방하는 강화학습으로 구성하여 전문가의 라벨링을 수행하면서 동시에 강화학습을 통한 자동화된 분류를 하고 낮은 정확도에 대한 이미지를 전문가의 라벨링으로서 보완하는 시스템을 이용할 수 있다.
심층 합성곱 신경망은 이미지 처리용 전용 딥러닝 신경망으로, 입력으로 이미지가 주어지고 출력으로 이미지 라벨 데이터가 주어진다. 여러 모델은 Imagenet Large Scale Visual Recognition Callenge 데이터를 사용한 이미지 분류 문제에서 매우 높은 인식율을 나타내고 있다. R-CNN(Region-Convolutional Neural Network)은 동영상과 같은 실시간 영상에서 사용하기 위한 심층 합성곱 신경망이다. R-CNN는 처리 시간을 중심으로 구성되어 단위 시간당 많은 이미지를 비교할 수 있다. 강화학습은 입력과 출력이 아닌 상태(State)를 인식하고 선택 가능한 행동에서 최대한의 보상이 주어지는 행동 순서를 선택하는 신경망이다. 본 발명의 일 실시예에서는 모방학습기의 라벨링 행위가 전문가의 라벨링 행위와 같은 형태로 모방할 수 있도록 설정할 수 있다.
<이미지 라벨링>
전문가의 라벨링을 수집하고 이를 강화학습으로 전문가의 라벨링 패턴을 모방하는 모방학습기로 구성할 수 있다. 저장소는 이미지와 라벨링 데이터베이스로 구성될 수 있는데, 이미지 데이터베이스는 분류에 필요한 이미지들을 저장하고 라벨링 데이터베이스는 전문가나 모방학습기로 라벨링 된 데이터를 저장한다. 본 발명의 일 실시예에 따른 종류분류부(370)는, 전문가에게 모방학습기를 제공한다. 모방학습기는 전문가가 라벨링한 데이터를 기반으로 하여 R-CNN 기반의 신경망을 이용한 객체 탐색 후 라벨링을 수행한다. 모방학습기는 객체에 대한 기 분류된 데이터에 대한 확신도가 낮거나 분류 카테고리 내 데이터가 없을 때, 전문가에 의한 재분류를 통해 강화학습을 수행할 수 있게 한다.
이러한 모방학습기는 전문가 집단이 지속적인 분류를 하는 것이 아닌 모방학습 결과에 대해 보다 집중적으로 평가하고 보완하는 작업을 통해 대량으로 이미지 라벨링을 수행할 수 있도록 한다. 이미지를 배분받은 전문가는 해당 이미지 내 객체의 좌표를 얻고 라벨링을 부여한다. 라벨링이 된 객체는 서버로 전송하여 라벨링 데이터베이스에 저장된다. 또한, 전문가가 새로운 이미지인 데이터셋을 추가로 입력하여 직접 라벨링을 수행하거나 모방학습기가 라벨링을 수행할 수 있도록 지정한다. 모방학습기는 라벨링 기반으로 획득한 객체를 R-CNN을 이용하여 객체 탐색을 수행한다. 탐지된 객체가 신뢰수준의 데이터를 얻은 경우 동일한 라벨을 추가한다. 만약 낮은 정확도로 획득한 경우 해당 이미지 내의 객체를 전문가에게 반환하여 해당 객체에 대한 라벨링 데이터를 새로 획득할 수 있도록 한다. 전문가에 의해 라벨링된 데이터는 강화학습의 보상으로 작용하며 새로운 라벨링으로 갱신되는 경우 추론 모델을 갱신한다.
구축부(380)는, 결함 이미지를 결함종류 데이터를 라벨링한 후 데이터셋으로 구축하고, 적어도 하나의 딥러닝 모델을 학습 및 검증함으로써 모델링할 수 있다. 딥러닝 모델은 두단계 알고리즘(Two-Stage Detection Algorithm)을 이용하고, 두단계 알고리즘 중 R-CNN(Regions with Convolutional Neuron Networks)을 이용할 수 있다. 객체 검출은 Computer Vision과 Image Processing 등을 이용해 분류와 위치 정보(Localization)를 찾는 기술이다. Localization은 Bounding Box를 찾는 회귀(Regression)를 진행하고 Classification은 Bounding Box 내 물체가 무엇인가 분류하는 문제를 의미한다. 객체 검출은 Classification과 Localization에 대한 정보를 가지는 검출 방법을 말하는데, 검출 방식으로 단일단계 검출(One-Stage Detector)과 두단계 검출(Two-Stage Detector)로 나뉜다. 단일단계 검출은 분류와 지역화를 동시에 처리하기 때문에 처리 속도가 빠르지만, 정확도가 떨어진다. YOLO, SSD가 대표적인 예이다. 두단계 검출은 분류와 지역화 작업을 나눠서 차례로 처리하는데 R-FCN, Faster R-CNN, Mask R-CNN 등이 대표적인 예이다. 본 발명의 일 실시예에서는, 아주 미세한 불량이나 결함도 찾아내야 하기 때문에 신속하지만 정확도가 떨어지는 단일단계 검출 대신 두단계 검출 방법을 이용하기로 한다. 다만, 단일단계 검출을 완전히 배제하는 것은 아니다.
<R-CNN 계열 객체 검출>
딥러닝 기반 객체 검출 모델은 상술한 바와 같이 R-CNN 계열과 YOLO 계열로 구분될 수 있다. R-CNN 계열로는 R-CNN의 상위 버전에 해당하는 Fast/Faster R-CNN이 있고 YOLO 계열로는 YOLO를 포함해서 YOLO의 스케일 취약성을 보완한 SSD(Single Shot Detection)가 있다. R-CNN 계열과 YOLO 계열의 가장 큰 차이는 영역 제안과 분류기 구조에 있다. 초기 객체 모델인 R-CNN은 영역 제안과 분류기 학습과정이 이원화되어 있다. 즉, SS를 통해 후보 바운딩 박스를 생성하고 분류기를 학습하는 구조로 되어 있다. R-CNN은 후보 바운딩 박스를 라사이징을 통해 동일한 크기로 맞춘 후, VGG와 같은 영상 인식 모델에 일일이 통과시켜야 된다. 따라서 상당한 계산 시간이 요구된다. 이러한 단점을 보완하기 위해, ROI(Region of Interest) 레이어를 만들어서 후보 바운딩 박스를 VGG의 특징 맵의 좌표로 사상한 후, 동일한 크기를 뽑아내는 Fast R-CNN 모델이 등장했다. 하지만 여전히 영역 제안이 따로 분리되어 있기 때문에 종단간 학습(End-to-End Learning)이라 볼 수 없다. Faster R-CNN은 영역 제안을 VGG의 특징 맵에서 수행할 수 있는 서브 네트워크 제안함으로써, 계산 시간 단축과 종단간 학습을 통한 검출 정확도 향상을 동시에 달성하게 되었다. 이에, 본 발명의 일 실시예에서는 R-CNN 이외에도, Fast/Faster R-CNN이나 Mask R-CNN을 이용할 수 있다.
<영역 분할 서브네트워크>
입력 영상에서 영역을 분할하는 기법으로는 K-평균 군집화(K-Means Clustering), 그래프 분할 기법 등이 있다. 하지만 최근 딥러닝 기반의 영상 분할 네트워크의 성능이 탁월하기 때문에 본 발명의 일 실시예에서는 딥러닝 모델을 도입하고자 한다. 대표적인 영상 분할 네트워크에서는 FCN(Fully Convolutional Networks), U-Net 모델 등이 있다. FCN는 크게 인코더와 디코더로 구성된다. 인코더는 입력 영상에서 특징을 추출하는 단계이고 스트라이드(Stride)와 풀링(Pooling) 과정을 통해 특징 맵의 크기를 감소시킨다. 그리고, 디코더에서는 인코더에서 압축된 특징 맵을 업샘플링(Upsampling) 통해 크게 한 후, 최종 영역 분할 맵을 추정한다. 업샘플링 과정은 보간법이나 전치 합성곱(Transposed Convolution)으로 구현된다. 물론 상술한 방법 이외에도 다양한 방법으로 특징을 추출하고 비교할 수 있음은 자명하다 할 것이다.
빅데이터화부(390)는, 사용자 단말(100)로부터 환편기가 구비된 제조사의 한국표준산업분류의 코드를 입력받고, 결함 이미지가 결함종류 데이터와 라벨링된 데이터셋으로 빅데이터를 구축할 수 있다. 이는 본 출원인의 별도의 출원에 기재될 예정이므로 상세한 설명은 생략하기로 한다.
전처리부(391)는, 이상탐지모델에 입력하기 위한 이미지를 생성하기 위하여 환편기를 촬영한 카메라로부터 입력된 영상 데이터로부터 기 설정된 크기의 영상 패치(Patch)를 생성하고, 원단생산좌표를 기록할 수 있다.
실시간검출부(393)는, 도 4e 및 도 4f와 같이 환편기가 편성하는 원단을 촬영하는 카메라를 사용자 단말(100)과 연결하고, 환편기의 회전축을 따라 편성되는 원단을 촬영한 결과를 카메라로부터 사용자 단말(100)로 입력받아 실시간으로 이상탐지모델에 의해 결함 이미지를 검출하도록 할 수 있다. 이때, 카메라의 후면에 환편기에 대향되도록 조명을 배치할 수 있다.
이하, 상술한 도 2의 검사 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 3a 내지 도 3d는 Teacher-Student 모델로 상술한 바와 같으므로 상세한 설명을 생략한다. 도 4a 및 4b는 본 발명의 일 실시예에 따른 비전 검사 모델의 시제품을 환편기에 설치한 것을 촬영한 사진이고, 비전 시스템의 사양은 이하 표 1과 같다.
| 구분 | 내용 |
| 카메라 | Area Camera 5M, 16mm Lens |
| 조명 | 400k lux 고휘도 LED (326mm) |
| 광학 분해능 | X : 40um, Y : 40um |
| 속도 | Max : 40rpm (약 120mpm) |
도 4c는 본 발명의 일 실시예에 따른 이상탐지모델의 학습 화면인데, 학습을 위하여 데이터셋을 환편기에서 생산하는 샘플원단의 정상 이미지를 확보하여 학습 데이터셋을 구축하며, 크기는 256×256×3, 수량은 500 장 이장 확보했다. 도 4d는 사용자 단말(100)에 설치되는 솔루션(S/W)인데, 생산되는 니트원단을 촬영한 영상을 받아 결함 이미지를 검출하는 화면이다. 이상탐지모델에 입력하기 위한 크기로 영상 패치를 생성하고, 원단의 길이좌표를 기록함으로써, 영상 패치를 이상탐지모델에 입력하고, 판정결과를 받아 결함 이미지라면, 화면상 원단생산좌표에 결함을 마크하고, 결함 이미지를 표출한다. 원단생산좌표 및 결함종류 데이터는 데이터베이스에 저장된다.
도 4e는 본 발명의 일 실시예에 따른 비전 검사 모델의 구성도이고, 도 4f는 설치도면이다. 도 4g는 환편기에 본 발명의 비전 검사 모델이 설치된 시제품이 촬영한 화면이고, 도 4h는 사용자 단말(100)의 시제품이다. 도 4i의 과정을 거쳐 결함이 탐지, 분류 및 저장될 수 있고, 궁극적으로 딥러닝을 이용하여 정상 이미지 및 결함 이미지 간 불균형을 해소하고 각 산업분류에 따라 빅데이터로 저장함으로써 제조업 간 불량 및 결함을 탐지하기 위한 데이터셋을 구축하고자 한다. 도 4j는 결함이 검출된 화면이고 결함의 종류는 도 4k 내지 도 4n과 같다.
이와 같은 도 2 내지 도 4의 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5는 본 발명의 일 실시예에 따른 도 1의 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 5를 참조하면, 검사 서비스 제공 서버는, 비지도학습기반 이상탐지모델을 정상 이미지만을 이용하여 학습 및 검증함으로써 모델링하고(S5100), 이상탐지모델을 사용자 단말에 적용하여 사용자 단말의 비전 검사로부터 입력되는 이미지로부터 결함 이미지를 탐지한다(S5200).
또, 검사 서비스 제공 서버는, 결함 이미지가 탐지된 경우 결함 이미지의 원단생산좌표, 결함 이미지의 결함종류 데이터를 분석하여 저장하고(S5300), 사용자 단말에서 결함 이미지, 결함종류 데이터 및 원단생산좌표가 출력 및 저장한다(S5400).
상술한 단계들(S5100~S5400)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5400)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 5의 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5를 통해 설명된 일 실시예에 따른 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (10)
- 기 구축된 이상탐지모델을 이용하여 원단을 편성하는 환편기로부터 토출되는 원단의 결함 이미지를 탐지, 분류, 저장 및 출력하는 사용자 단말; 및
비지도학습기반 이상탐지모델을 정상 이미지만을 이용하여 학습 및 검증함으로써 모델링하는 모델링부, 상기 이상탐지모델을 상기 사용자 단말에 적용하여 상기 사용자 단말의 비전 검사로부터 입력되는 이미지로부터 결함 이미지를 탐지하는 이상탐지부, 상기 결함 이미지가 탐지된 경우 상기 결함 이미지의 원단생산좌표, 상기 결함 이미지의 결함종류 데이터를 분석하여 저장하는 분석부, 상기 사용자 단말에서 상기 결함 이미지, 결함종류 데이터 및 원단생산좌표가 출력 및 저장되도록 하는 데이터베이스화부, 상기 이상탐지모델을 비지도학습기반 트윈 구조의 Teacher-Student 모델을 이용하는 모델설정부, 상기 Teacher-Student 모델의 학습 시 Teacher 인코더와 Student 인코더 모두에 정상 이미지를 입력하고, Teacher 레이어에서 출력된 결과의 출력 매트릭스와, Student 레이어에서 출력된 결과의 출력 매트릭스 간의 차이를 계산하며, 차이를 상기 Student 레이어에 가중치로 갱신한 후 상기 Teacher 레이어와 상기 Student 레이어가 유사한 출력 매트릭스를 출력하도록 학습을 시키는 학습부를 포함하는 검사 서비스 제공 서버;를 포함하며,
상기 Teacher 레이어는 Pretrain된 레이어로 학습이 불가하고 특징(Feature)을 추출하는 레이어이고,
상기 Student 레이어는 Pretrain되지 않은 레이어로 학습이 가능하며 특징을 추출하는 레이어인 것을 특징으로 하는 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템.
- 삭제
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 검사 서비스 제공 서버는,
상기 이상탐지모델에서 상기 이미지를 결함 이미지로 분류한 경우, 상기 결함 이미지의 결함종류를 분류자(Classifier)가 분류하도록 하고, 상기 결함종류의 결함종류 데이터를 상기 결함 이미지에 라벨링하여 저장하는 종류분류부;
를 더 포함하는 것을 특징으로 하는 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템.
- 제 5 항에 있어서,
상기 검사 서비스 제공 서버는,
상기 결함 이미지를 상기 결함종류 데이터를 라벨링한 후 데이터셋으로 구축하고, 적어도 하나의 딥러닝 모델을 학습 및 검증함으로써 모델링하는 구축부;
를 더 포함하는 것을 특징으로 하는 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템.
- 제 6 항에 있어서,
상기 검사 서비스 제공 서버는,
상기 사용자 단말로부터 상기 환편기가 구비된 제조사의 한국표준산업분류의 코드를 입력받고, 상기 결함 이미지가 상기 결함종류 데이터와 라벨링된 데이터셋으로 빅데이터를 구축하는 빅데이터화부;
를 더 포함하는 것을 특징으로 하는 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 검사 서비스 제공 서버는,
상기 이상탐지모델에 입력하기 위한 이미지를 생성하기 위하여 환편기를 촬영한 카메라로부터 입력된 영상 데이터로부터 기 설정된 크기의 영상 패치(Patch)를 생성하고, 원단생산좌표를 기록하는 전처리부;
를 더 포함하는 것을 특징으로 하는 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 검사 서비스 제공 서버는,
환편기가 편성하는 원단을 촬영하는 카메라를 상기 사용자 단말과 연결하고, 상기 환편기의 회전축을 따라 편성되는 원단을 촬영한 결과를 상기 카메라로부터 상기 사용자 단말로 입력받아 실시간으로 상기 이상탐지모델에 의해 결함 이미지를 검출하도록 하는 실시간검출부;
를 더 포함하는 것을 특징으로 하는 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템.
- 제 9 항에 있어서,
상기 카메라의 후면에 상기 환편기에 대향되도록 조명을 배치하는 것을 특징으로 하는 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230071111A KR102653930B1 (ko) | 2023-06-01 | 2023-06-01 | 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230071111A KR102653930B1 (ko) | 2023-06-01 | 2023-06-01 | 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102653930B1 true KR102653930B1 (ko) | 2024-04-03 |
Family
ID=90662303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230071111A KR102653930B1 (ko) | 2023-06-01 | 2023-06-01 | 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102653930B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102143354B1 (ko) * | 2019-11-18 | 2020-08-11 | 호전실업 주식회사 | 원단의 불량 위치 자동 검출 방법 및 이를 위한 시스템 |
| KR20200128938A (ko) * | 2019-05-07 | 2020-11-17 | 삼성전자주식회사 | 모델 학습 방법 및 장치 |
| KR102383051B1 (ko) * | 2020-07-14 | 2022-04-06 | 주식회사 엠제이비전테크 | 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법 |
| KR20230052169A (ko) * | 2021-10-12 | 2023-04-19 | 경기대학교 산학협력단 | Shap 기반 이미지 어노테이션 생성 장치 및 방법 |
| KR20230064319A (ko) * | 2021-11-03 | 2023-05-10 | (주)플레이오니 | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 |
-
2023
- 2023-06-01 KR KR1020230071111A patent/KR102653930B1/ko active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200128938A (ko) * | 2019-05-07 | 2020-11-17 | 삼성전자주식회사 | 모델 학습 방법 및 장치 |
| KR102143354B1 (ko) * | 2019-11-18 | 2020-08-11 | 호전실업 주식회사 | 원단의 불량 위치 자동 검출 방법 및 이를 위한 시스템 |
| KR102383051B1 (ko) * | 2020-07-14 | 2022-04-06 | 주식회사 엠제이비전테크 | 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법 |
| KR20230052169A (ko) * | 2021-10-12 | 2023-04-19 | 경기대학교 산학협력단 | Shap 기반 이미지 어노테이션 생성 장치 및 방법 |
| KR20230064319A (ko) * | 2021-11-03 | 2023-05-10 | (주)플레이오니 | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mou et al. | RiFCN: Recurrent network in fully convolutional network for semantic segmentation of high resolution remote sensing images | |
| Alidoost et al. | A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image | |
| Biswas et al. | Classification of objects in video records using neural network framework | |
| CN111369572A (zh) | 一种基于图像修复技术的弱监督语义分割方法和装置 | |
| CN110931112B (zh) | 一种基于多维信息融合和深度学习的脑部医学影像分析方法 | |
| CN113807399B (zh) | 一种神经网络训练方法、检测方法以及装置 | |
| CN106446933A (zh) | 基于上下文信息的多目标检测方法 | |
| Geng et al. | An improved helmet detection method for YOLOv3 on an unbalanced dataset | |
| CN113052295B (zh) | 一种神经网络的训练方法、物体检测方法、装置及设备 | |
| CN112990282B (zh) | 一种细粒度小样本图像的分类方法及装置 | |
| CN112613428B (zh) | 基于平衡损失的Resnet-3D卷积牛视频目标检测方法 | |
| CN112420125A (zh) | 分子属性预测方法、装置、智能设备和终端 | |
| KR20220008492A (ko) | 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법 | |
| CN111652177A (zh) | 基于深度学习的信号特征提取方法 | |
| Wang et al. | Intrusion detection for high-speed railways based on unsupervised anomaly detection models | |
| Liao et al. | ML-LUM: A system for land use mapping by machine learning algorithms | |
| Xu et al. | Slime Mold optimization with hybrid deep learning enabled crowd-counting approach in video surveillance | |
| Luo et al. | RBD-Net: robust breakage detection algorithm for industrial leather | |
| CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
| KR102653930B1 (ko) | 이상탐지모델을 이용한 환편기 비전 검사 서비스 제공 시스템 | |
| CN112164223B (zh) | 基于云平台的智能交通信息处理方法及装置 | |
| CN113269182A (zh) | 一种基于变体transformer对小区域敏感的目标果实检测方法及系统 | |
| INTHIYAZ et al. | YOLO (YOU ONLY LOOK ONCE) Making Object detection work in Medical Imaging on Convolution detection System. | |
| CN116189130A (zh) | 基于图像标注模型的车道线分割方法及装置 | |
| CN116956105A (zh) | 一种分类模型训练方法、缺陷识别方法、装置及电子设备 |