KR102179949B1 - 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법 - Google Patents

딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR102179949B1
KR102179949B1 KR1020180169802A KR20180169802A KR102179949B1 KR 102179949 B1 KR102179949 B1 KR 102179949B1 KR 1020180169802 A KR1020180169802 A KR 1020180169802A KR 20180169802 A KR20180169802 A KR 20180169802A KR 102179949 B1 KR102179949 B1 KR 102179949B1
Authority
KR
South Korea
Prior art keywords
image data
encoder
data
input image
unit
Prior art date
Application number
KR1020180169802A
Other languages
English (en)
Other versions
KR20200084444A (ko
Inventor
윤종필
정대웅
신우상
구교권
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020180169802A priority Critical patent/KR102179949B1/ko
Publication of KR20200084444A publication Critical patent/KR20200084444A/ko
Application granted granted Critical
Publication of KR102179949B1 publication Critical patent/KR102179949B1/ko

Links

Images

Classifications

    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/4661—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법에 관한 것으로, 본 발명에 따른 시스템은 입력 영상 데이터를 압축하며 피처(feature)를 추출하는 엔코더와 엔코더에서 압축된 입력 영상 데이터를 복원한 복원 영상 데이터를 생성하는 디코더를 포함하는 영상 데이터 생성부, 그리고 합성곱 신경망부를 포함한다. 엔코더와 합성곱 신경망부를 이용하여 입력 영상 데이터를 분류하는 데이터 분류부를 구성한다. 본 발명에 의하면 딥러닝의 입력을 단순히 결함 영상으로만 했을 경우의 단점을 극복하고 결함 분류 성능을 최대화하는 동시에 연산 시간을 최소화할 수 있는 장점이 있다.

Description

딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법{Deep learning based classification system using image data augmentation, and cotrol method thereof}
본 발명은 분류 시스템 및 그 제어 방법에 관한 것으로, 보다 자세하게는 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법에 관한 것이다.
최근 알파고(AlphaGo)와 이세돌 9단의 대결로 인공지능에 대한 관심이 크게 증가하였다. 특히 알파고의 핵심 기술로 알려진 딥러닝(deep learning)에 대한 학계와 산업계의 연구가 폭발적으로 증가하였다.
딥러닝은 기존에 알려진 인공 신경망(Artificial Neural Network)(ANN)의 문제점, 즉 소실 문제(vanishing problem), 오버피팅(overfitting) 등의 문제를 ReLU(Rectified Linear Unit)의 개발과 드롭아웃(Drop-out)과 같은 알고리즘 개선으로 성능을 향상시켰다. 또한 GPU(Graphic Processing Units)와 같은 하드웨어의 발전, 그리고 복잡한 구조를 학습시킬 수 있는 빅데이터의 힘 덕분에 최근 여러 분야에 뛰어난 성능을 발휘하고 있다.
이러한 딥러닝 기술은 해외 많은 기업(구글, 페이스북, 애플, 마이크로소프트, 알리바바, 바이두)에 의해 빠르게 발전되고 있으며, 얼굴인식, 음성인식, 자연어처리, 검색 서비스, 의료 등의 분야에 적용되고 있다. 이렇게 빠르게 발전하는 딥러닝의 최신 기술을 확보하고 더 나아가 응용 분야를 선점하고 빠르게 상용화 하는 것이 시급하다.
도 1은 기존의 결함 검사 장비에서 사용되는 결함 분류 방법을 도식화한 도면이다.
도 1을 참고하면, 기존의 결함 검사 장비에서 사용되는 결함 분류 방법은, 알고리즘 개발자가 영상에서 분류가 잘 될 것 같은 특징을 영상처리 알고리즘으로 추출한 후 이러한 특징들을 분류기(SVM, Decision tree)로 학습한다. 이러한 방법은 사람이 얼마나 특징 추출 알고리즘을 잘 디자인하여 특징을 추출하는지가 성능의 한계이다. 반면에 최근 딥러닝을 이용한 분류 방법은 사람 개입을 최소화하여 인공지능이 스스로 특징을 추출하고 분류기를 학습하는 것이다.
한국등록특허 제1,863,196호(등록일자: 2018.05.25) 미국공개특허 제2017-0200264호(공개일자: 2017.07.13)
따라서 본 발명이 해결하고자 하는 기술적 과제는 딥러닝의 입력을 단순히 결함 영상으로만 했을 경우의 단점을 극복하고 결함 분류 성능을 최대화하는 동시에 연산 시간을 최소화하는 딥러닝 기반 영상 데이터 생성 기술을 이용한 결함 분류 시스템 및 방법을 제공하는 것이다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 영상 분류 시스템은 입력 영상 데이터를 압축하며 피처(feature)를 추출하는 엔코더와 상기 엔코더에서 압축된 입력 영상 데이터를 복원한 복원 영상 데이터를 생성하는 디코더를 포함하는 영상 데이터 생성부, 그리고 합성곱 신경망부를 포함한다.
상기 엔코더와 상기 합성곱 신경망부를 이용하여 입력 영상 데이터를 분류하는 데이터 분류부를 구성한다.
상기 영상 데이터 생성부에서 생성된 학습 데이터를 이용하여 상기 데이터 분류부를 학습시킬 수 있다.
상기 데이터 분류부를 학습시킬 때, 상기 엔코더를 상기 디코더와 분리하여 상기 합성곱 신경망부의 앞 단에 배치되게 할 수 있다.
상기 영상 데이터 생성부는 오토엔코더일 수 있다.
상기 영상 데이터 생성부는 CCVAE(Conditional Convolutional Variational Autoencoder)일 수 있다.
상기 입력 영상 데이터는 표면 결함 여부를 검사하기 위해 조명을 적용하여 검사 대상 제품의 표면을 촬영한 영상 데이터일 수 있다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 영상 분류 시스템의 제어 방법은, 입력 영상 데이터를 압축하며 피처를 추출하는 엔코더와 상기 엔코더에서 압축된 입력 영상 데이터를 복원한 복원 영상 데이터를 생성하는 디코더를 포함하는 영상 데이터 생성부가 학습 데이터를 생성하는 단계, 상기 엔코더와 합성곱 신경망부를 이용하여 데이터 분류부를 구성하는 단계, 그리고 상기 생성된 학습 데이터를 이용하여 상기 데이터 분류부를 학습시키는 단계를 포함한다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 영상 분류 시스템의 제어 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능한 기록 매체를 포함할 수 있다.
상기 프로그램은, 입력 영상 데이터를 압축하며 피처(feature)를 추출하는 엔코더와 상기 엔코더에서 압축된 입력 영상 데이터를 복원한 복원 영상 데이터를 생성하는 디코더를 포함하는 영상 데이터 생성부가 학습 데이터를 생성하는 명령어 세트, 상기 엔코더와 입력 영상 데이터를 추출된 피처에 따라 분류하는 합성곱 신경망부를 이용하여 데이터 분류부를 구성하는 명령어 세트, 그리고 상기 생성된 학습 데이터를 이용하여 상기 데이터 분류부를 학습시키는 명령어 세트를 포함할 수 있다.
본 발명에 의하면 딥러닝이 스스로 영상에서 결함의 특징을 추출하고 학습할 수 있다. 특히 딥러닝의 입력을 단순히 결함 영상으로만 했을 경우의 단점을 극복하고 결함 분류 성능을 최대화하는 동시에 연산 시간을 최소화할 수 있는 장점이 있다.
도 1은 기존의 결함 검사 장비에서 사용되는 결함 분류 방법을 도식화한 도면이다.
도 2는 본 발명에 따른 영상 분류 시스템의 학습 데이터 생성 동작 시 구성 요소의 연결을 나타낸 도면이다.
도 3은 본 발명에 따른 영상 분류 시스템의 데이터 분류부 학습 시 구성 요소의 연결을 나타낸 도면이다.
도 4는 본 발명에 따른 영상 분류 시스템의 동작 과정을 설명하는 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 2는 본 발명에 따른 영상 분류 시스템의 학습 데이터 생성 동작 시 구성 요소의 연결을 나타낸 도면이다.
먼저 일반적인 제품 결함 검사 시스템의 구성에 대해 설명한다. 일반적인 제품 결함 검사 시스템은 조명과 카메라를 이용하여 광학 장치로 구성한다. 결함 부분에서 빛의 경로가 변하여 카메라에 들어오는 빛의 양 변화를 영상화하여 결함 부위의 신호잡음비(S/N ratio)를 높인다. 이와 같이 표면 결함 여부를 검사하기 위해 조명을 적용하여 검사 대상 제품의 표면을 촬영하여 획득한 입력 영상 데이터에서 결함 검출 알고리즘이 결함 후보를 검출하고, 결함 후보 영상을 분류 알고리즘으로 분류하여 결함명을 부여할 수 있다. 그리고 이러한 결과를 조업 모니터링 시스템으로 전송 및 DB에 저장하는 방식으로 시스템이 구성된다. 그런데 딥러닝 기술을 결함 영상 분류에 적용하여 우수한 성능을 확보하고자 할 때는 각 결함별로 충분한 데이터 확보가 선행되어야 한다. 하지만 제조업 특성상 일부 결함에 대해서는 충분한 데이터를 확보하기 어렵고, 각 결함별로 수집된 데이터 수도 차이가 클 수 있다.
즉 이러한 문제를 해결하기 위해 본 발명에 따른 영상 분류 시스템(100)은 도 2에 예시한 것과 같은 영상 데이터 생성부(110)를 통해 충분한 학습 데이터를 생성할 수 있다.
영상 데이터 생성부(110)는 엔코더(111), 샘플링부(113) 및 디코더(115)를 포함할 수 있다.
엔코더(111)는 입력 영상 데이터(x)를 압축하며, 입력 영상 데이터의 피처(feature)를 추출하여 학습할 수 있다. 엔코더(111)는 즉 고차원의 입력 영상 데이터(x)의 특징을 추출하고 고차원의 입력 영상 데이터를 저차원으로 압축시키는 역할을 수행한다.
샘플링부(113)는 엔코더(111)에서 압축된 데이터로부터 특정 확률로 샘플링한 데이터(z)를 디코더(115)에 전달하는 역할을 수행한다.
디코더(115)는 엔코더(111)에서 압축된 입력 영상 데이터를 복원한, 입력 영상 데이터와 동일한 복원 영상 데이터를 생성하는 역할을 수행한다.
이와 같이 영상 데이터 생성부(110)에서 입력 영상 데이터를 복원한 복원 영상 데이터를 생성하는 기능을 활용하여, 부족한 학습 데이터를 충분하게 확보할 수 있다.
영상 데이터 생성부(110)는 오토엔코더(auto encoder)로 구현할 수 있다. 오토엔코더는 Stacked Auto Encoder, Sparese Auto Encoder, Denoising Auto Encoder 등일 수 있다. 또한 오토엔코더는 VAE(Variational Autoencoder), CAE(Contractive Autoencoder), CVAE(Conditional VAE), CCVAE(Conditional Convolutional Variational Autoencoder) 등으로 구현할 수도 있다.
이렇게 영상 데이터 생성부(110)에서 생성된 학습 데이터로 입력 영상 데이터(예컨대 제품의 표면을 촬영한 결함 영상 데이터)를 시스템(100)에서 입력 데이터를 분류하는 데이터 분류부를 학습시킬 수 있다.
도 3은 본 발명에 따른 영상 분류 시스템의 데이터 분류부 학습 시 구성 요소의 연결을 나타낸 도면이다.
도 3을 참고하면, 본 발명에 따른 시스템(100)은 합성곱 신경망부(120)와 엔코더(111)로 입력 영상 데이터를 분류하는 데이터 분류부(130)를 구성할 수 있다. 이를 위해 시스템(100)은 데이터 분류부(130)를 학습시킬 때, 도 3에 예시한 것과 같이 엔코더(111)를 디코더(115)와 분리하여 합성곱 신경망부(120)의 앞 단에 배치되게 할 수 있다.
이를 위해 시스템(100)은 엔코더(111)를 선택적으로 디코더(115)와 합성곱 신경망부(120)에 연결시키기 위한 스위칭 구조를 가질 수 있다.
합성곱 신경망부(120)는 입력 영상 데이터를 추출된 피처에 따라 분류하도록 학습된 CNN(convolution neural network), DNN(Deep Neural Network) 등으로 구현할 수 있다.
일반적으로 결함 영상 등을 분류하는 딥러닝 모델을 학습시킬 때 분류모델의 초기값을 어떤 것을 선정하느냐에 따라서 분류 성능이 크게 좌우된다. 일반적으로는 학습된 데이터를 이용하여 분류를 위한 딥러닝 모델을 학습시킬 때 새로운 분류 모델을 학습한다. 분류 모델은 영상에서 피처를 스스로 추출하고, 그 피처를 원하는 클래스(class) 수만큼 분류해서 최종 결함 영상이 어떤 결함인지 알려준다.
본 발명에 따른 시스템(100)은 영상 데이터 생성부(110)에서 생성되어 학습된 데이터로 데이터 분류부(130)를 학습시킨다. 그런데 영상 데이터 생성부(110)에서 피처 추출 역할을 한 엔코더(111)를 데이터 분류부(130)에서도 피처 추출 역할을 하기 위한 구조로 사용하고 초기값으로 사용한다. 그리고 엔코더(111) 뒤에 분류를 위한 합성곱 신경망부(120)를 배치함으로써, 기존 방법보다 훨씬 작은 레이어(layer)만으로 빠르게 학습을 할 수 있는 구조를 제공할 수 있다. 또한 피처 추출 레이어에 초기값을 이미 영상 데이터 생성부(110)에서 학습된 값으로 사용하므로 훨씬 우수한 분류 성능을 가질 수 있다.
도 4는 본 발명에 따른 영상 분류 시스템의 동작 과정을 설명하는 흐름도이다.
도 2 내지 도 4를 참고하면, 먼저 엔코더(111)와 디코더(115)를 포함하는 영상 데이터 생성부(110)가 입력 영상 데이터를 입력받아 학습 데이터를 생성할 수 있다(S410).
다음으로 단계(S410)에서 충분한 학습 데이터가 생성된 후, 엔코더(111)와 합성곱 신경망부(120)를 이용하여 데이터 분류부를 구성할 수 있다(S420). 단계(S420)에서 엔코더(111)를 디코더(115)와 분리하여 합성곱 신경망부(120)의 앞 단에 배치되게 할 수 있다.
그리고 단계(S410)에서 생성된 학습 데이터를 이용하여 데이터 분류부(130)를 학습시킬 수 있다(S430).
마지막으로 단계(S430)에서 학습된 데이터 분류부(130)를 이용하여 입력 영상 데이터에 대한 분류를 할 수 있다(S440).
앞에서 설명한 본 발명에 의한 시스템 및 방법은 다양한 산업의 제품 결함 검사의 핵심 기술로 사용될 수 있다. 제품의 불량을 분석할 수 있도록 결함을 분류하는 기술은 표면 결함 검사 뿐만 아니라, 비파괴 검사와 같은 진단 분야에도 사용 될 수 있다. 또한 스마트팩토리(Smart Factory) 구현의 필수기술로, 생산 조업 조건에 따른 제품의 품질을 판정하고 이를 이용하여 생산 조건을 최적화하는 기술에도 응용 가능하다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
100: 영상 분류 시스템
110: 영상 데이터 생성부
111: 엔코더
113: 샘플링부
115: 디코더
120: 합성곱 신경망부
130: 데이터 분류부

Claims (12)

  1. 입력 영상 데이터를 압축하며 피처(feature)를 추출하는 엔코더와 상기 엔코더에서 압축된 입력 영상 데이터를 복원한 복원 영상 데이터를 생성하는 디코더를 포함하는 영상 데이터 생성부, 그리고
    합성곱 신경망부를 포함하고,
    상기 엔코더와 상기 합성곱 신경망부를 이용하여 입력 영상 데이터를 분류하는 데이터 분류부를 구성하며,
    상기 영상 데이터 생성부에서 생성된 학습 데이터를 이용하여 상기 데이터 분류부를 학습시키고,
    상기 데이터 분류부를 학습시킬 때, 상기 엔코더를 상기 디코더와 분리하여 상기 합성곱 신경망부의 앞 단에 배치되게 하며,
    상기 영상 데이터 생성부는 스택 오토 인코더(Stacked Auto Encoder), 스파스 오토 인코더(Sparese Auto Encoder), 디노이징 오토 인코더(Denoising Auto Encoder), VAE(Variational Autoencoder), CAE(Contractive Autoencoder), CVAE(Conditional VAE), CCVAE(Conditional Convolutional Variational Autoencoder) 중 어느 하나인 영상 분류 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제 1 항에서,
    상기 입력 영상 데이터는 표면 결함 여부를 검사하기 위해 조명을 적용하여 검사 대상 제품의 표면을 촬영한 영상 데이터인 영상 분류 시스템.
  7. 입력 영상 데이터를 압축하며 피처(feature)를 추출하는 엔코더와 상기 엔코더에서 압축된 입력 영상 데이터를 복원한 복원 영상 데이터를 생성하는 디코더를 포함하는 영상 데이터 생성부가 학습 데이터를 생성하는 단계,
    상기 엔코더와 합성곱 신경망부를 이용하여 데이터 분류부를 구성하는 단계, 그리고
    상기 생성된 학습 데이터를 이용하여 상기 데이터 분류부를 학습시키는 단계를 포함하며,
    상기 데이터 분류부를 학습시킬 때, 상기 엔코더를 상기 디코더와 분리하여 상기 합성곱 신경망부의 앞 단에 배치되게 하고,
    상기 영상 데이터 생성부는 스택 오토 인코더(Stacked Auto Encoder), 스파스 오토 인코더(Sparese Auto Encoder), 디노이징 오토 인코더(Denoising Auto Encoder), VAE(Variational Autoencoder), CAE(Contractive Autoencoder), CVAE(Conditional VAE), CCVAE(Conditional Convolutional Variational Autoencoder) 중 어느 하나인 영상 분류 시스템의 제어 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제 7 항에서,
    상기 입력 영상 데이터는 표면 결함 여부를 검사하기 위해 조명을 적용하여 검사 대상 제품의 표면을 촬영한 영상 데이터인 영상 분류 시스템의 제어 방법.
  12. 영상 분류 시스템의 제어 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능한 기록 매체에 있어서,
    입력 영상 데이터를 압축하며 피처(feature)를 추출하는 엔코더와 상기 엔코더에서 압축된 입력 영상 데이터를 복원한 복원 영상 데이터를 생성하는 디코더를 포함하는 영상 데이터 생성부가 학습 데이터를 생성하는 명령어 세트,
    상기 엔코더와 입력 영상 데이터를 추출된 피처에 따라 분류하는 합성곱 신경망부를 이용하여 데이터 분류부를 구성하는 명령어 세트, 그리고
    상기 생성된 학습 데이터를 이용하여 상기 데이터 분류부를 학습시키는 명령어 세트를 포함하며,
    상기 데이터 분류부를 학습시킬 때, 상기 엔코더를 상기 디코더와 분리하여 상기 합성곱 신경망부의 앞 단에 배치되게 하며,
    상기 영상 데이터 생성부는 스택 오토 인코더(Stacked Auto Encoder), 스파스 오토 인코더(Sparese Auto Encoder), 디노이징 오토 인코더(Denoising Auto Encoder), VAE(Variational Autoencoder), CAE(Contractive Autoencoder), CVAE(Conditional VAE), CCVAE(Conditional Convolutional Variational Autoencoder) 중 어느 하나인 컴퓨터 판독 가능한 기록 매체.
KR1020180169802A 2018-12-26 2018-12-26 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법 KR102179949B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180169802A KR102179949B1 (ko) 2018-12-26 2018-12-26 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180169802A KR102179949B1 (ko) 2018-12-26 2018-12-26 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20200084444A KR20200084444A (ko) 2020-07-13
KR102179949B1 true KR102179949B1 (ko) 2020-11-17

Family

ID=71570790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180169802A KR102179949B1 (ko) 2018-12-26 2018-12-26 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102179949B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023033241A1 (ko) * 2021-09-03 2023-03-09 주식회사 파블로아트컴퍼니 미술 심리분석용 데이터 생성 장치 및 이를 이용한 미술 심리분석용 데이터의 증강과 효율적 관리 방법
KR20230034666A (ko) * 2021-09-03 2023-03-10 주식회사 아이스크림아트 인공지능 모델을 활용한 미술 기반 심리분석 장치 및 이를 이용한 심리분석 결과 제공 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633425B (zh) * 2021-03-11 2021-05-11 腾讯科技（深圳）有限公司 图像分类方法和装置
KR102442434B1 (ko) * 2021-11-11 2022-09-14 주식회사 파블로아트컴퍼니 미술 심리분석용 데이터 생성 장치 및 이를 이용한 미술 심리분석용 데이터의 생성과 사용자의 심리상태 정보제공 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101911061B1 (ko) * 2018-03-26 2018-10-23 주식회사 대곤코퍼레이션 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 시스템 및 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102477190B1 (ko) * 2015-08-10 2022-12-13 삼성전자주식회사 얼굴 인식 방법 및 장치
US10181185B2 (en) 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
KR101863196B1 (ko) 2017-07-24 2018-06-01 한국생산기술연구원 딥러닝 기반 표면 결함 검출장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101911061B1 (ko) * 2018-03-26 2018-10-23 주식회사 대곤코퍼레이션 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 시스템 및 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023033241A1 (ko) * 2021-09-03 2023-03-09 주식회사 파블로아트컴퍼니 미술 심리분석용 데이터 생성 장치 및 이를 이용한 미술 심리분석용 데이터의 증강과 효율적 관리 방법
KR20230034666A (ko) * 2021-09-03 2023-03-10 주식회사 아이스크림아트 인공지능 모델을 활용한 미술 기반 심리분석 장치 및 이를 이용한 심리분석 결과 제공 방법
KR102533225B1 (ko) 2021-09-03 2023-05-26 주식회사 아이스크림아트 인공지능 모델을 활용한 미술 기반 심리분석 장치 및 이를 이용한 심리분석 결과 제공 방법

Also Published As

Publication number Publication date
KR20200084444A (ko) 2020-07-13

Similar Documents

Publication Publication Date Title
KR102179949B1 (ko) 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법
US10242289B2 (en) Method for analysing media content
JP6632623B2 (ja) サンプリング及びフィーチャ選択を伴わない自動欠陥分類
Seyedhosseini et al. Semantic image segmentation with contextual hierarchical models
CN111160350B (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
Malgireddy et al. Language-motivated approaches to action recognition
CN111275046B (zh) 一种字符图像识别方法、装置、电子设备及存储介质
Wang et al. Tree leaves detection based on deep learning
Jain et al. Sketch2Code: transformation of sketches to UI in real-time using deep neural network
CN110892409B (zh) 用于分析图像的方法和装置
Li et al. Skeleton-parted graph scattering networks for 3d human motion prediction
CN112948155B (zh) 模型训练方法、状态预测方法、装置、设备及存储介质
Srinivas et al. A comprehensive survey of techniques, applications, and challenges in deep learning: A revolution in machine learning
Antoniou et al. A general purpose intelligent surveillance system for mobile devices using deep learning
KR102313215B1 (ko) 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법
Agrawal et al. Image Caption Generator Using Attention Mechanism
US20200050899A1 (en) Automatically filtering out objects based on user preferences
US20200019618A1 (en) Vectorization of documents
KR102178238B1 (ko) 회전 커널을 이용한 머신러닝 기반 결함 분류 장치 및 방법
Valle et al. Recognition of human walking/running actions based on neural network
Wang et al. Object-centric learning with cyclic walks between parts and whole
Deepan et al. Deep learning algorithm and its applications to ioT and computer vision
CN113610021A (zh) 视频分类方法及装置、电子设备及计算机可读存储介质
Jokela Person counter using real-time object detection and a small neural network
Lee et al. SGNet: Design of optimized DCNN for real-time face detection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant