KR102282087B1 - 딥러닝 모델에 적용하기 위한 학습 데이터 확장방법, 딥러닝을 이용한 이미지 분류장치 및 그 방법 - Google Patents

딥러닝 모델에 적용하기 위한 학습 데이터 확장방법, 딥러닝을 이용한 이미지 분류장치 및 그 방법 Download PDF

Info

Publication number
KR102282087B1
KR102282087B1 KR1020190134464A KR20190134464A KR102282087B1 KR 102282087 B1 KR102282087 B1 KR 102282087B1 KR 1020190134464 A KR1020190134464 A KR 1020190134464A KR 20190134464 A KR20190134464 A KR 20190134464A KR 102282087 B1 KR102282087 B1 KR 102282087B1
Authority
KR
South Korea
Prior art keywords
image
kernel
filter
deep learning
learning
Prior art date
Application number
KR1020190134464A
Other languages
English (en)
Other versions
KR20210050168A (ko
Inventor
박세혁
Original Assignee
주식회사 뷰온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뷰온 filed Critical 주식회사 뷰온
Priority to KR1020190134464A priority Critical patent/KR102282087B1/ko
Publication of KR20210050168A publication Critical patent/KR20210050168A/ko
Application granted granted Critical
Publication of KR102282087B1 publication Critical patent/KR102282087B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명은 딥러닝 기반 영상 처리를 위한 학습 데이터가 부족하더라도 가보필터를 이용하여 제한된 학습 데이터를 확장하는 학습 데이터 확장 방법을 제시하고, 제조산업의 머신 비젼에서 실행되고 있는 이미지 분류 프로세스에 적용할 수 있는 이미지 분류장치 및 그 방법에 관한 것이다.
본 발명은 가보필터의 필터파라미터를 바꾸는 필터특성 변경 기법을 이용하여 학습 데이터를 쉽고 간편하게 확장하여 충분한 학습 데이터를 확보할 수 있다. 또한 본 발명은 가보필터의 필터특성 변경 기법에 의해 충분히 확보된 학습 데이터를 바탕으로 딥러닝 모델을 학습하여 딥러닝 모델의 신뢰성을 향상시킴으로써 이미지 분류 성공률을 개선할 수 있다.

Description

딥러닝 모델에 적용하기 위한 학습 데이터 확장방법, 딥러닝을 이용한 이미지 분류장치 및 그 방법{Method For Applying Learning Data Augmentaion To Deep Learning Model, Apparatus And Method For Classifying Images Using Deep Learning}
본 발명은 딥러닝 기반 영상 처리를 위한 학습 데이터가 부족하더라도 가보필터를 이용하여 제한된 학습 데이터를 확장함으로써 충분한 학습 데이터를 확보할 수 있는 학습 데이터 확장 방법을 제시하고, 이 학습 데이터 확장 방법을 이용하여 제조산업의 머신 비젼에서 실행되고 있는 이미지 분류 프로세스에 적용할 수 있는 이미지 분류장치 및 그 방법에 관한 것이다.
인공지능 기계학습의 발달은 지적 활동의 자동화에 대한 가능성을 열고 있다는 점에서 그 파급 효과가 매우 크고 광범위할 것으로 전망된다. 최근 딥러닝을 중심으로 급격히 발전한 기계학습 기술은 실용화를 위한 요구 수준과 실제 인공지능 기술 간의 격차를 크게 좁히며 다양한 지능형 시스템의 출현을 예고하고 있다.
딥러닝은 데이터로부터 고수준의 정보를 학습하는 기술로 주로 깊은 신경망(deep neural network)에 기반한다. 딥러닝의 핵심 방법론으로는 사전학습(pre-training) 알고리즘, 컨볼루션 네트워크(CNN), 순환신경망(RNN) 등이 있다.
딥러닝은 컴퓨터비젼, 음성인식, 자율주행차, 로보틱스, 자연어 처리 등 다양한 분야에 적용되어 기존 방법을 압도하는 탁월한 성능을 보이며, 컴퓨터비젼(computer vision)과 패턴인식(pattern recognition)에서 두각을 나타내고 있다.
[특허문헌 1] 내지 [특허문헌 4]에서 딥러닝을 이용한 어플리케이션의 성능을 높이기 위해서 제한된 학습 데이터를 임의로 가공해서 늘리는 여러 기법들이 개발되고 있다.
그러나 상기 특허문헌들에서는 머신 비젼(machine vision)에 최적화된 학습 데이터를 확장하는 기법을 제시하고 있지 않다.
머신 비젼은 다양한 제조 산업의 최종 제품을 검사하기 위하여 사용되는데, 예를 들어 자동화 설비를 이용하여 생산품의 표면 결함을 검사하는 분야에서는 딥러닝 모델을 적용하기에 충분한 학습 데이터를 확보하기 어려운 경우가 많다. 이 경우 딥러닝을 이용한 어플리케이션의 성능을 보장할 수 없기 때문에, 머신 비젼 분야에 최적화된 학습 데이터를 확보하는 기법과, 이러한 학습 데이터를 바탕으로 이미지를 분류하는 기술이 개발될 필요가 있다.
[특허문헌 1] 한국등록특허 제10-1843066호(발명의 명칭 "기계 학습에 있어서 데이터 확대를 이용하여 데이터의 분류를 수행하는 방법 및 이를 이용한 장치", 2018.03.22 등록) [특허문헌 2] 한국등록특허 제10-1828011호(발명의 명칭 "이미지에 포함된 객체의 상태를 분류하는 방법 및 분류장치", 2018.02.13 등록) [특허문헌 3] 한국공개특허 제10-2018-0130925호(발명의 명칭 "머신 러닝을 위한 학습 이미지를 자동 생성하는 인공 지능 장치 및 그의 제어 방법", 2018.12.10 공개) [특허문헌 4] 한국공개특허 제10-2019-0021095호(발명의 명칭 "이미지 분류 장치와 방법 및 이미지 분류를 위한 이미지 학습 장치", 2019.03.05 공개)
없음
본 발명의 목적은 가보필터의 필터파라미터를 바꾸는 필터특성 변경 기법을 이용하여 원본의 단일 이미지와 유사성을 가지도록 변화된 다수의 확장 이미지를 만들어내는 딥러닝 모델에 적용하기 위한 학습 데이터 확장 방법을 제공함에 있다.
본 발명의 다른 목적은 준비된 학습 데이터세트에 속하는 모든 단일 이미지를 대상으로 필터특성 변경 기법을 적용하여 충분한 학습 데이터를 확보하고, 확보된 학습 데이터를 가지고 학습 프로세스를 수행하여 딥러닝 모델에 적용하기 위한 가중치를 생성하며, 이 가중치가 적용된 딥러닝 모델을 이용하여 이미지를 분류하는 이미지 분류 장치 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 딥러닝 모델에 적용하기 위한 학습 데이터 확장방법은, 학습 데이터세트를 사전에 준비하는 준비 단계; 상기 학습 데이터세트의 단일 이미지를 대상으로 가보필터의 필터파라미터를 바꾸는 필터특성 변경 기법을 이용하여 확장된 이미지를 생성하는 확장 단계; 및 상기 확장 단계에서 생성된 확장된 이미지를 바탕으로 딥러닝 모델을 학습시키는 학습 단계를 포함하는 것을 특징으로 한다.
또한 상기 확장 단계에서 필터특성 변경 기법은 커널의 모양, 방향, 중심 주파수, 대역폭 중 적어도 어느 하나에 대응하는 필터파라미터를 변경하는 것을 특징으로 한다.
또한 상기 확장 단계에서 노말 가보필터를 이용하여 학습 데이터를 확장하는 제1 확장모드와 변형된 가보필터를 이용하여 학습 데이터를 확장하는 제2 확장모드 중 어느 하나의 확장모드에 따라 학습 데이터를 확장하는 것을 특징으로 한다.
또한 상기 제1 확장모드에 적용하는 노말 가보필터는 다음의 수학식 1 및 수학식 2에 의해 정의되는 것을 특징으로 한다.
[수학식 1]
Figure 112019109899112-pat00001
[수학식 2]
Figure 112019109899112-pat00002
여기서, x와 y는 이차원 이미지의 직각 좌표계에서 좌표값, λ는 가보필터 커널의 사인함수를 조절하는 파장, θ는 커널함수의 방향성, ψ는 위상차, σ는 가우시안 함수의 표준편차, γ는 가보필터의 모양을 결정하는 요소이다.
또한 상기 제2 확장모드에 적용하는 변형 가보필터는 다음의 수학식 3에 의해 정의되는 것을 특징으로 한다.
[수학식 3]
Figure 112019109899112-pat00003
여기서, x와 y는 이차원 이미지의 직각 좌표계에서 좌표값, θ는 커널함수의 방향성, θx는 커널함수의 x축방향 회전각,θy는 커널함수의 y축방향 회전각, σ는 가우시안 함수의 표준편차, Sa 및 Sb는 커널 주파수의 진폭을 결정하는 scale factor로서 Sa는 1~50의 상수, Sb는 6~300의 상수, C는 0~2의 상수, D는 중심에서 떨어진 거리를 나타내는 0~50의 상수이다.
상기 목적을 달성하기 위한 본 발명에 따른 딥러닝을 이용한 이미지 분류 장치는, 학습 데이터세트를 저장하는 학습 데이터세트 저장부, 가중치 정보를 저장하는 가중치 저장부를 구비한 메모리; 상기 학습 데이터세트의 단일 이미지를 입력받고 가보필터의 필터파라미터를 바꾸어 확장 이미지를 생성하고 생성된 확장 이미지를 바탕으로 딥러닝 모델을 학습한 결과로부터 도출된 가중치 정보를 상기 가중치 저장부에 저장하는 데이터 학습모듈, 이미지 획득장치에 의해 획득되고 사용자 인터페이스를 통해 제공받은 입력 이미지에 대해 딥러닝 기반 진단 프로그램이 상기 가중치 정보에 저장된 가중치 정보를 이용하여 이미지 분류 프로세싱을 수행하는 이미지 분류모듈을 구비한 프로세서;를 포함하는 것을 특징으로 한다.
또한 상기 데이터 학습모듈은 가보필터의 필터파라미터의 설계값을 설정하여 커널을 특정하고, 특정된 커널의 필터링 연산에 의해 확장 이미지를 생성하는 학습 데이터 확장부, 상기 확장 이미지가 포함된 학습 데이터세트를 가지고 딥러닝 모델을 학습시키는 학습부를 포함하는 것을 특징으로 한다.
또한 상기 학습 데이터 확장부는 노말 가보필터를 이용한 제1 확장모드에 따라 학습 데이터를 확장하기 위한 노말 커널 설정기 및 노말 커널 생성기, 변형 가보필터를 이용한 제2 확장모드에 따라 학습 데이터를 확장하기 위한 변형 커널 설정기 및 변형 커널 생성기를 포함하는 것을 특징으로 한다.
또한 상기 노말 커널 설정기는 노말 가보필터의 필터파라미터 설계값으로서 커널 사이즈, 커널함수의 방향성 θ, 가우시안 함수의 표준편차 σ 중 적어도 어느 하나를 설정하고, 상기 노말 커널 생성기는 상기 노말 커널 설정기에 의해 설정된 노말 가보필터의 필터파라미터 설계값에 따라 노말 커널을 생성하며, 생성된 노말 커널에서 입력받은 단일 이미지를 필터링 연산하여 복수개 확장 이미지를 생성하는 것을 특징으로 한다.
또한 상기 변형 커널 설정기는 변형 가보필터의 필터파라미터 설계값으로서 커널 사이즈, 커널함수의 방향성 θ, 가우시안 함수의 표준편차 σ, 커널함수의 x축방향 회전각 θx, 커널함수의 y축방향 회전각 θy, 커널 주파수의 진폭을 결정하는 scale factor Sa 및 Sb, 상수 C 및 D 중 적어도 어느 하나를 설정하고, 상기 변형 커널 생성기는 상기 변형 커널 설정기에 의해 설정된 변형 가보필터의 필터파라미터 설계값에 따라 변형 커널을 생성하며, 생성된 변형 커널에서 입력받은 단일 이미지를 필터링 연산하여 복수개 확장 이미지를 생성하는 것을 특징으로 한다.
또한 상기 이미지 분류모듈은 이미지 획득장치에 의해 획득되고 사용자 인터페이스를 통해 제공받은 분류 대상의 이미지를 공급하는 이미지 공급부, 상기 이미지 공급부로부터 공급받은 이미지에 대하여 상기 가중치 저장부에 저장된 가중치가 반영된 딥러닝 모델에 기반한 진단 프로그램을 이용하여 이미지를 분류하는 딥러닝 실행부, 상기 딥러닝 실행부에 의해 분류된 이미지와 분류 정보를 출력하는 이미지 출력부를 포함하는 것을 특징으로 한다.
또한 상기 딥러닝 실행부가 딥러닝 모델로서 LeNet-5, Alex-Net, Google-Net 중 어느 하나를 사용하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 딥러닝을 이용한 이미지 분류 방법은, 사전에 준비된 학습 데이터세트를 준비하는 준비단계; 준비된 학습 데이터세트에 속하는 제한된 학습 데이터를 확장하기 위하여 노말 가보필터를 이용한 제1 확장모드 또는 변형된 가보필터를 이용한 제2 확장모드에 따라 학습 데이터를 확장하는 확장단계; 확장된 학습 데이터를 대상으로 딥러닝 모델에서 학습 프로세스를 수행하는 학습단계; 학습 프로세스의 학습 결과 도출된 가중치 정보를 저장하는 저장단계; 이미지 획득장치에 의해 획득되고 사용자 인터페이스를 통해 입력받은 분류 대상의 이미지에 대해 학습 과정에서 얻은 가중치 정보를 반영한 딥러닝 기반 진단프로그램을 이용하여 이미지를 분류하는 딥러닝 실행단계; 딥러닝 실행에 의해 분류된 이미지와 분류 정보를 출력하는 출력단계;를 포함하는 것을 특징으로 한다.
또한 상기 제1 확장모드에 적용하는 노말 가보필터는 다음의 수학식 1 및 수학식 2에 의해 정의되는 것을 특징으로 한다.
[수학식 1]
Figure 112019109899112-pat00004
[수학식 2]
Figure 112019109899112-pat00005
여기서, x와 y는 이차원 이미지의 직각 좌표계에서 좌표값, λ는 가보필터 커널의 사인함수를 조절하는 파장, θ는 커널함수의 방향성, ψ는 위상차, σ는 가우시안 함수의 표준편차, γ는 가보필터의 모양을 결정하는 요소이다.
또한 상기 제2 확장모드에 적용하는 변형 가보필터는 다음의 수학식 3에 의해 정의되는 것을 특징으로 한다.
[수학식 3]
Figure 112019109899112-pat00006
여기서, x와 y는 이차원 이미지의 직각 좌표계에서 좌표값, θ는 커널함수의 방향성, θx는 커널함수의 x축방향 회전각,θy는 커널함수의 y축방향 회전각, σ는 가우시안 함수의 표준편차, Sa 및 Sb는 커널 주파수의 진폭을 결정하는 scale factor로서 Sa는 1~50의 상수, Sb는 6~300의 상수, C는 0~2의 상수, D는 중심에서 떨어진 거리를 나타내는 0~50의 상수이다.
또한 상기 학습 단계에서 딥러닝 모델로서 LeNet-5, Alex-Net, Google-Net 중 어느 하나를 사용하는 것을 특징으로 한다.
이상과 같은 본 발명은 가보필터의 필터파라미터를 바꾸는 필터특성 변경 기법을 이용하여 학습 데이터를 쉽고 간편하게 확장하여 충분한 학습 데이터를 확보할 수 있다.
또한 본 발명은 가보필터의 필터특성 변경 기법에 의해 충분히 확보된 학습 데이터를 바탕으로 딥러닝 모델을 학습하여 딥러닝 모델의 신뢰성을 향상시킴으로써 이미지 분류 성공률을 개선할 수 있다.
또한 본 발명은 제조산업의 생산품 불량을 검사하는 검사 시스템의 진단 프로그램에 적용할 수 있고, 딥러닝 모델을 기반으로 한 진단 프로그램에서 실행되는 이미지 분류 프로세싱에 의한 불량 검사의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 딥러닝을 이용한 이미지 분류방법을 나타내는 흐름도,
도 2는 본 발명의 실시예에 따른 딥러닝을 이용한 이미지 분류장치의 블록도,
도 3은 본 발명의 실시예에 따른 딥러닝을 이용한 이미지 분류장치의 주요부에 대한 상세한 블록도,
도 4는 도 3의 학습 데이터 확장부에 대한 상세 블록도,
도 5는 도 3의 학습 데이터 확장부가 노말 가보필터를 이용하여 제1 확장모드에서 숫자 '0'의 이미지를 확장하는 동작을 설명하기 위한 도면,
도 6은 도 3의 학습 데이터 확장부가 노말 가보필터를 이용한 제1 확장모드에서 단일 이미지로부터 복수개의 확장 이미지를 생성하는 원리를 설명하는 도면,
도 7은 도 3의 학습 데이터 확장부가 변형된 가보필터를 이용한 제2 확장모드에서 단일 이미지로부터 복수개 확장 이미지를 생성하는 원리를 설명하는 도면,
도 8은 본 발명의 실시예에 따른 동일한 입력 이미지에 대해 제1 확장모드와 제2 확장모드를 적용시 얻어지는 복수개의 확장 이미지를 나타내는 도면이다.
이하 첨부한 도면을 참조하여 본 발명의 실시 예를 설명함으로써 본 발명을 설명한다.
각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
머신 비젼은 생산 라인 상에 장착된 카메라, 광학계, 조명 등의 하드웨어를 통해 제품의 이미지를 획득하고, 획득된 이미지를 분석하고 검사하는 진단 프로그램을 통해 이미지 프로세싱을 수행한다.
본 발명은 가보필터의 필터파라마터의 설계값을 가변하여 딥러닝 모델에 적용하기 위한 학습 데이터를 만들어 확장시키는 것을 기술적 특징으로 한다.
또한 본 발명은 제조산업의 생산품 불량을 검사하는 검사 시스템의 진단 프로그램에 적용할 수 있고, 딥러닝 모델의 신뢰성을 높일 수 있도록 충분한 학습 데이터를 제공함으로써 딥러닝 모델을 기반으로 한 진단 프로그램에서 실행되는 이미지 분류 프로세싱에 의한 불량 검사의 정확도를 향상시킬 수 있다.
가보필터는 공간 영역과 주파수 영역에서 동조 가능한 방향과 중심 주파수(tunable orientation and center frequency), 그리고 반경 주파수 대역폭(radial frequency bandwidth)과 관련된 필터파라메터들을 가진다. 필터파라메터들을 어떻게 설정하느냐에 따라 커널의 모양(shape), 방향(orientation), 중심 주파수(center frequency), 대역폭(bandwidth) 등이 변화되어, 가보필터에 대한 커널함수의 특징이 결정되기 때문에 각각의 커널함수에서 이루어지는 필터링 연산을 거치게 되면 유사한 이미지들을 얻을 수 있다.
본 발명에서 필터파라메터의 설계값을 가변함으로써 설정된 제각각 다른 커널함수를 이용하여 입력된 단일 이미지에 대해 유사성을 가진 다수의 새로운 이미지를 만들고, 사전 준비된 학습 데이터세트에 가보필터를 이용한 데이터 확장을 통해 확보된 새로운 이미지를 학습 데이터로 포함시킨다. 본 발명은 가보필터의 필터 특성을 나타내는 커널함수를 다양하게 변화시켜 원본 이미지와 유사한 이미지들을 만들고, 딥러닝 모델의 학습 데이터에 새롭게 만든 이미지들을 포함시켜 보강할 수 있다.
본 발명은 보강된 학습 데이터세트를 바탕으로 딥러닝을 실행하여 이미지 분류 프로세싱에 적용하기 위한 가중치를 연산하고, 실행 결과로부터 얻은 가중치 정보를 저장한다. 이와 같이 가중치 정보는 새로운 학습 데이터를 추가시 가중치 정보를 갱신하게 된다.
도 1을 참고하면, 본 발명의 실시예에 따른 딥러닝을 이용한 이미지 분류 방법은 사전에 준비된 학습 데이터세트를 준비하는 준비단계(10), 준비된 학습 데이터세트에 속하는 제한된 학습 데이터를 확장하기 위하여 노말 가보필터를 이용한 제1 확장모드 또는 변형된 가보필터를 이용한 제2 확장모드에 따라 학습 데이터를 확장하는 확장단계(20), 확장된 학습 데이터를 대상으로 딥러닝 모델에서 학습 프로세스를 수행하는 학습단계(30), 학습 프로세스의 결과 도출된 가중치 정보를 저장하는 저장단계(40), 학습 과정으로 얻은 가중치를 이용하여 분류 대상의 이미지에 대해 딥러닝에 기반한 진단프로그램을 이용하여 이미지를 분류하는 딥러닝 실행단계(50), 딥러닝 실행에 의해 분류된 이미지와 분류 정보를 출력하는 출력단계(60)를 포함한다.
도 2 및 도 3을 참고하여, 본 발명에 따른 딥러닝을 이용한 이미지 분류장치는 사용자 인터페이스(100), 프로세서(101), 메모리(104)가 포함된 컴퓨팅 장치로 구현될 수 있다.
사용자는 사용자 인터페이스(100)를 통해 데이터 학습 실행 여부, 확장 모드의 선택, 딥러닝 모델의 선택, 대상 이미지 입력 등 이미지 분류에 관련된 전반적인 사용자 명령을 입력한다.
메모리(104)는 딥러닝 기반 진단프로그램을 저장하는 딥러닝 솔루션(105), 딥러닝 모델을 학습시키기 위한 학습 데이터를 저장하는 학습 데이터세트 저장부(110), 딥러닝 모델에 의한 학습 결과 얻어진 가중치 정보를 저장하는 가중치 저장부(140)를 포함한다.
프로세서(101)는 학습 데이터세트 저장부(110)로부터 사전 준비된 학습 데이터를 제공받고, 학습 결과로 얻어진 가중치 정보를 가중치 저장부(140)에 저장한다. 프로세서(101)는 데이터 학습모듈(102)과 이미지 분류모듈(103)을 포함한다.
데이터 학습모듈(102)은 학습 데이터를 확장하는 학습 데이터 확장부(120), 확장된 학습 데이터를 바탕으로 학습하는 학습부(130)를 포함한다.
이미지 분류모듈(103)은 이미지 획득장치에서 획득되고 사용자 인터페이스(100)를 통해 제공받은 분류 대상의 이미지를 공급하는 이미지 공급부(150), 이미지 공급부(150)로부터 공급받은 이미지에 대하여 가중치 저장부(140)에 저장된 가중치가 반영된 딥러닝 모델에 기반한 진단프로그램을 이용하여 이미지를 분류하는 딥러닝 실행부(160), 딥러닝 실행부(160)에 의해 분류된 이미지와 분류 정보를 출력하는 이미지 출력부(170)를 포함한다.
도 4를 참고하면, 데이터 학습모듈(120)은 노말 커널 설정기(121), 노말 커널 생성기(122), 변형 커널 설정기(123), 변형 커널 생성기(124)를 포함한다.
데이터 학습모듈(120)은 사용자 인터페이스부(100)로부터 확장모드 선택명령을 입력받아 제1 확장모드 또는 제2 확장모드에 따라 학습 데이터를 확장한다.
데이터 학습모듈(120)은 크게 노말 가보필터를 이용한 제1 확장모드에 의한 학습 데이터 확장과 변형된 가보필터를 이용한 제2 확장모드에 의한 학습 데이터 확장으로 구분할 수 있다. 제1 확장모드는 노말 커널 설정기(121)와 노말 커널 생성기(122)를 이용하여 학습 데이터를 확장한다.
노말 커널 설정기(121)는 노말 가보필터의 커널을 특정하기 위한 필터파라미터를 가변한다.
노말 가보필터는 다음의 [수학식 1]과 같이 나타낼 수 있다.
Figure 112019109899112-pat00007
[수학식 1]에서 x'와 y'는 다음의 [수학식 2]와 같이 나타낼 수 있다.
Figure 112019109899112-pat00008
여기서, x와 y는 이차원 이미지의 직각 좌표계에서 좌표값, λ는 가보필터 커널의 사인함수를 조절하는 파장, θ는 커널함수의 방향성, ψ는 위상차, σ는 가우시안 함수의 표준편차, γ는 가보필터의 모양을 결정하는 요소이다.
노말 커널 설정기(121)는 적어도 하나의 노말 가보필터의 필터파라미터에 대한 설계값들을 노말 커널 생성기(122)에 제공한다. 필터파라미터의 개수가 제한되는 것은 아니다. 실시예에서 노말 가보필터의 필터파라미터로서 커널 사이즈(kernel size), σ, θ에 대한 설계값을 제공하였으나, 분류 대상의 이미지 특성과 이미지 획득장치의 성능 등을 고려하여 필터파라미터의 개수와 대상을 변경할 수 있다.
노말 커널 생성기(122)는 제공받은 필터파라미터의 설계값에 기초하여 노말 가보필터의 커널인 노말 커널을 생성한다. 예를 들어 커널 사이즈(kernel size)가 11X11, σ=2, θ=π/6에 의해 제1 노말커널(GK1)이 생성되고, 커널 사이즈(kernel size)가 11 X 11(pixel), σ=2, θ=π/3에 의해 제2 노말커널(GK2)이 생성되며, 이와 같은 방식으로 n개 노말커널이 생성될 수 있다.
노말 커널 생성기(122)는 학습 데이터세트 저장부(110)로부터 사전 준비된 학습 데이터세트를 제공받는데, 원본의 단일 이미지를 개별적으로 입력받는다. 노말 커널 생성기(122)는 개별 입력되는 단일 이미지를 대상으로 하여 생성된 n개 노말커널에서 필터링 연산하여 원본 이미지와 유사한 n개의 확장 이미지(확장 이미지1, 확장 이미지2, ..., 확장 이미지n)를 생성한다. 생성된 n개의 확장 이미지는 학습부(130)에 제공된다.
제2 확장모드는 변형 커널 설정기(123)와 변형 커널 생성기(124)를 이용하여 학습 데이터를 확장한다.
변형 커널 설정기(123)는 변형 가보필터의 커널을 특정하기 위한 필터파라미터를 가변한다.
변형 가보필터는 입력 이미지에 대해 부분적으로 휘어지게 하거나 커널 중심으로부터 떨어진 주변에 축소된 이미지가 반복되어 나타나도록 변형시킬 수 있다.
실시예에서 변형 가보필터는 다음의 [수학식 3]과 같이 나타낼 수 있다.
Figure 112019109899112-pat00009
여기서, x와 y는 이차원 이미지의 직각 좌표계에서 좌표값, θ는 커널함수의 방향성, θx는 커널함수의 x축방향 회전각,θy는 커널함수의 y축방향 회전각, σ는 가우시안 함수의 표준편차, Sa 및 Sb는 커널 주파수의 진폭을 결정하는 scale factor로서 Sa는 1~50의 상수, Sb는 6~300의 상수, C는 0~2의 상수, D는 중심에서 떨어진 거리를 나타내는 0~50의 상수이다.
변형 커널 설계값 설정기(123)는 적어도 하나의 변형 가보필터의 필터파라미터에 대한 설계값들을 노말 커널 생성기(122)에 제공한다. 필터파라미터의 개수가 제한되는 것은 아니다. 실시예에서 변형 가보필터의 필터파라미터로서 커널 사이즈(kernel size), σ, θ, θx, θy, Sa, Sb, C, D 대한 설계값을 제공하였으나, 분류 대상의 이미지 특성과 이미지 획득장치의 성능 등을 고려하여 필터파라미터의 개수와 대상을 변경할 수 있다.
변형 커널 생성기(124)는 제공받은 필터파라미터의 설계값에 기초하여 변형 가보필터의 커널인 변형 커널을 생성한다. 예를 들어, σ=5, θ=π/4, θx=π/30 ,θy=0, C=1.4, D=15로 주어진 경우에 의해 제1 변형커널(MK1)이 생성되고, σ=5, θ=π/4, θx=0 ,θy=π/30, C=1.4, D=15로 주어진 경우에 의해 제2 변형커널(MK2)이 생성되며, 이와 같은 방식으로 n개 변형커널이 생성될 수 있다.
변형 커널 생성기(124)는 학습 데이터세트 저장부(110)로부터 사전 준비된 학습 데이터세트에 해당하는 원본의 단일 이미지를 개별적으로 입력받는다. 변형 커널 생성기(124)는 개별 입력되는 단일 이미지를 대상으로 하여 생성된 n개 변형커널에서 필터링 연산하여 원본 이미지와 유사한 n개의 확장 이미지(확장 이미지1, 확장 이미지2, ..., 확장 이미지n)를 생성한다. 생성된 n개의 확장 이미지는 학습부(130)에 제공된다.
학습부(130)는 제1 확장모드에서 노말 가보필터를 이용하여 확장된 학습 데이터를 바탕으로 딥러닝 모델에 대한 학습을 수행하거나 제2 확장모드에서 변형 가보필터를 이용하여 확장된 학습 데이터를 바탕으로 딥러닝 모델에 대한 학습을 수행하게 된다. 이렇게 학습부(130)가 딥러닝 모델의 학습프로세스를 수행하여 얻은 가중치 정보는 가중치 저장부(140)에 저장함으로써 딥러닝 실행부(160)에 적용된다.
실시예에서 학습부(130) 및 딥러닝 실행부(160)가 사용하는 딥러닝 모델로서 LeNet-5를 적용하였으나, 딥러닝 모델이 특정되는 것은 아니며, 다른 딥러닝 모델로서 알렉스넷(Alex Net), 구글넷(Google Net) 등을 적용할 수도 있다.
학습 데이터세트 저장부(110)에서 제공하는 학습 데이터세트는 딥러닝을 학습시키기 위한 정보 집합체이다.
일반적으로 머신 러닝(machine learning)에서 폭 넓게 쓰이고 있는 MNIST(Modifified National Institute of Standards and Technology database) 데이터세트를 채택할 수 있다. MNIST 데이터세트는 60,000개 학습 이미지(train image)와 10,000개 테스트 이미지(test image)를 포함한다. 학습 이미지의 절반과 테스트 이미지의 절반은 NIST(National Institute of Standards and Technology)의 학습 데이터세트(train dataset)에서 취합하였으며, 나머지 학습 이미지의 절반과 테스트 이미지의 절반은 NIST의 테스트 데이터세트(test dataset)에서 취합하였다.
MNIST 데이터세트는 Size-normalized 및 Certered 되어 있고, 28×28 크기의 Gray Image 이다. 아래의 [표 1]은 MNIST 데이터세트의 각 숫자의 샘플 이미지와 수량을 보여준다.
학습 데이터세트(train dataset) 테스트 데이터세트(teat dateset)
번호 example image 수량 example image 수량
0
Figure 112019109899112-pat00010
 5,923장
Figure 112019109899112-pat00011
 980장
1
Figure 112019109899112-pat00012
 6,742장
Figure 112019109899112-pat00013
 1,135장
2
Figure 112019109899112-pat00014
 5,958장
Figure 112019109899112-pat00015
 1,032장
3
Figure 112019109899112-pat00016
 6,131장
Figure 112019109899112-pat00017
 1,010장
4
Figure 112019109899112-pat00018
 5,842장
Figure 112019109899112-pat00019
 982장
5
Figure 112019109899112-pat00020
 5,421장
Figure 112019109899112-pat00021
 892장
6
Figure 112019109899112-pat00022
 5,918장
Figure 112019109899112-pat00023
 958장
7
Figure 112019109899112-pat00024
 6,265장
Figure 112019109899112-pat00025
 1,028장
8
Figure 112019109899112-pat00026
 5,851장
Figure 112019109899112-pat00027
 974장
9
Figure 112019109899112-pat00028
 5,949장
Figure 112019109899112-pat00029
 1,009장
총계 60,000장 10,000장
도 5를 참고하여, 제1 확장모드에서 학습 데이터 확장부(120)가 학습 데이터를 확장하는 경우, 숫자 '0'의 입력 이미지에 대해 제1 내지 제4 커널함수(GK1, GK2, GK3, GK4)을 이용하여 제1 내지 제4 확장 이미지(A1, A2, A3, A4)를 만들 수 있다.
다른 예로서 도 6을 참고하여, 학습 데이터세트로서, 숫자 0 내지 9의 학습 데이터를 각각 50장씩 총 500장을 가지고, 제1 확장모드에서 학습 데이터 확장부(120)가 학습 데이터를 확장하는 경우를 예시하여 설명한다. 여기서 σ를 일정하게 설정하고 커널 사이즈와 θ를 가변하여 각 숫자의 학습 데이터에 대해 8장의 확장 이미지를 만들 수 있다. 즉, 숫자 '0'에 대한 학습 데이터 총 50장에 대해 각각 8장씩 확장 이미지를 만들어 총 400장의 확장 이미지를 생성하게 되며, 원본 이미지 50장을 포함하여 숫자 '0'에 대한 학습 이미지로서 450장을 확보할 수 있다.
학습 데이터세트 저장부(110)가 제한된 학습 데이터를 가지고 있어 절대적으로 학습 데이터가 부족한 경우, 제2 확장모드를 이용하여 충분한 확장 데이터를 확보하는 동작을 설명한다.
도 7은 도 3의 학습 데이터 확장부가 변형된 가보필터를 이용한 제2 확장모드에서 단일 이미지로부터 복수개의 확장 이미지를 생성하는 원리를 설명하는 도면이다.
도 7에서, 임의의 가보필터의 커널(K1)에 적용하는 필터파라미터가 σ=5, θ=π/4인 경우, 커널함수의 x축방향 회전각 θx =π/30 및 커널함수의 y축방향 회전각 θy=0로 설정시 변형된 커널(K21)이 만들어지고, 유사하게 커널함수의 x축방향 회전각 θx=0 및 커널함수의 y축방향 회전각 θy =π/30로 설정시 변형된 커널(K22)이 만들어진다. 또한 임의의 가보필터의 커널(K1)에 적용하는 필터파라미터가 σ=5, θ=π/4인 경우, C=1.4 및 D=15로 설정시 변형된 커널(K3)이 만들어진다. 여기서 D는 커널 중심에서 떨어져 반복된 모양의 4개 영역(H) 사이의 거리를 나타낸다.
변형된 커널(K21)과 커널(K3)의 조합에 의해 새로운 커널(K41)이 생성되고, 변형된 커널(K22)과 커널(K3)의 조합에 의해 새로운 커널(K42)이 생성될 수 있다.
도 8은 본 발명의 실시예에 따른 동일한 입력 이미지에 대해 제1 확장모드와 제2 확장모드를 적용시 얻어지는 복수개의 확장 이미지를 나타내는 도면이다.
입력 이미지(A0)에 대해 제1 확장모드에서 노말 가보필터의 필터파라미터로서 σ=2로 일정하게 설정한 후 θ=π/6, θ=π/3, θ=2π/3로 설정된 각각의 경우 변형된 3개의 확장 이미지(NA1, NA2, N3)가 생성된다.
또한 입력 이미지(A0)에 대해 제2 확장모드에서 변형 가보필터의 필터파라미터로서 σ=2, θx =π/6, θy=0, C=0, D=0로 일정하게 설정한 후 θ=π/6, θ=π/3, θ=2π/3로 설정된 각각의 경우 변형된 3개의 확장 이미지(MA1, MA2, M3)가 생성된다. 제2 확장모드에서는 변형 가보필터의 필터파라미터의 개수가 많기 때문에 제1 확장모드보다 월등하게 많은 학습 데이터를 확장할 수 있다.
이하에서는 본 발명에 따른 노말 가보필터와 변형 가보필터를 이용하여 학습 데이터를 확장하는 과정을 검증하고, 이를 설명하기로 한다.
[시험예 1]
- 사용한 학습 데이터세트 : MNIST dataset
- 학습 이미지 개수 : MNIST dataset에서 숫자 0~9에 대해 500장씩 선정
- 테스트 이미지 개수 : MNIST dataset에서 숫자 0~9에 대해 500장씩 선정
- 딥러닝 모델 : LeNet-5
- 이미지 분류 성공률 : 97%
입력




평균 이미지 분류 성공률
0 1 2 3 4 5 6 7 8 9


출력		 0 482 0 2 0 0 1 5 1 1 0
1 0 494 3 0 0 0 2 1 0 3
2 2 2 491 0 1 0 1 5 0 0
3 2 2 0 498 0 10 0 12 10 1
4 0 0 0 0 486 0 2 2 1 0
5 4 1 0 0 0 488 5 0 5 7
6 3 0 1 0 0 0 485 0 0 0
7 1 1 3 1 0 0 0 476 7 6
8 2 0 0 1 1 1 0 1 474 0
9 4 0 0 0 12 0 0 2 2 483
합계 500 500 500 500 500 500 500 500 500 500
이미지
분류
성공률(%)
96.4
98.8
98.2
99.6
97.2
97.6
97.0
95.2
94.8
96.6
97
[표 2]는 MNIST dataset에서 숫자 0 내지 9에 대해 학습 이미지 각 500장씩 총 5000장을 선정하여 딥러닝 모델 LeNet-5에서 학습하고 숫자 0 내지 9에서 테스트 이미지 각 500장씩 총 5000장을 분류 대상으로 하여 이미지를 분류하였다. 예를 들어 숫자 '0'의 테스트 이미지 500장에 대해 이미지 분류한 결과 '0'으로 판정된 이미지는 482장, '1'/'4'로 판정된 이미지는 각 0장, '7'로 판정된 이미지는 1장, '2'/'3'/'8'로 판정된 이미지는 각 2장, '6'으로 판정된 이미지는 3장, '5'/'9'로 판정된 이미지는 각 4장으로 나타났다. 이와 같이 숫자 0 내지 9까지 이미지 분류를 진행한 결과 평균 이미지 분류 성공률이 97% 이다.
[시험예 2]
- 사용한 학습 데이터세트 : MNIST dataset
- 학습 이미지 개수 : MNIST dataset에서 숫자 0~9에 대해 50장씩 선정
- 테스트 이미지 개수 : MNIST dataset에서 숫자 0~9에 대해 500장씩 선정
- 딥러닝 모델 : LeNet-5
- 이미지 분류 성공률 : 89%
입력




평균 이미지 분류 성공률
0 1 2 3 4 5 6 7 8 9


출력		 0 478 0 2 0 2 1 10 0 5 1
1 2 496 22 8 6 6 5 6 28 11
2 2 2 423 2 2 6 0 8 1 1
3 0 0 14 421 1 5 1 3 12 1
4 0 0 10 0 448 3 12 0 10 10
5 10 0 3 21 0 464 9 1 32 7
6 4 0 6 2 6 5 462 0 10 0
7 3 2 20 32 3 7 0 477 25 34
8 0 0 0 4 0 3 1 0 355 0
9 1 0 0 10 32 0 0 5 22 435
합계 500 500 500 500 500 500 500 500 500 500
이미지
분류
성공률(%)
95.6
99.2
84.6
84.2
89.6
92.8
92.4
95.4
71.0
87.0
89
[표 3]은 MNIST dataset에서 숫자 0 내지 9에 대해 학습 이미지 각 50장씩 총 500장을 선정하여 딥러닝 모델 LeNet-5에서 학습하고 숫자 0 내지 9에서 테스트 이미지 각 500장씩 총 5000장을 분류 대상으로 하여 이미지를 분류하였다. 예를 들어 숫자 '0'의 테스트 이미지 500장에 대해 이미지 분류한 결과 '0'으로 판정된 이미지는 478장, '3'/'4'/'8'로 판정된 이미지는 각 0장, '9'로 판정된 이미지는 1장, '1'/'2'로 판정된 이미지는 각 2장, '7'로 판정된 이미지는 3장, '6'으로 판정된 이미지는 4장, '5'로 판정된 이미지는 10장으로 나타났다. 이와 같이 숫자 0 내지 9까지 이미지 분류를 진행한 결과 평균 이미지 분류 성공률이 89% 이다.
[시험예 2]는 [시험예 1]과 대비하여 상대적으로 학습 이미지가 휠씬 적기 때문에 이미지 분류 성공률이 현저히 저하된 것을 알 수 있다.
[시험예 3]
- 사용한 학습 데이터세트 : 노말 가보필터를 이용하여 확장된 학습 이미지
- 학습 이미지 개수 : 확장된 학습이미지 데이터세트에서 숫자 0~9에 대해 450장씩 선정
- 테스트 이미지 개수 : 확장된 학습 이미지 데이터세트에서 숫자 0~9에 대해 500장씩 선정
- 딥러닝 모델 : LeNet-5
- 이미지 분류 성공률 : 92%
입력




평균 이미지 분류 성공률
0 1 2 3 4 5 6 7 8 9


출력		 0 481 0 1 0 0 4 3 1 1 1
1 0 486 0 0 1 0 1 2 4 5
2 2 4 460 1 2 3 0 9 2 3
3 2 0 15 435 0 8 2 5 8 2
4 0 2 10 0 474 0 4 0 2 11
5 3 2 2 39 3 472 11 6 26 19
6 6 4 2 0 1 4 478 1 8 0
7 0 1 3 8 1 2 0 460 11 13
8 3 1 6 13 1 7 1 2 430 2
9 3 0 1 4 17 0 0 14 8 444
합계 500 500 500 500 500 500 500 500 500 500
이미지
분류
성공률(%)
96.2
97.2
92.0
87.0
94.8
94.4
95.6
92.0
86.0
88.8
92
[표 4]는 노말 가보필터를 이용하여 확장한 학습 데이터세트에서 숫자 0 내지 9에 대해 학습 이미지 각 450장씩 총 4500장을 선정하여 딥러닝 모델 LeNet-5에서 학습하고 숫자 0 내지 9에서 테스트 이미지 각 500장씩 총 5000장을 분류 대상으로 하여 이미지를 분류하였다. 예를 들어 숫자 '0'의 테스트 이미지 500장에 대해 이미지 분류한 결과 '0'으로 판정된 이미지는 481장, '1'/'4'/'7'로 판정된 이미지는 각 0장, '2'/'3'로 판정된 이미지는 각 2장, '5'/'8'/'9'로 판정된 이미지는 각 3장, '6'로 판정된 이미지는 6장으로 나타났다. 이와 같이 숫자 0 내지 9까지 이미지 분류를 진행한 결과 평균 이미지 분류 성공률이 92%를 나타내었다.
[시험예 4]
- 사용한 학습 데이터세트 : 변형 가보필터를 이용하여 확장된 학습 이미지
- 학습 이미지 개수 : 확장된 학습이미지 데이터세트에서 숫자 0~9에 대해 450장씩 선정
- 테스트 이미지 개수 : 확장된 학습 이미지 데이터세트에서 숫자 0~9에 대해 500장씩 선정
- 딥러닝 모델 : LeNet-5
- 이미지 분류 성공률 : 94%
입력




평균 이미지 분류 성공률
0 1 2 3 4 5 6 7 8 9


출력		 0 484 0 2 0 1 1 8 1 4 1
1 0 498 2 1 1 0 3 6 8 6
2 3 2 460 0 0 1 0 8 1 1
3 1 0 18 464 0 7 2 1 6 2
4 1 0 1 0 453 0 1 1 0 3
5 2 0 2 18 0 482 8 2 11 8
6 4 0 4 0 9 5 477 0 10 0
7 0 0 8 12 4 0 0 462 14 16
8 2 0 2 3 0 3 1 2 432 1
9 3 0 1 2 32 1 0 17 14 462
합계 500 500 500 500 500 500 500 500 500 500
이미지
분류
성공률(%)
96.8
99.6
92.0
92.8
90.6
96.4
95.4
92.4
86.4
92.4
94
[표 5]는 변형 가보필터를 이용하여 확장한 학습 데이터세트에서 숫자 0 내지 9에 대해 학습 이미지 각 450장씩 총 4500장을 선정하여 딥러닝 모델 LeNet-5에서 학습하고 숫자 0 내지 9에서 테스트 이미지 각 500장씩 총 5000장을 분류 대상으로 하여 이미지를 분류하였다. 예를 들어 숫자 '0'의 테스트 이미지 500장에 대해 이미지 분류한 결과 '0'으로 판정된 이미지는 484장, '1'/'7'로 판정된 이미지는 각 0장, '3'/'4'로 판정된 이미지는 각 1장, '5'/'8'로 판정된 이미지는 각 2장, '2'/'9'로 판정된 이미지는 각 3장, '6'으로 판정된 이미지는 4장으로 나타났다. 이와 같이 숫자 0 내지 9까지 이미지 분류를 진행한 결과 평균 이미지 분류 성공률이 94% 이다. [시험예 4]는 변형 가보필터를 이용하여 학습 데이터를 확장한 경우로서 [시험예 3]과 대비하여 동일 조건에서 이미지 분류 성공률이 2% 높게 나타났다.
머신 비젼에서 학습 데이터를 충분히 확보하기 어렵고, 현실적으로 제한된 학습 데이터를 이용하여 딥러닝을 수행할 수 밖에 없는 상황에서는 학습 데이터를 충분히 확보하는 것이 이미지 분류 성공률을 높이는 결정적인 요소가 된다. 앞서 설명한 바와 같이 이미지 분류 성공률은 [시험예 1]에서 97%이고 [시험예 2]에서 89%로 현저하게 떨어졌는데, 이는 [시험예 2]에서 딥러닝 학습에 쓰이는 학습 데이터가 부족한 것이 주요한 요인이다.
노말 가보필터를 이용한 학습 데이터 확장 방법을 적용한 [시험예 3]와 변형 가보필터를 이용한 학습 데이터 확장 방법을 사용한 [시험예 4]는 [시험예 2]와 대비하여 상대적으로 높은 이미지 분류 성공률을 나타내었다.
본 발명은 가보필터의 필터파라미터를 바꾸는 필터특성 변경 기법을 이용하여 학습 데이터를 쉽고 간편하게 확장하여 충분한 학습 데이터를 확보할 수 있고, 확보된 학습 데이터를 바탕으로 딥러닝 모델을 학습하여 딥러닝 모델의 신뢰성을 향상시킴으로써 이미지 분류 성공률을 개선할 수 있다.
이 점에서 볼 때 머신 비젼에서 제한된 학습 데이터를 가지고 있는 상황에서는 충분한 학습 데이터를 확보하는 것이 무엇보다 중요하고, 이를 충족하기 위한 방안으로 본 발명이 유용하게 활용될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.
100 : 사용자 인터페이스 101 : 프로세서
102 : 데이터 학습모듈 103 : 이미지 분류모듈
104 : 메모리 105 : 딥러닝 솔루션
110 : 학습 데이터세트 저장부 120 : 학습 데이터 확장부
130 : 학습부 140 : 가중치 저장부
150 : 이미지 공급부 160 : 딥러닝 실행부
170 : 이미지 출력부

Claims (16)

  1. 학습 데이터세트를 사전에 준비하는 준비 단계;
    상기 학습 데이터세트의 단일 이미지를 대상으로 가보필터의 필터파라미터를 바꾸는 필터특성 변경 기법을 이용하여 원본의 단일 이미지와 유사성을 가지도록 변화된 다수의 확장 이미지를 생성하는 확장 단계; 및
    상기 확장 단계에서 생성된 확장 이미지를 바탕으로 딥러닝 모델을 학습시키는 학습 단계를 포함하되,
    상기 확장 단계는 입력 이미지에 대해 필터파라미터로서 커널의 모양, 방향, 중심 주파수, 대역폭 중 적어도 어느 하나의 필터파라미터를 변경할 수 있는 노말 가보필터를 이용하여 학습 데이터를 확장하는 제1 확장모드, 입력 이미지에 대해 부분적으로 휘어지게 하거나 커널 중심으로부터 떨어진 주변에 축소된 이미지가 반복되게 변형시킬 수 있는 변형된 가보필터를 이용하는 제2 확장모드 중 어느 하나의 확장모드에 따라 학습 데이터를 확장하는 것을 특징으로 하는 딥러닝 모델에 적용하기 위한 학습 데이터 확장방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제1 확장모드에 적용하는 노말 가보필터는 다음의 수학식 1 및 수학식 2에 의해 정의되는 것을 특징으로 하는 딥러닝 모델에 적용하기 위한 학습 데이터 확장방법.
    [수학식 1]
    Figure 112021018746991-pat00030

    [수학식 2]
    Figure 112021018746991-pat00031

    여기서, x와 y는 이차원 이미지의 직각 좌표계에서 좌표값, λ는 가보필터 커널의 사인함수를 조절하는 파장, θ는 커널함수의 방향성, ψ는 위상차, σ는 가우시안 함수의 표준편차, γ는 가보필터의 모양을 결정하는 요소이다.
  5. 제1항에 있어서,
    상기 제2 확장모드에 적용하는 변형 가보필터는 다음의 수학식 3에 의해 정의되는 것을 특징으로 하는 딥러닝 모델에 적용하기 위한 학습 데이터 확장방법.
    [수학식 3]
    Figure 112021018746991-pat00032

    여기서, x와 y는 이차원 이미지의 직각 좌표계에서 좌표값, θ는 커널함수의 방향성, θx는 커널함수의 x축방향 회전각,θy는 커널함수의 y축방향 회전각, σ는 가우시안 함수의 표준편차, Sa 및 Sb는 커널 주파수의 진폭을 결정하는 scale factor로서 Sa는 1~50의 상수, Sb는 6~300의 상수, C는 0~2의 상수, D는 중심에서 떨어진 거리를 나타내는 0~50의 상수이다.
  6. 학습 데이터세트를 저장하는 학습 데이터세트 저장부, 가중치 정보를 저장하는 가중치 저장부를 구비한 메모리;
    상기 학습 데이터세트의 단일 이미지를 입력받고 가보필터의 필터파라미터를 바꾸어 확장 이미지를 생성하고 생성된 확장 이미지를 바탕으로 딥러닝 모델을 학습한 결과로부터 도출된 가중치 정보를 상기 가중치 저장부에 저장하는 데이터 학습모듈, 이미지 획득장치에 의해 획득되고 사용자 인터페이스를 통해 제공받은 입력 이미지에 대해 딥러닝 기반 진단 프로그램이 상기 가중치 정보에 저장된 가중치 정보를 이용하여 이미지 분류 프로세싱을 수행하는 이미지 분류모듈을 구비한 프로세서;를 포함하되,
    상기 데이터 학습모듈은 가보필터의 필터파라미터의 설계값을 설정하여 커널을 특정하고 특정된 커널의 필터링 연산에 의해 확장 이미지를 생성하는 학습 데이터 확장부, 상기 확장 이미지가 포함된 학습 데이터세트를 가지고 딥러닝 모델을 학습시키는 학습부를 포함하고,
    상기 학습 데이터 확장부는 입력 이미지로서 필터파라미터로서 커널의 모양, 방향, 중심 주파수, 대역폭 중 어느 하나의 필터파라미터를 변경할 수 있는 노말 가보필터를 이용한 제1 확장모드에 따라 학습 데이터를 확장하기 위한 노말 커널 설정기 및 노말 커널 생성기, 입력 이미지에 대해 부분적으로 휘어지게 하거나 커널 중심으로부터 떨어진 주변에 축소된 이미지가 반복되게 변형시킬 수 있는 변형 가보필터를 이용한 제2 확장모드에 따라 학습 데이터를 확장하기 위한 변형 커널 설정기 및 변형 커널 생성기를 포함하는 것을 특징으로 하는 딥러닝을 이용한 이미지 분류 장치.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 노말 커널 설정기는 노말 가보필터의 필터파라미터 설계값으로서 커널 사이즈, 커널함수의 방향성 θ, 가우시안 함수의 표준편차 σ 중 적어도 어느 하나를 설정하고,
    상기 노말 커널 생성기는 상기 노말 커널 설정기에 의해 설정된 노말 가보필터의 필터파라미터 설계값에 따라 노말 커널을 생성하며,
    생성된 노말 커널에서 입력받은 단일 이미지를 필터링 연산하여 복수개 확장 이미지를 생성하는 것을 특징으로 하는 딥러닝을 이용한 이미지 분류 장치.
  10. 제6항에 있어서,
    상기 변형 커널 설정기는 변형 가보필터의 필터파라미터 설계값으로서 커널 사이즈, 커널함수의 방향성 θ, 가우시안 함수의 표준편차 σ, 커널함수의 x축방향 회전각 θx, 커널함수의 y축방향 회전각 θy, 커널 주파수의 진폭을 결정하는 scale factor Sa 및 Sb, 상수 C 및 D 중 적어도 어느 하나를 설정하고,
    상기 변형 커널 생성기는 상기 변형 커널 설정기에 의해 설정된 변형 가보필터의 필터파라미터 설계값에 따라 변형 커널을 생성하며,
    생성된 변형 커널에서 입력받은 단일 이미지를 필터링 연산하여 복수개 확장 이미지를 생성하는 것을 특징으로 하는 딥러닝을 이용한 이미지 분류 장치.
  11. 제6항에 있어서,
    상기 이미지 분류모듈은 이미지 획득장치에 의해 획득되고 사용자 인터페이스를 통해 제공받은 분류 대상의 이미지를 공급하는 이미지 공급부, 상기 이미지 공급부로부터 공급받은 이미지에 대하여 상기 가중치 저장부에 저장된 가중치가 반영된 딥러닝 모델에 기반한 진단 프로그램을 이용하여 이미지를 분류하는 딥러닝 실행부, 상기 딥러닝 실행부에 의해 분류된 이미지와 분류 정보를 출력하는 이미지 출력부를 포함하는 것을 특징으로 하는 딥러닝을 이용한 이미지 분류 장치.
  12. 제11항에 있어서,
    상기 딥러닝 실행부가 딥러닝 모델로서 LeNet-5, Alex-Net, Google-Net 중 어느 하나를 사용하는 것을 특징으로 하는 딥러닝을 이용한 이미지 분류 장치.
  13. 학습 데이터세트를 사전에 준비하는 준비 단계;
    사전 준비된 학습 데이터세트에 속하는 제한된 학습 데이터를 확장하기 위하여 입력 이미지에 대해 필터파라미터로서 커널의 모양, 방향, 중심 주파수, 대역폭 중 적어도 어느 하나의 필터파라미터를 변경할 수 있는 노말 가보필터를 이용한 제1 확장모드 또는 입력 이미지에 대해 부분적으로 휘어지게 하거나 커널 중심으로부터 떨어진 주변에 축소된 이미지가 반복되게 변형시킬 수 있는 변형된 가보필터를 이용한 제2 확장모드에 따라 학습 데이터를 확장하는 확장 단계;
    확장된 학습 데이터를 대상으로 딥러닝 모델에서 학습 프로세스를 수행하는 학습단계;
    학습 프로세스의 학습 결과 도출된 가중치 정보를 저장하는 저장단계;
    이미지 획득장치에 의해 획득되고 사용자 인터페이스를 통해 입력받은 분류 대상의 이미지에 대해 학습 과정에서 얻은 가중치 정보를 반영한 딥러닝 기반 진단프로그램을 이용하여 이미지를 분류하는 딥러닝 실행단계;
    딥러닝 실행에 의해 분류된 이미지와 분류 정보를 출력하는 출력단계;를 포함하는 것을 특징으로 하는 딥러닝을 이용한 이미지 분류 방법.
  14. 제13항에 있어서,
    상기 제1 확장모드에 적용하는 노말 가보필터는 다음의 수학식 1 및 수학식 2에 의해 정의되는 것을 특징으로 하는 딥러닝을 이용한 이미지 분류 방법.
    [수학식 1]
    Figure 112019109899112-pat00033

    [수학식 2]
    Figure 112019109899112-pat00034

    여기서, x와 y는 이차원 이미지의 직각 좌표계에서 좌표값, λ는 가보필터 커널의 사인함수를 조절하는 파장, θ는 커널함수의 방향성, ψ는 위상차, σ는 가우시안 함수의 표준편차, γ는 가보필터의 모양을 결정하는 요소이다.
  15. 제13항에 있어서,
    상기 제2 확장모드에 적용하는 변형 가보필터는 다음의 수학식 3에 의해 정의되는 것을 특징으로 하는 딥러닝을 이용한 이미지 분류 방법.
    [수학식 3]
    Figure 112019109899112-pat00035

    여기서, x와 y는 이차원 이미지의 직각 좌표계에서 좌표값, θ는 커널함수의 방향성, θx는 커널함수의 x축방향 회전각,θy는 커널함수의 y축방향 회전각, σ는 가우시안 함수의 표준편차, Sa 및 Sb는 커널 주파수의 진폭을 결정하는 scale factor로서 Sa는 1~50의 상수, Sb는 6~300의 상수, C는 0~2의 상수, D는 중심에서 떨어진 거리를 나타내는 0~50의 상수이다.
  16. 제13항에 있어서,
    상기 학습 단계에서 딥러닝 모델로서 LeNet-5, Alex-Net, Google-Net 중 어느 하나를 사용하는 것을 특징으로 하는 딥러닝을 이용한 이미지 분류 방법.
KR1020190134464A 2019-10-28 2019-10-28 딥러닝 모델에 적용하기 위한 학습 데이터 확장방법, 딥러닝을 이용한 이미지 분류장치 및 그 방법 KR102282087B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190134464A KR102282087B1 (ko) 2019-10-28 2019-10-28 딥러닝 모델에 적용하기 위한 학습 데이터 확장방법, 딥러닝을 이용한 이미지 분류장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190134464A KR102282087B1 (ko) 2019-10-28 2019-10-28 딥러닝 모델에 적용하기 위한 학습 데이터 확장방법, 딥러닝을 이용한 이미지 분류장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210050168A KR20210050168A (ko) 2021-05-07
KR102282087B1 true KR102282087B1 (ko) 2021-07-27

Family

ID=75916949

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190134464A KR102282087B1 (ko) 2019-10-28 2019-10-28 딥러닝 모델에 적용하기 위한 학습 데이터 확장방법, 딥러닝을 이용한 이미지 분류장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102282087B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102358235B1 (ko) 2021-07-12 2022-02-08 주식회사 몰팩바이오 세그멘테이션 모듈이 포함된 gan 기반의 가상 병리 데이터 생성 장치
KR20230071967A (ko) 2021-11-17 2023-05-24 부산대학교 산학협력단 소규모 학습 데이터의 딥러닝 기반 물체 분류를 위한 데이터 확장을 위한 장치 및 방법
WO2023128421A1 (ko) * 2021-12-29 2023-07-06 삼성전자 주식회사 컨볼루션 신경망을 이용한 이미지 처리 방법 및 장치
KR102647337B1 (ko) * 2023-07-24 2024-03-13 주식회사 아임토리 데이터 증식 및 분석 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150626A (ja) * 2010-01-25 2011-08-04 Ihi Corp 画像分類方法、装置、及びプログラム
JP2016062524A (ja) * 2014-09-22 2016-04-25 日本電気株式会社 データ処理システム、データ処理方法およびデータ処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101828011B1 (ko) 2016-08-11 2018-02-21 서울대학교산학협력단 이미지에 포함된 객체의 상태를 분류하는 방법 및 분류 장치
KR20180130925A (ko) 2017-05-30 2018-12-10 국방과학연구소 머신 러닝을 위한 학습 이미지를 자동 생성하는 인공 지능 장치 및 그의 제어 방법
KR101843066B1 (ko) 2017-08-23 2018-05-15 주식회사 뷰노 기계 학습에 있어서 데이터 확대를 이용하여 데이터의 분류를 수행하는 방법 및 이를 이용한 장치
KR102049331B1 (ko) 2017-08-22 2019-11-27 주식회사 인피닉스 이미지 분류 장치와 방법 및 이미지 분류를 위한 이미지 학습 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150626A (ja) * 2010-01-25 2011-08-04 Ihi Corp 画像分類方法、装置、及びプログラム
JP2016062524A (ja) * 2014-09-22 2016-04-25 日本電気株式会社 データ処理システム、データ処理方法およびデータ処理プログラム

Also Published As

Publication number Publication date
KR20210050168A (ko) 2021-05-07

Similar Documents

Publication Publication Date Title
KR102282087B1 (ko) 딥러닝 모델에 적용하기 위한 학습 데이터 확장방법, 딥러닝을 이용한 이미지 분류장치 및 그 방법
Ben-Shabat et al. Nesti-net: Normal estimation for unstructured 3d point clouds using convolutional neural networks
US8675974B2 (en) Image processing apparatus and image processing method
JP7074460B2 (ja) 画像検査装置および方法
US11631230B2 (en) Method, device, system and computer-program product for setting lighting condition and storage medium
KR101836096B1 (ko) 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
US20140079314A1 (en) Method and Apparatus for Improved Training of Object Detecting System
CN109191424B (zh) 一种乳腺肿块检测与分类系统、计算机可读存储介质
US20200134382A1 (en) Neural network training utilizing specialized loss functions
JP2018116364A (ja) 辞書生成装置、評価装置、辞書生成方法、評価方法及びプログラム
KR102370910B1 (ko) 딥러닝 기반 소수 샷 이미지 분류 장치 및 방법
US20220253641A1 (en) Method and apparatus for clustering images
US20220188975A1 (en) Image conversion device, image conversion model learning device, method, and program
KR101905000B1 (ko) 이미지 데이터의 보정 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
US11501037B2 (en) Microstructures using generative adversarial networks
JP7017462B2 (ja) 学習画像生成装置及び学習画像生成方法、並びに画像認識装置及び画像認識方法
US7903874B2 (en) Ruled-line-projection extracting apparatus, ruled-line projection extracting method, and computer product
WO2015068417A1 (ja) 画像照合システム、画像照合方法およびプログラム
KR20180063869A (ko) 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
US20210042550A1 (en) Information processing device, information processing method, and computer-readable recording medium recording information processing program
Ugolotti et al. GPU-based point cloud recognition using evolutionary algorithms
US11222267B2 (en) Image inspection apparatus, image inspection learning method, and non-transitory computer-readable storage medium for storing image inspection program
JP7070308B2 (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
CN113870342A (zh) 外观缺陷检测方法、智能终端以及存储装置
Bolotov et al. Surface recognition of machine parts based on the results of optical scanning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant