KR20220059691A - 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템 - Google Patents

제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템 Download PDF

Info

Publication number
KR20220059691A
KR20220059691A KR1020200145182A KR20200145182A KR20220059691A KR 20220059691 A KR20220059691 A KR 20220059691A KR 1020200145182 A KR1020200145182 A KR 1020200145182A KR 20200145182 A KR20200145182 A KR 20200145182A KR 20220059691 A KR20220059691 A KR 20220059691A
Authority
KR
South Korea
Prior art keywords
data
space filling
curve
deep learning
time series
Prior art date
Application number
KR1020200145182A
Other languages
English (en)
Other versions
KR102558232B1 (ko
Inventor
이정수
이영철
김정태
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020200145182A priority Critical patent/KR102558232B1/ko
Publication of KR20220059691A publication Critical patent/KR20220059691A/ko
Application granted granted Critical
Publication of KR102558232B1 publication Critical patent/KR102558232B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G06T3/0031
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)

Abstract

특정한 이미지 변환 기법을 이용하여 시계열 데이터의 정보가 공간상에 특정한 토폴로지(topology)적 성격을 가지고 상관관계를 갖도록 변환하여 딥러닝의 활용성을 높이기 위한 공간 충전 곡선 변환 방법 및 시스템에 관한 것으로, a) 각 공정 데이터에서 양품의 데이터만 선별적으로 학습하도록 딥러닝 분석 알고리즘을 적용하여 시계열 공정 데이터를 마련하는 단계, (b) 정보 저장률의 극대화 및 데이터 간의 상관관계 정보를 용이하게 해석하기 위해 시계열 데이터를 공간 충전 프랙탈 곡선 변환을 통하여 이미지 데이터로 변환하는 단계, (c) 상기 공간 충전 프랙탈 곡선으로 형성된 이미지를 기반으로 딥러닝 CNN 분석을 적용하여 제품의 양품/불량을 판정하는 단계를 포함하는 구성을 마련하여, 상호관계를 해석하기 힘든 시계열 데이터를 공간 충전 곡선으로 변환하여 딥러닝 분석에 이용할 수 있다.

Description

제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템{Space filling curve transformation method and system for deep learning analysis of manufacturing time series data}
본 발명은 제조업 현장에서 얻어지는 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템에 관한 것으로, 특히 특정한 이미지 변환 기법을 이용하여 시계열 데이터의 정보가 공간상에 특정한 토폴로지(topology)적 성격을 가지고 상관관계를 갖도록 변환하여 딥러닝의 활용성을 높이기 위한 공간 충전 곡선 변환 방법 및 시스템에 관한 것이다.
최근, 딥러닝을 포함한 머신 러닝 기술을 매우 빠르게 발전하고 있지만 실제 산업 인공지능 기술의 제조업 현장 활용은 매우 더디게 진행되고 있다. 이것은 제조업 현장에서 얻어지는 데이터의 고유한 특성에 기인한다. 즉, 양품/불량 비율의 극단적 비대칭성, 레이블링 되어있는 양질의 제조 데이터 희귀성, 양품/불량 구분의 모호성, 시계열 데이터의 방대성의 고유한 특성에 기인한다.
이와 같은 딥러닝 기술은 이미지 분석, 자연어 처리, 스마트 팩토리 등 다양한 분야에 이용되고 있다. 특히, 기존의 딥러닝 분석은 시각 이미지 처리 및 활용에서 매우 뛰어난 성능을 보이고 있다. 스마트 팩토리 등 산업 분야 활용에서 제품의 제작 공정의 양품/불량을 검출하는 경우를 생각해보면, 온도, 압력, 전압, 전류 등 다양한 데이터들은 시계열의 형태를 보이고 있다.
한편, 다이캐스팅은 필요한 주조형상에 완전히 일치하도록 정확하게 기계 가공된 강제의 금형에 용해금속을 주입하여 금형과 동일한 주물을 얻는 정밀주조법으로, 아연·알루미늄·구리·마그네슘 및 이들의 합금 등 기계부품 주조에 다양하게 활용된다.
이러한 다이캐스팅 공정은 고생산성으로 제조비용이 저렴한 이점이 있으나 기계적 특성 및 열화에 의한 물성 저하 등의 단점이 있으므로, 최근에는 상술한 다이캐스팅 공정의 단점을 극복한 고효율, 고특성의 고진공 다이캐스팅 공정을 이용한 부품개발에 대한 연구가 이루어지고 있다.
다이캐스팅 공정으로 주조시 주조부품의 품질에 영향을 미치는 주조공정 변수로 작용하는 조건으로는 일반적으로 용해온도, 주입온도, 사출압력 등이 있으므로, 각각의 조건을 최적화하는 것이 필요하다. 또 고진공 다이캐스팅에서는 주조 후 물성향상을 위한 열처리를 수행할 수 있기 때문에 여러 열처리조건에서 열처리변형 및 신율 향상을 위한 조건의 최적화가 필요하다.
이와 같은 다이캐스팅 공정 관리 기법은 측정된 공정데이터를 기준으로 6-sigma 등의 생산관리 기법을 적용하지만, 최근에는 공정데이터를 바탕으로 상술한 바와 같은 딥러닝 엔진을 이용한 양품/불량 판정을 진행하고 있다.
그러나 측정되는 공정의 시계열 데이터를 기준으로 양품/불량을 판단할 경우에는 공정데이터의 샘플링 비율에 따라 방대한 양의 공정데이터가 입력으로 적용되므로, 딥러닝 엔진의 학습 및 데이터 처리 결과의 정확도 상에서 문제점이 발생한다.
이러한 기술의 일 예가 하기 문헌 1 내지 3 등에 개시되어 있다.
예를 들어, 하기 특허문헌 1에는 변이를 포함한 염기서열을 1차원 스트링, 2차원 이미지 또는 3차원 큐빅 형태의 변환데이터로 변환하고, 변환된 데이터를 임상정보(질병 혹은 표현형)와의 연관성을 활용하여, 인공지능 딥러닝을 통한 바이오마커 검출 방법으로서, 대상 개체군 유전체들의 염기서열 변이를 수집하는 단계, 수집된 염기서열에 이배수체 유전체의 변이가 반영된 변환데이터를 생성하는 단계, 생성된 상기 변환데이터로 인공지능 딥러닝 모델을 수행하는 단계, 상기 인공지능 딥러닝 모델을 통해 산출된 결과들이 연결된 네트워크(FCN: fully connected network)를 생성하는 단계와 상기 인공지능 딥러닝 모델을 통해 산출된 결과를 통하여 바이오마커를 산출하는 단계를 포함하는 인공지능 딥러닝 모델을 이용한 바이오마커 검출 방법에 대해 개시되어 있다.
또 하기 특허문헌 2에는 설비로부터 취득되는 데이터를 신호로 입력받는 단계, 상기 입력된 신호로부터 특징을 추출하여 특징 맵 이미지를 생성하는 단계 및 상기 생성된 특징 맵 이미지와 2차원 CNN을 기반으로 기학습된 특징 맵 이미지를 이용하여 설비 상태를 분류하는 단계를 포함하고, 상기 특징 맵 이미지를 생성하는 단계는 상기 입력된 신호로부터 부대역 신호를 추출하는 단계, 상기 추출된 부대역 신호로부터 특징값을 산출하는 단계, 상기 산출된 특징값의 행렬을 특징 맵 이미지로 변환하는 단계 및 상기 변환된 특징 맵 이미지를 상기 CNN의 입력 크기로 분할 및 정렬하고 벡터로 변환한 후, 상기 변환된 벡터의 중간 값을 상기 특징 맵 이미지에 대입하여 정규화하는 단계를 포함하는 설비 상태 진단방법에 대해 개시되어 있다.
한편, 하기 특허문헌 3에는 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 입력받는 입력부, 상기 입력된 분석 대상 데이터를 이미지 데이터로 변환하는 데이터 처리부, 그리고 상기 변환된 이미지 데이터를 입력받아 학습하고, 학습이 완료된 후 이미지 데이터로 변환된 분석 대상 데이터를 입력받아 상기 분석 대상 시스템의 이상 행위를 검출하거나 신경망부를 포함하는 데이터 이미지화를 이용한 이상 행위 분석 시스템에 대해 개시되어 있다.
대한민국 등록특허공보 제10-1950395호(2019.02.14 등록) 대한민국 등록특허공보 제10-1818394호(2018.01.08 공개) 대한민국 공개특허공보 제2019-0027237호(2019.03.14 공개)
상술한 바와 같은 특허문헌 1에 개시된 기술에서는 변이를 포함한 염기서열을 1차원 스트링, 2차원 이미지 또는 3차원 큐빅 형태의 변환데이터로 변환하고, 변환된 데이터를 임상정보와의 연관성을 활용하여, 인공지능 딥러닝을 통한 바이오마커를 검출하는 힐버트 커브의 생성 기술에 대해 개시되어 있지만, 설계된 선의 색깔, 두께 및 질감을 가지고 이미지 공간을 형성하지 못하므로, 제품의 품질을 모니터링하기 위해 압력, 온도를 시간에 따라 측정되는 데이터에 적용할 수 없다는 문제가 있었다.
또 상기 특허문헌 2에 개시된 기술에서는 설비 등에서 취득한 데이터를 이미지로 변환하고, 변환된 이미지를 이용하여 딥러닝 분석에 의해 상기 설비 등의 이상 여부나 제품의 불량 여부를 판단하지만, 상기 특허문헌 2는 방대한 양의 공정데이터가 입력으로 적용되기 때문에 딥러닝 엔진의 학습 및 데이터 처리 결과의 정확도가 저하된다는 문제가 있었다.
또한, 상기 특허문헌 3에서는 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 이미지화한 후 딥러닝 기반의 이미지 인식을 통해 분석 대상 시스템에서의 이상행위를 분류 및 인식하는 기술에 대해 개시되어 있지만, 상기 특허문헌 3에서도 방대한 양의 공정데이터가 입력으로 적용되기 때문에 딥러닝 엔진의 학습 및 데이터 처리 결과의 정확도가 저하된다는 문제가 있었다.
즉, 상술한 바와 같은 종래의 기술로서, 예를 들어 스마트형 공장에서 적용하고 있는 딥러닝 기반의 제품의 양품/불량 판단 방식의 경우, 공정 데이터 변수의 개수, 공정 데이터 측정 위치의 개수, 샘플링 레이트가 증가함에 따라 딥러닝 엔진에 입력되는 데이터의 양이 기하급수적으로 증가함으로써 학습의 속도 및 정확도가 저하되는 문제점이 있었다.
예를 들어, 다이캐스팅 금형의 온도 데이터를 5개소에서 사이클 당 10회 샘플링하는 경우 1 사이클 당 50개의 공정 데이터가 입력되며, 이는 온도 데이터의 측정 위치의 수와 샘플링 레이트가 증가될 경우 입력 데이터는 급진적으로 방대(10개소에 대하여 사이클 당 500회 샘플링시 1 사이클 당 5000개의 입력 데이터 발생)해져 이와 같은 방대한 데이터의 처리를 위한 학습의 속도 및 정확도가 저하되는 문제점이 있었다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위해 이루어진 것으로서, 제품의 생산 공정에서 생산된 제품의 품질과 관련된 변수가 시계열 데이터로 모니터링 되는 공정에서 활용되어 제품의 양품/불량을 딥러닝 기반으로 판단하는데 활용할 수 있는 공간 충전 곡선 변환 방법 및 시스템을 제공하는 것이다.
본 발명의 다른 목적은 분석하고자 하는 데이터가 시계열의 형태를 띠는 다이캐스팅 생산 공정에서 제품의 품질을 모니터링하기 위해 압력, 온도를 시간에 따라 측정한 경우 측정된 데이터를 공간 충전 곡선으로 변환하여 활용할 수 있는 공간 충전 곡선 변환 방법 및 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 분석하고자 하는 데이터가 시계열의 형태를 띠는 금융 데이터의 경우 시간에 따른 가격의 변화 추이가 시계열의 형태를 띠고 있으므로, 금융 데이터의 미래 추이, 이상치 감지 등에 활용할 수 있는 공간 충전 곡선 변환 방법 및 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명에 따른 공간 충전 곡선 변환 방법은 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법으로서, (a) 각 공정 데이터에서 양품의 데이터만 선별적으로 학습하도록 딥러닝 분석 알고리즘을 적용하여 시계열 공정 데이터를 마련하는 단계, (b) 정보 저장률의 극대화 및 데이터 간의 상관관계 정보를 용이하게 해석하기 위해 시계열 데이터를 공간 충전 프랙탈 곡선 변환을 통하여 이미지 데이터로 변환하는 단계, (c) 상기 공간 충전 프랙탈 곡선으로 형성된 이미지를 기반으로 딥러닝 CNN 분석을 적용하여 제품의 양품/불량을 판정하는 단계를 포함하는 것을 특징으로 한다.
또 본 발명에 따른 공간 충전 곡선 변환 방법에서, 상기 단계 (b)에서 이미지 데이터의 변환은 상기 단계 (a)에서의 시계열 데이터를 "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 작성하고, 상기 그라데이션 컬러맵에 대해 페아노 커브 또는 힐버트 커브 규칙에 따라 공간 충전 커브를 형성하는 것에 의해 실행되는 것을 특징으로 한다.
또 본 발명에 따른 공간 충전 곡선 변환 방법에서, 상기 단계 (b)에서 프랙탈 곡선 변환은 프랙탈 차원, 프랙탈 라인의 색상, 프랙탈 라인의 진폭, 프랙탈 곡선 간의 위상 차이를 변화시켜 실행되는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해 본 발명에 따른 공간 충전 곡선 변환 시스템은 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 시스템으로서, 제품들의 위치, 온도, 회전, 진동, 전압, 전류 또는 토크 중의 어느 하나의 상태를 감지하는 감지부, 상기 감지부에서 감지된 데이터를 시계열적 공정 데이터로 취득하는 데이터 취득부, 상기 데이터 취득부에서 취득된 시계열적 공정 데이터를 이미지 데이터로 변환하는 이미지 변환부를 포함하고, 상기 이미지 변환부는 상기 시계열 데이터를 공간 충전 프랙탈 곡선으로 변환하는 것을 특징으로 한다.
또 본 발명에 따른 공간 충전 곡선 변환 시스템에서, 상기 이미지 변환부는 상기 시계열 데이터를 그라데이션 컬러맵으로 작성하는 컬러맵 작성부와 상기 컬러맵 작성부에 의해 작성된 그라데이션 컬러맵에 대해 공간 충전 커브를 형성하는 공간 충전부를 포함하는 것을 특징으로 한다.
또 본 발명에 따른 공간 충전 곡선 변환 시스템에서, 상기 컬러맵 작성부는 상기 시계열 데이터를 "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 표현하고, 상기 공간 충전 커브는 상기 컬러맵을 페아노 커브(Peano curve) 또는 힐버트 커브(Hilbert curve) 규칙에 의해 2차원 이미지로 형성하는 것을 특징으로 한다.
또 본 발명에 따른 공간 충전 곡선 변환 시스템에서, 상기 공간 충전 커브는 상기 2차원 이미지 형상의 데이터를 순차적으로 3차원 공간에 배열하여 3차원 형태로 형성하는 것을 특징으로 한다.
또 본 발명에 따른 공간 충전 곡선 변환 시스템에서, 상기 이미지 데이터는 제품의 양부 판단을 하는 딥러닝 분석을 위한 학습부에 적용되는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템에 의하면, 기존의 시계열 데이터를 공간상의 상관관계를 지니는 이미지로 변환할 수 있어 딥러닝 분석의 정확도를 증대시킬 수 있다는 효과가 얻어진다.
또 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템에 의하면, 각 데이터 포인트 간의 상호관계를 해석하기 힘든 시계열 데이터를 직접적으로 이미지로 변환하여 딥러닝 분석에 이용할 수 있다는 효과가 얻어진다.
또 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템에 의하면, 제조업 분야의 공정데이터에 범용적으로 이용할 수 있으면서도, 제조업 분야 데이터 처리를 위해서 맞춤형으로 개발된 특화 알고리즘이므로 다양한 제조업 분야에 적용 확대를 진행할 수 있다는 효과가 얻어진다.
또한, 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템에 의하면, 제품의 양품/불량 판정 알고리즘을 적용하여 제조업 분야의 장비 레벨에서 탑재하여 보다 성능이 뛰어난 스마트 생산 장비 개발에 응용될 수 있다는 효과도 얻어진다.
도 1은 CNN(Convolutional Neural Network) 구조의 일 예를 나타내는 도면,
도 2는 본 발명에 따른 공간 충전 곡선 변환을 설명하기 위한 도면,
도 3은 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 시스템의 구성을 나타내는 블록도,
도 4는 본 발명에 의한 공간 충전 프랙탈 변환에 따른 CNN 연계 모듈 기반의 양품/불량 판단의 일 예를 설명하기 위한 도면,
도 5는 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법을 설명하기 위한 흐름도.
본 발명의 상기 및 그 밖의 목적과 새로운 특징은 본 명세서의 기술 및 첨부 도면에 의해 더욱 명확하게 될 것이다.
본원에서 사용하는 "딥러닝 모듈"은 CNN(Convolutional Neural Network) 구조를 기반으로 마련될 수 있으며, 이 CNN은 인공 신경 회로망(ANN, Artificial Neural Networks)의 일종이며, 인공 신경 회로망은 신경 뉴런(Neuron) 구조를 본떠 만든 것으로 뉴런과 뉴런 사이의 시냅스(Synapse)의 연결 구조를 본떠 패턴이나 알고리즘을 학습할 수 있도록 만들어진 망으로써, 예를 들어 도 1에 도시된 바와 같이, 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer) 형태를 기본으로 각 층의 방식에 따라 다양한 종류로 나눌 수 있다. 즉 CNN은 입력, 특징 추출, 특징을 위치변경이나 왜곡에 따라 변함이 없게 처리, 분류 및 출력하도록 구성된다.
또 본 발명에 적용되는 딥러닝 분석용 시각 이미지는 서로 연관이 있는 정보들이 특정 공간, 형태상에서 색깔, 질감, 포토로지 등의 형태로 공간상의 상관관계를 가진다. 예를 들어, 이미지 상의 고양이를 분석하는 경우를 보면 고양이에 관련된 정보는 필연적으로 이미지 상의 특정 지점에 분포되어 있으며, 고양이의 특징을 판단할 수 있는 귀, 눈, 입, 수염 등 상관관계가 있는 정보가 공간상에서 특정한 형태로 분포되어 있다. 따라서 본 발명에서는 특정한 이미지 변환 기법을 이용하여 시계열 데이터의 정보가 공간상에 특정한 포토로지적 성격을 가지고 상관관계를 갖도록 변환하여 딥러닝의 활용성을 높이는 것이다.
즉, 본 발명에서는 딥러닝 분석의 성능을 증대시키기 위하여 주어진 시계열 데이터를 이미지로 변환하여 분석의 성능을 증대시키는 것으로서, 예를 들어 제조업의 공정데이터 분석에 특화된 딥러닝 알고리즘 개발을 위해 공간 충전 프랙탈 곡선 변환을 통한 시계열 데이터의 이미지 변환 기법을 마련하고, 시계열 데이터 이미지 변환, CNN 알고리즘을 연계하여 제품의 양품/불량 판정 모듈을 개발하였다.
구체적으로, 본 발명에서는 시계열 데이터를 이미지로 변환시키기 위하여 이미지의 2차원 공간을 충전하는 곡선을 시계열 데이터를 통하여 형성시키는 방법을 마련하였다. 2차원 공간을 충전하는 곡선으로 변환하는 방법은 예를 들어, 2차원 공간 충전 프랙탈 곡선을 이용하여 프랙탈 곡선이 특수하게 설계된 선의 색깔, 두께 및 질감을 가지고 이미지 공간을 채우도록 마련한 것이다.
또 본 발명의 시계열 데이터의 이미지를 바탕으로 한 제품의 양품/불량 판정 방법은 시계열 데이터를 기준으로 생산제품의 양품/불량 판단을 적용하는 자동차, 전기전자, 조선 등 모든 분야에 적용이 가능하며, 본 발명의 기술 설명에서는 일 예로서 다이캐스팅 공정에서 취득된 공정데이터를 바탕으로 한 양품/불량 판정에 대해 기술한다.
따라서 본 발명에서는 시계열 공정데이터를 바탕으로 딥러닝 분석에 활용하기 위한 공간 충전 곡선 변환 방법 및 시스템을 딥러닝 학습 엔진을 제공할 수 있다. 다이캐스팅 공정을 예로 들면 금형 내의 다양한 포인트에서 시계열 온도 데이터가 측정되며, 각 포인트에서 측정된 데이터들을 색깔, 질감, 포토로지 등의 형태로 공간상의 상관관계를 이용하여 데이터 포인트별로 공간 충전 프랙탈 곡선 변환을 적용하여 이미지를 취득된다. 이러한 이미지를 통하여 CNN(Convolutional Neural Networks) 분석에 적용하면 생산 제품의 양품/불량 판정을 용이하게 고속으로 진행할 수 있다.
이하, 본 발명에 따른 실시 예를 도면에 따라서 설명한다.
또 이하 실시 예에서는 다이캐스팅 공정 데이터를 바탕으로 시계열 데이터의 공간 충전 곡선 변환에 대해 설명한다.
먼저, 공간 충전 프랙탈 곡선을 이용하여 시계열 데이터를 이미지로 변환하는 방법에 대해서 도 2에 따라 설명한다. 도 2는 본 발명에 따른 공간 충전 곡선 변환을 설명하기 위한 도면이다.
본 발명에서는 프랙탈 곡선을 이용하여 공간 충전을 하기 위해 페아노 커브(Peano curve), 힐버트 커브(Hilbert curve) 등의 공간 충전 커브(Spcae-filling curve)를 이용할 수 있다. 도 2의 (a)는 페아노 커브의 모습을 도시한 것이다. 공간 충전 커브는 도 2의 (a)와 같이 특정 유닛(Unit)이 반복되면서 2차원 공간을 채우게 된다. 이때 반복되는 특정 유닛은 시계열 데이터와 매칭하여 정보를 저장할 수 있다.
본 발명에서는 예를 들어, 특정한 그라데이션으로 표현되는 컬러맵(Colormap)을 형성하고, 이 컬러맵과 시계열 데이터의 강도(Intensity)를 매칭하여, 공간 충전 커브에 저장하는 방식을 적용한다.
즉, 본 발명에서는 도 2의 (b)에 도시된 바와 같이 예를 들어, 0에서 100까지 시간 t에 따라서 선형으로 증가하는 다이캐스팅 공정의 시계열 데이터에 적용한다.
그러면 0을 보라색, 100을 빨간색에 매칭하여 "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 표현한 뒤, 이를 공간 충전 커브의 반복되는 유닛에 저장하면 도 2의 (b)와 같은 형태로 마련된다.
이때 시계열 데이터 범위와 매칭되는 유닛의 개수, 컬러맵, 선의 두께, 각 유닛당 매칭되는 시계열 데이터의 개수, 시계열 데이터의 상 전위(Phase-shifting)를 변환시켜 가면서 적절한 형태의 이미지를 형성할 수 있다. 즉 1차원의 시계열 데이터를 페아노 커브 또는 힐버트 커브 규칙에 따른 공간 충전 커브를 형성하는 것에 의해 2차원 이미지로 배열할 수 있다. 또 본 발명에서는 2차원 이미지 형상의 데이터를 순차적으로 3차원 공간에 배열하여 큐빅 형태인 3차원 형태로 생성할 수도 있다.
도 3은 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 시스템의 구성을 나타내는 블록도 이고, 도 4는 본 발명에 의한 공간 충전 프랙탈 변환에 따른 CNN 연계 모듈 기반의 양품/불량 판단의 일 예를 설명하기 위한 도면이다.
본 발명에 따른 공간 충전 곡선 변환 시스템은 제조업 시계열 데이터 딥러닝 분석을 위한 시스템으로서, 도 3에 도시된 바와 같이, 제품 생산 기기의 복수의 위치 또는 온도를 감지하는 감지부(100), 상기 감지부(100)에서 감지된 데이터를 시계열적 공정 데이터로 취득하는 데이터 취득부(200), 상기 데이터 취득부(200)에서 취득된 시계열적 공정 데이터를 이미지 데이터로 변환하는 이미지 변환부(300)를 포함한다.
상기 감지부(100)는 생산 제품에 대해 불량 여부를 검출하기 위해 제품 생산에 관여되는 기기 또는 제품들의 위치, 온도, 회전, 진동, 전압, 전류, 토크 등을 감지하기 위한 감지 센서를 구비할 수 있다.
상기 데이터 취득부(200)는 제조업 분야의 대표적인 공정데이터 유형인 시계열 데이터를 마련하기 위해 일정 시간 내에 감지 센서에서 감지된 각각의 신호 값을 취득한다. 예를 들어, 다이캐스팅 각 공정 사이클에서 금형의 각 포인트에서 온도의 시계열 데이터를 취득하는 경우, 취득되는 데이터의 개수는 데이터 취득 샘플링 레이트에 따라 달라지지만, 대략 20초의 공정시간 및 50Hz의 샘플링 레이트를 가정하면 각 데이터 취득 포인트 당 1000개의 입력이 취득된다.
이때, 데이터를 7개의 포인트에서 취득된다고 가정하면, 입력으로 이용되는 데이터는 7,000개로 상당히 과도한 양의 입력이 주어지게 된다. 또한, 실제 공정에서는 공정 데이터의 시간에 따른 추세 및 최대, 최소 또는 다른 데이터 포인트와의 상대적인 관계가 중요하기 때문에 7,000개 데이터의 상대적인 관계 등이 적절하게 학습 되어 양품/불량을 판단할 수 있는 딥러닝 엔진 학습에는 상당한 난이도가 따른다.
따라서 본 발명에서는 상기 데이터 취득부(200)에서 취득된 데이터베이스를 바탕으로 이미지 데이터로 변환한 뒤, 이 이미지를 딥러닝 CNN 분석을 통하여 양품/불량을 판단하는 시스템 및 방법을 제공할 수 있다.
상기 이미지 변환부(300)는 제조업 분야의 대표적인 공정데이터 유형인 시계열 데이터를 공간 충전 프랙탈 곡선 변환을 통하여 이미지 데이터로 변환하기 위해 마련되며, 도 3에 도시된 바와 같이, 선형으로 증가하는 다이캐스팅 공정의 시계열 데이터를 "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 표현하는 컬러맵 작성부(310)와 상기 컬러맵 작성부(310)에 의해 작성된 그라데이션 컬러맵에 대해 페아노 커브 또는 힐버트 커브 규칙에 따른 공간 충전 커브를 형성하는 공간 충전부(320)를 포함한다.
즉, 상기 이미지 변환부(300)에서는 시계열 데이터를 이미지 데이터로 변환하여 제조업의 공정데이터 유형을 기존 딥러닝 분석 알고리즘을 적용하여 분석하기 적합한 형태로 변환한다. 이미지 변환 과정에서 공간 충전 프랙탈 곡선으로 형성하여 정보 저장률의 극대화 및 데이터 간의 상관관계 정보를 해석하기 수월한 형태로 변환한다.
또한, 본 발명에 따른 공간 충전 곡선 변환 시스템에서는 공간충전 프랙탈 곡선의 프랙탈 차원, 프랙탈 라인의 색상, 프랙탈 라인의 진폭, 프랙탈 곡선 간의 위상 차이를 변화시켜 가면서 이미지 정보가 최대화되며 판독이 수월한 변환 알고리즘을 도출할 수 있다.
상기 이미지 변환부(300)에서 작성된 이미지 데이터는 도 3에 도시된 바와 같이, 제품 생산 기기에서 생산된 제품의 양부 판단을 하기 위한 딥러닝 분석을 위한 학습부(400)에 적용되며, 학습부(400)의 학습 결과는 진단부(500)로 출력되어 생산제품의 양품/불량 판단에 사용된다.
즉, 본 발명에 따른 공간 충전 곡선 변환 시스템에서는 공간 충전 프랙탈 곡선으로 형성된 이미지를 기반으로 도 4에 도시된 바와 같은 딥러닝 CNN 분석을 적용하여 제품의 양품/불량을 판정하는 모듈을 마련할 수 있다.
상기 학습부(400)에서는 예를 들어 Inception, Resnet, PNASnet, mobile_net 등의 고성능 CNN 알고리즘을 적용하여 양품/불량 판정의 정확도를 분석할 수 있다.
다음에 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법에 대해 도 5를 참조하여 설명한다.
도 5는 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법을 설명하기 위한 흐름도이다.
본 발명에 따른 공간 충전 곡선 변환 방법은 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법으로서, 먼저 각 공정 데이터에서 양품의 데이터만 선별적으로 학습하도록 딥러닝 분석 알고리즘을 적용하여 시계열 공정 데이터를 마련한다. 즉 제품 생산 기기 예를 들어, 다이캐스팅 각 공정 사이클에서 금형의 각 포인트에서 온도를 감지한다(S10). 그러나 이에 한정되는 것은 아니고, 제품 생산에 관여되는 기기 또는 제품들의 위치, 온도, 회전, 진동, 전압, 전류, 토크 등을 감지할 수도 있다. 그러나 이에 한정되는 것은 아니고, 금융 데이터의 경우, 시간에 따른 가격의 변화 추이가 시계열의 형태를 띠고 있으므로, 금융 데이터의 미래 추이, 이상치 감지 등에 활용할 수도 있다.
이어서, 상기 단계 S10에서 감지된 데이터를 시계열적 공정 데이터로 취득하고(S20), 정보 저장률의 극대화 및 데이터 간의 상관관계 정보를 용이하게 해석도록, 상기 단계 S20에서 취득한 시계열 데이터에 대해 공간 충전 프랙탈 곡선 변환을 통하여 이미지 데이터로 변환하기 위해, 선형으로 증가하는 다이캐스팅 공정의 시계열 데이터를 도 2에 도시된 바와 같이, "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 작성한다(S30).
이어서, 상기 단계 S30에 의해 작성된 그라데이션 컬러맵에 대해 페아노 커브 또는 힐버트 커브 규칙에 따른 공간 충전 커브를 형성하는 공간 충전을 마련한다(S40). 상술한 단계 S30 및 S40에 의해 이미지 변환 과정에서 공간 충전 프랙탈 곡선으로 형성하여 정보 저장률의 극대화 및 데이터 간의 상관관계 정보를 해석하기 수월한 형태로 변환한다. 또 각각의 시계열 데이터들을 색깔, 질감, 포토로지 등의 형태로 공간상의 상관관계를 이용하여 데이터 포인트별로 공간 충전 프랙탈 곡선 변환을 적용하여 이미지를 취득한다. 즉, 공간충전 프랙탈 곡선의 프랙탈 차원, 프랙탈 라인의 색상, 프랙탈 라인의 진폭, 프랙탈 곡선 간의 위상 차이를 변화시켜 가면서 이미지 정보를 최대화할 수 있다.
상기 단계 S40에서 공간 충전 프랙탈 곡선으로 형성된 이미지를 기반으로 딥러닝 CNN 분석을 적용하여 제품의 양품/불량을 판정한다. 즉, Inception, Resnet, PNASnet, mobile_net 등의 고성능 CNN 알고리즘을 적용하여 양품/불량 판정의 정확도를 분석할 수 있다.
상술한 바와 같이, 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템에서는 각 데이터 포인트 간의 상호관계를 해석하기 힘든 시계열 데이터에 대해 시계열 데이터 범위와 매칭되는 유닛의 개수, 컬러맵, 선의 두께, 각 유닛당 매칭되는 시계열 데이터의 개수, 시계열 데이터의 상 전위(Phase-shifting)를 변환시켜 가면서 적절한 형태의 이미지를 형성하는 공간 충전 곡선으로 변환하여 딥러닝 분석에 이용할 수 있다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템을 사용하는 것에 의해 각 데이터 포인트 간의 상호관계를 해석하기 힘든 시계열 데이터를 공간 충전 곡선으로 변환하여 딥러닝 분석에 이용할 수 있다.
100 : 감지부
200 : 데이터 취득부
300 : 이미지 변환부
310 : 컬러맵 작성부
320 : 공간 충전부

Claims (8)

  1. 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법으로서,
    (a) 각 공정 데이터에서 양품의 데이터만 선별적으로 학습하도록 딥러닝 분석 알고리즘을 적용하여 시계열 공정 데이터를 마련하는 단계,
    (b) 정보 저장률의 극대화 및 데이터 간의 상관관계 정보를 용이하게 해석하기 위해 시계열 데이터를 공간 충전 프랙탈 곡선 변환을 통하여 이미지 데이터로 변환하는 단계,
    (c) 상기 공간 충전 프랙탈 곡선으로 형성된 이미지를 기반으로 딥러닝 CNN 분석을 적용하여 제품의 양품/불량을 판정하는 단계를 포함하는 것을 특징으로 하는 공간 충전 곡선 변환 방법.
  2. 제1항에서,
    상기 단계 (b)에서 이미지 데이터의 변환은 상기 단계 (a)에서의 시계열 데이터를 "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 작성하고, 상기 그라데이션 컬러맵에 대해 페아노 커브 또는 힐버트 커브 규칙에 따라 공간 충전 커브를 형성하는 것에 의해 실행되는 것을 특징으로 하는 공간 충전 곡선 변환 방법.
  3. 제2항에서,
    상기 단계 (b)에서 프랙탈 곡선 변환은 프랙탈 차원, 프랙탈 라인의 색상, 프랙탈 라인의 진폭, 프랙탈 곡선 간의 위상 차이를 변화시켜 실행되는 것을 특징으로 하는 공간 충전 곡선 변환 방법.
  4. 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 시스템으로서,
    제품들의 위치, 온도, 회전, 진동, 전압, 전류 또는 토크 중의 어느 하나의 상태를 감지하는 감지부,
    상기 감지부에서 감지된 데이터를 시계열적 공정 데이터로 취득하는 데이터 취득부,
    상기 데이터 취득부에서 취득된 시계열적 공정 데이터를 이미지 데이터로 변환하는 이미지 변환부를 포함하고,
    상기 이미지 변환부는 상기 시계열 데이터를 공간 충전 프랙탈 곡선으로 변환하는 것을 특징으로 하는 공간 충전 곡선 변환 시스템.
  5. 제4항에서,
    상기 이미지 변환부는 상기 시계열 데이터를 그라데이션 컬러맵으로 작성하는 컬러맵 작성부와 상기 컬러맵 작성부에 의해 작성된 그라데이션 컬러맵에 대해 공간 충전 커브를 형성하는 공간 충전부를 포함하는 것을 특징으로 하는 공간 충전 곡선 변환 시스템.
  6. 제5항에서,
    상기 컬러맵 작성부는 상기 시계열 데이터를 "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 표현하고,
    상기 공간 충전 커브는 상기 컬러맵을 페아노 커브(Peano curve) 또는 힐버트 커브(Hilbert curve) 규칙에 의해 2차원 이미지로 형성하는 것을 특징으로 하는 공간 충전 곡선 변환 시스템.
  7. 제6항에서,
    상기 공간 충전 커브는 상기 2차원 이미지 형상의 데이터를 순차적으로 3차원 공간에 배열하여 3차원 형태로 형성하는 것을 특징으로 하는 공간 충전 곡선 변환 시스템.
  8. 제6항에서,
    상기 이미지 데이터는 제품의 양부 판단을 하는 딥러닝 분석을 위한 학습부에 적용되는 것을 특징으로 하는 공간 충전 곡선 변환 시스템.
KR1020200145182A 2020-11-03 2020-11-03 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템 KR102558232B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200145182A KR102558232B1 (ko) 2020-11-03 2020-11-03 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200145182A KR102558232B1 (ko) 2020-11-03 2020-11-03 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220059691A true KR20220059691A (ko) 2022-05-10
KR102558232B1 KR102558232B1 (ko) 2023-07-25

Family

ID=81591768

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200145182A KR102558232B1 (ko) 2020-11-03 2020-11-03 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102558232B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102647331B1 (ko) * 2023-07-07 2024-03-13 주식회사 아임토리 시계열 데이터 기반 데이터 샘플링 서비스 제공 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106870A (ja) * 2004-09-30 2006-04-20 Toshiba Corp プロセス管理装置
KR20130006466A (ko) * 2010-03-10 2013-01-16 쓰리엠 이노베이티브 프로퍼티즈 컴파니 웨브 제조 공정에서의 응용-특정된 반복 결함 검출
KR101818394B1 (ko) 2017-05-11 2018-01-12 울산대학교 산학협력단 설비 상태 진단 방법 및 장치
KR101950395B1 (ko) 2017-09-25 2019-02-20 (주)신테카바이오 개체군 유전체 염기서열 및 변이의 변환데이터에 대한 인공지능 딥러닝 모델을 이용한 바이오마커 검출 방법
KR20190027237A (ko) 2017-09-06 2019-03-14 주식회사 씨티아이랩 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술
KR20200040015A (ko) * 2018-10-08 2020-04-17 주식회사 원프레딕트 설비 진단을 위한 데이터 이미지화 방법 및 이를 이용한 진단 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106870A (ja) * 2004-09-30 2006-04-20 Toshiba Corp プロセス管理装置
KR20130006466A (ko) * 2010-03-10 2013-01-16 쓰리엠 이노베이티브 프로퍼티즈 컴파니 웨브 제조 공정에서의 응용-특정된 반복 결함 검출
KR101818394B1 (ko) 2017-05-11 2018-01-12 울산대학교 산학협력단 설비 상태 진단 방법 및 장치
KR20190027237A (ko) 2017-09-06 2019-03-14 주식회사 씨티아이랩 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술
KR101950395B1 (ko) 2017-09-25 2019-02-20 (주)신테카바이오 개체군 유전체 염기서열 및 변이의 변환데이터에 대한 인공지능 딥러닝 모델을 이용한 바이오마커 검출 방법
KR20200040015A (ko) * 2018-10-08 2020-04-17 주식회사 원프레딕트 설비 진단을 위한 데이터 이미지화 방법 및 이를 이용한 진단 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Tsinganos et al. A Hilbert Curve Based Representation of sEMG Signals for Gesture Recognition. 2019 International Conference on Systems, Signals and Image Processing (IWSSIP), 201-206 pages. 2019.08.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102647331B1 (ko) * 2023-07-07 2024-03-13 주식회사 아임토리 시계열 데이터 기반 데이터 샘플링 서비스 제공 시스템

Also Published As

Publication number Publication date
KR102558232B1 (ko) 2023-07-25

Similar Documents

Publication Publication Date Title
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
Xu et al. Deep learning-based tool wear prediction and its application for machining process using multi-scale feature fusion and channel attention mechanism
CN107492098B (zh) 一种基于pca和cnn的高温锻件表面缺陷在位检测方法
Jiang et al. A machine vision-based realtime anomaly detection method for industrial products using deep learning
Li et al. Deep spatial-temporal feature extraction and lightweight feature fusion for tool condition monitoring
Wang et al. An effective defect detection method based on improved Generative Adversarial Networks (iGAN) for machined surfaces
CN109948207A (zh) 一种航空发动机高压转子装配误差预测方法
CN114818774A (zh) 一种基于多通道自校准卷积神经网络的齿轮箱智能故障诊断方法
KR102417415B1 (ko) 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템
CN110533058A (zh) 信息处理方法、信息处理装置及程序
CN116552306B (zh) 直流桩的监控系统及其方法
CN116593157A (zh) 少样本下基于匹配元学习的复杂工况齿轮故障诊断方法
KR20220059691A (ko) 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템
CN117784710B (zh) 数控机床远程状态监控系统及其方法
Chakrabarti et al. Efficient modeling of digital shadows for production processes: a case study for quality prediction in high pressure die casting processes
Ekambaram et al. Identification of defects in casting products by using a convolutional neural network
Li et al. Knowledge enhanced ensemble method for remaining useful life prediction under variable working conditions
CN116518868B (zh) 基于人工智能的变形测量方法、装置、设备及存储介质
CN109960146A (zh) 提高软测量仪表模型预测精度的方法
CN117910073A (zh) 基于3d打印技术的工艺品包装设计优化系统及方法
CN117593243A (zh) 可靠伪标签引导的压缩机外观自适应检测方法
CN116539611A (zh) 一种基于细胞机械性能多参数快速分析的细胞检测方法
Guo et al. Crossover structure separation with application to neuron tracing in volumetric images
CN112734722B (zh) 一种基于改进完全局部二值模式火焰终点碳含量预测方法
KR102261941B1 (ko) 생산 제품 불량 검출을 위한 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법 및 분석 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant