KR20230080108A - 딥러닝 기반 미세 액적 분사 상태 모니터링 장치 및 방법 - Google Patents

딥러닝 기반 미세 액적 분사 상태 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR20230080108A
KR20230080108A KR1020210167540A KR20210167540A KR20230080108A KR 20230080108 A KR20230080108 A KR 20230080108A KR 1020210167540 A KR1020210167540 A KR 1020210167540A KR 20210167540 A KR20210167540 A KR 20210167540A KR 20230080108 A KR20230080108 A KR 20230080108A
Authority
KR
South Korea
Prior art keywords
droplet
micro
image frame
ejection
droplets
Prior art date
Application number
KR1020210167540A
Other languages
English (en)
Inventor
최은식
강경태
안건식
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020210167540A priority Critical patent/KR20230080108A/ko
Publication of KR20230080108A publication Critical patent/KR20230080108A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B1/00—Nozzles, spray heads or other outlets, with or without auxiliary devices such as valves, heating means
    • B05B1/02—Nozzles, spray heads or other outlets, with or without auxiliary devices such as valves, heating means designed to produce a jet, spray, or other discharge of particular shape or nature, e.g. in single drops, or having an outlet of particular shape
    • B05B1/10—Nozzles, spray heads or other outlets, with or without auxiliary devices such as valves, heating means designed to produce a jet, spray, or other discharge of particular shape or nature, e.g. in single drops, or having an outlet of particular shape in the form of a fine jet, e.g. for use in wind-screen washers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예는 딥러닝을 미세 액적 토출 장치의 미세 액적 클래스 분류 문제에 적용하여 미세 액적의 분사 상태를 모니터링할 수 있도록, 미세 액적 분사 상태를 촬영한 미세 액적 영상 프레임들을 입력 받은 후 딥러닝된 미세 액적 영상 프레임 분류 알고리즘을 적용하여 미세 액적의 액적 클래스에 따라 분류한 후, 단위 미세 액적 분사 시간 동안의 미세 액적 영상 프레임들의 그룹으로 그룹화하여, 단위 미세 액적 분사 시간 동안의 상기 미세 액적 영상 프레임 그룹에 포함된 미세 액적들의 클래스에 따라 미세 액적의 분사 상태를 평가할 수 있도록 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 장치 및 방법을 제공한다.

Description

딥러닝 기반 미세 액적 분사 상태 모니터링 장치 및 방법{microfluidic droplet jet status monitoring apparatus based on deep learning and the method thereof}
본 발명은 미세 액적 분사 상태 모니터링에 관한 것으로서, 더욱 상세하게는, 딥러닝을 잉크젯 프린터 등의 미세 액적 토출 장치의 미세 액적 클래스 분류 문제에 적용하여 미세 액적의 분사 상태를 모니터링할 수 있도록 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 장치 및 방법에 관한 것이다.
잉크젯 프린팅, 전기수력학적 (Electrohydrodynamic, EHD) 프린팅, 전기분무 (Electrospray), 디스펜서(dispencer) 등을 포함하는 미세 액적 토출 장치에 의한 미세 액적 토출 공정은 열, 음향, 압전 또는 EHD(electrohydrodynamic) 힘에 의해 구동되는 단일 또는 다중 노즐을 사용하는 디지털 직접 쓰기 프로세스이다.
상술한 미세 액적 토출 공정은 비접촉 식이고, 적층 및 마스크 없는 패터닝(patterning) 공정으로, 각 미세 액적이 잘 정의된 패턴으로 마이크로 범위의 해상도로 정밀하게 증착될 수 있기 때문에 공정에 따른 재료 손실 및 작업 시간을 획기적으로 줄일 수 있는 경제적인 비접촉 적층 공정 기술이다.
이러한 이유로 잉크젯 프린팅을 포함하는 미세 액적 토출 공정 기술은 그 범용성과 대량 생산에의 적용 가능성에 의해 학계와 박막 트랜지스터, 발광 다이오드, 태양전지, 센서, 메모리 및 자기 응용, 생물학, 제약 응용, OLED 디스플레이, 3D 프린팅 등의 산업계에서 주목을 받고 있다.
그러나 상술한 미세 액적 토출 공정은 같은 카트리지 내에서도 각각의 노즐과 압전 액츄에이터의 치수 공차에 따라 공진 주파수가 다를 수 있고, 잉크 등의 미세 유체의 상호 작용 등 미세 유체 액적 토출 자체의 본질적인 복잡성에 의해 미세 액적이 나오는 상태를 예측하기 쉽지 않다.
이에 따라 종래의 미세 액적을 이용하는 하나의 분야로서의 잉크젯 프린팅 기술분야에서는 액적 토출 공정의 신뢰성을 위해 전문가가 영상을 보고 잉크젯 프린팅 액적의 상태를 판별하는 등의 작업자의 경험을 이용하는 방법을 사용하고 있으며, 이는 재료와 공정 시간, 노동력 등의 측면에서 불리하게 작용하여 공정 및 생산 비용을 높이는 원인이 된다.
따라서 미세 액적 토출 공정 시 미세 액적을 분류하고, 상태를 자동으로 평가할 수 있도록 하는 기술이 요구된다.
대한민국 등록특허 제10-2201433호(2021.01.13. 공고) 대한민국 공개특허 제10-2019-0043135호(2019.04.25. 공개)
따라서 상술한 종래기술의 문제점을 해결하기 위한 본 발명의 일 실시예는, 단위 미세 액적 분사 시간 동안의 미세 액적 영상 프레임을 딥러닝된 알고리즘을 적용하여 액적의 종류별로 분류한 후, 단위 미세 액적 분사 시간 동안의 미세 액적 영상 프레임을 그룹화한 후 미세 액적 분사 상태를 자동으로 평가할 수 있도록 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 장치 및 방법을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 본 발명의 과제를 달성하기 위한 본 발명의 일 실시예는, 미세 액적 분사 상태를 촬영한 미세 액적 영상 프레임들을 입력 받은 후 딥러닝된 미세 액적 영상 프레임 분류 알고리즘을 적용하여 미세 액적의 액적 클래스에 따라 분류하여 미세 액적 영상 프레임 분류데이터를 생성하는 미세 액적 영상 프레임 분류부; 상기 미세 액적 영상 프레임 분류데이터를 단위 미세 액적 분사 시간 동안의 미세 액적 영상 프레임들의 그룹으로 그룹화하는 미세 액적 영상 프레임 그룹화부; 및 단위 미세 액적 분사 시간 동안의 상기 미세 액적 영상 프레임 그룹에 포함된 미세 액적들의 클래스에 따라 미세 액적의 분사 상태를 평가하는 미세 액적 분사 상태 평가부;를 포함하여 구성되는 것을 특징으로 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 장치를 제공한다.
상술한 본 발명의 과제를 달성하기 위한 본 발명의 다른 실시예는, 미세 액적 영상 프레임 분류부가 미세 액적 분사 상태를 촬영한 미세 액적 영상 프레임들을 입력 받은 후 딥러닝된 미세 액적 영상 프레임 분류 알고리즘을 적용하여 미세 액적의 액적 클래스에 따라 분류하여 미세 액적 영상 프레임 분류데이터를 생성하는 미세 액적 영상 프레임 분류 단계; 미세 액적 영상 프레임 그룹화부가 상기 미세 액적 영상 프레임 분류데이터를 단위 미세 액적 분사 시간 동안의 미세 액적 영상 프레임들의 그룹으로 그룹화하는 미세 액적 영상 프레임 그룹화 단계; 및 미세 액적 분사 상태 평가부가 단위 미세 액적 분사 시간 동안의 상기 미세 액적 영상 프레임 그룹에 포함된 미세 액적들의 액적 클래스에 따라 미세 액적의 분사 상태를 평가하는 미세 액적 분사 상태 평가 단계;를 포함하여 구성되는 것을 특징으로 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 방법을 제공한다.
상기 미세 액적 영상 프레임 분류부 또는 상기 미세 액적 영상 프레임 분류 단계에서 생성되는 상기 미세 액적 영상 프레임 분류데이터는, 상기 미세 액적 영상 프레임의 시간 프로파일 상의 시간과 미세 액적 분류를 위한 미세 액적 클래스(미세 액적 유형) 정보를 포함하는 것을 특징으로 한다.
상기 미세 액적 클래스 정보는, 하나의 영상 프레임 상에서, 미세 액적이 관찰되지 않을 때의 '비방출형(none)', 분사된 미세 액적이 노즐에 매달려 있을 때의 '분출형(ejection)', 토출된 액적이 노즐에서 떨어져 나온 직후에 액적이 액적의 위쪽에 꼬리를 형성하는 때의 '테일형(tail)', 하나의 원형 액적(drop)이 관찰되는 때의 '드롭형(drop)' 및 액적이 전파되면서 토출된 액적의 꼬리가 비말에 흡수되지 않고 토출된 비말과 분리되어 하나 이상의 작은 크기의 위성 액적(satellite droplet)들이 관찰되는 때의 '위성형(satellite)'의 미세 액적 유형을 포함하는 것을 특징으로 한다.
상기 미세 액적 분사 상태 평가부에 의해 평가되거나, 상기 미세 액적 분사 상태 평가 단계에서 평가되는 상기 미세 액적의 분사 상태는, 상기 단위 미세 액적 분사 시간 동안의 시간프로파일 상에서 미세 액적 영상 프레임 그룹이, 비방출(none), 분출형 액적(ejection droplet), 테일형 액적(tail droplet), 드롭형 액적(drop droplet)의 액적 클래스를 순차적으로 포함하는 경우의 안정적 분사(stable jet); 위성형 액적(satellite droplet) 클래스를 포함하는 경우의 위성형 분사(satellite jet); 또는 드롭형 액적(drop droplet)과 위성형 액적(satellite droplet) 클래스를 모두 가지지 않는 경우의 비분사(no jet); 중 어느 하나의 미세 액적 분사 상태인 것을 특징으로 한다.
상기 딥러닝에 적용된 알고리즘은 CNN(Convolutional neural network) 알고리즘인 것을 특징으로 한다.
본 발명의 일 실시예의 미세 액적 분사 상태 모니터링 장치 및 방법은 잉크젯 프린팅, 전기수력학적(Electrohydrodynamic, EHD) 프린팅, 전기분무(Electrospray), 디스펜서(dispencer) 등을 포함하는 미세 유체 액적 토출 공정에서의 미세 액적 분사 상태 모니터링을 위한 자원과 노동력 등의 비용을 절감시킬 수 있도록 하는 효과를 제공한다.
또한, 본 발명의 일 실시예의 미세 액적 분사 상태 모니터링 장치 및 방법은 잉크젯 프린팅, 전기수력학적(Electrohydrodynamic, EHD) 프린팅, 전기분무(Electrospray) 등을 포함하는 미세 유체 액적 토출 공정에서의 미세 액적의 관찰 및 평가를 현저히 용이하게 수행할 수 있도록 하는 효과를 제공한다.
도 1은 본 발명의 일 실시예의 미세 액적 분사 상태 모니터링 장치(1)의 기능 블록도이다.
도 2는 본 발명의 일 실시예의 미세 액적 분사 상태 모니터링 방법의 처리 과정을 나타내는 순서도이다.
도 3은 미세 액적 영상 프레임 분류부(100)의 아키텍처의 일 실시예를 나타내는 도면이다.
도 4는 도 3의 미세 액적 분사 상태 모니터링 방법에 의해 잉크젯 미세 액적의 분사 상태를 평가한 처리과정을 나타내는 개념도이다.
도 5는 잉크젯 미세 액적 분사 상태를 나타내는 도면이다.
도 6은 훈련 및 검증 데이터의 최적화된 단일 분사 모델 학습 곡선으로서 도 6의 (a)는 에포크에 대한 손실, 도 6의 (b)는 에포크에 대한 정확도를 나타내는 그래프이다.
도 7은 잉크젯 미세 액적 영상 프레임 그룹들의 잉크젯 미세 액적 분사 상태 평가한 결과를 나타내는 도면이다.
도 8은 분사 상태 평가를 위한 대표적인 단일 분사 프레임 클래스 시간 프로파일을 나타내는 그래프이다.
도 9는 훈련 및 검증 데이터의 최적화된 다중 분사 모델 학습 곡선으로서 도 9의 (a)는 에포크에 대한 손실, 도 9의 (b)는 에포크에 대한 정확도를 나타내는 그래프이다.
도 10은 배치 크기에 따른 훈련 및 검증 데이터의 다중 분사 모델 학습 곡선을 나타내는 그래프이다.
도 11은 학습률에 따른 훈련 및 검증 데이터의 다중 분사 모델 학습 곡선을 나타내는 그래프이다.
도 12는 L2 정규화기에 따른 훈련 및 검증 데이터의 다중 분사 모델 학습 곡선을 나타내는 그래프이다.
도 13은 탈락률에 따른 훈련 및 검증 데이터의 다중 분사 모델 학습 곡선을 나타내는 그래프이다.
도 14는 딥러닝 기반 미세 액적 분류를 통한 다중 분사 모니터링의 시연 결과를 나타내는 도면이다.
이하에서는 첨부한 도면을 참고하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예의 미세 액적 분사 상태 모니터링 장치(1)의 기능 블록도이다.
도 1과 같이, 상기 미세 액적 분사 상태 모니터링 장치(1)는, 미세 액적 분사 상태를 촬영한 미세 액적 영상 프레임들을 입력 받은 후 딥러닝된 미세 액적 영상 프레임 분류 알고리즘을 적용하여 미세 액적의 분류 유형으로서의 액적 클래스(class)에 따라 분류하여 미세 액적 영상 프레임 분류데이터를 생성하는 미세 액적 영상 프레임 분류부(100), 상기 미세 액적 영상 프레임 분류데이터를 단위 미세 액적 분사 시간 동안의 미세 액적 영상 프레임들의 그룹으로 그룹화하는 미세 액적 영상 프레임 그룹화부(200) 및 단위 미세 액적 분사 시간 동안의 상기 미세 액적 영상 프레임 그룹에 포함된 미세 액적 클래스에 따라 미세 액적의 분사 상태를 평가하는 미세 액적 분사 상태 평가부(300)를 포함하여 구성될 수 있다.
도 2는 본 발명의 일 실시예의 미세 액적 분사 상태 모니터링 방법의 처리 과정을 나타내는 순서도이다.
도 2와 같이, 상기 미세 액적 분사 상태 모니터링 방법은, 미세 액적 영상 프레임들을 입력 받은 후 미세 액적 클래스에 따른 분류를 수행하도록 딥러닝(기계학습)된 미세 액적 영상 프레임 분류 알고리즘을 생성하는 딥러닝 수행단계(S1), 미세 액적 영상 프레임 분류부(100)가 미세 액적 분사 상태를 촬영한 미세 액적 영상 프레임들을 입력 받은 후 딥러닝된 미세 액적 영상 프레임 분류 알고리즘을 적용하여 미세 액적의 클래스에 따라 분류하여 미세 액적 영상 프레임 분류데이터를 생성하는 미세 액적 영상 프레임 분류 단계(S2), 미세 액적 영상 프레임 그룹화부(200)가 상기 미세 액적 영상 프레임 분류데이터를 단위 미세 액적 분사 시간 동안의 미세 액적 영상 프레임들의 그룹으로 그룹화하는 미세 액적 영상 프레임 그룹화 단계(S3) 및 미세 액적 분사 상태 평가부(300)가 단위 미세 액적 분사 시간 동안의 상기 미세 액적 영상 프레임 그룹에 포함된 미세 액적들의 액적 클래스에 따라 미세 액적의 분사 상태를 평가하는 미세 액적 분사 상태 평가 단계(S4)를 포함하여 구성될 수 있다.
도 1 및 도 2의 구성에서 상기 딥러닝에 적용된 알고리즘은 CNN(Convolutional neural network) 알고리즘일 수 있다.
또한, 상기 미세 액적 영상 프레임 분류부(100) 또는 상기 미세 액적 영상 프레임 분류 단계(S2)에서 생성되는 상기 미세 액적 영상 프레임 분류데이터는, 상기 미세 액적 영상 프레임의 시간 프로파일 상의 시간과 미세 액적의 클래스 정보를 포함할 수 있다.
여기서, 상기 미세 액적 클래스 정보는, 하나의 영상 프레임 상에서, 미세 액적이 관찰되지 않을 때의 '비방출형(none)', 분사된 미세 액적이 노즐에 매달려 있을 때의 '분출형(ejection)', 토출된 액적이 노즐에서 떨어져 나온 직후에 액적이 액적의 위쪽에 꼬리를 형성하는 때의 '테일형(tail)', 하나의 원형 액적(drop)이 관찰되는 때의 '드롭형(drop)' 및 액적이 전파되면서 토출된 액적의 꼬리가 비말에 흡수되지 않고 토출된 비말과 분리되어 하나 이상의 작은 크기의 위성 액적(satellite droplet)들이 관찰되는 때의 '위성형(satellite)'의 미세 액적 클래스를 포함할 수 있다.
또한, 상기 미세 액적 분사 상태 평가부(300)에 의해 평가되거나, 상기 미세 액적 분사 상태 평가 단계(S4)에서 평가되는 상기 미세 액적의 분사 상태는, 상기 단위 미세 액적 분사 시간 동안의 시간프로파일 상에서 미세 액적 영상 프레임 그룹이, 비방출(none), 분출형 액적(ejection droplet), 테일형 액적(tail droplet), 드롭형 액적(drop droplet)을 순차적으로 포함하는 경우의 안정적 분사(stable jet), 위성형 액적(satellite droplet)을 포함하는 경우의 위성형 분사(satellite jet), 또는 드롭형 액적(drop droplet)과 위성형 액적(satellite droplet) 모두를 가지지 않는 경우의 비분사(no jet) 중 어느 하나의 미세 액적 분사 상태인 것을 특징으로 한다.
도 3은 미세 액적 영상 프레임 분류부(100)의 아키텍처의 일 실시예를 나타내는 도면이다.
미세 액적 영상 프레임 분류부(100)에 미세 액적 분류를 위한 기계학습을 위해 사용된 CNN 알고리즘은 MobileNetV2일 수 있으며, 하이퍼파라미터는 본 발명의 적용을 위해 최적화될 수 있다. 이는 다양한 모델 크기의 스펙트럼에서 모바일 모델의 성능을 향상시키기 위해 사전 훈련된 모발일 아키텍처이다. 간단한 아키텍처로 고효율 모바일 모델을 구축할 수 있다.
일 예로, 본 발명의 실시예에서 구축된 MobileNetV2 모델은 처리할 이미지 입력 크기가 224*224픽셀로 설정될 수 있다. 이미지의 개별 요소는 컨볼루션(convolution) 중에 커널(kernel)(또는 필터(filter))에 의해 가중치가 부여되어 일련의 기능 맵을 생성한다. 구축된 MobileNetV2 모델에는 32개의 필터가 있는 초기 완전 컨볼류션 레이어와 19개의 잔차 병목 레이어(residual bottleneck layers)가 포함될 수 있다. 반전된 잔차 병목 레이어(inverted residual bottleneck layers)는 모바일 애플리케이션의 기본인 메모리 효율을 향상시킨다. 병목 잔차 블록은 1*1 컨볼루션으로 시작될 수 있다. ReLU6가 낮은 정밀도 계산에 대한 견고성을 위해 비선형성으로 사용될 수 있다. 네트워크 표준인 3*3 커널 크기로 깊이별 분리 가능한 컨볼류션을 사용할 수 있다. 이에 의해 계산 비용을 표준 컨볼류션보다 8 ~ 9배 작게 만들고 정확도는 약간 감소된다. 이 후, 포인트와이즈 컨볼류션(pointwise convolution)이라고 하는 1*1 컨볼루션을 사용하여 입력 채널의 선형 조합을 계산하여 새로운 기능을 구축할 수 있다. 기능 맵 세트는 풀링(pooling) 작업으로 다운 샘플링될 수 있다. 이는 시프트 및 왜곡 불변성을 위한 입력 기능의 매개변수 및 변환을 줄일 수 있도록 한다. MobileNet의 경우 평균 풀링은 완전 연결 계층(fully connected layer) 이전에 공간 해상도를 1로 줄일 수 있다. 미세 액적 클래스 분류를 위해 이미지의 클래스는 softmax 분류기를 사용하여 결정될 수 있다.
상술한 CNN 알고리즘을 적용하여 미세 액적 영상 프레임이 액적 클래스별로 분류될 수 있다. 분류된 프레임은 프레임 시간에 따라 누적되어 누적된 프레임 세트의 분사 상태를 결정할 수 있도록 한다. 단일 분사 및 다중 분사 프로세스의 인쇄 상태를 모니터링하여 확립된 CNN 모델을 구축한 후 미세 액적 영상 프레임 분류부(100)의 영상 프레임 분류 알고리즘으로 적용할 수 있도록 하였다.
도 3과 같이, 상기 미세 액적 영상 프레임 분류부(100)는 미세 액적 영상 프레임들이 입력되는 경우, 영상 프레임을 '비방출형(none)', '분출형(ejection)', '테일형(tail)', '드롭형(drop)' 또는 '위성형(satellite)'으로 클래스를 부여하여 분류한 후 출력하게 되며, 차후 분사 상태 평가 지표로 사용된다.
<실험예>
도 4 내지 도 14는 본 발명을 적용하여 잉크젯 프린팅에서의 잉크젯 미세 액적의 분사 상태를 평가한 것을 나타내는 도면으로서, 이하 도 4 내지 도 14를 참조하여 본원 발명의 적용 예를 설명한다.
구체적으로, 도 4는 도 3의 미세 액적 분사 상태 모니터링 방법에 의해 잉크젯 미세 액적의 분사 상태를 평가한 처리과정을 나타내는 개념도이다.
도 4의 경우, 잉크젯 프린팅은 상용 잉크젯 프린터(DMP-2850, Fujifilm Dimatix, Inc., USA)와 은 잉크(DGP 40LT-15C, ANP, Korea)가 채워진 카트리지(DMC-11610, Fujifilm Dimatix, Inc., USA)를 사용하여 수행하였다. CCD 카메라는 도 4의 (a)와 같이 카트리지의 노즐을 관찰할 수 있는 위치에 설치되었다. CCD 카메라로 관찰한 영상 프레임을 시간 순으로 기록하여 CNN 분류를 위한 입력 데이터로 사용하였다.
도 4의 b와 같이, 각각의 미세 액적은 '비방출형(none)', '분출형(ejection)', '테일형(tail)', '드롭형(drop)' 또는 '위성형(satellite)'의 5개 중 하나의 액적 클래스(class)를 가진다.
도 3의 MobileNetV2 기반 CNN 모델은 도 4의 c와 같이 프레임 분류기(미세 액적 영상 프레임 분류부(100))로 사용되었다.
각각의 영상 프레임은 CNN 알고리즘이 적용된 상기 미세 액적 영상 프레임 분류부(100)에 의해 도 4의 설명에서 정의된 미세 액적 클래스에 따라 '비방출형(none)', '분출형(ejection)', '테일형(tail)', '드롭형(drop)' 또는 '위성형(satellite)'의 5개 중 하나의 액적 클래스(class)로 인덱싱되어 분류된다.
분류된 프레임은 도 4의 d와 같이 분사 상태를 평가하기 위해 미세 액정 영상 프레임 그룹화부(200)에 의해 그룹화된 후 단위 미세 액적 분사 시간 내에서 프레임 시간 순서대로 나열된다.
미세 액적 분사 상태 평가부(300)는 단위 미세 액적 분사 시간 내에서 프레임 시간 순서대로 나열된 프레임 액정 유형 시간 프로파일을 기반으로 프레임 세트 즉 미세 액정 영상 프레임 그룹의 분사 상태가 평가된다.
도 5는 잉크젯 미세 액적 분사 상태를 나타내는 도면이다.
도 5의 (a)는 미세 액적 분사 상태에 대한 정의를 나타내며, 도 5의 (b)는 전문가가 준비한 분사 맵을 나타낸다.
미세 액적 분사 상태 평가부(300)는 도 5의 (a)의 기준에 따라, 단위 미세 액적 분사 시간 내에서 프레임 시간 순서대로 나열된 프레임 액정 클래스 시간 프로파일을, 도 4 및 도 5의 (a)에서 정의된 기준에 따라, 안정적 분사(stable jet), 위성형 분사(satellite jet) 및 비분사(no jet) 중 어느 하나의 미세 액적 분사 상태로 평가한다.
분사 상태가 안정적으로 유지되도록 하려면 카트리지 액추에이터의 제어 매개변수를 적절하게 결정해야 한다. 액추에이터 매개변수에 의해 결정되는 분사력이 잉크와 노즐 내벽 사이의 마찰력보다 작으면 잉크가 토출되지 않는다. 이 상태는 "비분사"로 간주되며 막힘과 같은 다양한 상황에 의해 유발될 수 있다. 반면, 분사력이 지나치게 높으면 미세 액적이 부서져 여러 미세 액적으로 분리된 경우 "위성형 분사"로 지정되며 위성 액적 증착이 제어되지 않기 때문에 고해상도 인쇄에 적합하지 않다. 분사력이 "비분사"와 "위성형 분사"의 경우의 힘 사이의 범위에 위치하면 "안정적 분사"가 형성되고 노즐에서 하나의 액적만 토출된다.
본 발명의 딥러닝된 알고리즘의 생성을 위한 딥러닝을 위한 데이터 세트를 획득하기 위해 CCD 카메라를 사용하여 펄스 진폭이 12V에서 27V까지, 펄스 폭이 1μs에서 3.5μs까지 각각 변화하는 제트 상태를 관찰했다. 전체적으로 36개의 단일 분사 실험이 "비분사(no jet)", "안정된 분사(stable jet)" 및 "위성형 분사(satellite jet)"의 세 가지 상태 중 하나로 분류되었다. 도 5의 (b)는 전문가가 준비한 분류 결과를 분사 맵이라고 하는 것으로 표시한 것이다.
CNN 알고리즘으로서 MobileNetV2 모델이 적용된 미세 액적 영상 프레임 분류부(100)는 CCD 카메라에서 관찰된 프레임을 '비방출형(none)', '분출형(ejection)', '테일형(tail)', '드롭형(drop)' 및 '위성형(satellite)'의 5개의 액적 클래스 중 하나로 인덱싱한다.
단일 분사 분류 문제에 대해 7,852개의 프레임이 생성되었으며 그 중 20%를 검증 데이터로 분할했다. 훈련 데이터에는 6,284개의 프레임이 사용되었고 검증 데이터에는 1,568개의 프레임이 사용되었다. 다중 노즐을 사용한 잉크젯 인쇄도 수행하여 1,463개의 프레임을 획득했다. 프레임 중 훈련 데이터는 1,172프레임, 검증 데이터는 291프레임을 사용하였다. 또한 이 프레임들과 다른 693개의 프레임이 추가적으로 다중 분사 분류를 위한 테스트 데이터로 사용되었다.
딥러닝 모델은 모델이 훈련된 데이터뿐만 아니라 일반화를 위해 새로운 입력에서도 잘 수행되어야 한다. 단일 분사 및 다중 분사에 대한 배치 크기, 학습률, L2 정규화 및 드롭아웃 비율 측면에서 학습 프로세스의 성능을 모니터링하기 위해, 학습 및 검증 데이터가 손실(loss) 및 정확도 학습 곡선 상에서 잘 근사 되는지 조사 되었다. 모델 간의 학습 곡선을 비교하기 위해 모든 학습에 대해 에포크(Epoch) 번호가 50으로 설정되었다.
Figure pat00001
교차 엔트로피 손실 함수는 [수학식 1]과 같이 다중 클래스 분류에 사용되었다. 훈련 입력 이미지 x와 픽셀 j에 대해 합산하고 훈련 데이터 세트의 n개 이미지에 대해 평균을 냈다. 는 실제 클래스 레이블(액적 클래스)에서 하나의 핫 인코딩된 벡터였다. 는 계층 L의 예측된 클래스 레이블로, 분류기의 로짓 출력을 정규화하여 교차 엔트로피에 대한 확률을 만들고 수치적 안정성과 함께 성능을 향상시키기 위해 출력 계층의 softmax 활성화 함수에 의해 계산되었다. 교차 엔트로피는 각 반복에 대한 학습 데이터와 모델 예측 간의 확률 차이를 계산하여 모델이 얼마나 잘 최적화되었는지 평가했다.
Figure pat00002
훈련 데이터에 수천만 개의 예제가 포함되어 있지 않은 한 정규화는 더 많은 데이터를 수집하는 대안으로 간주되어야 한다. 모델의 복잡성은 손실 함수에 패널티를 추가하는 것을 포함하는 정규화에 의해 제어된다. 정규화는 가중치 감쇠 계수와 같은 초매개변수를 조정하여 잘못된 문제를 안정적인 형태로 다시 설명한다. [수학식 2]는 L2 가중치 감소 정규화 교차 엔트로피 손실 함수를 나타내며, 여기서 0은 비정규화 손실 함수, 는 가중치, λ는 가중치 감소 정규화 계수이다.
Figure pat00003
미니 배치 경사하강법(Mini-batch gradient descent-MGD)은 미니 배치에 대해 반복하고 오류의 역전파에 의해 입력의 중요성을 지정하는 가중치를 업데이트함으로써 교차 엔트로피를 최소화하는 최적화기로 사용되었다. MGD 옵티마이저를 기반으로 한 손실은 변동하여 잠재적으로 더 나은 로컬 최소값으로 점프하여 성능을 향상시킨다. 가중치 감쇠 인자(1俉/)가 있는 MGD에 대한 정규화된 학습 규칙은 [수학식 3]에 의해 다음과 같이 계산되었다. 여기서 m은 배치 크기, 0,는 각 훈련 이미지에 대한 비정규화된 손실, η는 최소에 도달하기 위한 단계의 크기를 결정하는 학습률이다. 훈련 데이터는 학습 과정에서 의미 있는 순서로 훈련 데이터를 제공하여 모델의 편향을 유발하는 것을 피하기 위해 매 에포크(epoch) 후에 뒤섞인다. MGD 옵티마이저의 운동량은 0.9로 설정되어 MGD를 가속화하여 로컬 옵티마로 수렴하고 그것 주변에서의 진동을 완화할 수 있었다.
드롭아웃(Dropout)은 다른 형태의 정규화와 함께 사용하여 모델을 더욱 개선할 수도 있다. 드롭아웃(Dropout)은 각 훈련 단계에서 레이트(rate)의 빈도로 드롭아웃(dropout) 레이어의 단위를 무작위로 생략하여 과적합을 방지하는 데 사용되었다.
단일 분사 실험은 도 5의 (b)와 같이 요약 되었으며, 펄스 폭(μs)과 펄스 진폭(V)을 변화시키며 다양한 분사 조건을 산출하였다. 개별 실험에는 약 200개의 프레임이 있었고 모든 실험에 대해 7,852개의 프레임으로 합산되었다. 모든 프레임의 액적은 도 4의 (b)의 '비방출형(none)', '분출형(ejection)', '테일형(tail)', '드롭형(drop)' 또는 '위성형(satellite)' 중 하나를 지정하도록 분류되었다.
도 6은 훈련 및 검증 데이터의 최적화된 단일 분사 모델 학습 곡선으로서 도 6의 (a)는 에포크에 대한 손실(loss), 도 6의 (b)는 에포크에 대한 정확도를 나타내는 그래프이다.
도 6의 경우, 단일 분사 분류는 정확도 및 손실 학습 곡선을 사용하여 조사되었으며 도 6과 같이 최적화되었다. MobileNetV2 하이퍼파라미터는 256 배치 크기, 0.0005 학습률(learning rate), 0.0005 L2 정규화기(regularizer) 및 0.2 탈락률(dropout rate)로 최적화되었다. 정확도(accuracy)와 손실(loss)은 훈련 데이터에 대해 각각 0.90 및 0.64, 검증 데이터에 대해 0.86 및 0.68이었다.
최적화 이전에는 validation loss가 training loss보다 높았는데, 이는 모델에 약간의 과적합이 있었음을 의미한다. 학습률이 너무 크면 학습 곡선이 훈련 중에 무질서하게 요동쳐 좋지 않은 결과를 제공한다. Overfitting은 배치 크기를 최대 256까지 늘리고 학습률을 0.0005까지 줄임으로써 주로 해결되었다. 알고리즘에서 0.00005부터 0.0005까지 더 강한 L2 가중치 패널티를 사용함으로써 과적합을 부분적으로 해결했다. 정확도(accuracy)와 손실(loss) 학습 곡선은 탈락률이 0.2일 때 학습 데이터와 검증 데이터가 잘 근사 되었다.
도 7은 잉크젯 미세 액적 영상 프레임 그룹들의 잉크젯 미세 액적 분사 상태를 평가한 결과를 나타내는 도면이다.
최적화된 학습 모델을 사용하여 모든 단일 분사 프레임에 대해 미세 액적 영상 프레임을 분류했다. 실제 및 예측된 미세 액적 영상 프레임 클래스는 추가적으로 미세 액적 영상 프레임이 유래된 각 단일 분사 실험의 분사 상태를 평가하기 위해 프레임 액적 클래스-시간 그래프를 구성하기 위해 사용되었다. 대표적인 미세 액적 영상 프레임 분류 결과는 도 7의 a-e, f-j 및 k-o에 각각 비분사(no jet), 안정적 분사(stable jet) 및 위성형 분사(satellite jet)의 분사 상태를 나타낸다. 실제(True) 및 예측(Predicted) 클래스는 각 프레임의 상단 (*) 및 하단 (**) 라인에 각각 시각화된다. 도 7의 a-e는 2μs 펄스 폭 및 15V 펄스 진폭으로 수행된 실험의 129번째부터 141번째까지의 프레임 사이에서 추출되었다. 도 7의 f-j는 3.5μs 펄스 폭과 18V 펄스 진폭으로 수행된 실험의 91번째부터 103번째까지의 프레임 사이에서 추출되었다. 도 7의 k-o는 3.5μs 펄스 폭과 27V 펄스 진폭으로 수행된 실험의 29번째부터 41번째까지의 프레임 사이에서 추출되었다. 미세 액적 영상 프레임은 각 분사 상태에 대해 3개 프레임마다 한 번씩 시퀀싱되었다. 배경의 얼룩에도 불구하고 각 액적은 실제 클래스로 잘 분류되어 모델의 예측 가능성을 보여주었다.
도 8은 분사 상태 평가를 위한 대표적인 단일 분사 프레임 클래스 시간 프로파일을 나타내는 그래프이다.
단일 분사 액적 프레임 클래스 시간 프로파일은 프레임별로 잉크젯 프로세스의 분사 상태를 쉽게 시각화하고 설명했다. 대표적인 단일 분사 프레임 클래스 시간 프로파일은 각각 도 8의 a, b 및 c에 표시된 것처럼 "비분사(no jet)", "안정된 분사(stable jet)" 및 "위성형 분사(satellite jet)"의 분사 상태에 대해 선택되었다. 선택한 FPS(초당 프레임)는 25로 8초 연속 프레임에서 200프레임이 생성되었다. 훈련 및 검증 데이터의 프레임 클래스는 시각적 구분의 용이성을 위해 각각 파란색 선과 빨간색 점으로 표시된다. 몇 프레임의 분류 실패에도 불구하고 예측된 단일 분사 클래스 시간 프로파일은 실제 클래스 시간 프로파일을 정확히 따르는 것으로 입증되었다. 시간 프로파일은 분사 조건이 속한 분사 상태를 나타낸다. 세 가지 다른 상태의 시간 프로파일은 서로 다르며 도 5의 a와 같이 전형적인 특성을 분명히 따랐다. 분사 상태는 드롭형 액적(drop droplet) 또는 위성형 액적(satellite droplet)의 유무에 따라 분류하였다. 이러한 접근 방식을 사용하여 모든 분사 조건을 세 가지 상태로 분류할 수 있다.
최적화된 단일 분사 CNN 모델에서 플롯된 다른 모든 단일 분사 프레임 클래스 시간 그래프는 도 5의 b의 잉크젯 전문가가 제공한 분류 결과와 비교하여 액적의 일시적인 측면에 대해 더 통찰력 있는 정보를 제공했다. 모델이 액적 프레임을 정확하게 분류할 수 있음이 입증되었다.
다음으로, 최적화된 다중 분사 모델에 대하여 평가하였다.
미세 액적 영상 프레임에 7개의 노즐을 사용하여 다중 분사 액적 분류를 수행했다. 1,463개의 미세 액적 영상 프레임이 각 노즐 간에 동일한 전압을 인가하거나 임의의 전압을 인가하며 수행된 두 가지 실험의 7개의 분할된 노즐에서 훈련 및 검증 데이터를 위해 수집되었다. 훈련된 모델이 잉크젯 실험을 종합적으로 예측할 수 있는 능력을 갖도록 의도되었다. 추가적인 693 프레임이 테스트 데이터로써 모델의 분류 능력을 입증하기 위해, 각 노즐에 임의의 전압을 가하는 또 다른 다중 분사 실험으로부터 생성되었다.
도 9는 훈련 및 검증 데이터의 최적화된 다중 분사 모델 학습 곡선으로서 도 9의 a는 에포크에 대한 손실, 도 9의 b는 에포크에 대한 정확도를 나타내는 그래프이다.
다중 분사 모델 하이퍼파라미터는 도 9와 같이 64 배치 크기(batch size), 0.003 학습률(learning rate), 0.00005 L2 정규화기(regularizer), 0.01 탈락률(dropout rate)로 최적화되었다.
도 10은 배치 크기에 따른 훈련 및 검증 데이터의 다중 분사 모델 학습 곡선을 나타내는 그래프로서, 32 배치(batch) 크기, 0.005 학습률(learning rate), 0.0001 L2 정규화기(regularizer) 및 0.2 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 10의 a) 및 정확도(accuracy)(도 10b), 64 배치(batch) 크기, 0.005 학습률(learning rate), 0.0001 L2 정규화기(regularizer) 및 0.2 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 10 c) 및 정확도(accuracy)(도 10 d), 128 배치(batch) 크기, 0.005 학습률(learning rate), 0.0001 L2 정규화기(regularizer) 및 0.2 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 10 e) 및 정확도(accuracy)(도 10의 f), 256 배치(batch) 크기, 0.005 학습률(learning rate), 0.0001 L2 정규화기(regularizer), 및 0.2 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 10 g) 및 정확도(accuracy)(도 10 h)를 나타낸다.
도 11은 학습률에 따른 훈련 및 검증 데이터의 다중 분사 모델 학습 곡선을 나타내는 그래프로서, 32 배치(batch) 크기, 0.001 학습률(learning rate), 0.0001 L2 정규화기(regularizer) 및 0.2 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 11의 a) 및 정확도(accuracy)(도 11의 b), 32 배치(batch) 크기, 0.003 학습률(learning rate), 0.0001 L2 정규화기(regularizer) 및 0.2 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 11의 c) 및 정확도(accuracy)(도 11d), 32 배치(batch) 크기, 0.005 학습률(learning rate), 0.0001 L2 정규화기(regularizer) 및 0.2 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 11 e) 및 정확도(accuracy)(도 11의 f), 32개의 배치(batch) 크기, 0.01 학습률(learning rate), 0.0001 L2 정규화기(regularizer) 및 0.2 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 11의 g) 및 정확도(accuracy)(도 11의 h)를 나타낸다.
도 12는 L2 정규화기(regularizer)에 따른 훈련 및 검증 데이터의 다중 분사 모델 학습 곡선을 나타내는 그래프로서, 64 배치(batch) 크기, 0.003 학습률(learning rate), 0 L2 정규화기(regularizer) 및 0 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 12의 a) 및 정확도(accuracy)(도 12의 b), 64 배치(batch) 크기, 0.003 학습률(learning rate), 0.00005 L2 정규화기(regularizer), 및 0 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 12의 c) 및 정확도(accuracy)(도 12의 d), 64 배치(batch) 크기, 0.003 학습률(learning rate), 0.0005 L2 정규화기(regularizer) 및 0 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 12의 e) 및 정확도(accuracy)(도 12의 f)를 나타낸다.
도 13은 탈락률(dropout rate)에 따른 훈련 및 검증 데이터의 다중 분사 모델 학습 곡선을 나타내는 그래프로서, 64 배치(batch) 크기, 0.003 학습률(learning rate), 0.00005 L2 정규화기(regularizer) 및 0 탈락률(dropout rate)의 하이퍼파라미터의 손실률(도 13의 a) 및 정확도(accuracy)(도 13의 b), 64 배치(batch) 크기, 0.003 학습률(learning rate), 0.00005 L2 정귤화기(regularizer) 및 0.01 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 13의 c)및 정확도(accuracy)(도 13의 d), 64 배치(batch) 크기, 0.003 학습률(learning rate), 0.00005 L2 정규화기(regularizer) 및 0.05 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 13의 e) 및 정확도(accuracy)(도 13의 f), 64 배치(batch) 크기, 0.003 학습률(learning rate), 0.00005 L2 정규화기(regularizer) 및 0.2 탈락률(dropout rate)의 하이퍼파라미터를 포함하는 모델의 손실(loss)(도 13의 g) 및 정확도(accuracy)(도 13의 h)를 나타낸다.
다중 분사 모델 최적화에 대한 자세한 내용은 각각 배치 크기, 학습률, L2 정규화기 및 탈락률을 기반으로 하는 도 10 내지 도 13에서 찾을 수 있다.
다중 분사 모델의 경우, 모델 최적화 이전에 도 10 내지 도 11과 같이 검증 손실이 훈련 손실보다 낮은 것으로 관찰되었다. 이는 정규화 또는 탈락으로 인한 것일 수 있으며, 모델이 과도하게 정규화되었음을 의미한다. 정규화 및 탈락은 검증 중에 적용되지 않았지만 훈련 중에 적용되었으므로, 결과적으로 훈련의 손실보다 검증의 손실이 더 낮을 수 있다. 따라서 도 12 및 13과 같이 L2 가중치 감쇠 강도와 탈락률을 감소시켜 과도한 정규화를 완화하여 모델을 잘 피팅했다. 탈락으로 인한 오도가 없을 때 모델이 실제로 잘 피팅이 되는지 확인하기 위해 도 12에서 탈락 없이 손실을 평가했다.
도 14는 딥러닝 기반 미세 액적 분류를 통한 다중 분사 모니터링의 시연 결과를 나타내는 도면이다.
다중 분사 모니터링은 도 14와 같이 최적화된 다중 분사 모델 기반 액적 분류를 사용하여 시연되었다. 미세 액적 분사 상태 모니터링을 위한 다중 분사 프로세스는 딥러닝 기반 미세 액적 영상 프레임 분류부(100)로 모니터링할 수 있어, 개별 분사가 안정적인지 여부를 판단하기 위해 용이한 분사 상태 평가가 가능함을 보여주었다.
다중 분사 프레임은 시간 순으로 플롯되었다. 각 프레임에는 왼쪽에서 오른쪽으로 7개의 노즐이 있었다. 다중 분사 프레임 안에서 각 액적 프레임으로부터 얻어진 테스트 데이터의 예측된 클래스는 각 미세 유체 노즐에 각각 표시된다. 'N', 'E', 'T', 'D', 'S'는 각각 '비방출형(none)', '분출형(ejection)', '테일형(tail)', '드롭형(drop)' 또는 '위성형(satellite)'을 나타낸다. 시리즈 프레임의 노즐 상단에 표시된 녹색 표시등은 분사 상태가 "안정된 분사(stable jet)"임을 나타낸다. 빨간색 표시등은 노즐이 "비분사(no jet)" 또는 "위성형 분사(satellite jet)"임을 나타낸다.
도 14에서 a는 첫 번째 프레임, b는 두 번째 프레임, c는 세 번째 프레임, d는 네 번째 프레임, e는 다섯 번째 프레임 및 f는 여섯 번째 프레임을 나타낸다.
표시등은 각 노즐에 대한 분사에 대한 진단을 명확하게 보여준다. 이는 "안정된 분사(stable jet)" 상태에서만 분사 조건의 균일한 제어가 가능하기 때문에 균일한 인쇄층을 쉽게 확보하는 데 도움이 될 수 있다.
전반적으로 다양한 얼룩, 조명 및 기타 배경 환경의 다양성이 있음에도 불구하고 다중 분사 모델은 액적 프레임을 정확하게 분류하여 다중 분사 프로세스에서 각 노즐의 분사 상태를 올바르게 평가할 수 있었다.
상술한 본 발명은 프리팅을 수행하지 않는 디스펜서(dispencer)에 적용될 수도 있다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진 자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1: 미세 액적 분사 상태 모니터링 장치

Claims (10)

  1. 미세 액적 분사 상태를 촬영한 미세 액적 영상 프레임들을 입력 받은 후 딥러닝된 미세 액적 영상 프레임 분류 알고리즘을 적용하여 미세 액적의 액적 클래스에 따라 분류하여 미세 액적 영상 프레임 분류데이터를 생성하는 미세 액적 영상 프레임 분류부;
    상기 미세 액적 영상 프레임 분류데이터를 단위 미세 액적 분사 시간 동안의 미세 액적 영상 프레임들의 그룹으로 그룹화하는 미세 액적 영상 프레임 그룹화부; 및
    단위 미세 액적 분사 시간 동안의 상기 미세 액적 영상 프레임 그룹에 포함된 미세 액적들의 클래스에 따라 미세 액적의 분사 상태를 평가하는 미세 액적 분사 상태 평가부;를 포함하여 구성되는 것을 특징으로 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 장치.
  2. 제1항에 있어서, 상기 미세 액적 영상 프레임 분류부에서 생성되는 상기 미세 액적 영상 프레임 분류데이터는,
    상기 미세 액적 영상 프레임의 시간 프로파일 상의 시간과 미세 액적 분류를 위한 미세 액적 클래스 정보를 포함하는 것을 특징으로 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 장치.
  3. 제2항에 있어서, 상기 미세 액적 클래스 정보는,
    하나의 영상 프레임 상에서,
    미세 액적이 관찰되지 않을 때의 '비방출형(none)',
    분사된 미세 액적이 노즐에 매달려 있을 때의 '분출형(ejection)',
    토출된 액적이 노즐에서 떨어져 나온 직후에 액적이 액적의 위쪽에 꼬리를 형성하는 때의 '테일형(tail)',
    하나의 원형 액적(drop)이 관찰되는 때의 '드롭형(drop)' 및
    액적이 전파되면서 토출된 액적의 꼬리가 비말에 흡수되지 않고 토출된 비말과 분리되어 하나 이상의 작은 크기의 위성 액적(satellite droplet)들이 관찰되는 때의 '위성형(satellite)'의 미세 액적 유형을 포함하는 것을 특징으로 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 장치.
  4. 제1항에 있어서,
    상기 미세 액적 분사 상태 평가부에 의해 평가되는 상기 미세 액적의 분사 상태는, 상기 단위 미세 액적 분사 시간 동안의 시간프로파일 상에서 미세 액적 영상 프레임 그룹이,
    비방출(none), 분출형 액적(ejection droplet), 테일형 액적(tail droplet), 드롭형 액적(drop droplet)의 액적 클래스를 순차적으로 포함하는 경우의 안정적 분사(stable jet);
    위성형 액적(satellite droplet) 클래스를 포함하는 경우의 위성형 분사(satellite jet); 또는
    드롭형 액적(drop droplet)과 위성형 액적(satellite droplet) 클래스를 모두 가지지 않는 경우의 비분사(no jet); 중 어느 하나의 미세 액적 분사 상태인 것을 특징으로 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 장치.
  5. 제1항에 있어서, 상기 딥러닝에 적용된 알고리즘은 CNN(Convolutional neural network) 알고리즘을 포함하는 것을 특징으로 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 장치.
  6. 미세 액적 영상 프레임 분류부가 미세 액적 분사 상태를 촬영한 미세 액적 영상 프레임들을 입력 받은 후 딥러닝된 미세 액적 영상 프레임 분류 알고리즘을 적용하여 미세 액적의 액적 클래스에 따라 분류하여 미세 액적 영상 프레임 분류데이터를 생성하는 미세 액적 영상 프레임 분류 단계;
    미세 액적 영상 프레임 그룹화부가 상기 미세 액적 영상 프레임 분류데이터를 단위 미세 액적 분사 시간 동안의 미세 액적 영상 프레임들의 그룹으로 그룹화하는 미세 액적 영상 프레임 그룹화 단계; 및
    미세 액적 분사 상태 평가부가 단위 미세 액적 분사 시간 동안의 상기 미세 액적 영상 프레임 그룹에 포함된 미세 액적들의 액적 클래스에 따라 미세 액적의 분사 상태를 평가하는 미세 액적 분사 상태 평가 단계;를 포함하여 구성되는 것을 특징으로 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 방법.
  7. 제6항에 있어서,
    상기 미세 액적 영상 프레임 분류 단계에서 생성되는 상기 미세 액적 영상 프레임 분류데이터는,
    상기 미세 액적 영상 프레임의 시간 프로파일 상의 시간과 미세 액적 분류를 위한 미세 액적 클래스 정보를 포함하는 것을 특징으로 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 방법.
  8. 제7항에 있어서, 상기 미세 액적 클래스 정보는,
    하나의 영상 프레임 상에서,
    미세 액적이 관찰되지 않을 때의 '비방출형(none)',
    분사된 미세 액적이 노즐에 매달려 있을 때의 '분출형(ejection)',
    토출된 액적이 노즐에서 떨어져 나온 직후에 액적이 액적의 위쪽에 꼬리를 형성하는 때의 '테일형(tail)',
    하나의 원형 액적(drop)이 관찰되는 때의 '드롭형(drop)' 및
    액적이 전파되면서 토출된 액적의 꼬리가 비말에 흡수되지 않고 토출된 비말과 분리되어 하나 이상의 작은 크기의 위성 액적(satellite droplet)들이 관찰되는 때의 '위성형(satellite)'의 미세 액적 유형을 포함하는 것을 특징으로 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 방법.
  9. 제6항에 있어서,
    상기 미세 액적 분사 상태 평가 단계에서 평가되는 상기 미세 액적의 분사 상태는, 상기 단위 미세 액적 분사 시간 동안의 시간프로파일 상에서 미세 액적 영상 프레임 그룹이,
    비방출(none), 분출형 액적(ejection droplet), 테일형 액적(tail droplet), 드롭형 액적(drop droplet)의 액적 클래스를 순차적으로 포함하는 경우의 안정적 분사(stable jet);
    위성형 액적(satellite droplet) 클래스를 포함하는 경우의 위성형 분사(satellite jet); 또는
    드롭형 액적(drop droplet)과 위성형 액적(satellite droplet) 클래스를 모두 가지지 않는 경우의 비분사(no jet); 중 어느 하나의 미세 액적 분사 상태인 것을 특징으로 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 방법.
  10. 제6항에 있어서, 상기 딥러닝에 적용된 알고리즘은 CNN(Convolutional neural network) 알고리즘을 포함하는 것을 특징으로 하는 딥러닝 기반 미세 액적 분사 상태 모니터링 방법.
KR1020210167540A 2021-11-29 2021-11-29 딥러닝 기반 미세 액적 분사 상태 모니터링 장치 및 방법 KR20230080108A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210167540A KR20230080108A (ko) 2021-11-29 2021-11-29 딥러닝 기반 미세 액적 분사 상태 모니터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210167540A KR20230080108A (ko) 2021-11-29 2021-11-29 딥러닝 기반 미세 액적 분사 상태 모니터링 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230080108A true KR20230080108A (ko) 2023-06-07

Family

ID=86761882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210167540A KR20230080108A (ko) 2021-11-29 2021-11-29 딥러닝 기반 미세 액적 분사 상태 모니터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20230080108A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190043135A (ko) 2016-08-22 2019-04-25 아이리스 인터내셔널 인크. 생물학적 입자의 분류 시스템 및 방법
KR102201433B1 (ko) 2019-10-10 2021-01-13 연세대학교 산학협력단 기계학습을 이용한 바이오 에어로졸 모니터링 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190043135A (ko) 2016-08-22 2019-04-25 아이리스 인터내셔널 인크. 생물학적 입자의 분류 시스템 및 방법
KR102201433B1 (ko) 2019-10-10 2021-01-13 연세대학교 산학협력단 기계학습을 이용한 바이오 에어로졸 모니터링 장치 및 그 방법

Similar Documents

Publication Publication Date Title
EP3429862B1 (en) Systems and methods for precision inkjet printing
Nguyen et al. Deep learning methods in transportation domain: a review
CN111565256B (zh) 信息处理装置、学习装置以及非暂时性记录介质
US20200257586A1 (en) Information processing device, learning device, and non-transitory recording medium storing machine-learned model
US11550321B1 (en) System and method for classifying agents based on agent movement patterns
Lotter et al. A neural network trained to predict future video frames mimics critical properties of biological neuronal responses and perception
Urban et al. Do deep convolutional nets really need to be deep (or even convolutional)?
JP2020185743A (ja) 情報処理装置、印刷装置、学習装置及び情報処理方法
US20220036095A1 (en) Device and method for ascertaining a physical property of a physical object
CN112373207B (zh) 喷墨测试方法、装置以及终端设备
She et al. A heterogeneous spiking neural network for unsupervised learning of spatiotemporal patterns
KR20230080108A (ko) 딥러닝 기반 미세 액적 분사 상태 모니터링 장치 및 방법
Brishty et al. Machine learning based data driven inkjet printed electronics: jetting prediction for novel inks
Zhang et al. Predictive trajectory planning for autonomous vehicles at intersections using reinforcement learning
US20120223983A1 (en) Liquid ejection device, inspection method, and program
CN116330845A (zh) 一种新型显示喷印制造液滴体积自适应智能调控方法
JP4311418B2 (ja) ノズル検査装置およびノズル検査方法
WO2023046957A1 (en) Adversarial attacks on perception components
KR20230135198A (ko) 건설중장비의 고장예측 장치 및 방법
Baruah et al. The Perception-Action Loop in a Predictive Agent.
Amirloo et al. Self-supervised simultaneous multi-step prediction of road dynamics and cost map
US20220080736A1 (en) Information processing system, information processing method, and learning device
Barry et al. Fast adaptation to rule switching using neuronal surprise
Wang et al. Prediction of Ejection State for a Pneumatic Valve-Controlled Micro-Droplet Generator by a BP Neural Network
Khandel et al. Sensordrop: A reinforcement learning framework for communication overhead reduction on the edge

Legal Events

Date Code Title Description
E902 Notification of reason for refusal