KR20230078412A - AI-assisted Reliability Assessment Device for Printing, Reliability Assessment Method using the same, and the Printing System - Google Patents

AI-assisted Reliability Assessment Device for Printing, Reliability Assessment Method using the same, and the Printing System Download PDF

Info

Publication number
KR20230078412A
KR20230078412A KR1020210166180A KR20210166180A KR20230078412A KR 20230078412 A KR20230078412 A KR 20230078412A KR 1020210166180 A KR1020210166180 A KR 1020210166180A KR 20210166180 A KR20210166180 A KR 20210166180A KR 20230078412 A KR20230078412 A KR 20230078412A
Authority
KR
South Korea
Prior art keywords
printing
reliability
evaluated
evaluating
evaluation device
Prior art date
Application number
KR1020210166180A
Other languages
Korean (ko)
Inventor
안톤 가푸로프
이택민
김인영
풍탄후이
Original Assignee
한국기계연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기계연구원 filed Critical 한국기계연구원
Priority to KR1020210166180A priority Critical patent/KR20230078412A/en
Publication of KR20230078412A publication Critical patent/KR20230078412A/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41FPRINTING MACHINES OR PRESSES
    • B41F33/00Indicating, counting, warning, control or safety devices
    • B41F33/0036Devices for scanning or checking the printed matter for quality control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41FPRINTING MACHINES OR PRESSES
    • B41F13/00Common details of rotary presses or machines
    • B41F13/08Cylinders
    • B41F13/18Impression cylinders
    • B41F13/187Impression cylinders for rotogravure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management

Abstract

본 발명은 AI 기반의 인쇄 신뢰성 평가장치, 이를 이용한 신뢰성 평가방법 및 신뢰성 평가가 가능한 인쇄 시스템에 관한 것이다.
이를 위하여 본 발명은 평가하고자 하는 인쇄장치의 인쇄 패턴 이미지를 입력받아 인쇄 패턴의 결함 여부를 학습시킨 콘볼루션 신경망 네트워크 모델(CNNs)을 이용하여 인쇄 신뢰성을 평가하는 것을 특징으로 한다.
이로써, 정확하고 정밀한 인쇄 신뢰성 평가가 구현되어 사전에 인쇄 패턴의 결함 가능성을 예측함으로써 인쇄 패턴의 신뢰성을 높일 수 있다.
The present invention relates to an AI-based printing reliability evaluation device, a reliability evaluation method using the same, and a printing system capable of evaluating reliability.
To this end, the present invention is characterized in that printing reliability is evaluated using convolutional neural network models (CNNs) that receive a print pattern image of a printing device to be evaluated and learn whether or not the print pattern is defective.
Accordingly, accurate and precise evaluation of print reliability is implemented, and reliability of the print pattern may be increased by predicting the possibility of defects of the print pattern in advance.

Description

AI 기반의 인쇄 신뢰성 평가장치, 이를 이용한 신뢰성 평가방법 및 신뢰성 평가가 가능한 인쇄 시스템{AI-assisted Reliability Assessment Device for Printing, Reliability Assessment Method using the same, and the Printing System} Al-assisted Reliability Assessment Device for Printing, Reliability Assessment Method using the same, and the Printing System}

본 발명은 AI 기반의 인쇄 신뢰성 평가장치, 이를 이용한 신뢰성 평가방법 및 신뢰성 평가가 가능한 인쇄 시스템에 관한 것으로, 더욱 상세하게는 반복된 기판 인쇄에 의하여 발생될 수 있는 인쇄 결함을 사전에 예측하기 위한 AI 기반의 인쇄 신뢰성 평가장치, 이를 이용한 신뢰성 평가방법 및 신뢰성 평가가 가능한 인쇄 시스템에 관한 것이다.The present invention relates to an AI-based printing reliability evaluation device, a reliability evaluation method using the same, and a printing system capable of evaluating reliability, and more particularly, AI for predicting printing defects that may occur due to repeated substrate printing in advance. It relates to a printing reliability evaluation device based on the same, a reliability evaluation method using the same, and a printing system capable of evaluating reliability.

전자장치의 기판 인쇄는 균질한 인쇄 패턴을 형성하는 것이 무엇보다 중요하다. 인쇄의 결함은 전자장치의 성능을 저하시키고, 고장을 유발할 수 있으므로 인쇄 패턴은 실시간으로 평가되어 인쇄 장치에 존재하는 결함이 없는지 확인되어야 한다.In the substrate printing of electronic devices, it is most important to form a homogeneous printed pattern. Since defects in printing can degrade the performance of the electronic device and cause a failure, the printed pattern must be evaluated in real time to confirm that there are no defects in the printing device.

한편, 그라비아 오프셋(Gravure offset) 인쇄장치는 그리드 투명전극, 압력 센서 및 평면 인덕터와 같은 다양한 전자장치에 활용되는 인쇄 기술로서, 인쇄의 단위가 마이크로미터에 이를 정도로 미세한 해상도로 구현 가능하고, 전자발광 디스플레이(ELD) 및 무선 주파수 식별(RFID) 안테나와 같은 평면이 아닌 전자장치를 인쇄하는데 널리 활용되고 있다.On the other hand, the gravure offset printing device is a printing technology used in various electronic devices such as grid transparent electrodes, pressure sensors, and flat inductors, and can be implemented with a resolution as fine as the unit of printing reaches a micrometer, and electroluminescence It is widely used to print non-planar electronic devices such as displays (ELDs) and radio frequency identification (RFID) antennas.

이러한 그라비아 오프셋 인쇄는 도 1의 (a) 내지 (h)에 도시된 바와 같은 순서로 진행되는 것으로, 먼저 그라비아 플레이트(또는 롤러)에 잉크를 채우고((a),(b) 참조) 잉크 독터링을 수행한 후((c) 참조), 실리콘 소재의 블랭킷 롤러를 이용하여 그라비아 플레이트로부터 잉크를 옮기게 된다(off 과정, (d) 내지 (f) 참조). 이후, 블랭킷 롤러로 옮겨진 잉크는 기판으로 전사됨으로써 기판상에 다수의 인쇄 라인을 형성하게 된다(set 과정, (g) 내지 (h) 참조). This gravure offset printing proceeds in the order shown in (a) to (h) of FIG. 1, first filling the gravure plate (or roller) with ink (see (a), (b)) and ink doctoring After performing (see (c)), ink is transferred from the gravure plate using a blanket roller made of silicon (off process, see (d) to (f)). Thereafter, the ink transferred to the blanket roller is transferred to the substrate to form a plurality of print lines on the substrate (set process, see (g) to (h)).

도 2는 그라비아 오프셋 인쇄에서 이루어지는 (a)off 과정과 (b)set 과정에서의 잉크 전달 메커니즘을 보다 이해하기 쉽게 도시한 것으로, 잉크가 그라이바 플레이트에서 블랭킷 롤러를 거쳐 기판으로 전사되는 과정을 거치게 된다. 따라서, 이상적인 인쇄 패턴을 형성하기 위해서는 블랭킷 롤러에 옮겨진 잉크가 100% 기판으로 전사될 수 있어야 하며, 이는 블랭킷 롤러와 잉크의 부착력 보다 잉크 자체의 응집력과 기판에 대한 부착력이 높을 때 보장될 수 있다.Figure 2 shows the ink delivery mechanism in the (a) off process and (b) set process in gravure offset printing to make it easier to understand. do. Therefore, in order to form an ideal print pattern, 100% of the ink transferred to the blanket roller should be able to be transferred to the substrate, and this can be guaranteed when the cohesive force of the ink itself and the adhesive force to the substrate are higher than the adhesive force of the blanket roller and the ink.

그런데, 인쇄 과정에서 블랭킷 롤러의 실리콘 소재에는 잉크의 용매(solvent)가 흡수(swelling)되나, 반복된 인쇄로 용매 흡수가 포화상태에 이르러 더 이상 흡수되지 않게 되고, 그로인해 잉크 자체의 응집력이 저하되어 블랭킷 롤러에 잉크가 잔존한 상태로 기판에 전사되지 못하는 현상이 발생된다. 이러한 인쇄 결함은 반복되는 오프셋 과정에서 다음 차례의 set 과정에 영향을 미치게 되어 인쇄 라인의 너비 확장, 돌출부의 형성, 불량한 표면 거칠기 등을 야기하게 된다. 그 예로서 도 3의 (a)는 결함이 없는 인쇄 라인이며, (b)는 결함이 형성된 인쇄 라인이다.However, in the printing process, the solvent of the ink is absorbed into the silicone material of the blanket roller, but the solvent absorption reaches saturation through repeated printing and is no longer absorbed, thereby reducing the cohesion of the ink itself. As a result, a phenomenon occurs in which ink is not transferred to the substrate in a state in which ink remains on the blanket roller. These printing defects affect the next set process in the repeated offset process, resulting in expansion of the width of the printed line, formation of protrusions, poor surface roughness, and the like. As an example, (a) of FIG. 3 is a printed line without defects, and (b) is a printed line with defects.

한편, 종래에는 기판에 이루어지는 인쇄 패턴을 실시간으로 모니터링하여 너비를 기준으로 허용치를 벗어나는 인쇄 패턴을 감지하였다. 그러나, 종래의 인쇄 패턴 감지방식은 인쇄 라인의 너비에만 전적으로 의존함에 따라 기존의 영상 처리장치에 의하여 일부 결함이 파악되지 못하는 한계가 있었다. On the other hand, conventionally, a printed pattern formed on a substrate is monitored in real time to detect a printed pattern that is out of tolerance based on the width. However, since the conventional print pattern detection method completely relies only on the width of the printed line, there is a limitation in that some defects cannot be detected by the conventional image processing device.

대한민국 공개특허 제10-2009-0089070호 (2011.03.29 공개)Republic of Korea Patent Publication No. 10-2009-0089070 (published on March 29, 2011) 대한민국 공개특허 제10-2010-0048921호 (2011.12.02 공개)Republic of Korea Patent Publication No. 10-2010-0048921 (published on 2011.12.02) 대한민국 공개특허 제10-2010-0072327호 (2010.12.14 공개)Republic of Korea Patent Publication No. 10-2010-0072327 (published on December 14, 2010) 대한민국 공개특허 제10-2010-0126201호 (2010.12.01 공개)Republic of Korea Patent Publication No. 10-2010-0126201 (published on December 1, 2010) 대한민국 공개특허 제10-2010-0126918호 (2012.05.29 공개)Republic of Korea Patent Publication No. 10-2010-0126918 (published on May 29, 2012) 대한민국 공개특허 제10-2011-0067433호 (2011.12.09 공개)Republic of Korea Patent Publication No. 10-2011-0067433 (published on December 9, 2011) 대한민국 공개특허 제10-2012-0016317호 (2013.08.27 공개)Republic of Korea Patent Publication No. 10-2012-0016317 (published on August 27, 2013) 대한민국 공개특허 제10-2012-0144212호 (2014.06.20 공개)Republic of Korea Patent Publication No. 10-2012-0144212 (published on June 20, 2014)

본 발명은 전술한 문제 및 이와 관련된 다른 문제를 해결하는 것을 목적으로 한다.The present invention aims to solve the above problems and other problems related thereto.

본 발명의 일 예시적 목적은, 인쇄장치에 의하여 균질한 인쇄 패턴이 형성될 수 있도록 인쇄 패턴의 결함 여부를 사전에 학습시킨 AI 모델을 활용하고, 이로써 사전에 인쇄 패턴의 결함 가능성을 예측하여 인쇄 패턴의 신뢰성을 높일 수 있으며, 실시간으로 인쇄 패턴을 확인하여 인쇄장치의 구동을 제어하고자 한다.An exemplary object of the present invention is to use an AI model that has previously learned whether or not a print pattern is defective so that a homogeneous print pattern can be formed by a printing device, thereby predicting the possibility of a print pattern defect in advance and printing It is possible to increase the reliability of the pattern, and to check the printing pattern in real time to control the driving of the printing device.

본 명세서에 개시된 기술의 기술적 사상에 따른 AI 기반의 인쇄 신뢰성 평가장치, 이를 이용한 신뢰성 평가방법 및 신뢰성 평가가 가능한 인쇄 시스템이 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제는 아래의 기재로부터 통상의 기술자가 명확하게 이해될 수 있을 것이다.The technical tasks to be achieved by the AI-based printing reliability evaluation device according to the technical idea of the technology disclosed in this specification, the reliability evaluation method using the same, and the printing system capable of evaluating reliability are not limited to the above-mentioned tasks, and are not limited to those mentioned above. Other tasks will become apparent to those skilled in the art from the description below.

본 발명의 일 실시예에 따른 AI 기반의 인쇄 신뢰성 평가장치는, 평가하고자 하는 인쇄장치의 인쇄 패턴 이미지를 입력받아 인쇄 패턴의 결함 여부를 학습시킨 콘볼루션 신경망 네트워크 모델(CNNs)을 이용하여 인쇄 신뢰성을 평가하도록 구성된다.An AI-based printing reliability evaluation apparatus according to an embodiment of the present invention receives a printing pattern image of a printing device to be evaluated and uses convolutional neural network models (CNNs) to learn whether or not a printing pattern is defective. is configured to evaluate

또한, 상기 인쇄 패턴은 복수의 인쇄 라인(Printed Line)을 포함하는 인쇄 패턴일 수 있다.Also, the printed pattern may be a printed pattern including a plurality of printed lines.

또한, 상기 인쇄 라인의 폭(W) 변화를 식별하여 인쇄 신뢰성을 평가할 수 있다.In addition, printing reliability can be evaluated by identifying a change in the width (W) of the printed line.

그리고 상기 인쇄 라인의 폭(W) 변화에 기초하여 벌지(Bulge)를 식별하고, 식별된 벌지의 개수를 산정하여 인쇄 신뢰성을 평가할 수 있다.In addition, bulges may be identified based on the change in the width (W) of the printed line, and the number of identified bulges may be calculated to evaluate printing reliability.

본 발명의 다른 실시예에 따른 AI 기반의 인쇄 신뢰성 평가장치는, 평가하고자 하는 그라비아 오프셋(Gravure Offset) 인쇄장치의 인쇄 패턴 이미지를 입력받아 인쇄 라인의 폭(W) 변화를 식별하여 인쇄 신뢰성을 평가하도록 구성된다.An AI-based printing reliability evaluation device according to another embodiment of the present invention receives a printing pattern image of a gravure offset printing device to be evaluated, identifies a change in the width (W) of a printing line, and evaluates printing reliability is configured to

또한, 상기 인쇄 라인의 폭(W) 변화에 기초하여 벌지(Bulge)를 식별하고, 식별된 벌지의 개수를 산정하여 인쇄 신뢰성을 평가할 수 있다.In addition, printing reliability may be evaluated by identifying bulges based on a change in the width (W) of the printed line and calculating the number of identified bulges.

그리고 인쇄 패턴의 결함 여부를 학습시킨 콘볼루션 신경망 네트워크 모델(CNNs)을 이용하여 인쇄 신뢰성을 평가할 수 있다.In addition, printing reliability can be evaluated using convolutional neural network models (CNNs) that have learned whether or not a print pattern has defects.

한편, 본 발명의 일 실시예에 따른 AI 기반의 인쇄 신뢰성 평가방법은, 인쇄 신뢰성 평가장치가, 평가하고자 하는 인쇄장치의 인쇄 패턴 이미지를 입력받는 단계; 및 인쇄 패턴의 결함 여부를 학습시킨 콘볼루션 신경망 네트워크 모델(CNNs)을 이용하여 인쇄 신뢰성을 평가하는 단계;를 포함한다.Meanwhile, an AI-based printing reliability evaluation method according to an embodiment of the present invention includes the steps of receiving, by a printing reliability evaluation device, a print pattern image of a printing device to be evaluated; and evaluating print reliability using convolutional neural network models (CNNs) that have learned whether or not the print pattern is defective.

또한, 상기 인쇄 신뢰성을 평가하는 단계는, 상기 인쇄 라인의 폭(W) 변화에 기초하여 벌지(Bulge)를 식별하는 단계; 및 식별된 벌지의 개수를 산정하여 인쇄 신뢰성을 평가하는 단계;를 포함할 수 있다.The evaluating of the printing reliability may include identifying a bulge based on a change in the width (W) of the printed line; and evaluating the printing reliability by calculating the number of identified bulges.

한편, 본 발명의 일 실시예에 따른 인쇄 신뢰성 평가가 가능한 인쇄 시스템은, 인쇄장치; 인쇄장치를 제어하고, 인쇄 패턴 이미지를 촬영하는 제어장치; 및 상기 제어장치가 촬영한 인쇄 패턴 이미지를 입력받아 인쇄 신뢰성을 평가하여 상기 제어장치로 전달하는 평가장치;로 구성된다.Meanwhile, a printing system capable of evaluating printing reliability according to an embodiment of the present invention includes a printing device; a control device for controlling the printing device and photographing a print pattern image; and an evaluation device that receives the print pattern image captured by the control device, evaluates printing reliability, and transmits the result to the control device.

또한, 상기 제어장치는, 상기 평가장치가 평가한 인쇄 신뢰성에 기초하여 인쇄장치의 구동을 제어할 수 있다.Also, the control device may control driving of the printing device based on the printing reliability evaluated by the evaluation device.

또한, 상기 평가장치는, 평가한 인쇄 신뢰성 정보를 리포트 제작을 위한 정보 형태로 제공할 수 있다.In addition, the evaluation device may provide the evaluated printing reliability information in the form of information for producing a report.

또한, 상기 제어장치는, 상기 평가장치가 제공한 리포트 제작을 위한 정보 형태를 최종 리포트 형식으로 생성할 수 있다.In addition, the control device may generate the form of information for producing a report provided by the evaluation device in the form of a final report.

또한, 상기 제어장치 및 평가장치와 유무선으로 연결되어 정보를 저장하는 네트워크 드라이버;를 더 포함할 수 있다.In addition, it may further include a network driver that is connected to the control device and the evaluation device by wire or wireless to store information.

또한, 상기 인쇄장치는, 그라비아 플레이트; 상기 그라비아 플레이트에 잉크를 채우고 독터링을 수행하는 독터링부; 실리콘 소재의 블랭킷 롤러; 및 용매 제거부;를 포함할 수 있다.In addition, the printing apparatus, the gravure plate; a doctoring unit filling the gravure plate with ink and performing doctoring; A blanket roller made of silicone; And a solvent removal unit; may include.

그리고 상기 용매 제거부는, 상기 블랭킷 롤러에 흡수된 잉크의 용매(solvent)를 제거할 수 있다.The solvent removing unit may remove a solvent of the ink absorbed by the blanket roller.

본 발명의 실시예에 따르면, 인쇄장치의 인쇄 패턴 이미지를 입력받아 인쇄 패턴의 결함 여부를 학습시킨 콘볼루션 신경망 네트워크 모델(CNNs)을 이용하여 인쇄 신뢰성을 평가함으로써 사전에 인쇄 패턴의 결함 가능성을 예측하여 인쇄 패턴의 신뢰성을 높일 수 있다.According to an embodiment of the present invention, the possibility of a print pattern defect is predicted in advance by evaluating the print reliability using a convolutional neural network model (CNNs) that receives a print pattern image of a printing device and learns whether or not the print pattern is defective. Thus, the reliability of the printed pattern can be increased.

특히, 인쇄 패턴의 결함 위치나 크기와 무관하게 결함의 수를 산정하여 인쇄 신뢰성을 평가함으로 효율적 예측이 가능한 이점이 있다. In particular, there is an advantage in that efficient prediction is possible by evaluating the printing reliability by calculating the number of defects regardless of the defect location or size of the printed pattern.

나아가, 인쇄장치와 이를 제어하는 제어장치는 물론 평가장치를 연동함으로써 실시간으로 인쇄 패턴을 확인하여 인쇄장치의 구동을 제어할 수 있다.Furthermore, by interlocking the printing device with the control device for controlling the printing device as well as the evaluation device, it is possible to check the printing pattern in real time and control driving of the printing device.

한편, 앞서 기재된 효과는 예시적인 것에 불과하며 당업자의 관점에서 본 발명의 세부 구성으로부터 예측되거나 기대되는 효과들 또한 본원발명 고유의 효과에 추가될 수 있을 것이다. On the other hand, the effects described above are merely exemplary, and effects predicted or expected from the detailed configuration of the present invention from the viewpoint of those skilled in the art may also be added to the unique effects of the present invention.

도 1은 그라비아 오프셋 인쇄의 작동원리를 시계열적으로 도시한 개념도이다.
도 2는 그라비아 오프셋 인쇄에서 이루어지는 잉크 전달 메커니즘을 도시한 개념도이다.
도 3은 일 실시예에 따른 결함이 없는 인쇄 패턴과 결함이 존재하는 인쇄 패턴의 이미지이다.
도 4는 본 발명의 일 실시예에 따른 인쇄 시스템을 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 인쇄장치를 도시한 구성도이다.
도 6은 일 실시예에 따른 Skip Connections의 알고리즘을 사용한 이미지 분류를 위한 DNN 모델을 설명하는 블록도이다.
도 7은 일 실시예에 따른 이미지 분류 모델의 학습 과정을 도시한 그래프이다.
도 8은 일 실시예에 따른 검증 데이터 세트에 대한 행렬을 나타낸 이미지이다.
도 9는 일 실시예에 따른 인쇄 패턴의 원본 이미지((a),(b))와 Grad-CAM 이미지((c),(d))이다.
도 10은 YOLOv3 앵커 박스에 대한 클러스터링을 도시한 그래프이다.
도 11은 YOLOv3 객체 감지 모델 학습 프로세스를 도시한 그래프이다.
도 12는 본 발명의 일 실시예에 따른 YOLOv3 객체 감지 모델의 미세 조정 및 예측의 순서를 도시한 순서도이다.
도 13은 본 발명의 일 실시에에 따른 인쇄 패턴 이미지 내에서 인쇄 결함을 식별한 이미지.
도 14는 인쇄 라인의 폭과 결함 수의 관계를 도시한 그래프이다.
도 15는 본 발명의 일 실시예에 따른 인쇄 신뢰성 평가방법을 도시한 순서도이다.
1 is a conceptual diagram illustrating the operation principle of gravure offset printing in time series.
2 is a conceptual diagram illustrating an ink delivery mechanism made in gravure offset printing.
3 is an image of a printed pattern without defects and a printed pattern with defects according to an exemplary embodiment.
4 is a block diagram showing a printing system according to an embodiment of the present invention.
5 is a configuration diagram showing a printing apparatus according to an embodiment of the present invention.
6 is a block diagram illustrating a DNN model for image classification using a Skip Connections algorithm according to an embodiment.
7 is a graph illustrating a learning process of an image classification model according to an exemplary embodiment.
8 is an image showing a matrix for a verification data set according to an embodiment.
9 is original images ((a), (b)) and Grad-CAM images ((c), (d)) of printed patterns according to an embodiment.
10 is a graph illustrating clustering for YOLOv3 anchor boxes.
11 is a graph illustrating the YOLOv3 object detection model training process.
12 is a flowchart illustrating a sequence of fine-tuning and prediction of a YOLOv3 object detection model according to an embodiment of the present invention.
13 is an image in which printing defects are identified in a print pattern image according to an embodiment of the present invention.
14 is a graph showing the relationship between the width of a printed line and the number of defects.
15 is a flowchart illustrating a printing reliability evaluation method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. Hereinafter, the embodiments disclosed in this specification will be described in detail with reference to the accompanying drawings, but the same reference numerals will be assigned to the same or similar components regardless of reference numerals, and overlapping descriptions thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used together in consideration of ease of writing the specification, and do not have meanings or roles that are distinct from each other by themselves.

또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.In addition, in describing the embodiments disclosed in this specification, if it is determined that a detailed description of a related known technology may obscure the gist of the embodiment disclosed in this specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, the technical idea disclosed in this specification is not limited by the accompanying drawings, and all changes included in the spirit and technical scope of the present invention , it should be understood to include equivalents or substitutes.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as "comprise" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.

본 개시내용은 도면 및 이상의 설명에서 상세하게 예시되고 설명되었지만, 본 개시내용은 특성이 제한적인 것이 아니라 예시적인 것으로 고려되어야 하고, 단지 소정의 실시형태가 도시되고 설명되었으며, 본 개시내용의 정신 내에 들어가는 모든 변화와 변형은 보호되는 것이 바람직함이 이해될 것이다.While the present disclosure has been illustrated and described in detail in the drawings and foregoing description, the present disclosure is to be considered illustrative rather than restrictive in nature, with only certain embodiments shown and described, and within the spirit of the present disclosure. It will be appreciated that all changes and modifications that enter are preferably protected.

인쇄 신뢰성 평가가 가능한 인쇄 시스템Printing system capable of evaluating printing reliability

먼저 이하에서는, 도 4 및 도 5를 참고하여, 본 발명의 일 실시예에 따른 AI 기반의 인쇄 신뢰성 평가장치와 이를 이용한 인쇄 신뢰성 평가방법 및 이를 포함하는 인쇄 신뢰성 평가가 가능한 인쇄 시스템에 대하여 설명하도록 한다.First, referring to FIGS. 4 and 5, an AI-based printing reliability evaluation apparatus according to an embodiment of the present invention, a printing reliability evaluation method using the same, and a printing system including the same capable of evaluating printing reliability will be described. do.

도 4는 본 발명의 일 실시예에 따른 인쇄 시스템을 도시한 블록도로서, 인쇄장치(100), 제어장치(200) 및 평가장치(300)를 포함한다.4 is a block diagram showing a printing system according to an embodiment of the present invention, and includes a printing device 100, a control device 200, and an evaluation device 300.

상기 인쇄장치(100)는 기판에 전도성 인쇄 패턴을 형성하기 위한 장치로서, 다양한 종류의 기판 인쇄장치 중 하나일 수 있다. 바람직하게는 상기 인쇄장치(100)는 형성되는 인쇄 패턴이 복수의 인쇄 라인을 지니는 그라비아 오프셋(Gravure Offset) 인쇄장치일 수 있다.The printing device 100 is a device for forming a conductive printed pattern on a substrate, and may be one of various types of substrate printing devices. Preferably, the printing device 100 may be a gravure offset printing device in which a printed pattern to be formed has a plurality of printing lines.

도 5는 본 발명의 일 실시예에 따른 인쇄장치(100)를 도시한 구성도로서, 상기 인쇄장치(100)는 그라비아 플레이트(110), 독터링부(120), 블랭킷 롤러(130), 스테이지(140)를 포함한다.5 is a configuration diagram showing a printing apparatus 100 according to an embodiment of the present invention, wherein the printing apparatus 100 includes a gravure plate 110, a doctor ring unit 120, a blanket roller 130, a stage (140).

상기 그라비아 플레이트(110)는 블랭킷 롤러(130)와 상대 이동할 수 있도록 플레이트형으로 제작되거나, 회전되는 롤러형으로 제작되어 잉크를 수용한다. 상기 독터링부(120)는 그라비아 플레이트(110)로부터 전달된 잉크의 표면이 정리되도록 독터링(doctoring)하는 것으로 실시형태에 따라서는 상기 독터링부(120) 자체가 잉크를 수용한 상태로 그라비아 플레이트(110)에 잉크를 전달하도록 제작될 수 있다.The gravure plate 110 is manufactured in a plate shape so as to be relatively movable with the blanket roller 130 or manufactured in a rotating roller shape to accommodate ink. The doctoring unit 120 is doctoring so that the surface of the ink transferred from the gravure plate 110 is cleaned, and depending on the embodiment, the doctoring unit 120 itself accommodates the ink and gravure It may be manufactured to deliver ink to the plate 110 .

상기 블랭킷 롤러(130)는 실리콘 소재로 제작되는 것이 바람직하며, 그라비아 플레이트(110)로부터 잉크를 전달받아 기판(S)에 전사한다. 상기 블랭킷 롤러(130)는 회전되어 잉크를 전사하며 그라비아 플레이트(110)나 독터링부(120)와의 상대적인 위치가 지속적으로 변경될 수 있도록 상하 위치이동할 수 있다.The blanket roller 130 is preferably made of silicon, receives ink from the gravure plate 110 and transfers it to the substrate S. The blanket roller 130 is rotated to transfer ink and can move up and down so that its relative position with the gravure plate 110 or the doctor ring unit 120 can be continuously changed.

본 발명의 일 실시예에 따른 인쇄장치(100)의 그라비아 플레이트(110), 독터링부(120) 및 블랭킷 롤러(130) 그리고 기판(S)은 스테이지(140)에 구비되어 인쇄가 수행될 수 있으며, 상기 그라비아 플레이트(110), 독터링부(120) 및 블랭킷 롤러(130)는 구동수단에 의하여 상대적인 위치이동이 구현되도록 제작된다.The gravure plate 110, the doctor ring unit 120, the blanket roller 130, and the substrate S of the printing apparatus 100 according to an embodiment of the present invention are provided on the stage 140 so that printing can be performed. The gravure plate 110, the doctor ring part 120, and the blanket roller 130 are manufactured to realize relative positional movement by a driving means.

또한, 상기 제어장치(200)는 인쇄장치(100)의 구동을 제어하기 위한 것으로, 상술한 인쇄장치(100)의 구동을 온/오프함은 물론, 로드셀에 기초하여 인쇄 압력과 인쇄 속도를 제어하며, 상술한 그라비아 플레이트(110), 독터링부(120) 및 블랭킷 롤러(130) 그리고 기판(S)의 상대적인 위치이동을 구현하고, 잉크의 양을 확인하여 자동으로 잉크가 충진되도록 기능한다.In addition, the control device 200 is for controlling the driving of the printing device 100, and controls the printing pressure and printing speed based on the load cell as well as turning on/off the driving of the printing device 100 described above. And, the relative position movement of the above-described gravure plate 110, doctor ring unit 120, blanket roller 130, and substrate S is implemented, and the ink is automatically filled by checking the amount of ink.

한편, 본 발명의 일 실시예에 의하면, 도 4의 블록도에 도시된 바와 같이 상기 제어장치(200)는 인쇄장치(100)를 제어하고, 기판(S)에 형성된 인쇄 패턴 이미지를 촬영하는 촬영모듈(210)을 구비한다. 상기 촬영모듈(210)은 인쇄 패턴을 충분히 식별할 수 있도록 최소한 2.41μm/픽셀의 해상도가 확보되는 것이 바람직하다.On the other hand, according to an embodiment of the present invention, as shown in the block diagram of FIG. 4, the control device 200 controls the printing device 100 and takes pictures of printed pattern images formed on the substrate S. module 210. The photographing module 210 preferably has a resolution of at least 2.41 μm/pixel so as to sufficiently identify the printed pattern.

또한, 상기 평가장치(300)는 제어장치(200)가 촬영한 인쇄 패턴 이미지를 입력받아 인쇄 신뢰성을 평가한 후, 평가한 인쇄 신뢰성 정보를 다시 제어장치(200)로 전달한다. 이때, 상기 평가장치(300)는 평가하고자 하는 인쇄장치(100)의 인쇄 패턴 이미지를 입력받아 인쇄 패턴의 결함 여부를 학습시킨 콘볼루션 신경망 네트워크 모델(CNNs)을 이용하여 인쇄 신뢰성을 평가하는 것이 바람직하다.In addition, the evaluation device 300 receives the print pattern image photographed by the control device 200, evaluates the printing reliability, and then transmits the evaluated printing reliability information to the control device 200 again. At this time, it is preferable that the evaluation device 300 evaluates the printing reliability using convolutional neural network models (CNNs) that receive the printed pattern image of the printing device 100 to be evaluated and learn whether or not the printing pattern is defective. do.

또한, 본 발명의 인쇄 시스템은 도 4에 도시된 바와 같이 상기 제어장치(200) 및 평가장치(300)와 유무선으로 연결되어 정보를 저장하는 네트워크 드라이버(400)를 더 포함할 수 있다. 상기 제어장치(200)는 촬영모듈(210)이 촬영한 기판의 인쇄 패턴 이미지를 상기 네트워크 드라이버(400)에 저장할 수 있으며, 상기 평가장치(300)는 네트워크 드라이버(400)에 저장된 인쇄 패턴 이미지를 불러와서 인쇄 신뢰성을 평가하고, 평가한 인쇄 신뢰성 정보를 네트워크 드라이버(400)에 저장하여 재차 제어장치(200)가 네트워크 드라이버(400)에 저장된 인쇄 신뢰성 정보를 불러올 수 있다.In addition, as shown in FIG. 4 , the printing system of the present invention may further include a network driver 400 connected to the control device 200 and the evaluation device 300 by wire or wireless to store information. The control device 200 may store the printed pattern image of the board captured by the photographing module 210 in the network driver 400, and the evaluation device 300 may store the printed pattern image stored in the network driver 400. The printing reliability information is retrieved, evaluated, and the evaluated printing reliability information is stored in the network driver 400 so that the control device 200 can call the printing reliability information stored in the network driver 400 again.

한편, 상기 평가장치(300)는 평가한 인쇄 신뢰성 정보를 리포트 제작을 위한 정보 형태로 제공할 수 있으며, 상기 리포트 제작을 위한 정보 형태는 도 4에 도시된 바와 같이 csv 파일과 이미지 파일을 포함할 수 있다. 또한, 상기 제어장치(200)는 평가장치(300)가 제공한 리포트 제작을 위한 정보 형태를 이용하여 관리자가 시각적으로 확인할 수 있도록 최종 리포트 형식으로 생성할 수 있으며, 상기 최종 리포트는 네트워크 드라이버(400)에 저장될 수 있다.On the other hand, the evaluation device 300 may provide the evaluated print reliability information in the form of information for report production, and the information form for report production may include a csv file and an image file as shown in FIG. can In addition, the control device 200 can generate a final report in the form of a final report so that the manager can visually check it by using the form of information for report production provided by the evaluation device 300, and the final report can be generated by the network driver 400. ) can be stored in

또한, 상기 제어장치(200)는 평가장치(300)가 평가한 인쇄 신뢰성 정보에 기초하여 인쇄장치(100)의 구동을 제어할 수 있다. 상기 제어장치(200)는 인쇄 신뢰성 정보에 기초하여 인쇄장치(100)의 구동 자체를 온/오프할 수 있으며, 인쇄 압력과 인쇄 속도를 적절히 제어할 수 있다.Also, the control device 200 may control driving of the printing device 100 based on the printing reliability information evaluated by the evaluation device 300 . The control device 200 can turn on/off the driving itself of the printing device 100 based on the printing reliability information, and can appropriately control printing pressure and printing speed.

일 실시예에 따르면 상기 인쇄장치(100)는 도 5에 도시된 바와 같이 용매 제거부(150)를 추가적으로 포함할 수 있다. 상기 용매 제거부(150)는 블랭킷 롤러(130)의 반복된 사용으로 흡수된 잉크가 포화상태에 이르러 더 이상 용매(solvent)를 흡수하지 못하는 경우에 흡수된 잉크의 용매를 제거함으로써 잉크의 자체 응집력과 기판(S)의 부착력을 확보하여 완전한 전사가 이루어질 수 있도록 기능한다.According to one embodiment, the printing apparatus 100 may additionally include a solvent removal unit 150 as shown in FIG. 5 . When the ink absorbed by repeated use of the blanket roller 130 reaches saturation and no longer absorbs the solvent, the solvent removal unit 150 removes the solvent of the absorbed ink, thereby improving self-cohesion of the ink. and secures the adhesion of the substrate (S) so that complete transfer can be achieved.

이때, 상기 용매 제거부(150)는 블랭킷 롤러(130)에 인접 배치되어 제어장치(200)에 의하여 자동으로 블랭킷 롤러(130)에 흡수된 용매를 제거하는 것이 바람직하나, 별도의 장치로 제작되어 제어장치(200)의 신호에 따라 관리자에 의하여 용매 제거부(150)의 구동이 수행되는 형태도 가능하다.At this time, it is preferable that the solvent removal unit 150 is disposed adjacent to the blanket roller 130 to automatically remove the solvent absorbed by the blanket roller 130 by the control device 200, but it is manufactured as a separate device. It is also possible to operate the solvent removal unit 150 by a manager according to a signal from the controller 200 .

이상에서 설명한 인쇄 신뢰성 평가가 가능한 인쇄 시스템은 인쇄장치(100)와 이를 제어하는 제어장치(200)는 물론 평가장치(300)를 연동함으로써 실시간으로 인쇄 패턴을 확인하여 인쇄장치(100)의 구동을 제어할 수 있으므로 균질한 품질이 확보된 인쇄 패턴을 제공할 수 있다.The printing system capable of evaluating printing reliability described above checks the printing pattern in real time by interlocking the printing device 100 with the control device 200 that controls the printing device as well as the evaluation device 300 to operate the printing device 100. Since it can be controlled, it is possible to provide a print pattern with uniform quality.

AI 기반의 인쇄 신뢰성 평가장치 및 평가방법AI-based printing reliability evaluation device and evaluation method

이하에서는 상술한 평가장치(300)에 대하여 보다 구체적으로 설명한다. 본 발명의 일 실시예에 따른 AI 기반의 인쇄 신뢰성 평가장치(300)는 평가하고자 하는 인쇄장치(100)의 인쇄 패턴 이미지를 입력받아 인쇄 패턴의 결함 여부를 학습시킨 콘볼루션 신경망 네트워크 모델(CNNs)을 이용하여 인쇄 신뢰성을 평가한다.Hereinafter, the above-described evaluation device 300 will be described in more detail. The AI-based printing reliability evaluation apparatus 300 according to an embodiment of the present invention is a convolutional neural network model (CNNs) that learns whether or not a printing pattern is defective by receiving a printing pattern image of the printing apparatus 100 to be evaluated. Evaluate printing reliability using

이를 위하여 본 발명은 도 3에 도시된 바와 같이 사전에 (a) 결함이 존재하지 않는 다수의 인쇄 패턴 이미지와 (b) 결함이 존재하는 다수의 인쇄 패턴 이미지를 분류하여 각각에 레이블을 지정함으로써 검증을 위한 데이터 세트(Data Set)를 구축한다. 하기 표 1은 일 실시예에 따라 구축된 데이터 세트를 나타낸 표로서, 이미지 분류 및 객체 감지 작업에 대한 이미지 데이터 세트 분포이다.To this end, as shown in FIG. 3, the present invention classifies (a) a plurality of print pattern images without defects and (b) a plurality of print pattern images with defects in advance and assigns a label to each of them, thereby verifying the verification. Build a data set for Table 1 below is a table showing data sets built according to an embodiment, and distributions of image data sets for image classification and object detection tasks.

Figure pat00001
Figure pat00001

한편, 도 6은 가장 많은 수의 레이어를 채택하여 건너뛰는 형태(Skip Connections)의 알고리즘을 사용한 이미지 분류를 위한 DNN 모델을 설명하는 블록도이다. 구축된 데이터 세트는 확장을 위하여 임의의 밝기, 대비, 확대/축소, 회전 증대 레이어, 임의의 수평 및 수직 뒤집기를 포함하는 증강이 수행되고, 분류된 데이터의 불균형을 고려하여 가중치를 부여할 수 있다. Meanwhile, FIG. 6 is a block diagram illustrating a DNN model for image classification using an algorithm of skip connections by adopting the largest number of layers. The built data set is augmented including arbitrary brightness, contrast, zoom, rotation enhancement layer, and arbitrary horizontal and vertical flipping for expansion, and weighting can be given considering the imbalance of classified data. .

도 7은 이미지 분류 모델의 학습 과정을 도시한 것으로 학습을 위하여 확장된 데이터 세트에 대하여 복수의 epoch를 수행함으로써 정확도가 우수한 예측 모델을 채택하여 활용할 수 있다. 예측 모델은 검증 데이터 세트를 사용하여 평가되었으며, 결과는 도 8과 같은 행렬로 표시될 수 있다. 7 shows a learning process of an image classification model, and a predictive model with excellent accuracy can be adopted and utilized by performing a plurality of epochs on an extended data set for learning. The predictive model was evaluated using a validation data set, and the results can be displayed as a matrix as shown in FIG. 8 .

또한, 모델 성능을 재보장하기 위해 Grad-CAM 접근 방식을 사용하여 학습된 예측 모델을 시각화할 수 있으며, 예측 모델과 관련된 마지막 합성곱 레이어 입력을 바탕으로 이미지의 어느 부분이 결과에 영향을 준 것인지 검증할 수 있다. 도 9의 (a)와 (c)는 각각 결함이 없는 인쇄 패턴의 원본 이미지와 Grad-CAM 이미지를 도시한 것이며, (b)와 (d)는 결함이 존재하는 인쇄 패턴의 원본 이미지와 Grad-CAM 이미지를 도시한 것으로, 도 9의 (c) 및 (d)에 도시된 Grad-CAM 이미지를 원본 이미지와 중첩할 수 있다.You can also visualize the trained predictive model using the Grad-CAM approach to reassure model performance, and see which parts of the image influenced the outcome based on the last convolutional layer input related to the predictive model. can be verified (a) and (c) of FIG. 9 show the original image of the print pattern without defects and the Grad-CAM image, respectively, and (b) and (d) show the original image of the print pattern with defects and the Grad-CAM image. This is a CAM image, and the Grad-CAM image shown in (c) and (d) of FIG. 9 can be overlapped with the original image.

이상의 학습된 예측 모델은 YOLOv3 모델을 재훈련하기 위하여 미세 조정 접근방식이 적용될 수 있다. 예컨데, 도 10에 도시된 바와 같이 N × N의 픽셀 이미지에서 경계 상자(Bounding Box)를 분석하여 정규화한 후, 클러스터링을 수행함으로써 각 클러스터에 대한 중심과 데이터 포인트 간의 IoU(Intersection Over Union)를 계산할 수 있다. The above learned prediction model can be applied with a fine-tuning approach to retrain the YOLOv3 model. For example, as shown in FIG. 10, IoU (Intersection Over Union) between the center of each cluster and the data points can be calculated by analyzing and normalizing a bounding box in an N × N pixel image and performing clustering. can

도 11은 YOLOv3 모델의 객체 감지 모델 학습 프로세스를 도시한 것으로 본 발명에서는 데이터 세트를 사용하여 수천회의 반복 훈련을 수행함으로써 mAP가 가장 높은 최상의 가중치를 저장하고 YOLOv3 모델을 구축할 수 있다. 도 12는 본 발명의 일 실시예에 따른 YOLOv3 객체 감지 모델 미세 조정 및 예측의 순서도를 도시한 것이다.11 shows the object detection model learning process of the YOLOv3 model. In the present invention, it is possible to store the best weights with the highest mAP and build the YOLOv3 model by performing thousands of repetitions of training using a data set. 12 shows a flow chart of YOLOv3 object detection model fine-tuning and prediction according to one embodiment of the present invention.

본 발명의 인쇄 신뢰성 평가장치(300)에 의하면 상술한 콘볼루션 신경망 네트워크 모델(CNNs)을 이용하여 도 13에 도시된 바와 같이 인쇄 패턴 이미지 내에서 인쇄 결함을 예측할 수 있다. 한편, 상기 평가장치(300)는 인쇄 라인의 폭(W)이 증가할 수록 결함이 나타날 가능성이 높으므로, 상기 인쇄 라인의 폭(W) 변화를 식별함으로써 인쇄 신뢰성을 평가할 수 있다.According to the printing reliability evaluation apparatus 300 of the present invention, printing defects can be predicted in a printing pattern image as shown in FIG. 13 using the convolutional neural network models (CNNs) described above. Meanwhile, the evaluation device 300 may evaluate printing reliability by identifying a change in the width W of the printed line, since the possibility of a defect appearing increases as the width W of the printed line increases.

다만, 본 발명의 인쇄 신뢰성 평가장치(300)는 인쇄 라인에 형성된 결함의 위치나 크기에 관계없이 결함 수를 계산하는 것이다. 도 14는 AI 모델에 의해 감지된 인쇄 라인의 폭(W) 변화와 결함 수의 변화를 대비한 결과를 나타내는 그래프이다. 즉, 본 발명의 인쇄 신뢰성 평가장치(300)는 상기 인쇄 라인의 폭(W) 변화에 기초하여 벌지(Bulge)를 식별하고, 식별된 벌지의 개수를 산정하여 인쇄 신뢰성을 평가할 수 있다. 이로써, 인쇄 패턴의 결함 위치나 크기와 무관하게 결함의 수를 산정하여 인쇄 신뢰성을 평가함으로 효율적 예측이 가능한 이점이 발휘된다.However, the print reliability evaluation apparatus 300 of the present invention calculates the number of defects regardless of the location or size of defects formed on a printed line. 14 is a graph showing a result of comparing a change in the width (W) of a printed line detected by an AI model and a change in the number of defects. That is, the printing reliability evaluation apparatus 300 of the present invention may evaluate printing reliability by identifying bulges based on a change in the width (W) of the printing line and calculating the number of identified bulges. As a result, the number of defects is calculated regardless of the defect location or size of the printed pattern to evaluate the printing reliability, thereby providing an advantage of efficient prediction.

한편, 상술한 본 발명의 인쇄 신뢰성 평가장치(300)은 다양한 종류의 기판 인쇄장치에 적용될 수 있으나, 바람직하게는 상기 인쇄장치(100)는 형성되는 인쇄 패턴이 복수의 인쇄 라인을 지니는 그라비아 오프셋(Gravure Offset) 인쇄장치일 수 있다.On the other hand, the printing reliability evaluation device 300 of the present invention described above can be applied to various types of substrate printing devices, but preferably, the printing device 100 is a gravure offset having a plurality of printing lines in the printing pattern to be formed ( Gravure Offset) may be a printing device.

또한, 본 발명의 일 실시예에 따른 AI 기반의 인쇄 신뢰성 평가방법(M)은, 도 15에 도시된 바와 같이 인쇄 신뢰성 평가장치(300)가 평가하고자 하는 인쇄장치(100)로부터 실시간으로 촬영된 인쇄 패턴 이미지를 입력받는 단계(S10)와, 인쇄 패턴의 결함 여부를 학습시킨 콘볼루션 신경망 네트워크 모델(CNNs)을 이용하여 촬영된 인쇄 패턴 이미지에 대한 인쇄 신뢰성을 평가하는 단계(S20)를 포함한다.In addition, in the AI-based printing reliability evaluation method (M) according to an embodiment of the present invention, as shown in FIG. It includes a step of receiving a print pattern image (S10) and a step of evaluating the printing reliability of the photographed print pattern image using convolutional neural network models (CNNs) that have learned whether or not the print pattern is defective (S20). .

특히, 상기 인쇄 신뢰성을 평가하는 단계(S20)는, 상기 인쇄 라인의 폭(W) 변화에 기초하여 벌지(Bulge)를 식별하는 단계(S21)와 정의된 벌지의 개수를 산정하여 인쇄 신뢰성을 평가하는 단계(S22)를 포함하여 진행될 수 있다.In particular, the step of evaluating the printing reliability (S20) includes the step of identifying a bulge based on the change in the width (W) of the printed line (S21) and calculating the number of defined bulges to evaluate the printing reliability. It may proceed including the step (S22) of doing.

이상에서 설명된 장치 및 이에 대한 제어는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성도 가능하다.The above-described device and its control may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable PLU (programmable logic unit). logic unit), microprocessor, or any other device capable of executing and responding to instructions. The processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but a person skilled in the art will understand that the processing device may include a plurality of processing elements and/or a plurality of types of processing elements. it can be seen that there is For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소, 물리적 장치, 가상 장치, 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or, independently or in combination, instructs the processing device. can do. Software and/or data may be permanently or temporarily stored in any tangible machine, component, physical device, virtual device, computer storage medium or device for interpretation by a processing device or to provide instructions or data to a processing device. can materialize. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

100:인쇄장치 110:그라비아 플레이트
120:독터링부 130:블랭킷 롤러
140:스테이지 150:용매 제거부
200:제어장치 210:촬영모듈
300:평가장치 S:기판
100: printing device 110: gravure plate
120: doctor ring unit 130: blanket roller
140: stage 150: solvent removal unit
200: control device 210: shooting module
300: evaluation device S: substrate

Claims (16)

평가하고자 하는 인쇄장치의 인쇄 패턴 이미지를 입력받아 인쇄 패턴의 결함 여부를 학습시킨 콘볼루션 신경망 네트워크 모델(CNNs)을 이용하여 인쇄 신뢰성을 평가하는 것을 특징으로 하는,
AI 기반의 인쇄 신뢰성 평가장치.
Characterized in that the printing reliability is evaluated using convolutional neural network models (CNNs) that receive the printing pattern image of the printing device to be evaluated and learn whether or not the printing pattern is defective,
AI-based printing reliability evaluation device.
제1항에 있어서,
상기 인쇄 패턴은 복수의 인쇄 라인(Printed Line)을 포함하는 인쇄 패턴인 것을 특징으로 하는,
AI 기반의 인쇄 신뢰성 평가장치.
According to claim 1,
Characterized in that the printed pattern is a printed pattern including a plurality of printed lines,
AI-based printing reliability evaluation device.
제2항에 있어서,
상기 인쇄 라인의 폭(W) 변화를 식별하여 인쇄 신뢰성을 평가하는 것을 특징으로 하는,
AI 기반의 인쇄 신뢰성 평가장치.
According to claim 2,
Characterized in that the print reliability is evaluated by identifying the change in the width (W) of the printed line,
AI-based printing reliability evaluation device.
제3항에 있어서,
상기 인쇄 라인의 폭(W) 변화에 기초하여 벌지(Bulge)를 식별하고, 식별된 벌지의 개수를 산정하여 인쇄 신뢰성을 평가하는 것을 특징으로 하는,
AI 기반의 인쇄 신뢰성 평가장치.
According to claim 3,
Characterized in that a bulge is identified based on a change in the width (W) of the printed line, and the printing reliability is evaluated by calculating the number of identified bulges.
AI-based printing reliability evaluation device.
평가하고자 하는 그라비아 오프셋(Gravure Offset) 인쇄장치의 인쇄 패턴 이미지를 입력받아 인쇄 라인의 폭(W) 변화를 산정하여 인쇄 신뢰성을 평가하는 것을 특징으로 하는,
AI 기반의 그라비아 오프셋 인쇄 신뢰성 평가장치.
Characterized in that the print reliability is evaluated by receiving the print pattern image of the gravure offset printing device to be evaluated and calculating the change in the width (W) of the print line,
AI-based gravure offset printing reliability evaluation device.
제5항에 있어서,
상기 인쇄 라인의 폭(W) 변화에 기초하여 벌지(Bulge)를 식별하고, 식별된 벌지의 개수를 산정하여 인쇄 신뢰성을 평가하는 것을 특징으로 하는,
AI 기반의 그라비아 오프셋 인쇄 신뢰성 평가장치.
According to claim 5,
Characterized in that a bulge is identified based on a change in the width (W) of the printed line, and the printing reliability is evaluated by calculating the number of identified bulges.
AI-based gravure offset printing reliability evaluation device.
제5항에 있어서,
인쇄 패턴의 결함 여부를 학습시킨 콘볼루션 신경망 네트워크 모델(CNNs)을 이용하여 인쇄 신뢰성을 평가하는 것을 특징으로 하는,
AI 기반의 그라비아 오프셋 인쇄 신뢰성 평가장치.
According to claim 5,
Characterized in that the printing reliability is evaluated using convolutional neural network models (CNNs) that have learned whether or not the printing pattern is defective,
AI-based gravure offset printing reliability evaluation device.
인쇄 신뢰성 평가장치가,
평가하고자 하는 인쇄장치의 인쇄 패턴 이미지를 입력받는 단계; 및
인쇄 패턴의 결함 여부를 학습시킨 콘볼루션 신경망 네트워크 모델(CNNs)을 이용하여 인쇄 신뢰성을 평가하는 단계;를 포함하는 것을 특징으로 하는,
AI 기반의 인쇄 신뢰성 평가방법.
A printing reliability evaluation device,
receiving a print pattern image of a printing device to be evaluated; and
Evaluating print reliability using convolutional neural network models (CNNs) that have learned whether or not the printed pattern is defective; characterized in that it includes,
AI-based printing reliability evaluation method.
제8항에 있어서,
상기 인쇄 신뢰성을 평가하는 단계는,
상기 인쇄 라인의 폭(W) 변화에 기초하여 벌지(Bulge)를 식별하는 단계; 및
정의된 벌지의 개수를 산정하여 인쇄 신뢰성을 평가하는 단계;를 포함하는 것을 특징으로 하는,
AI 기반의 인쇄 신뢰성 평가방법.
According to claim 8,
The step of evaluating the printing reliability,
identifying a bulge based on a change in the width (W) of the printed line; and
Evaluating the printing reliability by calculating the number of defined bulges; characterized in that it includes,
AI-based printing reliability evaluation method.
인쇄장치;
인쇄장치를 제어하고, 인쇄 패턴 이미지를 촬영하는 제어장치; 및
상기 제어장치가 촬영한 인쇄 패턴 이미지를 입력받아 인쇄 신뢰성을 평가하여 상기 제어장치로 전달하는 평가장치;를 포함하는 것을 특징으로 하는,
인쇄 신뢰성 평가가 가능한 인쇄 시스템.
printing device;
a control device for controlling the printing device and photographing a print pattern image; and
characterized in that it comprises; an evaluation device that receives the print pattern image taken by the control device, evaluates the printing reliability, and transmits it to the control device.
A printing system capable of evaluating printing reliability.
제10항에 있어서,
상기 제어장치는,
상기 평가장치가 평가한 인쇄 신뢰성에 기초하여 인쇄장치의 구동을 제어하는 것을 특징으로 하는,
인쇄 신뢰성 평가가 가능한 인쇄 시스템.
According to claim 10,
The control device,
Characterized in that the driving of the printing device is controlled based on the printing reliability evaluated by the evaluation device.
A printing system capable of evaluating printing reliability.
제10항에 있어서,
상기 평가장치는,
평가한 인쇄 신뢰성 정보를 리포트 제작을 위한 정보 형태로 제공하는 것을 특징으로 하는,
인쇄 신뢰성 평가가 가능한 인쇄 시스템.
According to claim 10,
The evaluation device,
Characterized in that the evaluated printing reliability information is provided in the form of information for report production,
A printing system capable of evaluating printing reliability.
제12항에 있어서,
상기 제어장치는,
상기 평가장치가 제공한 리포트 제작을 위한 정보 형태를 최종 리포트 형식으로 생성하는 것을 특징으로 하는,
인쇄 신뢰성 평가가 가능한 인쇄 시스템.
According to claim 12,
The control device,
Characterized in that the form of information for producing a report provided by the evaluation device is generated in the form of a final report,
A printing system capable of evaluating printing reliability.
제10항에 있어서,
상기 제어장치 및 평가장치와 유무선으로 연결되어 정보를 저장하는 네트워크 드라이버;를 더 포함하는 것을 특징으로 하는,
인쇄 신뢰성 평가가 가능한 인쇄 시스템.
According to claim 10,
Characterized in that it further comprises; a network driver connected to the control device and the evaluation device by wire or wireless to store information.
A printing system capable of evaluating printing reliability.
제10항에 있어서
상기 인쇄장치는,
그라비아 플레이트;
상기 그라비아 플레이트에 잉크를 채우고 독터링을 수행하는 독터링부;
실리콘 소재의 블랭킷 롤러; 및
용매 제거부;를 포함하는 것을 특징으로 하는
인쇄 신뢰성 평가가 가능한 인쇄 시스템.
According to claim 10
The printing device,
gravure plate;
a doctoring unit filling the gravure plate with ink and performing doctoring;
a blanket roller made of silicone; and
Characterized in that it comprises a; solvent removal unit
A printing system capable of evaluating printing reliability.
제15항에 있어서
상기 용매 제거부는,
상기 블랭킷 롤러에 흡수된 잉크의 용매(solvent)를 제거하는 것을 특징으로 하는,
인쇄 신뢰성 평가가 가능한 인쇄 시스템.
According to claim 15
The solvent removal unit,
Characterized in that the solvent of the ink absorbed by the blanket roller is removed.
A printing system capable of evaluating printing reliability.
KR1020210166180A 2021-11-26 2021-11-26 AI-assisted Reliability Assessment Device for Printing, Reliability Assessment Method using the same, and the Printing System KR20230078412A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210166180A KR20230078412A (en) 2021-11-26 2021-11-26 AI-assisted Reliability Assessment Device for Printing, Reliability Assessment Method using the same, and the Printing System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210166180A KR20230078412A (en) 2021-11-26 2021-11-26 AI-assisted Reliability Assessment Device for Printing, Reliability Assessment Method using the same, and the Printing System

Publications (1)

Publication Number Publication Date
KR20230078412A true KR20230078412A (en) 2023-06-02

Family

ID=86755686

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210166180A KR20230078412A (en) 2021-11-26 2021-11-26 AI-assisted Reliability Assessment Device for Printing, Reliability Assessment Method using the same, and the Printing System

Country Status (1)

Country Link
KR (1) KR20230078412A (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090089070A (en) 2008-02-18 2009-08-21 삼성디지털이미징 주식회사 Digital camera using photo frame and control method thereof
KR20100048921A (en) 2008-10-31 2010-05-11 후지필름 가부시키가이샤 Positive-type photosensitive composition
KR20100072327A (en) 2007-11-02 2010-06-30 이노스펙 리미티드 Process for bleaching pulp
KR20100126201A (en) 2010-05-19 2010-12-01 (주)경신이엔지 Bus stop or bike stand with photo voltage module
KR20100126918A (en) 2009-05-25 2010-12-03 주식회사 포스코 Furnace for melting slag and method for melting slag using it
KR20110067433A (en) 2009-12-14 2011-06-22 주식회사 무한기술 Rapid agitate machine and waste water cleaning device
KR20120016317A (en) 2009-06-17 2012-02-23 사라 리/디이 비.브이. Capsule, system and method for preparing a predetermined quantity of beverage suitable for consumption

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100072327A (en) 2007-11-02 2010-06-30 이노스펙 리미티드 Process for bleaching pulp
KR20090089070A (en) 2008-02-18 2009-08-21 삼성디지털이미징 주식회사 Digital camera using photo frame and control method thereof
KR20100048921A (en) 2008-10-31 2010-05-11 후지필름 가부시키가이샤 Positive-type photosensitive composition
KR20100126918A (en) 2009-05-25 2010-12-03 주식회사 포스코 Furnace for melting slag and method for melting slag using it
KR20120016317A (en) 2009-06-17 2012-02-23 사라 리/디이 비.브이. Capsule, system and method for preparing a predetermined quantity of beverage suitable for consumption
KR20110067433A (en) 2009-12-14 2011-06-22 주식회사 무한기술 Rapid agitate machine and waste water cleaning device
KR20100126201A (en) 2010-05-19 2010-12-01 (주)경신이엔지 Bus stop or bike stand with photo voltage module

Similar Documents

Publication Publication Date Title
JP7375006B2 (en) Image semantic segmentation network training method, device, equipment and computer program
US10977524B2 (en) Classification with segmentation neural network for image-based content capture
WO2022200854A1 (en) Electronic substrate defect detection
CN110245673B (en) Parking space detection method and device
JP7442550B2 (en) Inference calculation device, model training device, and inference calculation system
US20150227670A1 (en) Identifying layout pattern candidates
CN112463354A (en) Tagged memory operating at lower Vmin in fault tolerant systems
CN114388380A (en) Apparatus and method for detecting defects on a wafer
CN111626295A (en) Training method and device for license plate detection model
CN114586062A (en) Defect image generating apparatus and method
CN115136209A (en) Defect detection system
CN110580478B (en) Active segmentation of scanned images based on depth-enhanced learning for OCR applications
KR20230078412A (en) AI-assisted Reliability Assessment Device for Printing, Reliability Assessment Method using the same, and the Printing System
JP2020126632A (en) Method and device for attention-driven resource allocation by using avm to thereby achieve safety of autonomous driving
CN114820644A (en) Method and apparatus for classifying pixels of an image
KR102269741B1 (en) X-ray inspection method for overlap pattern using machine learning
KR102036785B1 (en) Method and apparatus for controlling elevator maintenance and repair process
JPWO2018135516A1 (en) Neural network learning apparatus, neural network learning method, and neural network learning program
KR101510143B1 (en) Method for compensating a field of view during a circuit board inspection
CN111291704A (en) Interference removing method and device, computer equipment and storage medium
US20220335650A1 (en) Methods and Systems for Training a Machine Learning Method for Determining Pre-Determined Points in an Image
US20230230225A1 (en) Multi-tier pcba integrity validation process
Ding et al. Reviving shift equivariance in vision transformers
KR102103727B1 (en) Apparatus and method for generating image using skim-pixel convolution neural network
Fujita et al. Fine-tuned Surface Object Detection Applying Pre-trained Mask R-CNN Models