KR20190039297A - 검사 방법 및 장치 - Google Patents

검사 방법 및 장치 Download PDF

Info

Publication number
KR20190039297A
KR20190039297A KR1020197007990A KR20197007990A KR20190039297A KR 20190039297 A KR20190039297 A KR 20190039297A KR 1020197007990 A KR1020197007990 A KR 1020197007990A KR 20197007990 A KR20197007990 A KR 20197007990A KR 20190039297 A KR20190039297 A KR 20190039297A
Authority
KR
South Korea
Prior art keywords
reliability
inspection
container
cap
defective product
Prior art date
Application number
KR1020197007990A
Other languages
English (en)
Other versions
KR102233906B1 (ko
Inventor
조성제
박재훈
이부한
Original Assignee
주식회사 코글릭스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코글릭스 filed Critical 주식회사 코글릭스
Publication of KR20190039297A publication Critical patent/KR20190039297A/ko
Application granted granted Critical
Publication of KR102233906B1 publication Critical patent/KR102233906B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00Investigating or analyzing materials by the use of thermal means
    • G01N25/72Investigating presence of flaws
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06K9/6255
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F3/00Labels, tag tickets, or similar identification or indication means; Seals; Postage or like stamps
    • G09F3/02Forms or constructions
    • G09F3/03Forms or constructions of security seals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Signal Processing (AREA)

Abstract

실시 예는 검사 방법 및 장치에 관한 것으로, 일 실시 예는, 특정 용기의 캡 실링에 대한 열 화상 데이터를 분석하는 데 있어서, 낮은 신뢰도를 보이는 경우, 양품 또는 불량품으로 판단하지 않고, 별도로 분리하는 리젝션 처리를 하여 사용자 검사 대상으로 분류할 수 있다.

Description

검사 방법 및 장치
실시 예는 검사 방법 및 장치에 관한 것으로, 더 상세하게는 프로세스 라인을 따라 운반되는 용기의 캡 실링을 IR 카메라로 검사하는 방법 및 장치에 관한 것이다.
캡 밀봉(cap sealing)으로 알려진 유도 밀봉(induction sealing)은 플라스틱 용기 및 유리 용기의 상부를 기밀식으로 밀봉하도록 금속성 원반(metallic disk)을 가열하는 비접촉 방법이다. 이 밀봉 프로세스는 용기에 내용물, 예를 들면 알약 등이 채워지고 캡으로 덮인 후에 이루어진다. 알루미늄 포일 라이너가 이미 삽입된 보틀러(bottler)에 폐쇄부(closure)가 공급된다. 전형적인 유도 라이너(induction liner)는 다층으로 되어 있다. 용기 개구로부터 거리를 둔 상부 층은 일반적으로 상기 캡에 점-점착(spot-glued)된 종이 펄프이다. 그 다음 층은 알루미늄 포일의 층을 상기 펄프에 접합시키는 데 이용되는 왁스이다. 하부 층은 상기 포일에 라미네이트 입혀진(laminated) 중합체 필름이다. 종래의 캡 덮음(capping) 기술들에서 용기의 개구 위에 캡이 적용된 후에 용기는 진동하는 전자기장을 방출하는 유도 코일 아래를 지나가고, 전도성인 알루미늄 포일 라이너가 가열되기 시작한다. 그 열은 왁스를 용융시켜 왁스는 펄프 뒤판(pulp backing) 안으로 흡수되고, 포일은 캡으로부터 풀려나온다. 중합체 필름 또한 가열되어 용기의 순부(lip) 상으로 드리워진다(flow). 냉각된 때에 중합체는 용기와의 접합을 생성하여, 기밀식으로 밀봉된 제품으로 만들어진다. 용기도 그 내용물도 영향을 받지 않은 채, 이 모든 것이 몇 초만에 또는 그보다 빠른 시간 내에 이루어진다. 때로는 포일이 과열되어 밀봉 층 또는 임의의 보호 장벽들에 손상이 초래될 수 있다. 이는 결함 있는 밀봉이 될 수 있으며, 이러한 결함은 초기 밀봉 프로세스 후 몇 주가 지난 때에도 생길 수 있다.
종래에, 밀봉의 결함을 검출하기 위해 다양한 서모그래피 기반의 시스템들이 제시되고 있으며, 이러한 시스템들은 대부분 IR 카메라 또는 적외선 영상 카메라를 이용하여 캡 실링을 촬영한 열 화상 데이터의 처리에 기반을 두고 있다.
기존의 캡 실링 검사 시스템은 양품(Good)과 불량(Not Good)만을 분류한다. 그러나 실제의 검사에 있어서, 머신 러닝 기법을 사용한 검사일 경우 신뢰도 점수가 발생하고, 낮은 신뢰도 점수를 가지는 애매한 결과가 발생함에도 불구하고, 낮은 신뢰도를 가지고 억지로 양품 또는 불량을 판별하는 문제점이 있었다. 또한, 단순히 불량만을 판정할 뿐, 불량의 유형에 대해서는 어떠한 정보도 제공하지 못하였다.
또한, 머신 비전(machine vision), 머신 러닝(machine learning)을 사용하는 검사 시스템에서는 두 가지 전통적인 문제가 있다. 첫 번째는, 동일한 검사알고리즘을 사용하더라도 부자재(sub-material)의 품질도(quality) 또는 균일도 (uniformity)에 따라서 검사의 성능이 달라진다는 것이다. 부자재의 균일도가 좋지 않을수록 검사를 수행할 때 불량이 아닌데 불량으로 인식하는 경우(overkill)와, 불량을 불량으로 인식하지 못하는 경우(underkill)의 경우의 수가 많아지거나, 확률이 높아진다는 문제점이 있다. 두 번째 문제는, 실제로 검사를 수행하기 전에는 검사의 정확도 또는 정확도 경향을 알 수 없다는 것이다. 이것은 고객 또는 사용자가 새로운 검사 대상을 투입할 때 본 검사를 진행하고 나서야 검사 정확도를 확인할 수 있으며, 이것은 검사 결과에 대한 불만을 야기할 수 있다.
일 실시 예는, 전술한 종래기술의 문제점을 해결하기 위한 것으로, 특정 용기의 캡 실링에 대한 열 화상 데이터를 분석하는 데 있어서, 낮은 신뢰도를 보이는 경우, 양품 또는 불량품으로 판단하지 않고, 별도로 분리하는 리젝션 처리를 하여 사용자 검사 대상으로 분류할 수 있는 검사 방법 및 장치를 제공하는 것이다.
또한, 불량품의 유형을 미리 학습하여, 프로세스 라인에서 어떤 단계에서 불량이 발생한 것인지에 대한 정확한 정보를 제공함으로써, 공정 개선을 위한 정확한 정보를 제공할 수 있는 검사 방법 및 장치를 제공하는 것이다.
또한, 실제 검사를 시작하기 전에 학습한 데이터를 사용하여, 검사대상의 품질 균일도와 검사 정확도를 예측할 수 있는 정보를 제공함으로써, 검사의 신뢰성을 높일 수 있는 검사 방법 및 장치를 제공하는 것이다.
일 실시 예에 따른 프로세스 라인을 따라 운반되는 용기의 캡 실링을 IR 카메라로 검사하는 방법에 있어서, 상기 IR 카메라를 이용하여 상기 IR 카메라의 화각(FOV) 내에 위치한 상기 용기의 캡 실링을 촬영하는 단계; 상기 촬영된 캡 실링에 대응하는 열 화상 데이터와 미리 학습한 샘플 데이터를 기초로 신뢰도 점수를 계산하는 단계; 및 상기 계산된 신뢰도 점수와 미리 정의된 신뢰도 값 범위를 비교하여, 비교결과에 따라 상기 캡 실링을 양품, 불량품 및 사용자 검사 대상 중 하나로 판단하는 단계를 포함한다.
상기 판단 단계는, 상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최대 신뢰도 값보다 큰 경우, 캡 실링을 양품으로 판단하고, 상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최소 신뢰도 값보다 작은 경우, 상기 캡 실링을 불량품으로 판단하고, 상기 신뢰도 점수가 상기 최소 신뢰도 값 이상이고 상기 최대 신뢰도 값 이하인 경우, 상기 캡 실링을 사용자 검사 대상으로 판단하는 것을 특징으로 한다.
상기 검사 방법은 상기 최대 신뢰도 값 및 상기 최소 신뢰도 값은 사용자 선택에 따라 결정되는 것을 특징으로 한다.
상기 검사 방법은 상기 불량품 및 사용자 검사 대상으로 판단된 용기가 분리되어 수집되도록 각각의 분류기구를 구동시키는 단계는 더 포함하는 것을 특징으로 한다.
상기 검사 방법은 상기 미리 학습한 샘플 데이터를 기초로 검사 대상의 검사 정확도를 예측하는 단계; 및 상기 예측된 검사 정확도를 표시하는 단계를 더 포함하는 것을 특징으로 한다.
상기 검사 방법은 상기 열 화상 데이터, 상기 계산된 신뢰도 점수 및 상기 불량품의 유형을 표시하는 단계를 더 포함하는 것을 특징으로 한다.
상기 불량품의 유형은, Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하고, 상기 미리 학습한 샘플 데이터는, 상기 양품에 해당하는 용기의 캡 실링, 및 Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하는 불량품에 해당하는 용기의 캡 실링을 기초로 학습한 것을 특징으로 한다.
상기 미리 학습한 샘플 데이터는, Learning 기반 또는 특징(Feature) 기반 중 어느 하나를 이용하여 학습한 것을 특징으로 한다.
다른 실시 예에 따른 프로세스 라인을 따라 운반되는 용기의 캡 실링을 IR 카메라로 검사하는 장치에 있어서, 상기 IR 카메라의 화각(FOV) 내에 위치한 상기 용기의 캡 실링을 촬영하는 IR 카메라; 및 상기 촬영된 캡 실링에 대응하는 열 화상 데이터와 미리 학습한 샘플 데이터를 기초로 신뢰도 점수를 계산하고, 상기 계산된 신뢰도 점수와 미리 정의된 신뢰도 값 범위를 비교하여, 비교결과에 따라 상기 캡 실링을 양품, 불량품 및 사용자 검사 대상 중 하나로 판단하는 제어부를 포함한다.
상기 제어부는, 상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최대 신뢰도 값보다 큰 경우, 캡 실링을 양품으로 판단하고, 상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최소 신뢰도 값보다 작은 경우, 상기 캡 실링을 불량품으로 판단하고, 상기 신뢰도 점수가 상기 최소 신뢰도 값 이상이고 상기 최대 신뢰도 값 이하인 경우, 상기 캡 실링을 사용자 검사 대상으로 판단하는 것을 특징으로 한다.
상기 검사 장치는 상기 최대 신뢰도 값 및 상기 최소 신뢰도 값은 사용자 선택에 따라 결정되는 것을 특징으로 한다.
상기 검사 장치는 상기 불량품을 수집하는 제1 수집함; 상기 사용자 검사 대상을 수집하는 제2 수집함; 및 상기 프로세스 라인의 검사 세션 다음의 분류 세션에 구비되어, 상기 불량품을 상기 제1 수집함으로 밀어내는 제1 분류기구와, 상기 사용자 검사 대상을 상기 제2 수집함으로 밀어내는 제2 분류기구를 더 포함하고,
상기 제어부는, 상기 불량품 및 사용자 검사 대상으로 판단된 용기가 상기 제1 수집함 또는 상기 제2 수집함으로 분리되어 수집되도록 상기 제1 분류기구 또는 상기 제2 분류기구를 구동시키는 것을 특징으로 한다.
상기 검사 장치는 상기 열 화상 데이터, 상기 계산된 신뢰도 점수 및 상기 불량품의 유형을 표시하는 표시부를 더 포함하고,
상기 제어부는, 상기 미리 학습한 샘플 데이터를 기초로 검사 대상의 검사 정확도를 예측하고, 상기 예측된 검사 정확도를 상기 표시부에 표시하는 것을 특징으로 한다.
상기 불량품의 유형은, Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하고, 상기 미리 학습한 샘플 데이터는, 상기 양품에 해당하는 용기의 캡 실링, 및 Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하는 불량품에 해당하는 용기의 캡 실링을 기초로 학습한 것을 특징으로 한다.
또 다른 실시 예에 따른 상기 검사 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
일 실시 예는, 전술한 종래기술의 문제점을 해결하기 위한 것으로, 특정 용기의 캡 실링에 대한 열 화상 데이터를 분석하는 데 있어서, 낮은 신뢰도를 보이는 경우, 양품 또는 불량품으로 판단하지 않고, 별도로 분리하는 리젝션 처리를 하여 사용자 검사 대상으로 분류할 수 있다.
또한, 불량품의 유형을 미리 학습하여, 프로세스 라인에서 어떤 단계에서 불량이 발생한 것인지에 대한 정확한 정보를 제공함으로써, 공정 개선을 위한 정확한 정보를 제공할 수 있다.
또한, 실제 검사를 시작하기 전에 학습한 데이터를 사용하여, 검사대상의 품질 균일도와 검사 정확도를 예측할 수 있는 정보를 제공함으로써, 검사의 신뢰성을 높일 수 있다.
도 1은 일 실시 예에 따른 전체 시스템(100)의 개략도이다.
도 2는 도 1에 도시된 검사 장치(120)의 다중 리젝션을 위한 구성의 개략 도이다.
도 3은 도 1에 도시된 검사 장치(120)의 개략 도이다.
도 4 내지 16은 양품과 불량품의 유형별도 학습하는 것을 설명하기 위한 예시 도들이다.
도 17 내지 28은 학습 데이터를 기반으로 용기의 캡 실링에 대해 양품 및 불량품의 유형별로 판단하는 것을 설명하기 위한 예시 도들이다.
도 29는 다른 실시 예에 따른 검사 방법을 설명하기 위한 흐름 도이다.
도 30 내지 35는 또 다른 실시 예에 따른 검사 정확도 예측을 설명하기 위한 예시 도들이다.
도 36 내지 42는 또 다른 실시 예에 따른 검사 정확도 예측을 설명하기 위한 예시 도들이다.
이하, 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 실시 예에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 실시 예에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 실시 예에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 실시 예에서 사용된 "제 1", "제 2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 실시 예에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상술한 어떤 구성요소가 상술한 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 실시 예에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 AP(application processor))를 의미할 수 있다.
본 실시 예에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 실시 예에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 실시 예에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 실시 예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 실시 예에서 정의된 용어일지라도 본 실시 예의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 일 실시 예에 따른 전체 시스템(100)의 개략도이다.
도 1을 참조하면, 전체 시스템(100)은 프로세스 라인을 따라 운반되는 용기(1)에 캡을 부착시키는 캡핑 머신(105)과, 부착된 또는 덥혀진 캡을 밀봉시키는 실링 머신(110)과, 운반되는 용기의 캡 실링을 검사하는 검사 장치(120)를 포함한다. 일 실시 예에 따른 검사 장치(120)는 디스플레이 또는 표시부(121), IR카메라(122)를 포함하여 구성되며, 추가로 양품으로 확인된 용기(1)는 프로세스 라인을 따라 지나 보내고, 불량품으로 판단된 용기(1)는 NG(Not Good)에 해당하는 수거함으로 분리하고, 사용자 검사 대상으로 판단된 용기(1)는 UC(User Check)에 해당하는 수거함으로 분리하는 다중 리젝션(multi rejection) 구성을 더 포함할 수 있다. 다중 리젝션 구성은 도 2를 참조하여 후술한다.
여기서, 양품, 불량품, 사용자 검사 대상으로 판단하는 것은 용기의 캡 실링을 양품 또는 불량품 유형별로 미리 학습한 후, 실제 검사 시에, IR 카메라(122)로 촬영한 용기(1)의 열 화상 데이터와 미리 학습한 데이터를 비교하여 양품, 불량품으로 분류한다. 또한, 머신 러닝(Machine Learning)을 이용하여 학습한 데이터를 이용하여 연산을 하는 경우, 신뢰도 점수로 표현 가능하며, 미리 정의된 신뢰도 값 범위를 기준으로 양품, 불량품, 사용자 검사 대상으로 판단한다. 즉, 현재 검사 대상의 열 화상 데이터를 분석한 결과, 그 신뢰도 값이 최대 신뢰도 값보다 큰 경우에, 양품으로 판단하고, 그 신뢰도 값이 최소 신뢰도 값보다 작은 경우에는, 불량품으로 판단하고, 최대 신뢰도 값과 최소 신뢰도 값의 사이인 경우에는 사용자 검사 대상으로 판단한다. 즉, 신뢰도 값이 애매한(ambiguous) 경우에는 낮은 신뢰도를 가지고, 억지로 양품 또는 불량품으로 판단하지 않고, 별도로 분류하여 사용자 확인을 통해 처리하는 것이다.
또한, 실시 예에 따른 검사 장치(120)는 실제 검사를 하기 전에, 설정 과정을 통해 특정 용기의 캡 실링의 검사 정확도를 예측할 수 있다. 예를 들면 양품과 불량의 유형별로 미리 학습한 후 학습 결과에 따라 검사 정확도를 예측하여 사용자에게 미리 알려줄 수 있다.
캡핑 머신(105)은 프로세스 라인을 따라 이동된 용기에 캡을 덮는다. 실링 머신(110)은 고주파 열 유도 유닛(HFHI)일 수 있다.
실링 머신(110)을 통과한 용기(1)는 검사 장치(120)로 운반되어, IR 카메라(122)의 화각(FOV)내에 위치한다. 검사 장치(120)의 제어에 따라 IR 카메라(122)로 용기의 캡 실링을 촬영하고, 촬영된 캡 실링을 영상 처리하여 열 화상 데이터를 생성하여 표시부(121)에 표시한다. 또한, 검사 장치(120)는 미리 학습한 데이터와 비교하여 해당 열 화상 데이터에 해당하는 캡 실링이 양품인지, 불량품인지, 또는 사용자 검사 대상인지를 판단한다. 또한, 검사 장치(120)는 불량품인 경우에도, 불량의 유형, 예를 들면 Overheat, Loosen, Damaged seal 또는 Underheat인지를 표시부(121)에 표시할 수 있다. 따라서, 용기의 캡 실링의 전체 프로세스에서, 어느 프로세스 라인, 예를 들면 캡핑 머신(105), 또는 실링 머신(110)에서 오류가 발생하였는지를 확인할 수 있다.
실시 예에 따른 검사 장치(120)는 IR 카메라(122)의 온도 변화에 따른 신뢰도를 높이기 위해, 온도 센서를 IR 카메라(122)의 화각(FOV) 내에 위치시키고, 온도 센서 자체의 값과 온도 센서를 촬영하여 얻어지는 열 화상 데이터로부터 산출한 온도 값을 비교 연산하여, IR 카메라(122)의 온도 캘리브레이션, 검사 환경에 대한 알림 등을 사용자에게 알려줄 수 있다.
IR 카메라의 방식은 냉각식(cooled)과 비냉각식(uncooled)이 있다. 냉각식 IR 카메라는 일반적으로 1um 내지 5um(micrometer)파장대에 민감하고, 비냉각식 IR 카메라는 일반적으로 7um 내지 13um 파장대에 민감하다. IR 카메라는 제조사에 의해 공장 캘리브레이션(factory calibration)을 수행하게 된다. 이 과정에서 특정 온도 범위 대역에 적합한 캘리브레이션 테이블 또는 캘리브레이션 파일을 가지게 된다.
도 2는 도 1에 도시된 검사 장치(120)의 다중 리젝션을 위한 구성의 개략 도이다.
도 2를 참조하면, 검사 장치(120)는 프로세스 라인을 따라 운반되는 용기에 대해, 캡 실링을 IR 카메라로 촬영하여, 촬영된 열 화상 데이터를 기초로 미리 학습한 샘플 데이터를 기초로 신뢰도 점수를 계산한다. 검사 장치(120)는 신뢰도 점수와 미리 정의된 신뢰도 값 범위를 비교하고, 비교 결과에 따라 캡 실링을 양품, 불량품 또는 사용자 검사 대상으로 판단한다.
도 2에 도시된 것처럼, 검사 장치(120)는 양품으로 판단된 용기는 프로세스 라인을 따라 계속 이동되고, 불량품(NG)으로 판단된 용기는 NG 수집함으로 보내기 위해, 분류기구(200)를 구동시켜 프로세스 라인에서 이탈시킨다. 또한, 사용자 검사 대상(User Check)으로 판단된 용기는 UC 수집함으로 보내기 위해, 분류기구(210)를 구동시켜 프로세스 라인에서 이탈시킨다.
실시 예에 따른 검사 장치(120)는 학습한 샘플 데이터를 기반으로 하여 검사 대상인 용기의 캡 실링에 대해 신뢰도 점수를 계산할 수 있고, 이러한 신뢰도 점수가 일정한 신뢰도 범위, 예를 들면 최소 신뢰도 값과 최대 신뢰도 값을 설정하고, 계산된 신뢰도 점수가 최대 신뢰도 값보다 큰 경우, 양품으로 판단하고, 최소 신뢰도 값보다 작은 경우 불량품으로 판단하고, 최소 신뢰도 값과 최대 신뢰도 값 사이인 경우에 양품 또는 불량으로 판단하지 않고, 사용자 검사 대상으로 판단한다. 즉, 검사 장치(120)는 다중 리젝션을 구현함으로써, 오판정의 확률을 줄일 수 있다. 이러한 구성으로부터 미리 학습한 데이터와 상이한 형태의 데이터가 입력되는 경우에 적절한 검사 처리를 수행할 수 있다.
도 3은 도 1에 도시된 검사 장치(120)의 개략 도이다.
도 3을 참조하면, 검사 장치(120)는 제어부(300), 사용자 설정부(310), 촬영 제어부(320), 학습부(330), 정확도 예측부(340), 신뢰도 계산부(350), 분류기구 구동부(360)를 포함한다.
또한, 검사 장치(120)는 도 1 및 2에 도시된, 표시부(121), IR 카메라(122), 분류기구들(200,210)을 더 포함할 수 있음은 물론이다. 또한, 도 3을 참조하여, 검사 장치(120)의 내부 구성들을 분리하여 기재하였으나, 이에 한정되지 않고, 제어부(300), 프로세서 또는 CPU에서 일괄 처리할 수 있음은 물론이다.
제어부(300)는 전체 검사 장치(120)의 동작을 제어한다.
사용자 설정부(310)는 검사 장치(120)의 필요성 설정 값과 환경을 설정한다. 예를 들면 도 1에 도시된 표시부(121)의 터치 인터페이스를 통해, 사용자 입력을 설정할 수 있다. 사용자 설정부(310)를 통해, 검사 장치(120)의 동작 메뉴, 예를 들면 실제 검사를 위한 촬영(capture), 샘플 데이터 러닝을 위한 학습(Teaching), 검사 정확도 예측을 위한 예측(Prediction) 등을 선택할 수 있다. 또한, 일 실시 예에 따른 신뢰도 값의 범위를 설정할 수 있으며, 각각의 불량품의 유형별로도 신뢰도 값의 범위를 설정할 수 있다. 또한, 학습 메뉴에서, 딥 러닝과 특징 기반의 학습을 선택하여 학습할 수 있으며, 각각의 학습 결과에 따라 신뢰도 값이 높은 학습 방법을 선택할 수도 있다.
촬영 제어부(320)는 IR 카메라(122)를 제어하여 화각 내에 위치한 용기의 캡 실링을 촬영한다.
학습부(330)는 용기의 캡 실링의 양품, 유형별 불량품들을 학습한다. 불량품의 유형은 Overheat, Loosen, Damaged seal 또는 Underheat를 포함할 수 있으며, 이에 한정되지 않는다. 실시 예에 따른 검사 장치(120)는 실링을 하는 포장용기 검사 시스템에서, 지도 학습(supervised learning)을 기반으로 하여 유형 또는 부류 클래스 별로 학습을 하고 그 결과를 바탕으로 공정 개선을 위한 정보를 제공할 수 있다.
구체적으로, 샘플들의 영상을 캡쳐하고, 캡쳐할 때 각 부류 클래스별로 미리 선택하여 캡쳐하는 파일들에 그 부류 클래스의 태그가 파일명 또는 별도의 목록 파일에 연동하여 저장한다. 부류에 대한 태그가 달린 파일들을 사용해서 지도 학습을 수행한다. 지도 학습은 일반적인 머신 러닝 기법 또는 알고리즘을 사용할 수 있다. 예를 들면 ANN(Artificial Neural Network), CNN(Convolutional Neural Network), DNN(deep neural network) 등을 사용할 수 있으나, 이에 한정되는 것은 아니다.
이렇게 불량품의 유형별로 학습한 후 실제 검사시에, 불량의 유형별로 공정 개선 정보를 제공할 수 있다. 예를 들면, LOOSEN 불량의 경우 캡핑 머신(105)의 설정 이상으로, OVERHEAT 불량의 경우 실링 머신(110)의 설정 이상으로, UNDERHEAT 불량의 경우 실링 머신(110)의 설정 이상으로, DAMAGED SEAL 불량의 경우 용기나, 실(seal), 캡(cap)등의 부자재(sub-material) 품질이상임을 사용자 또는 운용자에게 알려줄 수 있다.
이러한 공정 개선 정보를 제공하는 방법은 샘플 부류 N개로 지도 학습을 시작하고, 지도 학습을 종료한다. 실제 검사를 시작한 경우, 샘플 부류 N개에 대한 신뢰도 점수를 연산하고, 신뢰도 점수를 표시한다. 그리고 신뢰도 점수가 높은 부류에 대한 공정 대응 정보를 표시한다.
도 4 내지 16은 양품과 불량품의 유형별도 학습하는 것을 설명하기 위한 예시 도들이다.
도 4를 참조하면, 양품에 대한 샘플 79개에 대해 딥 러닝(Deep learning)으로 학습한 결과를 나타내며, 가로축은 샘플 수, 세로축은 신뢰도 값을 표시한다. 품질 균일도의 평균은 99.6이고, 표준편차는 0.7이고, 163번의 검사 중 163번을 양품으로 판단하여, 예측한 검사 정확도를 100%이다. 도 5를 참조하면, 동일한 샘플 79에 대해 특징 기반으로 학습한 결과를 나타낸다. 품질 균일도의 평균은 97. 6이고, 표준편차는 1.2이고, 163번의 검사 중 161번을 양품으로 판단하여 예측한 검사 정확도는 98.8%이다.
도 6 및 7을 참조하면, 불량품 유형 중 OverHeat 샘플 20개에 대해 딥 러닝과 특징 기반으로 학습한 결과를 나타내며, 도 8 및 9는 불량품 유형 중 Loosen 샘플 27개에 대해 딥 러닝과 특징 기반으로 학습한 결과를 나타내며, 도 10 및 11은 불량품 유형 중 Damaged seal 샘플 10개에 대해 딥 러닝과 특징 기반으로 학습한 결과를 나타내며, 도 12 및 13은 불량품 유형 중 Underheat 샘플 21개에 대해 딥 러닝과 특징 기반으로 학습한 결과를 나타내며, 도 14 및 15는 불량품 유형 중 etc 샘플 6개에 대해 딥 러닝과 특징 기반으로 학습한 결과를 나타낸다.
도 16을 참조하면, 도 6 내지 15에 따라 학습한 샘플 데이터를 기반으로 실제 148개의 용기의 캡 실링에 대해 검사한 결과에 대한 통계 자료가 도시된다.
전체 148개에 대해 검사를 한 결과, 양품이 106개, 불량품이 42개로 구성되며, 불량품의 NG1 내지 NG 5에 대한 각각의 개수가 도시된다.
정확도 예측부(340)는 학습한 샘플 데이터를 기반으로 검사 대상의 검사 정확도를 예측한다. 실시 예에 따른 검사 장치(120)는 실제 검사를 시작하기 전에 학습한 데이터를 사용하여, 검사대상의 품질 균일도와 검사 정확도를 예측할 수 있다.
검사 대상의 균일도 지표와 검사 정확도에 대한 지표를 확인하는 정량적인 방법은 다음과 같다.
A001_OK 내지 A020_OK, A021_NG1 내지 A30_NG1, A031_NG2 내지 A40_NG2, A041_NG3 내지 A50_NG3를 캡쳐한 열 화상 데이터라 한다. 열 화상 데이터 번호 뒤에 태그는 영상 캡쳐시에 사용자 입력을 통해 미리 설정하고 영상을 캡쳐하면 데이터 파일명에 태깅이 된다. 이들 캡쳐한 영상 세트 전체에 대해서 머신 러닝 기반을 학습을 수행한다. 머신 러닝 알고리즘은 ANN, DNN 등일 수 있다. 학습을 수행하고 나면 학습 결과 데이터 파일이 생성된다.
학습한 결과를 바탕으로, 캡쳐한 영상들 중에서 _OK 라는 태그가 있는 파일들을 검사한다. 검사하면 각각의 데이터에 대해서, 신뢰도 점수 또는 확률 값이 산출된다. 1) 이 확률 값들의 평균을 구한다. 2) 이 확률 값들의 표준편차를 구한다. 3) OK 인 샘플들을 검사한 결과 OK로 판정한 개수/Ground truth 가 OK 인 샘플의 개수의 비율을 구한다. 여기서, 1) 내지 3의 값들이 부자재의 품질 균일도 지표이다. 여기서, Ground Truth는, 작업자가 알고 있는 실제 결과, 즉 양품인지 불량의 어떤 종류인지를 말한다. 학습용으로 캡쳐한 데이터에 대해서는, 파일명에 붙어있는 태그가 ground truth 이다. 단, 이 경우 작업자의 실수로 인한 실제 샘플의 상태와 태그 명의 차이가 발생하는 경우는 가정하지 않는다.
검사 정확도 지표는 다음과 같이 산출한다.
캡쳐한 샘플들 중에서 다음과 같은 비율로 샘플 개수를 나누어 학습한다.
OK, NG1, NG2, NG3 각각의 종류에 대해서 5:5로 나눈다. 각 종류에 대한 50%의 데이터를 집합 TDS teaching data set 이라 하고, 나머지 50%의 데이터를 집합 VDS validation data set 이라 한다. TDS 데이터의 10% 해당하는 샘플 수만으로 학습한다. VDS 샘플 수에 대해서 검사 연산한다. 그 검사 결과에 대해서, 다음과 같이 계산한다.
Ground truth 가 OK 인 샘플들을 검사한 결과, OK로 판정한 개수/Ground truth 가 OK 인 샘플의 개수를 0 내지 1 사이의 값, 또는 %로 표시한다.
Ground truth 가 NG1인 샘플들을 검사한 결과, NG1로 판정한 개수/ Ground truth 가 NG1 인 샘플의 개수를 0 내지 1 사이의 값, 또는 %로 표시한다.
Ground truth 가 NG2인 샘플들을 검사한 결과, NG2로 판정한 개수/Ground truth가 NG2인 샘플의 개수를 0 내지 1 사이의 값, 또는 %로 표시한다.
Ground truth 가 NG3인 샘플들을 검사한 결과 NG3로 판정한 개수/Ground truth가 NG3인 샘플의 개수를 0 내지 1 상의 값 또는 %로 표시한다.
상기와 같은 과정의 연산을 TDS 데이터의 비율을 20% 내지 100%까지 연산하여 그 결과를 그래프로 플로팅하면, 부류 클래스 개수만큼의 그래프가 플로팅된다. 즉 OK, NG1, NG2, NG3의 노트가 있는 4개의 그래프를 표시할 수 있다. 세로축은 검사정확도(%). 가로축은 학습한 개수 비율, 이 경우는 사용 샘플 수를 10 내지 100%로 표시한다. 이 비율의 변화는 예시적이며, 비율의 변화를 주어 연산하고 그것에 따른 경향을 사용자에게 보여줄 수도 있다.
이 그래프는 검사 정확도를, 각 부류의 유형(OK, NG1 내지 NG3)별로 보여주며, 학습데이터의 수의 변화와 검사할 샘플수의 변화에 따라 검사정확도의 변화 추이를 보여줄 수도 있다. 전체 샘플 수는 50 샘플 이상일 수 있으며, 바람직하게는 200~400개가 적절하다. 이 수치는 부자재의 품질도가 불균일할수록, 실링 머신의 성능이 낮을수록 개수를 늘려야 하며, 반대의 경우는 줄일 수 있다.
실시 예에 따라, OK와 3가지 유형의 불량품을 예시적으로 설명하였지만, 이에 한정되지 않고, 다양한 유형의 불량품을 상기와 같은 방법으로 적용할 수 있음은 물론이다.
신뢰도 계산부(350)는 촬영된 캡 실링에 대응하는 열 화상 데이터와 미리 학습한 샘플 데이터를 기초로 신뢰도 점수를 계산한다.
제어부(300)는 계산된 신뢰도 점수와 미리 정의된 신뢰도 값 범위를 비교하여, 비교결과에 따라 상기 캡 실링을 양품, 불량품 및 사용자 검사 대상 중 하나로 판단한다.
분류기구 구동부(360)는 제어부(300)의 제어에 따라, 불량품 또는 사용자 검사 대상으로 판단한 경우, 도 2에 도시된 제1 분류기구(200) 또는 제2 분류기구(210)를 구동시킨다.
신뢰도 점수는 일반적으로 정규화되어 0 내지 1 또는, 0 내지 100%로 표시될 수 있다. 이 경우 미리 설정한 기준 범위 값 신뢰도 최소값(S_min) 내지 신뢰도 최대값(S_max)에 따라, 검사 연산 수행을 한 후, 신뢰도 점수가 이 범위 안의 값이라면, 불량 리젝션, 즉 도 2에 도시된 불량 수집함(NG)에 수집하는 것이 아니라, 사용자 검사 대상 수집함(UC)에 수집한다. 예를 들면, 양품과 불량품에 대한 신뢰도 점수가 정규화되게 학습을 시켰다면, 검사를 수행했을 때 양품에 대한 신뢰도 점수가 55%이면 불량에 대한 신뢰도 점수는 45%이다. 이러한 신뢰도 점수를 가지고 양품이라고 판정하게 되면 오판정을 하게 되는 확률이 커진다. 이 경우, 사용자 검사 대상 또는 신뢰도 낮음으로 분류하여 오판정의 확률을 줄일 수 있다.
예시적으로, S_max 는 55 내지 80%일 수 있으며, S_min은 20 내지 45%가 될 수 있다. 엄밀한 검사 결과를 위해서는 S_min는 20%, S_max는 80% 가 될 수 있다. 이 경우, 신뢰도 점수가 21% 내지 79%는 모두 사용자 검사 대상 또는 모호한(ambiguous) 결과로 처리된다. 느슨한 검사 결과를 위해서는 S_min는 40%, S_max는 60% 가 될 수 있다. 이 경우, 신뢰도 점수가 41% 내지 59% 는 모두 사용자 검사 대상 또는 모호한 결과로 처리된다.
도 17 내지 28은 학습 데이터를 기반으로 용기의 캡 실링에 대해 양품 및 불량품의 유형별로 판단하는 것을 설명하기 위한 예시 도들이다.
도 29는 다른 실시 예에 따른 검사 방법을 설명하기 위한 흐름 도이다.
도 29를 참조하면, 단계 2900에서, 용기의 캡 실링에 대해 검사를 시작한다.
단계 2902에서, 미리 학습한 샘플 데이터를 기초로 촬영된 용기의 캡 실링에 대한 신뢰도 점수를 연산한다.
단계 2904에서, 신뢰도 점수가 신뢰도 최대값보다 큰 경우, 단계 2906에서, 양품으로 판단한다.
단계 2904에서, 신뢰도 점수가 신뢰도 최대값보다 작은 경우, 단계 2908에서, 신뢰도 점수가 신뢰도 최소값보다 작은지 판단한다.
신뢰도 점수가 신뢰도 최소값보다 작은 경우 단계 2910에서 불량품으로 판단한다.
단계 2908에서, 신뢰도 점수가 신뢰도 최소값보다 작지 않은 경우, 단계 2912에서, 사용자 검사 대상으로 판단한다.
실시 예에 따른 검사 방법은 특정 용기의 캡 실링에 대한 열 화상 데이터를 분석하는 데 있어서, 낮은 신뢰도를 보이는 경우, 양품 또는 불량품으로 판단하지 않고, 별도로 분리하는 리젝션 처리를 하여 사용자 검사 대상으로 분류할 수 있다.
도 30 내지 35는 또 다른 실시 예에 따른 검사 정확도 예측을 설명하기 위한 예시 도들이다.
도 30을 참조하면, 다음의 용기와 캡 샘플이 도시되어 있으며, 캡의 직경은 대략 38mm이고, 캡 타입은 CRC이고, 용기는 대략 103mm*51mm의 크기를 갖는다.
테스트에 사용된 샘플은 158개이고, 그 중 양품은 70개, 임의로 만든 불량품은 88개이며, 불량 타입(Fault Type) 1은 Loosen인 28개, 불량 타입 2는 Overheat 30개이고, 불량 타입 3은 Underheat 30개이다.
도 31을 참조하면, 부자재 균일도는 100%이고, 예측된 검사 정확도는 99.4%를 나타낸다. 도 32 내지 35는 양품 내지 불량 유형에 대한 캡 실링에 대한 열화상데이터와 불량 유형의 표시, 신뢰도 점수가 도시되어 있다.
실시 예에 따른 검사 장치는 샘플 용기에 따른 각각의 유형별 검사 정확도와 예측된 검사 정확도를 제공할 수 있다.
도 36 내지 42는 또 다른 실시 예에 따른 검사 정확도 예측을 설명하기 위한 예시 도들이다.
도 36을 참조하면, 다음의 용기와 캡 샘플이 도시되어 있으며, 캡의 직경은 대략 47mm이고, 캡 타입은 Normal이고, 용기는 대략 83mm*150mm*115mm의 크기를 갖는다.
테스트에 사용된 샘플은 38개이고, 그 중 양품은 14개, 임의로 만든 불량품은 24개이며, 불량 타입(Fault Type) 1은 Loosen인 6개, 불량 타입 2는 Overheat 5개이고, 불량 타입 3은 Underheat 6개이고, 불량 타입 4는 Reversed Seal 7개이다.
도 37을 참조하면, 부자재 균일도는 85.7%이고, 예측된 검사 정확도는 94.7%를 나타낸다. 도 38 내지 42는 양품 내지 불량 유형에 대한 캡 실링에 대한 열화상데이터와 불량 유형의 표시, 신뢰도 점수가 도시되어 있다.
실시 예에 따른 검사 장치는 샘플 용기에 따른 각각의 유형별 검사 정확도와 예측된 검사 정확도를 제공할 수 있다.
일 실시 예에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독 가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
도면에 도시된 실시 예들에서 참조 부호를 기재하였으며, 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 실시 예는 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
실시 예에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
실시 예의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시 예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시 예들이 한정되는 것은 아니다. 실시 예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시 예를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 실시 예의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (15)

  1. 프로세스 라인을 따라 운반되는 용기의 캡 실링을 IR 카메라로 검사하는 방법에 있어서,
    상기 IR 카메라를 이용하여 상기 IR 카메라의 화각(FOV) 내에 위치한 상기 용기의 캡 실링을 촬영하는 단계;
    상기 촬영된 캡 실링에 대응하는 열 화상 데이터와 미리 학습한 샘플 데이터를 기초로 신뢰도 점수를 계산하는 단계; 및
    상기 계산된 신뢰도 점수와 미리 정의된 신뢰도 값 범위를 비교하여, 비교결과에 따라 상기 캡 실링을 양품, 불량품 및 사용자 검사 대상 중 하나로 판단하는 단계를 포함하는 검사 방법.
  2. 제 1 항에 있어서,
    상기 판단 단계는,
    상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최대 신뢰도 값보다 큰 경우, 캡 실링을 양품으로 판단하고, 상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최소 신뢰도 값보다 작은 경우, 상기 캡 실링을 불량품으로 판단하고, 상기 신뢰도 점수가 상기 최소 신뢰도 값 이상이고 상기 최대 신뢰도 값 이하인 경우, 상기 캡 실링을 사용자 검사 대상으로 판단하는 것을 특징으로 하는 검사 방법.
  3. 제 2 항에 있어서,
    상기 최대 신뢰도 값 및 상기 최소 신뢰도 값은 사용자 선택에 따라 결정되는 것을 특징으로 하는 검사 방법.
  4. 제 1 항에 있어서,
    상기 불량품 및 사용자 검사 대상으로 판단된 용기가 분리되어 수집되도록 각각의 분류기구를 구동시키는 단계를 더 포함하는 것을 특징으로 하는 검사 방법.
  5. 제 1 항에 있어서,
    상기 미리 학습한 샘플 데이터를 기초로 검사 대상의 검사 정확도를 예측하는 단계; 및
    상기 예측된 검사 정확도를 표시하는 단계를 더 포함하는 것을 특징으로 하는 검사 방법.
  6. 제 1 항에 있어서,
    상기 열 화상 데이터, 상기 계산된 신뢰도 점수 및 상기 불량품의 유형을 표시하는 단계를 더 포함하는 것을 특징으로 하는 검사 방법.
  7. 제 1 항에 있어서,
    상기 불량품의 유형은,
    Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하고,
    상기 미리 학습한 샘플 데이터는,
    상기 양품에 해당하는 용기의 캡 실링, 및 Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하는 불량품에 해당하는 용기의 캡 실링을 기초로 학습한 것을 특징으로 하는 검사 방법.
  8. 제 7 항에 있어서,
    상기 미리 학습한 샘플 데이터는,
    딥 러닝(Deep Learning) 기반 또는 특징(Feature) 기반 중 어느 하나를 이용하여 학습한 것을 특징으로 하는 검사 방법.
  9. 제 1 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
  10. 프로세스 라인을 따라 운반되는 용기의 캡 실링을 IR 카메라로 검사하는 장치에 있어서,
    상기 IR 카메라의 화각(FOV) 내에 위치한 상기 용기의 캡 실링을 촬영하는 IR 카메라; 및
    상기 촬영된 캡 실링에 대응하는 열 화상 데이터와 미리 학습한 샘플 데이터를 기초로 신뢰도 점수를 계산하고, 상기 계산된 신뢰도 점수와 미리 정의된 신뢰도 값 범위를 비교하여, 비교결과에 따라 상기 캡 실링을 양품, 불량품 및 사용자 검사 대상 중 하나로 판단하는 제어부를 포함하는 검사 장치.
  11. 제 10 항에 있어서,
    상기 제어부는,
    상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최대 신뢰도 값보다 큰 경우, 캡 실링을 양품으로 판단하고, 상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최소 신뢰도 값보다 작은 경우, 상기 캡 실링을 불량품으로 판단하고, 상기 신뢰도 점수가 상기 최소 신뢰도 값 이상이고 상기 최대 신뢰도 값 이하인 경우, 상기 캡 실링을 사용자 검사 대상으로 판단하는 것을 특징으로 하는 검사 장치.
  12. 제 11 항에 있어서,
    상기 최대 신뢰도 값 및 상기 최소 신뢰도 값은 사용자 선택에 따라 결정되는 것을 특징으로 하는 검사 장치.
  13. 제 10 항에 있어서,
    상기 불량품을 수집하는 제1 수집함;
    상기 사용자 검사 대상을 수집하는 제2 수집함; 및
    상기 프로세스 라인의 검사 세션 다음의 분류 세션에 구비되어, 상기 불량품을 상기 제1 수집함으로 밀어내는 제1 분류기구와, 상기 사용자 검사 대상을 상기 제2 수집함으로 밀어내는 제2 분류기구를 더 포함하고,
    상기 제어부는,
    상기 불량품 및 사용자 검사 대상으로 판단된 용기가 상기 제1 수집함 또는 상기 제2 수집함으로 분리되어 수집되도록 상기 제1 분류기구 또는 상기 제2 분류기구를 구동시키는 것을 특징으로 하는 검사 장치.
  14. 제 10 항에 있어서,
    상기 열 화상 데이터, 상기 계산된 신뢰도 점수 및 상기 불량품의 유형을 표시하는 표시부를 더 포함하고,
    상기 제어부는,
    상기 미리 학습한 샘플 데이터를 기초로 검사 대상의 검사 정확도를 예측하고, 상기 예측된 검사 정확도를 상기 표시부에 표시하는 것을 특징으로 하는 검사 장치.
  15. 제 10 항에 있어서,
    상기 불량품의 유형은,
    Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하고,
    상기 미리 학습한 샘플 데이터는,
    상기 양품에 해당하는 용기의 캡 실링, 및 Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하는 불량품에 해당하는 용기의 캡 실링을 기초로 학습한 것을 특징으로 하는 검사 장치.
KR1020197007990A 2016-10-19 2016-10-19 검사 방법 및 장치 KR102233906B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/011738 WO2018074622A1 (ko) 2016-10-19 2016-10-19 검사 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190039297A true KR20190039297A (ko) 2019-04-10
KR102233906B1 KR102233906B1 (ko) 2021-03-30

Family

ID=62018602

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197007990A KR102233906B1 (ko) 2016-10-19 2016-10-19 검사 방법 및 장치

Country Status (4)

Country Link
US (2) US10853933B2 (ko)
KR (1) KR102233906B1 (ko)
AU (1) AU2016426891B2 (ko)
WO (1) WO2018074622A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102207019B1 (ko) * 2020-02-03 2021-01-25 (주)세창실업 포장용 실링기의 용기 인식 모듈 및 방법
KR102302341B1 (ko) * 2021-02-19 2021-09-16 주식회사 트윔 자기지도 학습에 기반한 제품 검사 방법 및 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652252B2 (en) * 2016-09-30 2020-05-12 Cylance Inc. Machine learning classification using Markov modeling
AU2016426891B2 (en) * 2016-10-19 2020-10-22 Coglix Co.Ltd. Inspection method and apparatus
EP3944144A1 (en) 2016-10-28 2022-01-26 Beckman Coulter, Inc. Substance preparation evaluation system
US10714364B2 (en) 2017-08-31 2020-07-14 Taiwan Semiconductor Manufacturing Co., Ltd. Apparatus and method for inspecting wafer carriers
US10551297B2 (en) * 2017-09-22 2020-02-04 Saudi Arabian Oil Company Thermography image processing with neural networks to identify corrosion under insulation (CUI)
US10997717B2 (en) * 2019-01-31 2021-05-04 Siemens Healthcare Gmbh Method and system for generating a confidence score using deep learning model
EP4092635A1 (en) 2019-05-28 2022-11-23 SCHOTT Schweiz AG Classification method and system for high-throughput transparent articles
WO2020245799A1 (en) * 2019-06-07 2020-12-10 Alcon Inc. Method for determining whether a sealing area of a primary packaging container for an ophthalmic lens is unacceptable for properly sealing a foil thereto
DE112020004812T5 (de) * 2019-10-07 2022-07-21 Inspekto A.M.V. Ltd Bewegung in bildern, die in einem visuellen prüfprozess verwendet werden
KR20220085589A (ko) * 2020-12-15 2022-06-22 현대모비스 주식회사 딥러닝 기반 제품 불량 검출방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100217678A1 (en) * 2009-02-09 2010-08-26 Goncalves Luis F Automatic learning in a merchandise checkout system with visual recognition
US20110153564A1 (en) * 2009-12-23 2011-06-23 Telcordia Technologies, Inc. Error-sensitive electronic directory synchronization system and methods
KR20160024851A (ko) * 2013-05-02 2016-03-07 디.아이.알 테크놀로지스 (디텍션 아이알) 엘티디. 전도성 내측 밀봉들을 포함하는 밀봉들의 결함들을 검출하기 위한 서모그래피-기반 방법

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082426B2 (en) * 1993-06-18 2006-07-25 Cnet Networks, Inc. Content aggregation method and apparatus for an on-line product catalog
US6714933B2 (en) * 2000-05-09 2004-03-30 Cnet Networks, Inc. Content aggregation method and apparatus for on-line purchasing system
US8092224B2 (en) * 1995-11-22 2012-01-10 James A. Jorasch Systems and methods for improved health care compliance
KR100304646B1 (ko) 1998-11-05 2001-11-02 윤종용 병검사장치및그방법
KR20020015517A (ko) 2000-08-22 2002-02-28 박원재 용기의 캡핑 검사방법
JP2003307505A (ja) 2002-04-15 2003-10-31 Nec San-Ei Instruments Ltd サーモグラフィによる非接触検査装置及びその非接触検査方法
KR20050009060A (ko) 2003-07-15 2005-01-24 삼성탈레스 주식회사 절대온도 측정 가능 열상장치
ATE468271T1 (de) * 2004-01-23 2010-06-15 Genesis Machinery Products Inc Dichtungskraftüberwachungsvorrichtung, system und verfahren zur bestimmung der unversehrtheit von abgedichteten behältern während des prozesses
KR100661794B1 (ko) 2006-05-24 2006-12-28 주훈 적외선 흑체가 내장된 적외선 열상 현미경
US20100231692A1 (en) * 2006-07-31 2010-09-16 Onlive, Inc. System and method for performing motion capture and image reconstruction with transparent makeup
US8818978B2 (en) * 2008-08-15 2014-08-26 Ebay Inc. Sharing item images using a similarity score
JP5457546B2 (ja) * 2009-04-29 2014-04-02 コーニンクレッカ フィリップス エヌ ヴェ カメラの最適視角位置を選択する方法
US8515137B2 (en) * 2010-05-03 2013-08-20 Microsoft Corporation Generating a combined image from multiple images
TWI421488B (zh) * 2011-03-28 2014-01-01 Youngtek Electronics Corp 用於檢測多個電子元件外觀的多軌式檢測系統
JP5781822B2 (ja) 2011-04-19 2015-09-24 昭北ラミネート工業株式会社 接着剤の塗布状態検査方法
JP2013118547A (ja) 2011-12-05 2013-06-13 Tamron Co Ltd 赤外線カメラ
US9336456B2 (en) * 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
US9330339B2 (en) * 2012-06-11 2016-05-03 Hi-Tech Solutions Ltd. System and method for detecting cargo container seals
US9986176B2 (en) * 2013-02-25 2018-05-29 Commonwealth Scientific And Industrial Research Organisation 3D imaging method and system
GB201303707D0 (en) * 2013-03-01 2013-04-17 Tosas Bautista Martin System and method of interaction for mobile devices
US9245015B2 (en) * 2013-03-08 2016-01-26 Accenture Global Services Limited Entity disambiguation in natural language text
US9536139B2 (en) * 2013-03-15 2017-01-03 Mitek Systems, Inc. Systems and methods for assessing standards for mobile image quality
US9417145B2 (en) 2013-04-22 2016-08-16 Pressco Technology Inc. Cap analysis technique
KR101505738B1 (ko) 2013-08-22 2015-03-30 김용민 불량 검사 장치 및 방법
GB2528934B (en) * 2014-08-05 2017-08-02 Colton William Preform Optical Inspection
US9824298B1 (en) * 2014-12-15 2017-11-21 Amazon Technologies, Inc. Prediction and detection of produce quality
US10007863B1 (en) * 2015-06-05 2018-06-26 Gracenote, Inc. Logo recognition in images and videos
KR101643713B1 (ko) 2015-08-06 2016-08-11 주식회사 이오비스 학습형 스마트 카메라를 이용한 검사 대상 물품의 검사방법
AU2016426891B2 (en) * 2016-10-19 2020-10-22 Coglix Co.Ltd. Inspection method and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100217678A1 (en) * 2009-02-09 2010-08-26 Goncalves Luis F Automatic learning in a merchandise checkout system with visual recognition
US20110153564A1 (en) * 2009-12-23 2011-06-23 Telcordia Technologies, Inc. Error-sensitive electronic directory synchronization system and methods
KR20160024851A (ko) * 2013-05-02 2016-03-07 디.아이.알 테크놀로지스 (디텍션 아이알) 엘티디. 전도성 내측 밀봉들을 포함하는 밀봉들의 결함들을 검출하기 위한 서모그래피-기반 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102207019B1 (ko) * 2020-02-03 2021-01-25 (주)세창실업 포장용 실링기의 용기 인식 모듈 및 방법
WO2021157984A1 (ko) * 2020-02-03 2021-08-12 (주) 세창실업 포장용 실링기의 용기 인식 모듈 및 방법
KR102302341B1 (ko) * 2021-02-19 2021-09-16 주식회사 트윔 자기지도 학습에 기반한 제품 검사 방법 및 장치

Also Published As

Publication number Publication date
US20180232870A1 (en) 2018-08-16
AU2016426891B2 (en) 2020-10-22
KR102233906B1 (ko) 2021-03-30
AU2016426891A1 (en) 2019-05-23
US20210035278A1 (en) 2021-02-04
US10853933B2 (en) 2020-12-01
US11599989B2 (en) 2023-03-07
WO2018074622A1 (ko) 2018-04-26

Similar Documents

Publication Publication Date Title
KR20190039297A (ko) 검사 방법 및 장치
US11009467B2 (en) Model-based methods and apparatus for classifying an interferent in specimens
EP3408651B1 (en) Methods and apparatus for detecting an interferent in a specimen
JP6809250B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR102168724B1 (ko) 이미지 검사를 이용한 이상 판별 방법 및 장치
CN109462999B (zh) 通过数据平衡基于学习的视觉检查方法以及利用其的视觉检查装置
KR102223770B1 (ko) 검사 방법 및 장치
US11125763B1 (en) Specimen integrity monitoring device for automated blood sample processing systems
KR101969368B1 (ko) 컬러-기반 외부 물체 검출 시스템
CN117120951A (zh) 生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置
EP3128323B1 (en) Method and system for detecting defects in plastic containers
CN116559170A (zh) 一种产品质量检测方法及相关系统
KR20230064319A (ko) 인공지능을 이용한 결함 검사방법, 장치 및 프로그램
CN115331258A (zh) 一种工业级应用的危险禁区人员检测系统及方法
JP2019207156A (ja) 検査機能診断装置、検査機能診断方法及び検査機能診断プログラム
KR102000938B1 (ko) 영역 지정에 따른 지능형 판정 기준의 자동 설정 방법 및 그에 의한 스마트 학습 방식의 엑스레이 검사 방법
Eddy et al. A defect prevention concept using artificial intelligence
CN109132315A (zh) 一种自动化立体冷库货物变质智能监控系统
KR20210106038A (ko) 딥러닝 기반의 ai 기술을 활용한 2차전지 분리막 자동 검사장치
CN105057226A (zh) 瓜类农产品分拣方法
Lopez Florez et al. Automatic detection of faults in industrial production of sandwich panels using Deep Learning techniques
JP7527080B1 (ja) 検査プログラム及び検査装置
CN109387331A (zh) 检测热密封缺陷的方法、设备及系统
WO2023032549A1 (ja) 欠陥検査装置、欠陥検査方法および予測モデル生成方法
WO2023095505A1 (ja) 自動欠陥分類装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant