KR20210108338A - 안과 렌즈의 에지 결함 및 다른 결함의 검출을 향상시키기 위한 컴퓨터 구현 프로세스 - Google Patents

안과 렌즈의 에지 결함 및 다른 결함의 검출을 향상시키기 위한 컴퓨터 구현 프로세스 Download PDF

Info

Publication number
KR20210108338A
KR20210108338A KR1020210025985A KR20210025985A KR20210108338A KR 20210108338 A KR20210108338 A KR 20210108338A KR 1020210025985 A KR1020210025985 A KR 1020210025985A KR 20210025985 A KR20210025985 A KR 20210025985A KR 20210108338 A KR20210108338 A KR 20210108338A
Authority
KR
South Korea
Prior art keywords
image
computer
edge
defect
neural network
Prior art date
Application number
KR1020210025985A
Other languages
English (en)
Inventor
순 웨이 웡
쿤다푸라 파라메스와라 스리니바스
Original Assignee
이미지 에이아이 피티이 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이미지 에이아이 피티이 리미티드 filed Critical 이미지 에이아이 피티이 리미티드
Publication of KR20210108338A publication Critical patent/KR20210108338A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G01N2021/9583—Lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Eyeglasses (AREA)

Abstract

본 발명은 고해상도 이미지를 사용한 객체 검출 모델을 생성하기 위한 딥러닝 신경망 아키텍쳐에 관련되는 컴퓨터 구현 프로세스이다. 특히, 본 발명은 콘택트 렌즈 내의 에지 검사의 분류 정확도 및 신뢰성을 향상시키는 것에 관한 것이다. 본 발명은 애플리케이션의 코어 기능성 모듈을 나타내는, 소프트웨어 컴포넌트 및 그들의 상호 의존성을 포함하는 소프트웨어 아키텍쳐를 표현하기 위한 컴퓨터 구현 프로세스이다. 본 발명의 시스템 및 방법은, 고해상도 이미지를 캡쳐하고, 렌즈의 원형 에지를 원형 에지를 나타내는 수평선으로 변환하며, 에지 주위의 픽셀 정보를 제거함으로써 이미지 크기를 한정하고, 수평 에지 이미지를 중첩하는 부분들로 분할하며, 추출된 이미지들을 수직으로 적층하여, GAN(Generative Adversarial Networks)에 의해 생성된 새로운 이미지로 원본 이미지를 강화시킨 후에 합성곱 신경망에 의해 처리되고 분석되기에 이상적인 단일 고해상도 이미지를 형성함으로써, 결함의 정확한 분류를 가능하게 한다.

Description

안과 렌즈의 에지 결함 및 다른 결함의 검출을 향상시키기 위한 컴퓨터 구현 프로세스{A COMPUTER IMPLEMENTED PROCESS TO ENHANCE EDGE DEFECT DETECTION AND OTHER DEFECTS IN OPHTHALMIC LENSES}
본 발명은 특정 관련 픽셀 데이터를 추출하고 관련되지 않는 데이터를 제거하여 정확도 및 속도에 관하여 이미지 분류 프로세스의 효율을 증가심으로써 콘택트 렌즈의 고분해능 이미지를 획득 및 유지 하는 것에 관한 것이다. 효율은, 신경망을 사용하여 검사 시스템을 빠르게 훈련하는 것과 훈련된 판정 모델을 자동화된 시스템에서의 콘택트 렌즈의 검사 도중에 적용하는 것을 돕는 재정렬되고 재구성된 이미지를 통해서 증가된다.
콘택트 렌즈 결함 검사 시스템 및 방법은 비용은 낮추면서 효율을 증가시키도록 계속 진화하고 있다. 패턴 인식, 이미지 상관, 히스토그램 등화, 디더링 등이 검사 방법에서 공통적으로 사용되는 공통 이미지 처리 알고리즘 중 일부이다. 결함 검사 기준들이 더 엄격해질수록, 시간이 들더라도 검사 효율을 개선하기 위해서 추가적인 알고리즘이 구현된다. 추가되는 모든 알고리즘은 검사 시간을 증가시켜서 생산성을 낮추는 결과가 된다. CPU 속도, 발전된 GPU(그래픽 처리 유닛), 고속 메모리 등에서의 기술적인 개선 사항들 덕분에 이미지 처리 속도가 개선되었지만, 고분해능 카메라로 획득된 이미지의 크기가 계속 증가했기 때문에 생산성은 감소되었다. 그러므로, 높은 정확도 및 반복가능성이 얻어지도록 검사 프로세스를 보조하기 위한, 고분해능 이미지를 재구성하기 위한 소프트웨어 방법에 대해 중요하게 살펴보는 것이 매우 중요하다.
신경망은 검사 시스템의 품질 및 생산성을 희생시키지 않고서도 검사 품질을 개선하기 위한 새로운 방법을 제공한다. 그러나, 이미지 크기가 크기 증가했기 때문에, 임계 결함 데이터를 열화시키는 픽셀 데이터를 최소화하기 위한 이미지 압축 알고리즘이 도입된다. 그러므로, 검사 품질이 영향을 받게 되고, 다음 프로세스의 효율이 안 좋아지게 된다. 신경망은 적당한 크기의 이미지에서 더 효율적이다. 이미지 크기가 증가하면 신경망 및 딥러닝 방법의 성능에 부정적인 영향을 준다.
현재의 기술은, 특히 고분해능 이미지를 처리할 때에 마이크로 결함 식별 및 피쳐 추출이 검사 시스템에 대한 기본적인 요구 사항인 경우에, 검사 품질에 좋지 않은 영향을 주지 않으면서 소프트웨어 방법을 사용하는 것을 제공하지 않는다.
본 발명은, 중요하지 않은 픽셀 데이터를 식별 및 폐기하고 결함(즉, 에지)을 검출하기 위해서 중요한 구역만을 유지함으로써 최적화된 이미지를 분석하고 처리하기 위하여, 고성능 CPU, 및 GPU를 가지는 고속 액세스 메모리에 의해 지원되는 고분해능 카메라를 포함시킴으로써, 컴퓨터 구현 방법을 사용하는 것을 지원한다. 컴퓨터 구현 방법은 압축되지 않지만 리던던트 픽셀 데이터를 최소화하기 위해서 전처리될 수 있는 최적화된 이미지를 제공하고, 압축되지 않은 이미지에 평활화 기법을 적용하여 결함 후보를 강화하고 따라서 더 양호한 검출이 가능해지게 한다. 렌즈 내에서 결함을 식별하는 경우, 고분해능 이미지는 피쳐 추출 및 분류를 위한 다수의 신경망 모듈로 이루어진 딥러닝 모듈에 의해 빠르게 처리되기에 가장 적합한 다수의 최적이고 미리 결정된 크기의 이미지로 분할된다. 렌즈 내에서의 결함 식별의 경우에도, 원본 이미지로부터 이미지들을 재정렬하고 추출할 때 이미지 압축이 적용되지 않는다는 것에 주의하는 것이 중요하다.
이미지를 축소하거나 재정렬하는 장점들 중 하나는, 렌즈의 에지를 둘러싸는 리던던트 픽셀을 제거한다는 것이다. 후속하여, 이미지를, 속도 및 정확도의 관점에서 향상된 결함 검출을 위한 딥러닝 모듈에 의해 쉽게 처리되는 미리 결정된 크기의 이미지들로 동시에 분할한다.
본 발명의 목적들 중 하나는, 픽셀 데이터를 압축 또는 왜곡시키지 않으면서 콘택트 렌즈의 원형 에지의 고분해능이고 최적화된 전처리된 이미지를 제공하는 것이다.
본 발명의 다른 양태는 이미지가 더 빠르게 처리되도록 보조하는 방식으로 콘택트 렌즈의 원형 에지를 재구성하고 재정렬하는 것이다. 이것은, 원형 콘택트 렌즈의 에지를 검출하고, 에지를 언래핑하며(unwrapping), 수평 에지로 변환함으로써 달성된다. 이미지는 에지 주위의 리던던트 픽셀 데이터를 검출해서 이미지의 크기를 최소화함으로써 더 최적화된다.
픽셀들을 수평 및 수직 에지로 재정렬하는 장점들 중 하나는 처리가 개선된다는 것이고, 이것은 알고리즘이 이미지를 더 빠르게 처리하도록 돕는다. 다르게 말하면, 처리 속도가 실질적으로 개선된다. 알고리즘은 에지 검출 알고리즘일 수 있다.
정사각형 이미지를 형성하기 위해서 미리 결정된 크기의 이미지(이미지 구역 세그먼트)를 수직으로 적응하는 다른 장점은, 정사각형 이미지의 길이와 너비가 동일하다는 것이다. 예를 들어, 정사각형 이미지를 픽셀 대 픽셀로 스캐닝할 때, 직사각형 이미지를 스캐닝하는 것보다 적은 계산이 요구될 것이다. 장점은 계산 속도이고, 계산의 횟수가 아니다. 예를 들어, 직사각형 이미지와 비교할 때 정사각형 이미지를 처리하는 것이 실질적으로 빠르다.
본 발명의 다른 목적은, 서로 중첩하는 더 작은 길이로 분할되는 수평 에지를 더욱 재정렬하고, 이들을 포개서 적층하여 임의의 신경망의 입력 계층의 요구 사항에 맞는 모든 에지 데이터가 있는 정사각형 이미지를 생성하며, 정사각형 크기를 얻기 위해서 이미지를 리던던트 블랙 픽셀 데이터로 패딩하는 것을 피하는 것이다.
본 발명의 다른 목적은 머신 러닝을 위해 검사 시스템을 구성하는 도중에 컴퓨터 구현 방법의 훈련을 보조하기 위한 분석 모듈들의 그룹을 생성하는 것이다.
본 발명의 다른 목적은, 원래의 결함과 유사한 다수의 새로운 실제 결함 피쳐를 생성하도록, 분할된 이미지를 더 변환하기 위해서 GAN(Generative Adversarial Network) 알고리즘을 적용하는 것이다. 새롭게 생성된 이미지는 머신 러닝을 위해서 검사 시스템을 구성하는 도중에 컴퓨터 구현 방법의 훈련을 더욱 강화시키기 위하여 활용된다.
본 발명의 다른 양태는, 본 발명의 앞선 양태들 중 하나 이상의 다양한 조합, 및 후속하는 명세서에 발견되거나 그로부터 유도될 수 있는 다양한 실시형태들 중 하나 이상의 조합을 포함한다. 본 발명의 앞선 양태들은 역시 본 발명의 양태들인 대응하는 컴퓨터-구현 방법을 더 가진다는 것이 이해되어야 한다. 또한, 본 발명의 다른 실시형태들이 본 발명의 특정 실시형태의 후속하는 상세한 설명 및 본 발명에 따른 시스템의 설명과 특정 구현형태 양자 모두로부터 당업자들에 의해 유도될 수 있다는 것이 이해되어야 한다.
본 발명의 특정한 특징, 양태, 및 장점은 후속하는 상세한 설명, 첨부된 청구항, 및 다음의 첨부 도면을 참조하면 더 잘 이해될 것이다.
도 1은 본 발명의 실시형태 중 하나를 구현하기 위해서, 콘택트 렌즈의 에지 주위에 결함을 식별하고 후속해서 이들을 상이한 기준들로 분류하기 위하여 콘택트 렌즈 검사 시스템을 훈련시키기 위한 단계들을 묘사하는 흐름도이다.
도 1a는 본 발명의 다른 실시형태 중 하나를 구현하기 위해서, 콘택트 렌즈 내의 결함을 식별하고 후속해서 이들을 상이한 기준들로 분류하기 위하여 콘택트 렌즈 검사 시스템을 훈련시키기 위한 단계들을 묘사하는 흐름도이다.
도 2는 콘택트 렌즈 에지의 이미지의 예시도이다.
도 2a는 극성 변환 이후의 콘택트 렌즈 에지의 이미지의 예시도이다.
도 3은 특정 시퀀스로 적층된 도 2a의 에지의 추출된 구역들의 이미지의 예시도이다.
도 4는 렌즈 내의 결함 검사를 위해 적합한 콘택트 렌즈의 고분해능 이미지의 이미지의 예시도이다.
도 5는 추출될 구역을 식별한 이후의 도 4의 이미지의 예시도이다.
도 6은 다음 프로세스로의 입력으로서 사용될 개별 중첩 구역을 추출한 이후의 도 5의 이미지의 예시도이다.
본 발명의 바람직한 실시형태들의 후속하는 상세한 설명에서, 본 명세서의 일부를 형성하는 첨부 도면에 대한 참조가 이루어지고, 그 안에서 본 발명이 실시될 수도 있는 특정한 실시예가 예시를 통하여 도시된다. 본 발명의 범위에서 벗어나지 않으면서 다른 실시형태들이 이용될 수 있고, 구조적인 변경이 이루어질 수 있다는 것이 이해되어야 한다.
본 발명에 따른 시스템 및 방법의 총괄 흐름도가 도 1에 도시된다. 시스템(10)은 획득하는 공정 동작(12)에서 콘택트 렌즈의 고분해능 이미지를 획득함으로써 시작한다. 그러면, 획득된 이미지가 추출하는 공정 동작(14)에서 렌즈 원형 에지를 추출하기 위해서 처리된다. 추출된 원형 에지는 이제 전치 공정 동작(16)에서 수평 이미지로 전치된다. 제거하는 공정 동작(18)에서, 수평 에지 주위의 관련되지 않은 픽셀 데이터가 제거되어 이미지의 크기를 최소화한다. 후속하여, 수평 에지 이미지는 분할 공정 동작(20)에서 다수의 중첩하는 이미지로 분할된다. 적층 프로세스 단계 22에서, 이미지들의 분할된 세트는 순차적으로 포개져서 적층되어, 쉽게 분석되기 위해서 콘택트 렌즈 에지의 고분해능 이미지를 형성한다. 적층 프로세스 단계 22에서 재구성되고 재정렬된 이미지는 후속하여 훈련 및 분석을 위해서 딥러닝 모듈에 입력으로 사용된다. 프로세스 흐름은 단계 24에서 끝난다.
본 발명에 따른 시스템 및 방법의 다른 실시형태의 총괄 흐름도가 도 1a에 도시된다. 시스템(30)은 획득하는 공정 동작(32)에서 콘택트 렌즈의 고분해능 이미지를 획득함으로써 시작한다. 그러면, 위치설정 공정 동작(33)에서 렌즈 원형 에지의 위치를 설정하기 위해서 이미지가 처리된다. 그리기 프로세스 단계 34에서 콘택트 렌즈의 원형 에지를 근접하게 밀봉하는 정사각형이 도시된다. 채우기 프로세스 단계 35에서 렌즈의 원형 에지의 미리 결정된 구역 밖의 픽셀 데이터는 암픽셀(Dark Pixel)로 채워진다. 미리 결정된 구역은 16 x 16 내지 128 x 128 픽셀일 수 있다. 그러면, 프로그래밍가능한 분할 공정 동작(36)에서 콘택트 렌즈 이미지는 중첩하는 이미지가 있는 미리 결정된 크기로 분할된다. 미리 결정된 크기는 동일한 크기일 수 있다. 또는, 미리 결정된 크기는 상이한 크기일 수 있다. 딥러닝 추출 공정 동작(38)에서, 훈련 및 분석을 위해서 딥러닝 모듈에 입력으로 인가되기 위한, 이미지 내의 마크된 구역들이 추출되고 개별적으로 저장된다. 프로세스 흐름은 단계 40에서 끝난다.
본 발명에 따른 개괄적인 시스템 및 방법이 설명되었고, 다음의 문단들은 앞서 언급된 공정 동작의 세부사항을 제공한다.
도 2는 도 1의 프로세스 흐름도의 그림 표현이다. 도 2에서, 렌즈(50)는 콘택트 렌즈의 고분해능 이미지를 나타낸다. 도 2에서, 결함(51)은 찢김 결함을 나타내고, 그 위치는 당업자가 후술될 렌즈의 원형 에지의 언래핑(unwrapping) 개념을 이해할 수 있도록 전략적으로 결정된다. 렌즈(50)는 도 2a에 도시된 바와 같이 A1-A2로부터 시작하는 수평 이미지로 언래핑되거나(unwrapped) 전치되는데, 이것은 렌즈(50) 및 도 2의 검정으로 음영처리된 내부 원(510) 사이의 구역이다. 도 2의 외부 원은 도 2a에서 픽셀 구역 세그먼트(500, 502, 504, 506 및 508)에 의해 표시되는 바와 같이 수평으로 전치된다. 픽셀 구역은 동등한 크기일 수 있거나, 상이한 (하지만 동등한) 크기를 가질 수도 있다. 도 2a의 이미지 구역 세그먼트(500)는 위치 A1-A2에서 시작하고 도 2a에 도시된 바와 같이 이미지 구역 세그먼트(502)와 중첩하는 위치(52) 이후에 끝난다. 도 2a의 이미지 구역 세그먼트(502)는 이미지 구역 세그먼트(500) 내의 위치(52) 이전에 시작하고, 이미지 구역 세그먼트(504) 안으로 중첩하는 위치(53) 이후에 끝난다. 도 2a의 이미지 구역 세그먼트(504)는 이미지 구역 세그먼트(502) 내의 위치(53) 이전에 시작하고, 이미지 구역 세그먼트(506) 안으로 중첩하는 위치(54) 이후에 끝난다. 도 2a의 이미지 구역 세그먼트(506)는 이미지 구역 세그먼트(504) 내의 위치(54) 이전에 시작하고, 이미지 구역 세그먼트(508) 안으로 중첩하는 위치(55) 이후에 끝난다. 도 2a의 이미지 구역 세그먼트(508)는 이미지 구역 세그먼트(506) 내의 위치(55) 이전에 시작하고, 이미지 구역 세그먼트(500) 안으로 중첩하는 위치 A1-A2 이후에 끝난다. 이웃하는 세그먼트 안으로 중첩시키는 이러한 방법의 하나의 장점은, 이미지의 에지 주위의 어느 구역도 손실되거나 생략되지 않는다는 것이다. 도 2a에 도시되는 언래핑된 이미지 내에서 결함(51)의 위치에 주목하는 것이 중요하다. 도 3에서, 이미지(58)는 이미지 구역 세그먼트(500, 502, 504, 506 및 508)를 포함하는데, 이미지 구역 세그먼트(500, 502, 504, 506 및 508)는 중첩에 기인하여 수직 방향으로 더 큰 구역을 망라한다. 이미지 구역 세그먼트(500, 502, 504, 506 및 508)는 도 3에 도시된 바와 같이 순차적으로 포개져서 적층되어, 정사각형 이미지(58)를 형성한다. 세그먼트의 개수 및 각각의 세그먼트의 폭은 적층될 때 정사각형 이미지를 생성하도록 자동으로 계산된다. 이미지(58)의 정사각형 형상이 후속하는 프로세스 단계에 의해서 지시된다(dictated)는 것에 주의하는 것이 중요하다. 다음 프로세스 단계가 상이하게 구성된 이미지 형상 또는 크기를 요구한다면, 동일한 내용이 이미지를 정렬하는 동안에 맞춰질 것이다. 도 3의 이미지는 콘택트 렌즈 에지의 재구성된 고분해능 이미지이다. 도 3의 이미지는 빠른 훈련과 분석을 돕는 신경망을 구성되는 딥러닝 모듈로의 입력 이미지로서 인가될 수 있다. 다시 말하건대, 도 3에 도시되는 적층된 이미지(58)에서 찢김 결함(51)의 위치에 주목하는 것이 중요하다.
콘택트 렌즈의 이미지가 도 4에 도시된다. 도 4는 도 1a의 프로세스 흐름도의 그림 표현이다. 도 4에서, 66은 정사각형 이미지(65) 내에 밀봉되게 위치된 콘택트 렌즈의 고분해능 이미지를 나타낸다. 콘택트 렌즈의 외부 에지가 우선 검출되고, 그 후에 외부 경계가 그려지며, 그 뒤에 렌즈의 외부 경계 및 외부 에지 사이에 암픽셀들이 채워진다. 렌즈(66)의 원형 에지 및 정사각형(65)에 의해 형성되는 구역은 검사를 위해서 중요하지 않기 때문에 암픽셀로 채워진다. 렌즈 에지가 에지 검출 알고리즘에 의해 식별되면, 크기 X1, Y1인 도 4의 콘택트 렌즈의 고분해능 이미지가, 도 5에서 서로 중첩되는 복수 개의 이미지 세그먼트로 분할된다. 이미지들은 동일한 크기 또는 상이한 크기일 수 있다. 이미지 세그멘트화는 여러 방법으로 달성될 수 있다. 하나의 방법은 이미지의 경계를 규정하고 그리는 것이고, 경계가 그려지면 전체 이미지의 크기가 계산될 수 있다. 예를 들기 위해서, 도 5에서 크기 X1, Y1인 고분해능 이미지가 아홉 개의 동일한 부분(600, 602, 604, 606, 608, 610, 612, 614, 616)으로 분할된다. 각각의 분할된 이미지는 그래픽 처리 유닛 및 딥러닝 소프트웨어 모듈에 의해 고속으로 처리되기에 적합한 고속 처리인 것이 바람직하다. 분할된 이미지 크기 X', Y'는 신경망을 훈련시키기 전에 결함 피쳐를 더 잘 분석하고 효율을 높이기 위해서 미리 결정된다. 크기 X', Y'의 통상적인 분할된 이미지가 도 6의 70에 도시된다.
본 발명의 일부 실시형태가 설명되고, 전술된 내용이 단지 예시적인 것이고 한정하는 것이 아니며, 오직 예를 들기 위해서 제공되었다는 것이 당업자에게 명백하게 이해될 것이다. 다수의 변경예 및 다른 실시형태들이 당업자들이 구상할 수 있는 범위 안에 속할 것이고, 첨부된 청구범위에 의해 규정되는 본 발명과 그 균등물의 범위에 속하는 것으로 고찰된다.

Claims (10)

  1. 검사 효율을 증가시키기 위하여, 적어도 하나의 고성능 프로세서, 고속 액세스 메모리 및 다수의 병렬 그래픽 처리 유닛을 포함하는 신경망을 사용하여 객체 검출 모델을 생성하기 위한 컴퓨터-구현 방법으로서,
    객체의 압축되지 않은 고분해능 이미지를 획득하는 단계;
    픽셀 데이터를 압축하지 않고 결함 정보를 향상시키기 위하여, 평활화 알고리즘(smoothing algorithm)을 적용함으로써 이미지를 전처리하는 단계;
    전처리된 이미지를 세그멘트화하고, 세그멘트화된 이미지를 상기 그래픽 처리 유닛에 입력되기에 가장 적합한 정사각형 구역으로 재구성함으로써 치수 정규화를 수행하는 단계;
    머신 러닝 및 훈련을 돕기 위한, 각각의 이미지 내의 피쳐 정보를 추출하도록, 최적화된 이미지에 딥러닝 알고리즘을 적용하는 단계;
    추출되고 교정된 피쳐 정보를 상기 신경망을 적용하여 다수의 카테고리로 분류하는 단계;
    최적화되고 미압축된 이미지에 GAN(Generative adversarial network)을 적용함으로써 생성된 새로운 이미지로부터 추출된 피쳐의 카테고리들을 재분류하는 단계;
    미압축된 이미지 내의 미세 결함 검사를 위하여, 상기 이미지 내에서 검출된 추출된 피쳐의 광범위 데이터베이스를 생성하는 단계; 및
    새로운 디바이스를 고속 및 고효율로 검사하도록, 신경망을 도메인 지식 데이터베이스(domain knowledge database)와 조합하여 적용하는 단계를 포함하는, 컴퓨터-구현 방법.
  2. 제 1 항에 있어서,
    상기 방법은,
    검사되는 중인 결함과 관련되지 않는 리던던트 데이터를 제거하는 단계를 더 포함하는, 컴퓨터-구현 방법.
  3. 제 1 항에 있어서,
    상기 방법은,
    상기 신경망의 정확도를 향상시키도록, 리던던트 데이터를 제거하고 암픽셀(dark pixel)로 대체하는 단계를 더 포함하는, 컴퓨터-구현 방법.
  4. 제 1 항에 있어서,
    상기 방법은,
    원형 객체의 에지를 추출하고, 중첩하는 구역을 가지도록 수평으로 전치시키는 단계로서, 두 개의 인접한 에지를 결합할 때 임의의 픽셀 정보를 잃어버리지 않도록 원형 객체의 에지를 추출하고 수평선들로 언래핑한(unwrap) 후, 상기 수평선을 중첩하는 구역을 가지는 복수 개의 세그먼트로 분할하는 것을 포함하는, 수평으로 전치시키는 단계를 더 포함하는, 컴퓨터-구현 방법.
  5. 제 4 항에 있어서,
    상기 방법은,
    추가적인 분석을 위한 정규화된 정사각형 이미지를 생성하도록, 각각의 수평 구역을 겹쳐서 적층하는 프로세스를 더 포함하는, 컴퓨터-구현 방법.
  6. 제 5 항에 있어서,
    상기 이미지는, 임의의 주어진 시간에서의 프로세스 단계에 의존한, 상기 객체의 훈련, 분석 또는 검사를 위한 딥러닝 모듈을 사용하여 처리되는, 컴퓨터-구현 방법.
  7. 제 1 항에 있어서,
    상기 방법은,
    원형 객체의 컨투어를 추적하고, 원형 구역을 상기 그래픽 처리 유닛에 입력되도록 최적화되는 다수의 중첩하는 정사각형으로 분할하는 단계를 더 포함하는, 컴퓨터-구현 방법.
  8. 제 7 항에 있어서,
    중첩하는 정사각형 구역을 추출하고, 원형 에지 밖의 모든 리던던트 픽셀을 블랙 픽셀로 채우는 프로세스가 정확도를 개선하도록 수행되는, 컴퓨터-구현 방법.
  9. 제 8 항에 있어서,
    결함의 추출된 피쳐 및 특성을 분석 및 카테고리화하는 프로세스가, 축적된 도메인 지식 데이터베이스의 효능을 더 향상시키도록 수행되는, 컴퓨터-구현 방법.
  10. 제 9 항에 있어서,
    높은 정확도 및 고속의 반복가능성을 획득하도록, 새로운 객체의 결함 검사는 딥러닝 모듈을 통해서 구축된 도메인 지식을 사용하여 제조 과정에서 수행되는, 컴퓨터-구현 방법.
KR1020210025985A 2020-02-25 2021-02-25 안과 렌즈의 에지 결함 및 다른 결함의 검출을 향상시키기 위한 컴퓨터 구현 프로세스 KR20210108338A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SG10202001656V 2020-02-25
SG10202001656VA SG10202001656VA (en) 2020-02-25 2020-02-25 A computer implemented process to enhance edge defect detection and other defects in ophthalmic lenses

Publications (1)

Publication Number Publication Date
KR20210108338A true KR20210108338A (ko) 2021-09-02

Family

ID=77176356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210025985A KR20210108338A (ko) 2020-02-25 2021-02-25 안과 렌즈의 에지 결함 및 다른 결함의 검출을 향상시키기 위한 컴퓨터 구현 프로세스

Country Status (6)

Country Link
US (1) US11816824B2 (ko)
JP (1) JP2021152886A (ko)
KR (1) KR20210108338A (ko)
CN (1) CN113376182A (ko)
DE (1) DE102021201767A1 (ko)
SG (1) SG10202001656VA (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488020B2 (en) * 2020-06-02 2022-11-01 Sap Se Adaptive high-resolution digital image processing with neural networks
US20230033187A1 (en) * 2021-07-28 2023-02-02 Coopervision International Limited Systems and methods for acquiring and inspecting lens images of ophthalmic lenses
CN116055778B (zh) * 2022-05-30 2023-11-21 荣耀终端有限公司 视频数据的处理方法、电子设备及可读存储介质
CN114782288A (zh) * 2022-06-22 2022-07-22 深圳市润之汇实业有限公司 基于图像的透镜生产工艺监督方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262229B1 (en) * 2015-03-24 2019-04-16 Hrl Laboratories, Llc Wide-area salient object detection architecture for low power hardware platforms
WO2019018693A2 (en) * 2017-07-19 2019-01-24 Altius Institute For Biomedical Sciences METHODS OF ANALYZING MICROSCOPIC IMAGES USING AUTOMATIC LEARNING

Also Published As

Publication number Publication date
JP2021152886A (ja) 2021-09-30
US11816824B2 (en) 2023-11-14
DE102021201767A1 (de) 2021-08-26
TW202202831A (zh) 2022-01-16
US20210264585A1 (en) 2021-08-26
CN113376182A (zh) 2021-09-10
SG10202001656VA (en) 2021-09-29

Similar Documents

Publication Publication Date Title
KR20210108338A (ko) 안과 렌즈의 에지 결함 및 다른 결함의 검출을 향상시키기 위한 컴퓨터 구현 프로세스
US10853932B2 (en) Method of defect detection on a specimen and system thereof
AU2018207032B2 (en) Logo detection video analytics
CN113469997B (zh) 平面玻璃的检测方法、装置、设备和介质
US11348349B2 (en) Training data increment method, electronic apparatus and computer-readable medium
CN110738216A (zh) 基于改进surf算法的药品识别方法
CN113516619B (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
CN112150460A (zh) 检测方法、检测系统、设备和介质
Ghosh et al. Counterfeit IC detection by image texture analysis
CN115171138A (zh) 一种身份证图片文本检测方法、系统及设备
CN115797314B (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN116433978A (zh) 一种高质量瑕疵图像自动生成与自动标注方法及装置
CN117422970A (zh) 基于YOLOv8改进的缺陷PCB检测方法
CN116228637A (zh) 基于多任务多尺寸网络的电子元器件缺陷识别方法及装置
KR102498322B1 (ko) 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법
TWI847016B (zh) 提高偵測隱形眼鏡邊緣缺陷與其他缺陷的電腦實施處理方法
CN115063385A (zh) 一种用于晶圆检测的机器视觉方法
RU2336655C1 (ru) Способ выделения областей объекта и фона на цифровых изображениях
JP7475901B2 (ja) 試験片上の欠陥検出の方法およびそのシステム
CN117974601B (zh) 基于模板匹配的硅片表面缺陷检测方法及系统
CN114049625B (zh) 基于新型图像收缩方法的多方向文本检测方法
WO2023082018A1 (en) Machine learning system and method for object-specific recognition
KR20230126854A (ko) 어텐션 기반의 이미지 모아레 제거 장치
CN118266014A (en) Machine learning system and method for object-specific recognition
KR20230070714A (ko) 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination