KR102344054B1 - 레퍼런스 타겟을 이용한 다중 광학계 비전 시스템의 진단 방법 - Google Patents

레퍼런스 타겟을 이용한 다중 광학계 비전 시스템의 진단 방법 Download PDF

Info

Publication number
KR102344054B1
KR102344054B1 KR1020210118945A KR20210118945A KR102344054B1 KR 102344054 B1 KR102344054 B1 KR 102344054B1 KR 1020210118945 A KR1020210118945 A KR 1020210118945A KR 20210118945 A KR20210118945 A KR 20210118945A KR 102344054 B1 KR102344054 B1 KR 102344054B1
Authority
KR
South Korea
Prior art keywords
image
region
distance
adjusting
average value
Prior art date
Application number
KR1020210118945A
Other languages
English (en)
Inventor
문진영
이규혁
Original Assignee
주식회사 시스템알앤디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 시스템알앤디 filed Critical 주식회사 시스템알앤디
Priority to KR1020210118945A priority Critical patent/KR102344054B1/ko
Application granted granted Critical
Publication of KR102344054B1 publication Critical patent/KR102344054B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은 레퍼런스 타겟(reference target)을 이용한 다중 광학계 비전 시스템의 진단 방법에 관한 것이다. 구체적으로, 레퍼런스 타겟에 대하여, 다수의 제 1 영역을 설정하고, 레퍼런스 타겟에서 제 1 영역을 제외한 나머지 영역을 제 2 영역으로 설정하는 단계, 제 2 영역에 대하여, 진단 이미지(diagnosis image)를 획득하고, 획득된 진단 이미지에 기반하여 최적 조명을 설정하는 단계, 제 1 영역상의 레퍼런스 마크에 대한 그레이(gray) 레벨 변환을 통해, 선명도(definition)를 조정하는 단계 및 이미지 영상 처리 상의 제 1 영역상의 레퍼런스 마크 간의 거리에 따라 해상도(resolution)을 조정하는 단계를 포함하는 것을 특징으로 한다.

Description

레퍼런스 타겟을 이용한 다중 광학계 비전 시스템의 진단 방법{A DIAGNOSTIC METHOD OF A MULTI-OPTICAL VISION SYSTEM USING A REFERENCE TARGET}
본 발명은 다중 광학계 비전 시스템의 진단 방법에 관한 것으로서, 보다 상세하게는 레퍼런스 타겟을 이용한 다중 광학계 비전 시스템의 진단 방법 및 시스템에 관한 것이다.
디스플레이, 이차전지등의 생산 공정에 있어서, 생산된 제품에 대한 비전 처리를 통하여 제품의 이상 여부를 발견하는 시스템의 활용은 점차 증가하고 있다.
이러한 비전 처리를 통한 검사 시스템은 다수의 광학계를 이용하여, 제품의 이미지를 촬상하고, 촬상된 이미지에 대하여 흠결(defect)가 존재하는지 여부를 인공지능등을 통하여 판단하고 있다.
그러나, 이러한 비젼 처리를 통한 검사 시스템도, 시간의 경과 등에 따라서 시스템을 구성하는 모듈의 위치의 미세한 변화, 조명 밝기의 노후화, 광학계의 반복적인 동작에 따른 오차 발생으로 인하여, 일정 시간이 경과하는 경우 비전 처리 시스템에 대한 진단 및 보정이 필ŸG한 상황이다.
따라서, 비전 처리 시스템의 진단 및 보정을 수작업에 의해 진행하는 경우, 제품의 이상 여부를 작업자에 의존하여 판단할 수 밖에 없으며, 진단 및 보정을 위하여 장치의 동작을 멈추어야 하는 바, 공정 손실(loss) 및 품질 저하가 발생할 수 있는 문제점이 있었으며, 이를 자동화하려는 요구가 증대되고 있는 상황이다.
상술한 바와 같은 논의를 바탕으로 이하에서는 레퍼런스 타겟을 이용한 다중 광학계 비전 시스템의 진단 방법을 제공하고자 한다.
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 문제점을 해결하기 위한 본 발명의 일 양상인, 레퍼런스 타겟(reference target)을 이용한 다중 광학계 비전 시스템의 진단 방법은, 상기 레퍼런스 타겟에 대하여, 하나의 레퍼런스 마크(reference mark)가 포함되는 제 1 영역을 다중 설정하고, 상기 레퍼런스 타겟에서 상기 제 1 영역을 제외한 나머지 영역을 제 2 영역으로 설정하는 단계; 상기 제 2 영역에 대하여, 진단 이미지(diagnosis image)를 획득하고, 획득된 상기 진단 이미지에 기반하여 최적 조명을 설정하는 단계; 상기 제 1 영역상의 레퍼런스 마크에 대한 그레이(gray) 레벨 변환을 통해, 선명도(definition)를 조정하는 단계; 및 이미지 영상 처리 상의 상기 제 1 영역상의 레퍼런스 마크 간의 거리에 따라 해상도(resolution)을 조정하는 단계를 포함할 수 있다.
나아가, 상기 최적 조명을 설정하는 단계는, 상기 제 2 영역에 대하여, 상기 진단 이미지를 획득하는 단계; 상기 진단 이미지와 상기 레퍼런스 타겟에 대하여 미리 측정된 레퍼런스 이미지와의 광도(brightness) 편차를 측정하는 단계; 상기 측정된 광도 편차가 광도 임계치를 초과하는 경우, 상기 레퍼런스 타겟에 대한 조명 제어를 단계별로 수행하여 적어도 3개 이상의 단계별 보정 이미지를 획득하는 단계; 상기 획득된 단계별 보정 이미지들로부터 조명 밝기와 평균 광도의 상관관계를 산출하고, 상기 산출된 상관관계에 기반하여 최적 조명을 설정하는 단계; 및 상기 설정된 최적 조명이 적용된 상기 제 2 영역의 광도 확인 이미지와 상기 레퍼런스 이미지와의 광도 편차를 재확인하는 단계를 포함할 수 있다.
나아가, 상기 선명도를 조정하는 단계는, 상기 제 1 영역 상에서, 상기 레퍼런스 마크(reference mark)의 이미지를 획득하여, 상기 레퍼런스 마크의 엣지 라인(edge line) 기반으로 관심 영역으로 설정하는 단계; 상기 관심 영역내의 다수의 픽셀(pixel)에 대하여 그레이 레벨(gray level) 변환을 수행하고, 상기 다수의 픽셀의 그레이 레벨 변환 값에 대하여 상위 레벨 평균 값 및 하위 레벨 평균 값을 산출하는 단계; 상기 상위 레벨 평균 값에 따른 상위 경계 픽셀 좌표와 상기 하위 레벨 평균 값에 따른 하위 경계 픽셀 좌표의 최소 거리를 산출하는 단계; 및 상기 상위 레벨 평균 값과 하위 레벨 평균 값의 레벨 차이를 산출하고, 상기 산출된 레벨 차이와 상기 최소 거리에 기반하여 단위 픽셀당 레벨 변화율을 산출하여 선명도를 확인하는 단계를 포함하는 것을 특징으로 할 수 있다.
나아가, 상기 관심 영역은, 상기 레퍼런스 마크의 엣지 라인에 대하여 수직 방향으로 설정되는 것을 특징으로 할 수 있다.
나아가, 상기 확인된 선명도에 대하여 조정이 필요한 경우, 상기 다중 광학계의 수직 좌표를 조정하여 선명도(definition)를 조정하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
나아가, 상기 해상도를 조절하는 단계는, 이미지 영상 처리를 통하여 수평 혹은 수직으로 위치한 2 개의 제 1 영역상의 레퍼런스 마크 간의 거리를 산출하고, 상기 산출된 레퍼런스 마크 간의 거리를 미리 측정된 레퍼런스 마크 거리와 동일한지 여부를 판단하는 단계; 및 상기 산출된 레퍼런스 마크 간의 거리를 대응되는 미리 측정된 레퍼런스 마크 거리와 동일하지 않은 경우, 해상도를 조정하는 단계를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따르면, 레퍼런스 타겟을 이용한 다중 광학계 비전 시스템에 대한 효율적인 진단을 수행할 수 있다.
한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.
도 1은 본 발명에 따른 다중 광학계 비전 시스템의 구성을 설명하기 위한 참고도이다.
도 2는, 본 발명에 따른 레퍼런스 타겟(reference target)을 이용한 다중 광학계 비전 시스템의 진단 방법을 설명하기 위한 순서도이다.
도 3은, 본 발명의 일 실시예에 따라, 최적 조명을 설정하는 방법을 설명하기 위한 참고도이다.
도 4는 레퍼런스 마크를 이용하여 선명도를 조정하는 방법에 대한 순서도이다.
도 5는, 포커스된 이미지와 디포커스된 이미지에 따른 수직 좌표를 설명하기 위한 참고도이다.
도 6은, 레퍼런스 마크에 대하여 관심 영역을 설정하는 방안을 설명하기 위한 참고도이다.
도 7은 상위 경계 픽셀 좌표 및 하위 경계 픽셀 좌표를 산출하고, 그 최소거리에 기반하여 픽셀 단위당 레벨 변화율을 산출하는 과정을 설명하기 위한 참고도이다.
도 8은 본 발명의 일 실시예에 따라, 레퍼런스 마크 간의 거리에 기반하여 해상도를 조정하는 방법을 설명하기 위한 참고도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 아래 설명하는 실시예들에는 다양한 본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술내용에 대해서는 설명을 생략한다.
한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다.
그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다.
도 1은 본 발명에 따른 다중 광학계 비전 시스템의 구성을 설명하기 위한 참고도이다. 본 발명에서 다중 광학계 비전 시스템은 광학 검사 모듈(110), 환경 제어 모듈(120), 광학계 위치 제어 모듈(130)으로 구성될 수 있다.
광학 검사 모듈(110)은, 다수의 광학계(111)들과 결합되어 있으며, 다수의 광학계들을 이용하여 검사체의 위치, 상태, 결함 등을 확인하기 위한 이미지들을 획득하고, 획득한 이미지를 검사 및 분석할 수 있다. 또한, 광학계들의 포커스(focus), 픽셀의 해상도(pixel resolution)등에 대하여 진단 및 보정할 수 도 있다.
환경 제어 모듈(120)은, 광학 검사 모듈(110)이 외부 환경의 영향에 따라 검사체에 대한 검사 결과가 변동되는 것을 방지하기 위한 구성으로서, 시간의 경과에 따라 검사체에 대한 외부 환경(예를 들어, 조명 밝기, 렌즈 동작 거리 등)이 변화할 수 있으므로, 광학계 비전 시스템이 유효한 검사 결과를 산출하기 위하여 일정한 외부 환경을 형성해줄 수 있다.
광학계 위치 제어 모듈(130)은, 광학 검사 모듈(110)을 수직으로 이동 제어 하며, 이에 따라 광학계(111)의 수직 위치가 변경됨으로써, 광학계의 검사체에 대한 포커스(focus)를 변경할 수 있다.
본 발명에서는, 실시간 투입되는 검사체들 사이에 일정 시간 단위로 레퍼런스 타겟(reference target)(140)를 투입시킴으로써, 본 발명에 따른 자동 진단 기능을 통하여 다중 광학계에 대한 정량적 데이터를 산출하고, 산출된 데이터에 기반하여 다중 광학계 비전 시스템을 자동으로 진단 및 보정할 수 있다.
즉, 레퍼런스 타겟(140)을 투입시키며, 레퍼런스 타겟에 대하여 미리 촬영된 레퍼런스 이미지(141)와 투입 시점에 촬영된 레퍼런스 타겟에 대하여 촬상된 진단 이미지(142)를 비교하여, 자동으로 이상여부를 진단하고 보정을 수행할 수 있다.
도 2는, 본 발명에 따른 레퍼런스 타겟(reference target)을 이용한 다중 광학계 비전 시스템의 진단 방법을 설명하기 위한 순서도이다.
본 발명에서의 광학계 비전 시스템은, 레퍼런스 타겟에 대하여, 하나의 레퍼런스 마크(reference mark)가 포함되는 제 1 영역을 다중 설정하고, 레퍼런스 타겟에서 제 1 영역을 제외한 나머지 영역을 제 2 영역으로 설정한다(S201).
여기서, 제 1 영역은 선명도(definition) 검사 및 해상도(resolution) 검사를 위하여 설정되는 영역이며 적어도 2 개 이상 설정된다. 레퍼런스 마크(reference mark)는, 선명도 및 해상도를 검사하기 위한 표시로서, 본 발명에서는 설명의 편의를 위하여 “”표시로 나타내었으나, 검사체에서 식별될 수 있는 다양한 형태(예를 들어, 나사의 홈, 볼트의 형태 등)에 대하여도, 레퍼런스 마크로 적용될 수 있다.
제 2 영역은 레퍼런스 타겟에 대하여 다중으로 설정된 제 1 영역을 제외한 나머지 영역으로 설정되어 있으며, 바람직하게는, 다수 개로 설정된 제 1 영역과 중첩되지 않도록 설정될 수 있다. 제 2 영역은 광도 편차를 보정하기 위한 영역으로 설정되는 것인 바, 제 1 영역에 존재하는 레퍼런스 마크로 인하여 광도 편차 산출에 오류가 발생할 여지가 있기 때문이다.
광학계 비전 시스템은 제 2 영역에 대하여, 진단 이미지(diagnosis image)를 획득하고, 획득된 상기 진단 이미지에 기반하여 최적 조명을 설정한다(S203).
즉, 광학계 비전 시스템은, 광학계를 통해 레퍼런스 타겟에 증 제 2 영역에 대하여 진단 이미지를 획득한다. 이에 따라 획득한 진단 이미지와 레퍼런스 타겟에 대하여 미리 측정된 레퍼런스 이미지를 비교하여 광도(brightness) 편차를 측정한다.
측정된 광도 편차가 광도 임계치를 초과하는 경우, 환경 제어 모듈을 통하여 레퍼런스 타겟에 대한 조명 제어를 단계별로 수행할 수 있다. 이 때, 레퍼런스 타겟에 대하여 현재 조명 레벨보다 높은 레벨 및 현재 조명 레벨보다 낮은 레벨을 촬영함으로써 레벨의 조정 방향에 대하여 판단할 수 있으며, 적어도 3개 이상의 단계별 보정 이미지를 획득하도록 설정될 수 있다.
획득된 단계별 보정 이미지들로부터 조명 밝기와 평균 광도의 상관관계를 산출하고, 산출된 상관관계에 기반하여 최적 조명을 설정할 수 있으며, 이에 대한 구체적인 설명은 도 3과 함께 후술한다.
광학계 비전 시스템은, 설정된 최적 조명이 적용된 제 2 영역 상의 광도 확인 이미지를 획득하여, 레퍼런스 이미지와의 광도 편차를 재확인하고, 광도 편차가 광도 임계치 이하인 경우, 조명 재설정을 완료한다.
광학계 비전 시스템은 제 1 영역상의 레퍼런스 마크에 대한 그레이(gray) 레벨 변환을 통해, 선명도(definition)를 조정한다(S205).
광학계 비전 시스템은, 제 1 영역 상에서, 레퍼런스 마크(reference mark)의 이미지를 획득하여, 레퍼런스 마크의 엣지 라인(edge line) 기반으로 관심 영역으로 설정한다. 예를 들어, 레퍼런스 마크의 엣지 라인에 대하여 수직 방향으로 설정될 수 있는데, 레퍼런스 마크의 엣지 라인에 대하여 수직 방향으로 관심 영역이 설정됨으로써, 엣지 라인의 그레이 레벨 변환 값들이 순차적으로 정렬된 값을 가질 수 있기 때문이다.
관심 영역내의 다수의 픽셀(pixel)에 대하여 그레이 레벨(gray level) 변환을 수행하고, 변환된 다수 픽셀의 그레이 레벨 변환 값에 대하여 상위 레벨 평균 값 및 하위 레벨 평균 값을 산출할 수 있다. 산출된 상위 레벨 평균 값에 따른 상위 경계 픽셀 좌표와 하위 레벨 평균 값에 따른 하위 경계 픽셀 좌표의 최소 거리를 산출한다. 산출된 상위 레벨 평균 값과 하위 레벨 평균 값 간의 레벨 차이 및 상위 경계 픽셀 좌표와 하위 경계 픽셀 좌표간의 최소 거리에 기반하여 단위 픽셀당 레벨 변화율을 산출하여 선명도를 확인한다. 이에 대한 구체적인 설명은 도 4 내지 도 7을 참조하여 후술한다.
광학계 비전 시스템은 이미지 영상 처리 상의 상기 제 1 영역상의 레퍼런스 마크 간의 거리에 따라 해상도(resolution)을 조정한다(S207). 즉, 이미지 영상 처리를 통하여 수평 혹은 수직으로 위치한 2 개의 제 1 영역상의 레퍼런스 마크 간의 거리를 산출하고, 산출된 레퍼런스 마크 간의 거리를 대응되는 미리 측정된 레퍼런스 마크 거리와 동일한지 여부를 판단하여, 산출된 레퍼런스 마크 간의 거리를 미리 측정된 레퍼런스 마크 거리와 동일하지 않은 경우, 해상도를 조정할 수 있다.
도 3은, 본 발명의 일 실시예에 따라, 최적 조명을 설정하는 방법을 설명하기 위한 참고도이다. 도 3(a)와 같이, 광학계는 미리 측정된 레퍼런스 이미지와 동일하게 제 2 영역이 설정된 진단 이미지(300)를 획득한다.
광학계 비전 시스템은, 획득한 진단 이미지(300)와 레퍼런스 타겟에 대하여 미리 측정된 레퍼런스 이미지와의 광도(brightness) 편차를 측정한다. 여기서, 광도 편차는, 레퍼런스 이미지의 평균 광도와 진단 이미지의 평균 광도의 차이로 정의된다. 측정된 광도 편차가 광도 임계치를 초과하는 경우, 최적 조명을 설정하기 위한 추가적인 단계를 수행한다. 본 발명에서 광도는, 이미지 처리에 사용되는 다양한 방식들을 활용할 수 있는데, 예를 들어, 가우시안 분산(Gaussian Variance, 이하 G/V)기반의 평균 광도를 이용할 수 있다.
도 3(b)는 측정된 광도 편차가 광도 임계치를 초과하는 경우를 설명하기 위한 참고도이다. 도 3(b)에서와 같이, 진단 이미지(300)에 대하여 조명의 밝기를 단계별로 조정함으로써, 광도가 상이한 보정 이미지를 획득한다. 예를 들어, 120의 평균 광도를 가지는 보정 이미지 310, 105의 평균 광도를 가지는 보정 이미지 320, 90의 평균 광도를 가지는 보정 이미지 330이 획득된 경우, 조명 밝기와 평균 광도에 관한 상관 관계를 산출할 수 있다. 이 때, 조명 밝기와 평균 광도가 선형(linear)하게 상관 관계를 가지는 영역에 대하여만 유효하다고 설정하며, 미리 정해진 수준 이상의 상관 관계를 가지는 영역에 대하여는 데이터 산출에서 제외한다. 조명 밝기와 평균 광도에 대한 상관 관계가 산출되는 경우, 산출된 상관 관계에 기반하여 최적 조명을 설정할 수 있다.
이에, 다중 광학계 비전 시스템은 설정된 최적 조명이 적용된 제 2 영역상의 광도 확인 이미지를 획득하여, 레퍼런스 이미지와의 광도 편차를 재확인하고, 광도 편차가 광도 임계치 이하인 경우, 조명 재설정이 완료된다.
도 4 내지 도 7를 참조하여, 레퍼런스 마크를 이용하여 선명도를 조정하는 방법을 설명한다. 도 4는 레퍼런스 마크를 이용하여 선명도를 조정하는 방법에 대한 순서도이다. 도 5는, 포커스된 이미지와 디포커스된 이미지에 따른 광학계의 수직 좌표를 설명하기 위한 참고도이다. 도 6은, 레퍼런스 마크에 대하여 관심 영역을 설정하는 방안을 설명하기 위한 참고도이다. 도 7은 상위 경계 픽셀 좌표 및 하위 경계 픽셀 좌표를 산출하고, 그 최소거리에 기반하여 픽셀 단위당 레벨 변화율을 산출하는 과정을 설명하기 위한 참고도이다.
광학계 비전 시스템은 제 1 영역상의 레퍼런스 마크에 대한 그레이(gray) 레벨 변환을 통해, 선명도(definition)를 조정할 수 있는데, 구체적인 실시예에 대하여 설명한다.
광학계 비전 시스템은, 제 1 영역 상에서, 레퍼런스 마크(reference mark)의 이미지를 획득한다(S401). 레퍼런스 타겟 내에 포함된 레퍼런스 마크의 이미지는 광학계의 수직 위치가 레퍼런스 위치와의 차이 정도에 따라 디포커스싱(defocusing)될 수 있다. 즉, 도 5(a)에서 나타난 바와 같이 제 1 영역(510)에 대한 레퍼런스 마크의 이미지를 획득하면, 포커싱이 정확한 이미지(511)의 경우에는 레퍼런스 마크의 경계 두께(즉, 경계를 구성하는 픽셀의 수)가 일정 수치 이하이나, 디포커싱된 이미지(513)의 경우에는 레퍼런스 마크의 경계 두께가 일정 수치를 초과하게 된다. 이는 도 5(b)에서 나타나듯이 레퍼런스의 위치, 즉, 렌즈 작동 거리(lens working distance)이 미리 설정된 레퍼런스 위치에 존재하는 경우에는 레퍼런스 마크가 포커싱되어 촬영될 것이나, 렌즈가 레퍼런스 위치가 아닌 그보다 높은 위치, 혹은 그보다 낮은 위치에서 동작하는 경우에는 디포커싱된 레퍼런스 마크의 이미지가 획득되기 때문이다.
광학계 비전 시스템은 추출된 레퍼런스 마크에 대하여 관심 영역(ROI, Region Of Interest)을 설정한다(S403). 바람직하게는, 레퍼런스 마크의 엣지 라인(edge line, 즉, 가장 가장지리의 선분) 기반으로 관심 영역으로 설정한다. 도 6을 예로 들어 설명하면, 레퍼런스 마크의 엣지 라인에 대하여 수직 방향으로 설정될 수 있는데, 도 6(a)에서와 같이 4가지 영역(A1, A2, A3, A4) 중 하나에 대하여 관심 영역을 설정할 수 있다. 예를 들어 도 6(b)에서와 같이, A3 영역에서 관심 영역(즉, ROI 영역)을 설정하는 경우, 관심 영역은 A3 영역의 엣지 라인이 좌측에 존재하므로 수평 방향으로 관심 영역이 설정됨이 바람직하다. 레퍼런스 마크의 엣지 라인에 대하여 수직 방향(즉, A3 영역에서는 수평 방향)으로 관심 영역이 설정됨으로써, 엣지 라인의 그레이 레벨 변환 값들이 순차적으로 정렬된 값을 가질 수 있기 때문이다.
관심 영역내의 다수의 픽셀(pixel)에 대하여 그레이 레벨(gray level) 변환을 수행하고, 변환된 다수 픽셀의 그레이 레벨 변환 값에 대하여 상위 레벨 평균 값 및 하위 레벨 평균 값을 산출하여 경계 값을 산출할 수 있다(S405). 여기서, 상위 레벨의 경계 값을 산출하기 위하여, 다수의 픽셀에 대한 그레이 레벨 변환 값 중 미리 설정된 상위 레벨 범위에 포함된 픽셀들의 평균 값이 먼저 산출된다. 상위 레벨 범위에 포함된 픽셀들의 평균 값은, 바람직하게 상위 5%의 그레이 레벨 변환 값들의 평균 값이 산출되는 것이 바람직하며, 상위 레벨 범위의 상/하 1%에 해당하는 데이터는 제외하는 것이 노이즈 요소를 제거함에 있어서 효과적이다. 마찬가지로, 하위 레벨 범위에 포함된 픽셀들의 평균 값은, 다수의 픽셀에 대한 그레이 레벨 변환 값 중 미리 설정된 하위 레벨 범위에 포함된 픽셀들의 평균 값으로 산출될 수 있으며, 이러한 경우에도 바람직하게는 하위 5%의 그레이 레벨 변환 값들의 평균 값이 산출되는 것이 바람직하며, 노이즈 요소를 제거하기 위하여 하위 레벨 범위의 상/하 1%에 해당하는 데이터는 제외할 수 있다.
도 7(a)와 도 7(b)를 참조하여 설명하면, 도 7(a)에서와 같이 관심 영역 내에 존재하는 픽셀들의 그레이 레벨 변환 값은 픽셀 이미지에 대한 환경적 영향 등으로 인하여 균일하지 않은(irregular) 그레이 레벨 변환 값이 산출되게 된다. 따라서, 상위 레벨(high level) 상에서 미리 설정된 상위 레벨 범위에 포함된 픽셀들 및 하위 레벨(low level) 상에서 미리 설정된 하위 레벨 범위에 포함된 픽셀들에 대한, 픽셀들의 그레이 레벨 변환 값의 평균 값을 산출하여 도 7(b)와 같이 평준화를 수행할 수 있다. 따라서, 평준화된 결과에 기반하여, 상위 레벨 평균 값에서 하위 레벨 평균 값으로 변화하는 경계에 해당하는 값들을 가지는 픽셀들에 대하여 상위 경계 픽셀 좌표 및 하위 경계 픽셀 좌표로 설정할 수 있다.
산출된 상위 레벨 평균 값에 따른 상위 경계 픽셀 좌표와 하위 레벨 평균 값에 따른 하위 경계 픽셀 좌표의 최소 거리를 산출한다(S407). 도 7(c)를 참조하여 설명하면, 상위 경계 레벨 픽셀 좌표가 (X1)이라고 하고, 하위 경계 레벨 픽셀 좌표가 (X2)라고 하면, X2 - X1 를 통하여 최소 거리를 산출할 수 잇다.
이에 따라, 산출된 상위 레벨 평균 값과 하위 레벨 평균 값 간의 레벨 차이 및 상위 경계 픽셀 좌표와 하위 경계 픽셀 좌표간의 최소 거리에 기반하여 단위 픽셀당 레벨 변화율을 산출할 수 있다(S409). 즉, 도 7(c)에서, 상위 레벨 평균 값(Y2)과 하위 레벨 평균 값(Y1) 간의 레벨 차이(즉, Y2-Y1) 및 상위 경계 픽셀 좌표(X1)와 하위 경계 픽셀 좌표(X2)간의 최소 거리(즉, X2 - X1)에 기반하여, 단위 픽셀당 레벨 변화율(f)은 수학식 1과 같이 산출할 수 있다.
Figure 112021103396346-pat00001
즉, 수학식 1에서 살펴보듯이,
Figure 112021103396346-pat00002
의 값이 작을수록 평균 변화율이 높아지게 되고, 포커스(focus)에 따른 선명도가 높아지는 것으로 판단할 수 있다. 따라서, 레퍼런스 타겟에 대하여 미리 측정된 레퍼런스 레별 변화율과 측정된 단위 픽셀당 레벨 변화율(f)를 비교하여 선명도를 확인할 수 있다.
확인된 선명도에 대하여 포커스 임계치 미만일 경우, 조정이 필요하다고 판단되며, 다중 광학계의 수직 좌표를 조정하여 선명도(definition)를 조정할 수 있다. 즉, 광학계의 레퍼런스 위치에 따라 미리 측정된 단위 픽셀당 레벨 변화율에 기반하여, 다중 광학계의 위치를 수직으로 조정함으로써, 렌즈 작동 거리를 변경시킬 수 있으며, 이에 따라 선명도가 변화하게 된다. 추가적으로, 다중 광학계의 위치를 보정한 이후 포커스 선명도를 재산출하여, 포커스 임계치를 초과하는지 여부를 확인하고, 포커스 임계치 이내인 경우에는 선명도 보정을 완료할 수 있다.
도 8은 본 발명의 일 실시예에 따라, 레퍼런스 마크 간의 거리에 기반하여 해상도를 조정하는 방법을 설명하기 위한 참고도이다.
다중 광학계 비전 시스템은, 이미지 영상 처리를 통하여 수평 혹은 수직으로 위치한 2 개의 제 1 영역상의 레퍼런스 마크 간의 거리를 산출하고, 산출된 레퍼런스 마크 간의 거리를 대응되는 미리 측정된 레퍼런스 마크 거리와 동일한지 여부를 판단할 수 있다.
도 8을 참조하여 설명하면, 다중 광학계 비전 시스템은 미리 저정된 레퍼런스 이미지(810)에서의 수평 실측거리인 X 및 수직 실측거리 Y로 측정된 데이터를 가진다. 이는 픽셀에 관한 해상도(resolution)을 진단하기 위한 초기 값으로 설정되며, 일정 시점마다 투입되는 레퍼런스 타겟에 대하여 광학계 비전 시스템은 진단 이미지를 촬영하고, 이로부터 수평 이미지 측정 거리(X') 혹은 수직 이미지 측정 거리(Y')를 비교하여, 산출된 진단 이미지 상의 레퍼런스 마크 간의 거리가 대응되는 미리 측정된 레퍼런스 마크 간의 거리와 동일하지 않은 경우, 해상도를 조정할 수 있다.
본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (6)

  1. 레퍼런스 타겟(reference target)을 이용한 다중 광학계 비전 시스템의 진단 방법에 있어서,
    상기 레퍼런스 타겟에 대하여, 하나의 레퍼런스 마크(reference mark)가 포함되는 제 1 영역을 다중 설정하고, 상기 레퍼런스 타겟에서 상기 제 1 영역을 제외한 나머지 영역을 제 2 영역으로 설정하는 단계;
    상기 제 2 영역에 대하여, 진단 이미지(diagnosis image)를 획득하고, 획득된 상기 진단 이미지에 기반하여 최적 조명을 설정하는 단계;
    상기 제 1 영역상의 레퍼런스 마크에 대한 그레이(gray) 레벨 변환을 통해, 선명도(definition)를 조정하는 단계; 및
    이미지 영상 처리 상의 상기 제 1 영역상의 레퍼런스 마크 간의 거리에 따라 해상도(resolution)을 조정하는 단계를 포함하는,
    다중 광학계 비전 시스템의 진단 방법.
  2. 제 1 항에 있어서,
    상기 최적 조명을 설정하는 단계는,
    상기 제 2 영역에 대하여, 상기 진단 이미지를 획득하는 단계;
    상기 진단 이미지와 상기 레퍼런스 타겟에 대하여 미리 측정된 레퍼런스 이미지와의 광도(brightness) 편차를 측정하는 단계;
    상기 측정된 광도 편차가 광도 임계치를 초과하는 경우, 상기 레퍼런스 타겟에 대한 조명 제어를 단계별로 수행하여 적어도 3개 이상의 단계별 보정 이미지를 획득하는 단계;
    상기 획득된 단계별 보정 이미지들로부터 조명 밝기와 평균 광도의 상관관계를 산출하고, 상기 산출된 상관관계에 기반하여 최적 조명을 설정하는 단계; 및
    상기 설정된 최적 조명이 적용된 상기 제 2 영역의 광도 확인 이미지와 상기 레퍼런스 이미지와의 광도 편차를 재확인하는 단계를 포함하는,
    다중 광학계 비전 시스템의 진단 방법.
  3. 제 1 항에 있어서,
    상기 선명도를 조정하는 단계는,
    상기 제 1 영역 상에서, 상기 레퍼런스 마크(reference mark)의 이미지를 획득하여, 상기 레퍼런스 마크의 엣지 라인(edge line) 기반으로 관심 영역으로 설정하는 단계;
    상기 관심 영역내의 다수의 픽셀(pixel)에 대하여 그레이 레벨(gray level) 변환을 수행하고, 상기 다수의 픽셀의 그레이 레벨 변환 값에 대하여 상위 레벨 평균 값 및 하위 레벨 평균 값을 산출하는 단계;
    상기 상위 레벨 평균 값에 따른 상위 경계 픽셀 좌표와 상기 하위 레벨 평균 값에 따른 하위 경계 픽셀 좌표의 최소 거리를 산출하는 단계; 및
    상기 상위 레벨 평균 값과 하위 레벨 평균 값의 레벨 차이를 산출하고, 상기 산출된 레벨 차이와 상기 최소 거리에 기반하여 단위 픽셀당 레벨 변화율을 산출하여 선명도를 확인하는 단계를 포함하는 것을 특징으로 하는,
    다중 광학계 비전 시스템의 진단 방법.
  4. 제 3 항에 있어서,
    상기 관심 영역은,
    상기 레퍼런스 마크의 엣지 라인에 대하여 수직 방향으로 설정되는 것을 특징으로 하는,
    다중 광학계 비전 시스템의 진단 방법.
  5. 제 3 항에 있어서,
    상기 확인된 선명도에 대하여 조정이 필요한 경우, 상기 다중 광학계의 수직 좌표를 조정하여 선명도(definition)를 조정하는 단계를 더 포함하는 것을 특징으로 하는,
    다중 광학계 비전 시스템의 진단 방법.
  6. 제 1 항에 있어서,
    상기 해상도를 조정하는 단계는,
    이미지 영상 처리를 통하여 수평 혹은 수직으로 위치한 2 개의 제 1 영역상의 레퍼런스 마크 간의 거리를 산출하고, 상기 산출된 레퍼런스 마크 간의 거리를 대응되는 미리 측정된 레퍼런스 마크 거리와 동일한지 여부를 판단하는 단계; 및
    상기 산출된 레퍼런스 마크 간의 거리를 대응되는 미리 측정된 레퍼런스 마크 거리와 동일하지 않은 경우, 해상도를 조정하는 단계를 포함하는,
    다중 광학계 비전 시스템의 진단 방법.
KR1020210118945A 2021-09-07 2021-09-07 레퍼런스 타겟을 이용한 다중 광학계 비전 시스템의 진단 방법 KR102344054B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210118945A KR102344054B1 (ko) 2021-09-07 2021-09-07 레퍼런스 타겟을 이용한 다중 광학계 비전 시스템의 진단 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210118945A KR102344054B1 (ko) 2021-09-07 2021-09-07 레퍼런스 타겟을 이용한 다중 광학계 비전 시스템의 진단 방법

Publications (1)

Publication Number Publication Date
KR102344054B1 true KR102344054B1 (ko) 2021-12-28

Family

ID=79178063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210118945A KR102344054B1 (ko) 2021-09-07 2021-09-07 레퍼런스 타겟을 이용한 다중 광학계 비전 시스템의 진단 방법

Country Status (1)

Country Link
KR (1) KR102344054B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115153422A (zh) * 2022-05-30 2022-10-11 清华大学 基于元成像的眼底成像方法及系统
WO2024182912A1 (zh) * 2023-03-03 2024-09-12 京东方科技集团股份有限公司 图像采集方法、图像采集装置和缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060011163A (ko) * 2004-07-29 2006-02-03 엘지전자 주식회사 광학 모듈을 이용한 검사 장치
KR20110115078A (ko) * 2010-04-14 2011-10-20 주식회사 고영테크놀러지 검사 장치의 진단 및 측정변수 설정 방법
KR101517554B1 (ko) * 2013-11-05 2015-05-04 한국생산기술연구원 공액구배 알고리즘을 이용한 비전시스템의 컬러 조명 제어방법
KR20170035527A (ko) * 2015-09-23 2017-03-31 삼성전자주식회사 전자 장치, 그의 디스플레이 패널 장치 보정 방법 및 보정 시스템
KR20190126952A (ko) * 2018-05-02 2019-11-13 삼성디스플레이 주식회사 불량 검출 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060011163A (ko) * 2004-07-29 2006-02-03 엘지전자 주식회사 광학 모듈을 이용한 검사 장치
KR20110115078A (ko) * 2010-04-14 2011-10-20 주식회사 고영테크놀러지 검사 장치의 진단 및 측정변수 설정 방법
KR101517554B1 (ko) * 2013-11-05 2015-05-04 한국생산기술연구원 공액구배 알고리즘을 이용한 비전시스템의 컬러 조명 제어방법
KR20170035527A (ko) * 2015-09-23 2017-03-31 삼성전자주식회사 전자 장치, 그의 디스플레이 패널 장치 보정 방법 및 보정 시스템
KR20190126952A (ko) * 2018-05-02 2019-11-13 삼성디스플레이 주식회사 불량 검출 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115153422A (zh) * 2022-05-30 2022-10-11 清华大学 基于元成像的眼底成像方法及系统
WO2024182912A1 (zh) * 2023-03-03 2024-09-12 京东方科技集团股份有限公司 图像采集方法、图像采集装置和缺陷检测方法

Similar Documents

Publication Publication Date Title
CN112669394B (zh) 一种用于视觉检测系统的自动标定方法
KR102344054B1 (ko) 레퍼런스 타겟을 이용한 다중 광학계 비전 시스템의 진단 방법
KR100805486B1 (ko) 디스플레이의 다각도 계측 시스템 및 방법
CN109451289B (zh) 对投影仪进行检测和校正的方法和系统
CN111261079B (zh) 一种亮、暗斑异常现象的检测方法
US11092432B2 (en) Reference plate and method for calibrating and/or checking a deflectometry sensor system
US9646374B2 (en) Line width error obtaining method, line width error obtaining apparatus, and inspection system
CN110261069B (zh) 一种用于光学镜头的检测方法
KR20090080993A (ko) 웨이퍼 수납 카세트 검사 장치 및 방법
CN116358436A (zh) 基于计算机视觉的建筑变形智能监测与数据处理系统
CN111665249B (zh) 一种光强调整方法、系统及光学检测设备
US20130100320A1 (en) Imaging apparatus and imaging method
KR101204617B1 (ko) 검사장치
US12190543B2 (en) Lens calibration method for digital imaging apparatus
CN113379835B (zh) 检测设备的校准方法、装置、设备及可读存储介质
KR101341662B1 (ko) 엘이디 칩 외관 검사장비 간의 오차 최소화 방법
JP6182024B2 (ja) ムラ測定方法およびムラ測定装置
KR101952274B1 (ko) 촬영영상을 이용한 표시장치의 휘도 개선 장치
JP4962763B2 (ja) 欠陥検査装置および欠陥検査方法
KR102421127B1 (ko) 에어리어 카메라가 구비된 검사 장치 및 에어리어 카메라가 구비된 검사 장치를 이용한 검사 방법
JP6196148B2 (ja) デフォーカス制御装置およびデフォーカス制御方法
CN106358037B (zh) 镜头检测方法
KR100517324B1 (ko) 평판 표시 패널의 화질 검사 방법
CN111917971A (zh) 取像参数优化调整系统与方法
CN117395517B (zh) 眼底相机成像亮度调节方法与眼底相机

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210907

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20211012

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20210907

Patent event code: PA03021R01I

Comment text: Patent Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20211218

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20211223

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20211223

End annual number: 3

Start annual number: 1

PG1601 Publication of registration