KR20210058329A - 다면 비전 검사 알고리즘 및 이를 이용한 시스템 - Google Patents

다면 비전 검사 알고리즘 및 이를 이용한 시스템 Download PDF

Info

Publication number
KR20210058329A
KR20210058329A KR1020190145650A KR20190145650A KR20210058329A KR 20210058329 A KR20210058329 A KR 20210058329A KR 1020190145650 A KR1020190145650 A KR 1020190145650A KR 20190145650 A KR20190145650 A KR 20190145650A KR 20210058329 A KR20210058329 A KR 20210058329A
Authority
KR
South Korea
Prior art keywords
unit
photographing
algorithm
inspection
image
Prior art date
Application number
KR1020190145650A
Other languages
English (en)
Other versions
KR102303073B1 (ko
Inventor
백선호
Original Assignee
아나나스엘엘씨 유한책임회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아나나스엘엘씨 유한책임회사 filed Critical 아나나스엘엘씨 유한책임회사
Priority to KR1020190145650A priority Critical patent/KR102303073B1/ko
Publication of KR20210058329A publication Critical patent/KR20210058329A/ko
Application granted granted Critical
Publication of KR102303073B1 publication Critical patent/KR102303073B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/102—Video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명에 따른 물체의 표면을 촬영하여 검사하는 다면 비전 검사 알고리즘을 이용한 검사 시스템은 빛의 반사를 이용하여 검사 물체의 표면 정보를 확인하는 단계, 광 경로의 차이를 파악하는 단계, 파악한 정보에 따라 반사부의 각도를 조정하는 단계 및 정확한 초점을 제공하는 단계를 포함하며 상기 물체의 표면 정보 및 반사부 정보를 수집, 저장하여 데이터 베이스로 가공하되 가공된 상기 데이터 베이스를 딥 러닝, 머신 러닝 기술을 이용하여 학습, 예측하여 물체를 검사하기 전에 상기 반사부의 초점을 미리 조정하는 것을 특징으로 한다.

Description

다면 비전 검사 알고리즘 및 이를 이용한 시스템{Multi-sided Vision Inspection Algorithm and Using the same}
본 발명은 다면 비전 검사 알고리즘 및 이를 이용한 검사 시스템에 관한 것으로 더욱 상세하게는 복수의 거울을 사용하되 기 설정된 알고리즘에 따라 거울을 제어함으로써 하나의 카메라를 이용하여 측정하고자 하는 물체의 다면을 검사 할 수 있는 시스템에 관한 것이다.
물체를 검사 또는 측정하기 위해서는 내부의 성능이나 물성 이외에도 겉에서 보이는 외부 모습을 측정하여 외관 검사를 해야 하며 이를 위해서 물체의 주변을 복수의 카메라를 이용하여 측정하는 5면(전, 후, 좌, 우, 저면) 비전 측정 장치 등이 있다.
특히, 외관 검사가 중요한 반도체의 모듈IC 등과 같은 부품은 중요 부품으로서 그 제품의 신뢰도가 매우 중요하여 엄격한 품질 검사를 통해 제품으로 출하하게 된다. 따라서 PCB(인쇄회로기판), 반도체의 모듈IC 및 반도체 웨이퍼 등은 일련의 공정을 통하여 제조된 후에 출하 전에 정밀한 검사를 마치게 되는데, 이러한 정밀 검사는 내부 불량뿐만 아니라, 그 외관에 미소한 결함이 발생 하더라도 성능에 치명적인 영향을 미치게 되므로, 전기적인 동작 검사뿐만 아니라, 비전 카메라를 이용한 외관 검사와 같은 여러 가지 검사를 수행하게 되는 것이다.
그런데, 종래의 비전 검사 장치 및 시스템은 복수의 카메라를 이동시키면서 물체의 다면을 촬영하여 검사하거나 피검 대상인 물체를 이동하면서 복수의 영상을 수집하고 있다.
따라서, 이와 같이 전, 후, 좌, 우, 저면 등 물체의 복수 표면을 촬영해야 함에도 이를 동시에 효과적으로 검사 또는 측정할 수 있는 장치 및 시스템은 없으며 아래 선행문헌에 개시된 검사 시스템 역시 하나의 물체의 표면을 검사하기 위해 복수의 영상획득부가 마련되고 별도로 동작되어야 하므로 검사의 효율이 저하되는 문제점이 있다.
공개특허 10-2010-0039965호(2010.04.19. 공개)
본 발명은 전술한 문제점을 감안하여 안출된 것으로서, 본 발명의 목적은 하나의 카메라를 이용하되 효과적이고 정확한 물체의 다면을 검사하는 알고리즘 및 이를 이용한 시스템을 제공하는 것이다.
본 발명에 따른 물체의 다면 비전 검사 알고리즘을 이용한 검사 시스템은
빛의 반사를 이용하여 검사 물체의 표면 정보를 확인하는 단계; 광 경로의 차이를 파악하는 단계; 파악한 정보에 따라 반사부의 각도를 조정하는 단계; 및 정확한 초점을 제공하는 단계;를 포함하며 상기 물체의 표면 정보 및 반사부 정보를 수집, 저장하여 데이터 베이스로 가공하되 가공된 상기 데이터 베이스를 딥 러닝, 머신 러닝 기술을 이용하여 학습, 예측하여 물체를 검사하기 전에 상기 반사부의 초점을 미리 조정하는 알고리즘을 이용하는 것을 특징으로 한다.
또한, 상기 알고리즘은 물체의 표면 정보 데이터를 3D 이미지로 변환하여 저장하는 단계를 더 포함하며, 상기 반사부의 개수, 각도 및 조건은 micro array mirror focus를 자동 제어함으로써 수행하는 것을 특징으로 한다.
또한, 상기 알고리즘은 물체를 고정하고, 상기 물체 주변에 반사부를 배치하되 상기 반사부는 5면, 7면 및 9면 중 어느 하나를 선택하고, 상기 물체의 표면 정보를 수집하여 기존 데이터와 상기 표면 정보를 매칭하며, 동일한 값이 존재하면 그 값을 프로그램에 적용시켜 micro array mirror focus를 조정하여 촬영하고, 동일한 값이 존재하지 않으면 유사한 데이터 값을 입력하여 작업을 자동으로 반복하여 수행하는 것을 특징으로 한다.
또한, 상기 검사 시스템은 상기 물체를 수용하거나 고정하는 베드부; 상기 물체의 표면 영상을 촬영하는 촬영부; 하나 이상의 광원; 상기 광원 또는 물체로부터 반사되는 빛의 경로를 변경하는 복수의 반사부; 및 제어부; 를 포함하며, 상기 촬영부는 하나의 카메라로 마련되고, 상기 반사부는 상기 물체를 둘러싸도록 배치되어 상기 물체의 표면 영상을 반사시켜 상기 촬영부로 수렴되도록 하되, 상기 반사부의 갯수, 각도, 굴곡 및 크기를 제어하는 것을 특징으로 한다.
또한, 상기 베드부는 일면에 개구부가 마련되고 내부에 상기 반사부가 설치된 수용부가 형성되어 상기 수용부에 상기 물체를 수용 또는 고정시키며, 상기 촬영부는 상기 베드부 상부에 위치하되 상, 하, 좌, 우 및 회전운동이 가능하여 상기 개구부를 통해 상기 수용부에 출입이 가능하며, 상기 촬영부는 상기 수용부 내부의 반사부를 통해 반사 수렴된 물체의 표면 영상을 촬영하는 것을 특징으로 한다.
또한, 상기 수용부는 복수의 반사부가 마련되어 상기 물체의 표면 영상을 상기 촬영부로 보내며, 상기 반사부는 거울로 마련되어 상기 거울의 크기, 반사 각도의 조건을 기 설정된 로직에 따라 상기 제어부가 제어하거나 사용자의 선택에 따라 조정하는 것을 특징으로 한다.
또한, 상기 광원은 상기 검사 시스템이 설치된 장소의 외부 광원, 상기 촬영부 일단에 설치되어 상기 수용부 내부의 물체를 향해 빛을 조사하는 광원 및 상기 수용부 내부에 설치되어 상기 물체를 향해 빛을 조사하는 광원 중 어느 하나 이상으로 마련되는 것을 특징으로 한다.
또한, 상기 촬영부는 카메라로 마련되되, 하나 이상의 렌즈를 포함하고, 상기 렌즈는 어안렌즈, 분할렌즈로 마련되어 상기 물체의 다면 영상을 촬영할 수 있으며, 입수된 복수의 영상은 별도의 편집 툴을 이용하여 하나의 이미지로 편집하는 것을 특징으로 한다.
본 발명에 따른 다면 비전 검사 알고리즘을 이용한 검사 방법은 피검 대상인 물체를 고정시키는 단계; 상기 촬영부를 상기 물체에 접근 또는 이격하여 영상 수집을 위한 촬영 조정 단계; 상기 촬영부의 영상을 확인함과 동시에 기 설정된 조건 또는 사용자의 선택에 따라 반사부의 크기, 개수 및 각도를 조절 제어하는 단계; 상기 반사부에서 출사된 상기 물체의 복수의 표면 영상을 상기 촬영부를 통해 촬영하는 단계; 및 상기 촬영된 물체의 복수 표면 영상을 통해 물체의 이상 유무를 확인 검사하는 단계; 를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 다면 비전 검사 알고리즘은 하나의 카메라를 이용하되 복수의 거울을 효과적으로 제어, 조절함으로써 효율적으로 물체의 다면 표면을 검사할 수 있다.
도 1은 본 발명에 따른 다면 비전 검사 알고리즘의 기본 순서도,
도 2는 본 발명에 따른 다면 비전 검사 알고리즘의 다른 실시예에 따른 순서도,
도 3은 본 발명에 따른 다면 비전 검사 알고리즘의 또 다른 실시에에 따른 순서도,
도 4는 본 발명에 따른 다면 비전 검사 방법의 순서도,
도 5는 본 발명에 따른 다면 비전 검사 방법의 상세 순서도,
도 6은 본 발명에 따른 다면 비전 검사 시스템의 구성 블록도,
도 7 및 도 8는 본 발명에 따른 다면 비전 검사 시스템의 작동 설명도,
도 9, 도 10 및 도 11은 본 발명에 따른 다면 비전 검사 방법의 작동 원리에 관한 설명도,
도 12는 본 발명에 따른 다면 비전 검사 시스템의 작동 사진이다.
이하, 첨부된 도면을 참조하면서 본 발명의 실시예에 따른 다면 비전 검사 알고리즘, 로직에 관하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시 할 수 있도록 상세히 설명하기로 한다. 본 발명은 여기에서 설명하는 실시예로 한정되지 않으며, 여러 가지 상이한 형태로 구현될 수 있다. 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙이도록 한다.
본 발명에 따른 다면 비전 검사 알고리즘이 적용되는 시스템은 필수적으로 물체의 표면을 촬영하는 촬영부(300)와 물체의 표면 영상을 반사하여 집중시키는 반사부(700)를 포함한다. 즉, 종래의 검사 시스템이 복수의 촬영장치를 이용하여 물체의 다면 표면을 촬영하다 보니 촬영 사이에 오류, 중복 그리고 경제적 부담, 검사의 시간적인 소요 등으로 비효율적었으나, 본 발명에 따른 검사 시스템은 기본적으로 거울(반사부)의 반사를 이용하여 하나의 카메라(촬영부)로 물체의 다면 표면 영상을 습득하는 것이다.
여기서, 검사 시스템은 검사 장치, 검사 유닛으로도 통용될 수 있으며, 그 명칭에 한정되어 해석되지 않는다. 따라서, 구성을 포함하여 물체의 다면 표면을 검사하는 측정 수단에 관한 발명이며, 이러한 측정 수단, 검사 시스템을 이용한 검사 방법에 관한 발명이다.
본 발명에 따른 다면 비전 검사 알고리즘은 빛의 반사를 이용하여 검사 물체의 표면 정보를 확인하는 단계(S10), 광 경로의 차이를 파악하는 단계(S20), 파악한 정보에 따라 반사부의 각도를 조정하는 단계(S30) 및 정확한 초점을 제공하는 단계(S40)를 포함한다.
상기 물체의 표면 정보 및 반사부 정보를 수집, 저장하여 데이터 베이스로 가공(S50)하되 가공된 상기 데이터 베이스를 딥 러닝, 머신 러닝 기술을 이용하여 학습, 예측(S50)하여 물체를 검사하기 전에 상기 반사부의 초점을 미리 조정(S60)하는 것을 특징으로 한다.
또한, 본 발명에 다른 상기 알고리즘은 물체의 표면 정보 데이터를 3D 이미지로 변환하여 저장하는 단계를 더 포함하여 사용자가 물체의 표면 정보 데이터를 3D 이미지로 쉽게 확인할 수 있도록 한다.
즉, 검사하고자 하는 물체의 표면을 기 설정된 알고리즘을 이용하여 광경로를 조절하여 영상을 촬영하고 이를 통해 스크래치, 도색 불량 등 표면에서 확인할 수 있는 이상 유무를 자동으로 검사, 판별할 수 있다.
도 1은 본 발명에 따른 기본 알고리즘에 관한 순서도이고, 도 2 및 도 3은 바람직한 실시 방법에 따른 알고리즘의 상세한 순서를 설명한다. 즉, 도 2의 설명에 따르면, 외관 검사 대상 물체를 정 위치에 위치하고, 물체의 주위에 거울과 같은 반사부를 설치하며, micro mirror multi focus 자동제어 프로그램을 이용하여 상기 반사부를 제어하게 된다.
상기 micro mirror multi focus는 자동 제어 프로그램을 칭하는 것으로서 문언적 해석으로 한정되지 않고, 반사부의 초점을 자동으로 제어할 수 있는 로직, 알고리즘을 통한 자동 제어 프로그램의 툴을 의미한다.
따라서, 상기 자동 제어 프로그램을 이용하게 되면, 대상물체의 표면 정보를 수집하고, 물체 면에 대한 기존 정보, 데이터의 존재유무를 확인하여, 존재하면 카메라의 촬영부 초점을 기준 값에 따라 조정하고 선명도를 판단 한 후 촬영하게 된다.
물체면에 대한 기존 정보, 데이터가 없는 경우 유사 데이터 값을 적용하고 거울의 각도를 조정하며 위의 절차를 다시 진행하게 된다. 만일, 카메라 초점의 선명도 조절 등에 오류가 발생하는 경우 초점 오류 값의 계산을 통한 각도 값 설정 및 저장 과정을 다시 진행하게 된다.
이와 같이 대상물체의 표면 정보 데이터 일치 여부, 확인 및 적용 과정은 도 3에 도시된 바와 같이 본 발명에 따른 검사 알고리즘을 통해 보다 세분화 하여 진행할 수 있다.
상기 반사부의 개수, 각도 및 조건은 micro array mirror focus를 자동 제어함으로써 수행하는 것을 특징으로 하며 상기 알고리즘은 물체를 고정하고, 상기 물체 주변에 반사부를 배치하되 상기 반사부는 5면, 7면 및 9면 중 어느 하나를 선택하고, 상기 물체의 표면 정보를 수집하여 기존 데이터와 상기 표면 정보를 매칭한다.
정보를 매칭하여 동일한 값이 존재하면 그 값을 프로그램에 적용시켜 micro array mirror focus를 조정하여 촬영하고, 동일한 값이 존재하지 않으면 유사한 데이터 값을 입력하여 작업을 자동으로 반복하여 수행하는 것을 특징으로 한다.
즉, 누적된 정보 데이터와 측정된 값을 비교하여 동일 여부를 판단하고 동일한 경우와 동일하지 않은 경우를 나누어 구분하고, 이를 반복하여 실시함으로써 데이터를 구축하고 학습, 예측할 수 있는 것이다.
본 발명에 따른 물체의 표면을 촬영하여 검사하는 다면 비전 검사 알고리즘을 적용한 시스템(1)은 상기 물체를 수용하거나 고정하는 베드부(100), 상기 물체의 표면 영상을 촬영하는 촬영부(300) 하나 이상의 광원(500), 상기 광원 또는 물체로부터 반사되는 빛의 경로를 변경하는 복수의 반사부(700) 및 제어부(900)를 포함한다.
상기 촬영부(300)는 하나의 카메라로 마련되고, 상기 반사부(700)는 상기 물체를 둘러싸도록 배치되어 상기 물체의 표면 영상을 반사시켜 상기 촬영부(300)로 수렴되도록 하되, 상기 반사부(700)의 갯수, 각도, 굴곡 및 크기를 제어하는 것이다.
상기 카메라는 그 형태나 종류에 상관없이 영상을 수집, 획득할 수 있는 장치라면 모두 이용될 수 있으며, 가능한 위치를 제어할 수 있도록 소형화된 카메라를 이용하는 것이 바람직하다. 또한, 상기 카메라는 하나를 이용하여 사용하되 렌즈를 복 수개 부착하여 사용할 수도 있을 것이다.
상기 베드부(100)는 일면에 개구부가 마련되고 내부에 상기 반사부가 설치된 수용부가 형성되어 상기 수용부에 상기 물체를 수용 또는 고정시킨다. 즉, 피검 대상인 물체를 상기 베드부(100)에 얹어서 촬영할 수도 있으나 바람직하게는 상기 베드부(100)의 내부에 마련된 수용부에 상기 물체를 수용시킨다. 상기 수용부의 내부 둘레에는 반사부가 복 수개 배치됨으로써 상기 물체의 표면 영상을 반사시키거나 수렴하는 것이다.
상기 물체를 상기 수용부에 수용하는 경우 사용자가 직접 이동시킬 수도 있으나 바람직하게는 collet(nozzle) 등으로 집어 넣을 수 있으며, 이때 상기 반사부인 micro mirror array를 활용하여 초점을 맞출 수 있다.
상기 촬영부(300)는 상기 베드부(100) 상부에 위치하되 상, 하, 좌, 우 및 회전운동이 가능하여 상기 개구부를 통해 상기 수용부에 출입이 가능하며, 상기 촬영부는 상기 수용부 내부의 반사부를 통해 반사 수렴된 물체의 표면 영상을 촬영하는 것이다.
상기 촬영부는 바람직하게는 터렛(회전) 방식으로 핸들링 될 수 있으며 상기 collet 하단부에 package가 진공으로 부착될 수 있다. 또한, 상기 collet이 모터나 구동부에 의해 하강하며 상기 물품을 촬영할 수 있다.
상기 수용부는 복수의 반사부가 마련되어 상기 물체의 표면 영상을 상기 촬영부로 보내며, 상기 반사부는 거울로 마련되어 상기 거울의 크기, 반사 각도의 조건을 기 설정된 로직에 따라 상기 제어부가 제어하거나 사용자의 선택에 따라 조정할 수 있다.
상기 광원(500)은 상기 검사 시스템(1)이 설치된 장소의 외부 광원, 상기 촬영부 일단에 설치되어 상기 수용부 내부의 물체를 향해 빛을 조사하는 광원 및 상기 수용부 내부에 설치되어 상기 물체를 향해 빛을 조사하는 광원 중 어느 하나 이상으로 마련될 수 있다.
즉, 상기 물체의 표면 영상을 촬영하기 위해 상기 광원이 외부광원으로 이용하는 경우 다소 조도가 낮으면, 상기 촬영부 또는 수용부 내부에 별도의 광원을 마련하여 효과적으로 촬영할 수도 있는 것이다.
상기 촬영부(300)는 카메라로 마련되되, 하나 이상의 렌즈를 포함하고, 상기 렌즈는 어안렌즈, 분할렌즈로 마련되어 상기 물체의 다면 영상을 촬영할 수 있으며, 입수된 복수의 영상은 별도의 편집 툴을 이용하여 하나의 이미지로 편집할 수 있다.
이때, 입수된 복수의 표면 영상은 편집 시 오류를 방지하고 효과적으로 영상을 확인할 수 있도록 별도의 오류 제거 툴을 이용할 수 있으며, 필요 시 영상의 필터링을 위한 과정 또는 장치를 더 이용할 수 있다.
상기 물체의 종류, 크기 및 측정하고자 하는 표면의 개수에 따라 상기 반사부의 개수, 크기 및 반사 각도를 제어하되, 제어를 위한 별도의 로직으로 제어하거나 사용자의 선택에 의해 조절할 수 있다.
이때 수집된 정보는 DB로 가공되어 저장, 활용됨으로써 물체의 표면 검사 시 자동으로 반사부의 개수, 크기 및 반사 각도의 조건이 조정될 수 있으며, 사용자는 물체의 종류 등의 요건을 입력하면 자동으로 상기 반사부의 조건이 변경되고 이에 따라 효율적으로 물체의 다면 비전 검사가 가능한 것이다.
본 발명에 따른 다면 비전 검사 방법은 피검 대상인 물체를 고정시키는 단계(S100), 상기 촬영부를 상기 물체에 접근 또는 이격 하여 영상 수집을 위한 촬영 조정 단계(S300), 상기 촬영부의 영상을 확인함과 동시에 기 설정된 조건 또는 사용자의 선택에 따라 반사부의 크기, 개수 및 각도를 조절 제어하는 단계(S500), 상기 반사부에서 출사된 상기 물체의 복수의 표면 영상을 상기 촬영부를 통해 촬영하는 단계(S700) 및 상기 촬영된 물체의 복수 표면 영상을 통해 물체의 이상 유무를 확인 검사하는 단계(S900)를 포함한다.
본 발명에 따른 다면 비전 검사 방법에 사용되는 시스템 또는 장치는 상기 물체를 수용하거나 고정하는 베드부(100), 상기 물체의 표면 영상을 촬영하는 촬영부(300) 하나 이상의 광원(500), 상기 광원 또는 물체로부터 반사되는 빛의 경로를 변경하는 복수의 반사부(700) 및 제어부(900)를 포함한다.
상기 촬영부(300)는 하나의 카메라로 마련되고, 상기 반사부(700)는 상기 물체를 둘러싸도록 배치되어 상기 물체의 표면 영상을 반사시켜 상기 촬영부(300)로 수렴되도록 하되, 상기 반사부(700)의 갯수, 각도, 굴곡 및 크기를 제어하는 것이다.
상기 카메라는 그 형태나 종류에 상관없이 영상을 수집, 획득할 수 있는 장치라면 모두 이용될 수 있으며, 가능한 위치를 제어할 수 있도록 소형화된 카메라를 이용하는 것이 바람직하다. 또한, 상기 카메라는 하나를 이용하여 사용하되 렌즈를 복 수개 부착하여 사용할 수도 있을 것이다.
상기 베드부(100)는 일면에 개구부가 마련되고 내부에 상기 반사부가 설치된 수용부가 형성되어 상기 수용부에 상기 물체를 수용 또는 고정시킨다. 즉, 피검 대상인 물체를 상기 베드부(100)에 얹어서 촬영할 수도 있으나 바람직하게는 상기 베드부(100)의 내부에 마련된 수용부에 상기 물체를 수용시킨다. 상기 수용부의 내부 둘레에는 반사부가 복 수개 배치됨으로써 상기 물체의 표면 영상을 반사시키거나 수렴하는 것이다.
상기 물체를 상기 수용부에 수용하는 경우 사용자가 직접 이동시킬 수도 있으나 바람직하게는 collet(nozzle) 등으로 집어 넣을 수 있으며, 이때 상기 반사부인 micro mirror array를 활용하여 초점을 맞출 수 있다.
상기 촬영부(300)는 상기 베드부(100) 상부에 위치하되 상, 하, 좌, 우 및 회전운동이 가능하여 상기 개구부를 통해 상기 수용부에 출입이 가능하며, 상기 촬영부는 상기 수용부 내부의 반사부를 통해 반사 수렴된 물체의 표면 영상을 촬영하는 것이다.
상기 촬영부는 바람직하게는 터렛(회전) 방식으로 핸들링 될 수 있으며 상기 collet 하단부에 package가 진공으로 부착될 수 있다. 또한, 상기 collet이 모터나 구동부에 의해 하강하며 상기 물품을 촬영할 수 있다.
상기 수용부는 복수의 반사부가 마련되어 상기 물체의 표면 영상을 상기 촬영부로 보내며, 상기 반사부는 거울로 마련되어 상기 거울의 크기, 반사 각도의 조건을 기 설정된 로직에 따라 상기 제어부가 제어하거나 사용자의 선택에 따라 조정할 수 있다.
상기 반사부는 거울을 이용할 수 있으며, 빛을 반사하는 다양한 구성으로 변경될 수 있다. 특히, 거울을 이용하는 경우 반사부의 크기, 굴곡을 다양하게 설정할 수 있다. 예컨대, 반사부는 유닛, 모듈로 마련하여 복수의 거울이 부착되도록 할 수 있으며, 각각의 작은 거울 들의 반사율, 굴곡도를 다양하게 함으로써 피검 대상 물체의 모든 표면을 정확하게 관찰 할 수 있다.
상기 광원(500)은 상기 검사 시스템(1)이 설치된 장소의 외부 광원, 상기 촬영부 일단에 설치되어 상기 수용부 내부의 물체를 향해 빛을 조사하는 광원 및 상기 수용부 내부에 설치되어 상기 물체를 향해 빛을 조사하는 광원 중 어느 하나 이상으로 마련될 수 있다.
즉, 상기 물체의 표면 영상을 촬영하기 위해 상기 광원이 외부광원으로 이용하는 경우 다소 조도가 낮으면, 상기 촬영부 또는 수용부 내부에 별도의 광원을 마련하여 효과적으로 촬영할 수도 있는 것이다.
상기 촬영부(300)는 카메라로 마련되되, 하나 이상의 렌즈를 포함하고, 상기 렌즈는 어안렌즈, 분할렌즈로 마련되어 상기 물체의 다면 영상을 촬영할 수 있으며, 입수된 복수의 영상은 별도의 편집 툴을 이용하여 하나의 이미지로 편집할 수 있다.
이때, 입수된 복수의 표면 영상은 편집 시 오류를 방지하고 효과적으로 영상을 확인할 수 있도록 별도의 오류 제거 툴을 이용할 수 있으며, 필요 시 영상의 필터링을 위한 과정 또는 장치를 더 이용할 수 있다.
상기 물체의 종류, 크기 및 측정하고자 하는 표면의 개수에 따라 상기 반사부의 개수, 크기 및 반사 각도를 제어하되, 제어를 위한 별도의 로직으로 제어하거나 사용자의 선택에 의해 조절할 수 있다.
이때 수집된 정보는 DB로 가공되어 저장, 활용됨으로써 물체의 표면 검사 시 자동으로 반사부의 개수, 크기 및 반사 각도의 조건이 조정될 수 있으며, 사용자는 물체의 종류 등의 요건을 입력하면 자동으로 상기 반사부의 조건이 변경되고 이에 따라 효율적으로 물체의 다면 비전 검사가 가능한 것이다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되지 않으며, 본 발명의 기술적 사상 내에서의 단순 치환, 변형 및 변경은 당 분야에서의 통상의 지식을 가진 자에게 명백한 것이다.
본 발명에 따른 다면 비전 검사 알고리즘을 이용한 검사 시스템은 하나의 촬영부를 이용하되 반사부를 이용하고 기 설정된 알고리즘을 이용하여 효과적으로 물체의 다면 표면을 검사하는 검사 알고리즘 및 이를 이용한 검사 시스템에 이용될 수 있다.
1: 다면 비전 검사 시스템
100: 베드부 300: 촬영부
500: 광원 700: 반사부
900: 제어부 910: 서버
S10: 물체의 표면 정보 확인단계
S20: 광경로 차이 확인 단계
S30: 반사부 각도 조정 단계
S40: 정확한 초점 제공 단계
S50: DB 구축, 딥러닝 기술 적용 단계
S60: 반사부 초점 미리 조정 단계
S100: 물체의 고정 단계
S300: 촬영부 조정단계
S500: 반사부 조정단계
S700: 촬영단계
S900: 이상유무 검사 단계

Claims (9)

  1. 다면 비전 검사 알고리즘을 이용한 검사 시스템에 있어서,
    상기 다면 비전 검사 알고리즘은,
    빛의 반사를 이용하여 검사 물체의 표면 정보를 확인하는 단계;
    광 경로의 차이를 파악하는 단계;
    파악한 정보에 따라 반사부의 각도를 조정하는 단계; 및
    정확한 초점을 제공하는 단계; 를 포함하며
    상기 물체의 표면 정보 및 반사부 정보를 수집, 저장하여 데이터 베이스로 가공하되 가공된 상기 데이터 베이스를 딥 러닝, 머신 러닝 기술을 이용하여 학습, 예측하여 물체를 검사하기 전에 상기 반사부의 초점을 미리 조정하는 것을 특징으로 하는 다면 비전 검사 알고리즘을 이용한 검사 시스템.
  2. 제 1항에 있어서,
    상기 알고리즘은 물체의 표면 정보 데이터를 3D 이미지로 변환하여 저장하는 단계를 더 포함하며,
    상기 반사부의 개수, 각도 및 조건은 micro array mirror focus를 자동 제어함으로써 수행하는 것을 특징으로 하는 다면 비전 검사 알고리즘을 이용한 검사 시스템.
  3. 제 1항에 있어서,
    상기 알고리즘은 물체를 고정하고, 상기 물체 주변에 반사부를 배치하되 상기 반사부는 5면, 7면 및 9면 중 어느 하나를 선택하고, 상기 물체의 표면 정보를 수집하여 기존 데이터와 상기 표면 정보를 매칭하며, 동일한 값이 존재하면 그 값을 프로그램에 적용시켜 micro array mirror focus를 조정하여 촬영하고, 동일한 값이 존재하지 않으면 유사한 데이터 값을 입력하여 작업을 자동으로 반복하여 수행하는 것을 특징으로 하는 다면 비전 검사 알고리즘을 이용한 검사 시스템.
  4. 제 1항에 있어서,
    상기 검사 시스템은 상기 물체를 수용하거나 고정하는 베드부; 상기 물체의 표면 영상을 촬영하는 촬영부; 하나 이상의 광원; 상기 광원 또는 물체로부터 반사되는 빛의 경로를 변경하는 복수의 반사부; 및 제어부; 를 포함하며, 상기 촬영부는 하나의 카메라로 마련되고, 상기 반사부는 상기 물체를 둘러싸도록 배치되어 상기 물체의 표면 영상을 반사시켜 상기 촬영부로 수렴되도록 하되, 상기 반사부의 갯수, 각도, 굴곡 및 크기를 제어하는 것을 특징으로 하는 다면 비전 검사 알고리즘을 이용한 검사 시스템.
  5. 제 4항에 있어서,
    상기 베드부는 일면에 개구부가 마련되고 내부에 상기 반사부가 설치된 수용부가 형성되어 상기 수용부에 상기 물체를 수용 또는 고정시키며, 상기 촬영부는 상기 베드부 상부에 위치하되 상, 하, 좌, 우 및 회전운동이 가능하여 상기 개구부를 통해 상기 수용부에 출입이 가능하며, 상기 촬영부는 상기 수용부 내부의 반사부를 통해 반사 수렴된 물체의 표면 영상을 촬영하는 것을 특징으로 하는 다면 비전 검사 알고리즘을 이용한 검사 시스템.
  6. 제 4항에 있어서,
    상기 수용부는 복수의 반사부가 마련되어 상기 물체의 표면 영상을 상기 촬영부로 보내며, 상기 반사부는 거울로 마련되어 상기 거울의 크기, 반사 각도의 조건을 기 설정된 로직에 따라 상기 제어부가 제어하거나 사용자의 선택에 따라 조정하는 것을 특징으로 하는 다면 비전 검사 알고리즘을 이용한 검사 시스템.
  7. 제 4항에 있어서,
    상기 광원은 상기 검사 시스템이 설치된 장소의 외부 광원, 상기 촬영부 일단에 설치되어 상기 수용부 내부의 물체를 향해 빛을 조사하는 광원 및 상기 수용부 내부에 설치되어 상기 물체를 향해 빛을 조사하는 광원 중 어느 하나 이상으로 마련되는 것을 특징으로 하는 다면 비전 검사 알고리즘을 이용한 검사 시스템.
  8. 제 4항에 있어서,
    상기 촬영부는 카메라로 마련되되, 하나 이상의 렌즈를 포함하고, 상기 렌즈는 어안렌즈, 분할렌즈로 마련되어 상기 물체의 다면 영상을 촬영할 수 있으며, 입수된 복수의 영상은 별도의 편집 툴을 이용하여 하나의 이미지로 편집하는 것을 특징으로 하는 다면 비전 검사 알고리즘을 이용한 검사 시스템.
  9. 제 1항 내지 제 8항 중 어느 한 항에 따른 다면 비전 검사 알고리즘을 이용한 검사 방법에 있어서,
    피검 대상인 물체를 고정시키는 단계; 상기 촬영부를 상기 물체에 접근 또는 이격하여 영상 수집을 위한 촬영 조정 단계; 상기 촬영부의 영상을 확인함과 동시에 기 설정된 조건 또는 사용자의 선택에 따라 반사부의 크기, 개수 및 각도를 조절 제어하는 단계; 상기 반사부에서 출사된 상기 물체의 복수의 표면 영상을 상기 촬영부를 통해 촬영하는 단계; 및 상기 촬영된 물체의 복수 표면 영상을 통해 물체의 이상 유무를 확인 검사하는 단계; 를 더 포함하는 것을 특징으로 하는 다면 비전 검사 알고리즘을 이용한 검사 방법.

KR1020190145650A 2019-11-14 2019-11-14 다면 비전 검사 알고리즘 및 이를 이용한 시스템 KR102303073B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190145650A KR102303073B1 (ko) 2019-11-14 2019-11-14 다면 비전 검사 알고리즘 및 이를 이용한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190145650A KR102303073B1 (ko) 2019-11-14 2019-11-14 다면 비전 검사 알고리즘 및 이를 이용한 시스템

Publications (2)

Publication Number Publication Date
KR20210058329A true KR20210058329A (ko) 2021-05-24
KR102303073B1 KR102303073B1 (ko) 2021-09-17

Family

ID=76153207

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190145650A KR102303073B1 (ko) 2019-11-14 2019-11-14 다면 비전 검사 알고리즘 및 이를 이용한 시스템

Country Status (1)

Country Link
KR (1) KR102303073B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230115024A (ko) 2022-01-26 2023-08-02 부경대학교 산학협력단 비정형 결함 검출을 위한 cnn 기반 머신 비전 시스템 및 이의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090064557A (ko) * 2006-10-05 2009-06-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 샘플의 표면을 관찰하기 위한 장치 및 방법
JP2009276338A (ja) * 2008-04-14 2009-11-26 Ueno Seiki Kk 外観検査装置
KR20100039965A (ko) 2008-10-09 2010-04-19 (주) 인텍플러스 5면 비전 검사 시스템
KR20140054461A (ko) * 2007-02-06 2014-05-08 칼 짜이스 에스엠테 게엠베하 마이크로리소그래피 투영 노광 장치의 조명 시스템 내의 다수의 미러 어레이들을 감시하는 방법 및 장치
JP2015001531A (ja) * 2013-06-13 2015-01-05 株式会社ミツトヨ マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090064557A (ko) * 2006-10-05 2009-06-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 샘플의 표면을 관찰하기 위한 장치 및 방법
KR20140054461A (ko) * 2007-02-06 2014-05-08 칼 짜이스 에스엠테 게엠베하 마이크로리소그래피 투영 노광 장치의 조명 시스템 내의 다수의 미러 어레이들을 감시하는 방법 및 장치
JP2009276338A (ja) * 2008-04-14 2009-11-26 Ueno Seiki Kk 外観検査装置
KR20100039965A (ko) 2008-10-09 2010-04-19 (주) 인텍플러스 5면 비전 검사 시스템
JP2015001531A (ja) * 2013-06-13 2015-01-05 株式会社ミツトヨ マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230115024A (ko) 2022-01-26 2023-08-02 부경대학교 산학협력단 비정형 결함 검출을 위한 cnn 기반 머신 비전 시스템 및 이의 제어 방법

Also Published As

Publication number Publication date
KR102303073B1 (ko) 2021-09-17

Similar Documents

Publication Publication Date Title
JP6820891B2 (ja) ウェーハの検査システム及び方法
KR100738693B1 (ko) 프로브 마크 판독 장치 및 프로브 마크 판독 방법
KR101638883B1 (ko) 웨이퍼 검사 시스템 및 방법
TWI551855B (zh) 檢測晶圓之系統與方法以及由該系統讀取的程式儲存裝置
US20070133969A1 (en) System and method for measuring and setting the focus of a camera assembly
CN109425327B (zh) 检查系统和检查用图像的修正方法
KR102303073B1 (ko) 다면 비전 검사 알고리즘 및 이를 이용한 시스템
KR20220044741A (ko) 웨이퍼 외관 검사 장치 및 방법
US7684610B2 (en) Rotating prism component inspection system
KR102310449B1 (ko) 개선된 구조의 다면 비전 검사 시스템 및 검사 방법
JP7229439B1 (ja) 傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム
JP2020197983A (ja) 対象物の計測方法、計測装置、プログラム、およびコンピュータ読取り可能な記録媒体
JP4628665B2 (ja) 針痕読取装置および針痕読取方法
JP7146528B2 (ja) 基板検査装置、基板処理装置、基板検査方法および基板処理方法
CN114730176A (zh) 自动视觉检查站的离线故障排除和开发
KR100710703B1 (ko) 반도체 리드프레임 도금 선폭 측정 검사장치 및 그 방법
TWI828545B (zh) 自動視覺檢測系統之靈活直觀配置系統
TWI845721B (zh) 晶圓外觀檢查裝置及方法
JP3534817B2 (ja) 照明自動設定方法とその装置
KR102472876B1 (ko) 불량 pcb 모듈의 리뷰 장치
JP6942031B2 (ja) 検知装置および検知方法
TWM651593U (zh) 鏡片外觀瑕疵檢測系統
TW202434426A (zh) 自動視覺檢測系統之靈活直觀配置系統
Fernández et al. Automated visual inspection to assembly of frontal airbag sensors of automobiles
JP2002170101A (ja) パターン検査方法及びパターン検査装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right