KR102551372B1 - 3d 형상인식 기능을 구비한 비전스캐닝장치 - Google Patents

3d 형상인식 기능을 구비한 비전스캐닝장치 Download PDF

Info

Publication number
KR102551372B1
KR102551372B1 KR1020230008566A KR20230008566A KR102551372B1 KR 102551372 B1 KR102551372 B1 KR 102551372B1 KR 1020230008566 A KR1020230008566 A KR 1020230008566A KR 20230008566 A KR20230008566 A KR 20230008566A KR 102551372 B1 KR102551372 B1 KR 102551372B1
Authority
KR
South Korea
Prior art keywords
camera
galvanometer scanner
image
light
optical axis
Prior art date
Application number
KR1020230008566A
Other languages
English (en)
Inventor
박원식
Original Assignee
티웍스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 티웍스 주식회사 filed Critical 티웍스 주식회사
Priority to KR1020230008566A priority Critical patent/KR102551372B1/ko
Application granted granted Critical
Publication of KR102551372B1 publication Critical patent/KR102551372B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Abstract

본 발명은 3D 형상인식 기능을 구비한 비전스캐닝장치에 관한 것으로서, 더욱 상세하게는 갈바노미터 스캐너와 포토메트릭 스테레오를 결합하여 대상물(S)의 여러 위치를 빠른 시간 내에 검사할 수 있는 3D 형상인식 기능을 구비한 비전스캐닝장치에 관한 것이다.

Description

3D 형상인식 기능을 구비한 비전스캐닝장치{Vision scanning device equipped with 3D shape recognition function}
본 발명은 3D 형상인식 기능을 구비한 비전스캐닝장치에 관한 것으로서, 더욱 상세하게는 갈바노미터 스캐너와 포토메트릭 스테레오를 결합하여 대상물의 여러 위치를 빠른 시간 내에 검사할 수 있는 3D 형상인식 기능을 구비한 비전스캐닝장치에 관한 것이다.
최근 여러 IT 분야의 기술발전에 따라, 특히, 영상자료를 조작 및 분석하여 처리하는 영상처리 분야의 발전에 따라 다양한 산업분야에서 영상정보를 이용한 제품 및 서비스 기술이 개발되고 있다.
이때, 여러 산업분야 중에서 정교한 품질기준과 공정능력이 요구되는 반도체, 이차전지, 자동차 등의 제조업 현장에서는 제조되는 상품 또는 물품들의 품질 또는 생산 공정의 성능을 향상시키기 위해, 3D 영상을 이용한 검사기술과 이와 관련된 분야의 개발에 많은 노력을 기울이고 있는 실정이다.
한편, 3D 영상을 추출하는 기술 중 하나의 예로 포토메트릭 스테레오(Phometric Stereo) 기법이 사용되고 있으며, 이는 도 8a에 도시된 바와 같이, 대상물체로 빛을 조사하는 3개 이상의 조명을 구비하고, 각 조명을 순차적으로 점멸하면서 일정 위치에 구비된 카메라를 이용하여 각 조명의 점멸에 따른 영상을 촬영한 뒤, 이를 합성함으로써 대상물체의 3차원 형상을 추출하는 기법으로써, 조명의 개수가 많을수록 보다 신뢰성 있게 물체의 3차원 형상을 추출할 수 있는 기법이다.
이러한 포토메트릭스 스테레오 기법을 이용하여 카메라의 시야범위보다 큰 대상물체를 촬영하는 촬영시스템은 도 8b 또는 도 8c와 같은 방식이 주로 사용되고 있다.
상술하면, 도 8b의 방식에 따른 촬영시스템은 대상물체의 하부에 이동장치를 구비하여 대상물체를 수평방향으로 이동시킴으로써 대상물체의 전체 영역을 촬영할 수 있게 구성되며, 도 8c의 방식에 따른 촬영시스템은 대상물체를 일정한 위치에 고정한 뒤, 카메라의 일측에 이동장치를 구비하여 카메라를 수평방향으로 이동시킴으로써 대상물체의 전체 영역을 촬영할 수 있게 구성된다.
즉, 상기 촬영시스템들은 이동장치를 구비하여 대상물체나 카메라를 이동시킴으로써 대상물체의 전체 형상을 촬영하게 구성되고 있다.
그런데, 상기와 같은 촬영시스템은 이동장치가 반드시 필요하게 되는데, 이동장치의 경우, 가속, 감속 및 이동에 필요한 각종 부품들이 필요하기 때문에 촬영시스템 자체의 크기가 커지는 문제가 있으며, 시스템을 구성하기 위해 소요되는 비용이 증가하기 때문에 경제성이 떨어지는 문제가 있다.
또한, 상기 촬영시스템을 이용하여 대상물체의 여러 위치를 검사하는 경우, 하나의 검사 위치에서 다른 검사 위치까지 대상물체 또는 카메라를 이동시키는데 많은 시간이 소요되는 문제가 있기 때문에 여러 위치를 검사하는 경우, 카메라의 순수한 영상획득 시간에 비해 이동장치의 동작에 소요되는 시간이 더욱 증가하게 되는 문제가 있다.
한편, 포토메트릭 스테레오 기법을 적용하여 대상물체를 검사하는 시스템에 대한 기술 중 하나로 등록특허공보 제10-2179236호(이하, '선행기술'이라 함)가 개시되어 있다.
상기 선행기술은 대상물체의 일방향 전체 영상을 획득할 수 있는 라인 카메라를 구비하고, 라인 카메라를 일방향으로 이동시키거나 대상물체를 일방향으로 이동시킴으로써 대상물체의 전체 표면에 대한 영상을 획득하도록 구성되고 있는데, 이때, 포토메트릭 스테레오 기법을 이용하여 획득한 영상을 합성함으로써 대상물체의 검사가 이루어지고 있다.
이때, 상기 선행기술은 앞서 설명하고 있는 종래의 촬영시스템이 갖는 검사 위치간의 이동에 소요되는 시간적인 문제를 해결하기 위해 한방향으로만 대상물체 또는 라인 카메라를 이동시키면서 대상물체의 전체 영상을 촬영함에 따라 종래의 촬영시스템보다는 대상물체의 전체 영상을 획득에 소요되는 시간을 감소시키도록 구성되고 있다.
그런데 상기 선행기술은 한 방향으로면 이동하면서 대상물체를 촬영하기 때문에 대상물체의 크기나 형상에 따라 다양한 물품들의 촬영에 적용하지 못하는 문제가 있다.
또한, 상기 선행기술은 종래의 촬영시스템과 동일하게 대상물체 또는 카메라를 이동시킴으로써 대상물체를 촬영하기 때문에 여전히 종래의 촬영시스템과 같이 검사 위치 간의 카메라 시야의 이동에 많은 시간이 소요되는 문제가 있는 바, 종래의 촬영시스템이 가지는 한계를 극복하지 못하는 문제가 있다.
등록특허공보 제10-2179236호 (2020.11.10.등록)
본 발명은 상기 종래기술이 갖는 문제점을 해결하기 위하여 창출된 것으로서, 본 발명에서 해결하고자 하는 과제는 갈바노미터 스캐너와 포토메트릭 스테레오를 결합하여 대상물의 여러 위치를 빠른 시간 내에 검사할 수 있는 3D 형상인식 기능을 구비한 비전스캐닝장치를 제공하는 것이다.
본 발명은 상기 갈바노미터 스캐너(100)는 대상물(S)의 표면 전체에 대한 스캐닝이 가능하되, 대상물(S)로부터 반사되어 입사되는 광을 카메라(300)로 전달하는 갈바노미터 스캐너(100); 대상물(S)에 광을 조사하는 광원부(200); 상기 갈바노미터 스캐너(100)를 통과하여 전달되는 광을 수광함으로써 대상물(S)을 촬영하여 2D 영상을 획득하는 카메라(300); 및 상기 카메라(300)로부터 전달된 2D 영상을 이용하여 3D 영상을 생성하는 영상처리부(400);를 포함한다.
이때, 상기 광원부(200)는, 상기 갈바노미터 스캐너(100)를 중심으로 하여 둘러싼 형태로 구비되는 3개 이상의 조명(210)을 포함하며, 상기 갈바노미터 스캐너(100)를 중심으로 하여 둘러싼 형태로 구비되는 3개 이상의 조명(210)을 포함하며, 상기 조명(210)들은 전체 또는 일부 조명이 점등되면서 대상물(S)에 빛을 조사할 수 있으며, 각 조명들은 서로 다른 밝기로 광을 조사하거나 서로 다른 점등 시간을 갖게 구성될 수 있다.
한편, 상기 카메라(300)는, 갈바노미터 스캐너(100)의 고정광축용 개구부(130)에 카메라(300)의 광축이 위치되도록 갈바노미터 스캐너(100)의 일측에 설치될 수 있다.
한편, 상기 카메라(300)의 시야 위치는, 갈바노미터 스캐너(100)의 스캐너 미러(110)의 회전각을 조절에 의해 변경될 수 있다.
한편, 상기 갈바노미터 스캐너(100)에는, 갈바노미터 스캐너(100)와 카메라(300)에 적용되는 광학계의 초점의 보정을 위한 초점보정부(600)가 더 구비될 수 있다.
이때, 상기 초점보정부(600)는, 스캔렌즈(대물렌즈)로 이루어져, 상기 갈바노미터 스캐너(100)의 회전광축용 개구부(120)측에 구비될 수 있다.
또는, 상기 초점보정부(600)는, 상기 갈바노미터 스캐너(100)와 카메라(300)의 사이에 구비되는 동적초점조정장치로 구성될 수 있다.
한편, 상기 영상처리부(400)는, 포토메트릭 스테레오 기법을 이용하여 3D 영상을 생성하도록 한다.
한편, 갈바노미터 스캐너(100)와 카메라(300)의 사이에서 입사면이 갈바노미터의 스캐너의 고정광축용 개구부(130)를 향하는 상태로 구비되되, 상기 광원부(200)에 의해 대상체로부터 반사되는 광만 카메라(300)로 전달되게 구성되는 이색성거울(510); 및 조명(210)에서 조사되는 광과 다른 파장의 레이저빔을 이색성 거울(510)로 조사하되, 상기 카메라(300)의 광축과 동일한 광축을 갖게 설치되는 레이저 고정광축용 개구부(520);를 포함하는 레이저부(500)가 더 구비될 수 있다.
본 발명에 따르면, 갈바노미터 스캐너와 포토메트릭 스테레오를 결합하여 대상물을 검사하도록 구성되기 때문에 대상물을 이동시키지 않고도 대상물의 여러 위치를 빠른 시간 내에 검사할 수 있는 장점이 있다.
또한, 본 발명에 따르면, 비전스캐닝장치에 레이저 가공 기능을 부가하는 경우, 하나의 장치로 레이저 가공과 표면 검사가 번갈아 수행 가능하기 때문에 가공과 검사에 소요되는 시간이 현저히 줄어드는 장점이 있으며, 가공장치와 검사장치를 하나의 시스템으로 구성할 수 있기 때문에 생산설비의 설계에 소요되는 시간 및 비용을 저감할 수 있고, 생산설비의 설치를 위해 소요되는 공간적인 제약을 줄일 수 있는 장점이 있다.
또한, 종래의 가공장치와 검사장치가 일렬로 배치되어 하나의 인라인으로 구성된 일반적인 생산시스템에서는 불량 발생시, 대상물을 이전 공정으로 재투입 필요할 경우가 있고 이러한 경우에 재투입 공정이나 재투입용 물류라인이 요구되는데, 본 발명에 따르면, 비전스캐닝 장치가 가공장치와 검사장치가 통합된 하나의 장치 시스템으로 구성할 수 있기 때문에 대상물의 가공과 검사 이후, 불량 발생시, 바로 대상물을 재가공할 수 있는 바, 대상물의 재투입 공정 또는 물류라인을 생략할 수 있어 종래에 비해 시간 및 비용에 대해 경제성을 갖는 장점이 있다.
도 1은 본 발명에 따른 3D 형상인식 기능을 구비한 비전스캐닝장치의 개략도.
도 2는 본 발명에 따른 비전스캐닝장치를 사용하는 실시예의 개략도.
도 3a는 본 발명에 적용되는 초점보정부의 실시예의 도면.
도 3b는 본 발명에 적용되는 초점보정부의 다른 실시예의 도면.
도 4는 본 발명의 포토메트릭 스테레오 기법에서 방향벡터를 나타내는 도면.
도 5a는 본 발명에 적용되는 갈바노미터 스캐너에 의해 촬영된 대상물의 2D 영상의 그림.
도 5b는 도 5a에서 각 카메라 시야의 위치에 따라 촬영된 영상을 포토메트릭 스테레오 기법을 이용하여 임의의 위치에서 촬영된 표면 법석벡터와 반사도 영상.
도 6a 및 도 6b는 본 발명에 레이저부를 적용한 실시예로서, 이색성 거울이 레이저빔의 파장을 반사하고, 조명광의 파장을 투과하는 상태를 나타내는 도면.
도 7a 및 도 7b는 본 발명에 레이저부를 적용한 다른 실시예로서, 이색성 거울이 레이저빔의 파장을 투과하고, 조명광의 파장을 반사하는 상태를 나타내는 도면.
도 8a는 포토메트릭스 스테레오 기법을 이용하여 대상물체를 촬영하는 일반적인 시스템을 도시한 도면.
도 8b 및 도 8c는 카메라의 시야범위보다 면적이 큰 대상물체를 촬영하기 위해 구성되는 일반적인 촬영 시스템을 도시한 것으로서, 도 8b는 대상물체를 수평방향으로 이동하는 방식을 도시한 도면이고, 도 8c는 카메라를 수평방향으로 이동하는 방식을 도시한 도면.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 더욱 상세하게 설명한다.
본 발명은 3D 형상인식 기능을 구비한 비전스캐닝장치에 관한 것으로서, 더욱 상세하게는 갈바노미터 스캐너(100)와 포토메트릭 스테레오를 결합하여 대상물(S)의 여러 위치를 빠른 시간 내에 검사할 수 있는 3D 형상인식 기능을 구비한 비전스캐닝장치에 관한 것이다.
본 발명은 갈바노미터 스캐너(100), 광원부(200), 카메라(300) 및 영상처리부(400)를 포함한다.
도 1 및 도 2에 도시된 바와 같이, 상기 갈바노미터 스캐너(100)는 대상물(S)의 표면 전체에 대한 스캐닝이 가능하되, 대상물(S)로부터 반사되어 입사되는 광을 카메라(300)로 전달한다.
상술하면, 바닥면의 상부에 대상물(S)이 안착 고정되는 안착부가 구비되고, 상기 안착부의 일측에 스캐너 고정수단이 구비되며, 상기 갈바노미터 스캐너(100)는 상기 스캐너 고정수단에 체결됨에 따라 대상물(S)의 상부에 위치되며, 이 상태로 대상물(S)의 전체 2D 영상을 촬영하게 된다.
즉, 상기 갈바노미터 스캐너(100)의 전체 시야는 대상물(S)의 크기보다 크게 형성되어, 상기 대상물(S)의 전체 형상을 촬영할 수 있다.
한편, 상기 스캐너 고정수단(미도시)은 상하, 좌우 및 전후 길이의 조절이 가능하게 구성되어, 상기 안착부에 구비되는 대상물(S)의 크기에 따라 갈바노미터 스캐너(100)의 배치 위치를 조절할 수 있다.
한편, 상기 갈바노미터 스캐너(100)는 하나 또는 두 개의 스캐너 미러(110)와 상기 스캐너 미러(110)를 회전시키는 회전모터를 포함하는 일반적인 갈바노미터 스캐너(100)로 구성되며, 일측에 회전광축용 개구부(120)가 형성되고, 타측에 고정광축용 개구부(130)가 구성된다.
이때, 상기 고정광축용 개구부(130)에는 이후 후술할 카메라(300)의 입력 개구부가 구비되고, 회전광축용 개구부(120)는 대상물을 향하는 방향으로 구비될 수 있다.
이에 따라, 갈바노미터 스캐너(100)는 대상물(S)로부터 반사된 광이 회전광축용 개구부(120)를 통해 입사되고, 입사된 광은 스캐너 미러(110)에 의해 반사되어 고정광축용 개구부(130)를 통해 카메라(300)로 전달될 수 있다.
한편, 본 발명에서는 갈바노미터 스캐너(100)의 스캐너 미러(110) 회동각을 조절하는 것으로 카메라(300)의 촬영 시야 위치를 결정할 수 있다.
한편, 상기 광원부(200)는 대상물(S)에 광을 조사하도록 구비된다.
부연하면, 상기 광원부(200)는 상기 갈바노미터 스캐너(100)를 중심으로 하여 둘러싼 형태로 구비되는 3개 이상의 조명(210)을 포함하며, 상기 조명(210)들은 전체 또는 일부 조명이 점등되면서 대상물(S)에 빛을 조사할 수 있으며, 각 조명들은 서로 다른 밝기로 광을 조사하거나 서로 다른 점등 시간을 갖게 구성될 수 있다.
예를 들어, 복수 개의 조명(210) 중 선택되는 임의의 하나의 조명(210)을 제 1조명이라 하고, 이를 기준으로 시계방향으로 순차적으로 제 2, 3,…, M-1 및 M조명이라 할 때, 2D 영상을 촬영하는 경우, 전체 또는 일부 조명을 점등하면서 갈바노미터 스캐너(100)를 구동함으로써 대상물(S)의 전체 또는 촬영을 원하는 특정부분의 영상을 촬영할 수 있다.
한편, 3D 영상을 촬영하는 경우, 3개 이상의 조명을 제 1조명에서 M조명까지 순차적으로 점등하여 포토메트릭스 스테레오 합성을 위한 영상을 촬영할 수 있다.
이때, 상기 광원부(200)의 조작은 제어부에 의해 이루어지며, 점멸시간은 미리 설정되어 저장된다.
한편, 상기 광원부(200)는 조명(210) 지지부재(미도시)에 의해 상기 스캐너 고정수단에 결합되어 갈바노미터 스캐너(100)의 이동에 연동되어 함께 이동될 수 있으며, 조명(210)의 조사각은 각각 조절될 수 있다.
한편, 상기 카메라(300)는 상기 갈바노미터 스캐너(100)를 통과하여 전달되는 광을 수광함으로써 대상물(S)을 촬영하여 2D 영상을 획득한다.
상술하면, 상기 카메라(300)는 갈바노미터 스캐너(100)의 고정광축용 개구부(130)에 카메라(300)의 광축이 위치되도록 갈바노미터 스캐너(100)의 일측에 설치되며, 상기 카메라(300)는 고정 설치된 상태에서 대상물(S)의 표면 중 카메라(300)의 촬영 시야가 위치한 부분을 촬영하여 2D 영상을 획득한다.
즉, 상기 카메라(300)는 앞서 설명한 바와 같이, 갈바노미터 스캐너(100)의 스캐너 미러(110)의 회전각을 조절함으로써 카메라(300)의 시야 위치를 변경할 수 있으며, 이에 따라 사용자가 원하는 대상물(S)의 부분을 촬영하게 된다.
한편, 도 3a 및 도 3b에 도시된 바와 같이, 상기 갈바노미터 스캐너(100)에는 갈바노미터 스캐너(100)와 카메라(300)에 적용되는 광학계의 초점의 보정을 위한 초점보정부(600)가 더 구비된다.
예를 들면, 도 3a에 도시된 바와 같이, 상기 초점보정부(600)는 스캔렌즈(대물렌즈)로 이루어져, 상기 갈바노미터 스캐너(100)의 회전광축용 개구부(120)측에 구비되어 광학계의 초점이 대상물(S)이 구비될 평면에 일치하게 보정할 수 있다.
또는, 도 3b에 도시된 바와 같이, 상기 초점보정부(600)는 하나 이상의 오목렌즈와 볼록렌즈를 포함하는 동적초점조정장치로 구성되어, 상기 갈바노미터 스캐너(100)와 카메라(300)의 사이에 구비되며, 카메라(300)의 시야 위치에 따라 초점을 조정함으로써 광학계의 초점을 보정할 수 있다.
예를 들면, 상기 카메라(300)의 시야위치가 갈바노미터 스캐너(100)의 전체 시야의 중심부에 위치한 경우, 다른 위치보다 초점이 짧아지게 되는데, 이러한 경우, 동적초점조정장치의 오목렌즈를 후방으로 이동시킴으로써 광학계의 초점을 조정하며, 반대로 카메라(300)의 시야위치가 전체 시야의 중심부로부터 멀어지는 경우, 다른 위치보다 초점이 길어지게 되기 때문에 오목렌즈를 전방으로 이동시킴으로써 광학계의 초점을 조절할 수 있다.
즉, 카메라(300)의 시야 위치에 대응하여 초점보정부(600)의 오목렌즈의 위치를 조절함으로써 초점의 보정이 가능하게 된다.
한편, 상기 영상처리부(400)는 상기 카메라(300)로부터 전달된 2D 영상을 이용하여 3D 영상을 생성하는데, 부연하면, 포토메트릭 스테레오 기법을 이용하여 3D 영상을 생성하도록 한다.
이때, 포토메트릭 스테레오 기법(photometric stereo)은 카메라(300)에 인식되는 대상물(S)의 밝기가 카메라(300)를 향하는 방향과 무관한 람버시안 특성을 가지는 것으로 가정하여 3D 영상을 생성하게 되는데, 포토메트릭 스테레오 기법에 의해 3D 영상을 생성하는 방법은 하기와 같다.
도 2를 참고하여 설명하면, 먼저, 대상물(S)이 안착되는 바닥면의 좌우축을 X축이라 하고, 바닥면의 전후축을 Y축이라 할 때, 대상물(S)의 표면 상에 위치한 임의의 점의 좌표는 (x, y)로 표현할 수 있다.
이때, 임의의 점 (x, y)에 대해 제 1조명(210_1), 제 2조명(210_2),…, 제 M조명(210_m)의 점등시 카메라(300)에 인식되는 밝기값에 대한 벡터(
Figure 112023007943417-pat00001
)는 하기 수식 1과 같이 도시할 수 있다.
(수식 1)
Figure 112023007943417-pat00002
한편, 본 발명에서는 도 4에 도시된 바와 같이, 임의의 점 (x, y)에서 제 1, 2, …, M조명을 향하는 방향을 표시하는 정규화된 방향벡터를 조명벡터(
Figure 112023007943417-pat00003
,
Figure 112023007943417-pat00004
,…,
Figure 112023007943417-pat00005
)라 하고, 이를 하기 수식 2와 같이 표시할 수 있다.
(수식 2)
Figure 112023007943417-pat00006
한편, 각 조명(210)에 대한 조명벡터를 행렬(
Figure 112023007943417-pat00007
)로 표시하면 하기 수식 3과 같다.
(수식 3)
Figure 112023007943417-pat00008
한편, 대상물(S)의 정규화된 표면법선벡터(
Figure 112023007943417-pat00009
)은 하기 수식 4로 표시할 수 있으며, 이는 하기 수식 5를 이용하여 계산할 수 있다.
(수식 4)
Figure 112023007943417-pat00010
(수식 5)
Figure 112023007943417-pat00011
수식 5에서
Figure 112023007943417-pat00012
는
Figure 112023007943417-pat00013
의 역행렬(M=3) 또는 의사역행렬(M>3)이고,
Figure 112023007943417-pat00014
는 표면 반사도로서 하기 수식 6과 같이 표시할 수 있다.
(수식 6)
Figure 112023007943417-pat00015
한편, XY-평면상의 대상물(S)의 높이를 z라 할 때, 형상을
Figure 112023007943417-pat00016
와 같은 함수로 정의할 때, 상기 대상물(S) 임의의 점 (x, y)에서 대상물(S)의 경사도는 하기 수식 7로 표시할 수 있다.
(수식 7)
Figure 112023007943417-pat00017
상기 수식 5 또는 상기 수식 7을 계산함으로써 포토메트릭 스테레오 이론이 1차적으로 제공하는 3D 형상정보, 즉, 표면의 법선벡터와 이와 유사정보인 경사도를 도출할 수 있다.
한편, 촬영된 영상의 분석시, 경우에 따라서는 상기 수식 5 및 수식 7에 의해 계산된 표면법선벡터와 경사도 데이터보다 표면이 휘어진 정도를 나타내는 곡률 데이터가 더욱 유용하게 사용될 수 있으며, 이 경우, 하기 수식 8와 같이 평균곡률 H 또는 가우시안곡률 K를 사용할 수 있으며, 수식 8에서
Figure 112023007943417-pat00018
은 수식 9과 같다.
(수식 8)
Figure 112023007943417-pat00019
(수식 9)
Figure 112023007943417-pat00020
상기에 의해 도출되는 영상정보는 일반 2D 영상이 내포한 재료 고유의 색과 반사광의 영향이 배제된 3D정보로서, 물체의 형상을 판별하는 문제에 유용하게 사용될 수 있다.
아울러 표면의 법선벡터와 경사도를 도출하는 과정에서 상기 수식 6은 물체표면이 완벽한 람버시안 특성을 갖는다면 재료 고유의 반사도를 의미할 수 있다.
경면반사성분이 포함된 대부분의 현실적인 재료들에 대해서는 밝기값 왜곡이 일부 포함되어 있으나, 표면경사에 의한 왜곡이 최소화된 2D 영상으로서 실제 검사문제에 유용하게 활용될 수 있다.
한편, 상기 수식 7을 적분하는 것으로 대상물(S)의 표면 높이
Figure 112023007943417-pat00021
를 도출할 수 있다.
이론적으로 기준점
Figure 112023007943417-pat00022
에서
Figure 112023007943417-pat00023
에 도달하는 임의의 경로 C에 대한 적분을 수행하여 하기 수식 10과 같이
Figure 112023007943417-pat00024
를 도출할 수 있다.
(수식 10)
Figure 112023007943417-pat00025
그런데
Figure 112023007943417-pat00026
측정치의 노이즈 또는 물체 형상의 국소적인 특이성 등으로 인해 적분 가능성을 확보하기 어려울 수 있기 때문에 이러한 경우, 하기와 같은 해석적 또는 수치적 방법을 적용하여
Figure 112023007943417-pat00027
를 추정할 수 있다.
해석적 방법은 하기 수식 11에 의해 정의된
Figure 112023007943417-pat00028
를 최소화하는 추정치
Figure 112023007943417-pat00029
를 구하는 접근방법이다.
(수식 11)
Figure 112023007943417-pat00030
상기 수식 11와 같은 함수의 최소화 조건을 만족하는
Figure 112023007943417-pat00031
의 푸리어변환
Figure 112023007943417-pat00032
는 하기 수식 12와 같이 정리될 수 있다.
(수식 12)
Figure 112023007943417-pat00033
여기서,
Figure 112023007943417-pat00034
는
Figure 112023007943417-pat00035
의 푸리어 변환으로, 상기 수식 12을 푸리어역변환함으로써 수식 13과 같이,
Figure 112023007943417-pat00036
를 구할 수 있다.
(수식 13)
Figure 112023007943417-pat00037
한편,
Figure 112023007943417-pat00038
를 구하기 위한 수치적인 방법은 하기 수식 14를 사용하여 계산한다.
(수식 14)
Figure 112023007943417-pat00039
일반적인 포토메트릭 스테레오 영상합성 과정에서는 대상물의 표면에 조사되는 조명광의 방향, 즉, 각 조명의 방향벡터
Figure 112023007943417-pat00040
이 물체 표면의 전체에서 일정한 것으로 가정하고 있으며, 이는 카메라의 시야 범위에 대비하여 조명의 배치 범위가 충분히 크기 때문에 가능한 가정이다.
그런데 본 발명에서는 갈바노미터 스캐너를 구비함으로써 대상물의 촬영이 가능한 범위가 갈바노미터 스캐너 전체 시야에 대응하는 범위로 크게 확장하고 있으나, 이에 대비하여 조명(210)의 배치 범위는 공간적인 제약으로 인해 이전과 동일한 수준으로 확장하기 어렵기 때문에 본원발명에서는 갈바노미터 스캐너의 시야 위치(x, y)에 따라 조명벡터
Figure 112023007943417-pat00041
를 서로 다르게 설정해야 한다.
따라서 각 조명(210)의 방향벡터(
Figure 112023007943417-pat00042
)를 계산하기 위해, 갈바노미터 스캐너의 구동명령에 따른 임의의 카메라(300) 시야의 위치를
Figure 112023007943417-pat00043
라 하고, 임의의 조명(210)(i)의 위치를
Figure 112023007943417-pat00044
라 할 때, 임의의 조명(i)의 방향벡터(
Figure 112023007943417-pat00045
)는 하기 수식 15를 통해 계산할 수 있다.
(수식 15)
Figure 112023007943417-pat00046
도 5a 및 도 5b는 본원발명을 이용하여 획득한 영상에 관한 것인데, 도 5a는 갈바노미터 스캐너(100)의 전체시야를 도시한 것으로, 이는 갈바노미터 스캐너(100)가 일정간 등간격으로 좌우 또는 전후로 시야의 위치를 이동하면서 영상을 획득하고, 획득한 영상을 연결하여 이어 붙임으로써 전체 시야를 복원한 것인데, 이때, 상기 광원부(200)는 모두 설정된 밝기로 점등된 상태를 유지한 것이다.
한편, 도 5b는 4개의 조명(210)을 설치하여 각 위치에서 촬영한 2D 영상을 상기의 식들을 이용하여 표면법석벡터와 표면반사도를 영상으로 도출한 것이다.
이때, 각 조명(210)은 순차적으로 점등하면서 각 위치의 2D 영상을 촬영하였다.
사진의 표면법선벡터 영상은
Figure 112023007943417-pat00047
의 세 개 성분을 각각 컬러영상의 적색, 녹색, 청색으로 대입하여 표시한 것이다.
여기서 각 위치에서 법선영상과 반사도 영상을 획득한 이후, 수식 8을 계산함으로써 곡률영상을 획득할 수 있고, 수식 13 또는 수식 14의 방법을 이용하여 적분함으로써 높이영상을 획득할 수 있다.
상기와 같은 과정에 따라 획득한 법선영상, 곡률영상 및 높이영상은 금속이나 유리 등에서 흔히 발생하는 경면반사에 의한 영향을 최소화한 형상 데이터로서 단순히 촬영된 2D 영상에 비해 물체의 형상을 검사하기에 적절한 정보로서 사용될 수 있기 때문에 검사장치의 표면 인식 성능을 향상할 수 있으며, 양품과 불량품의 변별력을 향상함에 따라 검사신뢰성을 향상할 수 있다.
한편, 반사도 영상은 표면경사에 의한 밝기 왜곡을 최소화한 영상이기 때문에 난반사표면에 대해 이상적인 결과를 나타낼 뿐만 아니라, 경면반사물체에 대해서도 경면 반사를 최소화함으로써 표면재질 고유의 특성을 판별하는데 적절한 영상으로 사료될 수 있다.
이때, 대상물에 대한 각종 정보는 제어부에 미리 저장될 수 있으며, 취득한 영상과 각종 정보들은 화면표시장치에 출력되어 사용자가 시각정보로서 인식할 수 있다.
한편, 본 발명에서는 도 6a 내지 도 7b와 같이, 레이저부(500)를 더 구비하여 검사 및 가공장치로 사용할 수 있는데, 이를 위해 상기 레이저부(500)는 이색성 거울(510) 및 레이저 고정광축용 개구부(520)을 포함한다.
상기 이색성 거울(510)은 갈바노미터 스캐너(100)와 카메라(300)의 사이에서 입사면이 갈바노미터의 스캐너의 고정광축용 개구부(130)를 향하는 상태로 구비되되, 상기 광원부(200)에 의해 대상체로부터 반사되는 광만 카메라(300)로 전달되게 구성된다.
한편, 상기 레이저 고정광축용 개구부(520)은 조명(210)에서 조사되는 광과 다른 파장의 레이저빔을 이색성 거울(510)로 조사하되, 상기 카메라(300)의 광축과 동일한 광축을 갖게 설치된다.
상기한 구성에 따라 본 발명에서는 레이저 고정광축용 개구부(520)에 의해 조사된 레이저빔에 의해 반사된 광은 이색성 거울(510)에 의해 카메라(300)로 전달되지 않기 때문에 하나의 갈바노미터 스캐너(100)를 이용하여 대상물(S)의 검사와 가공을 병행할 수 있다.
이때, 상기 레이저부(500)와 카메라(300)는 이색성 거울(510)의 성질에 따라 다양한 구조로 설치될 수 있다.
예를 들면, 도 6a에 도시된 바와 같이, 상기 이색성 거울(510)이 레이저빔의 파장은 반사하고, 광원부(200)에 의한 조명(210)광의 파장은 투과하게 구성되는 경우, 도면과 같이, 상기 이색성 거울(510)의 입사면은 상기 레이저 고정광축용 개구부(520)을 향하고, 이색성 거울(510)의 출사면은 카메라(300)를 향하는 상태로 구비되어, 이색성 거울(510)의 입사면으로 레이저빔이 출사되어 반사됨에 따라 레이저빔이 대상물(S)로 전달될 수 있고, 대상물(S)에서 반사된 조명(210)광은 이색성 거울(510)을 투과하여 카메라(300)로 전달될 수 있다.
이때, 도 6b에 도시된 바와 같이, 상기 카메라(300)의 설치 위치에 따라 이색성 거울(510)과 카메라(300) 사이에는 반사경(700)이 더 구비될 수 있다.
또는 도 7a에 도시된 바와 같이, 상기 이색성 거울(510)이 레이저빔의 파장은 투과하고, 광원부(200)에 의한 조명(210)광의 파장은 반사하게 구성되는 경우, 도면과 같이, 이색성 거울(510)의 입사면은 카메라(300)를 향하고, 이색성 거울(510)의 출사면은 레이저 고정광축용 개구부(520)을 향하는 상태로 구비되어, 이색성 거울(510)의 출사면으로 레이저빔이 출사되어 이색성 거울(510)을 투과함에 따라 레이저빔이 대상물(S)로 전달될 수 있고, 대상물(S)에서 반사된 조명(210)광은 이색성 거울(510)에 의해 반사되어 카메라(300)로 전달될 수 있다.
이때, 도 7b에 도시된 바와 같이, 레이저 고정광축용 개구부(520)의 설치 위치에 따라 이색성 거울(510)과 레이저 고정광축용 개구부(520)의 사이에는 반사경(700)이 더 구비될 수 있다.
이상에서 본 발명의 바람직한 실시 예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 아니하며 본 발명의 실시 예와 실질적으로 균등한 범위에 있는 것까지 본 발명의 권리범위가 미치는 것으로 이해되어야 하며, 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능하다.
100 : 갈바노미터 스캐너 110 : 스캐너 미러
120 : 회전광축용 개구부 130 : 고정광축용 개구부
200 : 광원부 210 : 조명
300 : 카메라 400 : 영상처리부
500 : 레이저부 510 : 이색성 거울
520 : 레이저 고정광축용 개구부
600 : 초점조정부
C.V : 카메라 시야 F.V : 스캐너 전체시야
S : 대상물

Claims (9)

  1. 대상물(S)의 표면 전체에 대한 스캐닝이 가능하되, 대상물(S)로부터 반사되어 입사되는 광을 카메라(300)로 전달하는 갈바노미터 스캐너(100);
    대상물(S)에 광을 조사하는 광원부(200);
    상기 갈바노미터 스캐너(100)를 통과하여 전달되는 광을 수광함으로써 대상물(S)을 촬영하여 2D 영상을 획득하는 카메라(300); 및
    상기 카메라(300)로부터 전달된 2D 영상을 이용하여 3D 영상을 생성하는 영상처리부(400);
    를 포함하며,
    갈바노미터 스캐너(100)와 카메라(300)의 사이에서 입사면이 갈바노미터의 스캐너의 고정광축용 개구부(130)를 향하는 상태로 구비되되, 상기 광원부(200)에 의해 대상체로부터 반사되는 광만 카메라(300)로 전달되게 구성되는 이색성거울(510); 및
    조명(210)에서 조사되는 광과 다른 파장의 레이저빔을 이색성 거울(510)로 조사하되, 상기 카메라(300)의 광축과 동일한 광축을 갖게 설치되는 레이저 고정광축용 개구부(520);
    를 포함하는 레이저부(500)가 더 구비되는 것을 특징으로 하는 3D 형상인식 기능을 구비한 비전스캐닝장치.
  2. 청구항 1에 있어서,
    상기 광원부(200)는,
    상기 갈바노미터 스캐너(100)를 중심으로 하여 둘러싼 형태로 구비되는 3개 이상의 조명(210)을 포함하며, 상기 조명(210)들은 전체 또는 일부 조명이 점등되면서 대상물(S)에 빛을 조사할 수 있으며, 각 조명들은 서로 다른 밝기로 광을 조사하거나 서로 다른 점등 시간을 갖게 구성되는 것을 특징으로 하는 3D 형상인식 기능을 구비한 비전스캐닝장치.
  3. 청구항 1에 있어서,
    상기 카메라(300)는,
    갈바노미터 스캐너(100)의 고정광축용 개구부(130)에 카메라(300)의 광축이 위치되도록 갈바노미터 스캐너(100)의 일측에 설치되는 것을 특징으로 하는 3D 형상인식 기능을 구비한 비전스캐닝장치.
  4. 청구항 1에 있어서,
    상기 카메라(300)의 시야 위치는,
    갈바노미터 스캐너(100)의 스캐너 미러(110)의 회전각을 조절에 의해 변경되는 것을 특징으로 하는 3D 형상인식 기능을 구비한 비전스캐닝장치.
  5. 청구항 1에 있어서,
    상기 갈바노미터 스캐너(100)에는,
    갈바노미터 스캐너(100)와 카메라(300)에 적용되는 광학계의 초점의 보정을 위한 초점보정부(600)가 더 구비되는 것을 특징으로 하는 3D 형상인식 기능을 구비한 비전스캐닝장치.
  6. 청구항 5에 있어서,
    상기 초점보정부(600)는,
    스캔렌즈(대물렌즈)로 이루어져, 상기 갈바노미터 스캐너(100)의 회전광축용 개구부(120)측에 구비되는 것을 특징으로 하는 3D 형상인식 기능을 구비한 비전스캐닝장치.
  7. 청구항 5에 있어서,
    상기 초점보정부(600)는,
    상기 갈바노미터 스캐너(100)와 카메라(300)의 사이에 구비되는 동적초점조정장치로 구성되는 것을 특징으로 하는 3D 형상인식 기능을 구비한 비전스캐닝장치.
  8. 청구항 1에 있어서,
    상기 영상처리부(400)는,
    포토메트릭 스테레오 기법을 이용하여 3D 영상을 생성하는 것을 특징으로 하는 3D 형상인식 기능을 구비한 비전스캐닝장치.
  9. 삭제
KR1020230008566A 2023-01-20 2023-01-20 3d 형상인식 기능을 구비한 비전스캐닝장치 KR102551372B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230008566A KR102551372B1 (ko) 2023-01-20 2023-01-20 3d 형상인식 기능을 구비한 비전스캐닝장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230008566A KR102551372B1 (ko) 2023-01-20 2023-01-20 3d 형상인식 기능을 구비한 비전스캐닝장치

Publications (1)

Publication Number Publication Date
KR102551372B1 true KR102551372B1 (ko) 2023-07-04

Family

ID=87156718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230008566A KR102551372B1 (ko) 2023-01-20 2023-01-20 3d 형상인식 기능을 구비한 비전스캐닝장치

Country Status (1)

Country Link
KR (1) KR102551372B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007111763A (ja) * 2005-10-21 2007-05-10 Keyence Corp ３次元加工データ設定装置、３次元加工データ設定方法、３次元加工データ設定プログラム、コンピュータで読み取り可能な記録媒体及び記録した機器並びにレーザ加工装置
KR102179236B1 (ko) 2019-07-22 2020-11-16 주식회사 에스에프에이 다면광학계와 영상 합성을 이용한 검사시스템 및 그 검사방법
KR20210061149A (ko) * 2019-11-19 2021-05-27 한국생산기술연구원 레이저 스캐닝 비전 측정 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007111763A (ja) * 2005-10-21 2007-05-10 Keyence Corp ３次元加工データ設定装置、３次元加工データ設定方法、３次元加工データ設定プログラム、コンピュータで読み取り可能な記録媒体及び記録した機器並びにレーザ加工装置
KR102179236B1 (ko) 2019-07-22 2020-11-16 주식회사 에스에프에이 다면광학계와 영상 합성을 이용한 검사시스템 및 그 검사방법
KR20210061149A (ko) * 2019-11-19 2021-05-27 한국생산기술연구원 레이저 스캐닝 비전 측정 장치 및 방법

Similar Documents

Publication Publication Date Title
EP1581781B1 (en) Method and apparatus for simultaneous 2-d and topographical inspection
EP2101144B1 (en) Concave-convex surface inspection apparatus
KR20160007361A (ko) 투영광원을 구비한 촬영방법 및 그 촬영장치
JP2001194323A (ja) パターン欠陥検査方法及びその装置
JP6387416B2 (ja) ウェーハ映像検査装置
US6291817B1 (en) Moire apparatus having projection optical system and observation optical system which have optical axes parallel to each other
JP6883869B2 (ja) 画像検査装置、画像検査方法、及び画像検査装置用部品
JP2009283633A (ja) 表面検査装置及び表面検査方法
JP5807772B2 (ja) 欠陥検出装置およびその方法
JP6387381B2 (ja) オートフォーカスシステム、方法及び画像検査装置
KR20150118073A (ko) 카메라 렌즈에 의한 비네팅을 측정하는 시스템
US20100226114A1 (en) Illumination and imaging system
KR102551372B1 (ko) 3d 형상인식 기능을 구비한 비전스캐닝장치
US5414517A (en) Method and apparatus for measuring the shape of glossy objects
JP4375596B2 (ja) 表面検査装置及び方法
JP2022049881A (ja) 光学装置
US7035011B2 (en) Support surface of a device for optically capturing objects
JP4573308B2 (ja) 表面検査装置及び方法
TWI673508B (zh) 飛行時間測距裝置以及利用飛行時間測距裝置辨識影像的方法
JP2013007588A (ja) 欠陥検出装置およびその方法
CN111736162A (zh) 一种针对复杂目标的激光照明回波探测装置及方法
JP6888429B2 (ja) パターン照射装置、撮影システムおよびハンドリングシステム
JP2009168615A (ja) 外観検査装置及び外観検査方法
JP2007033240A (ja) 板状体の欠陥検出方法及び欠陥検出装置
US20030020916A1 (en) Optical detection device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant