KR20040020357A - 다수의 카메라를 사용한 광폭의 프로파일 측정장치 및 방법 - Google Patents

Abstract

격자 프레임을 다수의 카메라로 촬영하여 합성함으로써 신경회로망 학습에 의해 현재의 카메라 배치에 대해 캘리브레이션하고, 피측정체에서 반사되는 레이저 줄무늬를 다수의 카메라로 촬영하여 중심좌표들을 신경회로망에 입력함으로써 출력되는 프로파일을 얻을 수 있다.

상하좌우의 해상도의 손실 없이 저비용으로 고효율, 고해상도의 프로파일의 측정을 기대할 수 있다.

Description

다수의 카메라를 사용한 광폭의 프로파일 측정장치 및 방법 {Profile measurement system using multiple CCD cameras}

본 발명은 다수의 카메라를 사용한 광폭의 프로파일 측정장치 및 방법에 관한 것으로서, 보다 상세히는 레이저와 다수의 에어리어 스캔 CCD카메라(이하 CCD '카메라'라 함)를 이용하여 피측정체의 높이 프로파일을 측정함에 있어서 중첩 촬영된 부분의 영상 데이터를 신경망을 거쳐서 평면적인 연속 영상 데이터로 변환하는 광폭의 높이 프로파일을 측정하는 장치의 구성 및 그 측정 방법에 관한 것이다.

일반적으로 피측정체의 프로파일은 많은 산업 분야에 있어서 유용한 정보를 제공하며, 그 후공정의 조업에 영향을 미치는 변수이므로 철저한 관리가 필요한 데이터이다. 따라서 프로파일 측정에 다양한 기법들이 개발되어 왔다. 특히 광폭, 즉 횡으로 넓게 퍼지면서 종으로 낮게 배치된 피측정체에 대한 프로파일 측정에는 많은 어려움이 있어 왔다.

종래에는 이러한 광폭 프로파일을 측정함에 있어서, 레이저와 CCD카메라를 사용하여 피측정체에 직선상의 줄무늬 레이저 빔을 조사하고, CCD 카메라로 이 줄무늬의 영상을 포착하여, 높이 등의 치수를 측정하였는데, 광폭에 대하여 측정을 수행할 경우에는 역시 광폭의 영상을 취득하여야 한다는 점 때문에 높이 프로파일의 분해능이 상대적으로 낮아질 수 밖에 없었다.

종래에 일반적으로 생산 현장에서 온라인 제품검사나 형상측정 등의 용도로 레이저와 카메라를 사용하여 형상을 측정하거나 높이 프로파일을 측정하는 장치의 구성은 직선상의 줄무늬 레이저 빔을 생성시켜서 피 측정체에 조사시키는 빔 조사장치와, 피측정체 표면에서 산란되는 선 모양의 줄무늬 레이저 빔 파장대를 취하기 위한 광학필터와, 상기 광학필터를 투과하는 영상을 획득하는 CCD카메라와, 상기 카메라에서 획득한 영상을 메모리에 저장하고, 획득된 선의 모양을 구성하는 데이터의 중심 픽셀들을 찾아서 3차원 정보를 추출하는 영상신호 처리보드, 및 영상처리 프로그램을 운영하는 컴퓨터로 구성된다.

그런데, 상술한 바와 같이 동작하는 종래 시스템, 즉 선 모양의 줄무늬 빔을 이용한 형상측정 장치에 관한 종래의 특허로 제안된 선행기술이 많은데, 그 기술들에 대하여 간략히 살펴보면 다음과 같다.

대한민국 등록번호 1002366749999: 피측정체로부터 산란되어 카메라의 센서에 맺히는 레이저 빔의 전달경로 상에 위치하며, 영상이 원통형 렌즈의 길이방향으로 확대되지 않고, 영상이 원통형 렌즈의 폭방향으로는 확대되도록, 소정 개수의 볼록 원통형 렌즈와 오목 원통형 렌즈로 이루어진, 방향성 영상 확대 광학 렌즈계가 구비되는 비(非)구대칭 광학계를 사용한 레이저 형상측정 장치.

대한민국 공고번호 제95-9356호: 하나 혹은 여러 개의 선 모양의 줄무늬 빔을 피측정체에 투사하여, 픽셀 단위의 해상도로 영상을 획득하여, 피측정체의 형상을 측정.

대한민국 공고번호 제92-10548호: 모터를 사용하여 연속적으로 슬릿광을 주사하여, 픽셀 해상도로 물체의 형상을 측정.

대한민국 공고번호 제94-3917호 및 제94-4917호: 일반적인 슬릿광 직선 주사형의 형상 측정에서 발생하는 일그러짐을 보정.

미국특허 5,129,010: 하나의 슬릿광 줄무늬를 이용하여 형상을 측정.

미국특허 4,653,104: 레이저 줄무늬를 코드화시켜, 피측정체에 주사한 후, 영상을 측정.

미국특허 5,193,120 및 5,589,942: 여러 개의 선 모양의 줄무늬 레이저 빔을 사용하고, 하나 혹은 두개의 CCD카메라를 사용하여, 픽셀 단위의 분해능으로 형상을 측정.

미국특허 4,705,401: 2개 혹은 그 이상의 줄무늬를 사용하여, 픽셀 해상도로 정밀한 형상을 측정하는 방식 제안.

그런데, 이러한 종래의 구성을 가지는 상술한 바와 같은 선행기술은 레이저와 카메라를 사용하여 형상 검출장치를 구성함에 있어서, 삼각측정 방법을 활용하는 것에 관한 것들이다. 즉, 이는 하나의 직선상 줄무늬 레이저 빔을 피측정체의 표면에 주사하고, 주사된 레이저 빔을 광축과 비스듬한 각도에서 촬상하면, 영상의 형태는 그 위치에서의 물체 높이에 의해 피측정체 기준면의 수직방향으로 변형되므로, 이 변형된 선의 모양을 CCD카메라로 획득하여, 기준면을 나타내는 기준선과의 차이를 계산하여 3차원 형상정보를 추출한다는 것이다.

그런데, 물체의 형상 정보의 해상도는 CCD카메라의 한 픽셀에 대응하는 물체의 높이에 의해 결정된다. 따라서 카메라의 영상 배율이 크면 한 픽셀에 대응하는 물체의 높이가 작아지게 되고, 측정 해상도는 향상되는 것이며, 반대로 이렇게 영상 배율이 크면 얼마나 큰 물체를 측정할 수 있는가 하는 측정 범위는 작아지게 된다.

따라서, 종래에는 현재 측정하고자 하는 물체의 크기, 즉 측정 범위가 이미 정해져 있을 때에는 측정 해상도를 높이는 방법으로 보간 함수를 사용하여 소프트웨어적으로 데이터를 처리함으로써 픽셀 단위보다 정밀한 해상도를 갖도록 하는 방법이 주로 사용되고 있다.

그러나 이러한 소프트웨어적인 처리 방식에 따른 보간 함수를 사용한 확대 영상은 확대 과정에서의 시간 소요가 지나치게 많고, 영상이 확대되면서 주변 부분이 퍼지는 현상이 발생하여, 각 영상의 열에 대한 중심선 추출 결과에서 오차를 유발하는 단점이 있으며, 이에 반해 하드웨어적인 처리 방식도 제안되었으나, 이 방식에서는 해상도와 측정 범위의 반비례성에 따라, 산업현장에서 실용화하는데 한계성을 나타낸다는 문제점이 발생되었다.

또한, 이러한 문제점을 해결하기 위하여 비(非)구대칭 광학계인 원통형 렌즈를 사용함으로써, 줄무늬 레이저 빔의 수직방향으로는 높은 배율의 영상을, 수평방향으로는 낮은 배율의 영상을 정확히 얻음으로써, 측정 범위를 줄이지 않으면서도 원하는 방향으로 향상된 해상도를 갖도록 하는 레이저 형상측정 장치를 구성하는 방법도 제안되어 있다.

그러나, 이러한 비(非)구대칭 광학계를 사용하면, 결국 수평방향으로는 낮은 배율을 사용함으로 인하여 해상도의 손실을 가져오고, 수직방향으로는 높은 배율을 사용함으로 인하여 해상도의 증대를 가져온다는 양면성이 있다는 문제점이 있다. 또한, 산업 현장에서 활용할 수 있는 비(非)구대칭 광학계를 구성할 때에는 무시할 수 없는 비용적인 문제를 감수하여야 한다는 문제점도 있었다.

본 발명은 상기의 문제점을 해소하기 위하여 안출된 것으로서, 줄무늬 레이저 빔과 다수의 CCD카메라를 사용하여 시스템을 구축하고, 광폭의 피측정체에 줄무늬 레이저 빔을 조사하여, 그것의 영상으로부터 형상, 높이 등의 정보를 추출할 때에 신경망회로를 이용하여 합성함으로써 비(非)구대칭 광학계를 구성할 때 나타나는 수평 방향과 수직 방향으로의 해상도의 불균일성을 해소함으로써, 균일한 해상도를 갖도록 하는 다수의 카메라를 사용한 프로파일 측정 장치 및 그 방법에 관한 것이다.

도 1은 레이저와 다수의 CCD카메라를 이용하여 높이 프로파일, 형상 등을 추출하기 위한 시스템의 구성도,

도 2는 CCD카메라의 캘리브레이션을 위한 프레임의 형태,

도 3은 하나의 카메라에서 캘리브레이션 프레임을 촬상한 영상의 예시,

도 4는 신경회로망을 이용하여 캘리브레이션을 수행한 후 영상의 예시,

도 5는 캘리브레이션에 사용되는 신경회로망의 학습방법을 나타내는 순서도,

도 6은 다수의 카메라를 사용하여 추출한 높이 프로파일의 예시이다.

< 도면의 주요부분에 대한 부호의 설명 >

1: 지지대 2: 적외선 줄무늬 레이저

3: 에어리어 스캔 CCD 카메라 4: 모니터

5: 영상 획득기 6: 계산기

상기와 같은 기술적 과제를 달성하기 위하여 본 발명의 장치는

레이저(2)와 CCD카메라(3)를 사용하여 광폭의 피측정체에 대하여 높이 프로파일을 측정하는 시스템에 있어서,

광폭의 피측정체의 직상부에 설치되어 피측정체의 전폭에 대하여 하향으로 직선상의 줄무늬 패턴을 조사할 수 있는 줄무늬 레이저 빔 조사장치(2)와;

상기 피측정체를 일부 중첩하면서 촬상할 수 있도록 피측정체의 일정 거리 전방에 설치되는 다수의 CCD카메라(3)와;

상기 각 CCD카메라(3)의 선단에 설치되어 상기 줄무늬 레이저 빔의 파장대만 통과시키는 광학 밴드패스필터와;

상기 각 CCD카메라(3)에 연결되어 영상을 획득하는 영상 획득기(5)와;

상기 획득된 영상을 처리하여 연속된 평면 영상을 합성하고, 이로부터 프로파일 정보를 계산하는 계산기(6)와;

상기 획득된 영상, 합성된 영상 및 프로파일 그래프를 표시하는 모니터(4)를 포함하여 구성됨을 특징으로 하는 다수의 카메라를 사용한 광폭의 프로파일 측정장치이다.

한편, 본 발명의 방법은

등간격으로 배치된 다수의 가로선 및 세로선으로 구획된 프레임을 피측정체 위치에 세워서 설치한 후 다수의 CCD카메라(3)에 의하여 상기 프레임의 영상을 촬상하는 단계와;

상기 각 CCD카메라(3)의 영상 데이터에서의 각 가로선과 세로선의 교점들의 좌표를 입력영상 좌표점으로 정의하는 단계와;

이상적으로 상기 프레임이 전체로서 평면으로 촬상되었을 경우에 상기 각 교점들이 있어야 할 이상적인 목표 좌표를 출력영상 좌표점으로 정의하는 단계와;

신경회로망에 상기 입력영상 좌표들과 및 출력영상 좌표들을 입력하여 학습시킴으로써 각 CCD카메라(3)의 영상에 대한 보정에 필요한 과정을 획득하여 저장하는 단계와;

피측정체에 줄무늬 레이저 빔(2)을 조사하여 각 CCD카메라(3)에서 촬상하는 단계와;

상기 촬상된 영상을 구성하는 줄무늬에 대하여 가로방향 전역에 대하여 세로방향의 중심픽셀들의 좌표를 구하는 단계와;

상기 각 중심픽셀의 좌표들을 신경회로망의 입력 노드에 인가함으로써 출력 노드에 나타나는 정보에 의하여 높이 프로파일 정보로 획득하는 단계로 구성됨을 특징으로 하는 다수의 카메라(3)를 사용한 광폭의 프로파일 측정방법이다.

이하, 상기와 같은 구성을 가지는 본 발명을 첨부된 도면을 참조하면서 보다상세히 설명한다.

본 발명은 줄무늬 레이저 빔(2)과 다수의 CCD카메라(3)를 사용하여 광폭의 피측정체에 대하여 높이, 형상 등의 치수의 프로파일을 완전 평면화하여 측정할 수 있는 장치 및 방법이다.

먼저 본 발명의 측정장치는 도 1에 도시된 바와 같이 측정하고자 하는 대상체의 직상방에 줄무늬 패턴을 발생할 수 있는 줄무늬 레이저 빔 발생장치(2)를 설치하고, 이것과 대략 직각의 방향에 줄무늬 레이저 빔(2)의 파장대만 통과시키는 광학 밴드패스 필터를 선단부에 구비한 다수개의 CCD카메라(3)를 설치한 구성이다.

여기서 상기 줄무늬 레이저 빔(2)의 파장은 가시광의 영역을 다소 벗어난 적외선 영역의 파장대를 사용함이 바람직하고, 줄무늬의 패턴은 측정하고자 하는 대상체의 전폭에 대하여 발생하여야 한다.

그리고 상기 CCD카메라(3)는 줄무늬 레이저 빔(2)과 대략 직각의 방향에 설치되며, 상기 피측정체에 비춰진 줄무늬 레이저 빔(2)의 줄무늬를 전체적으로 촬상할 수 있도록 위치가 결정된다. 그리고 상기 각각의 CCD카메라(3)의 설치 각도는 서로간에 좌우측으로 일정 양을 중첩시켜서 촬영함으로써 대상체 전체가 완전히 빠짐없이 카메라에 촬상될 수 있도록 한다.

그리고, 상기 각 CCD카메라(3)의 출력부에 연결되어 영상 데이터를 입력받아서 영상처리를 하기 위한 영상 획득기(5)는 영상 획득을 위한 신호처리부도 포함하여 구성된다. 상기 영상 획득기(5)로서는 CCD카메라(3)의 종류에 따라 적절한 형태의 것을 취하여야 하는데, 예컨대 아나로그 신호 출력의 CCD카메라(3)인 경우에는아나로그 신호를 디지털 신호로 변환하는 A/D 변환기가 필요하며, 디지털 신호 출력의 CCD카메라(3)인 경우에는 출력신호에 적합한 인터페이스가 필요하다.

상기 영상 획득기(5)는 영상의 신호를 디지털 형태의 저장매체 즉, 계산기(6)의 메모리에 저장하는 기능을 가지며, 일단 계산기(6)의 메모리에 저장이 되면 계산기의 계산능력을 활용하여 측정기능을 수행한다.

한편, 본 발명의 측정방법은 상기와 같은 측정장치를 이용하여 얻은 프레임 영상에 의하여 먼저 캘리브레이션을 한 후, 각 CCD카메라(3)의 취득 영상을 합성하여 하나의 평면 영상 또는 프로파일 그래프까지 만드는 방법이다.

상기 캘리브레이션을 위한 단계를 위하여 외곽이 'ㅁ'자 형태인 프레임이 필요하다. 이 프레임은 그 내부에 수평 방향과 수직 방향으로 일정한 간격으로 배치된 수평선과 수직선을 가진다. 이러한 프레임의 예를 도 2에 도시하였다.

이 프레임을 이용한 캘리브레이션의 과정은 다음과 같다.

우선 캘리브레이션용 프레임을 다수의 CCD카메라(3)에서 촬상할 수 있도록 측정할 대상체 위치에 설치하고, 그 영상을 촬상한다. 이렇게 촬상된 영상에서는 CCD카메라(3)의 위치와 각도 등의 차이로 인하여 수평선과 수직선이 균일하게 나타나지 않는다. 또 심한 경우에는 직선의 형태에서 많이 벗어난다. 이렇게 하나의 CCD카메라(3)에 의하여 취득된 영상의 예를 도 3에 도시하였다.

이처럼 비선형적인 영상을 캘리브레이션하기 위하여 본 발명에서는 신경회로망을 이용하고 있는데, 입력영상 좌표점과 출력영상 좌표점을 기술하여 신경회로망을 학습시키는 것이다. 여기서 입력영상 좌표점은 캘리브레이션용 프레임의 내부를형성하는 수평선과 수직선의 교점들을 추출하여 정의하고, 출력영상 좌표점은 상기 입력영상 좌표점에 대응하여 이상적으로 균일한 간격을 가지도록 좌표점으로 정의한다. 이러한 신경회로망의 학습 순서도를 도 5에 도시하였다.

상기 입력영상 좌표점과 출력영상 좌표점을 이용하여 신경회로망을 학습시켜서 신경회로망의 각 노드간의 연결강도를 학습하는 과정을 거쳐서 미리 설정된 에러율 범위 내에 드는 결과가 되면 이제 현재의 각 CCD카메라(3)의 배치 상태에 대하여 신경회로망이 구축된 것이다. 이로써 캘리브레이션 과정은 완료되며, 이렇게 완료된 경우의 합성 영상의 예를 도 4에 도시하였다.

이렇게 캘리브레이션이 완료되면 학습을 통하여 구한 신경회로망을 이용하여 측정의 단계를 수행하는 과정이 개시된다.

즉, 이 과정은 피측정체에 줄무늬 레이저 빔(2)을 조사하면서 각 CCD카메라(3)에서 촬상한 영상에 대하여 세로축 중심점 좌표들을 구하는 단계를 거쳐, 이들 좌표들을 캘리브레이션 과정에서 학습한 신경회로망의 입력 노드에 인가하여 출력 노드에 나타나는 값에 의하여 높이 등의 프로파일을 획득하는 단계로 구성된다. 이러한 프로파일의 예로서 도 6에 도시된 그래프와 같은 형태가 출력될 수 있다.

이상과 같이 본 발명은 상기의 실시예에 의하여 설명하였으나, 본 발명의 기술적 사상은 이에 한정되는 것이 아니며, 본 발명의 동일성 내지 균등성의 범위 내에서 여러가지 변형이 가능함은 당연하다.

상기와 같은 구성을 가지는 본 발명에 의하면, 줄무늬 레이저 빔과 CCD카메라를 이용하여 높이 등의 프로파일을 측정할 때에 카메라의 왜곡 현상을 고려하여 보정하고, 각 영상 좌표점에 대하여 측정 오차까지 실시간으로 구할 수 있으며, 카메라 배치가 변화되더라도 신속하고 간단한 캘리브레이션 과정을 거침으로써 피측정체의 정확한 측정을 할 수 있도록 하였다. 또한, 비(非)구대칭 렌즈를 사용하지 않고도 정밀도 좋게 높이 프로파일, 형상 등의 정보를 측정할 수 있으므로 많은 예산이 소요되는 비(非)구대칭 렌즈를 제작하지 않고도 이에 준하는 분해능을 구현할 수 있으며, 수평 방향으로의 분해능도 높게 유지할 수 있는 매우 획기적인 효과가 있다.

Claims (2)

1. 레이저(2)와 CCD카메라(3)를 사용하여 광폭의 피측정체에 대하여 높이 프로파일을 측정하는 시스템에 있어서,

   광폭의 피측정체의 직상부에 설치되어 피측정체의 전폭에 대하여 하향으로 직선상의 줄무늬 패턴을 조사할 수 있는 줄무늬 레이저 빔 조사장치(2)와;

   상기 피측정체를 일부 중첩하면서 촬상할 수 있도록 피측정체의 일정 거리 전방에 설치되는 다수의 CCD카메라(3)와;

   상기 각 CCD카메라(3)의 선단에 설치되어 상기 줄무늬 레이저 빔의 파장대만 통과시키는 광학 밴드패스필터와;

   상기 각 CCD카메라(3)에 연결되어 영상을 획득하는 영상 획득기(5)와;

   상기 획득된 영상을 처리하여 연속된 평면 영상을 합성하고, 이로부터 프로파일 정보를 계산하는 계산기(6)와;

   상기 획득된 영상, 합성된 영상 및 프로파일 그래프를 표시하는 모니터(4)를 포함하여 구성됨을 특징으로 하는 다수의 카메라를 사용한 광폭의 프로파일 측정장치.
2. 등간격으로 배치된 다수의 가로선 및 세로선으로 구획된 프레임을 피측정체 위치에 세워서 설치한 후 다수의 CCD카메라(3)에 의하여 상기 프레임의 영상을 촬상하는 단계와;

   상기 각 CCD카메라(3)의 영상 데이터에서의 각 가로선과 세로선의 교점들의좌표를 입력영상 좌표점으로 정의하는 단계와;

   이상적으로 상기 프레임이 전체로서 평면으로 촬상되었을 경우에 상기 각 교점들이 있어야 할 이상적인 목표 좌표를 출력영상 좌표점으로 정의하는 단계와;

   신경회로망에 상기 입력영상 좌표들과 및 출력영상 좌표들을 입력하여 학습시킴으로써 각 CCD카메라(3)의 영상에 대한 보정에 필요한 과정을 획득하여 저장하는 단계와;

   피측정체에 줄무늬 레이저 빔(2)을 조사하여 각 CCD카메라(3)에서 촬상하는 단계와;

   상기 촬상된 영상을 구성하는 줄무늬에 대하여 가로방향 전역에 대하여 세로방향의 중심픽셀들의 좌표를 구하는 단계와;

   상기 각 중심픽셀의 좌표들을 신경회로망의 입력 노드에 인가함으로써 출력 노드에 나타나는 정보에 의하여 높이 프로파일 정보로 획득하는 단계로 구성됨을 특징으로 하는 다수의 카메라(3)를 사용한 광폭의 프로파일 측정방법.