KR19990057542A

KR19990057542A - Ccd카메라의 이미지 포커스 방법에 있어서 곡면윈도우를 사용한 삼차원형상의 측정방법

Info

Publication number: KR19990057542A
Application number: KR1019970077597A
Authority: KR
Inventors: 최태선
Original assignee: 김효근; 광주과학기술원
Priority date: 1997-12-30
Filing date: 1997-12-30
Publication date: 1999-07-15
Also published as: KR100269512B1

Abstract

물체의 3차원적인 영상정보를 복원하는 방법에 있어서 기존의 SFF(Shape from Focus)방법은 카메라의 광학축에 수직인 단순한 평면상의 윈도우에서 초점측정치가 최대가 되는 점을 찾아내어 영상정보를 복원하는 것이다.

본 발명은 물체의 표면이 굴곡면을 이루고 있을 때 초점거리가 맞지 않는 점들의 영상이 흐리게 되는 것을 최소화 하기 위하여 FIS(Focused Image Surface) 개념에 기초한 곡면형윈도우를 구성하여 보다 실물의 형태에 근사한 영상정보를 복원하는 방법을 제공하기 위한 것이다.

CCD카메라의 윈도우 상에 규칙적으로 배열된 수개의 점들을 정하고 각 점들에서 대응하는 물체의 점에 해당하는 거리를 감지하여 FIS에 근사한 영상을 얻을 수 있는 곡면윈도우를 이루도록 함을 특징으로 한다.

이러한 방법에 의하여 정밀하게 측정된 물체의 각 부분의 영상정보를 바탕으로 물체의 모양을 실물에 가깝게 복원할 수 있다.

Description

CCD 카메라의 이미지 포커스 방법에 있어서 곡면윈도우를 사용한 삼차 원형상의 측정방법

본 발명은 CCD카메라에 있어서 실물표면의 초점거리를 측정하는 방법에 관한 것으로서, 보다 정밀도가 높은 삼차원의 정보를 얻고자 하는데 목적을 두고 있다.

물체의 3차원적인 정보를 복원하는 일은 그 정보의 일련된 이용에 있어서 매우 중요한 문제이다. 물체의 3차원적인 정보를 구하기 위한 지금까지는 SFF(Shape from focus) 방법에 의하여 영상의 초점에 맞는 렌즈의 위치를 찾아내어 렌즈공식에 의하여 초점이 맞는 부분의 거리를 구하고 있다.

이 방법은 초점이 맞았는지의 정도를 계산하기 위하여 카메라의 광학축(Optical axis)에 수직인 단순한 평면에서 초점 측정치(Focus measure)가 최대가 되는 위치를 찾아내어 물체의 삼차원적 형상이나 거리를 측정하는 것이다.

종래의 이러한 방법은 카메라의 광학축에 수직인 단순한 평면을 사용하기 때문에 실제 FIS(Focused Image Surface)와 상당한 오차가 생기게 된다. FIS는 카메라 렌즈에 의하여 초점이 맞게 된 물체의 점들의 집합으로 이루어진 공간상의 면이다.

도 1은 SFF 방법에 의하여 영상이 형성되는 원리를 설명하는 예시도로서 FIS(Focused Image Surface)와 ID(Image Detector)의 불일치로 인하여 영상이 흐려지는 범위를 보여주고 있다.

도 1에서 P가 카메라로부터 U의 거리에 위치한 광원이면 P의 초점이 맞는 영상(Foucused Image) P'는 렌즈로부터 V만큼의 위치에서 구해진다. 초점이 맞는 영상의 광도는 물체의 광도에 비례하고 물체의 거리는 초점이 맞는 영상의 위치와 다음과 같은 관계를 갖는다.

여기서 f는 초점거리, u는 렌즈평면에서 물체까지의 거리, v는 초점이 맞는 영상까지의 거리이다. 즉, 렌즈공식으로부터 초점이 맞는 영상의 광도와 위치가 주어지면 물체의 광도와 위치는 결정되고 물체의 3차원적인 정보가 얻어진다.

그러나 광학시스템의 특성과 영상탐지기(Image Detector)인 쎈서의 특성으로 인하여 초점이 맞는 영상의 정확한 위치를 알아내는 일은 용이하지 않다. 영상탐지기에 의하여 얻어진 영상은 초점이 맞는 영상과는 매우 다르다. 일반적으로 컴퓨터 비전에서는 영상탐지기의 형태가 평면이다. 따라서 곡면인 물체는 영상의 일부만 초점이 맞게되고 나머지 부분은 흐려지게 된다.

렌즈의 위치를 한 방향으로 이동시키면서 물체의 형태에 따라 부분적으로 초점이 맞거나 맞지 않게 나타나는 영상의 공간에는 초점이 맞는 점(화소)들로 이루어진 실제의 형태와 같은 FIS(Focus Image Surface)가 존재한다. 초점이 맞는 점들로 이루어진 FIS를 구하기 위한 문제는 초점이 맞았는지 안 맞았는지의 정도를 측정하는 일(Focus Measure)의 문제로 귀결한다.

초점이 맞지 않은 흐려진 영상의 특성을 주파수영역에서의 저역통과 필터(Low pass filter)처리를 행한 것과 같은 것으로 생각할 때 초점정도의 측정(Focus Measure)에 대한 여러 가지 방법들이 제시될 수 있다.

M. Subbarao, T. Choi and A. Nikzad, "Focusing Techniques" Optical Engineering 32(11), pp. 2824-2396, NOV. 1993 및 A. Pentland, "A New Sense for Depth of Field" IEEE Trans. On Pattern Analysis and Machine Intellingence, Vol.9, No4, pp523-531, 1987에서는 FIS를 고려하지 않고 정해진 윈도우 안의 각 점들의 초점정도를 구하여 그 합으로써 초점정도의 측정을 대신하였다. 그러나 본 발명의 개념은 한 영상이 아닌 이웃하는 영상들까지 포함한 FIS의 형태에 가까운 윈도우를 형성하여 그 윈도우상에서 각 점들의 초점 정도의 합을 구하여 최대가 되는 위치를 찾아 FIS의 형태를 결정하는 방식을 취하게 된다.

도 1은 기존의 SFF(Surface from focus)방법에 의하여 영상이 형성되는 원리를 설명하는 예시도

도 2는 실물표면에 근사한 형태의 윈도우를 만들기 위한 9개의 가상점을 나타낸 예시도

도 3은 K-JIST 액티브 카메라의 시스템 구성도

도 4(가)는 시뮬레이션 콘 이미지에 기존의 윈도우를 사용하였을 때 나타나는 영상의 예시도

(나)는 시뮬레이션 콘 이미지에 본 발명의 윈도우를 사용하였을 때 나타나는 영상의 예시도

도 5는 각 렌즈스텝에서의 시뮬레이션 콘 영상을 나타낸 도면

*도면의 주요부분에 대한 부호의 설명

1 : 피사체(물체)2 : FIS

3 : 이미지 디텍터4윈도우

P : 피사체의 1점P' : 초점

P" : 희미한 범위(blur circle)L : 렌즈

대부분의 물체는 곡면을 포함하고 경우에 따라서는 심한 굴곡을 이루고 있으므로 이를 단순한 평면윈도우로 처리하면 그만큼의 오차를 내포하게 된다. 따라서 본 발명은 초점정도의 측정에 있어서 종래의 방법과 달리 실제 물체의 형태와 근사한 곡면윈도우(Curved Window)를 구성하여 곡면인 FIS를 구하고자 하는 것이다.

본 발명에서 말하는 곡면윈도우(Curved Window)는 물체상의 곡면을 의미하는 것이 아니고 윈도우에서 영상정보를 곡면으로 인식하고 처리하는 소프트웨어적 개념의 윈도우이다.

곡면 윈도우를 구성하기 위해서 도 2와 같이 윈도우 상에 9개의 점들을 상정한다. 이들 9개의 점들을 포함하는 곡면을 구성하기 위해서 라그랑제 폴리노미알(Lagrange Polynomial)방법을 사용할 수 있다. 이 방법을 사용한 알고리즘은 다음과 같다.

T-1

곡면 윈도우를 이용하는 방법은 일정위치(x,y)에서의 초점이 맞는 위치를 구하기 위하여 단순히 동일 영상에서 윈도우를 구하여 초점정도(Focus Measure)가 최대가 되는 위치를 구한 기존의 방법에 의한 결과를 초기지표로 삼고 그 값을 위의 알고리즘에 해당하는 f_jk(여기서 j,k=0,1,2)의 초기치로 하고 각각의 f_jk값을 조금씩 변화시켜 만들어진 곡면위의 라플라시안(Laplacian) 값들의 합이 최대가 되는 곳의 지표를 구한다. 이것이 최종적인 지표가 되며 이 지표에 해당하는 거리를 구하여 물체의 형태를 복원하게 된다.

여기서 예시한 곡면윈도우의 산출방법은 한가지 예시에 해당하며 본 발명은 곡면윈도우를 구하는 모든 방법을 포함한다.

계산상으로 만들어낸 콘(Corn) 모양의 물체에 대하여 렌즈스텝이 변화함에 따라 만들어진 96개의 시뮬레이션영상과 K-JIST 액티브 카메라 시스템(Active Camera System)을 사용하여 렌즈스텝을 일정한 간격으로 변화시켜 얻어낸 실제의 콘 물체의 영상에 대하여 실험을 하였다.

도 3은 CCD카메라를 통하여 들어오는 영상신호를 영상보드를 통하여 얻어 메모리에 저장시키며 CCD카메라의 렌즈위치를 PC를 이용하여 제어할 수 있도록 구성되어 있다. 이를 이용하여 실제 콘 물체의 영상 96개를 각 렌즈스텝에 따라 구하였다.

이 실험에서는 실험물체 표면의 에지(edge) 정보는 충분한가, 카메라 렌즈의 허용오차 범위(Depth of Field)는 충분히 적은가, 렌즈스텝의 간격은 어느정도로 설정해야 하는가를 고려해야 한다. 초점정도의 측정은 에지부분에서 나타나는 경계치의 미분값 측정에 의하여 가능하기 때문에 기본적으로 에지기반방법이며 에지가 충분하지 않으면 정확한 결과를 구할 수 없다.

시뮬레이션 콘 영상은 수치적으로 렌즈공식에 잘 맞도록 만들어진 영상으로서 본 발명의 곡면윈도우를 이용하는 방법을 적용하는 것이 타당한가를 확인할 수 있는 방법으로 사용하였다.

도 4의 (가)와 (나)에서 대비되듯이 기존방법인 카메라의 광학축에 수직인 평면윈도우를 사용하는 것보다 본 발명의 곡면윈도우를 사용하는 경우가 본래의 콘 모양과 가까운 영상을 얻을 수 있음을 육안으로 쉽게 확인할 수 있다.

본 발명은 윈도우상에 있는 수개의 점에서 불규칙한 표면으로 이루어진 물체의 영상정보를 곡면으로 인지함으로써 단순한 평면윈도우에서 보다 더욱 실물에 가까운 정확한 영상정보를 얻을 수 있다.

Claims

CCD카메라의 영상 윈도우상에 규칙적으로 배열된 수개의 점들(f₀, f₁, f₂, f₁₀, f₁₁, f₁₂, f₂₀, f₂₁, f₂₂, ...)을 정하고 각 점들이 FIS(Focused Image Surface)에 근사한 곡면형 윈도우를 이루도록 함을 특징으로 하는 CCD카메라의 이미지 포커스 방법에 있어서 곡면윈도우를 사용한 삼차원 형상의 측정방법.