KR100932560B1 - 3차원 시차 영상 획득 시스템 - Google Patents

3차원 시차 영상 획득 시스템 Download PDF

Info

Publication number
KR100932560B1
KR100932560B1 KR1020080014977A KR20080014977A KR100932560B1 KR 100932560 B1 KR100932560 B1 KR 100932560B1 KR 1020080014977 A KR1020080014977 A KR 1020080014977A KR 20080014977 A KR20080014977 A KR 20080014977A KR 100932560 B1 KR100932560 B1 KR 100932560B1
Authority
KR
South Korea
Prior art keywords
parallax image
parallax
array
image acquisition
diffraction grating
Prior art date
Application number
KR1020080014977A
Other languages
English (en)
Other versions
KR20090072907A (ko
Inventor
신승호
서장일
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Publication of KR20090072907A publication Critical patent/KR20090072907A/ko
Application granted granted Critical
Publication of KR100932560B1 publication Critical patent/KR100932560B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3차원 시차 영상 획득 시스템이 제공된다. 본 발명의 일 실시예에 따른 3차원 시차 영상 획득 시스템은, 단색광이 조명된 물체와 2차원 영상 획득 장치 사이에 회절격자를 두어 시차영상 배열을 획득 하는 것을 특징으로 할 수 있다.
또한, 본 발명의 다른 실시예에 따른 3차원 시차 영상 획득 시스템은, 2차원 영상 획득 장치 및 회절격자를 구비하는 3차원 시차 영상 획득 시스템에 있어서, 상기 회절격자는 상기 2차원 영상 획득 장치 내의 결상렌즈와 영상센서 사이에 위치되는 것을 특징으로 할 수 있다.
3차원, 영상, 파장 변조, 격자, 시차 영상 배열, 렌즈 배열, 핀홀 배열

Description

3차원 시차 영상 획득 시스템{System for acquiring 3D image}
본 발명은 3차원 시차 영상 획득 시스템에 관한 것으로써, 더욱 상세하게는, 단색광이 조명된 물체와 2차원 영상 획득 장치 사이에 회절격자를 두어 시차영상 배열을 획득하도록 하거나, 또는, 2차원 영상 획득 장치 및 회절격자를 구비하는 3차원 시차 영상 획득 시스템에 있어서, 회절격자가 상기 2차원 영상 획득 장치 내의 결상렌즈와 영상센서 사이에 위치되도록 하는 3차원 시차 영상 획득 시스템 및 그 방법에 관한 것이다.
본 발명의 명세서에서 사용되는 3차원 영상 구현 관련 기술 용어는 다음과 같은 의미들로 사용되는 것으로 한다.
(1) 공간시차 생성(spatial parallax generation) 방식
-　공간시차 생성 방식은 렌티큘라(lenticular), 렌즈 어레이(lens array), 패럴랙스 배리어(parallax barrier), 무빙슬릿(moving slit), 프리즘 어레이(prism array) 등을 통하여 공간적으로 시차를 생성시켜 3차원 영상을 구현하는 방식으로 정의한다.
-　공간시차 생성 방식이 포함하는 기존의 방식들은 렌티큘라 방식, 패럴랙스 배리어 방식, 무빙슬릿 방식, 프리즘 어레이 방식, 집적결상법 등으로 한다.
- 공간시차 생성 시스템은 2차원적으로 배열된 영상 또는 픽셀그룹과 이를 바탕으로 하여 공간적으로 시차를 생성시키는 광학계로 구성되는데, 여기서 편의상 2차원적으로 배열된 영상 또는 픽셀그룹을 시차영상 배열(parallax image array)이라 하고, 개별적 영상을 기본 시차영상(elemental parallax image)이라 한다. 공간적으로 시차를 생성시키는 광학계, 렌티큘라, 패럴랙스 배리어, 무빙슬릿, 프리즘 어레이, 렌즈 어레이 등을 공간시차 분할기(spatial parallax separator)로 하고, 개별적 광학계를 기본 공간시차분할기(elemental spatial parallax separator)로 한다.
(2) 볼륨에트릭(volumetric method) 방식
-　볼륨에트릭 방식은 평면영상에 대한 빠른 공간적 스캔(scan)을 통해 눈의 잔상(after imaging)에 의해 전체 평면영상들이 공간적으로 한꺼번에 관찰되어 체적형태의 3차원적 영상을 구현하는 방식으로 한다.
- 볼륨에트릭 방식이 포함하는 기존의 방식들은 가변초점(variable-focal) 거울 또는 가변초점 렌즈등을 통한 방식, 무빙(moving) 거울 또는 무빙 렌즈를 통한 방식, 무빙 스크린(screen) 또는 회전 스크린 을 통한 방식, LCD 디스플레이 패 널의 적층을 통한 방식 등으로 한다.
도 1은 공간시차 생성 방식의 기본원리를 설명하기 위한 개념도이다.
공간시차 생성 방식은 시차 영상 배열과 공간시차 분할기로 구성된다. 특정 시점 또는 영역에서 관찰될 영상을 시점에 해당하는 영상으로 그 시점에 따라 분리하여 관찰되게 하는 방식이다.
시차 영상 배열에서의 각 기본 시차영상은 둘 이상의 픽셀들로 구성되며, 공간시차 분할기는 기본 시차영상 상의 픽셀의 공간시차 분할기에 대한 상대적 위치에 따라 해당 픽셀의 관찰 가능 각도를 결정한다. 이에 따라 공간시차 분할기와 적절한 색깔 및 밝기 정보를 갖는 픽셀들의 적절한 조합 및 배열(pixel group or elemental image)을 통하여 특정 시점 또는 관찰 영역에서 해당 영상만을 관찰할 수 있게 한다.
여기서 시차영상 배열의 경우, 시차영상 배열이 가질 수 있는 픽셀수의 한계에 따라 기본 시차 영상이 가지는 픽셀 수 또는 구성 방법을 달리할 수 있고, 공간 시차 분할기 또한 다양한 광학계로써 구현이 가능하다.
① 공간시차 분할기의 광학적 구현
- 렌즈 배열을 사용하는 방식
도 2는 공간시차 분할기로 렌즈 배열을 사용하는 방식을 나타낸 설명도이다.
렌즈 배열은 원통형 렌즈의 1차원적 배열인 렌티큘라와 2차원적 배열을 활용 하는 것이 모두 가능하다.
렌티큘라를 사용하고 비교적 적은 수의 시점을 갖는 방식을 렌티큘라 방식이라 하고, 렌티큘라 또는 렌즈의 2차원적 배열을 사용하며 비교적 많은 수의 시점에 의해 거의 연속적 시점을 갖는 방식이 집적결상법에 해당한다.
본 방식의 경우, fill factor와 재생영상의 밝기가 높다는 등의 장점을 갖는 반면, 렌즈가 가질 수 있는 초점거리의 한계에 따라 나타나는 시야각이 좁아지고, 렌즈의 수차 등 렌즈의 성능의 문제로 나타나는 재생영상의 선명도 저하 등의 문제점을 갖고 있다.
도 3은 공간시차 분할기로 패럴랙스 배리어를 사용하는 경우를 나타낸 설명도이다.
패럴랙스 배리어로는 적정한 크기의 슬릿의 1차원적 배열 또는 핀홀의 2차원적 배열이 사용 가능하다.
시점의 수가 비교적 적은 경우를 패럴랙스 배리어 방식이라 하며, 시점의 수가 많아 거의 연속적인 경우를 집적결상법이라 한다.
슬릿의 틈이나 핀홀의 구멍 크기는 시점들 사이의 경계의 명료성과 관련되는데, 이는 다시 관찰 영상의 선명도와도 관련된다. 슬릿의 틈이나 핀홀의 구멍크기가 작아질수록 그 경계는 명료해 지며, 시점의 수가 많을수록 작은 크기를 가져야 한다.
이와 같은 방식은 비교적 제작이 간단하고, 렌즈 배열을 사용하는 방식의 광 학계가 갖는 수차와 같은 복잡한 영상의 저하 요인이 없고, 초점거리 등의 한계가 없어 비교적 시야각의 제한을 덜 받는다는 등의 장점이 있다.
그러나 빛의 차단을 통해 분리하는 방식이라 재생상의 밝기가 어둡고, 특히 많은 시점 수를 가져 좁은 크기의 구멍이나 틈이 요구될 때 밝기에 있어서 큰 문제가 되며, 구멍이나 틈에 의한 회절 효과 때문에 재생영상의 선명도를 크게 떨어뜨릴 수 있다. 뿐만 아니라 슬릿이나 핀홀의 개수가 적을 경우, 낮은 필 팩터(fill factor) 때문에 관찰자로 하여금 혼란스러움을 야기할 수 있다는 등의 문제점이 있다.
- 프리즘 배열을 사용하는 방식
도 4는 공간시차 분할기로써 프리즘 배열을 사용하는 경우를 나타낸 설명도이다.
프리즘 배열 또한 1.2차원적 배열이 모두 가능하다. 이 방식의 경우, 밝기 및 fill factor가 높고 렌즈 배열을 사용하는 방식에 비해 비교적 제작이 간단하다는 등의 장점이 있다.
그러나 시점의 수가 많아질 경우 프리즘의 면의 수가 많아져야 하는데, 충분히 많은 수의 시점을 갖게 될 경우 최종적으로 각 프리즘은 렌즈의 형태가 되고, 다시 렌즈 배열을 사용하는 방식에 해당하게 된다. 그리고 프리즘에 의한 색분산, 내부 반사 등에 의한 여러 문제점들을 갖고 있다.
② 기본영상 획득 및 구성
도 5는 공간시차 생성 방식에서 기본적인 시차 영상 배열 획득 및 구성 방법을 나타낸 설명도이다.
기본 시차 영상 배열 획득 및 구성은 프리즘 배열 등을 통하여 직접 획득하는 것도 가능하지만, 기본적으로 시차를 갖는 여러 지점에서 관찰된 영상을 획득하는 과정과 획득된 여러 영상을 조합하는 영상 혼합 과정으로 이루어진다.
카메라의 영상 획득 방향과 배열 또는 이동의 형태와 영상 혼합 과정은 여러 형태로써 가능한데, 주로 특정 관찰 시점에서 공간 시차 분할기를 통하여 특정 위치의 카메라로 획득한 영상만이 관찰될 수 있도록 이루어진다. 이와 같은 방식은 주로 시차 영상 배열을 표시할 액정 및 CRT 등 기존의 2D 디스플레이 패널의 해상도와 관련하여 비교적 적은 수의 픽셀로 시차영상 배열을 구성할 수 있어, 렌티큘라 방식, 프리즘 어레이 방식 또는 패럴랙스 배리어 방식 등 실용적 개발에 주로 적용되고 있는 방식이다.
그러나 이 같은 방식은 시점이 매우 제한된 수를 가진다. 이에 따라 최근 시점의 수를 늘려가려는 시도가 이루어지고 있다.
연속적 시점을 갖게 하기 위한 방식으로써 도 6과 같이 영상 획득 장치들로부터의 영상들을 혼합하지 않고, 회전 등의 변환 후 바로 배열하여 시차 영상 배열로 활용하는 방식이 있다.
이 같은 방식은 많은 수의 기본 시차영상을 기초로 하기 때문에 2D 디스플레 이 패널의 매우 높은 해상도를 필요로 한다.
도 7은 이러한 방식을 기초로 하는 집적결상법의 기본 원리를 나타낸 설명도이다.
집적결상법은 1908년 Lipmmann에 의해 처음 발명되었는데, 시차 생성의 개념이 아닌 3차원적 결상의 개념으로 이해되어 왔다. 집적결상법은 주로 렌즈 배열이 시차분할기로 사용되는 경우를 대표로 하여 설명된다.
물체로부터 임의의 거리에 렌즈 배열이 위치할 경우, 각 기본 렌즈 후면에 작은 기본영상들이 결상되는데, 이 결상 과정은 각 기본렌즈의 중심을 지나는 광선에 대해서 가역적인 과정이다. 따라서, 결상된 기본영상 배열을 2차원 영상 획득 장치를 통하여 획득한 후 재생시 다시 이 기본영상 배열을 2차원 재생 패널에 표시하고, 기본영상 획득시와 같이 렌즈 배열을 적절한 거리에 위치시킴으로써 원래의 물체와 같이 3차원 영상을 재생하는 것이 가능하다.
최근 이러한 집적결상법에서의 방법에 해당하는 시차영상 배열 획득 및 구성 방법이(방법 2), 렌티큘라 방식 또는 패럴랙스 배리어 방식 등에 적용되어 온 시차영상 배열 획득 및 구성 방법(방법 1)과 본질적으로 같은 방식이라는 사실이 연구된 바 있다.
즉, 방법 1과 방법 2는 기본 시차영상의 픽셀 수와 재생영상의 깊이 차이를 갖는 동일한 방식이다.
따라서, 방법 1에서 적절한 깊이를 목표로 하고 기본 시차영상의 픽셀 수를 충분히 많게 해 주거나, 방법 2에서 방법 1의 재생영상과 같은 깊이의 재생영상을 목표로 하고 기본 시차 영상의 픽셀수를 적게 하였을 때, 픽셀 수를 줄이는 것이 적정 수만큼의 픽셀들을 평균하는 것이 아니라 특정 픽셀들을 샘플링(sampling)하여 픽셀화(pixelize)하는 경우, 동일한 시차영상 배열이 된다.
이해 방식에 있어, 방법 1의 경우 재생영상에 관한 예측이나 재생시스템의 분석이 각 픽셀로부터의 개별적인 광선 추적을 통해 이루어지기 때문에 시점의 수가 많아짐에 따라 매우 복잡해 질 수 있고 개념적 추론이 힘든 반면, 집적결상법은 3차원적 결상을 바탕으로 하여 이해되고 있어 이론적 또는 개념적 추론에 있어 매우 편리하다는 장점이 있다.
도 8은 카메라 배열을 통해 시차영상 배열을 획득하는 방법을 나타내고 있다.
도 8에 도시된 바와 같은 방식에 따른 기술은 주로, 멀티뷰(multi-view) 방식으로 분류되어 있는 패럴랙스 배리어나 렌티큘라 방식을 위한 시차영상 배열 획득 방법으로 많이 사용된다. 이는 집적결상법을 위한 충분한 수의 시차영상들을 얻기 위해서는 매우 많은 수의 카메라가 필요하기 때문이다. 공간시차분할기 뒤에 위치할 시차영상 배열은 각 카메라로부터 얻은 시차영상을 카메라가 배열된 순서 또는 그 반대의 순서로 단순 배열하거나, 각 시차영상들로부터의 픽셀들을 재조합하여 얻을 수 있다. 획득된 영상들의 단순 배열은 일반적으로 집적결상법에서의 시차 영상 배열로 사용되고, 재조합된 영상은 멀티뷰 방식의 시차영상 배열로 사용된다. 집적결상법과 멀티뷰 방식은 근본적으로 같은 방식이라, 엄격한 분류가 불가능하나 일반적으로 상기와 같은 점에서 다른 방식으로 분류되고 있다. 카메라 배열의 형태는 그림과 같이 일자 또는 곡선의 형태로 배열될 수 있으며, 2차원적 배열을 이용하는 경우도 있다. 멀리뷰 방식으로의 활용을 할 경우, 카메라의 개수는 시점의 개수에 해당하며, 카메라들 사이의 간격은 일반적으로 눈 사이의 간격으로 한다. 그리고 이와 유사한 방법으로 직접적으로 카메라를 배열하지 않고, 카메라의 위치를 바꾸어가며 영상을 획득하는 방법도 있다. 이와 같이 카메라 배열 또는 움직이는 카메라를 활용하여 획득하는 방법은 큰 물체에 대한 시차영상 배열 획득에 있어 효과적이다.
도 9는 렌즈 배열을 통한 시차영상 배열의 획득 방법을 나타내고 있다. 본 방법은 주로 집적결상을 위한 시차영상 배열의 획득 방법으로 사용된다. 그러나 획득된 시차영상 배열은 해상도를 조절하거나, 픽셀들을 재조합하여 멀티뷰방식의 시차영상 배열로 사용될 수도 있다. 그림 2의 경우는 직접픽업 방법으로써, 렌즈 배열 뒤에 통해 결상된 시차영상 배열을 카메라로 획득 하는 방법이다. 이 경우, 주로 렌즈 배열 뒤에 큰 구경의 렌즈를 추가적으로 활용한다. 그리고 카메라의 위치는 큰 구경 렌즈의 초점 거리에 위치시키는 것이 대부분이다. 이는 광효율을 높이기 위한 것이다. 여기서 카메라는 그림과 같이 결상렌즈와 픽업 장치로 분해해서 설명되는 경우가 많다. 그림 2와 같이 직접 픽업 방법대신에 렌즈 배열 뒤의 시차 영상이 결상되는 면에 직접적으로 필름 등의 영상 픽업 매질 또는 장치를 두어 픽업하는 필름픽업 방식이 있는데, 초점심도, 픽업과정의 복잡성 등의 문제로 현재는 많이 활용되지 않는 방식이다. 사용되는 렌즈 배열은 볼록렌즈 뿐만 아니라, 오목렌즈 또는 그린렌즈(GRIN lens) 등을 사용함으로써, 집적결상법에서의 도치(pesudoscopic)문제를 해결하는 획득 방법으로 활용되기도 한다. 이와 같이 렌즈 배열을 사용하여 시차영상 배열을 획득 하는 것은 비교적 작은 물체에 대해 많은 개수의 기본영상을 갖는 시차영상 배열을 획득 하는데 있어 매우 효과적이다.
카메라 배열을 사용하여 획득하는 종래의 기술은 큰 물체에 대한 시차영상 배열 획득에 있어 장점을 갖는 반면, 작은 물체에 대해서는 매우 비효율적이거나 그 구성을 위해서는 매우 복잡한 시스템 구성을 필요로 한다. 그리고 많은 개수의 기본영상을 갖는 시차영상 배열을 획득하고자 할 경우, 카메라 배열을 활용하는 것은 그 개수에 해당하는 카메라가 필요하고, 카메라를 움직여 획득하는 것은 매우 많은 시간적 소모가 요구된다. 뿐만 아니라, 여러 대의 카메라로부터의 영상들을 조합하는 과정이 필요로 하기 때문에 다소 복잡한 장치와 프로세스가 필수적이라는 단점을 갖는다.
렌즈배열을 사용하여 획득하는 종래 기술의 경우, 카메라 배열을 사용하는 경우에 비해 작은 물체에 대한 획득이나 많은 수의 기본영상을 필요로 하는 획득에 있어 매우 유리하나, 물체가 작아지고, 기본영상의 개수가 많아질수록, 기본렌즈의 구경 또한 작아지기 때문에 회절효과에 의해 해상도가 매우 낮아진다는 큰 문제점을 갖는다. 뿐만 아니라, 렌즈배열의 제작과정이나, 획득 시 환경적 요소들에 의해 렌즈배열의 부분적인 변형이 일어날 수 있고, 이 경우, 기본렌즈와 영상의 개수가 많은 집적결상법이나 멀티뷰 방식에서는 미세한 변형에 대해서도 매우 큰 재생영상의 왜곡을 야기할 수 있다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로써, 단색광이 조명된 물체와 2차원 영상 획득 장치 사이에 회절격자를 두어 시차영상 배열을 획득하도록 하거나, 또는, 2차원 영상 획득 장치 및 회절격자를 구비하는 3차원 시차 영상 획득 시스템에 있어서, 회절격자가 상기 2차원 영상 획득 장치 내의 결상렌즈와 영상센서 사이에 위치되도록 하는 3차원 시차 영상 획득 시스템을 제공함에 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.
상기와 같은 목적을 달성하기 위한, 본 발명의 실시예에 따른 3차원 시차 영상 획득 시스템은, 단색광이 조명된 물체와 2차원 영상 획득 장치 사이에 회절격자를 두어 시차영상 배열을 획득 하는 것을 특징으로 할 수 있다.
여기서, 상기 영상 획득 장치는 결상렌즈와 영상센서(CCD 또는 필름, CMOS 등)가 조합된 2차원 카메라 시스템인 것이 바람직할 수 있다.
이때, 본 발명의 실시예에 따른 3차원 시차 영상 획득 시스템은 상기 회절격 자 이전 또는 이후에 시차 영상의 획득을 위한 렌즈배열을 더 포함할 수 있으며, 상기의 모든 경우에 있어서 회절격자는 다중 회절격자일 수 있다.
또한, 본 발명의 다른 실시예에 따른 3차원 시차 영상 획득 시스템은, 2차원 영상 획득 장치 및 회절격자를 구비하는 3차원 시차 영상 획득 시스템에 있어서, 상기 회절격자는 상기 2차원 영상 획득 장치 내의 결상렌즈와 영상센서 사이에 위치되는 것을 특징으로 할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 3차원 영상 획득 시스템 및 그 방법에 따르면 다음과 같은 장점들을 제공할 수 있다.
1) 종래 기술의 시차영상 배열을 획득하는 방법과는 달리 본 발명의 3차원 영상 획득 시스템 및 방법은 렌즈 배열 또는 카메라 배열 대신 간단히 회절격자만을 활용하기 때문에 시스템의 구성이 매우 간단하다.
2) 작은 물체에 대한 시차영상 배열 획득에 있어, 결상렌즈 구경에 의한 회절에 따른 광학적 손실을 최소화 할 수 있다.
3) 작은 물체에 대한 시차영상 배열 획득에 있어 복잡한 광학장치를 요구하지 않는다.
4) 특별한 시스템의 변형 없이 조명의 파장 조절만을 통해 간단히 시차영상 배열의 특성을 조절할 수 있다.
5) 본 발명에서 획득되는 시차영상의 수는 회절격자의 격자 간격에 따라 결정된다. 반면에 기본영상의 해상도는 회절격자의 특성과는 무관하기 때문에 종래기술과 같이 많은 수의 시차영상들을 획득함에 따라 해상도 손실 또는 시스템의 복잡성이 수반되지 않는다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있을 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 10은 회절격자를 통한 시차영상 배열 획득 시스템을 나타내고 있다. 도 10과 같이 결상 렌즈와 시차영상 배열이 결사되는 면은 일반적인 카메라 시스템으로 볼 수 있다. 도 10과 같은 변수 설정에 따른 시차영상 배열의 결상면상의 진폭 임펄스 응답은 다음과 같이 표현될 수 있다.
Figure 112008012349023-pat00001
여기서 (x0, z0)는 3차원 물체 공간상의 한 점에 대한 좌표이며, 이때의 좌표 중심은 결상렌즈의 중심이다.
Figure 112008012349023-pat00002
는 격자에 대한 함수이며
Figure 112008012349023-pat00003
는 격자 상의 좌표이다. 그리고 d는 결상렌즈로부터 회절격자까지의 거리이다. 격자의 형태를 빛이 투과할 수 있는 반복적인 영역의 너비가 2a이고, 투과영역 사이의 거리가 2b이며, 투과영역에 대한 함수가 사각함수로 정의될 경우, 도 10의 결상 시스템에 의한 세기 임펄스 응답은 도 11과 같다.
Figure 112008012349023-pat00004
여기서
Figure 112008012349023-pat00005
는 격자에 대한 함수이다. N이 충분한 수를 갖고 a가 충분히 작을 경우, <수학식 2>의
Figure 112008012349023-pat00006
함수는 근사적으로 일정한 1의 값을 갖게 되고,
Figure 112008012349023-pat00007
분수 항이 델타함수(delta function) 배열이 되어 <수학식 1>은 다음과 같이 근사될 수 있다.
Figure 112008012349023-pat00008
여기서 M은 임의의 정수이다. 그리고 도 10에서의 델타함수 사이의 간격
Figure 112008012349023-pat00009
는
Figure 112008012349023-pat00010
이 된다. 그리고 시차영상 배열의 함수는 물체함수와 임펄스 응답의 컨벌루션(convolution)이므로 시차영상 배열은 다음과 같은 함수로 표현될 수 있다.
Figure 112008012349023-pat00011
도 12는 종래기술을 통한 시차영상 배열 획득 과정을 나타내고 있다. 획득 광학 시스템을 렌즈 배열로써 대표적으로 표현하였으나, 각 기본 렌즈는 카메라 배열을 통해 획득 할 경우의 카메라 렌즈에 해당할 수 있다. 물체 상의 한 점에 대한 시차영상 배열의 결상면 상의 결상점들의 분포는 기하학적 관계에 따라 다음과 같이 구할 수 있다.
Figure 112008012349023-pat00012
여기서 n은 0,1,2...의 정수이다. Z0와 X0는 물체점의 광축(Z축) 및 광축에 수직한 방향(X축)에 대한 위치이다. X축의 중심은 렌즈 배열의 위치이다. S0는 시차영상이 결상되는 면의 Z축 방향으로의 위치이다. Xen는 n번째 결상점의 X축 방향의 위치이다. Pi는 i번째와 i-1번째 기본렌즈(또는 카메라 렌즈)들 사이의 거리이다.
이상적인 결상 시스템으로써 다루기 위해 회절에 의한 영향은 무시할 경우, <수학식 5>로부터 3차원 물체함수 f(x0, z0)에 대한 시차영상 배열의 함수는
Figure 112008012349023-pat00013
와 같이 표현할 수 있다. 여기서 Xe는 시차영상 배열면 상의 위치 좌표이다.
따라서 시차영상 배열은
Figure 112008012349023-pat00014
의 간격을 갖는 델타함수 배열과 s0/z0의 비율로 축소변환된 물체 영상의 컨벌루션의 형태라 할 수 있다.
회절격자로부터 얻어지는 시차영상 배열이 종래기술에 의한 시차영상 배열에 해당하기 위해서는 <수학식 4>와 <수학식 6>이 서로 대응해야한다. <수학식 2>에서의
Figure 112008012349023-pat00015
는 <수학식 4>에서의 f'(x0, z0)에 대응시킬 수 있다. <수학식 6>에서의 물체함수는 x축 방향으로 s0/z0의 비율로 축소된 물체 정보에 해당하는데, 이는 시차영상 배열에서 각 기본시차영상이 그 비율로 축소된 물체의 크기를 갖는 것을 말한다. 따라서 당 비율로 축소되지 않은 함수의 대응은 종래 기술에 의한 기본시차영상의 크기를 그 비율의 역, 즉, z0/s0의 비율로 개별적으로 확대시킨 경우에 해당한다. 이와 같은 기본시차영상의 크기에 대한 차이는 영상처리 등을 통하여 해결될 수 있으며, 결상 시스템의 변조 등의 광학적 방법들을 통해서도 간단히 해결될 수 있다. 뿐만 아니라 다음에 설명될 델타함수 배열의 대응을 위한 변수들의 대응을 적절히 달리함으로써 그 크기 차이를 없앨 수도 있다.
이와 같이 물체함수들을 대응시켰을 경우, 두 식의 델타함수 배열이 다음과 같이 같아야 한다.
Figure 112008012349023-pat00016
그리고 <수학식 7>이 성립하기 위해서는 다음과 같은 조건이 성립되어야 하며,
Figure 112008012349023-pat00017
여기서 종래기술에서의 기본렌즈의 크기가 렌즈 배열 전체에 걸쳐 P로 일정할 경우, 이 조건은 다음과 같다.
Figure 112008012349023-pat00018
그리고 <수학식 9>는 d를 s0에,
Figure 112008012349023-pat00019
를 P에 각각 대응시킬 경우, 완벽하게 성립한다. 여기서 d가 음수이므로 s0가 음수인 경우에 한하여 대응이 가능한데, 이는 종래기술에서 오목렌즈 배열을 사용하여 시차영상 배열을 획득하거나 볼록렌즈 배열로 획득한 후, 기본 시차영상을 180 회전 변환을 적용한 경우에 해당한다. 따라서 도 10의 시스템을 통하여 영상을 획득 할 경우, z0/s0 비율의 개별적인 크기 차이를 제외하고, 렌즈배열과 시차영상 배열사이의 간격이 d이고 기본렌즈들 사이의 간격이
Figure 112008012349023-pat00020
인 종래의 오목렌즈 배열을 통한 획득 시스템으로 얻은 시차영상 배열과 일치한다. 그리고 기본 시차영상의 크기 조절 또는 시스템 구성의 편의 및 효율성을 위해 이 같은 구체적인 변수들의 대응은 임의로 달리될 수 있다.
그리고 레일리기준(rayleigh criterion)에 있어서의 기본시차영상의 해상도는 1차원적으로
Figure 112008012349023-pat00021
와 같다. 이는 결상렌즈 자체에 의한 해상도
Figure 112008012349023-pat00022
의 2배에 불과하다. 종래기술의 경우, 각 기본렌즈의 구경은 렌즈배열을 구성하는 기본렌즈의 개수에 반비례하여 작아진다.
특히, 작은 물체에 대한 시차영상 배열을 획득하고자 할 경우, 기본렌즈의 크기는 그 물체의 크기에 대응하여 매우 작아져야 하는데, 기본 시차영상의 해상도 또한 그에 따라 크게 낮아질 수밖에 없다. 그러나 본 발명에서 제안하는 시스템 및 방법을 통하여 획득할 경우에는 기본 시차영상의 개수에 상관없이 단순히 결상렌즈의 구경에만 해상도가 관여하기 때문에 그 손실을 최소화 할 수 있다.
도 13은 본 발명의 일 실시예에 따른 3차원 영상 획득 시스템의 구성을 나타내는 설명도로써 본 발명의 가장 기본적인 방법을 나타내고 있는데, 도시된 바와 같이 단색광이 조명된 물체와 2차원 영상획득 장치 사이에 회절격자를 두어 시차영상 배열을 획득하도록 하고 있다.
본 발명은 시차영상 획득 과정이 매우 간단하며, 특히 하나의 결상렌즈를 통하여 모든 기본영상을 결상시키므로 광학적인 해상도 저하를 최소화할 수 있는 방법이다. 카메라 시스템은 결상렌즈와 영상센서(CCD 또는 필름, CMOS 등)가 조합된 2차원 영상 획득 시스템을 포함한다.
도 14는 종래기술과 본 발명에 따른 방식을 절충하는 방법의 하나로 도 13에 도시된 시스템에서 회절격자 이전, 또는 이후에 렌즈배열을 위치시킴으로써 시차영상 배열을 획득하는 방식을 나타내고 있다.
여기서, 렌즈 배열 이후에 종래의 기술과 같이 큰 구경(large aperture)의 렌즈를 위치시켜 광학적 효율성을 높이는 것 또한 가능하다. 본 시스템을 활용할 경우, 하나의 기본렌즈를 통하여 여러 시차영상들을 획득할 수 있어, 비교적 적은 기본렌즈의 수를 갖는 렌즈배열을 통하여 많은 수의 시차영상 배열을 획득하는 방법으로 활용할 수 있다.
도 15에는 회절격자를 2차원 영상획득 시스템(카메라 시스템)에서의 결상렌즈와 영상센서 사이에 위치시키는 방법을 설명하고 있다. 본 방법은 도 13에 나타낸 시스템의 경우에 비해 전체 시스템의 구성을 매우 컴팩트(compact)하게 형성할 수 있다는 장점을 갖는다.
한편, 매우 작은 크기의 기본시차영상이 요구될 경우, 시스템 구성의 한계 때문에 3차원 물체 자체의 크기가 매우 작아져야 할 경우가 있다.
이와 같은 경우, 3차원 물체를 직접적인 물체로 적용하지 않고 도 16과 같이 3차원 물체를 결상한 후 결상된 영상을 기존의 시스템에서의 3차원 물체로 대응시킴으로써 기존의 결상 광학계의 조절 없이 기본시차영상의 크기를 조절하는 방법으로 활용하거나, 또는, 도 17과 같이 회절격자를 현미경 시스템에 적용하여 미세 물 체에 대한 시차영상 배열을 획득하는 방법으로 활용할 수 있다.
도 17을 참조하면, 회절격자는 물체와 대물렌즈 또는 대물렌즈와 접안렌즈, 접안렌즈와 카메라 결상렌즈, 카메라 결상렌즈와 영상센서 사이에 위치될 수 있음을 알 수 있다. 접안렌즈는 카메라 결상렌즈 시스템에 포함되어 카메라 시스템의 일부로 고려할 수 있다.
고차회절에 있어 저효율 등의 문제로 하나의 회절격자로 생성할 수 있는 시차영상의 개수가 한정적일 경우, 적정한 간격으로 여러 장의 회절격자를 두는 방법을 통하여 그 개수를 늘리는데 활용할 수 있다. 도 18은 결상렌즈 이전에 두 개의 회절격자가 적용된 경우를 나타내고 있다. 도 18과 달리 회절격자를 결상렌즈 이후나 결상 광학계 내 또는 각기 다른 위치에 배치될 수 있다.
도 18에서
Figure 112008012349023-pat00023
과
Figure 112008012349023-pat00024
는 각 회절격자에 대한 함수이다. d1은 결상렌즈로부터
Figure 112008012349023-pat00025
격자까지의 거리이고, d2는
Figure 112008012349023-pat00026
격자로부터
Figure 112008012349023-pat00027
격자까지의 거리이다. 본 발명의 실시예에 따른 3차원 시차 영상 획득 시스템의 진폭 임펄스 응답은 연산자 방법에 의해 다음과 같이 표현될 수 있다.
Figure 112008012349023-pat00028
Q[]는 2차 위상지수에 의한 곱셈 연산자로써 다음과 같이 정의되고
Figure 112008012349023-pat00029
Figure 112008012349023-pat00030
는 상수 곱셈 연산자로써 다음과 같이 정의된다.
Figure 112008012349023-pat00031
그리고 F는 푸리에 변환 연산자로써 다음과 같이 정의된다.
Figure 112008012349023-pat00032
<수학식 11>에서 K는 임의로 정의된 상수이다. <수학식 11>로부터 도 18에 의한 임펄스 응답은 d1거리에
Figure 112008012349023-pat00033
격자만 있을 경우와 d1+d2 거리에 있는
Figure 112008012349023-pat00034
격자만 있을 경우의 두 임펄스 응답의 컨벌루션의 형태라는 것을 알 수 있다.
즉, 이는
Figure 112008012349023-pat00035
에 대한 푸리에 변환 결과를
Figure 112008012349023-pat00036
의 비율로 크기 변환한 것과,
Figure 112008012349023-pat00037
를
Figure 112008012349023-pat00038
의 비율로 크기 변환한 것의 컨벌루션한 결과에 해당한다.
따라서 도 18과 같이 회절격자 두 개를 쓴 경우, d1과 d2의 적절한 조절을 통하여 회절격자를 하나만 쓴 경우에 비해 최대 제곱 배 개수의 시차영상 배열을 생성할 수 있다. 그리고 사용된 격자의 수가
Figure 112008012349023-pat00039
개 일 때, 본 시스템을 통한 최대 시차영상을 생성할 수 있는 개수는 단일 격자에 의한 개수의
Figure 112008012349023-pat00040
승의 개수가 되고 이에 따른 해상도는 다음과 같다.
Figure 112008012349023-pat00041
따라서, 다중의 회절격자를 활용함으로써, 사용된 격자의 수에 반비례하는 분해능의 손실로 생성되는 시차영상의 수는 기하급수적으로 높일 수 있다.
도 19와 같이 조명의 파장을 시간적으로 조절하거나 동시에 여러 파장의 조명을 하고 시차영상 배열 획득 시스템에서 시간적 또는 파장에 대한 필터링을 통하여 조명의 파장에 따라 각기 다른 특성을 갖는 시차영상 배열들을 짧은 시간 내에 또는 동시에 획득할 수 있는 방법이 가능하다.
구체적인 방법의 예로, LD(laser diode) 등을 통하여 스펙트럼 폭이 매우 좁은 Red, Green, Blue의 세 파장의 조명을 하고, 시차영상 배열 획득 장치에서의 영상센서를 칼라 CCD 등으로 하여 동시에 조명의 파장에 대한 각기 다른 특성을 갖는 시차영상 배열을 획득할 수 있다. 또는 좁은 스펙스트럼을 갖는 조명의 파장을 시간에 따라 바꾸어가며, 즉 시간에 따른 scanning을 하고 시차영상 배열 획득 시스 템에서 동영상을 획득하는 방법과 같이 짧은 노출 시간을 주며 연속적으로 영상배열을 획득하는 방법이 가능하다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야만 한다.
도 1 내지 도 12는 종래 기술에 따른 3차원 영상 구현 시스템 및 그 방법을 나타낸 설명도이다.
도 13 내지 도 19는 본 발명의 실시예에 따른 3차원 영상 구현 시스템 및 그 방법을 나타낸 설명도이다.

Claims (16)

  1. 3차원 시차 영상 획득 시스템에 있어서,
    단색광이 조명된 물체와 2차원 영상 획득 장치 사이에 회절격자를 두어 시차영상 배열을 획득하되, 3차원 물체를 결상한 후 결상된 영상을 3차원 물체로 대응시켜 시차 영상 배열을 획득하는 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
  2. 제 1 항에 있어서,
    상기 영상 획득 장치는 결상렌즈와 영상센서(CCD 또는 필름, CMOS 등)가 조합된 2차원 카메라 시스템인 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 회절격자 이전 또는 이후에 시차 영상의 획득을 위한 렌즈배열을 더 포함하는 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
  4. 제 3 항에 있어서,
    상기 회절격자는 다중 회절격자인 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
  5. 삭제
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 회절격자를 현미경 시스템에 적용하여 미세 물체에 대한 시차영상 배열을 획득하는 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
  7. 제 6 항에 있어서,
    상기 회절격자는 물체와 대물렌즈 또는 대물렌즈와 접안렌즈, 접안렌즈와 카메라 결상렌즈, 및 카메라 결상렌즈와 영상센서 사이의 영역 가운데 적어도 어느 일 영역에 위치 가능한 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
  8. 제 1 항 또는 제 2 항에 있어서,
    상기 물체에 조명되는 광(光)의 파장은 시간적으로 조절되거나 또는 여러 파 장 광의 동시 조명에 의해 형성되는 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
  9. 제 8 항에 있어서,
    상기 시간적으로 조절되거나 또는 여러 파장 광의 동시 조명에 의해 형성되는 조명 광에 대한 시간적 필터링 또는 특정 파장 광에 대한 필터링을 통하여, 조명의 파장에 따라 각기 다른 특성을 갖는 시차영상 배열들을 동시에 획득하는 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
  10. 2차원 영상 획득 장치 및 회절격자를 구비하는 3차원 시차 영상 획득 시스템에 있어서,
    상기 2차원 영상 획득 장치 내의 결상렌즈와 영상센서 사이에 회절격자를 위치시켜, 3차원 물체를 결상한 후 상기 결상된 영상을 3차원 물체로 대응시켜 시차 영상 배열을 획득하는 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 회절격자를 현미경 시스템에 적용하여 미세 물체에 대한 시차영상 배열을 획득하는 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
  13. 제 12 항에 있어서,
    상기 회절격자는 물체와 대물렌즈 또는 대물렌즈와 접안렌즈, 접안렌즈와 카메라 결상렌즈, 및 카메라 결상렌즈와 영상센서 사이의 영역 가운데 적어도 일 영역에 위치 가능한 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
  14. 제 10 항, 제12항 및 제 13 항 중 어느 한 항에 있어서,
    상기 회절격자는 다중 회절격자인 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
  15. 제 14 항에 있어서,
    물체에 조명되는 광(光)의 파장은 시간적으로 조절되거나 또는 여러 파장 광의 동시 조명에 의해 형성되는 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
  16. 제 15 항에 있어서,
    상기 시간적으로 조절되거나 또는 여러 파장 광의 동시 조명에 의해 형성되는 조명 광에 대한 시간적 필터링 또는 특정 파장 광에 대한 필터링을 통하여, 조명의 파장에 따라 각기 다른 특성을 갖는 시차영상 배열들을 동시에 획득하는 것을 특징으로 하는 3차원 시차 영상 획득 시스템.
KR1020080014977A 2007-12-29 2008-02-19 3차원 시차 영상 획득 시스템 KR100932560B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20070141087 2007-12-29
KR1020070141087 2007-12-29

Publications (2)

Publication Number Publication Date
KR20090072907A KR20090072907A (ko) 2009-07-02
KR100932560B1 true KR100932560B1 (ko) 2009-12-17

Family

ID=41330075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080014977A KR100932560B1 (ko) 2007-12-29 2008-02-19 3차원 시차 영상 획득 시스템

Country Status (1)

Country Link
KR (1) KR100932560B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11480917B2 (en) * 2019-11-26 2022-10-25 Sangmyung University Industry-Academy Cooperation Foundation Method and apparatus for reconstructing three-dimensional image by using diffraction grating

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102317836B1 (ko) * 2019-11-26 2021-10-27 상명대학교산학협력단 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치
KR102499494B1 (ko) * 2021-09-27 2023-02-13 상명대학교산학협력단 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템
KR102619003B1 (ko) * 2022-11-22 2023-12-28 상명대학교산학협력단 회절 격자 기반의 3차원 이미징 시스템 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100269267B1 (ko) * 1997-12-23 2000-10-16 정선종 위상천이격자를 이용한 영사식 모아레법 및 시스템
KR20040055014A (ko) * 2002-12-20 2004-06-26 한국과학기술원 다중채널 위상천이 모아레 기법을 이용한 3차원 형상측정기
JP2006105835A (ja) * 2004-10-07 2006-04-20 Matsushita Electric Ind Co Ltd 形状測定方法及び形状測定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100269267B1 (ko) * 1997-12-23 2000-10-16 정선종 위상천이격자를 이용한 영사식 모아레법 및 시스템
KR20040055014A (ko) * 2002-12-20 2004-06-26 한국과학기술원 다중채널 위상천이 모아레 기법을 이용한 3차원 형상측정기
JP2006105835A (ja) * 2004-10-07 2006-04-20 Matsushita Electric Ind Co Ltd 形状測定方法及び形状測定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11480917B2 (en) * 2019-11-26 2022-10-25 Sangmyung University Industry-Academy Cooperation Foundation Method and apparatus for reconstructing three-dimensional image by using diffraction grating

Also Published As

Publication number Publication date
KR20090072907A (ko) 2009-07-02

Similar Documents

Publication Publication Date Title
JP5340233B2 (ja) シーンの入力画像を取得するための方法および装置
US8098275B2 (en) Three-dimensional imaging system using optical pulses, non-linear optical mixers and holographic calibration
JP3135107B2 (ja) ３次元ディスプレイ装置
EP2579568B1 (en) Imaging device and imaging method
US20090256927A1 (en) Image capturing apparatus
US6233035B1 (en) Image recording apparatus and image reproducing apparatus
JPH01309478A (ja) 画像入出力装置
JP2009265618A (ja) アジャイルスペクトル画像形成装置および方法
CN104041006A (zh) 图像生成方法、图像生成设备、程序以及存储介质
CN105245867A (zh) 图像拾取装置、系统和控制方法以及图像处理装置
CN111052175A (zh) 用于成像的装置和方法
CN106165398A (zh) 摄像元件、摄像装置以及图像处理装置
KR100932560B1 (ko) 3차원 시차 영상 획득 시스템
KR100975349B1 (ko) 3차원 영상 구현 시스템 및 그 방법
CN110402374A (zh) 光学系统
CN108121059A (zh) 一种基于结构光照明的sted并行显微成像系统
CN103636199A (zh) 三维摄像装置、图像处理装置、图像处理方法及图像处理程序
CN103004218A (zh) 三维摄像装置、摄像元件、透光部、及图像处理装置
CN110312957A (zh) 焦点检测设备、焦点检测方法和焦点检测程序
CN112804513B (zh) 一种光场相机及成像方法
US7586662B2 (en) Three-dimensional light ray input apparatus
Horstmeyer et al. Modified light field architecture for reconfigurable multimode imaging
US20160029005A1 (en) Image-capturing apparatus and image-capturing method
JPH04346311A (ja) 多焦点カメラ
JP2004085965A (ja) 立体撮像装置および立体表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121011

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131001

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee