KR20140115128A - 집적영상 카메라와 이를 이용한 홀로그램 합성 기법 - Google Patents
집적영상 카메라와 이를 이용한 홀로그램 합성 기법 Download PDFInfo
- Publication number
- KR20140115128A KR20140115128A KR1020130029837A KR20130029837A KR20140115128A KR 20140115128 A KR20140115128 A KR 20140115128A KR 1020130029837 A KR1020130029837 A KR 1020130029837A KR 20130029837 A KR20130029837 A KR 20130029837A KR 20140115128 A KR20140115128 A KR 20140115128A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- hologram
- lens
- camera
- generating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003384 imaging method Methods 0.000 title claims abstract description 26
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 6
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 6
- 230000003287 optical effect Effects 0.000 claims abstract description 11
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 6
- XSQUKJJJFZCRTK-UHFFFAOYSA-N Urea Chemical compound NC(N)=O XSQUKJJJFZCRTK-UHFFFAOYSA-N 0.000 claims description 2
- 239000004202 carbamide Substances 0.000 claims description 2
- 230000008707 rearrangement Effects 0.000 claims description 2
- 238000001308 synthesis method Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000004888 barrier function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 241000270322 Lepidosauria Species 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 집적영상 카메라와 이를 이용한 홀로그램 합성 기법에 관한 것으로서, 광경로상에, 합성개구(synthetic aperture) 조리개와, 카메라 렌즈와, 다수의 요소렌즈를 포함하는 렌즈 어레이와, 이미지 센서가 순차적으로 배열된 집적영상 카메라를 이용하며, 카메라 렌즈의 f값과 렌즈 어레이를 구성하는 요소렌즈의 f값을 일치시켜 조리개 크기만큼 이동하면서 위치정보를 갖는 기초영상을 생성하고, 이 기초영상으로부터 생성된 시점별 영상을 변환하여 3차원 홀로그램을 합성한다. 본 발명에 따르면, 간소화된 구조의 카메라 제작이 가능하며, 결맞지 않는 광원에서 높은 해상도의 홀로그램을 획득할 수 있다.
Description
본 발명은 홀로그램 합성 기법에 관한 것으로, 더욱 상세하게는 간편 구성 및 휴대성 증대와 함께 해상도 향상이 가능한 집적영상 카메라와 이를 이용한 홀로그램 합성 기법에 관한 것이다.
일반적으로 3차원을 표현하는 입체화상은 두 눈을 통한 스테레오 시각의 원리에 의하여 이루어지게 되는데, 두 눈의 시차 즉, 두 눈의 간격에 의한 양안시차는 입체감의 가장 중요한 요인이라 할 수 있다. 즉, 좌우의 눈은 각각 서로 다른 2D 화상을 보게 되고, 이 두 화상이 망막을 통해 뇌로 전달되면 뇌는 이를 정확히 서로 융합하여 본래 3차원 영상의 깊이감과 실제감을 재생하는 것이다. 이 같은 능력을 스테레오그라피(stereography)라 한다.
최근, 3D TV, 3D 영화 등에 대한 연구가 활발히 이루어지고 있으며, 더 나아가 홀로그램에 대한 관심이 높아지기 시작했다. 현재 시중에 판매되고 있는 3D TV나 3D 영화는 안경을 사용하여 3차원을 인식하는 방법을 사용한다. 하지만 이러한 방법은 관찰자가 느끼는 영상의 깊이와 실제 스크린과의 깊이 부조화로 인하여 장시간 시청 시 눈의 피로와 정신적 스트레스를 일으키는 것으로 밝혀졌다. 이러한 문제를 해결하기 위하여 안경을 사용하지 않고 3차원을 인식할 수 있는 기술들이 개발되고 있다. Parallax barrier(시차장벽), Lenticular lens, Integral imaging(집적영상) 기술은 안경을 사용하지 않고 3차원을 인식할 수 있는 대표적인 예이다. parallax barrier 기술은 디스플레이 화면 앞에 장벽을 두어 좌안과 우안의 영상을 분리하여 나타내는 방법이다. 하지만, 이 기술은 시청할 수 있는 영역이 제한되고 장벽에 의한 밝기 감소가 나타나는 문제점이 있다. 이에 밝기의 감소가 발생하는 문제점을 해결하기 위하여 장벽 대신 Lenticular lens를 사용한 방법이 제안되었다. 그런데, Lenticular lens 기술은 parallax barrier 기술이 가지는 밝기의 감소를 해결할 수 있지만, 여전히 시청할 수 있는 영역이 한정된다는 단점이 남아있다.
한편, Integral imaging 기술은 여러 개의 렌즈로 구성된 렌즈 어레이 세트(이하, "렌즈 어레이"라 함)를 이용하여 3차원 물체정보를 2차원 영상으로 저장하고 저장한 2차원 영상을 복원하여 가상의 3차원 이미지를 획득하는 방법이다. Integral imaging 기술은 양안시차와 수직, 수평시차를 제공한다.
홀로그래픽 디스플레이는 양안시차와 수렴, 운동시차를 모두 제공하기 때문에 3차원을 표현하는 디스플레이중 가장 이상적인 디스플레이로 생각되고 있다. 홀로그램은 물체로부터 나오는 빛의 진폭과 위상을 기록하고 복원하는 기술이다. 홀로그램을 생성하는 방법은 여러 가지가 존재하지만 공통적으로 결맞는(coherent) 조명이 필요하다. 결맞는 광원을 만들기 위하여 레이저 등의 특수한 광원과 외부의 빛이 차단된 공간을 필요로 한다. 또한 홀로그램의 기록과 재생을 위한 복잡한 실험구성이 필요하기 때문에 이러한 장비들이 갖춰진 실험실에서만 홀로그램을 재생할 수 있다. 홀로그램을 생성하기 위한 광학계의 한계로 인하여 홀로그램 기록에 사용되는 물체의 크기가 제한된다. 최근에는 이러한 문제점을 해결하기 위하여 결맞는 광원을 사용하지 않고 일반적인 결맞지 않는(incoherent) 조명하에서 홀로그램을 생성하는 방법이 연구되고 있다.
Integral imaging 기술을 이용한 홀로그램 콘텐츠 획득 방법은 결맞지 않는 광원에서 홀로그램을 생성하는 방법 중 하나이다. 이 방법은 렌즈 어레이와 카메라를 이용한다. 이것을 이용하여 획득한 3차원 물체의 정보를 컴퓨터 처리과정을 통해 홀로그램을 만들게 된다. 이와 같은 기술을 이용하여 홀로그램 콘텐츠를 촬영하면 레이저를 이용하지 않고 홀로그램을 획득할 수 있다. 또한, 카메라를 이용하여 촬영하기 때문에 밝은 조명에서 촬영이 가능하다.
결맞지 않는 조명하에서의 홀로그램 콘텐츠 촬영을 위한 Integral imaging 홀로그램 콘텐츠 생성방법은 CCD(charged-coupled device) 센서와 렌즈 어레이를 사용한다. 3차원 물체의 정보를 2차원 기초영상으로 저장하기 위하여 물체와 CCD 센서 사이에 렌즈 어레이가 위치한다. 3차원 물체의 특정위치에서 나온 빛은 렌즈 어레이의 각 렌즈 중심을 통과하여 CCD 센서에서 기록된다. 기록된 기초영상으로 컴퓨터를 이용하여 홀로그램을 생성한다.
그런데, 렌즈 어레이를 사용하는 Integral imaging 기술은 렌즈 어레이를 준비하고 촬영에 필요한 장치를 준비해야 하고, 렌즈 어레이와 CCD 센서가 분리되어 있기 때문에 여러 가지 문제가 발생한다. 3차원 물체로부터 나오는 빛은 렌즈 어레이를 통과하고 CCD 센서에 기록될 때, 렌즈 어레이의 각 렌즈에 의한 왜곡이 발생한다. 왜곡이 발생한 기초영상은 재생과정에서 3차원 물체의 정보가 변형되기 때문에 이것을 보정해주는 작업을 필요로 하게 된다. 또한, 3차원 정보를 획득할 수 있는 물체의 위치는 한정되어 있다. 물체의 위치가 한정된다는 것은 물체의 크기가 제한된다는 것이다. 마지막으로 렌즈 어레이와 CCD 센서가 한 개의 디바이스가 아닌 시스템으로 구성되어 있기 때문에 실험구성의 부피가 커지고 간편하지 못한 단점이 있다.
이와 같이, 3D산업의 발달과 함께 홀로그램에 대한 관심도가 높아지고 있으며, 기존의 결맞는 광원과 복잡한 실험 구성을 필요로 하는 홀로그램 생성방법을 대체하기 위하여 결맞지 않는 광원에서 홀로그램을 획득하고 생성하는 방법들이 연구되고 있다. 하지만 결맞지 않는 광원에서 홀로그램을 생성하는 방법들은 실험구성이 간편해졌다지만 완벽히 간편하다고 말하기는 어렵다. 또한 결맞지 않는 광원에서 생성한 홀로그램은 해상도가 낮은 단점이 있다.
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 휴대성 증대를 위해 Integral imaging(집적영상) 기술에서 카메라 외부에 존재하던 렌즈 어레이를 디지털 카메라 내부의 이미지 센서 앞에 위치시키고, 홀로그램의 해상도 향상을 위해 synthetic aperture(합성개구) 기술을 사용하여, 결맞지 않는 광원에서 간편한 실험구성으로 홀로그램을 생성할 수 있는 집적영상 카메라와 이를 이용한 홀로그램 합성 기법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 집적영상 카메라는, 광경로상에, 카메라 렌즈와, 다수의 요소렌즈를 포함하는 렌즈 어레이와, 이미지 센서가 순차적으로 배열되며; 상기 카메라 렌즈의 f값과 상기 요소렌즈의 f값을 일치시켜 기초영상을 생성하는 것을 특징으로 한다.
상기 광경로상에 상기 카메라 렌즈의 전단에 형성된 합성개구(synthetic aperture) 조리개를 더 포함하며; 상기 합성개구 조리개는 상기 기초영상의 생성시 상기 f값이 일치할 때의 조리개 크기만큼 이동이 이루어진다.
간섭광을 제공하는 적어도 하나의 광원과, 푸리에 렌즈와, 개구부를 갖는 이미징 면을 포함하는 홀로그램 합성부를 더 포함하며; 상기 이미지 센서의 각 위치의 시점별 영상과 랜덤 위상의 곱을 푸리에 변환한다.
한편, 본 발명은 광경로상에, 합성개구(synthetic aperture) 조리개와, 카메라 렌즈와, 다수의 요소렌즈를 포함하는 렌즈 어레이와, 이미지 센서가 순차적으로 배열된 집적영상 카메라를 이용하여 홀로그램을 합성하는 기법으로서, (a) 상기 카메라 렌즈의 f값과 상기 요소렌즈의 f값을 일치시켜 조리개 크기만큼 이동하면서 위치정보를 갖는 기초영상을 생성하는 단계; 및 (b) 상기 기초영상으로부터 생성된 시점별 영상을 변환하여 3차원 홀로그램을 합성하는 단계를 포함하는 것을 특징으로 한다.
상기 단계 (a)는, 상기 기초영상으로부터 다수의 초점별 이미지를 생성하며, 상기 초점별 이미지는 CIIR(Computational Integral Imaging Reconstruction) 기술을 이용하여 생성한다.
상기 합성개구 조리개의 이동에 따라 상기 이미지 센서의 각 위치에서 촬영된 다수의 이미지들을 합성한 이미지를 생성한다.
상기 단계 (b)는, 상기 기초영상으로부터 상기 요소렌즈에 의해 생성된 요소영상을 구성하는 픽셀들의 재배치를 통해 시점별 영상을 생성하는 단계; 상기 시점별 이미지에 대응하는 랜덤 위상을 생성하는 단계; 및 상기 랜덤 위상에 간섭계를 이용하여 홀로그램을 생성하는 단계를 포함한다.
상기 홀로그램은 각각의 시점별 이미지와 랜덤 위상의 곱을 푸리에 변환한다.
상술한 바와 같이, 본 발명에 의한 집적영상 카메라와 이를 이용한 홀로그램 합성 기법에 따르면, 결맞지 않는 광원에서 높은 해상도의 홀로그램을 획득할 수 있다. 즉, 본 발명에서는 Integral imaging 기술을 이용한 간소화된 구조의 카메라를 만들고 이 카메라를 이용하여 홀로그램을 생성한다. 또한, synthetic aperture 기술을 사용하여 Integral imaging 카메라의 유효 f값을 작게 만들기 때문에 결과적으로 광학계를 이용하여 재생한 홀로그램의 해상도를 증가시킨다. 시스템의 부피를 축소시킨 Integral imaging 카메라를 이용하면 실험실이 아닌 일반 조명에서도 홀로그램에 사용할 콘텐츠를 획득할 수 있다. 또한, 본 발명의 시스템에 의해 생성된 홀로그램은 눈의 조절작용과 모든 방향에 대한 운동시차를 제공하기 때문에 홀로그램을 재생하는 분야에서도 응용될 것으로 기대한다.
도 1은 본 발명에서 3차원 물체의 정보를 획득하여 가상의 3차원 이미지를 생성하는 원리를 나타낸 도면이다.
도 2는 본 발명에서 3차원 물체의 정보를 2차원 기초영상으로 획득하기 위한 카메라의 구조를 나타낸 도면이다.
도 3은 본 발명에서 이상적인 2차원 기초영상을 획득하기 위한 조건을 나타낸 도면이다.
도 4는 본 발명에서 카메라 구조의 변경 없이 유효 f값을 줄이기 위하여 사용한 synthetic aperture 기술을 나타낸 도면이다.
도 5는 본 발명에서 1장의 기초영상을 사용하여 만든 초점별 영상과 synthetic aperture 기술을 사용하여 만들 초점별 영상을 비교하여 나타낸 도면이다.
도 6은 본 발명에서 사용한 초점별 영상과 시점별 영상의 생성 원리를 나타낸 도면이다.
도 7은 본 발명에서 synthetic aperture 기술을 사용하여 얻은 기초영상 세트를 이용하여 푸리에 홀로그램을 생성하는 방법을 나타낸 도면이다.
도 8은 본 발명에서 획득한 홀로그램을 광학적 재생을 통하여 확인한 결과 도면이다.
도 2는 본 발명에서 3차원 물체의 정보를 2차원 기초영상으로 획득하기 위한 카메라의 구조를 나타낸 도면이다.
도 3은 본 발명에서 이상적인 2차원 기초영상을 획득하기 위한 조건을 나타낸 도면이다.
도 4는 본 발명에서 카메라 구조의 변경 없이 유효 f값을 줄이기 위하여 사용한 synthetic aperture 기술을 나타낸 도면이다.
도 5는 본 발명에서 1장의 기초영상을 사용하여 만든 초점별 영상과 synthetic aperture 기술을 사용하여 만들 초점별 영상을 비교하여 나타낸 도면이다.
도 6은 본 발명에서 사용한 초점별 영상과 시점별 영상의 생성 원리를 나타낸 도면이다.
도 7은 본 발명에서 synthetic aperture 기술을 사용하여 얻은 기초영상 세트를 이용하여 푸리에 홀로그램을 생성하는 방법을 나타낸 도면이다.
도 8은 본 발명에서 획득한 홀로그램을 광학적 재생을 통하여 확인한 결과 도면이다.
이하, 본 발명의 집적영상 카메라와 이를 이용한 홀로그램 합성 기법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
본 발명은 기존의 Integral imaging 기술에 사용된 실험 구성보다 더욱 간소화된 실험구성으로 Integral imaging 기술을 사용하여 불균일한 광원에서 홀로그램을 생성할 수 있는 기술이다. 이 때, synthetic aperture 기술을 사용하여 기존의 방법들보다 홀로그램의 해상도를 증가시킬 수 있는 기술이다.
Integral imaging 기술은 3D 물체의 정보를 획득하는 픽업 과정과 3차원 물체의 정보가 기록된 기초영상으로부터 가상의 3차원 영상을 재생하는 디스플레이 과정으로 구성된다.
도 1은 본 발명에서 3차원 물체의 정보를 획득하여 가상의 3차원 이미지를 생성하는 원리를 나타낸 도면이다.
도 1의 설명에 있어, 이것을 기하광학적으로 살펴보면, 픽업 과정은 물체(101)로부터 나오는 빛이 렌즈 어레이(102)의 각 요소렌즈(103)의 중심을 통과한다. 렌즈의 중심을 통과한 빛은 렌즈로 들어 올 때와 같은 각도로 진행하여 이미지 센서(1041)의 특정 영역에 3차원 물체의 정보가 기록된다. 3차원 물체의 위치, 모양, 크기에 따라 이미지 센서에 저장되는 정보가 각기 다르다. 예를 들어, 서로 다른 위치에 두 개의 물체가 존재한다고 할 때, 각 물체로부터 나온 빛은 서로 다른 각도로 렌즈 어레이의 각 렌즈를 지나게 된다. 다른 각도로 들어온 빛은 이미지 센서의 각기 다른 위치에 저장되고 이렇게 저장된 기초영상은 두 물체의 위치정보를 가지게 된다. 디스플레이 과정은 픽업 과정을 역으로 실행하면 된다. 획득한 기초영상(1042)을 저장할 때와 동일한 스펙의 렌즈 어레이(105)를 사용하여 가상의 3차원 영상(106)을 획득하게 된다.
기존의 Integral imaging 홀로그램 생성방법은 렌즈 어레이와 카메라가 독립적으로 사용되었다. 이러한 형태의 Integral imaging 홀로그램 생성 방법은 3차원 콘텐츠 획득을 위한 실험구성의 부피가 크고 물체의 크기 및 거리가 제한되며 렌즈에 의한 왜곡으로 인한 문제점들이 발생한다. 이에 본 발명에서는 이러한 문제점을 해결하기 위하여 디지털 카메라 내부의 이미지 센서 앞에 렌즈 어레이를 위치시킨다. 이 때, 렌즈 어레이는 크기가 매우 작기 때문에 마이크로 렌즈 어레이 라고 부른다.
도 2는 본 발명에서 3차원 물체의 정보를 2차원 기초영상으로 획득하기 위한 카메라의 구조를 나타낸 도면이다.
도 2를 참조하면, 마이크로 렌즈 어레이(201)를 사용한 Integral imaging 카메라(202)를 나타낸 것이다. 커다란 부피의 실험 구성을 줄이기 위하여 카메라 외부에 위치하던 렌즈 어레이를 카메라 내부의 이미지 센서(203) 앞에 위치시켰다. 카메라 이외의 부가적인 장치가 필요하지 않기 때문에 일반 디지털 카메라와 같이 편리하게 사용할 수 있고 카메라 외부의 렌즈 어레이에 의한 기초영상의 왜곡현상이 일어나지 않는다. 또한, 물체(204)의 위치가 카메라로부터 멀리 떨어져 있는 경우에도 카메라 렌즈(205)를 이용하여 보정이 가능한 장점이 있다.
카메라 시스템에서 f값(f-number)은 카메라 렌즈의 초점거리를 렌즈의 입사구경으로 나눈 값으로 정의된다. f값은 촬영한 영상의 DoF(Depth of Field)와 해상도를 결정하는 요인이다. 일반적으로 f값이 작으면 DoF가 좁아진다. DoF가 작을수록 초점의 이동을 확인하기 수월하다. f값을 변화시키기 위해서는 렌즈의 초점거리를 변화시키거나 렌즈의 입사반경을 변화시키면 된다. 본 발명에서 가장 중요한 것은 카메라 렌즈의 f값과 카메라 내부에 위치한 마이크로 렌즈 어레이를 구성하는 요소렌즈의 f값을 일치시키는 것이다.
도 3은 본 발명에서 이상적인 2차원 기초영상을 획득하기 위한 조건을 나타낸 도면이다.
도 3을 참조하면, 카메라 렌즈(301)와 마이크로 렌즈 어레이(302)를 구성하는 요소렌즈의 f값이 일치할 때 이미지 센서(303)에 상이 맺히는 것을 나타낸 그림이다. 카메라와 마이크로 렌즈 어레이를 구성하는 요소렌즈의 f값이 일치하기 때문에 렌즈를 통과한 빛(304)의 간섭이 일어나지 않고 이미지 센서를 모두 사용할 수 있다. 만들어진 기초영상은 3차원 물체를 복원하는데 사용된다. 만약, f넘버의 값이 일치하지 않으면 이미지 센서에서 간섭이 발생하거나 이미지 센서를 100% 활용하지 못하게 된다. 따라서, 마이크로 렌즈 어레이를 사용하는 Integral imaging 카메라 홀로그램 획득 시스템에서는 카메라 렌즈의 f값과 마이크로 렌즈 어레이를 구성하는 요소렌즈의 f값을 일치시키는 것이 가장 우선적으로 이루어져야 한다. 마이크로 렌즈 어레이를 구성하는 요소렌즈의 f값은 렌즈 어레이를 제작할 때 결정되고 이 후에는 f값을 변경할 수 없기 때문에 카메라 렌즈의 f값을 변화시켜 카메라 렌즈와 마이크로 렌즈 어레이를 구성하는 요소렌즈의 f값을 일치시킨다. 카메라 렌즈와 마이크로 렌즈 어레이를 구성하는 요소렌즈의 f값이 일치할 경우, 획득한 기초영상은 이미지의 간섭이 없고 해상도의 손실이 최소로 일어나게 된다.
카메라의 메인 렌즈와 마이크로 렌즈 어레이를 구성하는 요소렌즈의 f값을 일치시켜 획득한 기초영상을 이용하여 초점별 이미지를 생성할 수 있다. 초점별 이미지를 생성하는 방법은 CIIR(Computational Integral Imaging Reconstruction) 기술을 이용한다. CIIR 기술을 이용하여 만든 여러 장의 초점별 이미지를 살펴보면, 초점의 이동을 확인할 수 있다. 하지만 마이크로 렌즈 어레이를 구성하는 요소렌즈의 f값이 큰 경우에는 초점별 이미지에서 초점의 이동을 확인하기 어렵다. 본 발명에서는 마이크로 렌즈 어레이를 구성하는 요소렌즈의 f값이 큰 경우 이것을 줄이는 효과를 얻을 수 있다.
도 4는 본 발명에서 카메라 구조의 변경 없이 유효 f값을 줄이기 위하여 사용한 synthetic aperture 기술을 나타낸 도면이다.
도 4를 참조하면, 마이크로 렌즈 어레이의 교체 없이 마이크로 렌즈 어레이를 구성하는 요소렌즈의 f값을 줄일 수 있는 방법을 나타낸 것이다. 본 발명에서 사용한 synthetic aperture 기술은 카메라 렌즈(4011)의 앞에 합성개구 조리개(이하, "aperture"라 함)(402)를 위치하고 aperture를 f값이 일치할 때의 aperture 크기만큼 이동해가며 촬영하는 방법이다. 물체(4031)로부터 나온 빛(404)은 마이크로 렌즈 어레이의(4051) 렌즈 중심을 통과하여 이미지 센서(4061)에 도달하여 이미지(407)를 생성한다. aperture를 이동하여(408) 물체(4032)를 촬영하면, aperture를 통하여 들어온 빛(409)은 렌즈 어레이(4052)를 통과한 뒤 이전과는 다른 위치(4062)에 이미지(410)를 생성한다. 또다시 aperture를 이동(411)하여 물체(4033)를 촬영하면 aperture를 통과하고 렌즈 어레이(4053)를 지난 빛(412)은 이미지 센서의 특정 영역에 이미지(413)를 맺는다. 이렇게 만들어진 이미지들(407, 410, 413)을 합성하여 3차원 물체의 정보를 더 많이 가지고 있는 이미지(414)를 생성한다. 이렇게 만든 이미지는 1장의 기초영상을 이용하여 만든 시점별 영상과 초점별 영상보다 더욱 뛰어난 깊이감을 가지는 초점별 영상과 더욱 다양한 시점을 제공하는 시점별 영상을 만들 수 있다.
본 실시예에서는 카메라 렌즈(4011, 4012, 4013) 앞에 aperture(402, 408, 411)을 형성시키는 경우에 대해 설명하고 있으나, aperture(402, 408, 411)는 렌즈의 앞뒤, 또는 카메라 렌즈군을 이루는 렌즈들 사이에 형성시킬 수 있다.
도 5는 본 발명에서 1장의 기초영상을 사용하여 만든 초점별 영상과 synthetic aperture 기술을 사용하여 만들 초점별 영상을 비교하여 나타낸 도면이다.
도 5를 참조하면, 1장의 기초영상을 사용하여 만든 초점별 영상(501, 502, 503, 504, 505, 506)과 synthetic aperture 기술을 이용하여 얻은 여러 장의 기초영상을 사용하여 만든 초점별 영상(507, 508, 509, 510, 511, 512)을 비교하여 나타낸 것이다. 1장의 기초영상을 사용하여 초점별 영상을 만들면 초점의 변화는 확인할 수 있지만 카메라로부터 가까이에 위치한 곳에 초점을 맺은 초점별 이미지(502)와 멀리 떨어진 곳에 초점을 맺은 초점별 이미지(504)의 초점이동을 확인하기 어렵다. 반면 synthetic aperture 기술을 사용한 초점별 이미지는 카메라와 가까운 곳에 초점이 맺힌 이미지(508)와 먼 거리에 초점이 맺힌 이미지(511)의 초점의 변화를 쉽게 인지할 수 있다. synthetic aperture 기술을 사용하면 DoF가 좁아지는 결과를 나타내고 DoF가 좁아진다는 것은 f값이 작아진다는 것을 말한다. 다시 말하면 synthetic aperture 기술을 사용하면 카메라의 조작 없이 f값을 줄이는 효과를 얻을 수 있다.
도 6은 본 발명에서 사용한 초점별 영상과 시점별 영상의 원리를 나타낸 도면이다.
집적영상 카메라를 이용하여 획득한 2차원 기초영상(6011, 6012)으로 초점별 영상(6001)과 시점별 영상(6002)을 만들 수 있다. 기초영상은 물체의 정보가 렌즈의 중심을 통과하여 기록되기 때문에 멀리 위치한 물체의 정보(602)와 가까운 거리에 위치한 물체의 정보(603)가 서로 다른 위치에 기록된다. 초점별 영상 생성과정은 기초영상을 획득할 때와 같은 조건의 가상의 렌즈 어레이(604)가 있다고 가정한다. 멀리 위치한 물체의 정보와 가까운 거리에 위치한 물체의 정보는 렌즈 어레이의 각 렌즈 중심(605)을 통과하여 일정한 곳에서 모이게 된다. 이러한 정보를 이용하여 초점거리에 따른 초점영상(606, 607)이 된다. 렌즈 어레이의 요소렌즈 개수에 따라 기초영상의 해상도가 결정된다. 요소렌즈 한 개를 통과하여 만들어진 영상을 요소영상(608)이라고 하면 기초영상은 요소영상의 모음으로 나타낼 수 있다. 기초영상에서 각 요소렌즈에 의해 생성된 요소영상을 구성하는 픽셀들(609)의 재배치를 통하여 시점별 영상(609)을 만들 수 있다. 시점영상의 시점의 개수는 요소영상의 픽셀의 개수와 같다. 요소영상이 M*N의 크기로 되어 있다고 하자. 시점영상의 x축 정보는 다음과 같은 방법으로 만들어진다. 요소영상의 <1,1>위치의 정보는 시점영상의 <1,1>위치로 이동되고 요소영상의 <1,2>의 정보는 시점영상의 <1,M+1>의 위치로 이동된다. 요소영상의<1,3>의 정보는 시점영상의 <1,2M+1>의 위치로 이동된다. 같은 방법으로 시점영상의 y축 정보도 만들어 낼 수 있다. 이러한 방법으로 시점별 영상을 생성한다. 즉 시점영상 한 개의 해상도는 기초영상에서의 요소영상 개수가 되고 시점별 영상의 해상도는 요소영상 개수와 기초영상의 해상도를 곱하여 나타낼 수 있다.
도 7은 본 발명에서 synthetic aperture 기술을 사용하여 얻은 기초영상 세트를 이용하여 푸리에 홀로그램을 생성하는 방법을 나타낸 도면이다.
도 7을 참조하면, 촬영한 기초영상을 이용하여 시점별 영상을 만들고 만들어진 시점별 영상을 이용하여 홀로그램을 재생할 수 있다. 홀로그램은 각각의 시점별 이미지와 랜덤 위상의 곱을 푸리에 변환하는 방식이다. 시점별 이미지의 특정위치의 시점영상(701)과 랜덤 위상(702)을 곱해주고 이것을 푸리에 렌즈(703)를 통하여 확인하면 이미징 면(704)에서 해당위치의 영상(705)을 얻어 낼 수 있다. 이 때 홀로그램의 해상도는 홀로그램 면(706)의 면(707)으로 이루어진 시점영상의 해상도와 랜덤 위상에 의하여 결정된다. 기존의 푸리에 변환을 이용한 홀로그램 합성법은 홀로그램 면에서의 점과 선형 위상의 푸리에 변환으로 나타내지만 본 발명에서는 면과 랜덤 위상의 곱으로 나타내기 때문에 기존방법의 푸리에 홀로그램 생성방법보다 뛰어난 해상도의 홀로그램을 생성할 수 있게 된다. 시점별 이미지에 대응하는 랜덤 위상을 만들고 이 랜덤 위상에 레이저 간섭계를 이용하여 홀로그램을 재생하면 눈의 수렴 작용과 모든 방향의 운동시차를 확인할 수 있는 홀로그램 재생영상을 확인할 수 있다.
도 8은 본 발명에서 획득한 홀로그램을 광학적 재생을 통하여 확인한 결과 도면이다.
도 8을 참조하면, 광학적으로 재생한 홀로그램 영상에서 초점의 이동(8001)과 모든 방향의 운동시차(8002)를 확인 할 수 있다. 카메라를 고정시킨 상태에서 카메라의 초점을 변화시켜 촬영하면 카메라의 초점 위치에 따라 초점면이 도마뱀인형(801)에서 배경의 글자(802)로 이동하는 것을 확인 할 수 있다. 또한 카메라의 초점을 고정시킨 상태에서 카메라의 위치를 상하좌우로 이동하여 촬영하면 카메라의 위치에 따라 도마뱀(803)과 배경의 글자(804)사이의 운동시차를 확인 할 수 있다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
201 : 마이크로 렌즈 어레이
203 : 이미지 센서
205 : 카메라 렌즈
402, 408, 411 : aperture
203 : 이미지 센서
205 : 카메라 렌즈
402, 408, 411 : aperture
Claims (8)
- 광경로상에, 카메라 렌즈와, 다수의 요소렌즈를 포함하는 렌즈 어레이와, 이미지 센서가 순차적으로 배열되며;
상기 카메라 렌즈의 f값과 상기 요소렌즈의 f값을 일치시켜 기초영상을 생성하는 집적영상 카메라.
- 제1항에 있어서,
상기 광경로상에 상기 카메라 렌즈의 전단에 형성된 합성개구(synthetic aperture) 조리개를 더 포함하며;
상기 합성개구 조리개는 상기 기초영상의 생성시 상기 f값이 일치할 때의 조리개 크기만큼 이동이 이루어지는 집적영상 카메라.
- 제1항 또는 제2항에 있어서,
간섭광을 제공하는 적어도 하나의 광원과, 푸리에 렌즈와, 개구부를 갖는 이미징 면을 포함하는 홀로그램 합성부를 더 포함하며;
상기 이미지 센서의 각 위치의 시점별 영상과 랜덤 위상의 곱을 푸리에 변환하는 집적영상 카메라.
- 광경로상에, 합성개구(synthetic aperture) 조리개와, 카메라 렌즈와, 다수의 요소렌즈를 포함하는 렌즈 어레이와, 이미지 센서가 순차적으로 배열된 집적영상 카메라를 이용하여 홀로그램을 합성하는 기법으로서,
(a) 상기 카메라 렌즈의 f값과 상기 요소렌즈의 f값을 일치시켜 조리개 크기만큼 이동하면서 위치정보를 갖는 기초영상을 생성하는 단계; 및
(b) 상기 기초영상으로부터 생성된 시점별 영상을 변환하여 3차원 홀로그램을 합성하는 단계를 포함하는 집적영상 카메라를 이용한 홀로그램 합성 기법.
- 제4항에 있어서,
상기 단계 (a)는,
상기 기초영상으로부터 다수의 초점별 이미지를 생성하며,
상기 초점별 이미지는 CIIR(Computational Integral Imaging Reconstruction) 기술을 이용하여 생성하는 집적영상 카메라를 이용한 홀로그램 합성 기법.
- 제5항에 있어서,
상기 합성개구 조리개의 이동에 따라 상기 이미지 센서의 각 위치에서 촬영된 다수의 이미지들을 합성한 이미지를 생성하는 집적영상 카메라를 이용한 홀로그램 합성 기법.
- 제4항에 있어서,
상기 단계 (b)는,
상기 기초영상으로부터 상기 요소렌즈에 의해 생성된 요소영상을 구성하는 픽셀들의 재배치를 통해 시점별 영상을 생성하는 단계;
상기 시점별 이미지에 대응하는 랜덤 위상을 생성하는 단계; 및
상기 랜덤 위상에 간섭계를 이용하여 홀로그램을 생성하는 단계를 포함하는 집적영상 카메라를 이용한 홀로그램 합성 기법.
- 제7항에 있어서,
상기 홀로그램은 각각의 시점별 이미지와 랜덤 위상의 곱을 푸리에 변환하는 집적영상 카메라를 이용한 홀로그램 합성 기법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130029837A KR101524827B1 (ko) | 2013-03-20 | 2013-03-20 | 집적영상 카메라와 이를 이용한 홀로그램 합성 기법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130029837A KR101524827B1 (ko) | 2013-03-20 | 2013-03-20 | 집적영상 카메라와 이를 이용한 홀로그램 합성 기법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140115128A true KR20140115128A (ko) | 2014-09-30 |
| KR101524827B1 KR101524827B1 (ko) | 2015-06-03 |
Family
ID=51758554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130029837A KR101524827B1 (ko) | 2013-03-20 | 2013-03-20 | 집적영상 카메라와 이를 이용한 홀로그램 합성 기법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101524827B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160065742A (ko) * | 2014-11-28 | 2016-06-09 | 한국전자통신연구원 | 라이트필드 촬영 장치 및 방법 |
| KR102102397B1 (ko) * | 2018-10-31 | 2020-04-20 | 한국항공우주연구원 | 촬영 장치 및 영상 처리 방법 |
| KR102111439B1 (ko) * | 2019-03-14 | 2020-05-15 | 경희대학교 산학협력단 | 홀로그래픽 유닛을 구비한 액정 디스플레이 장치 |
| KR102253320B1 (ko) * | 2019-12-26 | 2021-05-17 | 충북대학교 산학협력단 | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 |
| KR20210151474A (ko) * | 2020-06-05 | 2021-12-14 | 한국과학기술원 | 마이크로렌즈 어레이를 이용한 초박형 카메라 장치 그리고 이의 다기능 이미징 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008216579A (ja) * | 2007-03-02 | 2008-09-18 | Olympus Corp | ホログラフィックプロジェクション方法及びホログラフィックプロジェクション装置 |
| JP5397980B2 (ja) * | 2008-09-11 | 2014-01-22 | 独立行政法人情報通信研究機構 | 立体映像撮影装置および立体映像撮影方法 |
| EP2244484B1 (en) * | 2009-04-22 | 2012-03-28 | Raytrix GmbH | Digital imaging method for synthesizing an image using data recorded with a plenoptic camera |
-
2013
- 2013-03-20 KR KR1020130029837A patent/KR101524827B1/ko active IP Right Grant
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160065742A (ko) * | 2014-11-28 | 2016-06-09 | 한국전자통신연구원 | 라이트필드 촬영 장치 및 방법 |
| KR102102397B1 (ko) * | 2018-10-31 | 2020-04-20 | 한국항공우주연구원 | 촬영 장치 및 영상 처리 방법 |
| KR102111439B1 (ko) * | 2019-03-14 | 2020-05-15 | 경희대학교 산학협력단 | 홀로그래픽 유닛을 구비한 액정 디스플레이 장치 |
| KR102253320B1 (ko) * | 2019-12-26 | 2021-05-17 | 충북대학교 산학협력단 | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 |
| KR20210151474A (ko) * | 2020-06-05 | 2021-12-14 | 한국과학기술원 | 마이크로렌즈 어레이를 이용한 초박형 카메라 장치 그리고 이의 다기능 이미징 방법 |
| US11818473B2 (en) | 2020-06-05 | 2023-11-14 | Korea Advanced Institute Of Science And Technology | Ultrathin camera device using microlens array, and multi-functional imaging method using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101524827B1 (ko) | 2015-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6965330B2 (ja) | 可変焦点および／または物体認識を備えたウェアラブル３ｄ拡張現実ディスプレイ | |
| Stern et al. | Three-dimensional image sensing, visualization, and processing using integral imaging | |
| KR100947366B1 (ko) | 입체영상 디스플레이 방법 및 시스템 | |
| JP5752823B2 (ja) | 粗インテグラルホログラフィックディスプレイ | |
| US8878896B2 (en) | Apparatus method and system for imaging | |
| Li et al. | Simplified integral imaging pickup method for real objects using a depth camera | |
| KR101524827B1 (ko) | 집적영상 카메라와 이를 이용한 홀로그램 합성 기법 | |
| CN108141578B (zh) | 呈现相机 | |
| Hwang et al. | Free view 3-D visualization of occluded objects by using computational synthetic aperture integral imaging | |
| RU2689971C2 (ru) | Стереоскопическое визуализирующее устройство | |
| Luo et al. | Depth calculation method of integral imaging based on Gaussian beam distribution model | |
| Kagawa et al. | A three‐dimensional multifunctional compound‐eye endoscopic system with extended depth of field | |
| KR20150120029A (ko) | 집적 영상시스템의 3차원 영상 표시깊이변환방법 | |
| KR101322187B1 (ko) | 입체 동영상 촬영용 장치 및 카메라 | |
| JP2013236291A (ja) | 立体撮像装置 | |
| KR101733346B1 (ko) | 직접영상 시스템에서 정치 실영상 구현을 위한 요소영상 변환 방법 | |
| Benzeroual et al. | 3D display size matters: Compensating for the perceptual effects of S3D display scaling | |
| KR101608753B1 (ko) | 초점 이동 영상 촬영을 통한 3차원 컨텐츠 생성 방법 및 장치 | |
| Yang et al. | Influences of the pickup process on the depth of field of integral imaging display | |
| WO2012014695A1 (ja) | 立体撮像装置およびその撮像方法 | |
| JP3235441U (ja) | １枚の撮像素子の１台のカメラの映像を既存のすべての３ｄ形式にエンコードする | |
| KR20140098040A (ko) | 입체 동영상 촬영용 장치 및 카메라 | |
| KR101790168B1 (ko) | 포물경을 이용한 입체영상 디스플레이 장치 | |
| KR101433645B1 (ko) | 입체 동영상 촬영용 장치 및 카메라 | |
| Choi et al. | Triple-view three-dimensional display based on direct-projection integral imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191014 Year of fee payment: 5 |