KR20150120029A - 집적 영상시스템의 3차원 영상 표시깊이변환방법 - Google Patents

Abstract

본 발명은 3차원 물체가 렌즈어레이를 투시하도록 하여 요소영상을 획득하는 영상획득단계와, 영상획득단계에 의해 수집된 요소영상을 다시 렌즈어레이를 통해 공간상에 3차원 영상으로 재생하는 영상재생단계로 구성되어 광학적으로 획득한 3차원 물체의 요소영상을 3차원 입체영상으로 복원하는 집적 영상시스템의 3차원 영상 표시깊이변환방법에 관한 것으로서, 더욱 상세하게는 상기 영상재생단계에 설치되는 렌즈어레이는 상기 영상획득단계 단계에 설치되는 렌즈어레이에 비해 작은 사이즈로 구성되고, 상기 영상획득단계와 영상재생단계 사이에는 영상획득단계의 렌즈어레이를 통해 획득한 요소영상의 사이즈를 영상재생단계의 렌즈어레이의 사이즈에 맞게 변환 및 요소영상의 깊이를 변환시키는 요소영상 변환단계가 포함되는 것이 특징인 집적 영상시스템의 3차원 영상 표시깊이변환방법에 관한 것이다.
상술한 바와 같이 요소영상 변환 과정을 통하여 집적영상 장치 방식의 근본적인 깊이 역전 문제를 해결하고, 왜곡이 없는 3차원 영상을 복원할 수 있다.
그리고 디스플레이 과정에서는 새롭게 재구성된 요소영상과 직경이 작은 렌즈어레이를 사용하여 실상 면과 허상 면 모두에 영상을 디스플레이함으로써 기존의 해상도 우선 집적 영상 시스템과 비교하였을 때, 해상도는 그대로 유지하면서 동시에 공간감이 향상된 3차원 영상을 재생한다.
또한, 요소영상의 깊이 역전 현상을 해결하고, 동일한 렌즈어레이를 사용하는 일반적인 집적 영상 디스플레이 장치로는 획득할 수 없는 깊이 표현 영역에 위치하고 있는 물체를 복원할 수 있다는 장점을 가진다는 등의 현저한 효과가 있다.

Description

집적 영상시스템의 3차원 영상 표시깊이변환방법{Depth convertion method of 3D images interal imaging system}

본 발명은 집적 영상시스템의 3차원 영상 표시깊이변환방법에 관한 것으로서, 더욱 상세하게는 영상획득과정과 디스플레이과정에 동일한 단일렌즈 직경을 갖는 렌즈어레이를 사용하던 기존의 집적 영상시스템과는 다르게, 각 과정에서 단일렌즈 직경이 서로 다른 렌즈어레이를 사용함으로써 고해상도의 영상이미지 특성을 유지하면서도 상대적으로 먼 거리에 위치한 3차원 물체를 획득할 수 있는 집적 영상시스템의 3차원 영상 표시깊이변환방법에 관한 것이다.

최근 3차원 영상과 영상 재생기술에 관한 연구들이 활발히 이뤄지고 전 세계적으로 많은 관심을 얻고 있다.

영상기술이 첨단화되고 고도의 기술집적이 이루어지고 있다.

이에 따라 3차원 영상은 2차원 영상보다 실감 있고 자연스러우며 보다 인간에 가까워 3차원 영상에 대한 수요가 증가하고 있다.

3차원 영상 재생 기술은 관측자에게 평면 이미지가 아니라 입체감 있고 실감 있는 3차원 입체 영상을 느낄 수 있도록 입체로 표시하는 기술을 말한다.

현재 3차원 입체영상을 재생하기 위한 방법에는 스테레오스코피(stereoscopy), 홀로그래피 (holography), 집적 영상(integral imaging)기법 등 여러 가지 기술이 연구 개발되고 있다.

이들 기술 중에서 집적 영상방식은 리프만(Lippmann)에 의해 1908년에 처음 제안되었다. 그 후, 집적 영상방식은 차세대 3차원 영상 재생 기술로 연구되어 왔다.

이러한 3차원 집적 영상표시방법의 종래문헌으로는 등록특허 제0891160호에 요소영상 압축 장치가 영역 분할 기법을 적용하여 요소영상을 압축하는 방법에 있어서, (a) 3차원 객체로요소영상터 렌즈 어레이를 통하여 서로 다른 시차를 가지는 요소영상을 획득하는 단계; (b) 상기 획득된 요소영상을 유사 상관도에 따라 복수의 유사한 영상을 가진 유사 영역으로 분할하는 단계; (c) 상기 각각의 유사 영역에 포함된 영상을 1차원 요소영상 배열로 재배열하는 단계; 및 (d) 상기 재배열되어 생성된 1차원 요소영상 배열을 압축하는 단계를 포함하는 영역 분할 기법을 이용한 요소영상 압축 방법이 기재되어 있다.

또 다른 종래문헌의 실시 예로는 등록특허 제0942271호에 렌즈 어레이를 통해 픽업한 요소영상을 이용하여 집적 영상을 복원하는 방법에 있어서, 상기 요소영상을 미리 지정된 크기로 확대하고, 상기 확대된 각 요소영상의 동일 좌표에 위치하는 픽셀을 합하여 복원 영상을 생성하는 단계; 상기 각 복원 영상의 블러 메트릭 값을 측정하는 단계; 초점 거리에 따른 상기 블러 메트릭 값의 변곡점에 상응하는 복원 영상을 포커스 영상으로 선정하는 단계; 상기 포커스 영상의 각 픽셀값에서 상응하는 침식 마스크의 각 픽셀값을 빼는 침식 연산을 통해 침식 영상을 생성하는 단계; 및 상기 복원 영상에 상기 침식 영상을 매핑하는 단계를 포함하는 집적 영상 복원 방법이 기재되어 있다.

도 1은 집적 영상방식의 기본원리를 나타내 개요도이다.

기본적으로 3차원 물체(110)를 3차원 영상(210)으로 재생하는 원리는 3차원 물체(110)가 렌즈어레이(120)을 투시하도록 하여 요소영상(130)을 획득하는 영상획득단계(100)와 영상획득단계(100)에 의해 수집된 요소영상(100)을 다시 렌즈어레이(220)을 통해 공간상에 3차원 영상(210)로 재생하는 영상재생단계(200)로 구성된다.

즉, 집적 영상 기술은 도 1에서와 같이 크게 영상획득단계(100)와 영상재생단계(200)로 나누어진다.

영상획득단계(100)는 이미지 센서와 같은 2차원 감지기와 렌즈어레이(120)로 구성되며, 이때 3차원 물체(110)는 렌즈어레이(120) 앞에 위치한다.

그러면 3차원 물체(110)의 다양한 영상정보들이 렌즈어레이(120)을 통과한 후 2차원 감지기에 저장된다.

이때 저장된 영상은 요소영상(130)으로서 3차원 영상(210)의 재생을 위해 이용된다.

이후 집적 영상기술의 영상재생단계(200)는 영상획득단계(100)의 역 과정으로, 액정 표시 장치와 같은 영상재생장치와 렌즈 배열(220)로 구성된다.

여기서, 영상획득단계(200)에서 얻은 요소영상(230)은 영상재생장치에 표시되고, 요소영상(230)의 영상정보는 렌즈 배열(220)을 통과하여 공간상에 3차원 영상(210)으로 재생되게 된다.

실질적으로 영상획득단계(100)의 요소영상(130)과 영상재생단계(200)의 요소영상(230)은 실질적으로 동일한 것으로 단지, 영상재생단계(200)의 요소영상(230)은 영상획득단계(100)에서 획득한 요소영상(120)을 2차원 감지기에 저장되어 3차원 영상을 재생하기 위해 사용하는 것으로서 편의상 영상획득단계(100)와 영상재생단계(200)를 구분하기 위하여 다른 도면요소영상호로 도시하였다.

집적 영상방식은 홀로그래피 방식과 같이 완전 시차(Full parallax)와 연속적인 관측시점을 제공하는 장점이 있다.

집적 영상방식의 주요한 특징은 입체 영상을 관측하는데 안경이나 기타 도구가 필요하지 않고, 시점이 아니라 일정한 시야각 내에서 연속적인 수직, 수평 시차를 제공할 수 있다는 것이다.

또한, 집적 영상방식은 총 천연색 실시간 영상재생이 가능하며, 기존의 평면 영상 장치와 호환성이 뛰어나다.

이러한 집적 영상방식을 이용하여 3차원 영상을 재생시키는 방법은 크게 두 가지 방식으로 분류된다.

첫 번째는 깊이 우선 방식(Depth Priority Integral Imaging : DPII)이고, 두번째는 해상도 우선 방식(Resolution Priority Integral Imaging : RPII)이다.

먼저 깊이 우선 방식은 렌즈어레이와 디스플레이 간의 거리와 렌즈어레이의 초점거리가 같도록 설계된 시스템으로 실상 면과 허상 면의 정보를 모두 갖고 있어 입체감이 큰 영상을 재생하는데 유리하다.

반면에 해상도 우선 방식은 렌즈어레이와 디스플레이 사이의 거리와 렌즈어레이의 초점거리를 다르게 설계한 디스플레이 방식으로 그림 3처럼 디스플레이와 렌즈의 거리가 렌즈의 초점거리보다 짧을 경우 복원 영상은 실상 평면에 집적되며, 초점거리보다 큰 경우 허상 평면에 집적되게 되는데 이 위치를 중앙 깊이 평면(CDP)이라 정의한다.

이 경우 고해상도의 3차원 영상 복원이 가능하다는 이점이 있지만 오로지 중앙 깊이 평면에서만 영상복원이 가능하여 깊이 감 표현에 제약이 있다는 단점이 존재한다.

도 2는 깊이 우선 집적 영상방식을 나타낸 개요도이고, 도 3은 해상도 우선 집적 영상방식을 나타낸 개요도이다.

집적 영상 방식은 렌즈 배열(220)과 요소영상 표시장치인 디스플레이 사이의 거리(g)에 따라서 2종류로 구분할 수 있다.

즉 거리 g가 렌즈 배열(220)의 기초렌즈의 초점거리 (f)와 동일한 경우와 그렇지 않은 경우로 나눌 수 있다.

g=f인 경우는 도 2(a)와 같이 요소영상(230)의 한 픽셀이 렌즈를 통하여 평행빔이 되어서 집적 빔이 만들어지게 된다.

이 경우를 깊이 우선 집적 영상 방식이라 gk며, 3차원 영상을 표시하는 깊이 영역을 최대로 만들 수 있지만 3차원 영상(210)의 해상도가 낮은 단점이 있다.

이에 반해서 g가 f와 동일하지 않은 경우는 해상도 우선 집적 영상방식이라 하며, 요소영상(230)의 한 픽셀이 렌즈를 통하여 수렴빔이 되어서 집적 빔이 만들어지며, 이 경우에 3차원 영상(210)의 해상도를 증가시킬 수 있지만 깊이 영역이 급격히 줄어든다.

또한, 앞서 말한 두 방식 모두가 렌즈어레이라는 광학 소자를 사용함으로써 근본적인 문제인 깊이 역전 현상(Pseudoscopic)이 발생한다.

깊이 역전 현상은 물체를 바라보는 방향이 요소 영상 획득 과정과 3차원 영상 복원 과정에서 서로 반대이므로 재생되는 입체 영상의 깊이가 역전되는 현상이다.

이 깊이 역전 현상이 가장 이슈화되는 이유는 3차원 영상이 기존의 2차원 영상과 달리 깊이 차원을 갖기 때문에 깊이 역전 현상이 일어나게 되면 관찰자에게 앞뒤가 뒤바뀐 복원 영상을 제공하게 된다.

그렇기 때문에 깊이 역전 현상은 반드시 개선되어야 할 문제점이다.

1931년 Ives는 광학적으로 획득된 요소 영상을 복원하여 깊이가 역전된 영상이 재생되면, 렌즈어레이를 통하여 획득된 요소영상이 역전된 상태였기 때문에 맨 처음 요소영상 획득에 사용된 물체와 동일한 방식으로 재생된 3차원 영상을 2차 오브젝트로 가정하고 이를 동일한 렌즈어레이를 통하여 다시 한번 픽업 후 이를 재생 함으로서 깊이 역전 현상이 제거된 복원영상을 얻을 수 있게 된다.

이 방법은 실상 면에 왜곡이 없는 3차원 영상을 재생할 수 있다.

하지만, 깊이 변환 문제에 있어서 효과적인 해결법은 아니다.

그 이유는, 두 단계의 기록과정으로 인하여 이미지의 품질에 현저한 저하가 오게 되는데 이는 회절효과와 잘못된 구조의 영상 획득 장치와 표현 소자 때문에 발생한다.

다음으로 제안된 방법은 1988년 Davies 가 제안한 방법으로 물체와 렌즈어레이 사이에 Auto-collimating screen을 두고 요소영상을 획득하면 Auto-collimating screen에 의해서 깊이가 역전된 왜곡이 없는 3차원 영상이 만들어지고 이 영상을 렌즈어레이가 물체로 받아들이면서 다시 깊이가 역전됨으로써, 처음 물체와 같은 3차원 영상이 허상 면에 복원된다.

이 방법은 Ives와 달리 두 번의 기록이 필요 없이 한번으로 영상을 얻어 낼 수 있는 장점이 있다.

하지만, Auto-collimating screen의 회절에 의한 해상도 저하 문제가 발생한다. 게다가 복원된 영상은 실상 면이 아닌 허상 면에 재생된다는 단점이 있다.

또한, 1997년 Okano에 의하여 제안된 방법은 광학적으로 획득한 각각의 요소영상 중심축을 기준으로 180도 회전하여 새로운 요소영상을 만들고 이를 복원하면 허상 면에서 왜곡이 없는 3차원 영상을 얻을 수 있게 된다.

이 방법은 앞선 방법과는 다르게 해상도 저하가 되지 않는 장점을 갖는다.

하지만, 이 방법 역시 복원된 영상이 허상 면에 재생되는 단점이 있다.

또 다른 방법으로는 2003년 Jang과 Javidi가 제안한 방법으로 Davies에 의해 제안된Auto-collimating screen 대신 converging lens를 사용하는 방식이 있다.

이 방법은 깊이가 역전된 요소영상을 기록하고 기록된 요소영상을 복원하는 과정에서 각각의 요소영상들을 Okano의 방식처럼 각각 180도 회전한다.

이를 복원하면, 실상 면에서 3차원 영상을 얻을 수 있다는 장점이 있으나 converging lens에 의한 왜곡으로 인해 영상에 손실을 발생시키는 단점 또한 가지고 있다 [10]. 마지막으로 2013년 Jung과 Lee가 제안한 방법으로 요소영상의 픽셀을 재배열 하는 간단한 픽셀 재배열(Smart Pixel Mapping: SPM) 알고리즘을 사용하는 방식이 있다.

이 방식은 기존의 방식들이 고가의 장비가 필요하고 요소영상을 획득하는 방법이 복잡했었던 문제점을 해결하고자 소프트웨어 알고리즘을 이용하여 디지털 적으로 깊이 역전 현상을 해결 할 수 있는 방법으로 제안되었다.

하지만, 제안하는 픽셀 재배열 알고리즘은 복원되는 영상의 공간적 표현 범위가 렌즈어레이와 렌즈어레이의 초점거리에 의하여 생성되는 기본적인 중앙 깊이 평면(CDP) 사이로 제한 되어 깊이 변환 범위가 한정적이라는 단점이 있다.

또한, 기존의 모든 집적영상 시스템들은 요소영상 획득과정과 3차원 영상 복원 과정에서 동일한 렌즈어레이를 사용하기 때문에 요소 영상 획득(Pickup)을 위한 변수와 3차원 영상 복원(Display)을 위한 변수 사이에 상반관계(Trade off)가 발생한다는 근본적인 문제를 갖는다.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 시스템과 알고리즘은 기존의 집적영상 시스템에서는 표현이 불가능한 거리의 3차원 물체를 직접 설계한 서로 다른 직경의 렌즈어레이 조합을 이용하여 실시간으로 획득하고, 이렇게 획득된 단위영상에 대해 픽셀 재배열 알고리즘을 적용함으로써 새로운 형태의 변조된 2차 요소영상을 생성한다.

그리고 광학적 복원 기법을 통해 변조된 2차 요소영상을 복원하였을 때 깊이 역전 현상을 해결하고 해상도와 깊이 감을 동시에 만족시킬 수 있는 새로운 시스템을 제안하고자 한다.

본 발명은 3차원 물체가 렌즈어레이를 투시하도록 하여 요소영상을 획득하는 영상획득단계와, 영상획득단계에 의해 수집된 요소영상을 다시 렌즈어레이를 통해 공간상에 3차원 영상으로 재생하는 영상재생단계로 구성되어 광학적으로 획득한 3차원 물체의 요소영상을 3차원 입체영상으로 복원하는 집적 영상시스템의 3차원 영상 표시깊이변환방법에 있어서, 상기 영상재생단계에 설치되는 렌즈어레이는 상기 영상획득단계 단계에 설치되는 렌즈어레이에 비해 작은 사이즈로 구성되고, 상기 영상획득단계와 영상재생단계 사이에는 영상획득단계의 렌즈어레이를 통해 획득한 요소영상의 사이즈를 영상재생단계의 렌즈어레이의 사이즈에 맞게 변환 및 요소영상의 깊이를 변환시키는 요소영상 변환단계가 포함되는 것이 특징이다.

상술한 바와 같이 요소영상 변환 과정을 통하여 집적영상 장치 방식의 근본적인 깊이 역전 문제를 해결하고, 왜곡이 없는 3차원 영상을 복원할 수 있다.

그리고 디스플레이 과정에서는 새롭게 재구성된 요소영상과 직경이 작은 렌즈어레이를 사용하여 실상 면과 허상 면 모두에 영상을 디스플레이함으로써 기존의 해상도 우선 집적 영상 시스템과 비교하였을 때, 해상도는 그대로 유지하면서 동시에 공간감이 향상된 3차원 영상을 재생한다.

또한, 요소영상의 깊이 역전 현상을 해결하고, 동일한 렌즈어레이를 사용하는 일반적인 집적 영상 디스플레이 장치로는 획득할 수 없는 깊이 표현 영역에 위치하고 있는 물체를 복원할 수 있다는 장점을 가진다는 등의 현저한 효과가 있다.

도 1은 집적 영상방식의 기본원리를 나타낸 개요도.
도 2는 깊이 우선 집적 영상방식을 나타낸 개요도.
도 3은 해상도 우선 집적 영상방식을 나타낸 개요도.
도 4는 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법을 나타낸 개요도.
도 5는 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법의 순차도.
도 6은 유효 픽업 영역을 정의하는 기하광학적 해석을 나타낸 개요도.
도 7은 본 발명 요소영상 변환단계에서 요소영상의 변환과정을 나타낸 개요도.
도 8은 본 발명 요소영상 변환단계에서 깊이변환되는 요소영상.
도 9는 깊이 우선 집적 영상방식 적용된 집적 영상시스템 개요도.
도 10은 깊이변환단계에서 요소영상을 조정하는 것을 나타낸 개요도.
도 11은 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법이 적용되는 장치를 나타낸 사진.
도 12는 렌즈사이즈에 따른 요소영상의 해상도를 비교한 이미지사진.
도 13은 k값에 따른 요소영상 비교 이미지사진.
도 14는 본 발명의 집적 영상시스템의 3차원 영상 표시깊이변환방법에 의해 2차 요소영상을 복원한 이미지사진.
도 15는 서로 다른 세 지점에서 얻어진 3차원 복원 영상의 시차영상을 나타낸 이미지사진.
도 16은 k값을 변경에 따른 공간상에 복원된 3차원 영상의 이미지사진.

본 발명 3차원 물체(110)가 렌즈어레이(120)를 투시하도록 하여 요소영상(130)을 획득하는 영상획득단계(100)와, 영상획득단계(100)에 의해 수집된 요소영상(130)을 다시 렌즈어레이(220)를 통해 공간상에 3차원 영상(210)으로 재생하는 영상재생단계(200)로 구성되어 광학적으로 획득한 3차원 물체(110)의 요소영상(130)을 3차원 입체영상으로 복원하는 집적 영상시스템의 3차원 영상 표시깊이변환방법은 상기 영상재생단계(200)에 설치되는 렌즈어레이(220)는 상기 영상획득단계(100) 단계에 설치되는 렌즈어레이(120)에 비해 상대적으로 작은 사이즈로 구성되고, 상기 영상획득단계(100)와 영상재생단계(200) 사이에는 영상획득단계(100)의 렌즈어레이(120)를 통해 획득한 요소영상(130)의 사이즈를 영상재생단계(200)의 렌즈어레이(220)의 사이즈에 맞게 변환 및 요소영상(130)의 깊이를 변환시키는 요소영상 변환단계(300)가 포함되는 것이다.

상기 영상재생단계(200)에서는 깊이 우선 집적 영상 디스플레이 장치를 통해 3차원 영상을 재생시키는 것이다.

이하, 본 발명 집적 영상시스템의 3차원 표시깊이변환방법을 첨부한 도면에 의해 상세히 설명하면 다음과 같다.

도 4는 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법을 나타낸 개요도이며, 도 5는 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법의 순차도이다.

집적 영상시스템은 3차원 물체(110)가 렌즈어레이(120)를 투시하도록 하여 요소영상(130)을 획득하는 영상획득단계(100)와, 영상획득단계(100)에 의해 수집된 요소영상(130)을 다시 렌즈어레이(220)를 통해 공간상에 3차원 영상(210)으로 재생하는 영상재생단계(200)로 구성되어 광학적으로 획득한 3차원 물체(110)의 요소영상(130)을 3차원 입체영상으로 복원하는 것이다.

이에, 본 발명의 집적 영상시스템의 3차원 영상 표시깊이변환방법은 상기 영상재생단계(200)에 설치되는 렌즈어레이(220)는 상기 영상획득단계(100) 단계에 설치되는 렌즈어레이(120)에 비해 상대적으로 작은 사이즈로 구성되고, 상기 영상획득단계(100)와 영상재생단계(200) 사이에는 영상획득단계(100)의 렌즈어레이(120)를 통해 획득한 요소영상(130)의 사이즈를 영상재생단계(200)의 렌즈어레이(220)의 사이즈에 맞게 변환 및 요소영상(130)의 깊이를 변환시키는 요소영상 변환단계(300)가 포함되는 것이 특징이다.

즉, 도 4(a)의 직경이 큰 렌즈어레이(120)를 이용한 요소영상 획득방법은 유효 영상 획득영역을 최대화시켜 먼 거리에 있는 물체를 획득할 수 있게 해주며, 획득된 단위영상은 새롭게 정의된 실시간 요소영상 변환단계(300)를 통하여 깊이역전현상이 해결되고, 3차원 영상 복원에 사용된 작은 직경의 렌즈어레이(220)에 맞게 변환되어, 실상면과 허상면을 동시에 표현가능한 도 4(b)의 깊이 우선 집적 영상디스플레이장치에 복원된다.

영상획득단계(100)에서는 일반적으로 상용화된 디지털카메라와 유효픽업영역을 넓히기위해 직경이 큰 렌즈어레이(120)를 사용하였다.

이를 통해 렌즈어레이(120)로부터 먼 거리에 있는 실제물체를 단위영상으로 기록할 수 있게 된다.

그러나 직경이 큰 렌즈어레이(120)를 통하여 획득한 요소영상(130)을 전처리없이 직경이 작은 렌즈어레이(220)를 사용하는 깊이 우선 집적 영상방식으로 복원하는 것은 불가능하다.

왜냐하면 직경이 작은 렌즈어레이가 표현할 수 있는 요소영상의 화소수는 직경이 큰 렌즈어레이로 획득한 요소영상의 화소수에 비하여 상대적으로 적기 때문이다.

따라서, 요소영상 변환단계(300)에서 앞서, 기록된 단위 영상을 직경이 작은 디스플레이용 렌즈어레이(220)에 맞는 요소영상으로 변환하여야 한다.

이러한 요소영상 변환단계(300)를 통하여 집적 영상장치방식의 근본적인 깊이역전 문제를 해결하고, 왜곡이 없는 3차원 영상을 복원할 수 있다.

마지막으로 영상재생단계(200)에서는 새롭게 재구성된 요소영상(230)과 직경이 작은 렌즈어레이(120)를 사용하여 실상면과 허상면 모두에 영상을 디스플레이함으로써 기존의 해상도 우선 집적 영상시스템과 비교하였을 때, 해상도는 그대로 유지하면서 동시에 공간감이 향상된 3차원 영상을 재생한다.

또한, 본 발명을 통하여 우리는 요소영상의 깊이역전 현상을 해결하고, 동일한 렌즈어레이를 사용하는 일반적인 집적 영상디스플레이장치로는 획득할 수 없는깊이표현 영역에 위치하고 있는 물체를 복원할 수 있다는 장점을 가진다.

도 6은 유효 픽업 영역을 정의하는 기하광학적 해석을 나타낸 개요도이다.

우선 렌즈어레이(120)를 이용한 픽업에서 유효픽업영역을 정의하고자한다.

도 6은 유효픽업영역을 정의하는 기하광학적 해석을 보여준다.

도 6에서와 같이 집적 영상기법의 영상획득단계(100)에서 사용되는 렌즈어레이는 많은 수의 기초렌즈로 구성된다.

여기서 기초렌즈의 직경을 d라고 하고, 초점거리를 f라고 정의한다.

일반적으로 렌즈어레이는 디스플레이패널 앞에 위치하며, 하나의 렌즈에 대응하는 각각의 요소영상이 디스플레이패널에 표시된다.

여기서 단일 요소영상의 픽셀크기를 n × n 이라고 정의한다.

도 6과 같이 이웃하는 두 개의 렌즈를 고려하여, 3차원 물체(110)는 렌즈어레이로(120)부터 z 거리에 위치한다고 가정한다.

이때, 3차원 물체(110)의 한점이 이웃하는 두 개의 렌즈에 서로 다른 위치에 기록이 되어야만　각각의 요소영상은 서로 다른 시차를 가질 수 있다.

이 조건하에서 집적 영상픽업장치가　가지는 최대유효 픽업영역은 다음과 같이 정의할 수 있다.

아래 식(1)에서 n은 요소영상(120)이 갖는 픽셀수를 의미하며, f는 렌즈어레이(110)의 초점거리를 뜻한다.

(1)

식(1)을 통해 알 수 있듯이, 집적 영상픽업방법에서 유효픽업영역을 확대하기 위해서는 렌즈의 초점거리와, 요소영상의 픽셀수를 증가시켜야한다.

그러나 렌즈의 초점거리를 증가시킨 렌즈어레이는(120) 영상획득단계(110)에서는 유리하게 사용할 수 있지만 영상재생단계(200)에서는 오히려 시야각을 줄이는 문제점을 발생시킨다.

따라서, 영상획득단계(100)와 영상재생단계(200)에서 동일한 렌즈어레를 사용하는 집적 영상시스템은 유효픽업영역과 디스플레이 시야각 사이의 상반관계(Trade off)가 생기게 된다.

본 발명에서는 이러한 문제점을 해결할 수 있는 방법으로 먼 거리에 위치한 실사영상에 대해서 효과적으로 단위영상을 획득할 수 있도록 상대적으로 영상재생단계(200)에서 사용하는 렌즈어레이(220)보다 직경이 큰렌즈로 구성된 렌즈어레이(120)를 사용한다.

식(1)의 조건에 의해서 직경이 큰 렌즈를 사용하면 동일한 F/# 조건(렌즈어레이를 구성하고 있는 단일렌즈의 수)에서 상대적으로 렌즈의 초점거리와 이에 대응하는 요소영상의 픽셀수를 증가시킬 수 있다.

따라서, 유효픽업영역을 증가시키면서도 디스플레이장치의 시야각을 확보할 수 있다.

앞서 설명하였듯 본 발명은 영상획득단계(100)와 영상재생단계(200)과정에 사용되는 렌즈어레이가 서로 다른 단일렌즈 직경의 크기를 가진다.

영상획득단계(100)에서는 유효픽업영역을 최대화하기 위해 직경이 큰 렌즈어레이(120)를 사용하고, 영상재생단계(200)에서는 깊이표현영역을 극대화하기 위하여 직경이 상대적으로 작은 렌즈어레이(220)를 사용한다.

이때, 획득된 단위영상을 복원하기 위해서는 요소영상변환 및 변조된 2차 요소영상 변환과정이 필요하다.

왜냐하면 작은 직경의 렌즈어레이가 표현할 수 있는 요소영상의 화소수는 큰 직경의 렌즈어레이로 획득한 요소영상의 화소수에 비하여 상대적으로 작기 때문이다.

결국, 실시간 요소영상 변환 알고리즘이 필요하게 된다.

상기 요소영상변환 및 변조된 2차 요소영상 변환과정을 요소영상 변환단계(200)라고 한다.

알고리즘은 두 번의 과정을 통하여 최종적으로 변조된 2차 요소영상을 생성한다.

첫번째 과정은 직경이 큰 렌즈어레이를 통하여 얻어진 단위영상을 요소영상으로 변환하는 과정이다.

이 과정은 식(2)를 통하여 이루어진다.

도 7은 본 발명 요소영상 변환단계에서 요소영상의 변환과정을 나타낸 개요도.

도 7에서 s_i와s_j는 한 개의 단위영상의 위치를 나타내며, s_s와s_t는 (s_i,s_j)에 해당하는 단일 단위영상의 픽셀위치이다.

그리고, e_s와 e_t는 생성된 단위 요소영상의 위치를나타내며 e_i와e_j는 이단위 요소영상의 픽셀위치를 의미한다.

이 과정에서 기록된 단위영상에 대하여 (s_i,s_j)위치의 단위영상에서 (s_s, s_t)에 위치한 픽셀은 단위 영상변환에 의해서 (e_s,e_t)위치의 요소영상에서 (e_i,e_j)에 위치한 픽셀로 바뀌게 된다.

이러한 단위영상 변환과정은 다음의 식(2)와 같이 행렬식으로 표현할 수 있다.

(2)

식(2)를 이용하여 단위영상으로 부터 변환된 요소영상은 직경이 큰 렌즈어레이를 통해 얻어진 영상이므로 이 요소영상을 직경이 작은 렌즈어레이에서 복원하기위해서는 깊이변환행렬을 사용해야한다.

이때, 깊이변환알고리즘은 다음식(3)과 같이 주어진다.

(3)

여기서 기호n은 렌즈가 표현하는 픽셀수를 의미하고 k는 변환하고자 하는 복원면의 깊이값을 의미한다.

이러한 변환은 실시간으로 계산이 가능하다.

식(2)와 (3)을 이용하여 만든 최종 요소영상 변환단계(300)는 단위영상을 요소영상으로 변환하는 과정과 요소영상의 깊이변환을 동시에 수행할 수 있는 새로운 변환알고리즘 행렬식으로 나타낼 수 있다.

이 새로운 행렬식은 다음 식(4)와 같이 표현할 수 있다.

(4)

상기 식(4)는 영상의 픽셀정보에 기반한 행렬식이기 때문에, 단위영상을 깊이가 변환된 요소영상으로 실시간 변환하는 것이 가능하다.

도 8은 본 발명 요소영상 변환단계에서 깊이변환되는 요소영상이다.

도 8에 도시된 바와 같이 알고리즘을 통하여 생성 및 변환된 이미지의 예를 나타내고 있다.

도 8의(a)는 직경이 큰 렌즈어레이를 통해 획득한 단위영상이며, (b)는 식(4)를 통해 단위영상으로부터 변환된 요소영상이다.

그리고, 도 8의 (c)는 식(4)를 통해 변조된 2차 요소영상을 나타내고 있다.

도 9는 깊이 우선 집적 영상방식 적용된 집적 영상시스템 개요도이다.

변조된 2차 요소영상을 이용하여 3차원 입체 영상을 복원하기 위해 사용하는 집적 영상 디스플레이 방식은 깊이 우선 집적 영상디스플레이 방식이다.

이 방식은 일반적으로 영상획득단계와 영상재생단계에 서로 동일한 크기의 단일 렌즈 직경을 갖는 렌즈어레이를 사용하고, 렌즈어레이의 초점거리와 동일한 위치에 디스플레이 패널을 위치시킴으로써 요소영상을 3차원 영상으로 표현하는 것이다.

그러나 본 발명에 사용하는 렌즈어레이는 영상획득단계(100)에서 사용된 렌즈어레이 보다 상대적으로 직경이 작은 렌즈어레이를 사용하고 렌즈어레이의 초점거리와 동일한 위치에 디스플레이 패널을 위치시킨다.

이때, 영상 픽셀에 대한 새로운 배열을 통하여 복원에 사용한 렌즈어레이에 적합한 요소영상을 재생성하여 사용함으로써 3차원 복원영상의 정보를 실상 면과 허상 면 동시에 표현 가능하고, 이를 통하여 기존의 방식에 비하여 향상된 깊이 감을 제공할 수 있도록 하였다.

또한, 식 (4)의 k값을 변경해 줌으로써 3차원 영상의 복원 위치를 바꿀 수 있다.

식 (4)의 k값은 복원하고자 하는 깊이 평면을 의미한다.

도 10은 깊이변환단계에서 요소영상을 조정하는 것을 나타낸 개요도이다.

도 10을 통해 알 수 있듯이, 복원된 3차원 입체영상은 직경이 큰 렌즈어레이를 통해 먼 거리의 물체를 획득하여 복원하기 때문에, 기존의 상대적으로 직경이 작은 렌즈어레이로 획득된 영상에 비하여 넓은 깊이 정보를 갖고 있다.

복원된 3차원 입체영상은 렌즈어레이를 중심으로 앞 부분은 실상 면에서 재생되고, 뒷부분은 허상 면에서 재생된다.

이때, k값을 변경해 줌으로써 복원되는 영상의 깊이 정보를 확인할 수 있는데, 이는 식 (4-1), (4-2)에서 k값의 변경을 통하여 요소영상의 복원위치인 (nei, n)를 변화시켜줌으로써 복원되는 영상의 위치를 확인할 수 있다.

(4-1)

(4-1)

도 11은 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법이 적용되는 장치를 나타낸 사진이다.

도 11에 도시된 바와 같이 먼 거리에 위치한 물체를 촬영하기 위해 직경이 큰 렌즈어레이를 사용하며 획득한 단위 영상을 새롭게 제안하는 변환 알고리즘을 통해 요소영상으로 변환하고, 상대적으로 직경이 작은 렌즈어레이에서 복원하기 위하여 다시 변조된 2차 요소영상으로 생성한다.

그리고, 변조된 2차 요소영상을 깊이 우선 집적 영상시스템을 통해 실상 면과 허상 면에 동시에 복원 및 재생하는 시스템이다.

따라서, 제안하는 시스템의 유용함을 보이기 위해서 기초적인 실험을 수행하였다.

<실시예>

도 11(a)의 픽업과정은 6 x 6 개의 렌즈로 구성된 영역만을 사용하는 큰 직경 렌즈어레이를 사용하였고 자세한 사양은 표1에 나타내었다.

<표 1>

디스플레이 패널	픽셀거리	0.1245mm
	해상도	3840×2400 pixel
영상획득단계의 렌즈어레이	렌즈거리	7.47mm
	초점거리	30mm
영상재생단계의 렌즈어레이	렌즈거리	1.6mm
	초점거리	2.4mm
영상획득단계의 렌즈어레이와 KW마크 간의 거리		500mm
영상회득단계의 렌즈어레이와 Browine doll		1000mm

픽업하고자 하는 물체는 KW마크와 Brownie 인형이며, 각각 렌즈어레이로부터 약 500mm 와 1000mm 만큼 떨어진 곳에 위치하고 있다.

KW마크는 40mm(H) × 75mm(W)의 크기에 5mm의 두께를 갖고 있고, Brownie인형은 140(H)mm × 100mm(W)의 크기에 두께는 40이다.

렌즈어레이를 통해 단위 영상을 획득하기 위해서 Nikon 7100D 카메라를 사용하였다.

이렇게 얻어진 단위 영상의 크기는 1200 × 1200 pixel이며, 하나의 단위 영상은 200 × 200 pixel로 구성된다.

이때, 표1에서 영상재생단계에 사용된 직경이 작은 렌즈어레이와 동일한 렌즈어레이를 영상획득단계에 동일하게 적용한다면, 단일 렌즈의 초점거리가 2.4mm이므로, 유효 픽업 범위는 이론적으로 480mm에 불과하여 이를 해당 실험에 적용하게 되면, 두 물체 모두 유효 픽업 영역을 벗어난 위치에 놓여져 있기 때문에 픽업이 불가능할 것이다.

하지만, 본 실험에서는 유효 픽업 범위를 최대화하기 위해 직경이 큰 렌즈어레이를 이용하고, 렌즈어레이의 초점거리는 30mm이므로, 식 (1)에 따라 유효 픽업 영역은 약 6000mm가 된다.

따라서, 픽업을 위해 사용된 KW마스크와 Brownie 인형은 각각 500mm와 1000mm에 놓여져 있으므로 이론상으로 픽업이 가능하다.

이를 증명하기 위하여 표 1의 두 가지 렌즈어레이를 이용해 실험을 진행하였다.

그 결과는 도 12와 같다.

도 12는 렌즈사이즈에 따른 요소영상의 해상도를 비교한 이미지사진이다.

도 12에서 볼 수 있듯이 직경이 작은 렌즈어레이로는 두 물체 모두 획득이 불가능하며 직경이 큰 렌즈어레이에서는 모두 획득되는 것을 알 수 있다.

이 실험을 통해 영상 획득 부와 디스플레이 부에 동일한 작은 직경의 렌즈어레이를 사용하던 기존의 방식보다 제안하는 방식을 통해 유효 픽업 범위가 약 12.5배 증가 되었음을 확인하였다.

다음으로, 직경이 큰 렌즈어레이를 이용한 요소영상 획득단계를 통해 얻어진 단위 영상을 깊이 우선 방식의 집적 영상디스플레이 시스템에 정확히 표현하기 위해 식 (4)의 행렬 식에 대하여 컴퓨터를 이용한 연산을 수행하고 변조된 2차 요소영상을 생성하였다.

또한, 시스템의 상용화 가능성을 검토하기 위하여 최종 변조된 2차 요소영상을 얻는데 까지 걸리는 시간을 측정하였다.

이 실험을 위해 사용된 컴퓨터의 사양은 Intel core i7 processor 이며, 이러한 환경에서 변환 알고리즘을 통해 단위영상으로부터 변조된 2차 요소영상을 생성하는데 소요된 시간은 약 20ms이다.

이는 약 50FPS에 해당되므로 실시간으로 요소영상을 재생성할 수 있다는 가능성을 확인하였다.

또한, 제안하는 시스템이 기존의 일반적인 집적 영상시스템에 비하여 넓은 깊이 정보를 갖는다는 것을 증명하기 위하여 실험을 진행하였다.

이 실험은 식 (4)의 k값을 변경해 줌으로써 깊이 평면을 바꿔가며 복원하고, 이를 통해 획득된 KW마크와 Brownie인형이 서로 다른 자유공간상에 복원되고 있음을 증명하기 위한 실험이다.

도 13은 k값에 따른 요소영상 비교 이미지사진이다.

우선, 변조된 2차 요소영상은 식 (4)에 적용된k값을 변경함에 따라 그림 13과 같이 표현되며, 요소영상을 구성하고 있는 픽셀들의 배열 구조가 서로 달라지는 것을 확인할 수 있다. 이는, k값을 통해 변경된 깊이 평면마다 생성되는 요소영상의 픽셀 배열이 서로 다르다는 것을 의미한다.

본 발명에서 제안한 시스템에서는 획득 가능한 유효 픽업 범위가 이론적으로6000mm이내이다.

하지만 본 실험에서 사용된 픽업 영역은 피사체의 위치에 따라 최대 1000mm 이내로 한정하여 수행하였기 때문에 k값을 1부터 10까지 변경하여도, 이 영역에는 3차원 물체의 정보가 존재하지 않는다.

따라서, 본 실험에 사용한 픽업범위인 500mm부터 1000mm까지는 k값을 11부터 29까지 변경함에 따라 단위 영상으로부터 변조된 2차 요소영상을 서로 다르게 생성할 수 있음을 확인하였다.

도 14는 본 발명의 집적 영상시스템의 3차원 영상 표시깊이변환방법에 의해 2차 요소영상을 복원한 이미지사진이다.

즉, 본 발명 집적 영상시스템의 3차원 영상 표시깊이변환방법을 통하여 변조된 2차 요소영상을 복원한 영상이다.

마지막으로, 표 1과 같은 실험환경을 기반으로, 요소영상 변환 과정을 통하여 최종적으로 얻어진 변조된 2차 요소 영상을 이용하여, 깊이 우선 집적영상 디스플레이 시스템에서 3차원 영상 복원 실험을 수행하였다.

깊이 우선 집적영상 디스플레이 시스템에서는 영상 획득 부에서 사용된 렌즈어레이 보다 상대적으로 직경이 작은 렌즈어레이를 사용하였으며, IBM T221 모니터(Resolution: 3840 X 2560 )를 디스플레이 패널로 사용하였다.

또한, 칼라 모아레 현상을 줄이기 위해 diffuser를 패널에 부착하였다.

실험결과 영상의 분석을 통해 복원된 두 영상이 서로 다른 자유공간상에 재생되고 있다는 것을 확인할 수 있었다.

도 15는 서로 다른 세 지점에서 얻어진 3차원 복원 영상의 시차영상을 나타낸 이미지사진이다.

도 15(a)와 (c)를 통하여 알 수 있듯이 복원된 영상은 좌우로 다른 시차를 갖고있다.

이때, KW마크의 영상과 Brownie인형의 영상은 좌우 시차에 따라 서로 다른 복원 결과를 보이는데, 이는 두 물체 간의 거리가 만들어낸 시차이다.

즉, 이를 통해 복원된 영상이 2차원 영상이 아닌 깊이 정보를 갖고 있는 3차원 영상이라는 것을 확인할 수 있다.

도 16은 k값을 변경에 따른 공간상에 복원된 3차원 영상의 이미지사진이다.

<표 2>

K	19	21	23	25
플로팅 위치	115mm	120mm	125mm	130mm

표 2와 그림 16 통해 알 수 있듯이 k값을 변경하여 실험하였을 때, 복원된 3차원 입체영상들은 렌즈어레이로부터 각각 115mm, 120mm, 125mm, 130mm에 해당하는 자유공간상에 재생되는 것을 볼 수 있다.

앞의 실험들을 통해 최대 6000mm거리에 있는 물체를 픽업이 가능하고, 깊이 역전 현상이 해결된 영상을 실상과 허상이 동시에 재생할 수 있을 뿐만 아니라 자유공간상에 깊이 정보를 갖는 3차원 영상을 재생할 수 있다는 것을 증명하였다.

또한, 기존의 영상 획득 부와 디스플레이 부에서 동일한 렌즈어레이를 사용하던 집적 영상시스템이 렌즈어레이로부터의 고정된 깊이 표현 범위를 갖는 반면에, 본 발명은 실시간 요소영상 변환 알고리즘을 통하여 요소영상의 픽셀을 재배열 함으로써 복원되는 위치를 변경함에 따라 의 깊이 표현 범위를 갖는다.

이는 기존의 시스템에 비하여 2.54배 향상된 깊이 표현 범위임을 알 수 있다.

상술한 바와 같이 요소영상 변환 과정을 통하여 집적영상 장치 방식의 근본적인 깊이 역전 문제를 해결하고, 왜곡이 없는 3차원 영상을 복원할 수 있다.

그리고 디스플레이 과정에서는 새롭게 재구성된 요소영상과 직경이 작은 렌즈어레이를 사용하여 실상 면과 허상 면 모두에 영상을 디스플레이함으로써 기존의 해상도 우선 집적 영상 시스템과 비교하였을 때, 해상도는 그대로 유지하면서 동시에 공간감이 향상된 3차원 영상을 재생한다.

또한, 요소영상의 깊이 역전 현상을 해결하고, 동일한 렌즈어레이를 사용하는 일반적인 집적 영상 디스플레이 장치로는 획득할 수 없는 깊이 표현 영역에 위치하고 있는 물체를 복원할 수 있다는 장점을 가진다는 등의 현저한 효과가 있다.

100. 영상획득단계
110. 3차원 물체 120. 렌즈어레이 130. 요소영상
200. 영상재생단계
210. 3차원 영상 220. 렌즈어레이 230. 요소영상
300. 요소영상 변환부

Claims (2)

1. 3차원 물체(110)가 렌즈어레이(120)를 투시하도록 하여 요소영상(130)을 획득하는 영상획득단계(100)와, 영상획득단계(100)에 의해 수집된 요소영상(130)을 다시 렌즈어레이(220)를 통해 공간상에 3차원 영상(210)으로 재생하는 영상재생단계(200)로 구성되어 광학적으로 획득한 3차원 물체(110)의 요소영상(130)을 3차원 입체영상으로 복원하는 집적 영상시스템의 3차원 영상 표시깊이변환방법에 있어서,
   상기 영상재생단계(200)에 설치되는 렌즈어레이(220)는 상기 영상획득단계(100) 단계에 설치되는 렌즈어레이(120)에 비해 작은 사이즈로 구성되고, 상기 영상획득단계(100)와 영상재생단계(200) 사이에는 영상획득단계(100)의 렌즈어레이(120)를 통해 획득한 요소영상(130)의 사이즈를 영상재생단계(200)의 렌즈어레이(220)의 사이즈에 맞게 변환 및 요소영상(130)의 깊이를 변환시키는 요소영상 변환단계(300)가 포함되는 것이 특징인 집적 영상시스템의 3차원 영상 표시깊이변환방법.
   
2. 제 1항에 있어서,
   상기 영상재생단계(200)에서는 깊이 우선 집적 영상 디스플레이 방식을 통해 3차원 영상을 재생시키는 것이 특징인 집적 영상시스템의 3차원 영상 표시깊이변환방법.

Images