KR101293576B1 - 3차원 집적 영상디스플레이의 깊이조절시스템 - Google Patents

Abstract

본 발명은 3차원 집적 영상 디스플레이 깊이 조절시스템에 관한 것으로서, 더욱 상세하게는 3차원 물체에 대해서 렌즈배열을 이용하여 요소 영상을 기록하는 영상픽업부; 상기 요소 영상에 대해서 3차원 영상의 깊이 감을 컴퓨터로 조절하는 깊이조절부; 상기 깊이 조절된 요소 영상을 3차원 디스플레이 장치에 표시하는 영상표시부를 포함하도록 구성된 3차원 집적 영상 디스플레이의 깊이조절시스템에 있어서, 상기 깊이조절부는 영상픽업부에서 획득된 요소영상(EIA)이 다수개로 배열된 픽업렌즈를 통해 투시되어 공간상에 합성의(synthesized) 상이 형성될 때, 상기 픽업렌즈의 배열과 수평으로 일정거리 이격된 위치에 깊이 반전된 요소 영상이 획득되도록 가상렌즈가 픽업렌즈와 동일개수로 대칭되게 구성되는 것이 특징이다.
이상에서와 같이 본 발명은 임의의 거리에 대해서 깊이 반전된 요소 영상을 생성하여 3차원 집적 영상 디스플레이장치를 통하여 올바른 깊이를 가지는 3차원 영상을 재생하는 것이 가능하다.
또한, 요소 영상의 픽셀 수, 전체 픽셀 수 등의 시스템 제약이 없이 깊이 변환을 수행할 수 있는 등의 현저한 효과가 있다.

Description

3차원 집적 영상디스플레이의 깊이조절시스템{System of depth control in three-dimensional integral imaging display}

본 발명은 3차원 집적 영상디스플레이 깊이 조절시스템에 관한 것으로서, 더욱 상세하게는 3차원 집적 영상 디스플레이를 위해 필요한 요소 영상에 대해서 렌즈 모델을 적용하여 깊이감을 조절하는 3차원 집적 영상디스플레이의 깊이조절시스템에 관한 것이다.

본 발명은 3차원 집적 영상디스플레이에서 3차원 영상의 깊이감을 조절하는 방법에 관한 것으로, 더욱 상세하게는 3차원 집적 영상디스플레이를 위해 필요한 요소 영상에 대해서 렌즈모델을 적용하여 깊이 감을 조절하는 방법에 관한 것이다.

집적 영상(integral imaging)기술은 1908년에 리프만(Lippmann)에 의해 처음으로 제안되었다.

이 기술은 3차원 영상을 획득하고 디스플레이할 수 있는 방법이다.

최근 제작 기술과 광학장치의 발전과 더불어 집적 영상 기술이 새로이 관심을 받고 있다.

그 이유는 상하좌우 방향으로의 완전시차와 연속적인 시점을 제공하는 오토스테레오스코피 영상을 관측자에게 제공할 수 있기 때문이다.

또 다른 특징으로는 백색광에서 동작한다는 것이며, 이를 기존의 디스플레이 장치를 쉽게 복합하여 사용할 수 있다.

이러한 3차원 집적 영상표시방법의 종래문헌으로는 등록특허 제0891160호에 요소 영상 압축 장치가 영역 분할 기법을 적용하여 요소 영상을 압축하는 방법에 있어서, (a) 3차원 객체로부터 렌즈 어레이를 통하여 서로 다른 시차를 가지는 요소 영상을 획득하는 단계; (b) 상기 획득된 요소 영상을 유사 상관도에 따라 복수의 유사한 영상을 가진 유사 영역으로 분할하는 단계; (c) 상기 각각의 유사 영역에 포함된 영상을 1차원 요소 영상 배열로 재배열하는 단계; 및 (d) 상기 재배열되어 생성된 1차원 요소 영상 배열을 압축하는 단계를 포함하는 영역 분할 기법을 이용한 요소 영상 압축 방법이 기재되어 있다.

또 다른 종래문헌의 실시 예로는 등록특허 제0942271호에 렌즈 어레이를 통해 픽업한 요소 영상을 이용하여 집적 영상을 복원하는 방법에 있어서, 상기 요소 영상을 미리 지정된 크기로 확대하고, 상기 확대된 각 요소 영상의 동일 좌표에 위치하는 픽셀을 합하여 복원 영상을 생성하는 단계; 상기 각 복원 영상의 블러 메트릭 값을 측정하는 단계; 초점 거리에 따른 상기 블러 메트릭 값의 변곡점에 상응하는 복원 영상을 포커스 영상으로 선정하는 단계; 상기 포커스 영상의 각 픽셀값에서 상응하는 침식 마스크의 각 픽셀값을 빼는 침식 연산을 통해 침식 영상을 생성하는 단계; 및 상기 복원 영상에 상기 침식 영상을 매핑하는 단계를 포함하는 집적 영상 복원 방법이 기재되어 있다.

도 1은 기존의 집적 영상의 구조와 개념을 나타낸 개요도이다.

도 1에 도시된 바와 같이 3차원 물체(10)는 픽업렌즈(L1) 배열을 통하여 서로 다른 형태의 시점 영상으로 2차원 영상 센서(20)에 저장된다.

이렇게 저장된 영상을 요소 영상(E)이라고 한다.

3차원 영상(30)을 복원하기 위하여 디스플레이 렌즈배열(L2)을 통하여 기록된 요소 영상(E)을 디스플레이 패널에 표시한다.

집적 영상 기술은 3차원 영상(30)을 재생할 때 잘못된 깊이 감을 표시하는 문제점을 가진다.

즉, 슈도스코피 복원 영상을 공중에 표시한다.

이러한 집적 영상 문제점에 대해서 많은 연구가 진행되고 있다.

이들 방법은 크게 광학적 방식과 컴퓨터 방식이 연구되고 있다.

대부분의 광학 방법에서, 복원 영상의 질은 광학장비의 회절, 간섭 등에 의한 물리적 제한 때문에 저하된다.

이 문제를 극복하기 위해서 핀홀 배열 기반의 컴퓨터 방법이 제안되었다.

이 방식을 smart pixel mapping (SPM)이라 한다.

그리고 디스플레이 시스템의 유연성을 확장하기 위하여 변형된 SPM 기술이 보고되었다.

이들 방법은 컴퓨터로 수행되기 때문에 광학적 잡음을 제거할 수 있고, 고속의 변환이 가능한 장점이 있지만, 제한된 조건에서만 동작하는 단점을 가지고 있다.

도 2는 기존의 SPM방법의 개략도이다.

도 2를 참조하여 기존의 SPM방법을 더욱 자세히 설명하면 다음과 같다.

단순화를 위하여 1차원 구조를 고려한다.

올바른 깊이 반전 영상을 얻기 위해서는 픽업렌즈의 배열과 핀홀 배열사이의 거리(D)는 D=Ng의 조건을 만족해야 한다.

여기서 N은 요소 영상에서 픽셀수이며, g는 요소 영상과 렌즈 배열 사이의 거리이다.

간단한 삼각공식에 의해서 다음의 식이 얻어진다.

(1)

여기서 x는 각 요소 영상의 픽셀 인덱스이고, p는 렌즈의 직경이며, c는 픽셀 크기(c=p/N)이다.

그리고 매핑 픽셀의 대응 핀홀의 위치는 다음과 같이 된다.

(2)

대응 픽셀의 j 번째의 핀홀에서 인덱스는

(3)

이 된다.

따라서 i번째 요소 영상의 x번째 픽셀은 깊이반전된 영상의 대응 픽셀은 다음과 같다.

(4)

SPM 방식은 핀홀 모델을 기초로 하기 때문에 렌즈배열과 핀홀 배열 사이에 정확한 매칭 조건이 요구된다.

도 3은 기존의 SPM방법에서 깊이 조절 조건이 맞지 않은 경우의 개략도이다.

그러나 도 3과 같이 D가 Ng와 같다는 조건을 만족하지 않을 경우에는 픽셀 매칭 오류가 발생하게 된다.

매칭조건이 맞지 않기 때문에 렌즈 배열에서 출발한 빔들이 대응하는 핀홀을 통과하지 않게 되는 문제점을 가진다.

본 발명은 상술한 3차원 집적 영상 디스플레이에서 깊이 반전 문제점을 해결하기 위하여 안출된 것으로서, 렌즈 모델을 사용하여 임의의 거리에 대해서 픽업된 요소 영상의 깊이조절이 가능한 방법을 제공하는 것이다.

또한, 본 발명은 깊이 반전된 요소 영상을 이용하여 3차원 영상을 제대로 표현하는 3차원 집적 영상디스플레이 방법을 제공하는 것이다.

본 발명의 과제 해결수단으로는 3차원 물체에 대해서 렌즈 배열 이용하여 요소 영상을 기록하는 영상픽업부; 상기 요소 영상에 대해서 3차원 영상의 깊이 감을 컴퓨터로 조절하는 깊이조절부; 상기 깊이 조절된 요소 영상을 3차원 디스플레이 장치에 표시하는 영상표시부를 포함하도록 구성된 3차원 집적 영상 디스플레이의 깊이조절시스템에 있어서, 상기 깊이조절부는 영상픽업부에서 획득된 요소영상(EIA)이 다수개로 배열된 픽업렌즈를 통해 투시되어 공간상에 합성의(synthesized) 상이 형성될 때, 상기 픽업렌즈의 배열과 수평으로 일정거리 이격된 위치에 깊이 반전된 요소 영상이 획득되도록 가상렌즈가 픽업렌즈와 동일개수로 대칭되게 구성되는 것이 특징이다.

이상에서, 설명한 바와 같이 본 발명은 임의의 거리에 대해서 깊이 반전된 요소 영상을 생성하여 3차원 집적 영상 디스플레이장치를 통하여 올바른 깊이를 가지는 3차원 영상을 재생하는 것이 가능하다.

또한, 요소 영상의 픽셀 수, 전체 픽셀 수 등의 시스템 제약이 없이 깊이 변환을 수행할 수 있는 등의 현저한 효과가 있다.

도 1은 기존의 집적 영상의 구조와 개념을 나타낸 개요도.
도 2는 기존의 SPM방법의 개략도.
도 3은 기존의 SPM방법에서 깊이 조절 조건이 맞지 않은 경우의 개략도.
도 4는 본 발명에 따른 3차원 집적 영상 방법의 개요도.
도 5는 본 발명에 따른 깊이 조절 방법의 개요도.
도 6은 본 발명의 깊이 반전 방법에 대한 검증을 위한 시스템 구성도.
도 7은 도 6의 시스템으로부터 얻어진 요소 영상.
도 8a은 기존의 방법에 의해 얻어진 요소 영상.
도 8b는 본 발명에 의해 얻어진 요소 영상.
도 9는 요소 영상에 대하여 컴퓨터에 의해 3차원 영상을 복원하는 실험결과를 나타낸 영상.

본 발명 3차원 집적 영상디스플레이의 깊이조절시스템은 3차원 물체에 대해서 렌즈 배열을 이용하여 요소 영상을 기록하는 영상픽업부(200); 상기 요소 영상에 대해서 3차원 영상의 깊이감을 컴퓨터로 조절하는 깊이조절부(100); 상기 깊이조절된 요소 영상을 3차원 디스플레이 장치에 표시하는 영상표시부(300)를 포함하도록 구성된 3차원 집적 영상디스플레이의 깊이조절시스템에 있어서, 상기 깊이조절부(100)는 영상픽업부(200)에서 획득된 요소영상(EIA)(110)이 다수개로 배열된 픽업렌즈(120)를 통해 투시되어 공간상에 합성의(synthesized) 상이 형성될 때, 상기 픽업렌즈(120)의 배열과 수평으로 일정거리 이격된 위치에 깊이 반전된 요소 영상(150)이 획득되도록 가상렌즈(140)가 픽업렌즈(120)와 동일개수로 대칭되게 구성되는 것이 특징이다.

상기 가상렌즈(140)는 영상을 투시할 수 있는 렌즈 상의 지점이 렌즈의 지름만큼 많기 때문에 픽업렌즈(120)의 배열과 가상렌즈(140)의 배열 간의 수평거리가 가변될 수 있는 것이 특징이다.

이하, 본 발명 3차원 집적 영상 디스플레이의 깊이 조절 방법을 첨부한 도면에 의해 상세히 설명하면 다음과 같다.

도 4는 본 발명에 따른 3차원 집적 영상 방법의 개요도이며, 도 5는 본 발명에 따른 깊이 조절 방법의 개요도이다.

본 발명 3차원 물체에 대해서 렌즈배열을 이용하여 요소 영상을 기록하는 영상픽업부(200); 상기 요소 영상에 대해서 3차원 영상의 깊이 감을 컴퓨터로 조절하는 깊이조절부(100); 상기 깊이 조절된 요소 영상을 3차원 디스플레이 장치에 표시하는 영상표시부(300)를 포함하도록 구성된다.

특히, 상기 깊이조절부(100)는 영상픽업부(200)에서 획득된 요소영상(EIA)(110)이 다수개로 배열된 픽업렌즈(120)를 통해 투시되어 공간상에 합성의(synthesized) 상이 형성될 때, 상기 픽업렌즈(120)의 배열과 수평으로 일정거리 이격된 위치에 깊이 반전된 요소 영상(150)이 획득되도록 가상렌즈(140)가 픽업렌즈(120)와 동일개수로 대칭되게 구성되는 것이 특징이다.

영상픽업부(200)에서는 도 1과 같이 기록하고자 하는 3차원 물체(10)에 대해서 렌즈배열(L1)과 2차원 영상 센서(20)로 구성된 3차원 영상 장치를 사용하여 요소 영상을 획득한다.

깊이조절부(100)에서는 3차원 영상(30)의 깊이를 반전시키는 역할을 수행하며, 컴퓨터에 의해서 수행된다.

즉, 본 발명의 깊이조절부(100)의 구성인 요소 영상(110), 픽업렌즈(120), 가상렌즈(140), 요소 영상(150)은 모두 컴퓨터 환경 내에 존재하는 구성이다.

이때, 요소 영상(110)과 픽업렌즈(120)간의 거리(g)는 실질환경에서의 거리 값을 컴퓨터 환경에서 구현된 거리 값이며, 이 거리 값에 따라 픽업렌즈(120)와 가상렌즈(140)의 거리값(D´)도 컴퓨터에 의해 정해지게 된다.

물론, 핀홀(130)배열도 컴퓨터 환경 내에 존재하는 구성이다.

본 발명에서는 기존 방법의 문제점을 개선하기 위하여 깊이 반전된 3차원 영상(30)을 복원하는 렌즈 모델에 기초한 깊이 반전 방법을 제시한다.

제시하는 방법에서는 렌즈모델을 사용하기 때문에 광학적 깊이 반전기법과 유사하며, 광학적 잡음의 영향이 없다.

기존의 방법에서는 핀홀(130) 배열에 의해 차단되는 문제점을 가지고 있기 때문에 임의의 거리에서 요소 영상을 변환할 수 있었지만, 본 발명의 렌즈 모델을 사용함으로써 임의의 거리에 대해서도 빔의 전파를 차단하지 않고 깊이 반전된 요소 영상(150)을 생성할 수 있는 장점을 가진다.

제시하는 방법의 원리를 도 5에 나타내었다.

도 5의 오른쪽에 나타난 깊이 반전된 요소 영상(150)의 한 픽셀 값은 렌즈배열 모델을 통하여 고려되는 빔들의 중첩으로 얻어지게 된다.

즉, 합성되는 요소 영상의 Si(x)의 한 픽셀은 다음과 계산된다.

(5)

이때 각 θ의 각에 대해서 두 렌즈 배열로부터의 빔의 비율을 찾기 위하여 h를 계산한다.

(6)

그리고 i번째와 j번째의 렌즈에 대응하는 두 요소 영상 간의 관계는 다음과 같다.

(7)

여기서 λ=h/p 이고 [ ]는 Gauss integer 함수이다.

이제는 빔의 영역을 고려하여 각각의 빔의 양을 계산할 수 있다.

즉, 첫 번째 렌즈에 대한 빔 비율은

(8)

이고, 두 번째 렌즈에 대한 빔 비율은

(9)

이 된다.

최종적으로, 합성되는 요소 영상에 들어오는 빔의 세기는 다음과 같이 계산된다.

(10)

그리고 영상 표시부(300)에서는 상기 깊이 반전방법을 사용하여 얻어진 요소 영상(150)을 렌즈배열(L2)과 디스플레이장치로 구성된 3차원 디스플레이장치에 표시하여 3차원 영상(30)을 표시한다.

즉, 기존의 핀홀방식의 도 2와 본 발명의 방식의 도 5를 대비하여 보면 기존의 방식은 픽업렌즈배열을 통과한 빔이 통과할 수 있는 핀홀지점이 정확하여야 하기 때문에 실질의 상이 수집되는 픽업렌즈(120)배열과 핀홀(130) 배열 사이의 거리 D가 정확히 일치하여야 하지만, 본 발명에서는 렌즈의 지름(p)만큼 영상을 투시할 수 있는 유효지점이 많기 때문에 실질의 상이 투시되는 픽업배열(120)과 가상렌즈(140)의 배열 간의 거리 D가 유동적이다는 것이다.

다시 말해, 거리 D가 정확히 일치하지 않아도 상이 맺힐 수 있다는 것이다.

도 6은 본 발명의 깊이 반전 방법에 대한 검증을 위한 시스템 구성도이며, 도 7은 도 6의 시스템으로부터 얻어진 요소 영상이다.

즉, 도 6은 본 발명에서 제시하는 집적 영상 디스플레이 기술에서 깊이 반전 방법에 대한 검증을 위한 시스템 구성도를 나타낸 것으로서, 요소 영상을 획득하는 실험 구조이다.

실험에 사용하는 3D 물체는 ‘W’와 ‘K’글자 영상이며, 32mm와 64mm에 각각 배치시켰다.

그리고 픽업을 위한 렌즈배열은 30x30개의 기초 렌즈로 구성이 되고, 기초 렌즈의 직경은 3mm이고 초점거리이고 1.08mm이다.

얻어진 요소 영상은 기존의 깊이 반전방법과 제안하는 방법에 사용하였다.

도 6의 기존 방법에서 D는 반드시 96mm가 되어야만 깊이 반전된 요소 영상을 얻을 수 있다.

그러나 본 발명에서는 임의의 거리 중에 하나인 53mm에 대해서 요소 영상 변환을 수행하였다.

도 8a은 기존의 방법에 의해 얻어진 요소 영상이며, 도 8b는 본 발명에 의해 얻어진 요소 영상이다.

즉, 도 8a와 도 8b는 기존의 방법과 제안하는 방법으로 만들어진 두 요소 영상을 보여준다.

기존의 방법을 사용한 결과에서는 매핑이 완전하게 발생하지 않아서 깨끗하지 않은 요소 영상이 생성되었지만, 본 논문에서 사용한 결과는 53mm 거리에서도 깨끗한 깊이 반전된 요소 영상이 얻어짐을 확인하였다.

도 9는 요소 영상에 대하여 컴퓨터로 3차원 영상을 복원하는 실험결과를 나타낸 영상으로서, 도 9에서 (a)는 기존의 방법에 의한 영상이며, (b)는 본 발명에 의해 나타난 영상이다.

관측각도는 각각 -15도, 0도, 15도에서 복원 영상을 조사하였다.

기존의 방식과 제안하는 방식에서 모두가 깊이 반전된 영상을 얻을 수 있음을 확인할 수 있다.

이상에서, 설명한 바와 같이 본 발명은 임의의 거리에 대해서 깊이 반전된 요소 영상을 생성하여 3차원 집적 영상 디스플레이장치를 통하여 올바른 깊이를 가지는 3차원 영상을 재생하는 것이 가능하다.

또한, 요소 영상의 픽셀 수, 전체 픽셀 수 등의 시스템 제약이 없이 깊이 변환을 수행할 수 있는 등의 현저한 효과가 있다.

10. 3차원 물체 20. 2차원 영상 센서 30. 3차원 영상
100. 깊이조절부 200. 영상회득부 300. 영상표시부
110. 요소 영상 120. 픽업렌즈
130. 핀홀 140. 가상렌즈 150. 요소 영상

Claims (2)

1. 3차원 물체에 대해서 렌즈배열(L1)과 2차원 영상 센서(20)로 구성된 3차원 영상 장치를 사용하여 요소 영상을 기록하는 영상픽업부; 상기 요소 영상에 대해서 3차원 영상의 깊이감을 컴퓨터로 조절하는 깊이조절부; 상기 깊이 조절된 요소 영상을 렌즈배열(L2)과 디스플레이장치로 구성된 3차원 디스플레이장치에 표시하는 영상표시부를 포함하도록 구성된 3차원 집적 영상 디스플레이의 깊이조절시스템에 있어서,
   상기 깊이조절부는 영상픽업부에서 획득된 요소영상(EIA)(110)이 다수개로 배열된 픽업렌즈(120)를 통해 투시되어 공간상에 합성의(synthesized) 상이 형성될 때, 상기 픽업렌즈(120)의 배열과 수평으로 일정거리 이격된 위치에 깊이 반전된 요소 영상(150)이 획득되도록 가상렌즈(140)가 픽업렌즈(130)와 동일개수로 대칭되게 구성되는 것이며,
   또한, 상기 가상렌즈(140)는 영상을 투시할 수 있는 렌즈 상의 지점이 렌즈의 지름만큼 많기 때문에 픽업렌즈(120)의 배열과 가상렌즈(140)의 배열 간의 수평거리가 가변될 수 있는 것이 특징인 3차원 집적 영상디스플레이의 깊이조절시스템.
2. 삭제

Images