KR100450848B1 - 입체 영상 표시 장치 - Google Patents

Abstract

본 발명은 집적 영상술(IP: Integral Photography)을 사용한 입체 영상 표시 장치이다.

본 발명은 3차원 영상의 재생을 위한 기초 영상을 생성하는 영상 처리부, 상기 영상 처리부에서 생성된 기초 영상을 표시하는 영상 표시부, 다수의 기초 렌즈로 이루어지며, 상기 영상 표시부에서 표시되는 기초 영상을 결상하여 해당하는 3차원 영상을 재생하는 렌즈 어레이, 수직 혹은 수평 방향으로 기초 렌즈의 간격만큼 하나 건너 하나씩 서로 직교하는 편광 방향을 갖는 교차 직교 편광 마스크부, 상기 영상 표시부로부터 표시되는 기초 영상의 편광 방향이 교차 직교 편광 마스크부의 편광 방향 중 하나를 갖도록 교대로 스위칭하는 편광 변조부를 포함하는 입체 영상 표시 장치이다. 여기서 영상 표시부는 액정 표시 장치나 평면 CRT 등의 표시 소자일 수 있으며, 또한 프로젝션형 표시 소자일 수 있다.

본 발명에 따르면 교차 직교 편광 마스크와 편광 변조부가 기초 렌즈를 교대로 개폐시키는 역할을 하여, 이웃 렌즈의 간섭으로 생기는 집적 영상 중첩 효과를 방지하므로 기존의 IP 방식보다 보다 넓은 시야각을 가지는 입체 영상을 표시할 수 있다.

Description

입체 영상 표시 장치{Three-dimensional display}

본 발명은 입체 영상 표시(display) 장치에 관한 것으로서, 더욱 상세하게 말하자면, 집적 영상술(Integral Photography, 이하 IP라 명명함)을 사용하여 3차원 영상을 표시(display) 하는 입체 영상 표시 장치에 관한 것이다.

3차원 화상을 구현하는 기술 중 렌즈 어레이를 사용하는 IP 방식은 1908년 리프만 (Lippmann)에 의해 처음 제안된 후 점차 개선되었으나, 그 동안 촬영 소자나 표시 소자 기술의 한계로 인해 크게 주목을 받지 못하다가 고분해능 촬영 소자와 고해상도 표시 소자의 개발과 함께 최근 연구가 활발해지고 있다.

도 1에 종래의 IP 방식에 대한 기본 원리가 도시되어 있다.

IP 방식을 구현하기 위한 전체 시스템은 도 1에서와 같이, 크게 두개의 기능부 즉, 촬영부와, 표시부로 구성된다. 촬영부는 3차원 형상을 가지는 물체의 상을 형성하는 렌즈 어레이와, 렌즈 어레이에 의하여 결상된 기초 영상을 저장하는 촬영 소자로 이루어지며, 표시부는 촬영 소자에 저장된 기초 영상을 표시하는 표시 소자와, 표시 소자에서 표시되는 기초 영상을 결상하여 3차원 영상으로 재생시키는 렌즈 어레이를 포함한다. 각 렌즈 어레이는 다수의 단위 렌즈로 이루어진다.

촬영부에서는 렌즈 어레이의 단위 렌즈에 의하여 3 차원 물체의 여러 방향에서의 기초 영상이 촬영 소자에 맺혀 저장된다. 표시부에서는 촬영부의 역 과정으로 저장된 기초 영상들이 표시 소자에 의해 표시되고, 다시 이 기초 영상들이 렌즈어레이를 통과하면서 합쳐져서(이를 집합 영상이라 부르기로 한다) 원래 3차원 물체가 있었던 위치에서 3차원 영상으로 재생된다.

그러나, IP 방식에 의한 입체 영상 표시 장치에서 문제가 되고 있는 것 중 하나는 제한된 시야각이다. IP 방식에서 재생되는 입체 영상이 여러 개가 동시에 보이는 현상을 없애기 위하여 각 기초 영상들 중 그에 해당하는 기초 렌즈의 영역을 벗어나는 위치에 있는 것은 화상 표시 장치에 표시하지 않는데 이것이 IP 방식의 기본적인 시야각을 제한하게 된다. 이로 인해 제한된 시야각은 다음 식과 같이 나타난다.

( 여기에서θ는 시야각,φ는 기초 렌즈의 넓이,g는 렌즈 어레이와 화상 표시 소자사이의 거리이다. )

이를 구체적으로 살펴보면 도 2에서와 같이 관찰자가 시야각을 벗어난 곳에서 입체 영상을 관찰하는 경우, 원래의 집적 영상과 중첩되는 중첩 집적 영상을 함께 관찰하게된다. 이러한 집적 영상의 중첩 현상은 근본적으로 각 기초 영상이 해당하는 기초 렌즈와 이웃하는 기초 렌즈를 통과하기 때문이다. 이상적인 입체 영상 시스템에서는 재생되는 입체 영상을 여러 사람이 함께 넓은 범위에서 감상할 수 있어야 하는데 이러한 제한된 시야각은 그에 훨씬 못 미쳐서 문제점으로 지적되어왔다.

본 발명이 해결하고자 하는 기술적 과제는 보다 넓은 시야각을 가지는 입체 영상 표시 장치를 제공하고자 하는데 있다.

도 1은 일반적인 집적 영상술(IP: Integral Photography)의 기본 개념을 나타낸 도면이다.

도 2는 기존의 IP에서 집적 영상 중첩에 따른 시야각의 제한을 나타낸 도면이다.

도 3은 본 발명의 제1 실시예에 따른 기초 렌즈 개폐를 이용한 시야각 향상 IP 입체 영상 표시 장치의 블록도이다.

도 4는 도 3에 도시된 기초 렌즈 개폐를 이용한 시야각 향상 IP 입체 영상 표시 장치의 실시예를 나타낸 도면이다.

도 5는 본 발명의 실시예에 따른 기초 영상을 생성하는 개념도이다.

도 6은 본 발명의 제2 실시예에 따른 입체 영상 표시 장치의 동작 원리를 나타낸 블록도이다.

도 7a 및 도 7b는 제2실시예에서 편광 변조부의 편광 상태가 직교하도록 스위칭될 때 교차 직교 편광 마스크를 통과한 이후의 편광상태로서 기초 렌즈의 개폐 역할의 예를 보여주는 도면이다.

도 8은 본 발명의 제3실시예에 따른 입체 영상 표시 장치의 동작 원리를 나타낸 블록도이다.

이러한 기술적 과제를 달성하기 위하여 본 발명에서는 렌즈 어레이와 화상 표시 장치 사이에 직교 편광 마스크를 위치시키고 화상 표시 장치에 표시되는 기초 영상을 두 가지 편광 상태로 바꾸는 방식을 사용한다.

구체적으로는 3차원 영상의 재생을 위한 기초 영상을 생성하는 영상 처리부, 상기 영상 처리부에서 생성된 기초 영상을 표시하는 영상 표시부, 기초 영상의 편광 상태를 스위칭하는 편광 변조부, 서로 직교하는 편광 상태를 교차적으로 갖게 하는 편광 마스크부, 다수의 기초 렌즈로 이루어진 렌즈 어레이부를 포함하는 입체 영상 표시 장치를 마련한다.

이 때, 영상 표시부에서 표시되는 기초 영상은 편광 변조부의 편광 상태 스위칭에 따라 동기되어 그 형태 및 편광 상태가 변하는 것이 바람직하다.

그러면 도면을 참고로 하여 본 발명의 실시예에 대하여 설명한다.

도 3에 본 발명의 제1 실시예에 따른 렌즈 개폐에 의한 시야각 향상 방식을 사용하는 입체 영상 표시 장치가 도시되어 있다.

본 발명의 제1 실시예에 따른 입체 영상 표시 장치는, 도 3에서와 같이 크게 영상 처리부와 영상 표시부, 렌즈 어레이, 기초 렌즈 개폐부로 이루어진다.

영상 처리부는 기초 영상을 제작하며, 기초 렌즈 개폐부가 기초 영상이 해당기초 렌즈만을 통과하도록 하는 역할을 하여 집적 영상 중첩 현상이 발생하지 않으므로 시야각이 향상되게 된다.

여기에서 기초 렌즈 개폐부는 렌즈 어레이와 영상 표시부 사이에 위치하며 영상 처리부의 제어 신호에 따라 영상 표시부로부터 임의의 기초 렌즈로 향하는 빛을 선택적으로 가리는 역할을 한다. 구체적으로 LCD 셔터, 공간 광 변조기(Spatial light modulator), 기계적 셔터 등이 기초 렌즈 개폐부로 사용될 수 있다.

도 4는 본 발명의 제1 실시예에 따른 렌즈 개폐에 의한 시야각 향상 CGIP(Computer Generated Integral Photography) 방법의 실시예이다. 여기에서 한 줄 건너 한 줄씩 수직 방향 혹은 수평 방향으로 기초 렌즈들에 해당하는 기초 영상들이 영상 표시부에 표시되고 이와 동시에 기초 렌즈 개폐부에 의하여 상기한 한 줄 건너 한 줄씩 수직 방향 혹은 수평 방향으로의 기초 렌즈들이 열린다. 그 다음 현재 열려져 있던 기초 렌즈들이 닫히고 기초 렌즈 개폐부에 의하여 닫혀져 있던 나머지 한 줄 건너 한 줄씩 수직 방향 혹은 수평 방향으로의 기초 렌즈들이 열리며 그에 해당하는 기초 영상들이 영상 표시부에 표시되어 동작의 한 주기를 이루며 빠르게 반복된다. 이와 같이 두 가지 상태의 기초 영상이 영상 표시부에 표시되며 이에 동기되어 기초 렌즈 개폐부가 동작하게 된다.

이와 같이 동작하는 본 발명의 제1 실시예에 따른 입체 영상 표시 장치에서 생성되는 기초 영상은 다음과 같이 제작된다.

본 발명의 실시예에서는 촬영 과정에서 발생되는 깊이 역전 현상 등의 문제를 해결하고 시스템의 구조를 보다 간단하게 하기 위하여 컴퓨터 그래픽으로 기초영상을 제작하며, 이에 따라 본 발명에 따른 입체 영상 표시 장치를 CGIP 장치라고 할 수 있다.

여기서, 물체는 가상의 3차원 물체로 가정하고 그 정보를 직접 제작해도 좋고, 일반적인 3차원 컴퓨터 그래픽스에서 사용되는 3차원 물체 소스(object source) 정보를 그대로 사용하여도 좋다.

일반적인 3차원 영상은 2차원 영상 정보에 깊이 정보가 추가된 것으로 이를 2차원 매체인 디스플레이 패널 위에서 구현하기 위해서는 여러 방향에서의 정보를 담고 있는 기초 영상들의 집합(set)으로 바꿔주어야 한다.

본 발명에 따른 입체 영상 표시 장치에서는 디스플레이 하고자 하는 가상 물체의 3차원 정보를 사용되는 렌즈 어레이의 특성에 맞게 기초 영상들의 집합으로 매핑(mapping) 하며, 특히, 3차원 영상 정보의 기초 영상으로의 매핑은 3차원 영상 정보를 이루는 각각의 모든 점에 대하여 독립적으로 이루어진다.

3차원 영상 정보를 이루는 한 점을 그 점이 갖고 있는, 혹은 임의로 선택된 깊이 정보 (z 값)와 사용된 렌즈 어레이의 초점 거리 , 기초 렌즈의 크기 , 그 점의 평면상의 위치 정보 (x , y 값) 등을 고려하여 기초 영상으로 바꾸고 이 과정을 3차원 영상 정보를 이루는 모든 점에 대하여 시행하게 되면 전체 3차원 영상 정보를 기초 영상으로 바꾸게 된다.

도 5에 기초 영상을 생성하는 개념도가 도시되어 있다.

3차원 영상정보를 이루는 한 점 P의 평면상의 위치를 직교 좌표로 (x, y), 그 깊이 정보, 즉 렌즈 어레이로부터 그 점의 상이 맺히는 곳까지의 거리를 z,렌즈어레이의 각 기초 렌즈 중 왼쪽으로부터 i 번째, 위로부터 j 번째에 위치되는 기초 렌즈의 중심 좌표를 (lens_x[i][j], lens_y[i][j]), 그리고 기초 렌즈의 x방향 크기를 L_x, y방향 크기를 L_y, 초점 거리를 f 라고 하자.

이 때 가상의 물체 포인트(object point)인 점 P의 기초 영상 중 왼쪽으로부터 i 번째 위로부터 j 번째에 위치한 기초 렌즈에 의한 기초 영상은 다음 식에 의한 좌표값을 가지는 점 E_ij 가 된다.

Elemental_image_x[i][j] = lens_x[i][j] + (f/z) * (lens_x[i][j] x )

Elemental_image_y[i][j] = lens_y[i][j] + (f/z) * (lens_y[i][j] y )

위의 식들은 도 5의 기초 영상 제작의 개념도로부터 두개의 닮은꼴 삼각형의 비례관계에 의해 쉽게 얻을 수 있다. 그러나 본 발명의 실시예에서는 위의 수학식 1 및 2에 의하여 계산된 점 E_ij가 반드시 왼쪽 으로부터i 번째 위로부터 j 번째에 위치한 기초렌즈에 의한 기초 영상이 되는 것은 아니고 다음의 조건을 만족할 때 기초 영상이 된다.

보다 구체적으로, 위의 수학식 1과 수학식 2에 의하여 계산된 점 E_ij 중 한 줄 건너 한 줄씩 수평 방향의 기초 렌즈들을 단위로 동작이 될 때는 다음 조건 3만을, 한 줄 건너 한 줄씩 수직 방향의 기초 렌즈들을 단위로 동작이 될 때는 조건 4만을 만족시키는 점만이 기초 영상이 된다.

(조건3) -Lx < Elemental_image_x[i][j] - lens_x[i][j] < Lx

(조건4) -Ly < Elemental_image_y[i][j] - lens_y[i][j] < Ly

3차원 영상 정보의 모든 점에 대하여 각각 위와 같은 방법을 적용하여 기초 영상들을 구하게 되며, 다시 이 기초 영상들의 집합이 3차원 영상정보의 전체 기초 영상이 된다.

이와 같이 3차원 영상 정보의 모든 점에 대하여 구해진 기초 영상이 구해지고, 도 3에서와 같이 두 가지 상태의 기초 영상이 영상 표시부에 표시되면서 이에 동기되어 기초 렌즈 개폐부가 동작하게 된다.

이와 같이 집적 영상의 중첩 현상을 방지하여 시스템의 시야각은 기존의 방식에 비해 두 배 향상되게 된다. 이 방법에서 기초 렌즈가 개폐되는 속도는 인간의 눈이 잔상 효과를 무리없이 받아들일 수 있을 정도로 빨라야 한다.

다음에는 이러한 본 발명의 제1 실시예에 따른 입체 영상 표시 장치와 같이 시야각을 향상시킬 수 있는 제2 실시예에 대하여 설명한다.

본 발명의 제2 실시예에서는 수직 또는 수평 방향으로 한줄 건너 하나씩 교차적으로 직교 편광된 편광 마스크를 사용하고, 서로 다른 상태의 기초 영상들을 서로 직교 편광 되도록 화상 표시 장치에 표시함으로써 렌즈 개폐 방식에서와 같이 보다 넓은 시야각을 가지는 입체 영상 표시 장치를 제공하다.

도 6은 본 발명의 제2 실시예에 따른 입체 영상 표시 장치의 블록도이다.

본 발명의 제2 실시예에 따른 입체 영상 표시 장치는 도 6에서와 같이, 화상 표시 소자인 영상 표시부, 영상 처리부, 편광 변조부, 교차 직교 편광 마스크부, 렌즈 어레이부로 이루어진다.

여기서, 영상 표시부는 영상 처리부로부터 영상 신호를 받아 표시하는 장치로서 액정 표시 장치(LCD)나 평면 CRT 등 기존의 표시 장치이다.

영상 처리부는 입체 영상을 표시하기 위하여 영상 표시부에 나타나야 할 영상 신호를 생성하여 영상 표시부에 전달한다. 영상 처리부는 기본적으로 위의 제1 실시예와 같이 두 가지 형태의 기초 영상을 상기 렌즈 개폐를 이용한 시야각 향상 방식에 따라 제작한다.

교차 직교 편광 마스크는 수평 방향 혹은 수직 방향으로 한줄 건너 하나씩 편광 상태가 서로 직교하도록 구성되어진 마스크이며, 여기에서 편광이 교대되는 한줄간의 간격은 각 기초 렌즈의 크기와 같다.

또한 편광 변조부는 영상 표시부에 표시되는 기초 영상의 편광 상태를 변조하는 역할을 하는데, 가변 편광기 또는 편광 셔터 스크린이 이러한 역할을 할 수 있다. 이때 변조되는 편광 상태는 교차 직교 편광 마스크를 이루는 두 가지 편광 상태 중에서 하나이다. 예를 들어 교차 직교 편광 마스크가 한 줄 건너 하나씩 편광 방향이 45도와 135도가 되도록 이루어져 있다면, 편광 변조부에서는 기초 영상의 편광 방향이 45도와 135도가 되도록 교차로 스위칭하게 된다. 따라서 이러한 직교 편광 마스크와 편광 변조부의 결합은 한 줄 건너 하나씩 렌즈를 개폐하는 역할을 수행하며 도 7a 및 도 7b는 이러한 예를 보여준다.

여기서 직교 편광 마스크의 편광 방향이 45도와 135도로 이루어져 있다고 가정하면, 도 7a 및 도 7b는 발명의 제2 실시예에서 편광 변조부의 편광 상태가 직교하도록 스위칭될 때 교차 직교 편광 마스크를 통과한 이후의 편광상태로서 기초 렌즈의 개폐 역할의 예를 보여준다. 즉, 도 7a는 편광 변조부의 편광 방향이 45도인 경우를, 도 7b는 편광 변조부의 편광 방향이 135도인 경우의 상태를 각각 보여준다. 주의할 점은 편광 변조부에서 편광의 변조는 반드시 해당하는 상태의 기초 영상과 동기되어야 하며 편광이 변조되는 속도는 인간의 눈이 무리없이 잔상 효과를 느낄 수 있을 정도로 빨라야 한다는 점이다.

본 발명은 프로젝션형 화상 표시 소자를 사용하는 경우에도 유사하게 적용될 수 있으며 도 8은 본 발명의 제3 실시예에 따른 입체 영상 표시 장치의 블록도이다.

본 발명의 제3 실시예에 따른 입체 영상 표시 장치는 도 8에서와 같이, 영상 표시부, 영상 처리부, 교차 직교 편광 마스크부, 렌즈 어레이부로 이루어진다.

영상 표시부는 서로 직교하는 편광 방향을 갖는 편광 필름이 부착된 두 대의 빔 프로젝터와 편광 유지 스크린으로 구성된다. 제2 실시예에서는 영상 표시부가 CRT나 패널형 디스플레이 소자이고 편광 변조부에서 직교하는 편광 상태를 스위칭 하는 반면에 제3 실시예에서는 영상 표시부로 두 대의 빔 프로젝터(빔 프로젝터 A, 빔 프로젝터 B)에 서로 직교하는 편광 방향을 갖는 편광 필름(편광 필름 A, 편광 필름 B)이 부착되어 있어 서로 직교하는 편광을 갖는 두 가지 상태의 기초 영상이 편광 유지 스크린에서 공간적으로 합쳐지게 된다.

따라서 이 경우에는 잔상 효과를 느낄만큼 빠르게 편광을 변조하거나, 기초 영상을 편광의 변조와 동기 시켜 표시할 필요가 없다.

비록, 이 발명이 가장 실제적이며 바람직한 실시예를 참조하여 설명되었지만, 이 발명은 상기 개시된 실시예에 한정되지 않으며, 후술되는 특허 청구 범위 내에 속하는 다양한 변형 및 등가물들도 포함한다

이상에서와 같이 위에 기술된 이 발명의 실시예에 따라 서로 다른 상태의 형태 및 편광 방향을 갖는 기초 영상들이 표시되고 교차 직교 편광 마스크가 기초 렌즈를 교차로 개폐시키는 역할을 하여 기존의 IP 방식보다 시야각을 두 배 넓힐 수 있게 된다. 특히 본 발명은 기초 렌즈의 개폐 방식에 있어 기계적인 움직임이 필요한 방식이 아니므로 잔상 효과를 활용하기가 용이하여 보다 실용적인 시야각 향상 IP 시스템을 구현할 수 있는 장점이 있다.

Claims (5)

1. 3차원 영상의 재생을 위한 기초 영상을 생성하는 영상 처리부,

   상기 영상 처리부에서 생성된 기초 영상을 표시하는 영상 표시부,

   다수의 기초 렌즈로 이루어지며, 상기 영상 표시부에서 표시되는 기초 영상을 결상하여 해당하는 3차원 영상을 재생하는 렌즈 어레이,

   수직 혹은 수평 방향으로 기초 렌즈의 간격만큼 하나 건너 하나씩 서로 직교하는 편광 방향을 갖는 교차 직교 편광 마스크부,

   상기 영상 표시부로부터 표시되는 기초 영상의 편광 방향이 교차 직교 편광 마스크부의 편광 방향 중 하나를 갖도록 교대로 스위칭하는 편광 변조부

   를 포함하는 입체 영상 표시 장치.
2. 제 1항에 있어서,

   상기 영상 처리부는 두가지 형태의 기초 영상이 편광 변조부의 편광 방향 변화와 동기되어 영상 표시부에 표시되도록 하는 입체 영상 표시 장치.
3. 3차원 영상의 재생을 위한 기초 영상을 생성하는 영상 처리부,

   수직 혹은 수평 방향으로 기초 렌즈의 간격만큼 하나 건너 하나씩 서로 직교하는 편광 방향을 갖는 교차 직교 편광 마스크부,

   상기 교차 직교 편광 마스크부의 두가지 편광 방향을 갖는 두 개의 편광 필름이 각각 부착된 두 대의 빔프로젝터와 빔프로젝터로부터 영상이 투영되는 편광 유지 스크린으로 이루어져, 영상 처리부에서 생성된 기초 영상을 표시하는 영상 표시부,

   다수의 기초 렌즈로 이루어지며, 상기 영상 표시부에서 표시되는 기초 영상을 결상하여 해당하는 3차원 영상을 재생하는 렌즈 어레이

   를 포함하는 입체 영상 표시 장치.
4. 제 1항과 제 3항 중 어느 한 항에 있어서,

   상기 영상 처리부는 3차원 영상 정보의 물체 포인트(object point)인 점 P의 좌표가 (x.y)이고, 상기 렌즈 어레이로부터 상기 점 P의 상이 맺히는 곳까지의 거리가 z인 경우, 상기 점 P에 대한 기초 영상은 다음의 식에 따라 산출되는 것을 특징으로 하는 입체 영상 표시 장치.

   Elemental_image_x[i][j] = lens_x[i][j] + (f/z) * (lens_x[i][j] x )

   Elemental_image_y[i][j] = lens_y[i][j] + (f/z) * (lens_y[i][j] y )

   (lens_x[i][j], lens_y[i][j]) : 상기 렌즈 어레이의 기초 렌즈 중 왼쪽으로부터 i 번째, 위로부터 j 번째에 위치되는 기초 렌즈의 중심 좌표.

   f : 초점 거리)
5. 제 4항에 있어서,

   상기 영상 처리부는 상기 식에 의하여 산출된 상기 점 P에 대한 기초 영상중 다음의 조건 중 어느 하나라도 만족하는 값만을 추출하여 상기 점 P에 대한 기초 영상으로 설정하는 것을 특징으로 하는 입체 영상 표시 장치.

   -Lx < Elemental_image_x[i][j] - lens_x[i][j] < Lx

   -Ly < Elemental_image_y[i][j] - lens_y[i][j] < Ly

   (Lx: 상기 기초 렌즈의 x방향 크기

   Ly,: 상기 기초 렌즈의 y방향 크기)