KR101767299B1 - 홀로그래픽 복원 영상 재현 장치 및 방법 - Google Patents

홀로그래픽 복원 영상 재현 장치 및 방법 Download PDF

Info

Publication number
KR101767299B1
KR101767299B1 KR1020140060876A KR20140060876A KR101767299B1 KR 101767299 B1 KR101767299 B1 KR 101767299B1 KR 1020140060876 A KR1020140060876 A KR 1020140060876A KR 20140060876 A KR20140060876 A KR 20140060876A KR 101767299 B1 KR101767299 B1 KR 101767299B1
Authority
KR
South Korea
Prior art keywords
pupil
hologram
reconstructed image
holographic
image
Prior art date
Application number
KR1020140060876A
Other languages
English (en)
Other versions
KR20150134055A (ko
Inventor
이수현
추현곤
김진웅
문경애
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140060876A priority Critical patent/KR101767299B1/ko
Publication of KR20150134055A publication Critical patent/KR20150134055A/ko
Application granted granted Critical
Publication of KR101767299B1 publication Critical patent/KR101767299B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)

Abstract

본 발명의 실시예는 홀로그래픽 복원 영상을 재현하는 장치와 그 방법에 관한 것이다. 동공의 공간상의 위치 좌표를 측정하고, 상기 동공의 위치를 추적하는 동공 위치 추적부; 상기 공간상에 존재하는 물체에 대한 정보 및 상기 동공의 위치에 따라 홀로그램을 달리 생성하는 홀로그램 생성부; 상기 생성된 홀로그램에 대해 상기 동공 위치 및 복원 조건에 따른 홀로그래픽 복원 영상을 계산하는 홀로그램 수치적 복원부; 및 상기 계산된 홀로그래픽 복원 영상을 상기 공간상에 플로팅하는 복원 영상 디스플레이부를 포함하는 홀로그래픽 복원 영상 재현 장치가 제공될 수 있다.

Description

홀로그래픽 복원 영상 재현 장치 및 방법{Apparatus and Method for Displaying Reconstructed Holographic Image}
본 발명의 실시예는 홀로그래픽 복원 영상을 재현하는 장치와 그 방법에 관한 것이다.
홀로그래픽 디스플레이 기술은 이상적인 3차원 디스플레이 기술로써, 물체로 인한 파면을 그대로 재생하여, 사람의 눈에 실제로 물체가 존재하는 것과 동일한 효과를 주는 기술이다. 특히, 현재 3차원 디스플레이 산업에서 주로 사용되는 스테레오 방식과 달리 조절-폭주(accommodation-convergence) 불일치가 없어 피로감과 어지러움이 없고, 시점에 따라 서로 다른 영상을 관찰할 수 있으며 시청을 위한 부수적인 장치(예, 안경)가 필요 없는 다수의 시청이 가능한 궁극의 3차원 디스플레이 기술로 여겨진다.
하지만, 이러한 홀로그래픽 디스플레이 기술 구현을 위해서는 몇 가지 요구사항들이 있는데, 먼저 넓은 시야각을 위해서 픽셀 크기가 가시광선의 파장 수준(~1um)인 디스플레이 소자가 필요하고, 디스플레이로 사용되려면 일정 수준 이상의 크기를 가져야 한다. 하지만, 현재 기술로는 ~1um 픽셀 크기의 디스플레이 소자를 제작하는 것이 매우 힘들고, 이와 함께 홀로그램 생성을 위한 계산 량 역시 매우 증가하여 매우 큰 컴퓨팅 파워가 요구 되므로, 실제로 소비자들이 기대하는 성능의 디스플레이 제품이 개발 되려면 아직 많은 시간이 필요할 것으로 예상된다.
따라서, 현재 세계 각국에서는 디스플레이 소자에 대한 활발한 연구와 함께 현재 상용 가능한 디스플레이 소자와 광학, 기계 시스템을 결합한 새로운 디스플레이 시스템에 대한 연구가 다양하게 진행되고 있다.
현재 상용 가능한 디스플레이 소자만으로 표현할 수 있는 홀로그래픽 이미지 크기와 시야각의 범위는 매우 작기 때문에 이상적인 3차원 디스플레이로서의 홀로그래픽 디스플레이의 특성(운동 시차, 조절-폭주 일치, 양안 시차)들을 실제로 관찰하기가 쉽지 않다. 그래서 디스플레이 소자에 광학, 기계 시스템들을 결합해 그 한계를 극복하려는 연구가 많이 진행되고 있지만 이러한 시스템 대부분 큰 공간을 차지하고 정밀한 배열 등이 필요하므로 디스플레이 시스템을 실제로 구현하고 이동시키기가 어렵다는 단점이 있다.
또한, 홀로그래픽 디스플레이는 가간섭성을 가지는 광원을 사용해야 하므로, 안전 문제로 눈으로 직접 보는 것은 위험하여, 대부분 카메라 촬영을 통해 간접적으로만 보아야 하는 경우가 많다.
이러한 홀로그래픽 디스플레이 기술 개발과는 별개로, 사람의 눈에 잘 보이지 않는 투명한 스크린 이용하는 3D Floating 기술(유사 홀로그래피) 역시 그 동안 많이 연구되어 왔는데, 현재 공연, 전시에서 주로 사용되고 있다. 특히, 공연 계에서 적극적으로 사용되고 있다.
하지만 유사 홀로그램 기술의 경우 2차원 영상을 공간상에 플로팅(Floating) 하는 것이므로, 시점에 관계없이 동일한 영상을 보게 되며 깊이를 표현할 수 없다. 공연, 전시, 광고 등의 경우 관찰 거리가 멀고 시야각이 제한적이라 실제 물체가 공간에 존재하는 것처럼 보일 수 있지만, 일반적으로 사용되는 디스플레이 용도로는 유사 홀로그램 기술로 3차원 영상을 재현하는 것에는 한계가 있다.
본 발명의 실시예는 동공추적 기술과 연동된 유사 홀로그래피 디스플레이 장치를 이용해 홀로그래픽 복원 영상을 재현하는 장치를 제공하기 위한 것이다.
현재 홀로그래픽 디스플레이는 큰 공간을 필요로 하고, 정밀한 광학 부품들의 배열이 필요하므로 구현과 이동이 힘들고, 가간섭성 광원의 안전성 문제 때문에 눈으로 직접 보는 것이 위험한 경우가 많다. 또한, 디스플레이 시스템의 성능 한계 때문에 이상적인 3차원 디스플레이로서의 특성(운동시차, 양안시차, 조절-폭주 일치)들을 실제로는 확인하기 힘든 경우가 많다.
이러한 문제를 해결하기 위해 동공추적 기술과 연동된 유사 홀로그래피 디스플레이 장치를 이용해 동공의 위치에 맞게 계산된 홀로그래픽 복원 영상을 3차원 공간상에 플로팅하여 광학적으로 복원되는 홀로그래픽 영상과 유사하게 재현하는 장치를 제공하도록 한다.
동공의 공간상의 위치 좌표를 측정하고, 상기 동공의 위치를 추적하는 동공 위치 추적부; 상기 공간상에 존재하는 물체에 대한 정보 및 상기 동공의 위치에 따라 홀로그램을 달리 생성하는 홀로그램 생성부; 상기 생성된 홀로그램에 대해 상기 동공 위치 및 복원 조건에 따른 홀로그래픽 복원 영상을 계산하는 홀로그램 수치적 복원부; 및 상기 계산된 홀로그래픽 복원 영상을 상기 공간상에 플로팅하는 복원 영상 디스플레이부를 포함하는 홀로그래픽 복원 영상 재현 장치가 제공될 수 있다.
일측에 있어서, 상기 홀로그램 생성부는, 상기 물체에 대한 RGB 정보, 깊이 정보, 포인트 클라우드 데이터 및 3차원 메시 모델 기반의 정보 중 적어도 하나를 상기 물체에 대한 정보로 입력 받아 상기 홀로그램을 생성할 수 있다.
또 다른 측면에 있어서, 상기 홀로그램 수치적 복원부는, 상기 생성된 홀로그램의 패턴, 상기 동공 위치 및 상기 복원 조건을 입력 받아 실제 관측되는 상기 홀로그래픽 복원 영상을 계산할 수 있다.
본 발명의 실시예를 통해 동공추적 기술과 연동된 유사 홀로그래피 디스플레이 장치를 이용해 동공의 위치에 맞게 계산된 홀로그래픽 복원 영상을 3차원 공간상에 플로팅하여 광학적으로 복원되는 홀로그래픽 영상과 유사하게 재현하는 장치를 제공할 수 있다. 실제로 구현, 이동, 직접 관찰 등이 힘든 홀로그래픽 디스플레이를 유사하게 재현할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 홀로그래픽 복원 영상 재현 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 동공 추적 알고리즘에 대해 설명하기 위한 흐름도이다.
도 3은 본 발명의 일실시예에 있어서, Haar 기법을 이용한 눈 검출기의 구성에 대해 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 동공의 위치 및 복원하고자 하는 위치에 따라 결정되는 영상의 차이를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 관찰 시점에 따른 홀로그래픽 복원영상 결과의 예를 도시한 것이다.
도 6은 본 발명의 일실시예에 있어서, 홀로그래픽 복원 영상 재현 장치에 이동이 가능한 스테레오스코픽 3차원 디스플레이를 사용한 장치 구성의 일례를 도시한 것이다.
도 7은 본 발명의 일실시예에 있어서, 홀로그래픽 시뮬레이션 장치의 일례이다.
이하, 홀로그래픽 복원 영상 재현 장치 및 방법에 대해서 첨부된 도면을 참조하여 자세히 설명하도록 한다.
도 1은 본 발명의 일실시예에 있어서, 홀로그래픽 복원 영상 재현 장치(100)의 구성을 설명하기 위한 블록도이다.
실시예에 따른 홀로그래픽 복원 영상 재현 장치(100)는 동공 위치 추적부(110), 홀로그램 생성부(120), 홀로그램 수치적 복원부(130) 및 복원 영상 디스플레이부(140)를 포함하여 구성될 수 있다.
동공 위치 추적부(110)는 동공의 공간상의 위치 좌표를 측정하고, 동공의 위치를 추적할 수 있다.
동공 위치 추적부(110)에서는 사용자의 동공의 공간상 위치를 측정하고, 추적하여 동공의 위치 좌표를 실시간으로 홀로그램 생성부(120)와 홀로그램 수치적 복원부(130)로 전달할 수 있다.
일측에 있어서, 카메라 등의 장치를 이용하여 홀로그램을 관찰하는 사용자의 얼굴, 얼굴 내의 눈 및 동공에 대한 공간 상의 위치를 찾을 수 있다. 동공의 유무 판단 및 동공의 위치 계산은 일반적인 동공 추적 방법을 이용할 수 있다.
도 2는 본 발명의 일실시예에 있어서, 동공 추적 알고리즘에 대해 설명하기 위한 흐름도이다.
동공 추적 알고리즘은 일반적인 경우에, 영상이 입력되면 입력된 영상에서 얼굴을 먼저 찾아 검출하고, 얼굴에서 눈, 코 입 등의 위치를 검출한다. 이때 검출된 눈의 위치를 중심으로 동공의 위치를 추출하는 방식으로 구성될 수 있다.
추출된 동공의 위치는 예측기(Tracker)로 입력되어 다음의 동공 위치를 예측하여 다음 계산에 대한 속도를 향상시킬 수 있다. 실시간의 동공의 위치 및 예측기를 통해 예측되는 다음의 동공의 위치를 계산함으로써 홀로그램 생성 또는 수치적 복원에 이용될 수 있다.
여기서, 얼굴 및 눈의 위치를 찾는 방법은 얼굴 인식 과정에 따를 수 있다. 본 발명의 실시예는 Haar 특징 기반의 접근 방법을 이용하는 동공 추적 방법에 대한 일례로 실시될 수 있다.
도 3은 본 발명의 일실시예에 있어서, Haar 기법을 이용한 눈 검출기의 구성에 대해 설명하기 위한 도면이다.
Haar 기반의 접근 방법은 도 3의 Haar 특징자를 하나의 필터 셋으로 구성하고, 얼굴 데이터 베이스를 이용하여 각각의 필터에 대한 응답을 하나의 분류기로 구성하고, 입력된 영상과 비교하여 구성하는 방식으로 수행될 수 있다.
눈 검출기에 영상이 입력되면, 여러 크기 단위로 얼굴 및 눈의 후보 영역이 다수 개의 특징자를 통해 검출될 수 있으며, 눈 검출기에서 가장 큰 출력 값을 가지는 부분을 눈의 영역으로 검출될 수 있다.
눈의 위치가 검출되면, 눈의 중심을 기준으로 동공의 위치를 찾게 되는데, 눈의 위치에서 동공의 위치를 찾는 방법은 일반적으로 동공이 카메라 영상에서 더 어둡게 나온다는 점과 동공의 모양이 원형에 가깝다는 점을 이용할 수 있다.
실시예에서, 원형 검출 알고리즘을 이용하여 동공을 검출하는 방법은 다음 수식과 같이 이루어질 수 있다.
Figure 112014047714215-pat00001
수학식 1에서 I(x, y)는 (x, y)위치에서의 화소값을 의미하고, (x0, y0)은 원의 중심을 의미하며, r은 반지름을 뜻한다. 수학식 1을 통해 원의 중심인 (x0, y0)로부터 반지름 r에 의해 2πr로 정규화된 원의 둘레에 있는 모든 화소값을 더하고, 원의 둘레의 안쪽 및 바깥쪽 각각에 대한 화소값의 차이가 가장 크기 났을 때, 동공 영역으로 판단할 수 있다. 동공을 추출하는데 노이즈(Noise)를 제거하기 위하여 반지름 r의 방향으로 가우시안 함수 G(r)을 수행할 수 있다.
일측에 있어서, 동공 위치 추적부(110)에서 동공 위치 계산 모듈을 이용하는 경우, 카메라로부터 입력 받은 좌우 동공의 위치를 이용하여 실제 위치를 계산할 수 있다. 만약 카메라가 스테레오 카메라인 경우, 두 대의 연속하는 동공의 위치 차이(Disparity)를 이용하여 거리 및 위치를 계산할 수 있다.
다시 돌아가서, 도 1의 홀로그래픽 복원 영상 재현 장치(100)는 공간상에 존재하는 물체에 대한 정보 및 동공의 위치에 따라 홀로그램을 달리 생성하는 홀로그램 생성부(120)를 포함할 수 있다.
홀로그램 생성부(120)는 공간 상에 존재하는 물체에 대한 홀로그램을 생성한 후, 홀로그램 수치적 복원부(130)로 정보를 전달할 수 있다. 홀로그램을 생성할 때에, 동공 위치에 관계 없이 또는 동공 위치에 따라 홀로그램을 달리 생성할 수 있다.
실시예에서, 3차원 객체의 정보는 RGB정보와 깊이 정보, 포인트 클라우드 데이터 및 3차원 메시 모델 기반의 정보 등의 다양한 형태로 입력 받을 수 있다.
홀로그램 생성부(120)에서 홀로그램을 생성할 때에 다양한 알고리즘을 지원할 수 있으며, 선택된 알고리즘에 따라 동공 위치 추적부(110)로부터 입력되는 동공의 위치 좌표가 사용될 수도 있고, 예컨대 sub-hologram이 있으며, 사용되지 않을 수도 있다.
홀로그램 수치적 복원부(130)는 생성된 홀로그램에 대해 동공 위치 및 복원 조건에 따른 홀로그래픽 복원 영상을 계산할 수 있다. 실시예에서, 동공 위치에서 관찰 가능한 홀로그래픽 복원 영상을 계산할 수 있다. 홀로그램 수치적 복원부(130)에서 계산된 홀로그래픽 복원 영상을 복원 영상 디스플레이부(140)로 전달할 수 있다.
실시예에 따른 홀로그램 수치적 복원부(130)는 도시된 바와 같이, 동공 위치 추적부(110) 및 홀로그램 생성부(120)로부터 동공의 위치 좌표, 홀로그램 패턴을 각각 입력 받아, 외부로부터 입력된 복원 조건, 예컨대 파장, 초점 깊이면, 동공 크기 등에 따라 실제 관측이 예상되는 홀로그래픽 복원 영상을 계산하여 그 결과를 2차원 영상으로 출력할 수 있다.
이때, 사람의 양쪽 눈에 동일한 영상이 보이도록 할 수 있으며, 다른 실시예로 양쪽 눈에 서로 다른 시점의 영상이 보이도록 할 수도 있는데, 각각 동시에 1개 또는 좌안/우안용 2개의 2차원 영상을 출력할 수 있다.
홀로그램 생성과 동공의 위치에 따라 실제 관측이 예상되는 홀로그래픽 복원 영상 계산의 일례에 대해서 설명하도록 한다.
아래, 수학식 2는 홀로그램 생성의 실시예에 있어서, 평면파인 기준 파와 물체파의 간섭 패턴을 계산하는 방법에 관한 것이다.
Figure 112014047714215-pat00002
홀로그램 생성에는 동공의 위치 좌표가 사용되지 않으며 3차원 객체 데이터 를 포인트 클라우드 형태로 입력 받아 (xj, yj, zj) 위치에 존재하는 세기가 Aj인 각각의 물체점에 의한 간섭 패턴을 홀로그램 평면에서 중첩하여 홀로그램 패턴 I(xα,yα)를 계산할 수 있다.
이렇게 생성된 홀로그램은 평면파의 광원과 공간 광 변조기만으로 이루어진 단순한 시스템을 이용해 복원할 수 있는데, 홀로그램을 띄운 공간 광 변조기에 평면파를 입사시키고 공간 광 변조기에서 반사, 또는 투과되어 나오는 빛을 전파시키면, 원하는 위치에 상이 맺힐 수 있다.
따라서, 수치적 복원을 위해서는 모든 홀로그램 픽셀에 대해서 복원하고자 하는 깊이면까지 전파되는 과정을 Fresnel Diffraction 식을 이용하여 아래 수학식 3과 같이 구하면, 복원면에서의 광 필드를 구할 수 있고, 그 세기가 그 깊이면에서의 홀로그래픽 수치적 복원 영상이 될 수 있다.
Figure 112014047714215-pat00003
H(xh,yh)는 홀로그램을 의미하고, z는 복원하고자 하는 깊이면을 의미하며, Rz(xr,yr)는 복원면에서의 광 필드를 의미한다.
실시예에서, 이러한 식을 통해 빛의 방향 정보는 모두 소실되고 주어진 위치에서의 빛의 세기만이 계산되므로 제한된 동공의 크기로 실제 관찰 할 수 있는 영상과는 차이가 날 수 있다.
따라서, 동공 위치에 따라 서로 다르게 관찰되는 홀로그래픽 복원 영상을 계산하기 위해서, 동공의 위치와 복원하고자 하는 지점에 따라 결정되는, 실제로 관찰에 기여할 수 있는 홀로그램의 일부 픽셀만을 이용하여 수학식 3을 계산할 수 있다.
도 4는 본 발명의 일실시예에 있어서, 동공의 위치 및 복원하고자 하는 위치에 따라 결정되는 영상의 차이를 설명하기 위한 도면이다.
도 4에서 동공이 Eye position 1에 있을 경우, 정면으로 복원면을 바라본다고 가정했을 때, 공간 광 변조기(SLM)에서 반사/투과되어 point 1에 모이는 빛인 연한 노란색의 넓은 영역 중 좁은 영역의 진한 노란색으로 표시된 일부만이 실제 관찰될 수 있다.
따라서 진한 색의 좁은 영역으로 표시된 부분의 홀로그램 패턴만을 수치적 복원 계산에 이용할 수 있다.
하지만, point 2에 모이는 빛의 넓은 영역 중, Eye position 1에 도달하는 빛은 없고 모두 Eye position 2에 도달하기 때문에, Eye position 1에서 point 2의 지점을 관찰할 때의 수치적 복원 값은 0이 될 수 있는 것이다.
도 5는 본 발명의 일실시예에 있어서, 관찰 시점에 따른 홀로그래픽 복원영상 결과의 예를 도시한 것이다.
실시예에서, 홀로그램 수치적 복원부(130)에서 출력되는 관찰 시점에 따른 홀로그래픽 복원 영상의 결과이다.
복원 조건은 현재 상용 가능한 디스플레이 소자 수준(1920*1200, 픽셀 크기 8.1um)에서 디스플레이 소자와 눈 사이에 다른 광학계 없이 직접 관찰하는 경우에 대한 것으로, 그 계산한 결과를 도시하고 있다.
도 4의 결과에서 보는 바와 같이, 관찰 위치를 변화시켜가며, 시뮬레이션한 결과, 도 5를 통해 확인할 수 있듯이, 디스플레이 소자의 회절 각도 및 크기의 한계로 인해 매우 한정적인 범위에서만 물체를 명확히 관찰할 수 있다는 결과를 얻을 수 있다.
다시 도 1로 돌아가서, 본 발명에서 복원 영상 디스플레이부(140)는 수치적으로 복원된 홀로그래픽 복원 영상을 공간상에 플로팅할 수 있다. 실시예에 따른 복원 영상 디스플레이부(140)는 반사형 유사 홀로그래피 시스템과 같이 일반적인 평면 디스플레이 장치 및 공간 상 프로젝션을 위한 투명 스크린을 포함하여 구성될 수 있다.
평면 디스플레이 장치의 경우, LCD, LED 패널 및 프로젝션(Projection) 등이 사용될 수 있으며, 홀로그래픽 디스플레이의 특성과 얼마나 유사하게 구현할 것이냐에 따라 평면 3차원 스테레오스코픽 디스플레이가 사용될 수도 있다. 또한, 디스플레이, 반사막 등의 위치와 각도 등을 변화시켜 주는 장치도 포함될 수 있다.
예를 들어, 평면 3차원 스테레오스코픽 디스플레이를 복원 영상 디스플레이부(140)로 사용할 경우, 폭주-조절 일치, 양안 시차, 운동 시차 등에 대해서 사용자가 모두 느끼도록 할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 홀로그래픽 복원 영상 재현 장치에 이동이 가능한 스테레오스코픽 3차원 디스플레이를 사용한 장치 구성의 일례를 도시한 것이다.
실시예에서, 양안 시차를 제공하기 위해 스테레오스코픽 3D 디스플레이를 사용하고, 레일 등의 구성 장치를 통해 디스플레이의 앞 뒤 위치를 변화시킴으로써, 폭주-조절(Accommodation-Convergence) 일치가 가능하도록 할 수 있다. 또한, 앞서 설명한 바와 같이, 동공의 위치에 따른 영상을 재생시켜 운동 시차를 느끼도록 할 수 있다.
그리고, 디스플레이 이동을 위한 레일 등의 장치를 이용하여 디스플레이의 앞 뒤 위치를 변화시키며 어떻게 폭주-조절을 일치시키는지 보여주고 있다. 도면에 의하면, 폭주-조절을 일치시키기 위한 초점 거리가 짧은 경우 레일 등의 장치를 앞으로 이동시키며, 폭주-조절을 일치시키기 위한 초점 거리가 긴 경우, 뒤로 이동시켜 디스플레이에 일치시킬 수 있다.
도 7은 본 발명의 일실시예에 있어서, 홀로그래픽 시뮬레이션 장치의 일례이다.
복원 영상 디스플레이부의 구성 위에 관찰자를 향한 동공 추적용 카메라(710)를 위치시켜, 사용자에 대한 영상 정보를 얻을 수 있다. 동공 위치 추적부(730)에서는 획득한 영상 정보를 이용하여 동공을 찾고 위치 좌표를 계산하여 홀로그램 생성 및 홀로그램 수치적 복원부(740)로 전달할 수 있다.
또한, 홀로그램 생성 및 홀로그램 수치적 복원부(740)는 실시예에서 사용자 인터페이스를 통해 홀로그램 생성 및 수치적 복원 조건을 입력 받을 수 있다. 도 1에서는 홀로그램 생성부(120)와 홀로그램 수치적 복원부(130)가 분리되어 있지만, 본 예에서는 두 모듈이 한 컴퓨터에서 수행 된다고 가정하였다.
홀로그램 생성 및 수치적 복원부(740)에서는 동공 위치 좌표와 함께 UI를 통해 입력된 홀로그램 생성 및 복원 조건을 이용해 홀로그램을 생성하고 이를 수치적 복원 하여 좌안/우안에 맞는 2차원 수치적 복원 영상을 스테레오스코픽 디스플레이 등의 복원 영상 디스플레이부(720)로 출력한다. 수치적 복원 조건에 따라 디스플레이(720)를 이동시켜 조절-폭주가 일치될 수 있다.
본 발명의 실시예를 통해 동공추적 기술과 연동된 유사 홀로그래피 디스플레이 장치를 이용해 동공의 위치에 맞게 계산된 홀로그래픽 복원 영상을 3차원 공간상에 플로팅하여 광학적으로 복원되는 홀로그래픽 영상과 유사하게 재현하는 장치를 제공할 수 있다. 실제로 구현, 이동, 직접 관찰 등이 힘든 홀로그래픽 디스플레이를 유사하게 재현할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic media), CD-ROM, DVD와 같은 광기록 매체(Optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(Magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등한 것들에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (9)

  1. 동공에 대한 공간상의 위치 좌표를 측정하고, 상기 동공의 위치를 추적하는 동공 위치 추적부;
    상기 공간상에 존재하는 물체에 대한 정보 및 상기 동공의 위치에 따라 홀로그램을 달리 생성하는 홀로그램 생성부;
    상기 생성된 홀로그램에 대해 상기 동공 위치 및 복원 조건-상기 복원 조건은 파장, 초점 깊이면, 상기 동공의 크기 중 적어도 하나를 포함함-에 따른 홀로그래픽 복원 영상을 계산하는 홀로그램 수치적 복원부; 및
    상기 계산된 홀로그래픽 복원 영상을 상기 공간상에 플로팅하는 복원 영상 디스플레이부
    를 포함하고,
    상기 홀로그램 수치적 복원부는,
    상기 생성된 홀로그램의 패턴, 상기 동공 위치 및 외부로부터 입력 받은 상기 복원 조건을 이용하여 실제 관측되는 상기 홀로그래픽 복원 영상을 계산하는,
    홀로그래픽 복원 영상 재현 장치.
  2. 제1항에 있어서,
    상기 동공 위치 추적부는,
    카메라로부터 입력 받은 영상으로부터 눈의 영역을 검출하고,
    상기 눈의 영역에 원형 검출 알고리즘을 통해 상기 동공의 좌우 위치를 추출하는,
    홀로그래픽 복원 영상 재현 장치.
  3. 제1항에 있어서,
    상기 홀로그램 생성부는,
    상기 물체에 대한 RGB 정보, 깊이 정보, 포인트 클라우드 데이터 및 3차원 메시 모델 기반의 정보 중 적어도 하나를 상기 물체에 대한 정보로 입력 받아 상기 홀로그램을 생성하는,
    홀로그래픽 복원 영상 재현 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 홀로그램의 패턴은,
    상기 동공의 위치를 포인트 클라우드 형태로 입력 받아 3차원 좌표 내에서 각각의 물체점에 의한 간섭 패턴을 홀로그램 평면에서 중첩함으로써 계산되는,
    홀로그래픽 복원 영상 재현 장치.
  6. 제1항에 있어서,
    상기 홀로그램 수치적 복원부는,
    상기 홀로그램에 대해서 복원하고자 하는 깊이 면까지 전파되는 과정을 계산하는,
    홀로그래픽 복원 영상 재현 장치.
  7. 제6항에 있어서,
    상기 동공의 위치; 및
    상기 홀로그래픽 복원 영상을 복원하고자 하는 지점에 따라 실제 관찰에 기여하는 일부 픽셀
    에 대해서 프레넬 회절(Fresnel diffraction)을 이용하여 계산하는,
    홀로그래픽 복원 영상 재현 장치.
  8. 제1항에 있어서,
    상기 디스플레이부는,
    상기 홀로그래픽 복원 영상을 2차원 영상으로 출력하고,
    상기 2차원 영상은 양쪽 눈에 동일한 영상이거나 상기 양쪽 눈에 서로 다른 시점의 영상인,
    홀로그래픽 복원 영상 재현 장치.
  9. 제1항에 있어서,
    상기 디스플레이부는,
    3차원 스테레오스코픽 디스플레이를 포함하는,
    홀로그래픽 복원 영상 재현 장치.
KR1020140060876A 2014-05-21 2014-05-21 홀로그래픽 복원 영상 재현 장치 및 방법 KR101767299B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140060876A KR101767299B1 (ko) 2014-05-21 2014-05-21 홀로그래픽 복원 영상 재현 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140060876A KR101767299B1 (ko) 2014-05-21 2014-05-21 홀로그래픽 복원 영상 재현 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150134055A KR20150134055A (ko) 2015-12-01
KR101767299B1 true KR101767299B1 (ko) 2017-08-23

Family

ID=54882557

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140060876A KR101767299B1 (ko) 2014-05-21 2014-05-21 홀로그래픽 복원 영상 재현 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101767299B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102277098B1 (ko) 2020-02-25 2021-07-15 광운대학교 산학협력단 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102277098B1 (ko) 2020-02-25 2021-07-15 광운대학교 산학협력단 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법
US11733649B2 (en) 2020-02-25 2023-08-22 Kwangwoon University Industry-Academic Collaboration Foundation Method of generating volume hologram using point cloud and mesh

Also Published As

Publication number Publication date
KR20150134055A (ko) 2015-12-01

Similar Documents

Publication Publication Date Title
US11281003B2 (en) Near eye dynamic holography
CN105700320A (zh) 一种基于空间光调制器的全息三维显示方法及装置
Murakami et al. Study on compact head-mounted display system using electro-holography for augmented reality
KR100973031B1 (ko) 룩업 테이블과 영상의 시간적 중복성을 이용한 3차원 동영상 컴퓨터 형성 홀로그램 생성 방법 및 그 장치
CN103763543B (zh) 合成全息图的采集方法
CN107087149B (zh) 用于处理全息图像的方法和装置
CN103941569A (zh) Led多角度全息三维数据再现方法
KR20150081010A (ko) 홀로그램 재현 영상의 시야각 측정 평가 장치 및 방법
US9811052B2 (en) Hologram generation apparatus and method
KR102304225B1 (ko) 홀로그램 재현 영상의 공간 해상도를 측정 및 평가하는 방법 및 장치
KR100910642B1 (ko) 홀로그래피 기법에 의해 획득된 영상의 3차원 집적 영상복원 방법 및 장치
KR20120118621A (ko) 홀로그램 기록 장치 및 홀로그램 재생 장치
JP2006309012A (ja) ホログラムデータ生成装置、方法およびプログラム、ならびにホログラムデータ生成システムおよびホログラム表示システム
Kim et al. Crosstalk minimization in autostereoscopic multiveiw 3D display by eye tracking and fusion (overlapping) of viewing zones
KR101767299B1 (ko) 홀로그래픽 복원 영상 재현 장치 및 방법
KR20120138227A (ko) 홀로그램 생성 장치 및 방법
JP2012008220A (ja) ルックアップテーブルと画像の空間的重複性を用いた計算機合成ホログラムの算出方法及びその装置
Ma et al. Resolution-improved holographic stereogram for dual-view 3D display based on integral imaging
Yöntem et al. Integral imaging based 3D display of holographic data
KR20130076050A (ko) 깊이 카메라를 이용한 3차원 집적영상 획득방법 및 디스플레이 장치
Edwards Holograms on the horizon?
Zhou et al. P‐104: Holographic See‐through AR Display with Zero‐order Eliminated
CN105223796A (zh) 基于近眼显示设备的全息图计算方法及装置
Ahmad et al. Holographic interface management in the age of artificial intelligence
KR102269088B1 (ko) 동공 추적 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant