KR20120029128A - 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템 - Google Patents

시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템 Download PDF

Info

Publication number
KR20120029128A
KR20120029128A KR1020100091024A KR20100091024A KR20120029128A KR 20120029128 A KR20120029128 A KR 20120029128A KR 1020100091024 A KR1020100091024 A KR 1020100091024A KR 20100091024 A KR20100091024 A KR 20100091024A KR 20120029128 A KR20120029128 A KR 20120029128A
Authority
KR
South Korea
Prior art keywords
image
view
images
point
holographic
Prior art date
Application number
KR1020100091024A
Other languages
English (en)
Other versions
KR101177408B1 (ko
Inventor
김동욱
서영호
최현준
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR20100091024A priority Critical patent/KR101177408B1/ko
Publication of KR20120029128A publication Critical patent/KR20120029128A/ko
Application granted granted Critical
Publication of KR101177408B1 publication Critical patent/KR101177408B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • H04N13/0018—
    • H04N13/0059—
    • H04N13/04—

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

적어도 2개의 다시점 영상을 입력받아 시청자의 시점(이하 시청시점)에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템에 관한 것으로서, 연속하여 벌어진 시점(이하 촬영시점)에서 각각 촬영된 다수의 영상을 입력받는 영상 입력부; 시청자의 시점을 입력받는 시점정보 획득부; 시청시점에서 가장 근접한 시점과 대응되는 적어도 2개의 인접 촬영시점을 선정하는 시점 제어부; 인접 촬영시점의 영상들로부터 깊이영상을 추출하는 깊이영상 생성부; 및, 깊이영상으로부터 홀로그램 영상을 생성하는 홀로그램 생성부를 포함하는 구성을 마련한다.
상기와 같은 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템에 의하여, 시청자의 시점이 변경될 때 해당 시점영상을 재생함으로써 자연스러운 홀로그래픽복원 영상을 재생할 수 있고, 눈의 피로감을 줄일 수 있다.

Description

시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템 { A multi-view interactive holographic device and system for reconstructing holographic images adaptable at the view-point of a user }
본 발명은 적어도 2개의 다시점 영상을 입력받아 시청하고자 하는 시점에 대응되는 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템에 관한 것이다.
특히, 본 발명은 시청자의 시점에서 가장 근접한 시점과 대응되는 적어도 2개의 인접 촬영시점을 선정하고, 선정된 영상으로부터 깊이영상을 추출하여 홀로그램 영상을 생성하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템에 관한 것이다.
최근 3차원 영상과 영상 재생 기술에 관한 연구들이 활발히 진행되고 있으며, 시각 정보의 수준을 한 차원 높여주는 새로운 개념의 실감 영상 미디어로서 차세대 디스플레이가 개발될 것으로 예상되고 있다. 또한, 3차원 영상은 2차원 영상 보다 실감 있고 자연스러우며 보다 인간이 느끼는 현실에 가까워 3차원 영상에 대한 수요가 증가하고 있다.
이러한 3차원 영상 관련 기술 중에서 홀로그래피 방식은 홀로그래피에 광을 비추면 관측자는 홀로그래피의 전면으로부터 일정한 거리를 두고 떨어져 홀로그래피를 바라보면서 허상의 입체 영상을 관측하게 되는 방식이다. 홀로그래피 방식은 레이저를 이용하여 제작한 홀로그래피를 관측시 특수 안경을 장착하지 않고도 실물과 똑같은 입체 영상을 느낄 수 있는 방식이다. 따라서 홀로그래피 방식은 입체감이 뛰어나며 인간이 피로감이 없이 3차원 영상을 느끼는 가장 이상적인 방식이라고 알려져 있다.
기존의 홀로그래피 방식은 홀로그램 필름에 3차원 정보를 기록하고, 현상된 필름을 사용하여 3차원 물체를 복원하는 방식을 사용함으로써 그 응용이 크게 제한되었다.
그러나 물체파와 기준파의 간섭에 의해 생성되는 간섭항을 계산함으로써 컴퓨터에 의한 홀로그램의 제작이 가능해졌다. 파면의 간격이 시간과 공간에 걸쳐 일정하게 유지되는 코히어런트한 광이 어떤 형태를 가진 물체에 부딪쳐 반사될 때는 그 반사된 광의 파면은 물체의 형태에 비례하여 달라진다. 즉 파면의 위상 변화가 물체의 형상에 따라 변화한다. 컴퓨터 생성 홀로그램은 이러한 물체의 형상에 따라 변화하는 파면의 위상을 기하광학적인 방법으로 계산하는 것에 의해 얻어진다.
컴퓨터 생성 홀로그램(CGH, Computer generated hologram)을 생성하기 위하여 컴퓨터 그래픽에 의해 만들어진 3차원 모델을 이용한다. 3차원 모델을 이용하는 대표적인 이유는 3차원 모델로부터 CGH를 생성하기 위한 정보를 쉽게 얻을 수 있다는 점과 컴퓨터 그래픽을 이용하여 획득된 영상의 깊이(Depth) 정보를 CGH를 생성하기 위한 정보로써 쉽게 이용할 수 있기 때문이다. 특히, 깊이 영상으로부터 홀로그래픽 영상을 생성하는 홀로그래픽 디스플레이 기술이 제시되고 있다.
그러나 깊이 영상은 고정된 하나의 시점에 관한 3차원 영상이므로, 이로부터 생성된 홀로그램도 역시 고정된 시점에 의한 입체 영상이다. 따라서 시청자가 깊이영상의 시점에 대응되는 시청시점에서 시청을 하면 온전한 입체영상을 볼 수 있으나, 시청자가 자신의 위치를 이동시키면 그러하지 못할 수 있다.
예를 들어, 시청하는 시점을 90도 옆으로 이동하면, 홀로그래픽 영상이 잘 복원된 홀로그램의 정면 측과 복원되지 않은 후면 측을 동시에 보게 된다. 즉, 종래의 홀로그래픽 디스플레이 기술은 시청하고자 하는 시점을 자유롭게 선택할 수 없다는 단점이 있다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 적어도 2개의 다시점 영상을 입력받아 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템을 제공하는 것이다.
특히, 본 발명의 목적은 시청자의 시점에서 가장 근접한 시점과 대응되는 적어도 2개의 인접 촬영시점을 선정하고, 선정된 영상으로부터 깊이영상을 추출하여 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 적어도 2개의 다시점 영상을 입력받아 시청자의 시점(이하 시청시점)에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치에 관한 것으로서, 연속하여 벌어진 시점(이하 촬영시점)에서 각각 촬영된 다수의 영상을 입력받는 영상 입력부; 상기 시청자의 시점을 입력받는 시점정보 획득부; 상기 시청시점에서 가장 근접한 시점과 대응되는 적어도 2개의 인접 촬영시점을 선정하는 시점 제어부; 상기 인접 촬영시점의 영상들로부터 깊이영상을 추출하는 깊이영상 생성부; 및, 상기 깊이영상으로부터 홀로그램 영상을 생성하는 홀로그램 생성부를 포함하는 것을 특징으로 한다.
또, 본 발명은 다시점 기반 대화형 홀로그래픽 복원 장치에 있어서, 상기 인접 촬영시점의 영상들을 촬영한 카메라의 캘리브레이션으로부터 외부변수를 추출하고, 상기 외부변수를 이용하여 상기 인접 촬영시점의 영상들을 보정을 하는 전처리부를 더 포함하는 것을 특징으로 한다.
또, 본 발명은 다시점 기반 대화형 홀로그래픽 복원 장치에 있어서, 상기 깊이영상 생성부는 상기 인접 촬영시점의 영상들로부터 영상의 시차를 추출한 후, 영상 시차를 이용하여 깊이 영상을 생성하는 것을 특징으로 한다.
또, 본 발명은 다시점 기반 대화형 홀로그래픽 복원 장치에 있어서, 상기 홀로그램 생성부는 상기 깊이영상으로부터 [수식 1]에 의해 디지털 홀로그램 영상을 생성하는 것을 특징으로 한다.
[수식 1]
Figure pat00001
단, α와 j는 홀로그램과 깊이영상, λ는 참조파의 파장,
p는 홀로그램의 화소 크기(pixel pitch),
xα 와 yα 는 홀로그램의 좌표,
xj, yj, 및 zj는 깊이영상의 좌표.
Iα 는 홀로그램의 빛의 강도, Aj는 깊이영상의 픽셀값의 최대 크기.
또한, 본 발명은 적어도 2개의 다시점 영상을 입력받아 시청자의 시점(이하 시청시점)에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 시스템에 관한 것으로서, 연속하여 벌어진 시점(이하 촬영시점)에서 각각 촬영된 다수의 영상을 입력받고, 시청시점에서 가장 근접한 시점과 대응되는 적어도 2개의 인접 촬영시점을 선정하여 상기 인접 촬영시점의 영상들로부터 깊이영상을 추출하는 부호화 장치; 및, 상기 시청시점을 입력받아 상기 부호화 장치로 전송하고, 상기 시청시점에 대응되는 깊이영상을 상기 부호화 장치로부터 수신하여 홀로그램 영상을 생성하는 복호화 장치를 포함하는 것을 특징으로 한다.
또한, 본 발명은 다시점 기반 대화형 홀로그래픽 부호화 장치에 관한 것으로서, 연속하여 벌어진 시점(이하 촬영시점)에서 각각 촬영된 다수의 영상을 입력받는 영상 입력부; 시청시점을 수신하여 상기 시청시점에서 가장 근접한 시점과 대응되는 적어도 2개의 인접 촬영시점을 선정하는 시점 제어부; 상기 인접 촬영시점의 영상들로부터 깊이영상을 추출하는 깊이영상 생성부; 및, 상기 깊이영상을 부호화하여 전송하는 영상 전송부를 포함하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템에 의하면, 시청자의 시점이 변경될 때 해당 시점영상을 재생함으로써 시점이 바뀌는 과정에서 발생할 수 있는 화상 끊김현상과 같은 문제를 해결하여 자연스러운 홀로그래픽복원 영상을 재생할 수 있는 효과가 얻어진다. 이로 인해, 눈의 피로를 감소시키고, 현실감을 증대시킬 수 있다.
도 1은 본 발명의 제1 실시예를 실시하기 위한 전체 시스템의 구성도이다.
도 2는 본 발명의 제1 실시예에 따른 다시점 기반 대화형 홀로그래픽 복원 장치의 구성도이다.
도 3은 본 발명의 제1 실시예에 따른 다시점 카메라의 배치에 관한 구성도이다.
도 4는 본 발명의 제1 실시예에 따라 시청자의 시점을 획득하는 일례를 도시한 도면이다.
도 5는 본 발명의 제1 실시예에 따른 시점정보 획득부의 구성도이다.
도 6은 본 발명의 제1 실시예에 따른 전처리부의 구성도이다.
도 7은 본 발명의 제1 실시예에 따른 시차화상 추출부의 구성도이다.
도 8은 본 발명의 제2 실시예를 실시하기 위한 전체 시스템의 구성도이다.
도 9는 본 발명의 제2 실시예에 따른 다시점 기반 대화형 홀로그래픽 복원 시스템의 구성도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
10 : 물체 20 : 다시점 카메라
25 : 네트워크 30,31,32 : 컴퓨터 단말
40 : 홀로그래픽 복원장치 40a : 부호화 장치
40b : 부호화 장치 41 : 영상입력부
42 : 전처리부 43 : 시점정보 획득부
44 : 시점 제어부 45 : 깊이영상 생성부
46 : 홀로그램 생성부 47 : 후처리부
48 : 공간광변조기 51 : 영상전송부
52 : 영상수신부 60 : 다시점 영상
61 : 깊이영상 70 : 홀로그래픽 (복원) 영상
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명의 제1 실시예를 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명의 제1 실시예는 다수의 촬영장치(20)에 의해 촬영된 영상(60)을 입력받아 영상을 처리하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다.
즉, 다시점 기반 대화형 홀로그래픽 복원 장치(40)는 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 시스템(40)과 같이 동작할 수 있다. 한편, 다른 실시예로서, 홀로그래픽 복원 장치(40)는 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 즉, 소프트웨어 형태, FPGA 칩이나 여러 개의 회로소자로 구성된 전자회로의 형태로 구성될 수도 있다. 그 외 가능한 다른 형태도 실시될 수 있다. 그러나 이하에서 설명의 편의를 위해 컴퓨터 단말(30)에 구현된 홀로그래픽 복원 장치(40)로 설명하기로 한다.
다수의 촬영장치(20)는 다시점 카메라로서, 하나의 물체(10)를 다수의 시점으로 촬영하는 장치이다. 촬영된 영상(60)은 상기 다시점 카메라(20)로 촬영된 다시점 영상이다. 또, 상기 다시점 영상(60)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 홀로그래픽 복원 장치(40)에 의해 처리된다.
또는, 다시점 영상(60)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 홀로그래픽 복원 장치(40)에 의해 저장된 다시점 영상(60)을 읽어 입력될 수도 있다.
한편, 홀로그래픽 복원 장치(40)는 다시점 영상(60)으로부터 깊이영상을 추출하고, 추출된 깊이영상으로부터 홀로그램 영상을 생성한다.
다음으로, 본 발명의 제1 실시예에 따른 다시점 기반 대화형 홀로그래픽 복원 장치(40)의 구성을 도 2를 참조하여 설명한다.
도 2에서 보는 바와 같이, 홀로그래픽 복원 장치(40)는 영상 입력부(41), 시점정보 획득부(43), 시점 제어부(44), 깊이영상 생성부(45), 및 홀로그램 생성부(46)를 포함하여 구성된다. 또, 추가적으로 전처리부(42), 후처리부(47), 공간광변조기(48)를 더 포함하여 구성될 수 있다.
영상 입력부(41)는 연속하여 벌어진 시점(이하 촬영시점)에서 각각 촬영된 다수의 영상을 입력받는다.
도 3에서 보는 바와 같이, 다시점 카메라(20)는 다수의 카메라를 배열하고 각 카메라로 각 시점의 영상을 촬영하여 획득한다. 카메라를 배열하는 방식은 일렬(parallel) 배열형태, 수렴(convergent) 배열형태 등으로 구분된다.
도 3a와 같은 수렴(convergent) 배열형태는 센터의 한 점 방향으로 여러 대의 카메라를 배치하는 방식이고, 도 3b와 같은 일렬(parallel) 배열형태는 카메라를 일렬로 배열하여 영상을 얻어내는 방식이다. 특히, 도 3a와 같은 수렴 배열형태는 360도 전체 각도에 카메라를 배치하여, 모든 방향에서 대상 물체를 촬영하여 모든 촬영시점에서의 영상을 획득할 수 있다. 이때, 각 카메라 간격을 일정한 거리 또는 일정한 각도로 균일하게 배열하는 것이 바람직하다.
예를 들어, 도 3a에서 물체(10)의 주변에 7대의 카메라(20)를 배치하여 물체(10)를 각 방향에서 촬영한다. 이때, 각 카메라에 대응되는 7개의 다시점 영상(60)을 얻는다. 즉, 카메라(또는 촬영시점) C1에 의한 다시점 영상 P1, 카메라(또는 촬영시점) C2에 의한 다시점 영상 P2, ..., 카메라(또는 촬영시점) C7에 의한 다시점 영상 P7 이 획득된다.
한편, 시점정보 획득부(43)는 시청자의 시점(이하 시청시점)을 획득한다. 시청시점은 시청자가 홀로그래픽 영상을 시청하는 위치(또는 관점)를 말한다.
도 4a에서 보는 바와 같이, 시청자는 위치 L1에서 홀로그래픽 영상(70)을 정면에서 시청할 수도 있고, 약간 오른쪽으로 위치하여 위치 L2에서 홀로그래픽 영상(70)을 약간 우측에서 시청할 수도 있다. 또한, 왼쪽 위치 L3에서 홀로그래픽 영상(70)을 시청할 수도 있다.
도 4b에서 보는 바와 같이, 시점정보 획득부(43)는 N개의 센싱장치들로부터 N개의 시청자 시점정보 데이터를 입력받는다.
도 5에서 보는 바와 같이, 시점정보 획득부(43)는 센싱장치들로부터 시청자의 시점정보를 입력 받은 센서정보 획득부(43a), 여러 개의 센서들로부터 입력된 신호를 해석하는 센서정보 보정 및 해석부(43b), 해석된 센서정보로부터 시청자의 시점정보를 추출하는 공간 및 시점정보 추출부(43c)를 포함하여 구성된다.
다른 실시예로서, 시점정보 획득부(43)는 적외선, 다중센서, 또는 시청자의 촬영영상 등을 통해 시청자의 움직임을 추적하여 시청시점을 획득한다. 예를 들어, 두 눈의 시선 등 시청자의 위치를 추적하는 기술들(한국공개공보 제2010-0048747호, 제2009-0075536호, 제2010-0027976호, 제2005-0000369호, 제2007-0083575호, 제2006-0106451호 등 참조)이 적용될 수 있다. 또는, 시점정보 획득부(43)는 시청자의 입력에 의해 시점정보를 획득할 수도 있다. 즉, 시청자가 자신이 원하는 시점을 직접 입력할 수도 있다.
또한, 시점 제어부(44)는 시청시점에서 가장 근접한 시점과 대응되는 적어도 2개의 인접 촬영시점을 선정한다.
도 3a와 도 4의 예에서, 시청시점이 위치 L1이면, 2개의 인접 촬영시점으로서 C3과 C4, 또는 C4와 C5가 선정된다. 또, C3과 C4, C5 등 2개 이상의 인접 촬영시점을 선정할 수도 있다.
또, 시청시점이 위치 L2이면, 2개의 인접 촬영시점으로서 C3과 C4가 선정된다. 또, 시청시점이 위치 L3이면, 2개의 인접 촬영시점으로서 C6과 C7이 선정된다.
전처리부(42)는 선정된 적어도 2개의 인접 촬영시점의 영상(또는 다시점 영상)을 전처리한다.
도 6에서 보는 바와 같이, 전처리부(42)는 시점 제어부(44)에 의해 선정된 촬영시점의 영상을 선택하여 입력받는다(42a). 그리고 전처리부(42)는 영상 보정을 하기 위해서는 먼저 카메라 캘리브레이션을 한다(42b). 카메라 캘리브레이션에서 카메라의 외부변수를 추출하고(42c), 이를 사용해서 화상 보정을 한다(42d).
깊이영상 생성부(45)는 인접 촬영시점의 영상들로부터 깊이영상을 추출한다. 특히, 깊이영상 생성부(45)는 상기 인접 촬영시점의 영상들로부터 영상의 시차를 추출한 후, 영상 시차를 이용하여 깊이 영상을 생성한다.
도 7a에서 보는 바와 같이, 깊이영상 생성부(45)는 영상의 시차를 추출하기 위한 시차화상 추출부(49), 영상시차로부터 깊이정보를 생성하는 깊이정보 생성부(45a), 및, 배경을 분리하고 객체를 추출하는 객체화상 추출부(45b)를 포함하여 구성된다.
시차화상 추출부(49)는 시차화상 생성 시, 스트리킹(streaking)의 원인이 되는 연속적인 경로 탐색에 대한 신뢰성을 검증한다. 특히, 효율성을 높이기 위하여 영상의 특징 정보를 이용하여 연속적인 경로 탐색에 대한 신뢰성을 확인하여 최적의 변이 값을 할당 받을 수 있도록 한다. 또한, 영상의 특징 정보로는 영상의 경계를 사용한다.
즉, 도 7b에서 보는 바와 같이, 시차화상 추출부(49)는 각 영상별로 신호를 분할하는 영상별 신호분할부(49a), 각 영상의 경계정보를 획득하는 경계정보 획득부(49b), 획득된 경계정보를 이용하여 비용행렬을 계산하는 비용행렬 계산부(49c), 비용행렬을 통해 시차값을 구하는 시차값 할당부(49d), 폐쇄영역을 보정하는 폐쇄영역 보정부(49e)를 포함하여 구성된다.
깊이정보 추출부(45a)는 영상시차를 이용하여 인접 촬영시점의 영상들로부터 깊이정보(또는 깊이영상 정보)를 추출한다.
객체화상 추출부(45b)에서는 다시점 영상으로부터 획득한 깊이영상 정보에서 관심영역(region of interest)이 되는 객체와 비관심 영역인 배경을 분리하여 객체화상(객체 영상)만을 추출한다. 이 과정은 깊이화상정보(영상의 광원)가 영상 전체에 퍼져있을 경우 홀로그래픽 복원 영상의 화질이 상당히 저하되기 때문에 수행된다.
즉, 객체화상 추출부(45b)는 앞서 추출한 깊이정보에서 배경을 분리하여 객체영상의 깊이영상만을 추출하여, 최종 깊이영상을 생성한다.
한편, 홀로그램 생성부(45)는 앞서 구한 깊이영상으로부터 홀로그램 영상을 생성한다.
홀로그램 생성부(45)는 깊이영상 데이터를 이용하여 고속 연산을 위해 [수학식 1]과 같은 일반적인 홀로그램 생성 수식을 정리한 [수학식 2]를 이용한다.
[수학식 1]
Figure pat00002
여기서 α와 j는 홀로그램의 화소와 3차원 객체의 광원을 각각 나타내며, k는 참조파의 파수(wave number)로 2π/λ로 정의되고, p는 홀로그램의 화소 크기(pixel pitch), xα 와 yα 는 홀로그램의 좌표, xj, yj, 및 zj는 3차원 객체의 광원(즉, 깊이영상)의 좌표를 나타낸다. 또한, Iα 는 홀로그램의 빛의 강도이고, Aj는 깊이영상의 픽셀값의 최대 크기이다.
[수학식 1]을 Taylor 전개(Taylor expansion) 후 첫 번째 항으로 근사화하면 다음과 같은 [수학식 2]로 정리할 수 있다.
[수학식 2]
Figure pat00003
Figure pat00004
여기서 xαj 와 yαj 는 (xα - xj) 와 (yα - yj)를 의미한다.
후처리부(47)는 복원될 영상을 잡음제거, 감마보정 등을 통해 화질을 개선한다.
최종적으로 구한 홀로그램 영상 데이터는 공간광변조기(SLM)(48)에 디스플레이하여 홀로그래픽 영상을 복원하여 재생한다.
참고로, 홀로그램 영상은 [수학식 1] 또는 [수학식 2]를 이용하여 깊이영상으로부터 구한 2차원 영상을 의미하고, 홀로그래픽 영상은 홀로그램 영상을 공간광변조기(SLM)를 통해 복원하여 재생한 영상이다. 따라서 홀로그램픽 영상은 홀로그래픽 복원 영상이라고도 표시한다.
다음으로, 본 발명의 제2 실시예를 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 8을 참조하여 설명한다.
도 8에서 보는 바와 같이, 본 발명의 제2 실시예는 부호화 장치(40a)와 복호화 장치(40b)로 구성되어, 서로 네트워크(25)를 통해 연결되어 실시된다.
부호화 장치(40a) 또는 복호화 장치(40b)는 프로그램으로 구성되어 컴퓨터 단말(31, 32)에 설치되어 실행될 수 있다. 컴퓨터 단말(31, 32)에 설치된 프로그램은 하나의 시스템(40a, 40b)과 같이 동작할 수 있다. 한편, 다른 실시예로서, 부호화 장치(40a)와 복호화 장치(40b)는 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 즉, 소프트웨어 형태, FPGA 칩이나 여러 개의 회로소자로 구성된 전자회로의 형태로 구성될 수도 있다. 그 외 가능한 다른 형태도 실시될 수 있다. 그러나 이하에서 설명의 편의를 위해 컴퓨터 단말(30)에 구현된 부호화 장치(40a)와 복호화 장치(40b)로 설명하기로 한다.
다시점 영상(60)은 컴퓨터 단말(31)의 저장매체에 미리 저장되고, 저장된 다시점 영상(60)을 부호화 장치(40a)에 의해 읽어 입력될 수도 있다.
한편, 부호화 장치(40a)는 다시점 영상(60)으로부터 깊이영상을 추출하고, 추출된 깊이영상(61)을 네트워크(25)를 통해 복호화 장치(40b)에 전송한다. 복호화 장치(40b)는 깊이영상(61)을 수신하여, 깊이영상(61)으로부터 홀로그램 영상을 생성한다. 또한, 추가적으로, 부호화 장치(40a)는 홀로그래픽 복원 영상(홀로그래픽 영상)을 복원하여 재생한다.
이때, 네트워크(25)는 인터넷 등 유선 네트워크, 이동통신 등 무선 네트워크 뿐만 아니라, 블루투스, RF 등 근거리 무선 네트워크 등도 모두 포함된다.
다음으로, 본 발명의 제2 실시예에 따른 다시점 기반 대화형 홀로그래픽 복원 시스템(400)의 구성을 도 9를 참조하여 설명한다.
도 9에서 보는 바와 같이, 본 발명의 제2 실시예에 따른 홀로그래픽 복원 시스템(400)은 부호화 장치(40a)와 복호화 장치(40b)로 구성된다.
부호화 장치(40a)는 영상 입력부(41), 시점 제어부(44), 깊이영상 생성부(45), 영상 전송부(51)로 구성된다. 추가적으로, 전처리부(42)를 더 포함하여 구성될 수 있다.
또한, 복호화 장치(40b)는 시점정보 획득부(43), 영상 수신부(52), 홀로그램 생성부(46)로 구성된다. 추가적으로, 후처리부(47), 공간광변조기(48)를 더 포함하여 구성될 수 있다.
부호화 장치(40a)의 영상 입력부(41), 시점 제어부(44), 깊이영상 생성부(45), 전처리부(42)에 대한 설명은 앞서 홀로그래픽 복원 장치(40)의 해당 구성과 동일한 기능을 가지므로, 앞서 설명을 참조한다. 또한, 복호화 장치(40b)의 시점정보 획득부(43), 홀로그램 생성부(46), 후처리부(47), 공간광변조기(48)의 설명도 앞서 설명을 참조하고 여기서는 생략한다.
영상 전송부(51)는 깊이영상 생성부(45)에 의해 생성된 깊이영상(61)을 복호화 장치(40b)의 영상 수신부(52)로 전송한다. 이때, 영상 전송부(51)는 표준 동영상 부호화 기술로 압축한 후 유무선 선로(25)를 통해 전송하고, 영상 수신부(52)는 압축된 영상을 수신하여 복호화한다.
한편, 복호화 장치(40b)의 시점정보 획득부(43)는 시청시점을 획득하여 부호화 장치(40a)의 시점제어부(44)로 전송한다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명은 적어도 2개의 다시점 영상을 입력받아 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 홀로그래픽 복원 장치를 개발하는 데 적용이 가능하다.

Claims (6)

  1. 적어도 2개의 다시점 영상을 입력받아 시청자의 시점(이하 시청시점)에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치에 있어서,
    연속하여 벌어진 시점(이하 촬영시점)에서 각각 촬영된 다수의 영상을 입력받는 영상 입력부;
    상기 시청자의 시점을 입력받는 시점정보 획득부;
    상기 시청시점에서 가장 근접한 시점과 대응되는 적어도 2개의 인접 촬영시점을 선정하는 시점 제어부;
    상기 인접 촬영시점의 영상들로부터 깊이영상을 추출하는 깊이영상 생성부; 및,
    상기 깊이영상으로부터 홀로그램 영상을 생성하는 홀로그램 생성부를 포함하는 것을 특징으로 하는 다시점 기반 대화형 홀로그래픽 복원 장치.
  2. 제1항에 있어서,
    상기 인접 촬영시점의 영상들을 촬영한 카메라의 캘리브레이션으로부터 외부변수를 추출하고, 상기 외부변수를 이용하여 상기 인접 촬영시점의 영상들을 보정하는 전처리부를 더 포함하는 것을 특징으로 하는 다시점 기반 대화형 홀로그래픽 복원 장치.
  3. 제1항에 있어서,
    상기 깊이영상 생성부는 상기 인접 촬영시점의 영상들로부터 영상의 시차를 추출한 후, 영상 시차를 이용하여 깊이 영상을 생성하는 것을 특징으로 하는 다시점 기반 대화형 홀로그래픽 복원 장치.
  4. 제1항에 있어서,
    상기 홀로그램 생성부는 상기 깊이영상으로부터 [수식 1]에 의해 홀로그램 영상을 생성하는 것을 특징으로 하는 다시점 기반 대화형 홀로그래픽 복원 장치.
    [수식 1]
    Figure pat00005

    단, α와 j는 홀로그램과 깊이영상, λ는 참조파의 파장,
    p는 홀로그램의 화소 크기(pixel pitch),
    xα 와 yα 는 홀로그램의 좌표,
    xj, yj, 및 zj는 깊이영상의 좌표.
    Iα 는 홀로그램의 빛의 강도, Aj는 깊이영상의 픽셀값의 최대 크기.
  5. 적어도 2개의 다시점 영상을 입력받아 시청자의 시점(이하 시청시점)에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 시스템에 있어서,
    연속하여 벌어진 시점(이하 촬영시점)에서 각각 촬영된 다수의 영상을 입력받고, 시청시점에서 가장 근접한 시점과 대응되는 적어도 2개의 인접 촬영시점을 선정하여 상기 인접 촬영시점의 영상들로부터 깊이영상을 추출하는 부호화 장치; 및,
    상기 시청시점을 입력받아 상기 부호화 장치로 전송하고, 상기 시청시점에 대응되는 깊이영상을 상기 부호화 장치로부터 수신하여 홀로그램 영상을 생성하는 복호화 장치를 포함하는 것을 특징으로 하는 다시점 기반 대화형 홀로그래픽 복원 시스템.
  6. 연속하여 벌어진 시점(이하 촬영시점)에서 각각 촬영된 다수의 영상을 입력받는 영상 입력부;
    시청시점을 수신하여 상기 시청시점에서 가장 근접한 시점과 대응되는 적어도 2개의 인접 촬영시점을 선정하는 시점 제어부;
    상기 인접 촬영시점의 영상들로부터 깊이영상을 추출하는 깊이영상 생성부; 및,
    상기 깊이영상을 부호화하여 전송하는 영상 전송부를 포함하는 것을 특징으로 하는 다시점 기반 대화형 홀로그래픽 부호화 장치.
KR20100091024A 2010-09-16 2010-09-16 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템 KR101177408B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20100091024A KR101177408B1 (ko) 2010-09-16 2010-09-16 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20100091024A KR101177408B1 (ko) 2010-09-16 2010-09-16 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템

Publications (2)

Publication Number Publication Date
KR20120029128A true KR20120029128A (ko) 2012-03-26
KR101177408B1 KR101177408B1 (ko) 2012-08-27

Family

ID=46133680

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20100091024A KR101177408B1 (ko) 2010-09-16 2010-09-16 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR101177408B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101321895B1 (ko) * 2012-09-05 2013-10-29 광운대학교 산학협력단 디지털 홀로그램 비디오를 위한 인터랙티브 디지털 홀로그램 서비스 시스템
KR20160019308A (ko) * 2014-08-11 2016-02-19 한국전자통신연구원 홀로그래픽 영상에 대한 품질 측정 장치 및 방법
US9906767B2 (en) 2014-10-14 2018-02-27 Electronics And Telecommunications Research Institute Apparatus and method for digital holographic table top display

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102360839B1 (ko) 2019-06-21 2022-02-09 주식회사 딥브레인에이아이 머신 러닝 기반의 발화 동영상 생성 방법 및 장치
KR102346755B1 (ko) 2019-06-21 2022-01-03 주식회사 딥브레인에이아이 음성 신호를 이용한 발화 동영상 생성 방법 및 장치
KR102360840B1 (ko) 2019-06-21 2022-02-09 주식회사 딥브레인에이아이 텍스트를 이용한 발화 동영상 생성 방법 및 장치
KR102437039B1 (ko) 2020-07-02 2022-08-26 주식회사 딥브레인에이아이 영상 생성을 위한 학습 장치 및 방법
KR102331517B1 (ko) 2020-07-13 2021-12-01 주식회사 딥브레인에이아이 발화 동영상 생성 방법 및 장치
KR20220013850A (ko) 2020-07-27 2022-02-04 주식회사 딥브레인에이아이 발화 영상 생성 방법 및 장치
KR102483416B1 (ko) 2020-08-25 2022-12-30 주식회사 딥브레인에이아이 발화 동영상 생성 방법 및 장치
KR20220082279A (ko) 2020-12-10 2022-06-17 주식회사 딥브레인에이아이 립싱크 영상 생성 장치 및 방법
KR20220101403A (ko) 2021-01-11 2022-07-19 주식회사 딥브레인에이아이 립싱크 영상 생성 장치 및 방법
KR102540756B1 (ko) 2022-01-25 2023-06-08 주식회사 딥브레인에이아이 발화 합성 영상 생성 장치 및 방법
KR102540759B1 (ko) 2022-02-09 2023-06-08 주식회사 딥브레인에이아이 발화 합성 영상 생성 장치 및 방법
KR102584484B1 (ko) 2022-02-14 2023-10-04 주식회사 딥브레인에이아이 발화 합성 영상 생성 장치 및 방법
KR102584485B1 (ko) 2022-02-14 2023-10-04 주식회사 딥브레인에이아이 발화 합성 영상 생성 장치 및 방법
KR102649818B1 (ko) 2022-05-26 2024-03-21 주식회사 딥브레인에이아이 3d 립싱크 비디오 생성 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1073785A (ja) 1996-09-02 1998-03-17 Matsushita Electric Ind Co Ltd 臨場感表示装置
JP4942106B2 (ja) 2007-06-27 2012-05-30 独立行政法人情報通信研究機構 奥行データ出力装置及び奥行データ受信装置
JP5258049B2 (ja) 2009-02-27 2013-08-07 独立行政法人情報通信研究機構 多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101321895B1 (ko) * 2012-09-05 2013-10-29 광운대학교 산학협력단 디지털 홀로그램 비디오를 위한 인터랙티브 디지털 홀로그램 서비스 시스템
KR20160019308A (ko) * 2014-08-11 2016-02-19 한국전자통신연구원 홀로그래픽 영상에 대한 품질 측정 장치 및 방법
US9906767B2 (en) 2014-10-14 2018-02-27 Electronics And Telecommunications Research Institute Apparatus and method for digital holographic table top display

Also Published As

Publication number Publication date
KR101177408B1 (ko) 2012-08-27

Similar Documents

Publication Publication Date Title
KR101177408B1 (ko) 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템
US10368047B2 (en) Six-degree of freedom video playback of a single monoscopic 360-degree video
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
US8462199B2 (en) Apparatus method and system for imaging
US20220014723A1 (en) Enhancing performance capture with real-time neural rendering
CN108141578B (zh) 呈现相机
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
KR100897307B1 (ko) 집적 영상 방식에 의해 얻어진 3차원 영상을 홀로그램기법을 이용하여 재생하는 방법 및 장치
WO2019085022A1 (zh) 光场3d显示单元图像的生成方法及生成装置
US11308682B2 (en) Dynamic stereoscopic rendering method and processor
TWI813098B (zh) 用於新穎視圖合成之神經混合
Pereira et al. Plenoptic imaging: Representation and processing
Wu et al. Depth mapping of integral images through viewpoint image extraction with a hybrid disparity analysis algorithm
KR20120054790A (ko) 중간영상을 생성하여 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템
KR20120054799A (ko) 다시점 깊이영상을 이용하여 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템
KR102577707B1 (ko) 진폭 변조 홀로그램을 위한 홀로그램 인코딩 및 홀로그램 화질 평가 장치 및 그 방법
KR102577686B1 (ko) 홀로그램 생성 방법
CN106981100A (zh) 一种虚拟现实与真实场景融合的装置
KR101321895B1 (ko) 디지털 홀로그램 비디오를 위한 인터랙티브 디지털 홀로그램 서비스 시스템
KR20120118622A (ko) 디지털 홀로그램 콘텐츠 서비스 방법 및 장치
KR20140037430A (ko) 수직리그 기반 고화질 디지털 홀로그래픽 비디오 생성 시스템
CN109961395B (zh) 深度图像的生成及显示方法、装置、系统、可读介质
US20240096041A1 (en) Avatar generation based on driving views
EP4030752A1 (en) Image generation system and method
CN109407329B (zh) 一种空间光场显示方法及其装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150821

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160711

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170721

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190603

Year of fee payment: 8