KR101906936B1 - 라이트 필드 홀로그램 생성 장치 및 방법 - Google Patents

라이트 필드 홀로그램 생성 장치 및 방법 Download PDF

Info

Publication number
KR101906936B1
KR101906936B1 KR1020120006084A KR20120006084A KR101906936B1 KR 101906936 B1 KR101906936 B1 KR 101906936B1 KR 1020120006084 A KR1020120006084 A KR 1020120006084A KR 20120006084 A KR20120006084 A KR 20120006084A KR 101906936 B1 KR101906936 B1 KR 101906936B1
Authority
KR
South Korea
Prior art keywords
light field
color
generating
information
dimensional model
Prior art date
Application number
KR1020120006084A
Other languages
English (en)
Other versions
KR20130085142A (ko
Inventor
이승규
김도균
심현정
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120006084A priority Critical patent/KR101906936B1/ko
Publication of KR20130085142A publication Critical patent/KR20130085142A/ko
Application granted granted Critical
Publication of KR101906936B1 publication Critical patent/KR101906936B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object

Abstract

본 발명은 기존 디지털 홀로그래피(digital holography) 기술의 라이트 필드(light field) 표현 능력 문제를 해결하고자 하는 3차원 디스플레이 및 3차원 데이터 처리를 구현하는 기술적 사상에 관한 것으로서, 라이트 필드 정보를 포함하는 3차원 실사의 캡쳐링을 수행하고, 상기 수행된 캡쳐링의 결과를 이용하여 형상 정보를 생성하는 라이트 필드 형상 생성부, 및 상기 생성된 형상 정보에 기초하여, 라이트 필드 3차원 모델을 생성하는 라이트 필드 3차원 모델 생성부를 포함하고, 상기 라이트 필드 3차원 모델은 특정 3차원 포인트가 갖는 컬러 값이 시점에 따라 변하는 컬러 정보를 포함한다.

Description

라이트 필드 홀로그램 생성 장치 및 방법{APPARATUS AND METHOD OF GENERATING LIGHT FIELD HOLOGRAM}
기존 digital holography 기술의 light field 표현 능력 문제를 해결하고, 보다 자연과 가까운 실사 영상의 Hologram 영상 재현을 가능하게 하는, Real 3D Display 및 3D data 처리에 관한 기술적 사상을 개시한다.
종래의 3차원 형상 획득 방식은 주로 시점이 서로 상이한 다수의 컬러 카메라 셋으로부터, 색상 정보 일관성(consistency)을 이용하여 형상 정보를 획득하는 방식을 취하고 있다. 이러한 상기 3차원 형상 획득 방식은 스테레오 매칭(stereo matching) 기술이나 다시점 스테레오(Multi View Stereo; MVS) 방식들이 공통적으로 취하고 있는 3차원 형상 획득 방식이다.
그러나, 상기 3차원 형상 획득 방식은 초기 획득되는 형상의 정밀도가 저하될 뿐만 아니라, 형상 정보를 개선(refinement)하는 과정에서도 다시점에서 얻어지는 해당 컬러 정보가 일치(consistent)해야 한다는 가정에서만 수행될 수 있다. 보다 실제와 가까운 3차원 정보를 획득을 위해 필수적인 조명이나 재질 정보를 고려한다면, 시점에 따라 변하는 라이트 필드(Light Field)를 획득하는 것이 이론적으로 불가능하다.
기존의 Digital Hologram 방식은 3D 형상을 획득하는 것은 가능하지만, 실사 환경의 빛 정보에 따른 컬러 정보를 획득하는데 문제를 보여준다.
외광이 적은 암실환경에서 영상을 획득하고 표현하여야 하는 현재의 Hologram 기술이 이러한 문제를 잘 보여준다.
안정적인 capturing 환경 문제, 암실환경에서 피사체에 laser 빔을 조사하여야 하는 문제 등, 비 현실적인 문제를 해결하기 위하여 Computer generated holography 기술이 소개되어 왔다.
3차원 공간 데이터 정보를 이용하여 3차원 공간 위치와 밝기 값을 얻고 이를 이용하여 hologram의 fringe pattern을 계산해내는 CGH 기술은 기존의 컬러 카메라 등을 이용하여 획득한 영상을 이용하여 hologram 영상 표현을 가능하게 해주고 있다.
그러나 이러한 CGH또한 시점에 따라 변하는 Light Field 정보를 충분히 반영하여 표현하는데 한계를 보인다.
본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 장치는 라이트 필드 정보를 포함하는 3차원 실사의 캡쳐링을 수행하고, 상기 수행된 캡쳐링의 결과를 이용하여 형상 정보를 생성하는 라이트 필드 형상 생성부, 및 상기 생성된 형상 정보에 기초하여, 라이트 필드 3차원 모델을 생성하는 라이트 필드 3차원 모델 생성부를 포함하며, 상기 라이트 필드 3차원 모델은 특정 3차원 포인트가 갖는 컬러 값이 시점에 따라 변하는 컬러 정보를 포함할 수 있다.
본 발명의 일측에 따른 상기 캡쳐링 처리부는 적어도 하나 이상의 컬러 카메라 및 적어도 하나 이상의 깊이 카메라 중에서 적어도 하나 이상의 카메라를 이용하여 상기 형상 정보를 생성할 수 있다.
본 발명의 일측에 따른 상기 컬러 값이 시점에 따라 변하는 컬러 정보는 방향 정보를 포함할 수 있다.
본 발명의 일측에 따른 상기 라이트 필드 3차원 모델 생성부는 상기 생성된 형상 정보에 대해 레드, 그린, 및 블루 중에서 적어도 하나의 색상에 대한 프린지 패턴을 생성하여 상기 라이트 필드 3차원 모델을 생성할 수 있다.
본 발명의 일측에 따른 상기 라이트 필드 3차원 모델 생성부는 퓨리에 방식 및 포인트 베이스 방식 중에서 적어도 하나의 방식을 이용하여 상기 생성된 형상 정보로부터 상기 프린지 패턴을 생성할 수 있다.
본 발명의 일측에 따른 상기 라이트 필드 형상 생성부는 복수의 깊이 카메라들 또는 복수의 컬러 카메라들의 위치를 선정하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 서로 상이한 시점을 정합 (calibration)하는 카메라 제어부, 및 상기 정합된 깊이 카메라들 또는 상기 정합된 컬러 카메라들로부터 영상들을 획득하고, 상기 획득한 영상들로부터 3차원 실사를 캡쳐하는 캡쳐링 처리부를 포함할 수 있다.
본 발명의 일측에 따른 상기 라이트 필드 형상 생성부는 시점이 상이한 복수의 정합된 카메라들로부터 인트린식(intrinsic) 영상들을 획득하고, 상기 인트린식 영상들로부터 상기 형상 정보를 생성할 수 있다.
본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 방법은 라이트 필드 형상 생성부에서, 라이트 필드 정보를 포함하는 3차원 실사의 캡쳐링을 수행하고, 상기 수행된 캡쳐링의 결과를 이용하여 형상 정보를 생성하는 단계, 및 라이트 필드 3차원 모델 생성부에서, 상기 생성된 형상 정보에 기초하여, 특정 3차원 포인트가 갖는 컬러 값이 시점에 따라 변하는 컬러 정보를 포함하는 라이트 필드 3차원 모델을 생성하는 단계를 포함할 수 있다.
본 발명의 일측에 따른 상기 형상 정보를 생성하는 단계는 카메라 제어부에서, 복수의 깊이 카메라들 또는 복수의 컬러 카메라들의 위치를 선정하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 서로 상이한 시점을 정합(calibration)하는 단계, 및 캡쳐링 처리부에서, 상기 정합된 깊이 카메라들 또는 상기 정합된 컬러 카메라들로부터 영상들을 획득하고, 상기 획득한 영상들로부터 3차원 실사를 캡쳐하는 단계를 포함할 수 있다.
본 발명의 일측에 따른 상기 라이트 필드 3차원 모델을 생성하는 단계는 상기 생성된 형상 정보에 대해 레드, 그린, 및 블루 중에서 적어도 하나의 색상에 대한 프린지 패턴을 생성하여 상기 라이트 필드 3차원 모델을 생성하는 단계를 포함할 수 있다.
본 발명의 일측에 따른 상기 라이트 필드 3차원 모델을 생성하는 단계는 퓨리에 방식 및 포인트 베이스 방식 중에서 적어도 하나의 방식을 이용하여 상기 생성된 형상 정보로부터 상기 프린지 패턴을 생성하는 단계를 포함할 수 있다.
본 발명에 따르면, 실세계 빛 정보를 모두 표현 가능한 라이트 필드 홀로그램 영상을 생성할 수 있다.
본 발명에 따르면, 기존 디지털 홀로그래피(digital holography) 기술의 라이트 필드 표현 능력 문제를 해결하고, 보다 자연과 가까운 실사 영상의 홀로그램 영상 재현을 가능하게 하여, Real 3D Display 및 3D data 처리를 구현이 가능하다.
본 발명에 따르면, 복수의 카메라들의 위치 선정을 통해 상기 복수의 카메라들의 서로 상이한 시점을 정합함으로써, 정합된 카메라들로부터 획득한 영상들 내에서 라이트 필드 3차원 형상을 용이하게 획득할 수 있다.
도 1은 본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 장치의 기능을 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 장치의 내부 구성을 설명하는 블록도이다.
도 3은 본 발명의 일실시예에 따른 라이트 형상 생성부를 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 퓨리에 방식으로 생성된 라이트 필드 3차원 모델을 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 포인트 베이스 방식으로 생성된 라이트 필드 3차원 모델을 설명하는 도면이다.
도 6은 생성된 라이트 필드 3차원 모델을 이용하여 라이트 필드 홀로그램을 표시하는 실시예를 설명하는 도면이다.
도 7은 본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 방법을 설명하는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 라이트 형상 생성부의 동작 방법을 설명하는 흐름도이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 장치(100)의 기능을 설명하는 도면이다.
본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 장치(100)는 기존 digital holography 기술의 라이트 필드(light field) 표현 능력 문제를 해결하고, 보다 자연과 가까운 실사 영상의 홀로그램 영상 재현을 가능하게 하여, Real 3D Display 및 3D data 처리를 구현할 수 있다.
이를 위해, 본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 장치(100)는 3차원 영상으로부터 라이트 필드의 홀로그램을 생성하여 디스플레이할 수 있다.
본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 장치(100)는 기존의 CGH(Computer Generated Hologram) 방식을 개선하여 라이트 필드 정보를 포함하는 3차원 공간 데이터 모델로부터 시점에 따라 변하는 빛 정보를 충분히 반영하는 새로운 CGH 및 Hologram 표현 방식이 가능하다.
본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 장치(100)는 멀티뷰(Multiview) 카메라 셋을 이용하여 라이트 필드 3차원 모델을 획득할 수 있다. 이를 위해, 본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 장치(100)는 라이트 필드 정보를 포함하는 3차원 실사의 캡쳐링을 수행할 수 있다.
캡쳐링을 위해서, 본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 장치(100)는 다수의 컬러 카메라 또는 다수의 컬러+Depth 카메라를 이용하여 다시점의 영상을 획득하고, 임의 시점을 생성하거나, 3차원 모델을 생성할 수 있다.
본 명세서에서 사용되는 라이트 필드(LF, Light Field) 3차원 모델이라 함은, 기존의 Lambertian 조건하에서 생성되어 시점에 관계없이 일정한 컬러 정보를 가지는 3차원 모델에 대비하여, 3차원 공간상 특정 3차원 포인트(Point)가 가지는 컬러 값이 시점에 따라 변하게 되는 모든 정보를 포함하는 3차원 모델로 해석될 수 있다.
따라서, 본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 장치(100)가 라이트 필드 홀로그램 표현을 위해 생성하는 라이트 필드 3차원 모델은 시점에 따라 컬러 값을 다르게 표현할 수 있다.
도 2는 본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 장치의 내부 구성을 설명하는 블록도이다.
본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 장치(200)는 라이트 필드 형상 생성부(210)와 라이트 필드 3차원 모델 생성부(220)를 포함할 수 있다.
라이트 필드 형상 생성부(210)는 라이트 필드 정보를 포함하는 3차원 실사의 캡쳐링을 수행하고, 상기 수행된 캡쳐링의 결과를 이용하여 형상 정보를 생성할 수 있다.
본 발명의 일실시예에 따른 라이트 필드 형상 생성부(210)는 CGH 기술을 이용한 라이트 필드 홀로그램(Light Field Hologram)을 구현하기 위해, 라이트 필드 정보를 포함하는 3차원 실사 캡쳐링을 수행할 수 있다.
이를 위해, 본 발명의 일실시예에 따른 라이트 필드 형상 생성부(210)는 다수의 컬러 카메라 또는 다수의 컬러+Depth 카메라를 이용하여 다시점의 영상을 획득하고, 임의 시점을 생성할 수 있다.
본 발명의 일실시예에 따른 라이트 필드 형상 생성부(210)는, 시점이 상이한 복수의 정합된 카메라들로부터 인트린식(intrinsic) 영상들을 획득하고, 상기 인트린식 영상들로부터 상기 형상 정보를 생성할 수 있다.
본 발명의 일실시예에 따른 라이트 필드 3차원 모델 생성부(220)는 상기 생성된 형상 정보에 기초하여, 라이트 필드 3차원 모델을 생성할 수 있다.
본 발명의 일실시예에 따른 라이트 필드 3차원 모델 생성부(220)가 생성하는 상기 라이트 필드 3차원 모델은 특정 3차원 포인트가 갖는 컬러 값이 시점에 따라 변하는 컬러 정보를 포함할 수 있다.
본 발명의 일실시예에 따른 라이트 필드 3차원 모델은 3차원 공간 x, y, z뿐만 아니라, 방향에 대한 정보로서 'θ', 'Φ'에 따라 변하는 컬러 정보를 포함하여 I(x, y, z, θ, Φ)와 같이 표현될 수 있다.
또한, 본 발명의 일실시예에 따른 라이트 필드 3차원 모델은 각 레드(r), 그린(g), 블루(b) 채널 별로, 다음과 같은 컬러 모델로 표현될 수 있다.
Ir(x, y, z, θ, Φ)
Ig(x, y, z, θ, Φ)
Ib(x, y, z, θ, Φ)
다시 말해, 본 발명의 일실시예에 따른 라이트 필드 3차원 모델은 방향에 따라 다른, 즉 시청자의 시점에 따라 다르게 컬러를 표현할 수 있다.
라이트 필드 3차원 모델 생성부(220)는, 상기 생성된 형상 정보에 대해 레드, 그린, 및 블루 중에서 적어도 하나의 색상에 대한 프린지 패턴(fringe pattern)을 생성하여 상기 라이트 필드 3차원 모델을 생성할 수 있다.
예를 들어, 라이트 필드 3차원 모델 생성부(220)는, 퓨리에(Fourier) 방식 및 포인트 베이스(Point-based) 방식 중에서 적어도 하나의 방식을 이용하여 상기 생성된 형상 정보로부터 상기 프린지 패턴을 생성할 수 있다.
도 3은 본 발명의 일실시예에 따른 라이트 형상 생성부(300)를 설명하는 도면이다.
본 발명의 일실시예에 따른 라이트 형상 생성부(300)는 카메라 제어부(310)와 형상 획득부(321) 및 형상 개선부(322)를 포함하는 캡쳐링 처리부(320)를 포함할 수 있다.
카메라 제어부(310)는 복수의 깊이 카메라들 또는 복수의 컬러 카메라들의 위치를 선정하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 서로 상이한 시점을 정합(calibration)할 수 있다.
캡쳐링 처리부(320)는 상기 정합된 깊이 카메라들 또는 상기 정합된 컬러 카메라들로부터 영상들을 획득하고, 상기 획득한 영상들로부터 3차원 실사를 캡쳐할 수 있다.
본 발명의 일실시예에 따른 라이트 형상 생성부(300)는 서로 상이한 시점에 위치한 복수의 컬러 카메라들과 복수의 깊이 카메라들로부터 획득한 영상들을 이용하여 형상 정보를 복원함으로써, 종래의 컬러 카메라들만을 이용하는 경우와 달리, 3차원 깊이 정보를 이용하여 보다 높은 정밀도의 형성 정보 획득이 가능하다.
구체적으로, 카메라 제어부(310)는 복수의 깊이 카메라들 또는 복수의 컬러 카메라들의 위치를 선정하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 서로 상이한 시점을 정합할 수 있다.
즉, 카메라 제어부(310)는 각 카메라들이 갖는 시점을 고려하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 위치를 각각 선정함으로써, 선정된 위치의 상기 깊이 카메라들 또는 상기 컬러 카메라들로부터 획득된 영상들의 형상 정보 정밀도를 높일 수 있다.
일실시예로, 카메라 제어부(310)는 제한 조건을 이용하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 위치를 선정할 수 있다. 예컨대, 카메라 제어부(310)는 상기 깊이 카메라들 또는 상기 컬러 카메라들로부터 각각 획득한 영상들의 디스플레이 환경으로부터 공간 관점, 객체 관점, 객체 위치, 카메라의 개수, 각 카메라의 배치, 각 카메라의 시점, 및 각 카메라의 파라미터 중 적어도 하나를 제한 조건으로 획득할 수 있다.
또한, 카메라 제어부(310)는 객체 위치, 카메라의 개수, 각 카메라의 배치, 각 카메라의 시점, 및 각 카메라의 파라미터 중 적어도 하나를 제한 조건으로 획득함으로써, 획득한 제한 조건을 이용하여 상기 복수의 카메라들의 위치를 선정할 수 있다.
다른 실시예로, 카메라 제어부(310)는 상기 깊이 카메라들 또는 상기 컬러 카메라들로부터 각각 획득한 영상들의 정합 정확도, 상기 영상들의 형상 정확도, 상기 영상들의 색상 유사도, 및 각 카메라에 의한 객체 커버리지 중 적어도 하나를 고려하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 개수를 선정할 수 있다.
카메라 제어부(310)는 상기 획득한 영상들과 상기 카메라의 파라미터 등을 이용하여 상기 획득한 영상들의 정합 정확도, 상기 영상들의 형상 정확도, 상기 영상들의 색상 유사도, 및 각 카메라에 의한 객체 커버리지를 측정함으로써, 획득할 수 있다.
예를 들어, 두 개의 컬러 카메라간의 거리는 넓을수록 카메라의 광선 교차(ray intersection)와 3차원 구조의 정밀도가 높다. 반면, 두 개의 컬러 카메라 간의 거리가 좁을수록 영상 매칭이 좋아져 데이터 정합에 좋다.
또 다른 예로는, 영상 내에서 픽셀당 샘플 색상 정보가 많을수록 정확한 평가가 가능하므로, 컬러 카메라가 많을수록 높은 정밀도를 얻을 수 있는 반면, 카메라 세트 크기가 커지고 비용이 증가할 수 있다.
따라서, 카메라 제어부(310)는 영상들의 정합 정확도, 상기 영상들의 형상 정확도, 상기 영상들의 색상 유사도, 및 각 카메라에 의한 객체 커버리지 중 적어도 하나를 고려하여, 형상 정보 획득에 주어진 깊이 카메라와 컬러 카메라에서 최적의 카메라간 위치를 선정하고, 선정된 위치에서 획득한 형상 복원 정밀도에 기초하여 최종 카메라 개수를 결정할 수 있다.
형상 획득부(321)는 상기 정합된 깊이 카메라들 또는 상기 정합된 컬러 카메라들로부터 영상들을 획득하고, 상기 획득한 영상들로부터 형상 정보를 획득할 수 있다.
상기 복수의 카메라에 포함된 깊이 카메라는 광학적, 기계적, 알고리즘 잡음 등을 포함하고 있기 때문에, 1차로 얻어진 형상 정보는 많은 에러를 포함하고 있다.
이에, 형상 개선부(322)는 상기 획득된 형상 정보에 포함된 에러들을 개선할 수 있다. 예를 들어, 형상 개선부(322)는 서로 상이한 컬러 정보가 동일하게 유지되는 방향으로, 특이한 픽셀값을 갖는 컬러 정보를 다수의 픽셀값을 갖는 컬러 정보로 대체함으로써, 형상 정보를 개선할 수 있다.
도 4는 본 발명의 일실시예에 따른 퓨리에 방식으로 생성된 라이트 필드 3차원 모델을 설명하는 도면이다.
상술한 바와 같이, 본 발명의 일실시예에 따른 라이트 필드 3차원 모델은 방향에 따라 다른, 즉 시청자의 시점에 따라 다르게 컬러를 표현할 수 있다.
이를 위해서, 라이트 필드 3차원 모델 생성부는, 퓨리에(Fourier) 방식 및 포인트 베이스(Point-based) 방식 중에서 적어도 하나의 방식을 이용하여 상기 생성된 형상 정보로부터 상기 프린지 패턴을 생성할 수 있다.
먼저 도 4와 같이, 라이트 필드 홀로그램 구현을 위하여 퓨리에(Fourier) 방식을 사용하여 프린지 패턴(Fringe pattern)을 계산한다.
캡쳐링된 3차원 실사는 라이트 필드 3차원 모델에 의해서, 홀로그램으로 표현될 수 있다.
도면부호 410에는 방향에 따라서 변하는 컬러정보가 포함되지 않은 2차원 모델을 설명한다.
3차원 모델의 경우에도 2차원 모델에서 y축에 대한 변수만을 추가하면 되기 때문에 2차원 모델을 통해서 라이트 필드 3차원 모델을 설명한다.
도면부호 410과 달리, 도면부호 420은 본 발명의 일실시예에 따른 라이트 필드 3차원 모델을 이용하여, 공간 좌표 x, y 뿐만 아니라, 방향에 대한 정보로서 'u', 'v'에 따라 변하는 컬러 정보를 포함하여 H(x, y, u, v)와 같이 표현될 수 있다.
도면부호 410에서 방향에 따라서 변하는 컬러정보가 포함되지 않은 2차원 모델은 [수학식 1]과 같이 표현될 수 있다.
[수학식 1]
Figure 112012005045955-pat00001

[수학식 1]에서 방향에 따라서 변하는 컬러정보로서,
Figure 112012005045955-pat00002
을 포함하는 경우, 도면부호 420과 같이 본 발명에 따른 라이트 필드 3차원 모델이 될 수 있으며, [수학식 2]로 표현될 수 있다.
[수학식 2]
Figure 112012005045955-pat00003

또한, [수학식 2]로 표현되는 라이트 필드 3차원 모델은 각 컬러의 채널 별로 다음과 같이 표현될 수 있다.
구체적으로, [수학식 2]로 표현되는 라이트 필드 3차원 모델 중에서 레드 컬러는 [수학식 3]으로, 그린 컬러는 [수학식 4]로, 블루 컬러는 [수학식 5]로 표현될 수 있다.
[수학식 3]
Figure 112012005045955-pat00004
[수학식 4]
Figure 112012005045955-pat00005
[수학식 5]
Figure 112012005045955-pat00006

도 5는 본 발명의 일실시예에 따른 포인트 베이스 방식으로 생성된 라이트 필드 3차원 모델을 설명하는 도면이다.
도면부호 510에는 방향에 따라서 변하는 컬러정보가 포함되지 않은 2차원 모델을 설명한다.
도 4와 마찬가지로 도 5에서도, 3차원 모델의 경우에도 2차원 모델에서 y축에 대한 변수만을 추가하면 되기 때문에 2차원 모델을 통해서 라이트 필드 3차원 모델을 설명한다.
도면부호 510과 달리, 도면부호 520은 본 발명의 일실시예에 따른 라이트 필드 3차원 모델을 이용하여, 공간 좌표 x, y 뿐만 아니라, 방향에 대한 정보로서 'u', 'v'에 따라 변하는 컬러 정보를 포함하여 I(x, y, u, v)와 같이 표현될 수 있다.
도면부호 510에서 방향에 따라서 변하는 컬러정보가 포함되지 않은 2차원 모델은 [수학식 6]과 같이 표현될 수 있다.
[수학식 6]
Figure 112012005045955-pat00007

[수학식 6]에서 방향에 따라서 변하는 컬러정보로서,
Figure 112012005045955-pat00008
을 포함하는 경우, 도면부호 520과 같이 본 발명에 따른 라이트 필드 3차원 모델이 될 수 있으며, [수학식 7]로 표현될 수 있다.
[수학식 7]
Figure 112012005045955-pat00009

또한, [수학식 7]로 표현되는 라이트 필드 3차원 모델은 각 컬러의 채널 별로 다음과 같이 표현될 수 있다.
구체적으로, [수학식 7]로 표현되는 라이트 필드 3차원 모델 중에서 레드 컬러는 [수학식 8]으로, 그린 컬러는 [수학식 9]로, 블루 컬러는 [수학식 10]으로 표현될 수 있다.
[수학식 8]
Figure 112012005045955-pat00010
[수학식 9]
Figure 112012005045955-pat00011
[수학식 10]
Figure 112012005045955-pat00012

이렇게 획득된 레드, 그린, 블루 채널별 프린지 패턴을 이용하여, 라이트 필드 홀로그램 영상을 생성할 수 있다.
도 6은 생성된 라이트 필드 3차원 모델을 이용하여 라이트 필드 홀로그램을 표시하는 실시예를 설명하는 도면이다.
도 6에서 보는 바와 같이, 획득된 레드, 그린, 블루 채널별 프린지 패턴으로 구현되는 라이트 필드 3차원 모델을 이용하여, 라이트 필드 홀로그램 영상을 생성할 수 있다.
레드 채널의 레이져(601)를 [수학식 3] 또는 [수학식 8]으로 표현되는 프린지 패턴(
Figure 112012005045955-pat00013
)에 조사하여 반사경을 통해 홀로그램(604)의 생성 위치로 조사하고, 그린 채널의 레이져(602)를 [수학식 4] 또는 [수학식 9]으로 표현되는 프린지 패턴(
Figure 112012005045955-pat00014
)에 조사하여 반사경을 통해 홀로그램(604)의 생성 위치로 조사하고, 레드 채널의 레이져를 [수학식 5] 또는 [수학식 10]으로 표현되는 프린지 패턴(
Figure 112012005045955-pat00015
)에 조사하여 반사경을 통해 홀로그램(604)의 생성 위치로 조사할 수 있다.
이에, 각각의 프린지 패턴을 통해 조사되는 컬러별 채널에 의해 홀로그램(604)이 생성될 수 있다.
이때, 각각의 프린지 패턴은 방향에 따라서 변하는 컬러정보로서,
Figure 112012005045955-pat00016
를 포함하고 있기 때문에 상기 생성된 홀로그램(604)은 방향에 따라서 컬러가 다르게 보여 보다 현실적인 표현이 가능하다.
도 7은 본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 방법을 설명하는 흐름도이다.
본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 방법은 라이트 필드 형상 생성부를 통해서, 라이트 필드 정보를 포함하는 3차원 실사의 캡쳐링을 수행할 수 있다(단계 701).
본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 방법은 라이트 필드 형상 생성부를 통해서, 상기 수행된 캡쳐링의 결과를 이용하여 형상 정보를 생성할 수 있다(단계 702).
본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 방법은 라이트 필드 3차원 모델 생성부에서, 상기 생성된 형상 정보에 기초하여, 특정 3차원 포인트가 갖는 컬러 값이 시점에 따라 변하는 컬러 정보를 포함하는 라이트 필드 3차원 모델을 생성할 수 있다(단계 703).
상기 라이트 필드 3차원 모델은 퓨리에 방식 및 포인트 베이스 방식 중에서 적어도 하나의 방식을 이용하여 상기 생성된 형상 정보로부터 상기 프린지 패턴을 생성할 수 있다.
일례로, 본 발명의 일실시예에 따른 라이트 필드 홀로그램 생성 방법은 상기 생성된 형상 정보에 대해 레드, 그린, 및 블루 중에서 적어도 하나의 색상에 대한 프린지 패턴을 생성함으로써, 상기 라이트 필드 3차원 모델을 생성할 수 있다.
도 8은 본 발명의 일실시예에 따른 라이트 형상 생성부의 동작 방법을 설명하는 흐름도이다.
본 발명의 일실시예에 따른 라이트 형상 생성부의 동작 방법은 3차원 실사의 캡쳐링을 수행하는 도 7의 단계 701에 대응될 수 있다.
본 발명의 일실시예에 따른 라이트 형상 생성부의 동작 방법은 복수의 깊이 카메라들 또는 복수의 컬러 카메라들의 위치를 선정하여(단계 801) 상기 깊이 카메라들 또는 상기 컬러 카메라들의 서로 상이한 시점을 정합(calibration) 하고(단계 802), 상기 정합된 깊이 카메라들 또는 상기 정합된 컬러 카메라들로부터 영상들을 획득하고, 상기 획득한 영상들로부터 3차원 실사를 캡쳐할 수 있다(단계 803).
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명에 따르면, 실세계 빛 정보를 모두 표현 가능한 라이트 필드 홀로그램 영상의 생성이 가능하다.
본 발명에 따르면, 기존 digital holography 기술의 light field 표현 능력 문제를 해결하고, 보다 자연과 가까운 실사 영상의 Hologram 영상 재현을 가능하게 하여, Real 3D Display 및 3D data 처리를 구현이 가능하다.
본 발명에 따르면, 복수의 카메라들의 위치 선정을 통해 상기 복수의 카메라들의 서로 상이한 시점을 정합함으로써, 정합된 카메라들로부터 획득한 영상들 내에서 라이트 필드 3차원 형상을 용이하게 획득할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200: 라이트 필드 홀로그램 생성 장치
210: 라이트 필드 형상 생성부
220: 라이트 필드 3차원 모델 생성부

Claims (12)

  1. 라이트 필드 정보를 포함하는 3차원 실사의 캡쳐링을 수행하고, 상기 수행된 캡쳐링의 결과를 이용하여 형상 정보를 생성하는 라이트 필드 형상 생성부; 및
    상기 생성된 형상 정보에 기초하여, 라이트 필드 3차원 모델을 생성하는 라이트 필드 3차원 모델 생성부
    를 포함하고,
    상기 라이트 필드 3차원 모델은 특정 3차원 포인트가 갖는 컬러 값이 시점에 따라 변하는 컬러 정보를 포함하고,
    상기 컬러 값이 시점에 따라 변하는 컬러 정보는 방향 정보를 포함하는 것을 특징으로 하는
    라이트 필드 홀로그램 생성 장치.
  2. 제1항에 있어서,
    상기 라이트 필드 형상 생성부는,
    적어도 하나 이상의 컬러 카메라 및 적어도 하나 이상의 깊이 카메라 중에서 적어도 하나 이상의 카메라를 이용하여 상기 형상 정보를 생성하는 것을 특징으로 하는 라이트 필드 홀로그램 생성 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 라이트 필드 3차원 모델 생성부는,
    상기 생성된 형상 정보에 대해 레드, 그린, 및 블루 중에서 적어도 하나의 색상에 대한 프린지 패턴을 생성하여 상기 라이트 필드 3차원 모델을 생성하는 것을 특징으로 하는 라이트 필드 홀로그램 생성 장치.
  5. 제4항에 있어서,
    상기 라이트 필드 3차원 모델 생성부는,
    퓨리에 방식 및 포인트 베이스 방식 중에서 적어도 하나의 방식을 이용하여 상기 생성된 형상 정보로부터 상기 프린지 패턴을 생성하는 것을 특징으로 하는 라이트 필드 홀로그램 생성 장치.
  6. 제1항에 있어서,
    상기 라이트 필드 형상 생성부는,
    복수의 깊이 카메라들 또는 복수의 컬러 카메라들의 위치를 선정하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 서로 상이한 시점을 정합(calibration) 하는 카메라 제어부; 및
    상기 정합된 깊이 카메라들 또는 상기 정합된 컬러 카메라들로부터 영상들을 획득하고, 상기 획득한 영상들로부터 3차원 실사를 캡쳐하는 캡쳐링 처리부
    를 포함하는 라이트 필드 홀로그램 생성 장치.
  7. 제1항에 있어서,
    상기 라이트 필드 형상 생성부는,
    시점이 상이한 복수의 정합된 카메라들로부터 인트린식(intrinsic) 영상들을 획득하고, 상기 인트린식 영상들로부터 상기 형상 정보를 생성하는 라이트 필드 홀로그램 생성 장치.
  8. 라이트 필드 형상 생성부에서, 라이트 필드 정보를 포함하는 3차원 실사의 캡쳐링을 수행하고, 상기 수행된 캡쳐링의 결과를 이용하여 형상 정보를 생성하는 단계; 및
    라이트 필드 3차원 모델 생성부에서, 상기 생성된 형상 정보에 기초하여, 특정 3차원 포인트가 갖는 컬러 값이 시점에 따라 변하는 컬러 정보를 포함하는 라이트 필드 3차원 모델을 생성하는 단계
    를 포함하고,
    상기 컬러 값이 시점에 따라 변하는 컬러 정보는 방향 정보를 포함하는 것을 특징으로 하는
    라이트 필드 홀로그램 생성 방법.
  9. 제8항에 있어서,
    상기 형상 정보를 생성하는 단계는,
    카메라 제어부에서, 복수의 깊이 카메라들 또는 복수의 컬러 카메라들의 위치를 선정하여 상기 깊이 카메라들 또는 상기 컬러 카메라들의 서로 상이한 시점을 정합(calibration) 하는 단계; 및
    캡쳐링 처리부에서, 상기 정합된 깊이 카메라들 또는 상기 정합된 컬러 카메라들로부터 영상들을 획득하고, 상기 획득한 영상들로부터 3차원 실사를 캡쳐하는 단계
    를 포함하는 라이트 필드 홀로그램 생성 방법.
  10. 제8항에 있어서,
    상기 라이트 필드 3차원 모델을 생성하는 단계는,
    상기 생성된 형상 정보에 대해 레드, 그린, 및 블루 중에서 적어도 하나의 색상에 대한 프린지 패턴을 생성하여 상기 라이트 필드 3차원 모델을 생성하는 단계
    를 포함하는 것을 특징으로 하는 라이트 필드 홀로그램 생성 방법.
  11. 제10항에 있어서,
    상기 라이트 필드 3차원 모델을 생성하는 단계는,
    퓨리에 방식 및 포인트 베이스 방식 중에서 적어도 하나의 방식을 이용하여 상기 생성된 형상 정보로부터 상기 프린지 패턴을 생성하는 단계
    를 포함하는 것을 특징으로 하는 라이트 필드 홀로그램 생성 방법.
  12. 제8항 내지 제11항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020120006084A 2012-01-19 2012-01-19 라이트 필드 홀로그램 생성 장치 및 방법 KR101906936B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120006084A KR101906936B1 (ko) 2012-01-19 2012-01-19 라이트 필드 홀로그램 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120006084A KR101906936B1 (ko) 2012-01-19 2012-01-19 라이트 필드 홀로그램 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130085142A KR20130085142A (ko) 2013-07-29
KR101906936B1 true KR101906936B1 (ko) 2018-10-11

Family

ID=48995456

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120006084A KR101906936B1 (ko) 2012-01-19 2012-01-19 라이트 필드 홀로그램 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101906936B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244223B2 (en) * 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
US11195259B2 (en) 2019-12-04 2021-12-07 Samsung Electronics Co., Ltd. Apparatus and method for dynamic multi-camera rectification using depth camera
KR20240048406A (ko) * 2022-10-06 2024-04-15 인하대학교 산학협력단 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000162952A (ja) * 1998-11-26 2000-06-16 Dainippon Printing Co Ltd カラーホログラム
JP2010200188A (ja) * 2009-02-27 2010-09-09 National Institute Of Information & Communication Technology 多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100466622B1 (ko) * 2002-10-28 2005-01-24 한국전자통신연구원 광굴절 기록매질 제작 장치 및 그 방법과 그를 이용한3차원 홀로그래픽 디스플레이 장치 및 그 방법
KR101090787B1 (ko) * 2010-05-20 2011-12-08 강원대학교산학협력단 깊이맵 변환을 이용한 홀로그램 처리 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000162952A (ja) * 1998-11-26 2000-06-16 Dainippon Printing Co Ltd カラーホログラム
JP2010200188A (ja) * 2009-02-27 2010-09-09 National Institute Of Information & Communication Technology 多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
저널 ‘ACM Transactions on Graphics’, Vol. 26, No. 3, Article 40 (2007. 07. 31.)*

Also Published As

Publication number Publication date
KR20130085142A (ko) 2013-07-29

Similar Documents

Publication Publication Date Title
KR101265667B1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
JP6669063B2 (ja) 画像処理装置および方法
US9349073B2 (en) Apparatus and method for image matching between multiview cameras
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
KR101181199B1 (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
KR101896339B1 (ko) 다수의 프로젝터들을 사용하는 광필드 디스플레이의 보정 방법 및 장치
US20180182178A1 (en) Geometric warping of a stereograph by positional contraints
JP2016537901A (ja) ライトフィールド処理方法
KR101713875B1 (ko) 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템
KR20130003135A (ko) 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치
KR20130012504A (ko) 다시점 렌더링 장치 및 방법
KR20140121107A (ko) 다시점 기반의 홀로그램 생성 방법 및 장치
KR20120045269A (ko) 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치
JP7285834B2 (ja) 三次元再構成方法および三次元再構成装置
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
KR101086274B1 (ko) 깊이정보 추출 장치 및 추출 방법
KR101411568B1 (ko) 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법
KR101399274B1 (ko) 다중 패턴 빔을 이용하는 3차원 촬영 장치 및 방법
KR101906936B1 (ko) 라이트 필드 홀로그램 생성 장치 및 방법
KR101348929B1 (ko) 깊이 조절을 이용한 레이어 합성 기반 다시점 영상 생성 방법
CN103530869B (zh) 用于匹配移动质量控制的系统和方法
KR101748674B1 (ko) 3차원 영상 생성 방법 및 장치
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant