KR102277098B1 - 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법 - Google Patents

포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법 Download PDF

Info

Publication number
KR102277098B1
KR102277098B1 KR1020200023092A KR20200023092A KR102277098B1 KR 102277098 B1 KR102277098 B1 KR 102277098B1 KR 1020200023092 A KR1020200023092 A KR 1020200023092A KR 20200023092 A KR20200023092 A KR 20200023092A KR 102277098 B1 KR102277098 B1 KR 102277098B1
Authority
KR
South Korea
Prior art keywords
mesh
data
point cloud
point
hologram
Prior art date
Application number
KR1020200023092A
Other languages
English (en)
Inventor
서영호
김경진
김동욱
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020200023092A priority Critical patent/KR102277098B1/ko
Priority to US17/184,767 priority patent/US11733649B2/en
Application granted granted Critical
Publication of KR102277098B1 publication Critical patent/KR102277098B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0841—Encoding method mapping the synthesized field into a restricted set of values representative of the modulator parameters, e.g. detour phase coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H1/024—Hologram nature or properties
    • G03H1/0248—Volume holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/42—Synthetic representation, i.e. digital or optical object decomposition from real object, e.g. using 3D scanner
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45—Representation of the decomposed object
    • G03H2210/452—Representation of the decomposed object into points
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/11—Electro-optic recording means, e.g. CCD, pyroelectric sensors
    • G03H2226/13—Multiple recording means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Holo Graphy (AREA)

Abstract

실제 물체를 전방위 3차원 점군 및 메쉬형태로 저장하고, 저장된 점군의 여러 시점을 홀로그램으로 생성하고, 특히, 더 좋은 품질의 홀로그램을 기록하기 위해 빛의 방향에 따라 광원의 밝기에 가중치를 주는, 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 관한 것으로서, (a) 다시점 깊이 및 색상 이미지를 획득하는 단계; (b) 획득된 다시점 깊이 및 색상 이미지로부터 3차원 객체의 점군 데이터를 생성하는 단계; (c) 상기 3차원 객체의 점군 데이터로부터 3차원 객체의 메쉬 데이터를 생성하는 단계; (d) 상기 3차원 객체의 메쉬 데이터에서 각 메쉬의 법선 벡터를 계산하는 단계; (e) 메쉬의 법선 벡터를 이용하여, 상기 3차원 객체의 메쉬 데이터 중에서 사용자 시점의 3차원 데이터를 추출하는 단계; 및, (f) 상기 사용자 시점의 3차원 데이터로부터 홀로그램 데이터를 생성하는 단계를 포함하는 구성을 마련하여, 실체 물체를 3차원 점군 및 메쉬 형태로 저장하고 저장된 점군의 여러 시점을 홀로그램으로 생성함으로써, 모든 시점에서 동일한 품질을 가지는 홀로그램을 생성할 수 있다.

Description

포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법 { A volume hologram generation method using point cloud and mesh }
본 발명은 실제 물체를 전방위 3차원 점군 및 메쉬형태로 저장하고, 저장된 점군의 여러 시점을 홀로그램으로 생성하고, 특히, 더 좋은 품질의 홀로그램을 기록하기 위해 빛의 방향에 따라 광원의 밝기에 가중치를 주는, 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 관한 것이다.
최근, 입체(3차원) 영상과 영상 재생 기술에 대한 연구들이 활발히 이루어지고 있다. 입체 영상 관련 미디어는 시각 정보의 수준을 한 차원 더 높여주는 새로운 개념의 실감 영상 미디어로서 차세대 영상장치를 주도할 것으로 예상된다. 기존의 2차원 영상 시스템은 평면 영상을 제공하지만, 3차원 영상 시스템은 물체가 가지고 있는 실제 영상 정보를 관찰자에게 보여주는 관점에서 궁극적인 영상 구현 기술이라고 할 수 있다.
입체 영상을 재생하기 위한 방법 중에서 홀로그래피(Holography) 방식은 레이저를 이용하여 제작한 홀로그램을 관측시 특수 안경을 장착하지 않고도 실물과 동일한 입체 영상을 느낄 수 있는 방식이다. 이에 따라, 홀로그래피 방식은 입체감이 뛰어나며 관측자가 피로감 없이 입체 영상을 느낄 수 있는 가장 이상적인 방식으로 알려져 있다.
홀로그래피 방식은 물체에서 반사된 광(물체파)과 간섭성이 있는 광(기준파)을 겹쳐서 얻어지는 간섭 신호를 기록하고, 이를 재생하는 원리를 이용하는 것이다. 가간섭성이 높은 레이저 광을 사용하여 물체에 부딪쳐 산란되는 물체파를 또 다른 방향에서 입사된 기준파와 만나게 하여 형성된 간섭 무늬(프린지 패턴)를 사진 필름에 기록하는 것을 홀로그램이라고 한다. 물체파와 기준파가 만날 때, 간섭에 의한 간섭 무늬를 형성하는데, 이 간섭 무늬에 물체의 진폭과 위상 정보가 함께 기록된다. 이렇게 기록된 간섭 무늬에 참조 광을 조사하여 홀로그램에 기록된 입체성을 입체 영상으로 복원하는 것을 홀로그래피라 한다.
홀로그램을 저장, 전송 및 영상처리를 위해 컴퓨터에 의해 생성하는 방법으로서, 컴퓨터 생성 홀로그램(CGH: Computer Generated Hologram)이 개발되었다. 컴퓨터 생성 홀로그램(CGH)은 컴퓨터를 이용하여 물체 광과 참조 광 사이의 간섭 패턴을 계산하여 홀로그램 간섭 패턴 데이터를 생성하고, 생성된 홀로그램 간섭 패턴 데이터를 공간 광 변조기(Spatial Light Modulator; SLM)에 전송한 후, 레이저를 이용한 참조 광을 공간 광 변조기(SLM)에 조사하여 공간 광 변조기에서 구현되는 홀로그램 간섭 패턴에 대응되는 입체 영상을 복원하여 재생하게 된다.
일반적으로, CGH 생성 기술은 크게 3차원 정보 기반 점광원(point source) 방식과 집적영상 기반 광필드(light field) 방식으로 나뉘어진다. 점광원 방식의 CGH 생성 기술은 3차원 그래픽 객체를 3차원 포인트의 집합(Point cloud)으로 가정하고, 각각의 포인트들에 대한 홀로그램 패턴을 계산하여 모두 합하는 방식이다.
한국등록특허 제10-1927592호(2018.12.04. 공고) 한국등록특허 제10-1767299호(2017.08.23. 공고) 한국공개특허 제2012-0045269호(2012.05.09. 공개)
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 실제 물체를 전방위 3차원 점군 및 메쉬 형태로 저장하고, 저장된 점군의 여러 시점을 홀로그램으로 생성하고, 특히, 더 좋은 품질의 홀로그램을 기록하기 위해 빛의 방향에 따라 광원의 밝기에 가중치를 주는, 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 관한 것으로서,(a) 다시점 깊이 및 색상 이미지를 획득하는 단계; (b) 획득된 다시점 깊이 및 색상 이미지로부터 3차원 객체의 점군 데이터를 생성하는 단계; (c) 상기 3차원 객체의 점군 데이터로부터 3차원 객체의 메쉬 데이터를 생성하는 단계; (d) 상기 3차원 객체의 메쉬 데이터에서 각 메쉬의 법선 벡터를 계산하는 단계; (e) 메쉬의 법선 벡터를 이용하여, 상기 3차원 객체의 메쉬 데이터 중에서 사용자 시점의 3차원 데이터를 추출하는 단계; 및, (f) 상기 사용자 시점의 3차원 데이터로부터 홀로그램 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 있어서, 상기 (a)단계에서, 상기 다시점 깊이 및 색상 이미지는 전방위 RGB-D 카메라 시스템을 통해 전방위에서 촬영된 이미지인 것을 특징으로 한다.
또, 본 발명은 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 있어서, 상기 (b)단계에서, 다시점 깊이 및 색상 이미지의 데이터를 하나의 좌표계로 통일시키는 정합 과정을 진행하여, 하나의 좌표계의 3차원 객체의 점군 데이터를 생성하는 것을 특징으로 한다.
또, 본 발명은 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 있어서, 상기 (c)단계에서, 상기 3차원 객체의 점군 데이터를 샘플링하고, 들로네 삼각 분할 방식을 이용하여 3차원 객체의 메쉬 데이터로 변환하는 것을 특징으로 한다.
또, 본 발명은 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 있어서, 상기 (e)단계에서, 사용자 시점의 방향 벡터를 구하고, 상기 사용자 시점의 방향 벡터와 상기 메쉬의 법선 벡터를 내적하여, 내전한 결과 값이 음수가 아닌 메쉬만을 추출하고, 추출된 메쉬를 사용자 시점의 3차원 데이터로 추출하는 것을 특징으로 한다.
또, 본 발명은 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 있어서, 상기 사용자 시점의 방향 벡터는 Z축 방향을 기본 방향 벡터로 설정하고, 사용자의 회전된 시점의 요(yaw), 피치(pitch), 롤(roll)을 이용하여 상기 기본 방향 벡터를 회전시켜 획득되는 것을 특징으로 한다.
또, 본 발명은 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 있어서, 상기 사용자 시점의 방향 벡터는 다음 수식에 의해 산출되는 것을 특징으로 한다.
[수식 1]
Figure 112020019917801-pat00001
단, θz, θx, θy는 사용자 시점의 요(yaw), 피치(pitch), 롤(roll)이고,
Figure 112020019917801-pat00002
또, 본 발명은 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 있어서, 상기 (f)단계에서, 추출된 사용자 시점의 3차원 데이터에 대하여, 해당 3차원 데이터의 밀도를 조절하고, 밀도가 조절된 사용자 시점의 3차원 데이터로 홀로그램 데이터를 생성하는 것을 특징으로 한다.
또, 본 발명은 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 있어서, 상기 추출된 사용자 시점의 3차원 데이터에 대응하는 메쉬 데이터에 대하여, 각 메쉬의 크기를 측정하여, 측정된 메쉬 크기가 임계치 보다 작은지를 판별하고, 임계치 보다 크면 해당 메쉬에서 포인트를 추가하여 해당 메쉬를 분할하고, 분할 과정을 반복하되, 모든 메쉬가 임계치 보다 작도록 분할하여, 밀도를 조절하는 것을 특징으로 한다.
또, 본 발명은 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 있어서, 임계치 이상의 사이즈를 갖는 메쉬에 대해 삼각형의 외심을 사용하여 생성될 포인트의 위치를 계산하고, 생성된 포인트의 색상정보는 각 포인트의 평균값을 가지고, 법선벡터는 해당 메쉬의 법선벡터로 설정하여, 포인트를 추가하는 것을 특징으로 한다.
또, 본 발명은 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 있어서, 상기 (f)단계에서, 객체의 각 포인트의 밝기를 조절하여 홀로그램 데이터를 생성하는 것을 특징으로 한다.
또, 본 발명은 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 있어서, 광원의 밝기에 가중치를 주어 각 포인트의 밝기를 조절하되, 사용자 시점의 방향 벡터와 해당 포인트의 메쉬의 법선 벡터의 내적의 절대값에 비례하여 가중치를 부여하는 것을 특징으로 한다.
또한, 본 발명은 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
상술한 바와 같이, 본 발명에 따른 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 의하면, 실체 물체를 3차원 점군 및 메쉬 형태로 저장하고 저장된 점군의 여러 시점을 홀로그램으로 생성함으로써, 모든 시점에서 동일한 품질을 가지는 홀로그램을 생성할 수 있는 효과가 얻어진다.
또한, 본 발명에 따른 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 의하면, 빛의 방향에 따라 광원의 밝기에 가중치를 줌으로써, 더 좋은 품질의 홀로그램을 기록할 수 있는 효과가 얻어진다.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법을 설명하는 흐름도.
도 3은 본 발명의 일실시예에 따른 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법의 과정을 도식화한 도면.
도 4는 본 발명의 일실시예에 따른 메쉬의 법선벡터의 예시도로서, (a) 하나의 메쉬에 대한 법선벡터에 대한 그림, (b) 법선벡터가 포함된 객체의 표면을 구성하는 각 메쉬들에 대한 그림.
도 5는 본 발명의 일실시예에 따라 획득한 3차원 데이터의 예시도로서, (a) 원본 전방위 메쉬 (b) 법선벡터를 포함한 메쉬, (b) 정면에 위치한 부분에 대한 메쉬, (d) 법선벡터를 포함한 정면방향의 메쉬에 대한 예시도.
도 6은 본 발명의 일실시예에 따른 점군 데이터의 밀도를 조절하는 단계를 설명하는 흐름도.
도 7은 본 발명의 일실시예에 따라, 메쉬를 구성하는 포인트와 보로노이 다이어그램을 통해 생성된 포인트에 대한 예시도.
도 8은 본 발명의 일실시예에 따라, 객체 포인트의 밝기 값에 가중치를 적용하기 전의 홀로그램 복원영상에 대한 예시도로서, (a) 정면, (b) 측면, (c) 후면의 예시도와, 가중치를 적용한 후의 예시도로서, (d) 정면, (e) 측면, (f) 후면의 예시도.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명에 따른 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법은 RGB-D 카메라 시스템(20)에 의해 촬영된 다시점 깊이 및 색상(RGB 등) 이미지(60)를 입력받아 홀로그램을 생성하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 체적형 홀로그램 생성 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 프로그램 시스템(40)과 같이 동작할 수 있다.
한편, 다른 실시예로서, 체적형 홀로그램 생성 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 다시점 깊이 및 색상 이미지에서 체적형 홀로그램 생성하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(30)로 개발될 수도 있다. 이를 체적형 홀로그램 생성 시스템(40)이라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.
한편, RGB-D 카메라 시스템(20)은 물체(10)에 대해 서로 다른 시점으로 촬영하는 다수의 RGB-D 카메라(21)로 구성된다.
또한, 각 RGB-D 카메라(21)는 깊이 카메라 및 색상 카메라(또는 RGB 카메라)를 포함한다. 깊이 카메라는 물체(10)의 깊이를 측정하는 카메라로서, 깊이정보를 측정하여 깊이영상 또는 깊이 이미지(61)를 출력한다. 색상 카메라는 통상의 RGB카메라로서, 물체(10)의 색상 영상 또는 색상 이미지(62)를 획득한다.
다시점 RGB-D 카메라(20)에 의해 촬영된 다시점 깊이영상(61) 및 색상영상(62)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 체적형 홀로그램 생성 시스템(40)에 의해 처리된다. 또는, 다시점 깊이영상(61) 및 색상영상(62)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 체적형 홀로그램 생성 시스템(40)에 의해 저장된 깊이영상(60)을 읽어 입력될 수도 있다.
영상은 시간상으로 연속된 프레임으로 구성된다. 예를 들어, 현재시간 t의 프레임을 현재 프레임이라고 하면, 직전시간 t-1의 프레임은 이전 프레임이라고 하고, t+1의 프레임은 다음 프레임이라고 부르기로 한다. 한편, 각 프레임은 컬러영상(또는 컬러 이미지) 및 깊이영상(또는 깊이정보)을 갖는다.
특히, 다시점 RGB-D 카메라(20)의 개수만큼 물체(10)에 대해 서로 다른 시점으로 촬영하고, 특정 시간 t에서, 카메라 개수만큼의 다시점 깊이 및 색상 영상(61,62)이 획득된다.
한편, 깊이영상(61) 및 색상영상(62)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(61,62)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(61,62)은 하나의 이미지인 경우에도 해당된다.
다시점 깊이영상 및 색상영상에서 홀로그램을 생성하는 것은, 곧 깊이/색상 프레임(또는 이미지) 각각에서 검출하는 것을 의미하나, 이하에서 특별한 구별의 필요성이 없는 한, 영상이나 이미지의 용어를 혼용하기로 한다.
다음으로, 본 발명의 일실시예에 따른 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법을 도 2 및 도 3을 참조하여 설명한다. 도 2는 본 발명의 일실시예에 따른 체적형 홀로그램 생성 방법을 설명하는 흐름도를 나타내고, 도 3은 본 발명에 따른 방법의 과정을 도식화한 도면이다.
컴퓨터 생성 홀로그램(computer-generated hologram, CGH)은 모든 홀로그램 평면의 좌표에서 입력되는 모든 광원에 대하여 프린지 패턴을 구한 후에 그 패턴들을 누적하여 구한다. 그렇기 때문에 홀로그램 평면에 입력된 광원 즉, 특정시점만 홀로그램에 기록할 수 있다. 본 발명에서는 실사 기반의 전방위 3D 데이터를 이용하여 객체의 모든 시점을 사용자가 홀로그램을 통해 확인할 수 있는 방법을 제안한다.
도 2 또는 도 3에서 보는 바와 같이, 먼저, 원하는 시점의 홀로그램을 생성하기 위해 전방위 RGB-D 카메라 시스템을 통해 원하는 객체를 전 방위에서 촬영하여, 다시점 깊이 및 색상 이미지를 획득한다(S10). 그 다음 촬영된 깊이 및 색상 이미지를 이용하여 다시점의 점군 데이터를 생성하고(S20), 메쉬로 변환하는 과정을 거친다(S30).
다음으로, 촬영된 메쉬 데이터를 이용하여 사용자가 보는 시점의 홀로그램을 생성하기 위해 사용자가 바라보는 방향을 찾고, 메쉬의 법선벡터를 계산한다(S40). 메쉬의 법선벡터를 이용하여 사용자의 시점에 해당하는 메쉬만을 선택하여 사용자 시점의 점군 데이터를 추출한다(S50). 그 다음 CGH에 입력되는 점군의 모든 부분의 밀도를 균일하게 만들어준다(S60). 그리고 모든 시점에서 동일한 품질을 가지는 홀로그램을 생성하도록 한다(S70). 이때, 각 포인트의 법선벡터를 이용하여 광원의 밝기를 조절하여 완전 복소 홀로그램을 생성한다.
이하에서, 각 단계를 구체적으로 설명한다.
먼저, 전방위 RGB-D 카메라 시스템을 통해 원하는 객체를 전 방위에서 촬영하여, 다시점 깊이 및 색상 이미지를 획득한다(S10). 바람직하게는, 실사 기반의 3D 모델을 생성하기 위해 스탠드 형태의 카메라 시스템을 이용하여 8대의 RGB-D 카메라를 모든 방향에 위 아래로 설치한다. 상기와 같이 설치된 다수의 RGB-D 카메라를 통해 촬영되는 깊이 및 RGB 이미지를 획득한다.
다음으로, 촬영된 깊이 및 색상 이미지로부터 점군 데이터를 정합하여, 3차원 객체의 점군 데이터를 생성한다(S20).
앞서 예와 같이, 8대의 카메라에서 촬영된 깊이 및 색상이미지를 이용하여 점군을 생성한다. 이때, 각 카메라에서 출력된 데이터를 하나의 좌표계로 통일시키는 정합과정을 진행한다. 이 과정을 통해 하나의 3D 객체의 점군 데이터를 생성한다. 즉, 각 시점의 점군 데이터를 정합하여 하나의 3차원 객체의 점군 데이터를 생성한다. 여기서 3D 객체의 점군 데이터는 3차원 위치 좌표(x,y,z)와 해당 좌표에서의 색상 값으로 구성된 데이터들을 말한다.
점군(point cloud)은 3차원 객체에서 물체의 표면을 구성하고 있는 점들의 집합을 말한다. 8대의 RGB-D 카메라에서 출력된 데이터는 각각 다른 좌표계(각 카메라 좌표계를 따름)를 갖는 포인트 클라우드가 출력이 되는데, 이 8개의 데이터를 하나로 출력하게 되면 하나의 물체라고 보기 힘든 형태이다. 하지만 포인트 클라우드 정합 과정을 거치게 되면 8개의 포인트 클라우드가 하나의 좌표계로 통합되고, 이렇게 좌표계가 통합되면 하나의 객체를 형성하게 된다. 즉, 8개의 포인트 클라우드의 좌표계를 일치시키는 과정을 통해 하나의 객체를 형성한다.
다음으로, 3차원 객체의 점군 데이터로부터 메쉬 데이터 등 3차원 모델을 생성한다(S30).
3차원 모델을 생성하기 전에, 3차원 객체의 점군 데이터를 샘플링 한다. 점군 데이터에서 메쉬로 변환할 때 포인트 클라우드 세 개를 연결해서 하나의 메쉬를 형성한다. 이때 모든 포인트를 연결하여 메쉬(mesh)를 형성하는 것이 아니라 디테일이 죽지 않는 선까지 포인트 개수를 줄인다(샘플링한다). 이후, 포인트를 연결하여 메쉬(mesh)를 생성한다.
바람직하게는, 3차원 객체의 점군 데이터에 대하여, 들로네 삼각분할과 같은 방식을 적용하여 메쉬 데이터로 변환한다. 들로네 삼각분할은 공간상의 점들을 삼각형으로 연결하여 공간을 분할할 때, 이 삼각형들의 내각의 최소값이 최대가 되도록 하는 분할 방식이다. 특히, 들로네 삼각분할 방식은 어떤 삼각형의 외접원도 그 삼각형의 세 꼭지점을 제외한 다른 어떤 점도 포함하지 않도록 분할한다.
앞서 과정을 통해, 실사기반의 전방위 3차원 모델을 생성한다.
다음으로, 3차원 메쉬의 법선 벡터를 계산하고(S40), 이를 이용하여 사용자 시점의 점군 데이터를 추출한다(S50).
사용자 시점은 사전에 정해지거나 사용자 등에 의해 선택된다. 이때, 디지털 홀로그램을 생성하기 앞서 전방위 3차원 데이터에서 사용자의 시점에 해당하는 데이터를 선택하는 과정이 필요하다. 이를 위해 점군 및 메쉬의 법선벡터와 사용자의 시점에 해당하는 요(yaw), 피치(pitch), 롤(roll) 정보가 필요하다.
사용자 시점은 요(yaw), 피치(pitch), 롤(roll) 정보에 의해 주어진다.
먼저, 법선 벡터 계산 단계(S40)를 설명한다.
메쉬의 법선벡터는 메쉬의 표면에 수직한 벡터이다. 이 법선벡터는 메쉬를 구성하는 두 선분 벡터의 외적을 통해 계산할 수 있다. 도 4는 메쉬의 법선벡터에 대한 그림이다.
도 4를 보면, A, B, C 점으로 구성된 메쉬의 법선벡터는 BA × BC가 될 수 있다. 오른손 법칙에 따라 메쉬의 법선벡터는 CB × CA, AC × AB로도 계산할 수 있다. 최종 법선벡터는 (a, b, c)의 절대값을 각각 나눠준 단위벡터가 된다. 점군의 법선벡터는 메쉬의 법선벡터와 동일하게 설정한다.
다음으로, 사용자 시점의 데이터 추출 단계(S50)를 설명한다.
RGB-D 카메라를 이용하여 획득된 객체를 임의로 회전시키지 않았다면, 객체는 사용자의 정면방향인 Z→=(0, 0, 1)방향에 놓여있을 것이다. 사용자의 시점이 달라지면, 회전된 시점의 요(yaw), 피치(pitch), 롤(roll)을 이용하여 Z방향 벡터를 회전시킨다. 회전된 Z방향 벡터의 값이 사용자가 객체를 바라보는 방향이 된다. 요(yaw), 피치(pitch), 롤(roll)은 각각 θz, θx, θy로 표기하고 회전된 시점인 R(θz),R(θx),R(θy)는 다음 수학식과 같다.
[수학식 1]
Figure 112020019917801-pat00003
따라서 사용자가 보는 방향인 방향벡터 Z'는 다음과 같다.
[수학식 2]
Figure 112020019917801-pat00004
여기서,
Figure 112020019917801-pat00005
은 (0, 0, 1) 벡터(또는 z 방향 벡터)이고,
Figure 112020019917801-pat00006
은 사용자가 객체를 바라보는 방향 벡터(이하 방향벡터 Z')이다.
사용자에게 보이는 방향의 데이터를 취하는 방법은 방향벡터 Z'(사용자 시점의 방향 벡터)와 법선벡터의 내적을 통해 선택할 수 있다.
내적한 결과 값이 음수가 나오면 서로 90도 이상의 각도 차이를 가지고 있다는 것이고, 이는 사용자에게 보이는 부분이 된다. 도 5는 사용자의 시점이 객체의 정면에 놓여있을 때 선택된 데이터를 보여준다. 즉, 사용자 시점의 방향 벡터와 법선벡터를 내적하여, 내적한 결과 값이 음수가 아닌 메쉬를 선택(필터링)한다.
필터링된 메쉬들을 사용자 시점의 3차원 데이터로 추출한다. 즉, 선택된 메쉬의 점군 데이터들이 사용자 시점의 점군 데이터이다. 앞서 과정에서, 추출한 것은 사용자 시점의 메쉬 데이터이나, 메쉬 데이터의 메쉬 상의 점(point) 들이 곧 점군 데이터이다. 이러한 의미에서, 사용자 시점의 3차원 데이터는 메쉬 데이터 또는 점군 데이터를 모두 의미하는 것으로 사용한다. 즉, 사용자 시점의 3차원 데이터, 사용자 시점의 메쉬 데이터, 사용자 시점의 메쉬 데이터를 혼용한다.
다음으로, 추출된 사용자 시점의 점군 데이터의 밀도를 조절한다(S60).
카메라 시스템을 통해 획득된 포인트 클라우드(또는 점군)는 각 부분이 다른 밀도를 가진다. 홀(hole) 등으로 인해 밀도가 낮은 부분을 이용하여 CGH를 진행하게 되면 밀도가 높은 부분에 비해 낮은 품질을 보일 것이다. 따라서 모든 시점에 대해서 일정한 품질의 홀로그램을 획득하기 위해 메쉬를 이용하여 포인트 클라우드의 밀도를 조절한다.
도 6은 메쉬를 이용하여 포인트 클라우드(점군 데이터)의 밀도를 조절하는 단계를 설명한 흐름도이다.
도 6에서 보는 바와 같이, 메쉬의 크기를 측정하여, 측정된 메쉬 크기가 임계치 보다 작은지를 판별한다. 임계치 보다 크면 해당 메쉬에서 포인트를 추가하여 해당 메쉬를 분할한다. 이러한 과정을 반복하여, 모든 메쉬가 임계치 보다 작도록 분할한다.
여기서 메쉬는 포인트 클라우드의 밀도를 계산하는데 사용된다. 메쉬는 가장 근접한 세 개의 포인트를 이용하여 만들기 때문에, 메쉬의 사이즈가 작다는 것은 해당 부분의 포인트 클라우드가 서로 가까이에 위치해 있다는 것이다. 즉, 그 부분의 포인트 클라우드 밀도는 높다고 판단한다. 반대로 메쉬의 사이즈가 크다면 해당 부분의 포인트 클라우드 밀도가 낮다고 판단한다.
따라서 임계치 이상의 사이즈를 갖는 메쉬는 포인트 클라우드를 추가하는 과정을 거친다. 포인트를 추가하는 방법은 보로노이 다이어그램(Voronoi diagram)을 이용한다.
도 7은 메쉬를 구성하는 점들을 이용하여 보로노이 다이어그램을 생성하는 방법에 대한 그림이다.
빨간색 포인트는 기존에 획득된 포인트들이고 검정색 포인트는 보로노이 다이어그램을 통해 추가된 포인트이다. 이 방법은 삼각형의 외심을 사용하여 생성될 포인트의 위치를 계산한다. 생성된 포인트의 색상정보는 각 포인트의 평균값을 가지고, 법선벡터는 해당 메쉬의 법선벡터를 따른다.
이렇게 포인트가 추가되면 기존의 포인트와 연결하여 세 개의 메쉬로 나뉘어지게 되는데, 나눠진 메쉬의 크기가 또 다시 임계치 이상이면 위의 과정을 반복한다.
상기와 같은 과정을 통해 CGH에 사용되는 포인트 클라우드의 밀도를 균일하게 유지한다.
다음으로, 밀도가 조절된 점군 데이터로부터 홀로그램을 생성하되, 객체의 각 포인트의 밝기를 조절하여 생성한다(S70).
다음 수학식은 완전 복소 홀로그램의 생성을 위한 실수부의 CGH 수식을 나타내고 있다.
[수학식 3]
Figure 112020019917801-pat00007
여기서 I(u,v)는 홀로그램 평면의 좌표 u,v에서의 밝기이고, 홀로그램 평면은 사용자의 위치가 된다. 그리고 Ai(x,y,z)는 x,y,z좌표에서의 광원의 밝기이다.
여기서 x,y,z좌표와 홀로그램 평면이 가까울수록 밝기가 높아질 것이다. 하지만 빛이 향하는 방향 또한 밝기에 영향을 주기 때문에 홀로그램 평면과 x,y,z좌표에서의 빛이 향하는 방향 사이의 각도를 이용하여 광원의 밝기에 가중치를 주어야 한다. 이 가중치에 대한 부분이 수학식 3에서 Wi(x,y,z)가 된다.
사용자의 시점에 대한 점군 또는 메쉬를 선택하여 홀로그램을 생성하는 것이기 때문에, 홀로그램 평면의 법선방향은 사용자의 시점과 동일한 방향이 될 것이다. 그리고 x,y,z좌표에서 빛이 향하는 방향은 해당 좌표의 법선 방향과 동일하다. 따라서 앞서 구한 사용자가 객체를 바라보는 방향(a→)과 메쉬 또는 점군의 법선벡터(b→)를 이용하여 밝기에 가중치를 적용한다. 가중치는 a→와 b→벡터의 내적에 절대값을 취한 값이 된다. 바람직하게는, 내적의 절대값에 비례하여 가중치를 설정한다.
사용자가 객체를 바라보는 방향(a→)이 앞서 사용자 시점 방향 벡터 Z'이다.
도 8은 홀로그램의 밝기에 빛의 방향에 따른 가중치를 주기 전 후의 홀로그램으로 복원한 그림이다. 즉, 도 8은 밝기 값에 가중치를 주기 전 후의 홀로그램에 대한 그림이다.
수학식 3에서 N은 광원의 개수이고, λ는 홀로그램 생성에 사용한 참조파(reference wave)의 파장이고, p는 홀로그램과 광원의 화소의 크기인데, 여기에서는 편의상 동일한 값으로 취급한다.
본 발명에서는 수학식 3의 과정을 다음 수학식 4 및 5와 같이 분리한다. 즉, 수학식 4를 이용하여 각각의 객체 포인트에 대해 프린지 패턴을 생성한다. 생성된 프린지 패턴은 수학식 5와 같이 밝기 값과 곱하고, 누적 덧셈을 수행하여 최종 홀로그램을 생성한다.
[수학식 4]
Figure 112020019917801-pat00008
[수학식 5]
Figure 112020019917801-pat00009
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 물체 20 : 카메라 시스템
30 : 컴퓨터 단말 40 : 프로그램 시스템

Claims (13)

  1. 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법에 있어서,
    (a) 다시점 깊이 및 색상 이미지를 획득하는 단계;
    (b) 획득된 다시점 깊이 및 색상 이미지로부터 3차원 객체의 점군 데이터를 생성하는 단계;
    (c) 상기 3차원 객체의 점군 데이터로부터 3차원 객체의 메쉬 데이터를 생성하는 단계;
    (d) 상기 3차원 객체의 메쉬 데이터에서 각 메쉬의 법선 벡터를 계산하는 단계;
    (e) 메쉬의 법선 벡터를 이용하여, 상기 3차원 객체의 메쉬 데이터 중에서 사용자 시점의 3차원 데이터를 추출하는 단계; 및,
    (f) 상기 사용자 시점의 3차원 데이터로부터 홀로그램 데이터를 생성하는 단계를 포함하고,
    상기 (e)단계에서, 사용자 시점의 방향 벡터를 구하고, 상기 사용자 시점의 방향 벡터와 상기 메쉬의 법선 벡터를 내적하여, 내적한 결과 값이 음수가 아닌 메쉬만을 추출하고, 추출된 메쉬를 사용자 시점의 3차원 데이터로 추출하는 것을 특징으로 하는 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법.
  2. 제1항에 있어서,
    상기 (a)단계에서, 상기 다시점 깊이 및 색상 이미지는 전방위 RGB-D 카메라 시스템을 통해 전방위에서 촬영된 이미지인 것을 특징으로 하는 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법.
  3. 제1항에 있어서,
    상기 (b)단계에서, 다시점 깊이 및 색상 이미지의 데이터를 하나의 좌표계로 통일시키는 정합 과정을 진행하여, 하나의 좌표계의 3차원 객체의 점군 데이터를 생성하는 것을 특징으로 하는 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법.
  4. 제1항에 있어서,
    상기 (c)단계에서, 상기 3차원 객체의 점군 데이터를 샘플링하고, 들로네 삼각 분할 방식을 이용하여 3차원 객체의 메쉬 데이터로 변환하는 것을 특징으로 하는 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 사용자 시점의 방향 벡터는 Z축 방향을 기본 방향 벡터로 설정하고, 사용자의 회전된 시점의 요(yaw), 피치(pitch), 롤(roll)을 이용하여 상기 기본 방향 벡터를 회전시켜 획득되는 것을 특징으로 하는 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법.
  7. 제6항에 있어서,
    상기 사용자 시점의 방향 벡터는 다음 수식에 의해 산출되는 것을 특징으로 하는 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법.
    [수식 1]
    Figure 112020019917801-pat00010

    단, θz, θx, θy는 사용자 시점의 요(yaw), 피치(pitch), 롤(roll)이고,
    Figure 112020019917801-pat00011

  8. 제1항에 있어서,
    상기 (f)단계에서, 추출된 사용자 시점의 3차원 데이터에 대하여, 해당 3차원 데이터의 밀도를 조절하고, 밀도가 조절된 사용자 시점의 3차원 데이터로 홀로그램 데이터를 생성하는 것을 특징으로 하는 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법.
  9. 제8항에 있어서,
    상기 추출된 사용자 시점의 3차원 데이터에 대응하는 메쉬 데이터에 대하여, 각 메쉬의 크기를 측정하여, 측정된 메쉬 크기가 임계치 보다 작은지를 판별하고, 임계치 보다 크면 해당 메쉬에서 포인트를 추가하여 해당 메쉬를 분할하고, 분할 과정을 반복하되, 모든 메쉬가 임계치 보다 작도록 분할하여, 밀도를 조절하는 것을 특징으로 하는 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법.
  10. 제9항에 있어서,
    임계치 이상의 사이즈를 갖는 메쉬에 대해 삼각형의 외심을 사용하여 생성될 포인트의 위치를 계산하고, 생성된 포인트의 색상정보는 각 포인트의 평균값을 가지고, 법선벡터는 해당 메쉬의 법선벡터로 설정하여, 포인트를 추가하는 것을 특징으로 하는 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법.
  11. 제1항에 있어서,
    상기 (f)단계에서, 객체의 각 포인트의 밝기를 조절하여 홀로그램 데이터를 생성하는 것을 특징으로 하는 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법.
  12. 제11항에 있어서,
    광원의 밝기에 가중치를 주어 각 포인트의 밝기를 조절하되, 사용자 시점의 방향 벡터와 해당 포인트의 메쉬의 법선 벡터의 내적의 절대값에 비례하여 가중치를 부여하는 것을 특징으로 하는 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법.
  13. 제1항 내지 제4항, 제6항 내지 제12항 중 어느 항의 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020200023092A 2020-02-25 2020-02-25 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법 KR102277098B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200023092A KR102277098B1 (ko) 2020-02-25 2020-02-25 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법
US17/184,767 US11733649B2 (en) 2020-02-25 2021-02-25 Method of generating volume hologram using point cloud and mesh

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200023092A KR102277098B1 (ko) 2020-02-25 2020-02-25 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법

Publications (1)

Publication Number Publication Date
KR102277098B1 true KR102277098B1 (ko) 2021-07-15

Family

ID=76889531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200023092A KR102277098B1 (ko) 2020-02-25 2020-02-25 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법

Country Status (2)

Country Link
US (1) US11733649B2 (ko)
KR (1) KR102277098B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102529177B1 (ko) * 2022-05-02 2023-05-04 (주)이브이알스튜디오 객체의 다중 프로젝션 매핑을 수행하는 전자 장치의 제어 방법
KR20230077143A (ko) * 2021-11-25 2023-06-01 광운대학교 산학협력단 카메라에 의해 생성된 그래픽스 데이터의 품질 개선 방법
WO2024043406A1 (ko) * 2022-08-22 2024-02-29 한국전자기술연구원 스트리밍용 포인트 클라우드 압축 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989505B2 (en) * 2022-10-05 2024-05-21 Adobe Inc. Generating personalized digital design template recommendations

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080086488A (ko) * 2005-12-22 2008-09-25 시리얼 테크놀로지즈 에스.에이. 홀로그래픽 재생 장면에서의 불균일한 밝기 인식의 보정방법
KR20120045269A (ko) 2010-10-29 2012-05-09 삼성전자주식회사 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치
KR20130094015A (ko) * 2012-02-15 2013-08-23 한국전자통신연구원 입체 모델 생성 장치 및 방법
KR20140100656A (ko) * 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
KR101767299B1 (ko) 2014-05-21 2017-08-23 한국전자통신연구원 홀로그래픽 복원 영상 재현 장치 및 방법
KR101927592B1 (ko) 2016-12-08 2018-12-10 전자부품연구원 홀로그래픽 영상처리 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5451135B2 (ja) * 2009-03-26 2014-03-26 キヤノン株式会社 画像処理装置、画像処理方法
SG11201406906UA (en) * 2012-04-25 2014-11-27 Elta Systems Ltd Estimating a source location of a projectile
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
US10115035B2 (en) * 2015-01-08 2018-10-30 Sungkyunkwan University Foundation For Corporation Collaboration Vision system and analytical method for planar surface segmentation
US20190043255A1 (en) * 2016-02-11 2019-02-07 3M Innovative Properties Company Population-based surface mesh reconstruction
CN109690620B (zh) 2016-09-12 2023-05-30 松下知识产权经营株式会社 三维模型生成装置以及三维模型生成方法
CN108898551B (zh) * 2018-06-14 2020-07-31 北京微播视界科技有限公司 图像合并的方法和装置
US20210019953A1 (en) * 2019-07-16 2021-01-21 Microsoft Technology Licensing, Llc Real-time feedback for surface reconstruction as a service

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080086488A (ko) * 2005-12-22 2008-09-25 시리얼 테크놀로지즈 에스.에이. 홀로그래픽 재생 장면에서의 불균일한 밝기 인식의 보정방법
KR20120045269A (ko) 2010-10-29 2012-05-09 삼성전자주식회사 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치
KR20130094015A (ko) * 2012-02-15 2013-08-23 한국전자통신연구원 입체 모델 생성 장치 및 방법
KR20140100656A (ko) * 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
KR101767299B1 (ko) 2014-05-21 2017-08-23 한국전자통신연구원 홀로그래픽 복원 영상 재현 장치 및 방법
KR101927592B1 (ko) 2016-12-08 2018-12-10 전자부품연구원 홀로그래픽 영상처리 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230077143A (ko) * 2021-11-25 2023-06-01 광운대학교 산학협력단 카메라에 의해 생성된 그래픽스 데이터의 품질 개선 방법
KR102593168B1 (ko) * 2021-11-25 2023-10-24 광운대학교 산학협력단 카메라에 의해 생성된 그래픽스 데이터의 품질 개선 방법
KR102529177B1 (ko) * 2022-05-02 2023-05-04 (주)이브이알스튜디오 객체의 다중 프로젝션 매핑을 수행하는 전자 장치의 제어 방법
WO2024043406A1 (ko) * 2022-08-22 2024-02-29 한국전자기술연구원 스트리밍용 포인트 클라우드 압축 시스템 및 방법

Also Published As

Publication number Publication date
US20210263469A1 (en) 2021-08-26
US11733649B2 (en) 2023-08-22

Similar Documents

Publication Publication Date Title
KR102277098B1 (ko) 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
KR100837365B1 (ko) 룩업 테이블을 이용한 컴퓨터 형성 홀로그램 생성과 재생방법 및 그 장치
KR102454167B1 (ko) 가상 시점 영상 생성 방법 및 장치
KR102304225B1 (ko) 홀로그램 재현 영상의 공간 해상도를 측정 및 평가하는 방법 및 장치
EP3340619A1 (en) Geometric warping of a stereograph by positional constraints
US20140300941A1 (en) Method and apparatus for generating hologram based on multi-view image
CN104021587A (zh) 基于计算全息技术的大场景真三维显示快速生成方法
US8577202B2 (en) Method for processing a video data set
US20150192898A1 (en) Apparatus and method for measuring and evaluating field of view (fov) of reconstructed image of hologram
KR20120045269A (ko) 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치
KR101411568B1 (ko) 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법
US20140313555A1 (en) Digital hologram synthesis method and apparatus
Zhang et al. Resolution-enhanced holographic stereogram based on integral imaging using an intermediate-view synthesis technique
CN115953476A (zh) 基于可泛化神经辐射场的人体自由视角合成方法
KR20140123694A (ko) 홀로그램 패턴 생성 장치 및 방법
KR102577707B1 (ko) 진폭 변조 홀로그램을 위한 홀로그램 인코딩 및 홀로그램 화질 평가 장치 및 그 방법
KR102358854B1 (ko) 얼굴 이미지 색상 합성 장치 및 방법
Shin et al. 3D visualization of partially occluded objects using axially distributed sensing
CN116503536B (zh) 一种基于场景分层的光场渲染方法
Shoidin et al. Remote formation of holographic record
US20240054667A1 (en) High dynamic range viewpoint synthesis
KR20140092460A (ko) 2차원 이미지의 홀로그램 이미지 변환 장치 및 그 방법
KR20150076526A (ko) 3d 홀로그램 생성 장치 및 3d 홀로그램 생성 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant