KR20150061550A - Holographic content provider method and holographic content provider apparatus and display apparatus using the method - Google Patents
Holographic content provider method and holographic content provider apparatus and display apparatus using the method Download PDFInfo
- Publication number
- KR20150061550A KR20150061550A KR1020140087501A KR20140087501A KR20150061550A KR 20150061550 A KR20150061550 A KR 20150061550A KR 1020140087501 A KR1020140087501 A KR 1020140087501A KR 20140087501 A KR20140087501 A KR 20140087501A KR 20150061550 A KR20150061550 A KR 20150061550A
- Authority
- KR
- South Korea
- Prior art keywords
- holographic
- contents
- holographic content
- content
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 230000003287 optical effect Effects 0.000 claims abstract description 51
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 238000012800 visualization Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 33
- 230000003993 interaction Effects 0.000 claims description 18
- 238000005286 illumination Methods 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 abstract description 7
- 238000004519 manufacturing process Methods 0.000 abstract description 6
- 230000002452 interceptive effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 16
- 238000003860 storage Methods 0.000 description 11
- 238000012795 verification Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000013523 data management Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
- G03H1/268—Holographic stereogram
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/20—2D object
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/30—3D object
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2225/00—Active addressable light modulator
- G03H2225/10—Shape or geometry
- G03H2225/13—3D SLM
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Holo Graphy (AREA)
Abstract
Description
아래의 설명은 홀로그래픽 콘텐츠 제공 방법 및 상기 방법을 이용하는 홀로그래픽 콘텐츠 제공 장치, 디스플레이 장치에 관한 것으로, 실제 객체 및 가상 객체를 이용하여 광학적인 방식을 통해 디스플레이하는 홀로그래픽 콘텐츠 제공 방법 및 상기 방법을 이용하는 홀로그래픽 콘텐츠 제공 장치, 디스플레이 장치에 관한 것이다.The following description relates to a holographic content providing method and a holographic content providing apparatus and a display apparatus using the method and a holographic content providing method for displaying the holographic contents through an optical method using real objects and virtual objects, And a holographic display device.
디지털 홀로그래픽 콘텐츠는 실제 객체 및 3D 가상 객체의 표면에서 반사된 빛의 위상 변화에 대한 빛의 전달 모델을 수식화하여 수치적 계산을 통한 결과로 나타낸다. 이 때, 디지털 홀로그래픽 콘텐츠는 복소 데이터의 프린지 패턴 형태를 생성하고, 생성된 프린지 패턴 형태의 데이터를 시간 단위의 프레임 당 연속 데이터로서 디지털 데이터 형태로 저장하여 나타낸다.Digital holographic content represents the result of numerical computation of light transfer models for phase changes of light reflected from the surface of real objects and 3D virtual objects. At this time, the digital holographic content generates a fringe pattern form of the complex data, and stores the generated data of the fringe pattern form as digital data in the form of continuous data per frame of time unit.
그렇지만, 아날로그 방식의 홀로그램은 레이저에서 나온 빛을 물체에 투사한 후 반사되어 홀로그램 저장 매체에 입사되는 물체파와 홀로그램 저장 매체에 직접 입사되는 기준파 간의 간섭을 통해 프린지 패턴이 생성된다. 그리고, 아날로그 방식의 홀로그램은 간섭을 통해 생성된 프린지 패널은 홀로그램 저장 매체에 기록한다. 이렇게 기록된 아날로그 방식의 홀로그램을 재생하기 위해서는 홀로그램 기록 과정에서 사용한 기준파를 홀로그램 저장매체에 동일한 방향으로 입사시켜 회절을 일으킴으로써, 본래 물체가 있었던 위치에 물체와 동일한 홀로그램 영상이 재현된다.However, an analog type hologram generates a fringe pattern through interference between an object wave reflected on a hologram recording medium and a reference wave incident directly on the holographic storage medium after projecting the light from the laser onto the object. In the hologram of the analog system, the fringe panel generated through the interference is recorded on the hologram storage medium. In order to reproduce the recorded analog hologram, the reference wave used in the hologram recording process is incident on the hologram storage medium in the same direction to cause diffraction, whereby the same hologram image as the object is reproduced at the position where the original object was located.
여기서, 아날로그 방식의 홀로그램은 한번 생성하면 변경을 못하여 물체가 변경될 때마다 새롭게 홀로그램의 기록 과정이 필요하다. 또한, 아날로그 방식의 홀로그램을 광학적인 방식으로 재생하는 경우, 아날로그 방식의 홀로그램은 광학적인 방식으로 재생되는 홀로그램 영상의 해상도와 관찰자의 가시 부피의 제약이 있게 되고 홀로그램 디스플레이가 기존 3D 영상 디스플레이 수준의 크기와 시야각을 제공하기 위해서는 초대용량의 공간 대역폭이 요구된다.Here, the hologram of the analog type needs to be newly recorded every time the object is changed because it can not be changed once it is created. When an analog hologram is reproduced in an optical manner, the hologram of the analog system is limited in the resolution of the hologram image reproduced by the optical system and the visible volume of the observer, And an extra large space bandwidth is required to provide a viewing angle.
한편, 디지털 홀로그램을 생성하는 경우에는 물체에 대한 물체파와 기준파의 간섭에 의해 홀로그램 프린지 패턴을 생성하는 원리를 컴퓨터 모델링한 후, 이를 통하여 계산식으로 처리하게 된다. 그리고, 계산식을 통해 처리된 계산 결과는 2차원 복소 데이터 형태가 된다. 또한, 디지털 홀로그램을 광학적인 방식으로 복원하기 위해서는 공간광변조가 필요하게 되는데 이를 위해 진폭 변조, 위상 변조 등 여러 가지 기능의 공간광변조기(SLM; Spatial light modulator)를 활용하게 된다. 디지털 홀로그램은 3차원 모델데이터로부터 빛의 전달 분포에 대한 수치적 계산을 통해 얻은 디지털 홀로그램 데이터를 SLM에 로드하여 레이저를 인가함으로써, 빛의 회절 현상에 의한 광학적인 방식의 홀로그램 영상을 복원하게 된다. On the other hand, in the case of generating a digital hologram, the principle of generating the hologram fringe pattern by the interference of the object wave and the reference wave with respect to the object is computer modeled and then processed by the calculation formula. The calculation result processed through the calculation formula becomes a two-dimensional complex data form. In order to reconstruct the digital hologram by an optical method, spatial light modulation is required. To this end, a spatial light modulator (SLM) having various functions such as amplitude modulation and phase modulation is utilized. The digital hologram is loaded with the digital hologram data obtained by numerical calculation of the light transmission distribution from the three-dimensional model data into the SLM, and the laser is applied to restore the optical type hologram image by the diffraction phenomenon of light.
그러나, 디지털 홀로그램의 광학적 복원 홀로그램의 재생 영상 크기 및 관찰 가능한 시야각은 SLM의 화소 간격(pixel pitch)의 세밀도와 관련이 있다. 즉, 보다 더 세밀한 화소 간격일수록 복원 홀로그램의 시야각은 더 커지게 되지만, 반도체 제작 공정 상 화소 간격의 집적도의 한계가 있어 디지털 홀로그램의 실용화에 한계가 발생하게 된다.However, the reproduced image size and observable viewing angle of the optical reconstruction hologram of the digital hologram are related to the granularity of the pixel pitch of the SLM. In other words, the viewing angle of the restoration hologram becomes larger as the pixel spacing becomes finer, but there is a limit in the degree of integration of pixel intervals in the semiconductor fabrication process, which limits practical use of the digital hologram.
결국, 종래의 디지털 홀로그램 기술은 데이터 처리에 있어서 컴퓨터 생성 홀로그램(CGH; Computer Generated Hologram)의 단순 계산 수준에 머물러 있고, 상대적인 고속 알고리즘 기술을 개발하는 수준이다. 또한, 종래의 디지털 홀로그램 기술은 테라급의 데이터 양과 계산량으로 인해 단일 홀로그램 생성 수준에 머물러 있는 실정이다.Ultimately, the conventional digital hologram technology stays at the level of simple computation of computer generated hologram (CGH) in data processing, and develops relative high-speed algorithm technology. In addition, the conventional digital hologram technology is still at a level of generating a single hologram due to the amount of data and calculation amount of terahertz.
다수의 하드웨어 및 소프트웨어 알고리즘 방식을 통해 실물 객체에 대한 홀로그래픽 콘텐츠 생성 및 가상 객체에 대한 쉐이딩 모델 및 조명 정보를 활용함으로써, 실물 객체에 대한 화질을 보다 효과적으로 개선할 수 있는 홀로그래픽 콘텐츠 제공 방법 및 상기 방법을 이용하는 홀로그래픽 콘텐츠 제공 장치, 디스플레이 장치를 제공할 수 있다.A holographic content providing method capable of more effectively improving the quality of a physical object by using holographic content creation for a physical object and using a shading model and illumination information for a virtual object through a plurality of hardware and software algorithm methods; A method of providing a holographic content, and a display device.
홀로그래픽 콘텐츠의 프린지 데이터를 자체적으로 편집 및 합성할 수 있는 홀로그래픽 콘텐츠 저작 기술을 적용하고, 홀로그래픽 콘텐츠의 사전 가시화를 위해 고속 렌더링 기술을 적용함으로써 초고화질 볼륨 홀로그램을 광학적으로 시뮬레이션을 할 수 있는 홀로그래픽 콘텐츠 제공 방법 및 상기 방법을 이용하는 홀로그래픽 콘텐츠 제공 장치, 디스플레이 장치를 제공할 수 있다.It is possible to optically simulate an ultra-high-resolution volume hologram by applying a holographic content authoring technology capable of editing and synthesizing fringe data of the holographic contents by themselves and applying a high-speed rendering technology for prior visualization of the holographic contents A holographic content providing method and a holographic content providing apparatus and a display apparatus using the method can be provided.
디지털 홀로그래픽 콘텐츠의 광학적인 복원 방식을 통한 디스플레이를 위해 디스플레이 장치의 데이터 포맷에 따라 적응적으로 홀로그래픽 콘텐츠를 변환하는 기술을 적용하며, 사용자 상호작용 기술을 적용하고, 복원 영상의 검증을 통하여 최적화된 디지털 홀로그래픽 콘텐츠를 제작할 수 있도록 함으로써 홀로그래픽 콘텐츠를 새로운 디지털미디어로 다룰 수 있는 홀로그래픽 콘텐츠 제공 방법 및 상기 방법을 이용하는 홀로그래픽 콘텐츠 제공 장치, 디스플레이 장치를 제공할 수 있다.A technique for adaptively converting a holographic content according to a data format of a display device is applied to display through an optical restoration method of digital holographic contents, a user interaction technique is applied, and optimization The present invention provides a holographic contents providing method capable of dealing with holographic contents as new digital media by making it possible to manufacture digital holographic contents by using the method and a holographic contents providing apparatus and a display apparatus using the method.
일실시예에 따른 홀로그래픽 콘텐츠 제공 장치가 수행하는 분산 처리 기반의 홀로그래픽 콘텐츠 제공 방법은 실물 객체, 가상 객체 및 조명 정보를 획득하여 홀로그래픽 콘텐츠를 생성하는 단계; 상기 생성한 홀로그래픽 콘텐츠의 객체 데이터를 이용하여 홀로그래픽 콘텐츠를 편집하는 단계; 상기 편집된 홀로그래픽 콘텐츠를 3D 렌더링하여 홀로그래픽 콘텐츠에 대한 결과를 사전 가시화하는 단계; 및 디스플레이 장치의 데이터 포맷에 대응하여 상기 가시화된 홀로그래픽 콘텐츠의 객체 데이터에 대한 데이터 포맷을 변환하는 단계를 포함하고, 상기 디스플레이 장치는, 상기 객체 데이터에 대한 데이터 포맷이 변화된 홀로그래픽 콘텐츠를 광학적인 방식을 통해 디스플레이하고, 디스플레이된 홀로그래픽 콘텐츠에 대한 결과를 피드백할 수 있다.According to another aspect of the present invention, there is provided a distributed processing-based holographic content providing method, comprising: generating a holographic content by acquiring a physical object, a virtual object, and illumination information; Editing the holographic contents using the generated object data of the holographic contents; 3D rendering the edited holographic content to pre-visualize the results for the holographic content; And converting the data format of the object data of the visualized holographic content corresponding to the data format of the display device, wherein the display device displays the holographic content in which the data format of the object data is changed, Method and feedback the results on the displayed holographic content.
일실시예에 따른 생성하는 단계는 전경 또는 배경에 해당하는 실물 객체, 3D 모델 데이터에 해당하는 가상 객체 및 상기 가상 객체에 대한 조명 정보를 이용하여 시간 단위의 프레임 당 연속적인 형태를 나타내는 홀로그래픽 콘텐츠를 생성할 수 있다.According to an exemplary embodiment of the present invention, the generating step may include a step of generating a plurality of holographic images, each of which includes a virtual object corresponding to a foreground or a background, a virtual object corresponding to 3D model data, Lt; / RTI >
일실시예에 따른 편집하는 단계는 분산 처리 방식으로 사용할 수 있도록 상기 홀로그래픽 콘텐츠를 일정 크기의 소규모로 분할할 수 있다.According to an exemplary embodiment, the editing step may divide the holographic contents into a small size having a predetermined size so as to be used in a distributed processing method.
일실시예에 따른 편집하는 단계는 상기 객체 데이터에 대한 포맷 형식으로 객체 데이터의 순서 정보에 대한 프린지 정보를 편집할 수 있다.The editing step may edit the fringe information on the order information of the object data in a format format for the object data.
일실시예에 따른 편집하는 단계는 상기 객체 데이터의 대역폭 최적화 및 시점 변환을 고려하여 배열 기반의 구면 형태를 갖도록 홀로그래픽 콘텐츠를 편집할 수 있다.According to an exemplary embodiment of the present invention, the editing of the holographic contents may be performed to have an array-based spherical shape in consideration of bandwidth optimization and viewpoint conversion of the object data.
일실시예에 따른 편집하는 단계는 상기 객체 데이터에 대한 수치적 복원 기술을 적용하여 사용자와의 상호작용이 가능하도록 홀로그래픽 콘텐츠를 편집할 수 있다.According to an embodiment of the present invention, the editing step may edit the holographic content so that the user can interact with the user by applying a numerical restoration technique to the object data.
일실시예에 따른 사전 가시화하는 단계는 상기 편집된 홀로그래픽 콘텐츠의 광파 분포를 고려하여 3D 렌더링할 수 있다.The pre-visualization according to an exemplary embodiment may be 3D-rendered considering the light wave distribution of the edited holographic contents.
일실시예에 따른 사전 가시화하는 단계는 객체 데이터의 데이터 포맷이 최적화 된 홀로그래픽 콘텐츠를 가시화하는 경우, 홀로그래픽 콘텐츠의 수치적 복원을 통한 복원 시뮬레이션 방식을 이용하여 가시화할 수 있다.The pre-visualization according to an exemplary embodiment may be visualized using a restoration simulation method through numerical restoration of holographic contents when the data format of the object data is optimized for visualizing the holographic contents.
일실시예에 따른 변환하는 단계는 상기 일정 크기의 소규모로 분할된 홀로그래픽 콘텐츠를 통합하여 단일 형태의 홀로그래픽 콘텐츠로 변환할 수 있다.The converting step according to an exemplary embodiment may convert the small-sized divided holographic contents of the predetermined size into a single type of holographic contents.
일실시예에 따른 디스플레이 장치가 수행하는 홀로그래픽 콘텐츠 제공 방법은 홀로그래픽 콘텐츠 제공 장치로부터 수신한 디스플레이 장치의 데이터 포맷에 최적화된 홀로그래픽 콘텐츠를 광학적인 방식을 통해 디스플레이하는 단계; 및 상기 디스플레이된 홀로그래픽 콘텐츠에 대한 결과를 홀로그래픽 콘텐츠 제공 장치로 피드백하는 단계를 포함하고, 상기 홀로그래픽 콘텐츠 제공 장치는, 디스플레이 장치의 데이터 포맷에 따라 분산 처리 기반으로 홀로그래픽 콘텐츠의 객체 데이터의 데이터 포맷을 변환하고, 변환된 홀로그래픽 콘텐츠를 제공할 수 있다.According to an embodiment of the present invention, there is provided a method for providing a holographic content, the method comprising: optically displaying holographic contents optimized for a data format of a display device received from the holographic content providing apparatus; And feeding back the results of the displayed holographic contents to a holographic content providing apparatus, wherein the holographic content providing apparatus is configured to transmit the result of the display of the holographic content, Convert the data format, and provide the converted holographic content.
일실시예에 따른 디스플레이하는 단계는 플랙서블한 다중 광변조소자의 배열을 조절하여 시간적 다중화 또는 공간적 다중화를 통해 홀로그래픽 콘텐츠를 디스플레이할 수 있다.The displaying step according to an embodiment may display the holographic contents by temporal multiplexing or spatial multiplexing by adjusting the arrangement of the flexible optical modulation elements.
일실시예에 따른 디스플레이하는 단계는 상기 홀로그래픽 콘텐츠와 사용자 간의 상호 작용을 수행하기 위해 상기 디스플레이 된 홀로그래픽 콘텐츠의 제시 공간과 사용자의 제스처 인식 공간 간의 공간을 정합하여 디스플레이할 수 있다.The displaying step according to an exemplary embodiment may display and display the space between the displayed space of the displayed holographic contents and the gesture recognition space of the user to perform the interaction between the holographic contents and the user.
일실시예에 따른 피드백하는 단계는 상기 디스플레이 장치를 통해 광학적인 방식으로 복원된 홀로그래픽 콘텐츠와 홀로그래픽 콘텐츠 제공 장치를 통해 수치적인 방식으로 사전 가시화된 홀로그래픽 콘텐츠를 비교할 수 있다.The feedback step according to an exemplary embodiment may compare holographic contents reconstructed optically through the display device with holographic contents previously visualized numerically through a holographic content providing apparatus.
일실시예에 따른 홀로그래픽 콘텐츠 제공 장치는 실물 객체, 가상 객체 및 조명 정보를 획득하여 홀로그래픽 콘텐츠를 생성하는 생성부; 상기 생성한 홀로그래픽 콘텐츠의 객체 데이터를 이용하여 홀로그래픽 콘텐츠를 편집하는 편집부; 상기 편집된 홀로그래픽 콘텐츠를 3D 렌더링하여 홀로그래픽 콘텐츠에 대한 결과를 사전 가시화하는 사전 가시화부; 및 디스플레이 장치의 데이터 포맷에 대응하여 상기 가시화된 홀로그래픽 콘텐츠의 객체 데이터의 데이터 포맷을 변환하는 변환부를 포함하고, 상기 디스플레이 장치는 상기 객체 데이터에 대한 데이터 포맷이 변화된 홀로그래픽 콘텐츠를 광학적인 방식을 통해 디스플레이하고, 디스플레이된 홀로그래픽 콘텐츠에 대한 결과를 피드백할 수 있다.According to an embodiment of the present invention, there is provided an apparatus for providing a holographic content, the apparatus comprising: a generation unit for acquiring a physical object, a virtual object, and illumination information to generate holographic contents; An editing unit for editing the holographic contents using the generated object data of the holographic contents; A pre-visualization unit for 3D rendering the edited holographic content to pre-visualize a result of the holographic content; And a conversion unit for converting the data format of the object data of the visualized holographic contents in accordance with the data format of the display device, wherein the display device displays the holographic contents in which the data format of the object data is changed by an optical method And feed back the results for the displayed holographic content.
일실시예에 따른 편집부는 분산 처리 방식으로 사용할 수 있도록 상기 홀로그래픽 콘텐츠를 일정 크기의 소규모로 분할하고, 상기 객체 데이터에 대한 포맷 형식으로 객체 데이터의 순서 정보에 대한 프린지 정보를 편집할 수 있다.The editing unit may divide the holographic contents into a small size having a predetermined size and edit the fringe information on the order information of the object data in a format format for the object data so that the holographic contents can be used in a distributed processing manner.
일실시예에 따른 편집부는 상기 객체 데이터의 대역폭 최적화 및 시점 변환을 고려하여 배열 기반의 구면 형태를 갖도록 홀로그래픽 콘텐츠를 편집할 수 있다.The editing unit may edit the holographic content to have an array-based spherical shape in consideration of bandwidth optimization and viewpoint conversion of the object data.
일실시예에 따른 편집부는 상기 객체 데이터에 대한 수치적 복원 기술을 적용하여 사용자와의 상호작용이 가능하도록 홀로그래픽 콘텐츠를 편집할 수 있다.The editing unit may edit the holographic content to allow interaction with the user by applying a numerical restoration technique to the object data.
일실시예에 따른 사전 가시화부는 상기 편집된 홀로그래픽 콘텐츠의 광파 분포를 고려하여 3D 렌더링하고, 객체 데이터의 데이터 포맷이 최적화 된 홀로그래픽 콘텐츠를 가시화하는 경우, 홀로그래픽 콘텐츠의 수치적 복원을 통한 복원 시뮬레이션 방식을 이용하여 사전 가시화할 수 있다.The pre-visualization unit according to an embodiment of the present invention performs 3D rendering in consideration of the light wave distribution of the edited holographic contents, and when the visualization of the holographic contents optimized for the data format of the object data is performed, It is possible to visualize in advance using the simulation method.
일실시예에 따른 변환부는 상기 일정 크기의 소규모로 분할된 홀로그래픽 콘텐츠를 통합하여 단일 형태의 홀로그래픽 콘텐츠로 변환할 수 있다.The converting unit may convert the small-sized divided holographic contents of the predetermined size into a single type of holographic contents.
일실시예에 따른 디스플레이 장치는 홀로그래픽 콘텐츠 제공 장치로부터 수신한 디스플레이 장치의 데이터 포맷에 최적화된 홀로그래픽 콘텐츠를 광학적인 방식을 통해 디스플레이하는 디스플레이부; 및 상기 디스플레이 된 홀로그래픽 콘텐츠에 대한 결과를 홀로그래픽 콘텐츠 제공 장치로 피드백하는 피드백부를 포함하고, 상기 홀로그래픽 콘텐츠 제공 장치는 디스플레이 장치의 데이터 포맷에 따라 분산 처리 기반으로 홀로그래픽 콘텐츠를 구성하는 객체 데이터의 데이터 포맷을 최적화하고, 최적화 된 홀로그래픽 콘텐츠를 제공할 수 있다.The display device according to an exemplary embodiment of the present invention includes a display unit for displaying holographic contents optimized for a data format of a display device received from a holographic content providing apparatus through an optical method; And a feedback unit for feeding back the results of the displayed holographic contents to the holographic content providing apparatus, wherein the holographic content providing apparatus displays object data And optimize the data format of the holographic data.
단일 형태의 디지털 홀로그램을 제작하는 수준을 사용자의 스토리텔링 반영과 체험형 상호작용이 가능한 초고화질 홀로그래픽 콘텐츠의 제작 및 관리가 일관성 있는 방식으로 진행 가능하다.The level of producing a single type of digital hologram can be processed in a consistent manner by producing and managing superhigh quality holographic contents that can reflect user's storytelling and experience interaction.
디지털 홀로그래픽 콘텐츠를 기존의 디지털 콘텐츠를 제작하듯이 디지털 콘텐츠의 제작 및 관리와 유사한 방식을 활용하게 함으로써 디지털 홀로그래픽 콘텐츠의 대규모 양산을 가능하게 하는 사용자 제작 콘텐츠(UCC; User Created Content)를 위한 제작 도구를 제시한다.User-created content (UCC) that enables large-scale mass production of digital holographic contents by utilizing digital holographic contents in a manner similar to the production and management of digital contents as in the case of producing existing digital contents Tools are presented.
발명에서 제시하는 제작 도구를 통해 기존의 멀티미디어 시장과 융합되는 신규 멀티미디어를 제시하게 되며, 새로운 시장을 창출과 선점에 기여하게 된다.Through the production tools presented in the invention, new multimedia that fuses with the existing multimedia market will be presented, and it will contribute to creation and preemption of new market.
다수의 방식을 병행 사용하는 하이브리드형 홀로그램 콘텐츠 획득 및 생성 방식을 적용함으로써 실물 및 가상 객체에 대한 디지털 홀로그래픽 콘텐츠를 획득하고 생성하여 함성 및 편집이 가능하게 할 수 있다.It is possible to acquire and generate digital holographic contents for real and virtual objects by applying the hybrid type hologram content acquisition and generation method using a plurality of methods in parallel to enable shouting and editing.
홀로그래픽 콘텐츠의 광학적 복원 디스플레이 장치까지 지원 가능한 최적화된 멀티플랫폼 적응형 디지털 홀로그래픽 콘텐츠의 변환기술을 적용하게 되면 홀로그래픽 시장 환경에 적시에 디지털 홀로그래픽 콘텐츠를 제공할 수 있을 것으로 본다.By applying the optimized multi-platform adaptive digital holographic content conversion technology that can support optical restoration display devices of holographic contents, we can provide digital holographic contents to the holographic market environment in a timely manner.
도 1은 일실시예에 따른 홀로그래픽 콘텐츠 제공 장치 및 디스플레이 장치를 도시한 도면이다.
도 2는 일실시예에 따른 홀로그래픽 콘텐츠 제공 장치 및 디스플레이 장치의 세부적인 구성을 도시한 도면이다.
도 3은 일실시예에 따른 홀로그래픽 콘텐츠를 생성하는 각 구성을 보다 세부적으로 표현한 도면이다.
도 4는 일실시예에 따른 홀로그래픽 콘텐츠 제공 장치의 홀로그래픽 콘텐츠 제공 방법에 대한 플로우 차트이다.
도 5는 일실시예에 따른 디스플레이 장치의 홀로그래픽 콘텐츠 제공 방법에 대한 플로우 차트이다.1 is a diagram illustrating an apparatus and a display apparatus for providing a holographic content according to an exemplary embodiment of the present invention.
2 is a diagram illustrating a detailed configuration of a display apparatus and a holographic content providing apparatus according to an exemplary embodiment of the present invention.
3 is a more detailed representation of each configuration for generating a holographic content according to one embodiment.
4 is a flowchart illustrating a method of providing holographic contents in an apparatus for providing holographic contents according to an exemplary embodiment of the present invention.
5 is a flowchart of a method of providing holographic contents of a display device according to an embodiment.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 일실시예에 따른 홀로그래픽 콘텐츠 제공 장치 및 디스플레이 장치를 도시한 도면이다.1 is a diagram illustrating an apparatus and a display apparatus for providing a holographic content according to an exemplary embodiment of the present invention.
도 1을 참고하면, 홀로그래픽 콘텐츠 제공 장치(104)는 실물 객체(101), 가상 객체(102), 조명 정보(103)을 획득할 수 있다. 실물 객체(101)는 홀로그래픽 콘텐츠를 생성하고자 하는 형체를 가지는 사물을 의미하며, 전경 또는 배경에 대한 정보를 포함할 수 있다. 일례로, 실물 객체(101)는 사람, 동물, 자동차, 건물, 나무 등을 포함하거나 또는 사물을 기준으로 주변 환경에 대한 정보를 포함할 수 있다. 가상 객체(102)는 실물 객체(101)에 대하여 홀로그래픽 콘텐츠의 품질을 극대화하기 위한 부가적인 정보를 의미할 수 있다. 일례로, 가상 객체(102)는 실물 객체(101)에 대응하여 포인트 클라우드, 3D 메쉬 모델 등으로 표현된 사람, 동물, 자동차, 건물, 나무 등을 포함할 수 있다. 조명 정보(103)는 실물 객체(101) 및 가상 객체(102)의 표면에서 반사된 빛의 위상 변화에 대한 정보를 포함할 수 있다.Referring to FIG. 1, a holographic
홀로그래픽 콘텐츠 제공 장치(104)는 획득한 실물 객체(101), 가상 객체(102), 조명 정보(103)를 이용하여 실물 객체(101) 및 가상 객체(102)에 대한 홀로그래픽 콘텐츠를 생성할 수 있다. 이 때, 홀로그래픽 콘텐츠 제공 장치(104)는 시간 단위의 프레임 당 연속적인 형태로 형성되는 홀로그래픽 콘텐츠를 생성할 수 있다.The holographic
그리고, 홀로그래픽 콘텐츠 제공 장치(104)는 홀로그래픽 콘텐츠를 관리하기 위해, 획득한 실물 객체(101), 가상 객체(102), 조명 정보(103)에 대하여 객체 라이브러리를 구축할 수 있다. 즉, 홀로그래픽 콘텐츠 제공 장치(104)는 실물 객체(101), 가상 객체(102) 등에 대하여 저장/분류/검색 등의 분산 관리 기능 및 스탠드얼론형 환경에서의 관리 기능을 수행하기 위해 홀로그래픽 콘텐츠의 객체 데이터에 대한 메타 데이터 기반의 레이블링 기능을 수행함으로써, 객체 라이브러리를 구축할 수 있다.The holographic
홀로그래픽 콘텐츠 제공 장치(104)는 생성된 홀로그래픽의 객체 데이터를 이용하여 홀로그래픽 콘텐츠를 편집할 수 있다. 구체적으로, 홀로그래픽 콘텐츠 제공 장치(104)는 배경과 전경에 대한 홀로그래픽 콘텐츠를 합성하거나, 홀로그래픽 콘텐츠의 프린지 데이터를 직접적으로 편집함으로써, 홀로그래픽 콘텐츠를 저작할 수 있다.The holographic
홀로그래픽 콘텐츠 제공 장치(104)는 편집된 홀로그래픽 콘텐츠를 3D 렌더링하여 홀로그래픽 콘텐츠에 대하여 사전 가시화를 수행할 수 있다. 홀로그래픽 콘텐츠 제공 장치(104)는 편집된 홀로그래픽 콘텐츠의 광파 분포를 고려하여 3D 렌더링할 수 있다. 그리고, 홀로그래픽 콘텐츠 제공 장치(104)는 3D 렌더링 된 홀로그래픽 콘텐츠에 대하여 수치적 복원 기반의 광학 복원 시뮬레이션 방식으로 사전 가시화를 수행할 수 있다.The holographic
홀로그래픽 콘텐츠 제공 장치(104)는 일정 크기의 소규모로 분할된 홀로그래픽 콘텐츠를 통합하여 단일 형태의 홀로그래픽 콘텐츠로 변환할 수 있다.The holographic
디스플레이 장치(105)는 홀로그래픽 콘텐츠 제공 장치(104)로부터 객체 데이터에 대한 데이터 포맷이 변화된 홀로그래픽 콘텐츠를 광학적인 방식을 통해 디스플레이하고, 디스플레이된 홀로그래픽 콘텐츠에 대한 결과를 피드백할 수 있다. 이 때, 디스플레이 장치(105)는 플랙서블한 다중 광변조소자의 배열을 조절하여 시간적 다중화 또는 공간적 다중화를 통해 홀로그래픽 콘텐츠를 디스플레이할 수 있다.The
여기서, 홀로그래픽 콘텐츠 제공 장치(104)와 디스플레이 장치(105)는 서로 결합된 형태로 존재하거나, 별도의 장치로 구분되어 존재할 수 있다. 홀로그래픽 콘텐츠 제공 장치(104)와 디스플레이 장치(105)가 하나의 결합된 경우, 홀로그래픽 콘텐츠 제공 장치(104)는 별도의 디스플레이 장치(105)로 홀로그래픽 콘텐츠를 전달하지 않고, 자체적으로 홀로그래픽 콘텐츠를 디스플레이할 수 있다.Here, the holographic
도 2는 일실시예에 따른 홀로그래픽 콘텐츠 제공 장치 및 디스플레이 장치의 세부적인 구성을 도시한 도면이다.2 is a diagram illustrating a detailed configuration of a display apparatus and a holographic content providing apparatus according to an exemplary embodiment of the present invention.
도 2를 참고하면, 홀로그래픽 콘텐츠 제공 장치(201)는 생성부(202), 편집부(203), 사전 가시화(204), 변환부(205)를 포함할 수 있다.Referring to FIG. 2, the
생성부(202)는 실물 객체, 가상 객체 및 조명 정보를 획득하여 홀로그래픽 콘텐츠를 생성할 수 있다. 생성부(202)는 하이브리드 방식을 적용하여 초고해상도의 실물 객체에 대한 홀로그래픽 콘텐츠를 획득할 수 있다. 일례로, 생성부(202)는 하드웨어 기반의 광 스캐닝 기술 방식, 소프트웨어 알고리즘 기반의 라이트필드 정보 활용 방식 및 실물 객체에 대한 실시간 홀로그래픽 콘텐츠를 획득하기 위한 멀티 RGB-D 정보 활용 방식을 이용하여 홀로그래픽 콘텐츠를 획득할 수 있다.The
그리고, 생성부(202)는 홀로그래픽 콘텐츠의 품질을 극대화하기 위하여 컴퓨터 그래픽스 알고리즘을 활용하여 가상 객체를 생성할 수 있다. 컴퓨터 그래픽스 알고리즘은 가상 객체의 표면에 따른 반사/굴절 등 다수의 쉐이딩 모델을 적용하고, 조명 정보를 추가하여 가상 객체를 생성하는 알고리즘 일 수 있다. 여기서, 가상 객체에 대한 3D 데이터 모델은 포인트 클라우드, 3D 메쉬 모델 등 다양하게 활용될 수 있다.In order to maximize the quality of the holographic contents, the
생성부(202)는 전경 또는 배경에 해당하는 실물 객체, 3D 모델 데이터에 해당하는 가상 객체 및 상기 가상 객체에 대한 조명 정보를 이용하여 홀로그래픽 콘텐츠를 생성할 수 있다.The generating
여기서, 생성부(202)는 실물 객체, 가상 객체 및 홀로그래픽 콘텐츠를 관리하기 위한 객체 라이브러리를 구축할 수 있다. 다시 말해, 생성부(202)는 관리 기능에 따른 분산 및 스탠드얼론형 환경에서 홀로그래픽 콘텐츠를 활용할 수 있도록 가상 객체, 실물 객체 및 홀로그래픽 콘텐츠를 저장할 수 있다. 이를 위해, 생성부(202)는 대용량의 데이터 포맷을 활용하여 실물 객체, 가상 객체 및 홀로그래픽 콘텐츠에 대하여 분산 저장할 수 있다. 그리고, 생성부(202)는 메타 데이터 기반의 레이블링 기능을 수행하여, 관리가 보다 편리한 객체 라이브러리를 구축할 수 있다. 이 때, 대용량의 데이터 포맷은 홀로그래픽 콘텐츠에 대한 데이터 포맷 형식을 의미할 수 있다.Here, the
편집부(203)는 생성한 홀로그래픽 콘텐츠의 객체 데이터를 이용하여 홀로그래픽 콘텐츠를 편집할 수 있다. 상세하게, 편집부(203)는 생성한 홀로그래픽 콘텐츠를 분산 처리 방식으로 사용할 수 있도록 일정 크기의 소규모로 분할할 수 있다. 그리고, 편집부(203)는 프린지 정보를 이용하여 홀로그래픽 콘텐츠를 편집할 수 있다. 이 때, 프린지 정보는 홀로그래픽 콘텐츠의 객체 데이터에 대한 포맷 형식으로 객체 데이터의 순서 정보일 수 있다.The
편집부(203)는 홀로그래픽 콘텐츠를 보다 편리하게 제어하기 위하여 프린지 정보를 이용하여 할 수 있다. 그리고, 편집부는 프린지 정보를 이용함으로써, 홀로그래픽 콘텐츠를 편집하기 위한 저작 도구화할 수 있으며, 사용자의 편의성 및 저작 도구의 실용성을 재고할 수 있다. 즉, 편집부(203)는 분산 처리 기반의 대화면 홀로그래픽 콘텐츠를 생성하기 위해 배열 기반의 홀로그래픽 콘텐츠를 고속으로 생성하고, 수치적인 복원 기술을 적용할 수 있다. 여기서, 편집부(203)는 홀로그래픽 콘텐츠의 분산 처리를 위해 API화 기술을 적용할 수 있다.The
또한, 편집부(203)는 홀로그래픽 콘텐츠의 광시야각을 편집하기 위하여 광시야각에 대한 오쿨루전을 처리할 수 있다. 그리고, 편집부(203)는 대역폭 최적화와 시점 변환을 통한 홀로그래픽 콘텐츠를 편집하기 위하여 구면 배열 형태의 홀로그래픽 콘텐츠를 이용하여 전방향에 대하여 광파 기술이 적용된 홀로그래픽 콘텐츠를 생성할 수 있다.In addition, the
편집부(203)는 극사실적인 홀로그래픽 콘텐츠를 편집하기 위하여 컴퓨터 그래픽 기술의 반사/굴절 등에 대한 쉐이딩 기술을 적용하며, 조명 정보 및 후처리 보정 기술을 통해 홀로그래픽 콘텐츠의 품질을 개선할 수 있다.The
사전 가시화부(204)는 홀로그래픽 콘텐츠의 객체 데이터에 대한 극사실적인 3D 렌더링을 수행하여 사전 가시화할 수 있다. 이를 위해, 사전 가시화부(204)는 홀로그래픽 콘텐츠의 광파 분포에 대하여 직관적으로 3D 렌더링을 수행하여 홀로그래픽 콘텐츠를 사전 가시화 할 수 있다.The
또한, 사전 가시화부(204)는 홀로그래픽 콘텐츠의 수치적 복원을 통해 홀로그래픽 콘텐츠를 플레이 백할 수 있다. 본 발명에서의 홀로그래픽 콘텐츠 제공 장치는 광학적인 방식을 통해 홀로그래픽 콘텐츠를 디스플레이하는 디스플레이 장치가 존재함을 가정하였으며, 디스플레이 장치가 존재하지 않더라도 홀로그래픽 콘텐츠를 디스플레이할 수 있는 장치일 수 있다.Further, the
변환부(205)는 디스플레이 장치의 데이터 포맷에 대응하여 상기 가시화된 홀로그래픽 콘텐츠의 객체 데이터에 대한 데이터 포맷을 변환할 수 있다. 여기서, 변환부(205)는 디스플레이 장치의 존재 여부 및 디스플레이 장치의 종류에 따라 홀로그래픽 콘텐츠의 객체 데이터를 구분하여 변환할 수 있다. 다시 말해, 변환부(205)는 다중 혹은 단일 구조를 가지는 공간광변조기(SLM; Spatial light modulator)를 활용한 서로 다른 특징을 가지는 디스플레이 장치에 지원이 가능하도록 객체 데이터에 대한 데이터 포맷을 변환할 수 있다. 즉, 변환부(205)는 다수의 디스플레이 장치에 지원이 가능한 멀리플랫폼 기반으로 최적화된 데이터 포맷으로 객체 데이터를 변환할 수 있다.The
또한, 변환부(205)는 분산 처리 기반으로 사용자 조합형의 데이터 포맷 고속 변환을 위하여 광학소자의 특성 및 장치 간의 매칭을 적용하고, 사용자 피드백 기반의 변환 속도 및 품질 조절 기능을 수행할 수 있다. 이를 구현하기 위한 방식으로는 초대용량 데이터 처리 및 멀티플랫폼을 지원하기 위한 분산 환경에서 트랜스코딩 처리 기능을 적응할 수 있다.In addition, the
변환부(205)는 일정 크기의 소규모로 분할된 홀로그래픽 콘텐츠를 통합하여 단일 형태의 홀로그래픽 콘텐츠로 변환할 수 있다. 그리고, 변환부(205)는 변환된 홀로그래픽 콘텐츠를 저장하거나 또는 홀로그래픽 콘텐츠를 디스플레이 할 수 있는 디스플레이 장치로 전달할 수 있다.The converting
디스플레이 장치(206)는 디스플레이부(207), 피드백부(208)를 포함할 수 있다. 디스플레이부(207)는 디스플레이 장치의 데이터 포맷에 최적화된 홀로그래픽 콘텐츠를 광학적인 방식을 통해 디스플레이할 수 있다. 구체적으로, 디스플레이부(207)는 대화면 광시야각의 홀로그래픽 콘텐츠를 디스플레이할 수 있다. 이를 위해 디스플레이부(207)는 플렉서블한 다중 광변조소자의 배열을 조정하여 시간적 다중화 또는 공간적 다중화를 통해 홀로그래픽 콘텐츠를 디스플레이할 수 있다.The
일례로, 디스플레이 장치(206)는 대화면 초고해상도의 광시야각을 지원하며, 완전시차, 풀컬러 홀로그래픽 콘텐츠를 광학적인 방식으로 디스플레이 할 수 있다.In one example, the
또한, 디스플레이부(207)는 상기 홀로그래픽 콘텐츠와 사용자 간의 상호 작용을 수행하기 위한 기술을 적용할 수 있다. 다시 말해, 디스플레이부(207)는 디스플레이 장치를 통해 디스플레이 된 홀로그래픽 콘텐츠의 제시 공간과 사용자의 제스처 인식 공간 간의 공간을 정합할 수 있다. 일례로, 디스플레이부(207)는 홀로그래픽 콘텐츠와 사용자 간의 상호 작용을 위해 멀티모달 인터페이스 기술을 적용할 수 있다.In addition, the
피드백부(208)는 디스플레이된 홀로그래픽 콘텐츠에 대한 결과를 홀로그래픽 콘텐츠 제공 장치로 피드백할 수 있다. 다시 말해, 피드백부(208)는 디스플레이 장치를 통해 광학적인 방식으로 복원된 홀로그래픽 콘텐츠와 홀로그래픽 콘텐츠 제공 장치를 통해 수치적인 방식으로 사전 가시화된 홀로그래픽 콘텐츠를 비교할 수 있다.The
즉, 피드백부(208)는 광학적인 방식으로 복원된 홀로그래픽 콘텐츠와 사전 가시화된 홀로그래픽 콘텐츠 간의 품질 비교 및 객관적 또는 주간적인 화질 평가를 수행할 수 있다. 그리고, 피드백부(208)는 디스플레이 장치에서 복원되는 홀로그래픽 콘텐츠의 품질을 개선하기 위한 방향으로 결과를 홀로그래픽 콘텐츠 제공 장치로 피드백 처리할 수 있다.That is, the
결국, 피드백부(208)는 서로 다른 방식을 통해 복원된 홀로그래픽 콘텐츠 들에 대하여 복원 검증을 수행할 수 있다.As a result, the
도 3은 일실시예에 따른 홀로그래픽 콘텐츠를 생성하는 각 구성을 보다 세부적으로 표현한 도면이다.3 is a more detailed representation of each configuration for generating a holographic content according to one embodiment.
도 3을 참고하면, 홀로그래픽 콘텐츠 제공 장치는 홀로그래픽 콘텐츠 획득 유닛(304), 홀로그래픽 콘텐츠 생성 유닛(305), 홀로그래픽 콘텐츠 편집 유닛(306), 홀로그래픽 콘텐츠 데이터 관리 유닛(307), 홀로그래픽 콘텐츠 사전 가시화 유닛(308), 홀로그래픽 콘텐츠 데이터 변환 유닛(309), 홀로그래픽 콘텐츠 분산 데이터 처리 유닛(310)을 포함할 수 있다.3, the apparatus for providing holographic contents includes a holographic
홀로그래픽 콘텐츠 획득 유닛(304), 홀로그래픽 콘텐츠 생성 유닛(305) 및 홀로그래픽 콘텐츠 데이터 관리 유닛(307)은 도 2의 홀로그래픽 콘텐츠 제공 장치(201)의 생성부(202)에 대응될 수 있다.The holographic
홀로그래픽 콘텐츠 획득 유닛(304)은 광스캐닝 기술, 라이트필드 입력 기술, 다중 뎁스 영상 기술 등 다수의 홀로그램 획득 기술을 수용하는 하이브리드 형태의 기술을 이용하여 실물 객체(301)를 획득할 수 있다. 이 때, 홀로그래픽 콘텐츠 획득 유닛(304)은 초점 및 뷰 변화에 따른 실제 객체를 획득할 수 있다.The holographic
홀로그래픽 콘텐츠 생성 유닛(305)은 포인트 클라우드 모델 및 메쉬 모델 등의 3D 데이터 모델 및 조명 정보(303), 쉐이딩 모델의 3D 그래픽 알고리즘을 적용하여 가상 객체(302)를 획득할 수 있다. 그리고, 홀로그래픽 콘텐츠 생성 유닛(305)은 홀로그래픽 콘텐츠 획득 유닛(304)에서 획득한 실물 객체 및 가상 객체를 이용하여 실시간으로 초고화질의 홀로그래픽 콘텐츠를 생성할 수 있다.The holographic
홀로그래픽 콘텐츠 데이터 관리 유닛(307)은 홀로그래픽 콘텐츠 획득 유닛(304), 홀로그래픽 콘텐츠 생성 유닛(305)으로부터 실물 객체, 가상 객체 및 홀로그래픽 콘텐츠를 수신할 수 있다. 그리고, 홀로그래픽 콘텐츠 데이터 관리 유닛(307)은 수신한 실물 객체, 가상 객체 및 홀로그래픽 콘텐츠에 대하여 저장/분류/검색 등의 관리 기능을 수행할 수 있도록 분산 처리하거나, 또는 스탠드얼론형 환경에서 수행할 수 있도록 관리할 수 있다.The holographic content
이를 위해, 홀로그래픽 콘텐츠 데이터 관리 유닛(307)은 홀로그래픽 콘텐츠에 데이터 포맷 형식을 적용하여 실물 객체, 가상 객체 및 홀로그래픽 콘텐츠를 처리할 수 있다. 그리고, 홀로그래픽 콘텐츠 데이터 관리 유닛(307)은 홀로그래픽 콘텐츠의 객체 데이터를 저장/분류/검색 등의 관리를 수행하기 위하여 객체 라이브러리를 구축할 수 있다. 홀로그래픽 콘텐츠 데이터 관리 유닛(307)은 메타데이터 방식 등의 데이터 레이블링 기술을 통해 객체 라이브러리를 구축할 수 있다.To this end, the holographic content
홀로그래픽 콘텐츠 편집 유닛(306)은 도 2의 홀로그래픽 콘텐츠 제공 장치(201)의 편집부(203)에 대응될 수 있다. 홀로그래픽 콘텐츠 편집 유닛(306)은 실물 객체(301) 및 가상 객체(302)에 대하여 획득한 홀로그래픽 콘텐츠의 객체 데이터에 대하여 홀로그래픽 콘텐츠의 저장 형태인 프린지 데이터를 직접 편집 및 합성할 수 있다. 이 때, 홀로그래픽 콘텐츠 편집 유닛(306)은 프린지 데이터를 직접 편집 및 합성하는 기능에 대하여 사용자에게 활용의 편의성을 제공하기 위해 GUI 기반의 저작 도구를 제공할 수 있다.The holographic
일례로, 홀로그래픽 콘텐츠 편집 유닛(306)은 홀로그래픽 콘텐츠의 객체 데이터를 편집 및 합성하기 위해 노드 처리 기반의 사용자 인터페이스 기능을 제공할 수 있다.In one example, the holographic
그리고, 홀로그래픽 콘텐츠 편집 유닛(306)은 광시야각 오쿨루전을 이용하거나, 대역폭 최적화 및 시점 변환에 따른 구면 홀로그래픽 콘텐츠를 이용하여 광시야각을 갖는 홀로그래픽 콘텐츠를 생성할 수 있다.Then, the holographic
또한, 홀로그래픽 콘텐츠 편집 유닛(306)은 초대용량 홀로그래픽 콘텐츠 데이터를 처리하기 위해 병렬 분산 처리 기반으로 대화면 홀로그래픽 콘텐츠를 편집/합성할 수 있다. 이 때, 홀로그래픽 콘텐츠 편집 유닛(306)은 다변화되는 배열 기반의 홀로그래픽 콘텐츠를 고속 생성 및 복원하거나, 분산 클러스터 형태의 다중 노드를 활용하여 초고대하상도 콘텐츠를 변렬 분산처리 함으로써, 대화면 홀로그래픽 콘텐츠를 편집/합성할 수 있다.In addition, the holographic
홀로그래픽 콘텐츠 편집 유닛(306)은 사용자로 하여금 직관적인 방식으로 홀로그래픽 콘텐츠를 편집할 수 있는 기능을 제공할 수 있으며, 이동, 회전, 확대/축소, 정합, 봉합(stitching), 배경분리, 실사/허사 합성 등의 기능을 제공할 수 있다.The holographic
일례로, 홀로그래픽 콘텐츠 편집 유닛(306)은 홀로그래픽 콘텐츠의 봉합을 이용한 파나라믹 홀로그래픽 콘텐츠를 합성하는 기능을 제공할 수 있다.As an example, the holographic
홀로그래픽 콘텐츠 사전 가시화 유닛(308)은 도 2의 홀로그래픽 콘텐츠 제공 장치(201)의 사전 가시화부(304)에 대응될 수 있다. 홀로그래픽 콘텐츠 사전 가시화 유닛(308)은 홀로그래픽 콘텐츠의 객체 데이터에 대하여 수치적인 방식을 통해 사전 가시화하는 방법을 기반으로 광파 분포에 따른 직관적인 방식을 통해 3D 형태로 사전 가시화하는 방법을 이용할 수 있다.The holographic
이 때, 홀로그래픽 콘텐츠 사전 가시화 유닛(308)은 홀로그래픽 콘텐츠를 보다 편리하게 사전 가시화 할 수 있도록 분석 처리 기반의 홀로그래픽 콘텐츠 저작 도구를 사용할 수 있다. 홀로그래픽 콘텐츠 저작 도구는 컴퓨터 그래픽스 기술을 활용 가능하게 하기 위하여 기존 3D 편집 도구에 적용할 수 있는 편집 기능을 갖는 플러그인 형태를 제공될 수 있다. 또한, 홀로그래픽 콘텐츠 저작 도구는 파이선 등 기존 스크립트 언어로 구현되며, 이를 위한 API 라이브러리를 제공될 수 있다.At this time, the holographic content
홀로그래픽 콘텐츠 데이터 변환 유닛(309)은 도 2의 홀로그래픽 콘텐츠 제공 장치(201)의 변환부(305)에 대응될 수 있다. 홀로그래픽 콘텐츠 데이터 변환 유닛(309)는 광학적인 방식을 통해 홀로그래픽 콘텐츠를 디스플레이할 수 있는 디스플레이 장치에 대응하여 홀로그래픽 콘텐츠의 데이터 포맷을 변환할 수 있다. 다시 말해, 홀로그래픽 콘텐츠 데이터 변환 유닛(309)은 디스플레이 장치에 맞는 플랫폼에 따라 적응적으로 변환할 수 있다.The holographic content
일례로, 홀로그래픽 콘텐츠 데이터 변환 유닛(309)은 디스플레이 장치 홀로그래픽 콘텐츠의 디스플레이가 가능하게 하는 멀티플랫폼 적응형 변환할 수 있다. 이 때, 디스플레이 장치는 홀로그래픽 콘텐츠 객체 데이터에 대하여 홀로그래픽 콘텐츠의 광학적인 방식을 이용하여 홀로그래픽 콘텐츠를 디스플레이할 수 있다. 또는, 디스플레이 장치는 네트워크 환경에 접속되어 홀로그래픽 콘텐츠의 광학적 디스플레이를 위한 변환 기능을 구현하는 방식을 이용하여 홀로그래픽 콘텐츠를 디스플레이할 수 있다.In one example, the holographic content
홀로그래픽 콘텐츠 분산 데이터 처리 유닛(310)은 도 2의 홀로그래픽 콘텐츠 제공 장치(201)에서 유기적으로 동작하는 각각의 구성에 대응될 수 있다. 홀로그래픽 콘텐츠 분산 데이터 처리 유닛(310)은 각각의 유닛들의 동작에 따라 유기적으로 동작할 수 있도록 신호 처리를 수행할 수 있다. 다시 말해, 홀로그래픽 콘텐츠 분산 데이터 처리 유닛(310)은 홀로그래픽 콘텐츠의 획득/생성/편집/사전 시각화/변환 등의 신호 처리를 위해서 병렬적인 분산 환경에서 구현할 수 있는 미들웨어를 제공할 수 있다.The holographic content distributed
이를 위해, 홀로그래픽 콘텐츠 분산 데이터 처리 유닛(310)은 미들웨어 수준의 홀로그래픽 콘텐츠에 대한 분산 데이터 처리용 API를 제공할 수 있다. 또한, 홀로그래픽 콘텐츠 분산 데이터 처리 유닛(310)은 각 유닛의 확장성과 편의성을 위하여 파이선 등 스크립트 기능을 지원할 수 있다.To this end, the holographic content distributed
디스플레이 장치는 홀로그래픽 콘텐츠 광학적 복원 디스플레이 장치 유닛(312), 홀로그래픽 콘텐츠 상호작용 처리 유닛(311), 홀로그래픽 콘텐츠 복원 화질 검증 유닛(313)을 포함할 수 있다.The display device may include a holographic content optical
홀로그래픽 콘텐츠 광학적 복원 디스플레이 장치 유닛(312)과 홀로그래픽 콘텐츠 상호작용 처리 유닛(311)은 도 2의 디스플레이 장치의 디스플레이부(207)에 대응할 수 있다. 홀로그래픽 콘텐츠 광학적 복원 디스플레이 장치 유닛(312)은 홀로그래픽 콘텐츠 제공 장치로부터 수신한 디스플레이 장치의 데이터 포맷에 최적화된 홀로그래픽 콘텐츠를 광학적인 방식을 통해 디스플레이할 수 있다.The holographic content optical
홀로그래픽 콘텐츠 광학적 복원 디스플레이 장치 유닛(312)은 단일 형태의 홀로그래픽 콘텐츠의 객체 데이터를 일정 크기의 소규모로 분할하여 분산 처리 방식으로 변환할 수 있다. 그리고, 홀로그래픽 콘텐츠 광학적 복원 디스플레이 장치 유닛(312)은 디스플레이 장치의 데이터 포맷에 따라 분산 처리 기반으로 분할된 홀로그래픽 콘텐츠의 객체 데이터를 통합하여 단일 형태의 홀로그래픽 콘텐츠를 제공할 수 있다.The holographic-contents optical
이 때, 홀로그래픽 콘텐츠 광학적 복원 디스플레이 장치 유닛(312)은 광변조소자 등의 디스플레이 장치의 광학 정보에 따라 홀로그래픽 콘텐츠에 대한 자동 매칭을 통해 단일 형태의 홀로그래픽 콘텐츠를 제공할 수 있다.At this time, the holographic content optical restoration
홀로그래픽 콘텐츠 광학적 복원 디스플레이 장치 유닛(312)은 멀티플랫폼에 따라 적응적으로 변환할 수 있는 사용자 인터페이스, 변환 도구 및 변환 도구 서버를 통해 홀로그래픽 콘텐츠를 디스플레이할 수 있다.The holographic content optical restoration
홀로그래픽 콘텐츠 상호작용 처리 유닛(311)는 사용자의 피드백 기반의 변환 속도 조절 및/또는 품질 조절할 수 있다. 다시 말해, 홀로그래픽 콘텐츠 상호작용 처리 유닛(311)는 상기 홀로그래픽 콘텐츠와 사용자 간의 상호 작용을 수행하기 위해 상기 디스플레이 된 홀로그래픽 콘텐츠의 제시 공간과 사용자의 제스처 인식 공간 간의 공간을 정합함으로써, 보다 명확한 품질의 홀로그래픽 콘텐츠를 디스플레이할 수 있다.The holographic content
즉, 홀로그래픽 콘텐츠 상호작용 처리 유닛(311)는 사용자에 조작에 따른 사용자 맞춤형으로 공간을 정합하여 사용자 요구에 따라 변환된 홀로그래픽 콘텐츠를 제공할 수 있다.That is, the holographic content
홀로그래픽 콘텐츠 복원 화질 검증 유닛(313)은 도 2의 디스플레이 장치의 피드백부(208)에 대응할 수 있다. 홀로그래픽 콘텐츠 복원 화질 검증 유닛(313)은 디스플레이 장치를 통해 광학적인 방식으로 복원된 홀로그래픽 콘텐츠와 홀로그래픽 콘텐츠 제공 장치를 통해 수치적인 방식으로 사전 가시화된 홀로그래픽 콘텐츠를 비교할 수 있다. 그리고, 홀로그래픽 콘텐츠 복원 화질 검증 유닛(313)은 비교 결과를 품질 개선을 위한 방향으로 피드백할 수 있다. 또한, 홀로그래픽 콘텐츠 복원 화질 검증 유닛(313)은 비교 결과를 통해 복원된 홀로그래픽 콘텐츠의 화질을 검증할 수 있다.The holographic content restoration image
도 4는 일실시예에 따른 홀로그래픽 콘텐츠 제공 장치의 홀로그래픽 콘텐츠 제공 방법에 대한 플로우 차트이다.4 is a flowchart illustrating a method of providing holographic contents in an apparatus for providing holographic contents according to an exemplary embodiment of the present invention.
도 4를 참고하면, 홀로그래픽 콘텐츠 제공 장치는 실물 객체, 가상 객체 및 조명 정보를 이용하여 홀로그래픽 콘텐츠를 생성한 후, 생성된 홀로그래픽 콘텐츠에 대하여 사전 가시화 또는 광학적인 복원 수행하는 과정을 도시한 플로우 차트일 수 있다.Referring to FIG. 4, a holographic content providing apparatus generates a holographic content using a physical object, a virtual object, and illumination information, and then performs a pre-visualization or an optical restoration of the generated holographic content Flow chart.
단계(401)에서 홀로그래픽 콘텐츠 제공 장치는 생성된 홀로그래픽 콘텐츠의 객체 데이터를 이용하여 사전 가시화 여부를 확인할 수 있다. 여기서, 사전 가시화를 수행하는 경우(Yes), 단계(402)에서 홀로그래픽 콘텐츠 제공 장치는 홀로그래픽 콘텐츠의 객체 데이터를 저장소에서 로드할 수 있다. 이 때, 저장소는 별도의 홀로그래픽 콘텐츠 서버 또는 홀로그래픽 콘텐츠에 위치한 데이터베이스 일 수 있다.In
단계(403)에서 홀로그래픽 콘텐츠 제공 장치는 홀로그래픽 콘텐츠를 렌더링할 수 있다. 홀로그래픽 콘텐츠 제공 장치는 홀로그래픽 콘텐츠의 광파 분포를 고려하여 렌더링할 수 있다. 이 때, 홀로그래픽 콘텐츠 제공 장치는 홀로그래픽 콘텐츠의 객체 데이터에 대하여 사전 가시화하기 위한 동작을 수행할 수 있다. 다시 말해, 홀로그래픽 콘텐츠 제공 장치는 광학적인 복원을 하기 이전에 실물 객체, 가상 객체 및 조명 정보를 통해 생성된 홀로그래픽 콘텐츠에 대하여 품질을 확인하기 위한 동작을 수행할 수 있다.In
단계(404)에서 홀로그래픽 콘텐츠 제공 장치는 렌더링 된 홀로그래픽 콘텐츠를 사전 가시화 할 수 있다. 홀로그래픽 콘텐츠 제공 장치는 광학적인 복원 대신에 초고속 볼륨 렌더링 등 3D 컴퓨터 그래픽스 알고리즘 기술을 적용하여 시각적으로 홀로그래픽 콘텐츠에 대하여 사전 가시화할 수 있다.In
이 때, 홀로그래픽 콘텐츠 제공 장치는 3D 컴퓨터 그래픽스 알고리즘 기술에 따른 소프트웨어 적인 계산 작업을 수행함으로써, 사용자가 원하는 형태의 홀로그래픽 콘텐츠를 사용자의 창의적인 스토리텔링 기반으로 사전 가시화할 수 있다. 홀로그래픽 콘텐츠 제공 장치는 사용자의 스토리텔링 기반으로 홀로그래픽 콘텐츠를 사전 가시화함으로써, 사용자와 홀로그래픽 콘텐츠 간에 상호 작용이 가능한 대화형 형태의 홀로그래픽 콘텐츠를 사전 가시화할 수 있다.At this time, the holographic contents providing apparatus performs software calculation according to the 3D computer graphics algorithm technology, so that the user can pre-visualize the desired type of holographic contents on the basis of the user's creative storytelling. The holographic contents providing apparatus can visually pre-visualize the interactive type holographic contents capable of interacting with the user and the holographic contents by pre-visualizing the holographic contents based on the storytelling of the user.
사전 가시화를 수행하지 않는 경우(No), 단계(405)에서 홀로그래픽 콘텐츠 제공 장치는 홀로그래픽 콘텐츠에 대하여 광학적으로 복원할지 여부를 확인할 수 이다. 광학적인 복원을 수행하지 않는 경우(No), 단계(412)에서 홀로그래픽 콘텐츠 제공 장치는 생성된 홀로그래픽 콘텐츠의 객체 데이터를 저장소에 저장할 수 있다.If no prior visualization is to be performed (No), in
광학적인 복원을 수행하는 경우(Yes), 단계(406)에서 홀로그래픽 콘텐츠 제공 장치는 홀로그래픽 콘텐츠를 디스플레이할 수 있는 디스플레이 장치를 선택할 수 있다. 여기서, 디스플레이 장치는 홀로그래픽 콘텐츠를 디스플레이하기 위한 고유한 데이터 포맷을 포함할 수 있다. 즉, 홀로그래픽 콘텐츠 제공 장치는 홀로그래픽 콘텐츠를 디스플레이하기 위한 데이터 포맷을 선택할 수 있다.If performing an optical reconstruction (Yes), the holographic content providing device may select a display device capable of displaying the holographic content at
단계(407)에서 홀로그래픽 콘텐츠 제공 장치는 홀로그래픽 콘텐츠의 객체 데이터를 저장소에서 로드할 수 있다.In
단계(408)에서 홀로그래픽 콘텐츠 제공 장치는 선택된 디스플레이 장치에 따른 데이터 포맷에 따라 홀로그래픽 콘텐츠의 객체 데이터를 변환할 수 있다. 홀로그래픽 콘텐츠 제공 장치는 데이터 포맷에 따른 디스플레이 장치의 하드웨어적인 특성을 반영할 수 있도록 홀로그래픽 콘텐츠를 변환할 수 있다.In
다시 말해, 홀로그래픽 콘텐츠 제공 장치는 단일 공간광변조기 또는 다중 공간광변조기를 기반으로 생성되는 디스플레이 장치의 종류에 따라 홀로그래픽 콘텐츠를 변환할 수 있다. 즉, 홀로그래픽 콘텐츠 제공 장치는 공간광변조기의 형태에 따라 형성되는 디스플레이 장치의 하드웨어적인 특성을 고려하여 그에 적합하도록 적응적으로 홀로그래픽 콘텐츠를 변환할 수 있다.In other words, the holographic content providing apparatus can convert the holographic content according to the type of display apparatus that is created based on a single spatial light modulator or a multi-spatial light modulator. That is, the apparatus for providing holographic contents may adaptively adapt the holographic contents in consideration of the hardware characteristics of the display device formed according to the shape of the spatial light modulator.
단계(409)에서 홀로그래픽 콘텐츠 제공 장치는 디스플레이 장치의 데이터 포맷으로 변환된 객체 데이터의 저장 여부를 확인할 수 있다. 변환된 객체 데이터를 저장하는 경우(Yes), 홀로그래픽 콘텐츠 제공 장치는 저장소에 변환된 객체 데이터를 저장할 수 있다.In
반면, 변환된 객체 데이터를 저장하지 않는 경우(No), 단계(410)에서 홀로그래픽 콘텐츠 제공 장치는 복원 시뮬레이션 여부를 확인할 수 있다. 복원 시뮬레이션을 수행하는 경우(Yes), 단계(413)에서 홀로그래픽 콘텐츠 제공 장치는 변환된 홀로그래픽 콘텐츠를 로드할 수 있다. 여기서, 변환된 홀로그래픽 콘텐츠는 사전 가시화된 홀로그래픽 콘텐츠으로 3D 렌더링 된 콘텐츠 일 수 있다.On the other hand, if the converted object data is not stored (No), the holographic content providing apparatus can confirm whether or not the reconstruction simulation is performed in
단계(414)에서 홀로그래픽 콘텐츠 제공 장치는 3D 렌더링 된 홀로그래픽 콘텐츠에 대하여 수치적 복원 기반의 광학 복원 시뮬레이션 방식으로 사전 가시화할 수 있다.In
복원 시뮬레이션을 수행하지 않는 경우(No), 단계(415)에서 홀로그래픽 콘텐츠 제공 장치는 디스플레이 장치에 홀로그래픽 콘텐츠를 전달할 수 있다.If the restoration simulation is not to be performed (No), the holographic content providing apparatus can deliver the holographic content to the display apparatus in
도 5는 일실시예에 따른 디스플레이 장치의 홀로그래픽 콘텐츠 제공 방법에 대한 플로우 차트이다.5 is a flowchart of a method of providing holographic contents of a display device according to an embodiment.
도 5를 참고하면 디스플레이 장치는 홀로그래픽 콘텐츠 제공 장치에서 복원 시뮬레이션을 수행하지 않는 경우에 따라 구동될 수 있다.Referring to FIG. 5, the display device may be driven according to the case where the restoration simulation is not performed in the apparatus for providing holographic contents.
단계(501)에서 디스플레이 장치는 홀로그래픽 콘텐츠 제공 장치로부터 변환된 홀로그래픽 콘텐츠를 로드할 수 있다.In
단계(502)에서 디스플레이 장치는 광학적인 방식을 통해 로드한 홀로그래픽 콘텐츠를 디스플레이할 수 있다.In
단계(503)에서 디스플레이 장치는 사용자와 디스플레이 된 홀로그래픽 콘텐츠 간에 상호 작용이 존재하는 여부를 확인할 수 있다. 상호 작용이 존재하는 경우(Yes), 단계(504)디스플레이 장치는 디스플레이 된 홀로그래픽 콘텐츠의 제시 공간을 정합할 수 있다.In
단계(505)에서 디스플레이 장치는 홀로그래픽 콘텐츠와 사용자 간의 상호 작용에 따른 디스플레이 된 홀로그래픽 콘텐츠의 제시 공간과 사용자의 제스처 인식 공간 간의 공간을 정합할 수 있다. 그리고, 디스플레이 장치는 공간이 정합 처리 된 홀로그래픽 콘텐츠가 디스플레이된 홀로그래픽 콘텐츠에 반영될 수 있도록 처리할 수 있다. 즉, 디스플레이 장치는 홀로그래픽 콘텐츠를 새로고침하여 재 디스플레이 할 수 있다.In
상호 작용이 존재하지 않는 경우(No), 단계(506)에서 디스플레이 장치는 홀로그래픽 콘텐츠에 대한 광학적인 검증을 수행할 수 있다. 광학적인 검증을 수행하는 경우(Yes), 단계(507)에서 디스플레이 장치는 수치적 복원 기반의 광학 복원 시뮬레이션 방식으로 사전 가시화된 홀로그래픽 콘텐츠와 광학적인 방식을 통해 복원된 홀로그래픽 콘텐츠를 비교할 수 있다.If no interaction is present (No), then at
여기서, 사전 가시화된 홀로그래픽 콘텐츠는 소프트웨어적으로 가시화된 콘텐츠이고, 광학적인 방식을 통해 복원된 홀로그래픽 콘텐츠는 하드웨어적으로 가시화된 콘텐츠일 수 있다. 여기서, 각각의 홀로그래픽 콘텐츠를 가시화한 방식은 서로 다르나, 시각적으로 표현하는 것이므로, 시각적인 가시화를 통해 서로 간의 콘텐츠에 대한 비교가 가능할 수 있다.Here, the pre-visualized holographic content is software-visualized content, and the holographic content restored through an optical method may be hardware-visualized content. Here, although the methods of visualizing the respective holographic contents are different from each other, since they are visually expressed, it is possible to compare the contents with each other through visual visualization.
단계(508)에서 디스플레이 장치는 각각의 홀로그래픽 콘텐츠에 대하여 휴먼팩터 및 화질을 평가 처리 할 수 있다. 이 때, 디스플레이 장치는 각각의 홀로그래픽 콘텐츠에 대하여 객관적 또는 주관적으로 평가를 수행할 수 있다.In
단계(509)에서 디스플레이 장치는 각각의 홀로그래픽 콘텐츠에 대하여 비교한 결과를 피드백 할 수 있다. 디스플레이 자치는 비교한 결과가 홀로그래픽 콘텐츠에 반영될 수 있도록 처리할 수 있다. 즉, 디스플레이 장치는 홀로그래픽 콘텐츠를 새로고침하여 재 디스플레이 할 수 있다.In
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.
101: 실물 객체
102: 가상 객체
103: 조명 정보
104: 홀로그래픽 콘텐츠 제공 장치
105: 디스플레이 장치101: Physical object
102: virtual object
103: Lighting information
104: holographic content providing apparatus
105: Display device
Claims (20)
실물 객체, 가상 객체 및 조명 정보를 획득하여 홀로그래픽 콘텐츠를 생성하는 단계;
상기 생성한 홀로그래픽 콘텐츠의 객체 데이터를 이용하여 홀로그래픽 콘텐츠를 편집하는 단계;
상기 편집된 홀로그래픽 콘텐츠를 3D 렌더링하여 홀로그래픽 콘텐츠에 대한 결과를 사전 가시화하는 단계; 및
디스플레이 장치의 데이터 포맷에 대응하여 상기 가시화된 홀로그래픽 콘텐츠의 객체 데이터에 대한 데이터 포맷을 변환하는 단계
를 포함하고,
상기 디스플레이 장치는,
상기 객체 데이터에 대한 데이터 포맷이 변화된 홀로그래픽 콘텐츠를 광학적인 방식을 통해 디스플레이하고, 디스플레이된 홀로그래픽 콘텐츠에 대한 결과를 피드백하는 홀로그래픽 콘텐츠 제공 방법.A method of providing holographic content based on distributed processing performed by a holographic content providing apparatus,
Acquiring a physical object, a virtual object, and illumination information to generate a holographic content;
Editing the holographic contents using the generated object data of the holographic contents;
3D rendering the edited holographic content to pre-visualize the results for the holographic content; And
Converting the data format of the object data of the visualized holographic content corresponding to the data format of the display device
Lt; / RTI >
The display device includes:
Displaying the changed holographic content in the data format for the object data through an optical method, and feeding back the result for the displayed holographic content.
상기 생성하는 단계는,
전경 또는 배경에 해당하는 실물 객체, 3D 모델 데이터에 해당하는 가상 객체 및 상기 가상 객체에 대한 조명 정보를 이용하여 시간 단위의 프레임 당 연속적인 형태를 나타내는 홀로그래픽 콘텐츠를 생성하는 홀로그래픽 콘텐츠 제공 방법.The method according to claim 1,
Wherein the generating comprises:
A method for providing holographic content, the method comprising: generating holographic content representing a continuous shape per frame of a time unit using a virtual object corresponding to a foreground or background, a virtual object corresponding to 3D model data, and illumination information for the virtual object.
상기 편집하는 단계는,
분산 처리 방식으로 사용할 수 있도록 상기 홀로그래픽 콘텐츠를 일정 크기의 소규모로 분할하는 홀로그래픽 콘텐츠 제공 방법.The method according to claim 1,
Wherein the editing includes:
And dividing the holographic contents into a small size with a predetermined size so that the holographic contents can be used in a distributed processing manner.
상기 편집하는 단계는,
상기 객체 데이터에 대한 포맷 형식으로 객체 데이터의 순서 정보에 대한 프린지 정보를 편집하는 홀로그래픽 콘텐츠 제공 방법.The method according to claim 1,
Wherein the editing includes:
And editing the fringe information on the order information of the object data in a format format for the object data.
상기 편집하는 단계는,
상기 객체 데이터의 대역폭 최적화 및 시점 변환을 고려하여 배열 기반의 구면 형태를 갖도록 홀로그래픽 콘텐츠를 편집하는 홀로그래픽 콘텐츠 제공 방법.The method according to claim 1,
Wherein the editing includes:
And editing the holographic content so as to have an array-based spherical shape in consideration of bandwidth optimization and viewpoint conversion of the object data.
상기 편집하는 단계는,
상기 객체 데이터에 대한 수치적 복원 기술을 적용하여 사용자와의 상호작용이 가능하도록 홀로그래픽 콘텐츠를 편집하는 홀로그래픽 콘텐츠 제공 방법.The method according to claim 1,
Wherein the editing includes:
And editing the holographic content so as to enable interaction with a user by applying a numerical restoration technique to the object data.
상기 사전 가시화하는 단계는,
상기 편집된 홀로그래픽 콘텐츠의 광파 분포를 고려하여 3D 렌더링하는 홀로그래픽 콘텐츠 제공 방법.The method according to claim 1,
Wherein the pre-
And performing 3D rendering in consideration of the light wave distribution of the edited holographic contents.
상기 사전 가시화하는 단계는,
3D 렌더링 된 홀로그래픽 콘텐츠에 대하여 수치적 복원 기반의 광학 복원 시뮬레이션 방식으로 사전 가시화하는 홀로그래픽 콘텐츠 제공 방법.8. The method of claim 7,
Wherein the pre-
A method of providing holographic contents in a 3D visualized holographic content by prior optical visualization restoration simulation based on numerical restoration.
상기 변환하는 단계는,
상기 일정 크기의 소규모로 분할된 홀로그래픽 콘텐츠를 통합하여 단일 형태의 홀로그래픽 콘텐츠로 변환하는 홀로그래픽 콘텐츠 제공 방법.The method of claim 3,
Wherein the converting comprises:
And integrating the small-sized divided holographic contents of the predetermined size into a single type of holographic contents.
홀로그래픽 콘텐츠 제공 장치로부터 수신한 디스플레이 장치의 데이터 포맷에 최적화된 홀로그래픽 콘텐츠를 광학적인 방식을 통해 디스플레이하는 단계; 및
상기 디스플레이된 홀로그래픽 콘텐츠에 대한 결과를 홀로그래픽 콘텐츠 제공 장치로 피드백하는 단계
를 포함하고,
상기 홀로그래픽 콘텐츠 제공 장치는,
디스플레이 장치의 데이터 포맷에 따라 분산 처리 기반으로 홀로그래픽 콘텐츠의 객체 데이터의 데이터 포맷을 변환하고, 변환된 홀로그래픽 콘텐츠를 제공하는 홀로그래픽 콘텐츠 제공 방법A method for providing a holographic content performed by a display device,
Displaying the holographic contents optimized for the data format of the display device received from the holographic contents providing device through an optical method; And
Feeding back the result of the displayed holographic content to the holographic content providing apparatus
Lt; / RTI >
Wherein the holographic contents providing apparatus comprises:
A holographic content providing method for converting a data format of object data of a holographic content based on a distributed processing based on a data format of a display device and providing the converted holographic content
상기 디스플레이하는 단계는,
플랙서블한 다중 광변조소자의 배열을 조절하여 시간적 다중화 또는 공간적 다중화를 통해 홀로그래픽 콘텐츠를 디스플레이하는 홀로그래픽 콘텐츠 제공 방법.11. The method of claim 10,
Wherein the displaying comprises:
A method for providing holographic content by displaying a holographic content by temporal multiplexing or spatial multiplexing by adjusting the arrangement of multiple flexible optical modulation elements.
상기 디스플레이하는 단계는,
상기 홀로그래픽 콘텐츠와 사용자 간의 상호 작용을 수행하기 위해 상기 디스플레이 된 홀로그래픽 콘텐츠의 제시 공간과 사용자의 제스처 인식 공간 간의 공간을 정합하여 디스플레이하는 홀로그래픽 콘텐츠 제공 방법.11. The method of claim 10,
Wherein the displaying comprises:
The method comprising the steps of: displaying a holographic image on a display device; displaying the holographic image on the display device;
상기 피드백하는 단계는,
상기 디스플레이 장치를 통해 광학적인 방식으로 복원된 홀로그래픽 콘텐츠와 홀로그래픽 콘텐츠 제공 장치를 통해 수치적인 방식으로 사전 가시화된 홀로그래픽 콘텐츠를 비교하는 홀로그래픽 콘텐츠 제공 방법.11. The method of claim 10,
Wherein the feedback step comprises:
And comparing the optically restored holographic content with the display device through a holographic content providing device in a numerical manner.
상기 생성한 홀로그래픽 콘텐츠의 객체 데이터를 이용하여 홀로그래픽 콘텐츠를 편집하는 편집부;
상기 편집된 홀로그래픽 콘텐츠를 3D 렌더링하여 홀로그래픽 콘텐츠에 대한 결과를 사전 가시화하는 사전 가시화부; 및
디스플레이 장치의 데이터 포맷에 대응하여 상기 가시화된 홀로그래픽 콘텐츠의 객체 데이터의 데이터 포맷을 변환하는 변환부
를 포함하고,
상기 디스플레이 장치는,
상기 객체 데이터에 대한 데이터 포맷이 변화된 홀로그래픽 콘텐츠를 광학적인 방식을 통해 디스플레이하고, 디스플레이된 홀로그래픽 콘텐츠에 대한 결과를 피드백하는 홀로그래픽 콘텐츠 제공 장치.A generating unit for acquiring a physical object, a virtual object, and illumination information to generate holographic contents;
An editing unit for editing the holographic contents using the generated object data of the holographic contents;
A pre-visualization unit for 3D rendering the edited holographic content to pre-visualize a result of the holographic content; And
A conversion unit for converting the data format of the object data of the visualized holographic contents in accordance with the data format of the display device,
Lt; / RTI >
The display device includes:
And displaying the changed holographic data with respect to the object data through an optical method, and feeding back the result of the displayed holographic data.
상기 편집부는,
분산 처리 방식으로 사용할 수 있도록 상기 홀로그래픽 콘텐츠를 일정 크기의 소규모로 분할하고,
상기 객체 데이터에 대한 포맷 형식으로 객체 데이터의 순서 정보에 대한 프린지 정보를 편집하는 홀로그래픽 콘텐츠 제공 장치.15. The method of claim 14,
The editing unit,
The holographic contents are divided into a small size having a predetermined size so that the holographic contents can be used in a distributed processing manner,
And editing the fringe information of the order information of the object data in a format format for the object data.
상기 편집부는,
상기 객체 데이터의 대역폭 최적화 및 시점 변환을 고려하여 배열 기반의 구면 형태를 갖도록 홀로그래픽 콘텐츠를 편집하는 홀로그래픽 콘텐츠 제공 장치.15. The method of claim 14,
The editing unit,
And editing the holographic contents so as to have an array-based spherical shape in consideration of bandwidth optimization and viewpoint conversion of the object data.
상기 편집부는,
상기 객체 데이터에 대한 수치적 복원 기술을 적용하여 사용자와의 상호작용이 가능하도록 홀로그래픽 콘텐츠를 편집하는 홀로그래픽 콘텐츠 제공 장치.15. The method of claim 14,
The editing unit,
And editing the holographic content so as to enable interaction with a user by applying a numerical restoration technique to the object data.
상기 사전 가시화부는,
상기 편집된 홀로그래픽 콘텐츠의 광파 분포를 고려하여 3D 렌더링하고,
3D 렌더링 된 홀로그래픽 콘텐츠에 대하여 수치적 복원 기반의 광학 복원 시뮬레이션 방식으로 사전 가시화는 홀로그래픽 콘텐츠 제공 장치.15. The method of claim 14,
The pre-
3D rendering is performed considering the light wave distribution of the edited holographic contents,
An apparatus for providing holographic contents in an optical restoration simulation method based on numerical restoration for 3D rendered holographic contents.
상기 변환부는,
상기 일정 크기의 소규모로 분할된 홀로그래픽 콘텐츠를 통합하여 단일 형태의 홀로그래픽 콘텐츠로 변환하는 홀로그래픽 콘텐츠 제어 장치.16. The method of claim 15,
Wherein,
And integrating the small-sized divided holographic contents of the predetermined size into a single type of holographic contents.
상기 디스플레이 된 홀로그래픽 콘텐츠에 대한 결과를 홀로그래픽 콘텐츠 제공 장치로 피드백하는 피드백부
를 포함하고,
상기 홀로그래픽 콘텐츠 제공 장치는,
디스플레이 장치의 데이터 포맷에 따라 분산 처리 기반으로 홀로그래픽 콘텐츠를 구성하는 객체 데이터의 데이터 포맷을 최적화하고, 최적화 된 홀로그래픽 콘텐츠를 제공하는 디스플레이 장치.A display unit for displaying the holographic contents optimized for the data format of the display device received from the holographic contents providing apparatus through an optical method; And
A feedback unit for feeding back the result of the displayed holographic content to the holographic content providing apparatus;
Lt; / RTI >
Wherein the holographic contents providing apparatus comprises:
A display device that optimizes a data format of object data constituting a holographic content based on a distributed processing based on a data format of a display device and provides optimized holographic contents.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/555,461 US20150146269A1 (en) | 2013-11-27 | 2014-11-26 | Holographic content providing method, and holographic content providing apparatus and display apparatus using the method |
| CN201410709236.2A CN104679235A (en) | 2013-11-27 | 2014-11-27 | Holographic content providing method, and holographic content providing apparatus and display apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20130145339 | 2013-11-27 | ||
| KR1020130145339 | 2013-11-27 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150061550A true KR20150061550A (en) | 2015-06-04 |
Family
ID=53499504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140087501A KR20150061550A (en) | 2013-11-27 | 2014-07-11 | Holographic content provider method and holographic content provider apparatus and display apparatus using the method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20150061550A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180057550A (en) * | 2016-11-22 | 2018-05-30 | 한국전자통신연구원 | Apparatus for authoring hologram content and method for display holographic content using the same |
| KR101983909B1 (en) * | 2017-11-30 | 2019-05-29 | 전자부품연구원 | Digital Hologram Application System and Method |
| WO2022039567A1 (en) * | 2020-08-20 | 2022-02-24 | (주)아키드로우 | Method for providing interior design market platform service using realistic scene image based on virtual space content data and apparatus therefor |
| KR20220023027A (en) * | 2020-08-20 | 2022-03-02 | (주) 아키드로우 | An apparatus for providing interior design market platform services using realistic scene images based on virtual space interior design content and a method for operating it |
-
2014
- 2014-07-11 KR KR1020140087501A patent/KR20150061550A/en not_active Application Discontinuation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180057550A (en) * | 2016-11-22 | 2018-05-30 | 한국전자통신연구원 | Apparatus for authoring hologram content and method for display holographic content using the same |
| KR101983909B1 (en) * | 2017-11-30 | 2019-05-29 | 전자부품연구원 | Digital Hologram Application System and Method |
| WO2019107637A1 (en) * | 2017-11-30 | 2019-06-06 | 전자부품연구원 | System and method for applying digital hologram |
| WO2022039567A1 (en) * | 2020-08-20 | 2022-02-24 | (주)아키드로우 | Method for providing interior design market platform service using realistic scene image based on virtual space content data and apparatus therefor |
| KR20220023027A (en) * | 2020-08-20 | 2022-03-02 | (주) 아키드로우 | An apparatus for providing interior design market platform services using realistic scene images based on virtual space interior design content and a method for operating it |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101859774B1 (en) | System for producing Digital Holographic Content | |
| US20150146269A1 (en) | Holographic content providing method, and holographic content providing apparatus and display apparatus using the method | |
| US20190073831A1 (en) | Electronic System and Method for Three-Dimensional Mixed-Reality Space and Experience Construction and Sharing | |
| Zhang et al. | Full parallax three-dimensional display with occlusion effect using computer generated hologram | |
| CN103502974A (en) | Employing mesh files to animate transitions in client applications | |
| KR20150061550A (en) | Holographic content provider method and holographic content provider apparatus and display apparatus using the method | |
| WO2020056408A1 (en) | Holographic display system | |
| Kim et al. | Holographic augmented reality based on three-dimensional volumetric imaging for a photorealistic scene | |
| Plesniak et al. | Reconfigurable image projection holograms | |
| Hamzeh et al. | 3D visualization techniques in the AEC industry: the possible uses of holography. | |
| KR101489356B1 (en) | System for providing digital hologram contents through the communication network | |
| KR20140126120A (en) | Method for digital hologram synthesis and apparatus therefor | |
| Kakue et al. | Review of real-time reconstruction techniques for aerial-projection holographic displays | |
| US8873119B2 (en) | System of displaying digital hologram based on projection and method thereof | |
| Pang et al. | Dynamic holographic imaging of real-life scene | |
| Cerfontaine et al. | Immersive visualization of geophysical data | |
| de Haan | Scalable visualization of massive point clouds | |
| Boorboor et al. | Submerse: Visualizing storm surge flooding simulations in immersive display ecologies | |
| Gilles et al. | Real-time computer-generated hologram calculation using pre-computed angular spectra | |
| KR20150086815A (en) | Digital holographic contents providing method, creation method and apparatus based on user interaction | |
| JP7393093B2 (en) | Computer-generated hologram generation device, method and program | |
| KR101983909B1 (en) | Digital Hologram Application System and Method | |
| Stickland et al. | The development of a three dimensional imaging system and its application in computer aided design workstations | |
| Cao et al. | Layer-oriented computer-generated holograms for three-dimensional display | |
| KR101801939B1 (en) | GPU-based parallel processing apparatus for high speed production of large-area holograms and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Withdrawal due to no request for examination |