KR101975269B1 - Method and system for generating full-color digital holographic with real object using depth-layer weighted prediction for real scene - Google Patents
Method and system for generating full-color digital holographic with real object using depth-layer weighted prediction for real scene Download PDFInfo
- Publication number
- KR101975269B1 KR101975269B1 KR1020170130204A KR20170130204A KR101975269B1 KR 101975269 B1 KR101975269 B1 KR 101975269B1 KR 1020170130204 A KR1020170130204 A KR 1020170130204A KR 20170130204 A KR20170130204 A KR 20170130204A KR 101975269 B1 KR101975269 B1 KR 101975269B1
- Authority
- KR
- South Korea
- Prior art keywords
- channel
- data
- color
- depth
- point cloud
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 17
- 238000001093 holography Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
- G03H1/268—Holographic stereogram
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2225/00—Active addressable light modulator
- G03H2225/10—Shape or geometry
- G03H2225/13—3D SLM
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
본 발명의 실영상 풀 컬러 디지털 홀로그래픽 생성 방법은 깊이 카메라를 이용하여 3차원 객체에 대한 RGB(Red, Green, Blue) 영상 데이터로 구성된 컬러 데이터와 포인트 클라우드 데이터로 구성된 깊이 데이터를 획득하는 단계, 상기 컬러 데이터와 깊이 데이터를 이용하여 레드(R), 그린(G), 블루(B)의 컬러 채널로 이루어진 3채널 포인트 클라우드 모델을 생성하는 단계, 상기 3채널 포인트 클라우드 모델을 3채널 폴리곤 모델로 변환하는 단계, 상기 3채널 폴리곤 모델을 각 채널의 홀로그램으로 변환하는 단계 및 상기 3채널 홀로그램을 조합하여 디스플레이하는 단계를 포함한다. 본 발명에 의하면, 깊이카메라를 통한 실영상 데이터의 획득 및 재구성을 통해 풀 컬러 홀로그래픽으로 실영상을 디스플레이 시킬 수 있는 효과가 있다.A method of generating a full-color digital holography of a real image according to the present invention includes the steps of acquiring depth data composed of color data composed of RGB (Red, Green, Blue) image data and point cloud data for a three- Generating a three-channel point cloud model including red (R), green (G), and blue (B) color channels using the color data and the depth data; Converting the 3-channel polygon model into a hologram of each channel, and displaying the 3-channel hologram in combination. According to the present invention, there is an effect that a real image can be displayed in full color holography through acquisition and reconstruction of real image data through a depth camera.
Description
본 발명은 실영상 풀 컬러 홀로그래픽 기술에 관한 것으로서, 더욱 상세하게는 카메라를 통해 획득할 수 있는 실영상 혹은 실제 장면에 대해 홀로그래픽 방법을 사용하여 풀컬러 홀로그래픽으로 재생할 수 있는 기술에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a real image full-color holographic technology, and more particularly, to a technique capable of reproducing a full-color holographic image using a holographic method for a real image or a real scene that can be acquired through a camera .
평면영상으로부터 3차원 깊이감을 표현하는 3차원 영상기술은 의료, 예술, 교육 등, 아주 광범위하게 응용되고 있다. 때문에 3차원 입체영상을 표현하기 위한 다양한 방법들이 제안되고 있으며, 이와 관련한 다양한 장치들이 개발되고 있다. Three-dimensional imaging technology that expresses three-dimensional depth sense from planar imaging has been widely applied to medical, art, and education. Therefore, various methods for representing three-dimensional stereoscopic images have been proposed, and various devices related thereto have been developed.
홀로그래피(holography)는 완벽한 3차원 입체영상 표현 기술로 알려져 있으며, 이는 인간의 눈으로 세상을 입체적으로 파악하는 다양한 요인들이 동시에 표현되는 기술이다.Holography is known as a complete three-dimensional stereoscopic image rendering technology, and it is a technique that simultaneously expresses various factors that grasp the world in three dimensions with human eyes.
종래에는 컬러 홀로그램 디스플레이를 이해 광공간변조기(SLM, Spatial Light Modulator)과 색 필터를 사용하였다. 그러나, 컬러는 컴퓨터 생성 홀로그래픽 데이터와 연관성이 없기 때문에 제한적일 수밖에 없으며, 3차원 공간을 표현하는 만큼 컬러를 깊이감에 맞게 조정해야 하지만, 색 필터 방식의 경우 그렇게 할 수 없다는 문제점이 있다.Conventionally, a spatial light modulator (SLM, Spatial Light Modulator) and a color filter are used for a color holographic display. However, color is limited because it is not related to computer generated holographic data, and color must be adjusted to the depth as much as it represents a three-dimensional space. However, there is a problem in that it can not be done in the case of the color filter method.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 깊이별 가중치 예측 방법(DWP, depth-layer weighted prediction) 방법을 이용하여, 종래 컬러 필터를 사용하는 컬러 디지털 홀로그램의 제한적 색 표현에 대한 단점을 개선하고, 또한 포인트 클라우드 데이터를 폴리곤으로 변환함으로써, 디스플레이되는 홀로그램의 품질을 개선시키는 시스템 및 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-mentioned problems, and it is an object of the present invention to provide a color depth correction method and a color depth correction method using a depth-layer weighted prediction (DWP) And to provide a system and method for improving the quality of displayed holograms by converting point cloud data to polygons.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
이와 같은 목적을 달성하기 위한 본 발명의 실영상 풀 컬러 디지털 홀로그래픽 생성 방법은 깊이 카메라를 이용하여 3차원 객체에 대한 RGB(Red, Green, Blue) 영상 데이터로 구성된 컬러 데이터와 포인트 클라우드 데이터로 구성된 깊이 데이터를 획득하는 단계, 상기 컬러 데이터와 깊이 데이터를 이용하여 레드(R), 그린(G), 블루(B)의 컬러 채널로 이루어진 3채널 포인트 클라우드 모델을 생성하는 단계, 상기 3채널 포인트 클라우드 모델을 3채널 폴리곤 모델로 변환하는 단계, 상기 3채널 폴리곤 모델을 각 채널의 홀로그램으로 변환하는 단계 및 상기 3채널 홀로그램을 조합하여 디스플레이하는 단계를 포함한다. According to another aspect of the present invention, there is provided a method of generating a full-color digital holography image using a depth camera, the method comprising the steps of: acquiring color data composed of RGB (Red, Green, Blue) image data and point cloud data Generating three-channel point cloud models of red (R), green (G), and blue (B) color channels using the color data and depth data, Converting the model into a three-channel polygon model, converting the three-channel polygon model into a hologram of each channel, and combining and displaying the three-channel hologram.
상기 3채널 포인트 클라우드 모델을 생성하는 단계는, 전체 깊이 레이어 길이를 계산하는 단계, 전체 깊이 레이어의 길이를 일정 간격으로 양자화하는 단계, 3채널 각각의 영상 데이터에 대해 깊이 범위를 계산하는 단계 및 계산된 깊이 범위에 따라 각 3채널 영상 데이터에 대해 양자화된 거리 별로 미리 정해진 가중치를 적용하는 방식으로 3채널 포인트 클라우드 데이터를 생성하는 단계로 이루어질 수 있다. The step of generating the three-channel point cloud model comprises the steps of calculating the total depth layer length, quantizing the length of the entire depth layer at regular intervals, calculating the depth range for each of the three channel image data, And generating three-channel point cloud data by applying predetermined weights to the quantized distances for each of the three-channel image data according to a depth range of the three-channel image data.
상기 3채널 각각의 영상 데이터에 대해 깊이 범위를 계산하는 단계에서, 획득한 RGB 영상 데이터에서 각 색상 채널별 색상 분포의 최대 거리를 계산하는 방식으로 각 색상 채널별 깊이 범위를 계산할 수 있다. In the step of calculating the depth range for each of the three-channel image data, the depth range of each color channel can be calculated by calculating the maximum distance of the color distribution for each color channel in the obtained RGB image data.
본 발명의 실영상 풀 컬러 디지털 홀로그래픽 생성 시스템은 3차원 객체를 촬영하여 영상 정보를 생성하기 위한 깊이 카메라, 상기 깊이 카메라로부터 영상 정보를 수신하고, 수신한 영상 정보에서 RGB(Red, Green, Blue) 영상 데이터로 구성된 컬러 데이터와 포인트 클라우드 데이터로 구성된 깊이 데이터를 획득하고, 상기 컬러 데이터와 깊이 데이터를 이용하여 레드, 그린, 블루의 컬러 채널로 이루어진 3채널 포인트 클라우드 모델을 생성하고, 상기 3채널 포인트 클라우드 모델을 3채널 폴리곤 모델로 변환하고, 상기 3채널 폴리곤 모델을 각 채널의 홀로그램으로 변환하는 데이터 처리 장치 및 상기 데이터 처리 장치에서 생성된 3채널 홀로그램을 조합하여 디스플레이하는 홀로그래픽 디스플레이 장치를 포함한다. The present invention relates to a real-image full-color digital holography generation system, which includes a depth camera for capturing a three-dimensional object to generate image information, image information from the depth camera, Acquiring depth data composed of color data composed of image data and point cloud data, generating a three-channel point cloud model composed of color channels of red, green, and blue using the color data and the depth data, A data processing device for converting the point cloud model into a three-channel polygon model, converting the three-channel polygon model into a hologram of each channel, and a holographic display device for displaying a combination of three-channel holograms generated by the data processing device do.
상기 데이터 처리 장치는 상기 3채널 포인트 클라우드 모델을 생성하기 위하여, 전체 깊이 레이어 길이를 계산하고, 전체 깊이 레이어의 길이를 일정 간격으로 양자화하고, 3채널 각각의 영상 데이터에 대해 깊이 범위를 계산하고, 계산된 깊이 범위에 따라 각 3채널 영상 데이터에 대해 양자화된 거리 별로 미리 정해진 가중치를 적용하는 방식으로 3채널 포인트 클라우드 데이터를 생성할 수 있다. In order to generate the three-channel point cloud model, the data processing apparatus calculates the entire depth layer length, quantizes the length of the entire depth layer at a predetermined interval, calculates a depth range for each of the three-channel image data, The three-channel point cloud data can be generated by applying predetermined weights to the quantized distances for each of the three-channel image data according to the calculated depth range.
상기 데이터 처리 장치는 획득한 RGB 영상 데이터에서 각 색상 채널별 색상 분포의 최대 거리를 계산하는 방식으로 각 색상 채널별 깊이 범위를 계산할 수 있다. The data processing apparatus calculates the maximum range of the color distribution for each color channel from the RGB image data, and calculates the depth range for each color channel.
상기 홀로그래픽 디스플레이 장치는 R 채널 홀로그램, G 채널 홀로그램, B 채널 홀로그램의 3채널 홀로그램이 각각 입력되도록 하는 세 개의 SLM(Spatial Light Modulator)를 포함할 수 있다. The holographic display device may include three spatial light modulators (SLM) for inputting three-channel holograms of an R-channel hologram, a G-channel hologram, and a B-channel hologram, respectively.
본 발명에 의하면, 깊이카메라를 통한 실영상 데이터의 획득 및 재구성을 통해 풀 컬러 홀로그래픽으로 실영상을 디스플레이 시킬 수 있는 효과가 있다. According to the present invention, there is an effect that a real image can be displayed in full color holography through acquisition and reconstruction of real image data through a depth camera.
또한, 본 발명은 깊이별 가중치 예측 방법(DWP, depth-layer weighted prediction) 방법을 이용함으로써, 종래 컬러 필터를 사용하는 컬러 디지털 홀로그램의 제한적 색 표현에 대한 단점을 개선할 수 있는 효과가 있다.Further, the present invention has an effect of improving the shortcoming of limited color representation of a color digital hologram using a conventional color filter by using a depth-layer weighted prediction (DWP) method.
또한, 본 발명에 의하면, 포인트 클라우드 데이터를 폴리곤으로 변환함으로써, 디스플레이되는 홀로그램의 품질을 개선시킬 수 있는 효과가 있다. Further, according to the present invention, the quality of the displayed hologram can be improved by converting point cloud data into polygons.
도 1은 본 발명의 일 실시예에 따른 실영상 풀 컬러 디지털 홀로그래픽 생성 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 실영상 풀 컬러 디지털 홀로그래픽 생성 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 데이터 처리 과정을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 홀로그램 생성 및 홀로그램 디스플레이를 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 홀로그래픽 디스플레이 장치의 구성도이다.
도 6은 도 5의 장치를 통해 재구성된 결과를 보여주는 도면이다. FIG. 1 is a view schematically showing a configuration of a real image full-color digital holography generation system according to an embodiment of the present invention. Referring to FIG.
2 is a flowchart illustrating a method for generating a full-color full-color digital holographic image according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating a data processing process according to an embodiment of the present invention.
4 is a view illustrating a hologram creation and a hologram display according to an embodiment of the present invention.
5 is a configuration diagram of a holographic display device according to an embodiment of the present invention.
FIG. 6 is a diagram showing the result reconstructed through the apparatus of FIG. 5; FIG.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted in an ideal or overly formal sense unless expressly defined in the present application Do not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
도 1은 본 발명의 일 실시예에 따른 실영상 풀 컬러 디지털 홀로그래픽 생성 시스템의 구성을 개략적으로 나타낸 도면이다. FIG. 1 is a view schematically showing a configuration of a real image full-color digital holography generation system according to an embodiment of the present invention. Referring to FIG.
도 1을 참조하면, 본 발명의 일 실시예에 따른 실영상 풀 컬러 디지털 홀로그래픽 생성 시스템은 깊이 카메라(110), 데이터 처리 장치(120), 홀로그래픽 디스플레이 장치(130)를 포함한다. Referring to FIG. 1, a real image full color digital holography generation system according to an embodiment of the present invention includes a depth camera 110, a
깊이 카메라(110)는 3차원 객체(10)를 촬영하여 영상 정보를 생성하는 역할을 한다. 본 발명의 일 실시예에서 깊이 카메라(110)는 3차원 객체(10)의 RGB(Red, Green, Blue) 컬러를 감지하기 위한 RGB 센서와, 3차원 객체(10)를 감지하기 위한 적외선(IR, infrared ray) 센서를 포함하여 이루어질 수 있다. The depth camera 110 photographs the three-dimensional object 10 to generate image information. In one embodiment of the present invention, the depth camera 110 includes an RGB sensor for sensing the RGB (Red, Green, Blue) color of the 3D object 10, an infrared sensor IR , infrared ray) sensors.
데이터 처리 장치(120)는 깊이 카메라(110)로부터 영상 정보를 수신하고, 수신한 영상 정보에서 RGB(Red, Green, Blue) 영상 데이터로 구성된 컬러 데이터와 포인트 클라우드 데이터로 구성된 깊이 데이터를 획득한다. 그리고, 컬러 데이터와 깊이 데이터를 이용하여 레드(Red), 그린(Green), 블루(Blue)의 컬러 채널로 이루어진 3채널 포인트 클라우드 모델을 생성하고, 3채널 포인트 클라우드 모델을 각 채널 별로 폴리곤 모델로 변환하는 방식으로 3채널 폴리곤 모델로 변환한다. 그리고, 3채널 폴리곤 모델을 각 채널의 홀로그램으로 변환한다.The
홀로그래픽 디스플레이 장치(130)는 데이터 처리 장치(120)에서 생성된 3채널 홀로그램을 조합하여 디스플레이하는 역할을 한다. 본 발명의 일 실시예에서 홀로그래픽 디스플레이 장치는 R 채널 홀로그램, G 채널 홀로그램, B 채널 홀로그램의 3채널 홀로그램이 각각 입력되도록 하는 세 개의 SLM(Spatial Light Modulator)를 포함하여 이루어질 수 있다. The
본 발명에서 데이터 처리 장치(120)는 3채널 포인트 클라우드 모델을 생성하기 위하여 다음과 같은 데이터 처리 과정을 수행한다. In the present invention, the
먼저, 전체 깊이 레이어(depth layer) 길이를 계산한다. 즉, 깊이 레이어의 최대 길이를 Dmax, 최소 길이를 Dmin이라고 하면, 전체 깊이 레이어의 길이 Dtot=Dmax-Dmin 이 된다. First, the entire depth layer length is calculated. That is, assuming that the maximum length of the depth layer is Dmax and the minimum length is Dmin, the total depth layer length Dtot = Dmax-Dmin.
다음, 전체 깊이 레이어길이를 일정 간격으로 양자화한다. 일정 간격을 m이라고 하면, 양자화는 Dtot/m으로 표현할 수 있다. Next, the entire depth layer length is quantized at regular intervals. If the interval is m, the quantization can be expressed as Dtot / m.
다음, R 채널, G 채널, B 채널의 3채널 각각의 영상 데이터에 대해 깊이 범위를 계산한다. 즉, 획득한 RGB 영상 데이터에서 각 색상 채널별 색상 분포의 최대 거리를 계산하는 방식으로 각 색상 채널별 깊이 범위를 계산할 수 있다. Next, the depth range is calculated for the image data of each of the three channels of the R channel, the G channel, and the B channel. That is, the depth range of each color channel can be calculated by calculating the maximum distance of the color distribution of each color channel in the acquired RGB image data.
그리고, 계산된 깊이 범위에 따라 각 3채널 영상 데이터에 대해 양자화된 거리 별로 미리 정해진 가중치를 적용하는 방식으로 3채널 포인트 클라우드 데이터를 생성할 수 있다. 여기서 가중치를 계산하는 계산식은 다음과 같다. The 3-channel point cloud data can be generated by applying predetermined weights to the quantized distances for each of the 3-channel image data according to the calculated depth range. Here, the formula for calculating the weight is as follows.
Wr은 레드(R) 색상의 가중치이고, Wg는 그린(G) 색상의 가중치이고, Wb는 블루(b) 색상의 가중치이고, Fr은 레드(R) 색상 분포의 최대 길이이고, Fg는 그린(G) 색상 분포의 최대 길이이고, Fb는 블루(B) 색상 분포의 최대 길이이고, m은 양자화를 위한 간격이라고 할 때, 각 색상별 가중치는 다음과 같다. W r is the weight of the red (R) color, W g is the weight of the green (G) color, W b is the weight of the blue (b) color, F r is the maximum length of the red (R) F g is the maximum length of the green (G) color distribution, F b is the maximum length of the blue (B) color distribution, and m is the interval for quantization.
예를 들어, 본 발명에서 수학식1과 수치해석에 의해 경험적으로 가중치로 0.38이라는 값을 얻을 수 있고, 이 가중치를 적용하여 3채널 포인트 클라우드 모델을 생성할 수 있다. For example, in the present invention, a value of 0.38 can be empirically obtained from Equation (1) and numerical analysis, and the weighted value can be applied to generate a three-channel point cloud model.
그리고, n은 전체 깊이 레이어의 길이이고, D는 색차 값이라고 할 때, 색차 값을 다음 수학식으로 나타낼 수 있다. When n is the length of the entire depth layer and D is the color difference value, the color difference value can be expressed by the following equation.
본 발명에서는 가중치와 색차 값을 계산하고, 이를 이용하여 3채널 포인트 클라우드 모델을 각 채널 별 폴리곤 모델로 변환한다. In the present invention, weights and chrominance values are calculated, and a 3-point cloud model is converted into a polygon model for each channel.
도 2는 본 발명의 일 실시예에 따른 실영상 풀 컬러 디지털 홀로그래픽 생성 방법을 보여주는 흐름도이다. 2 is a flowchart illustrating a method for generating a full-color full-color digital holographic image according to an exemplary embodiment of the present invention.
도 2를 참조하면, 본 발명의 실영상 풀 컬러 디지털 홀로그래픽 생성 방법은 먼저, 깊이 카메라를 이용하여 3차원 객체에 대한 RGB(Red, Green, Blue) 영상 데이터로 구성된 컬러 데이터와 포인트 클라우드 데이터로 구성된 깊이 데이터를 획득한다(S210). Referring to FIG. 2, the method of generating a full-color digital holography of a real image according to the present invention comprises the steps of: generating color data composed of RGB (Red, Green, Blue) image data and point cloud data And acquires the configured depth data (S210).
그리고, 컬러 데이터와 깊이 데이터를 이용하여 레드(R), 그린(G), 블루(B)의 컬러 채널로 이루어진 3채널 포인트 클라우드 모델을 생성한다(S220). Then, a three-channel point cloud model including color channels of red (R), green (G), and blue (B) is generated using the color data and the depth data (S220).
그리고, 3채널 포인트 클라우드 모델을 각 채널 별로 폴리곤 모델로 변환하는 방식으로 3채널 폴리곤 모델로 변환한다(S230). 본 발명에서 3채널 폴리곤 모델로 변환하는 이유는 일반적인 그래픽 함수를 사용한 3차원 영상의 화질 개선을 위함이다. Then, the 3-channel point cloud model is converted into a 3-channel polygon model by converting into a polygon model for each channel (S230). The reason for converting to the 3-channel polygon model in the present invention is to improve the image quality of a 3-dimensional image using general graphic functions.
그리고, 3채널 폴리곤 모델을 각 채널의 홀로그램으로 변환한다(S240). Then, the three-channel polygon model is converted into a hologram of each channel (S240).
그리고, 3채널 홀로그램을 조합하여 디스플레이한다(S250). Then, the three-channel holograms are combined and displayed (S250).
본 발명에서 3채널 포인트 클라우드 모델을 생성하는 단계(S220)는 다음과 같은 처리 과정을 포함한다. The step (S220) of generating a three-channel point cloud model in the present invention includes the following process.
먼저, 전체 깊이 레이어(depth layer) 길이를 계산한다. 즉, 깊이 레이어의 최대 길이를 Dmax, 최소 길이를 Dmin이라고 하면, 전체 깊이 레이어의 길이 Dtot=Dmax-Dmin 이 된다. First, the entire depth layer length is calculated. That is, assuming that the maximum length of the depth layer is Dmax and the minimum length is Dmin, the total depth layer length Dtot = Dmax-Dmin.
다음, 전체 깊이 레이어길이를 일정 간격으로 양자화한다. 일정 간격을 m이라고 하면, 양자화는 Dtot/m으로 표현할 수 있다. Next, the entire depth layer length is quantized at regular intervals. If the interval is m, the quantization can be expressed as Dtot / m.
다음, R 채널, G 채널, B 채널의 3채널 각각의 영상 데이터에 대해 깊이 범위를 계산한다. 즉, 획득한 RGB 영상 데이터에서 각 색상 채널별 색상 분포의 최대 거리를 계산하는 방식으로 각 색상 채널별 깊이 범위를 계산할 수 있다. Next, the depth range is calculated for the image data of each of the three channels of the R channel, the G channel, and the B channel. That is, the depth range of each color channel can be calculated by calculating the maximum distance of the color distribution of each color channel in the acquired RGB image data.
그리고, 계산된 깊이 범위에 따라 각 3채널 영상 데이터에 대해 양자화된 거리 별로 미리 정해진 가중치를 적용하는 방식으로 3채널 포인트 클라우드 데이터를 생성할 수 있다.The 3-channel point cloud data can be generated by applying predetermined weights to the quantized distances for each of the 3-channel image data according to the calculated depth range.
도 3은 본 발명의 일 실시예에 따른 데이터 처리 과정을 보여주는 도면이다. 3 is a flowchart illustrating a data processing process according to an embodiment of the present invention.
도 3을 참조하면, 깊이 카메라(110)를 통해 획득된 3차원 공간 데이터는 3채널 컬러 데이터와 깊이 정보 데이터로 구성된다. Referring to FIG. 3, the 3D spatial data obtained through the depth camera 110 is composed of three-channel color data and depth information data.
이렇게 획득된 데이터를 이용하여 R 채널, G 채널, B 채널 각각에 대해 가중치를 적용하여 3채널 포인트 클라우드 데이터를 생성한다. Using the obtained data, weights are applied to each of the R channel, the G channel, and the B channel to generate three-channel point cloud data.
그리고, 3채널 포인트 클라우드 데이터에 대해 각각 폴리곤(Polygon) 모델로 변환하여 3채널 폴리곤 모델을 생성한다. Then, the three-channel point cloud data is converted into a polygon model to generate a three-channel polygon model.
도 4는 본 발명의 일 실시예에 따른 홀로그램 생성 및 홀로그램 디스플레이를 보여주는 도면이다.4 is a view illustrating a hologram creation and a hologram display according to an embodiment of the present invention.
도 4를 참조하면, 본 발명에서 R채널 홀로그램, G채널 홀로그램, B채널 홀로그램이 생성되면, 홀로그래픽 디스플레이 장치(130)에서 3채널 홀로그램을 조합하여(combination) 홀로그램을 재구성(Reconstruction)하고, 이를 디스플레이한다. 도 4에서 풀 컬러 재구성 홀로그램 영상(410)이 도시되어 있다. 본 발명에서 재구성 홀로그램 영상은 RGB의 세 개의 채널로부터 생성된 24비트(bit) 비트맵 이미지일 수 있다. Referring to FIG. 4, when an R-channel hologram, a G-channel hologram, and a B-channel hologram are generated in the present invention, a
도 5는 본 발명의 일 실시예에 따른 홀로그래픽 디스플레이 장치의 구성도이다. 도 5에 도시된 홀로그래픽 디스플레이 장치는 실험을 위해 설치된 것이다. 5 is a configuration diagram of a holographic display device according to an embodiment of the present invention. The holographic display device shown in Fig. 5 is installed for experiments.
도 5에서 홀로그래픽 디스플레이 장치는 레이저_R(501), 레이저_G(502), 레이저_B(503) 각각에서 출력되는 광을 분광하기 필터인 분광필터(SF, Spatial Filter)(504, 505, 506)와, 각 분광필터(504, 505, 506)에서 나온 광을 공간 변조하기 위한 광공간변조기(SLM, Spatial Light Modulator)(507, 508, 509), 광공간 변조기에서 나온 광을 통과시키거나 반사시켜서 한 지점으로 모으기 위한 빔스플리터(BS, Beamsplitter)를 포함하여 이루어진다. 5, the holographic display device includes spectral filters (SFs) 504 and 505, which are filters for spectrally separating light output from each of the
도 6은 도 5의 장치를 통해 재구성된 결과를 보여주는 도면이다. FIG. 6 is a diagram showing the result reconstructed through the apparatus of FIG. 5; FIG.
도 6에서 (a)는 ROI(Region of interest)가 적용된 포인트 클라우드 모델이고, (b)는 레드 빔(beam)을 참조광으로 하여 재구성된 영상이고, (c)는 그린 빔을 참조광으로 하여 재구성된 영상이고, (d)는 블루 빔을 참조광으로 하여 재구성된 영상이다. (e)는 중심 위치가 200nm 인 경우, CCD 카메라(Charge-coupled device camera)에 의해 캡쳐되어 재구성된 영상이고, (f)는 중심 위치가 350 nm 인 경우, CCD 카메라에 의해 캡쳐되어 재구성된 영상이다. In FIG. 6, (a) is a point cloud model in which a region of interest (ROI) is applied, (b) is an image reconstructed using a red beam as a reference light, (c) (D) is an image reconstructed using a blue beam as a reference light. (e) is an image captured and reconstructed by a CCD camera (Charge-coupled device camera) when the center position is 200 nm, and (f) shows a reconstructed image to be.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit of the invention and the scope of the appended claims.
110 깊이 카메라
120 데이터 처리 장치
130 홀로그래픽 디스플레이 장치110 depth camera
120 data processing device
130 holographic display device
Claims (5)
상기 컬러 데이터와 깊이 데이터를 이용하여 레드(R), 그린(G), 블루(B)의 컬러 채널로 이루어진 3채널 포인트 클라우드 모델을 생성하는 단계;
상기 3채널 포인트 클라우드 모델을 3채널 폴리곤 모델로 변환하는 단계;
상기 3채널 폴리곤 모델을 각 채널의 홀로그램으로 변환하여 3채널 홀로그램을 생성하는 단계; 및
상기 3채널 홀로그램을 조합하여 디스플레이하는 단계를 포함하며,
상기 3채널 포인트 클라우드 모델을 생성하는 단계는,
전체 깊이 레이어 길이를 계산하는 단계;
전체 깊이 레이어의 길이를 일정 간격으로 양자화하는 단계;
3채널 각각의 영상 데이터에 대해 깊이 범위를 계산하는 단계; 및
계산된 깊이 범위에 따라 각 3채널 영상 데이터에 대해 양자화된 거리 별로 미리 정해진 가중치를 적용하는 방식으로 3채널 포인트 클라우드 데이터를 생성하는 단계로 이루어지는 것을 특징으로 하는 실영상 풀 컬러 디지털 홀로그래픽 생성 방법.
Obtaining depth data composed of point cloud data and color data composed of RGB (Red, Green, Blue) image data for a three-dimensional object using a depth camera;
Generating a three-channel point cloud model made up of red (R), green (G), and blue (B) color channels using the color data and the depth data;
Converting the three-channel point cloud model into a three-channel polygonal model;
Generating a 3-channel hologram by converting the 3-channel polygon model into a hologram of each channel; And
And displaying the combined three-channel holograms in combination,
Wherein the generating the three-channel point cloud model comprises:
Calculating an overall depth layer length;
Quantizing the lengths of the entire depth layers at regular intervals;
Calculating a depth range for the image data of each of the three channels; And
And generating three-channel point cloud data by applying a predetermined weight for each quantized distance to each of the three-channel image data according to the calculated depth range.
상기 3채널 각각의 영상 데이터에 대해 깊이 범위를 계산하는 단계에서,
획득한 RGB 영상 데이터에서 각 색상 채널별 색상 분포의 최대 거리를 계산하는 방식으로 각 색상 채널별 깊이 범위를 계산하는 것을 특징으로 하는 실영상 풀 컬러 디지털 홀로그래픽 생성 방법.
The method according to claim 1,
In the step of calculating the depth range for the image data of each of the three channels,
And calculating a maximum distance of a color distribution for each color channel in the acquired RGB image data, thereby calculating a depth range for each color channel.
상기 깊이 카메라로부터 영상 정보를 수신하고, 수신한 영상 정보에서 RGB(Red, Green, Blue) 영상 데이터로 구성된 컬러 데이터와 포인트 클라우드 데이터로 구성된 깊이 데이터를 획득하고, 상기 컬러 데이터와 깊이 데이터를 이용하여 레드, 그린, 블루의 컬러 채널로 이루어진 3채널 포인트 클라우드 모델을 생성하고, 상기 3채널 포인트 클라우드 모델을 3채널 폴리곤 모델로 변환하고, 상기 3채널 폴리곤 모델을 각 채널의 홀로그램으로 변환하는 데이터 처리 장치; 및
상기 데이터 처리 장치에서 생성된 3채널 홀로그램을 조합하여 디스플레이하는 홀로그래픽 디스플레이 장치를 포함하며,
상기 데이터 처리 장치는 상기 3채널 포인트 클라우드 모델을 생성하기 위하여, 전체 깊이 레이어 길이를 계산하고, 전체 깊이 레이어의 길이를 일정 간격으로 양자화하고, 3채널 각각의 영상 데이터에 대해 깊이 범위를 계산하고, 계산된 깊이 범위에 따라 각 3채널 영상 데이터에 대해 양자화된 거리 별로 미리 정해진 가중치를 적용하는 방식으로 3채널 포인트 클라우드 데이터를 생성하는 것을 특징으로 하는 실영상 풀 컬러 디지털 홀로그래픽 생성 시스템.
A depth camera for capturing three-dimensional objects to generate image information;
The image processing apparatus comprising: an image processing unit that receives image information from the depth camera, acquires depth data including color data composed of RGB (Red, Green, Blue) image data and point cloud data from the received image information, A three-channel point cloud model of red, green, and blue color channels, a three-channel polygon model of the three-channel point cloud model, and a hologram of the three- ; And
And a holographic display device which combines and displays three-channel holograms generated by the data processing apparatus,
In order to generate the three-channel point cloud model, the data processing apparatus calculates the entire depth layer length, quantizes the length of the entire depth layer at a predetermined interval, calculates a depth range for each of the three-channel image data, Wherein the three-channel point cloud data is generated by applying a predetermined weight for each quantized distance to each of the three-channel image data according to the calculated depth range.
상기 데이터 처리 장치는 획득한 RGB 영상 데이터에서 각 색상 채널별 색상 분포의 최대 거리를 계산하는 방식으로 각 색상 채널별 깊이 범위를 계산하는 것을 특징으로 하는 실영상 풀 컬러 디지털 홀로그래픽 생성 시스템. The method of claim 4,
Wherein the data processing apparatus calculates a maximum range of a color distribution for each color channel from the RGB image data, and calculates a depth range for each color channel.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170130204A KR101975269B1 (en) | 2017-10-11 | 2017-10-11 | Method and system for generating full-color digital holographic with real object using depth-layer weighted prediction for real scene |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170130204A KR101975269B1 (en) | 2017-10-11 | 2017-10-11 | Method and system for generating full-color digital holographic with real object using depth-layer weighted prediction for real scene |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190040711A KR20190040711A (en) | 2019-04-19 |
| KR101975269B1 true KR101975269B1 (en) | 2019-05-07 |
Family
ID=66283249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170130204A KR101975269B1 (en) | 2017-10-11 | 2017-10-11 | Method and system for generating full-color digital holographic with real object using depth-layer weighted prediction for real scene |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101975269B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110045941A (en) * | 2019-04-24 | 2019-07-23 | 深圳市微光视界科技有限公司 | A kind of method, apparatus that line holographic projections are shown, mobile terminal and storage medium |
| KR102456945B1 (en) * | 2019-11-12 | 2022-10-21 | 한국전자통신연구원 | Method for generating hologram based on mesh |
| CN113079340A (en) * | 2021-04-07 | 2021-07-06 | 西北工业大学 | Three-dimensional holographic video conference system based on Hololens2 |
| US20230029900A1 (en) * | 2021-07-30 | 2023-02-02 | Zoox, Inc. | Three-dimensional object detection based on image data |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101259536B1 (en) * | 2011-08-24 | 2013-05-06 | 광운대학교 산학협력단 | A spatial scalable encoding and decoding device for holographic source and the method thereof |
| KR102083584B1 (en) | 2013-04-15 | 2020-03-02 | 삼성전자주식회사 | Apparatus and method for generating hologram pattern |
| KR101639671B1 (en) * | 2014-12-31 | 2016-07-15 | 고려대학교 산학협력단 | Color holographic 3d display device |
-
2017
- 2017-10-11 KR KR1020170130204A patent/KR101975269B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190040711A (en) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101975269B1 (en) | Method and system for generating full-color digital holographic with real object using depth-layer weighted prediction for real scene | |
| JP7080613B2 (en) | Image processing equipment, image processing methods and programs | |
| Umbaugh | Computer imaging: digital image analysis and processing | |
| US6205241B1 (en) | Compression of stereoscopic images | |
| RU2421933C2 (en) | System and method to generate and reproduce 3d video image | |
| JP2017528949A (en) | Preprocessor for omnidirectional parallax field compression | |
| KR102083875B1 (en) | Apparatus and method for measuring quality of holographic image | |
| US20050265633A1 (en) | Low latency pyramid processor for image processing systems | |
| US20140300941A1 (en) | Method and apparatus for generating hologram based on multi-view image | |
| KR102304225B1 (en) | Method and apparatus for measuring and evaluating spatial resolution of hologram reconstructed image | |
| JP2023056056A (en) | Data generation method, learning method and estimation method | |
| CN109190533B (en) | Image processing method and device, electronic equipment and computer readable storage medium | |
| KR20030007379A (en) | Depth Map Compression Technique | |
| KR20150081010A (en) | Apparatus and method for measurement and evaluation of field of view of reconstructed image of hologram | |
| US20230043464A1 (en) | Device and method for depth estimation using color images | |
| KR102577707B1 (en) | Apparatus and method for evaluating hologram encoding / holographic image quality for amplitude-modulated hologram | |
| KR101795952B1 (en) | Method and device for generating depth image of 2d image | |
| JP2015188251A (en) | Image processing system, imaging apparatus, image processing method, and program | |
| US11663708B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| KR102252947B1 (en) | Image to Hologram Conversion Method and System using a Quantized Depth-Map | |
| Shin et al. | Modified smart pixel mapping method for displaying orthoscopic 3D images in integral imaging | |
| Shoidin et al. | Remote formation of holographic record | |
| KR20210147647A (en) | Apparatus and method for color synthesis of face images | |
| KR102073738B1 (en) | The Connection System for Remote Sensing data and Cloud-Based Platform | |
| RU2705423C1 (en) | Method of combining simultaneously obtained images from matrix photodetectors of different spectral range |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |