KR20200069492A - Hologram Generation Method Using Segmentation - Google Patents

Hologram Generation Method Using Segmentation Download PDF

Info

Publication number
KR20200069492A
KR20200069492A KR1020180156592A KR20180156592A KR20200069492A KR 20200069492 A KR20200069492 A KR 20200069492A KR 1020180156592 A KR1020180156592 A KR 1020180156592A KR 20180156592 A KR20180156592 A KR 20180156592A KR 20200069492 A KR20200069492 A KR 20200069492A
Authority
KR
South Korea
Prior art keywords
hologram
segment
generating
images
depth slice
Prior art date
Application number
KR1020180156592A
Other languages
Korean (ko)
Other versions
KR102161950B1 (en
Inventor
홍지수
김영민
강훈종
홍성희
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to PCT/KR2018/015484 priority Critical patent/WO2020116692A1/en
Priority to KR1020180156592A priority patent/KR102161950B1/en
Publication of KR20200069492A publication Critical patent/KR20200069492A/en
Application granted granted Critical
Publication of KR102161950B1 publication Critical patent/KR102161950B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Abstract

Provided is a method for optimizing a generation time when generating a complex hologram from RGBD data. A hologram generation method, according to an embodiment of the present invention, comprises the steps of: segmenting an image into a plurality of segments; converting the respective segments into depth slice images; determining a hologram generation scheme for each segment on the basis of the number of depth slice images; generating a hologram for each segment by using the determined scheme; and combining the generated holograms. Accordingly, when generating a hologram of a target object represented by GBD data [a color image (RGB) and a depth map (D)], a hologram generation time is optimized by first segmenting the RGBD data into a plurality of segments and taking advantage of a depth slice image hologram generation method through an angular spectrum method and a point cloud data hologram generation method through a Rayleigh-Sommerfeld diffraction integral, thereby optimizing the generation time when generating a complex hologram from the RGBD data.

Description

세그먼테이션을 이용한 홀로그램 생성 방법{Hologram Generation Method Using Segmentation}Hologram Generation Method Using Segmentation

본 발명은 홀로그램 생성 방법에 관한 것으로, 더욱 상세하게는 RGBD 데이터로부터 complex hologram을 생성하는 방법 및 시스템에 관한 것이다.The present invention relates to a method for generating a hologram, and more particularly, to a method and system for generating a complex hologram from RGBD data.

기존의 CGH(Computer generated hologram)을 생성하는 방법 중 한가지는 도 1과 같이 대상 물체를 point cloud data set으로 표현한 후 Rayleigh-Sommerfeld diffraction integral 식을 적용하는 방법이다.One of the methods of generating a conventional computer generated hologram (CGH) is a method of expressing a target object as a point cloud data set and applying a Rayleigh-Sommerfeld diffraction integral expression as shown in FIG.

이때 point cloud data set의 각 point의 complex amplitude를

Figure pat00001
라 하고, 각 point의 3차원 좌표를
Figure pat00002
라 했을 때, point cloud data set에 의해 생성되는 complex hologram은 다음과 같다.At this time, the complex amplitude of each point in the point cloud data set
Figure pat00001
3D coordinates of each point
Figure pat00002
The complex hologram generated by the point cloud data set is as follows.

Figure pat00003
Figure pat00003

그리고, 이 때 각 point에 대한 impulse response hp(x, y)는 다음과 같다.In this case, impulse response h p (x, y) for each point is as follows.

Figure pat00004
Figure pat00004

여기서,

Figure pat00005
이고, p x , p y 는 각각 홀로그램 평면의 x방향, y방향의 픽셀 크기이다. Rayleigh-Sommerfeld diffraction integral을 통한 홀로그램 생성은 대상 물체 표현의 자유도가 높고, 계산되는 complex field 값의 정확도가 매우 높은 장점이 있으나, 2차원 convolution 계산이기 때문에 계산량이 매우 많은 단점이 있다.here,
Figure pat00005
And p x and p y are pixel sizes in the x and y directions of the hologram plane, respectively. The hologram generation through the Rayleigh-Sommerfeld diffraction integral has the advantage of high degree of freedom of representation of the target object and very high accuracy of the calculated complex field value, but it has a disadvantage in that it is very computationally intensive because it is a two-dimensional convolution calculation.

CGH를 생성하는 또 한가지 방법은 도 2와 같이 대상 물체를 depth slice image로 표현하여 이로부터 complex hologram을 계산하는 방법이다. Another method of generating CGH is a method of calculating a complex hologram by expressing a target object as a depth slice image as shown in FIG. 2.

이 방법은 대상 물체를 여러 개의 평면 slice image로 분할하였기 때문에 각 slice image에 대해서는 complex hologram을 생성할 때 angular spectrum method와 같이 plane-to-plane propagation을 적용할 수 있다. 대상 물체 g(x, y, z)를

Figure pat00006
와 같이 depth slice image들로 나누었다고 할 때, angular spectrum method가 FFT(Fast Fourier Transform)에 의해 구현이 되므로 각 slice image들 g m (x, y)는 적절한 zero-padding이 필요하다. 이 때 zero-padding이 이루어진 slice image를
Figure pat00007
라 하면, depth slice image들에 의해 생성되는 complex hologram은 다음과 같이 계산할 수 있다.Since this method divides the target object into multiple plane slice images, plane-to-plane propagation can be applied to each slice image as in the angular spectrum method when generating a complex hologram. Target object g ( x , y , z )
Figure pat00006
When divided into depth slice images as shown in the figure, since the angular spectrum method is implemented by FFT (Fast Fourier Transform), each slice image g m ( x , y ) needs proper zero-padding. At this time, slice image with zero-padding
Figure pat00007
In other words, the complex hologram generated by depth slice images can be calculated as follows.

Figure pat00008
Figure pat00008

이 때

Figure pat00009
, 즉 zero-padded slice image의 Fourier transform 이며, At this time
Figure pat00009
, That is, Fourier transform of zero-padded slice image,

Figure pat00010
Figure pat00010

이다. 이 때 z m 은 각 slice image의 홀로그램 평면으로부터의 거리이다. 이 때 각 plane-to-plane propagation은 2D-FFT를 활용할 수 있으므로 Rayleigh-Sommerfeld diffraction integral에 비해 연산량이 확연히 적으나, 물체를 표현하는 slice image의 개수가 늘어날수록 그 개수만큼 2D-FFT를 계산해주어야 하기 ?문에 비효율적이며, 또 대상 물체를 불연속적인 평면들로 표현하게 되어 물체 표현의 정확도가 떨어지는 단점이 있다.to be. Where z m is the distance from the hologram plane of each slice image. At this time, since each plane-to-plane propagation can utilize 2D-FFT, the computational amount is significantly smaller than Rayleigh-Sommerfeld diffraction integral, but as the number of slice images representing an object increases, the number of 2D-FFTs must be calculated. Because it is inefficient, it also has the disadvantage of reducing the accuracy of object representation because the object is represented by discontinuous planes.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, RGBD data로부터 complex hologram을 생성하는데 있어, 생성 시간을 최적화하는 방법을 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to provide a method for optimizing generation time in generating a complex hologram from RGBD data.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 홀로그램 생성 방법은 이미지를 다수의 세그먼트들로 세그먼테이션 하는 단계; 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하는 단계; 각각의 세그먼트들에 대해, 뎁스 슬라이스 이미지들의 이미지 개수를 기초로, 홀로그램 생성 방식을 결정하는 단계; 각각의 세그먼트들에 대해, 결정된 방식으로 홀로그램을 생성하는 단계; 및 생성된 홀로그램들을 결합하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, the hologram generating method comprises: segmenting an image into a plurality of segments; Converting each segment into depth slice images; For each segment, determining a hologram generating method based on the number of images of the depth slice images; For each segment, generating a hologram in a determined manner; And combining the generated holograms.

본 발명에 따른 홀로그램 생성 방법은 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하는 단계;를 더 포함할 수 있다.The hologram generating method according to the present invention may further include converting each segment into depth slice images.

결정 단계는, 각각의 세그먼트들에 대해, 뎁스 슬라이스 이미지들의 이미지 개수 및 포인트 클라우드 데이터 세트의 포인스 개수를 기초로, 홀로그램 생성 방식을 결정하는 것일 수 있다. The determining step may be, for each segment, determining a hologram generation method based on the number of images of the depth slice images and the number of points of the point cloud data set.

결정 단계는, 이미지 개수가 특정 개수 미만이면, 뎁스 슬라이스 이미지들을 이용하여 홀로그램을 생성하는 방식을 결정하는 것일 수 있다. The determining step may be to determine a method of generating a hologram using depth slice images when the number of images is less than a specific number.

뎁스 슬라이스 이미지들을 이용하여 홀로그램을 생성하는 방식은, angular spectrum method를 통해 complex hologram을 생성하는 방식일 수 있다. A method of generating a hologram using depth slice images may be a method of generating a complex hologram through an angular spectrum method.

결정 단계는, 이미지 개수가 특정 개수 이상이면, 포인스 개수를 기초로 홀로그램 생성 방식을 결정하는 것일 수 있다. In the determining step, if the number of images is greater than or equal to a specific number, the hologram generation method may be determined based on the number of points.

결정 단계는, 포인스 개수를 특정 개수 미만이면, 포인트 클라우드 데이터 세트를 이용하여 홀로그램을 생성하는 방식을 결정하는 것일 수 있다. The determining step may be determining a method of generating a hologram using a point cloud data set if the number of points is less than a specific number.

포인트 클라우드 데이터 세트를 이용하여 홀로그램을 생성하는 방식은, Rayleigh-Sommerfeld diffraction integral 방식으로 complex hologram을 생성하는 방식일 수 있다. A method of generating a hologram using a point cloud data set may be a method of generating a complex hologram in a Rayleigh-Sommerfeld diffraction integral method.

결정 단계는, 포인스 개수를 특정 개수 이상이면, 뎁스 슬라이스 이미지들을 이용하여 홀로그램을 생성하는 방식을 결정하는 것일 수 있다. The determining step may be to determine a method of generating a hologram using depth slice images if the number of points is greater than or equal to a specific number.

이미지는, RGBD 이미지일 수 있다. The image may be an RGBD image.

본 발명의 다른 측면에 따르면, 이미지가 저장된 저장부; 및 저장부에 저장된 이미지를 다수의 세그먼트들로 세그먼테이션 하고, 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하며, 각각의 세그먼트들에 대해 뎁스 슬라이스 이미지들의 이미지 개수를 기초로, 홀로그램 생성 방식을 결정하고, 각각의 세그먼트들에 대해 결정된 방식으로 홀로그램을 생성하며, 생성된 홀로그램들을 결합하는 프로세서;를 포함하는 것을 특징으로 하는 홀로그램 생성 시스템이 제공된다.According to another aspect of the invention, the image storage unit is stored; And segmenting the image stored in the storage into a plurality of segments, converting each segment into depth slice images, and determining a hologram generation method based on the number of images of depth slice images for each segment. A hologram generating system is provided, comprising: a processor that generates a hologram in a determined manner for each segment and combines the generated holograms.

본 발명의 또다른 측면에 따르면, 이미지를 다수의 세그먼트들로 세그먼테이션 하는 단계; 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하는 단계; 각각의 세그먼트들에 대해, 뎁스 슬라이스 이미지들의 이미지 개수를 기초로, 홀로그램 생성 방식을 결정하는 단계; 및 각각의 세그먼트들에 대해, 결정된 방식으로 홀로그램을 생성하는 단계;를 포함하는 것을 특징으로 하는 홀로그램 생성 방법이 제공된다.According to another aspect of the invention, segmenting an image into multiple segments; Converting each segment into depth slice images; For each segment, determining a hologram generating method based on the number of images of the depth slice images; And for each segment, generating a hologram in a determined manner.

본 발명의 또다른 측면에 따르면, 이미지가 저장된 저장부; 및 저장부에 저장된 이미지를 다수의 세그먼트들로 세그먼테이션 하고, 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하며, 각각의 세그먼트들에 대해 뎁스 슬라이스 이미지들의 이미지 개수를 기초로, 홀로그램 생성 방식을 결정하고, 각각의 세그먼트들에 대해 결정된 방식으로 홀로그램을 생성하는 프로세서;를 포함하는 것을 특징으로 하는 홀로그램 생성 시스템이 제공된다.According to another aspect of the invention, the image storage unit is stored; And segmenting the image stored in the storage into a plurality of segments, converting each segment into depth slice images, and determining a hologram generation method based on the number of images of depth slice images for each segment. A processor for generating a hologram in a determined manner for each segment is provided.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, RGBD data[컬러 이미지(RGB) 및 depth map(D)]로 표현된 대상 물체의 홀로그램을 생성하는데 있어, RGBD data를 먼저 여러 개의 segment로 segmentation을 하고, angular spectrum method를 통한 depth slice image 홀로그램 생성 방법과 Rayleigh Sommerfeld diffraction integral을 통한 point cloud data 홀로그램 생성 방법의 장점을 취하여 홀로그램 생성 시간을 최적화함으로써, RGBD data로부터 complex hologram을 생성하는데 있어 생성 시간을 최적화 할 수 있다.As described above, according to embodiments of the present invention, in generating a hologram of a target object represented by RGBD data [color image (RGB) and depth map (D)], RGBD data is first segmented into several segments. By taking advantage of the depth slice image hologram generation method through the angular spectrum method and the point cloud data hologram generation method through the Rayleigh Sommerfeld diffraction integral, the generation time for generating a complex hologram from RGBD data is optimized. Can be optimized.

도 1은 Point cloud data set을 이용한 홀로그램 생성을 나타낸 도면,
도 2는 Depth slice image를 이용한 홀로그램 생성을 나타낸 도면,
도 3은 RGBD data의 segmentation을 나타낸 도면,
도 4는 Segment의 RGBD data로부터의 depth slice image 및 point cloud data set 변환을 나타낸 도면,
도 5는 본 발명의 일 실시예에 따른 홀로그램 생성 방법의 설명에 제공되는 흐름도, 그리고,
도 6은 본 발명의 다른 실시예에 따른 홀로그램 생성 시스템의 블럭도이다.1 is a view showing hologram generation using a point cloud data set,
2 is a view showing hologram generation using a depth slice image,
3 is a view showing segmentation of RGBD data,
4 is a view showing a depth slice image and point cloud data set conversion from RGBD data of a segment;
5 is a flowchart provided in the description of a hologram generating method according to an embodiment of the present invention, and
6 is a block diagram of a hologram generating system according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

본 발명의 실시예에서는, RGBD data[컬러 이미지(RGB) 및 depth map(D)]로 표현된 대상 물체의 홀로그램을 생성하는데 있어, RGBD data를 먼저 여러 개의 segment로 segmentation을 하고, angular spectrum method를 통한 depth slice image 홀로그램 생성 방법과 Rayleigh Sommerfeld diffraction integral을 통한 point cloud data 홀로그램 생성 방법의 장점을 취하여 홀로그램 생성 시간을 최적화 하는 방법을 제시한다.In an embodiment of the present invention, in generating a hologram of a target object represented by RGBD data [color image (RGB) and depth map (D)], RGBD data is first segmented into several segments, and the angular spectrum method is used. We propose the method of optimizing the hologram generation time by taking advantage of the depth slice image hologram generation method and the point cloud data hologram generation method through Rayleigh Sommerfeld diffraction integral.

도 3은 RGBD data를 segmentation 하는 것을 보여준다. Segmentation은 주어진 RGBD data를 동일한 크기의 사각형들로 분할하는 것이다. Segmentation의 장점은 주어진 RGBD data를 depth slice image로 변환하였을 때 그 slice image들이 효율적으로 표현될 수 있다는데에 있다.3 shows segmentation of RGBD data. Segmentation is to divide a given RGBD data into squares of the same size. The advantage of segmentation is that when the given RGBD data is converted into a depth slice image, the slice images can be efficiently expressed.

전체 RGBD data를 depth slice image들로 변환하였을 때는 각 slice image 들에 유의미한 정보가 존재하는 영역이 상대적으로 적을 가능성이 높다. 따라서 각각의 slice image에 대해 angular spectrum propagation을 적용하면 비효율적인 연산을 하게 될 가능성이 높아진다.When all the RGBD data is converted into depth slice images, it is highly likely that there are relatively few areas where significant information exists for each slice image. Therefore, if angular spectrum propagation is applied to each slice image, the possibility of inefficient computation increases.

하지만 segmentation을 하게 되면 하나의 segment 내에서는 depth 값의 차이가 적어질 확률이 높고, 이는 segment를 depth slice image로 변환했을 때 slice image의 개수가 적어질 가능성이 높다. 따라서 결과적으로 홀로그램 연산을 위해 사용되는 FFT의 횟수가 적어지게 되고 연산량을 줄일 수 있게 되는 것이다.However, when segmentation is performed, there is a high probability that a difference in depth values is small within one segment, and this is likely to reduce the number of slice images when a segment is converted into a depth slice image. Therefore, as a result, the number of FFTs used for the hologram operation is reduced and the amount of computation can be reduced.

이런 측면에서 보면 segment 크기를 작게 하면 할수록 계산량을 줄일 수 있을 것으로 생각할 수 있으나, 각 segment에 대해서 angular spectrum method로 홀로그램 연산을 할 때 zero padding을 하여야 하므로 segment의 숫자가 늘어나면 늘어날수록 zero padding에 의한 overhead가 늘어나게 된다. 따라서 적절히 segment의 크기를 결정하는 것이 필요하다.In this aspect, it can be considered that the smaller the segment size, the smaller the amount of computation can be, but the zero padding must be performed when hologram calculation is performed with the angular spectrum method for each segment. The overhead increases. Therefore, it is necessary to properly size the segment.

또한 segment로 분할을 하였음에도 특정 segment에서는 slice image의 개수가 매우 많은 segment가 존재할 확률이 있다. 이런 segment에 대해서는 만약 유효한 pixel의 숫자가 매우 적다면, Rayleigh Sommerfeld diffraction integral 방식으로 계산을 하는 것이 더욱 유리할 수 있다.In addition, even if segmentation is performed, there is a possibility that a segment having a very large number of slice images exists in a specific segment. For these segments, if the number of valid pixels is very small, it may be more advantageous to compute the Rayleigh Sommerfeld diffraction integral method.

특히 Rayleigh Sommerfeld diffraction integral 방식의 2D convolution은 parallel computing을 적용하기가 쉬우므로, 도 4와 같이 segment에 대해 depth slice image 뿐만 아니라 point cloud data set도 변환하여 준비해 놓는 것이 필요하며, 상황에 따라 depth slice image로부터 angular spectrum method를 적용하여 complex hologram을 계산하거나 point cloud data set으로부터 Rayleigh-Sommerfeld diffraction integral을 이용하여 complex hologram을 계산하는 것을 선택할 수 있어야 전체적인 계산량을 최적화 할 수 있을 것이다.In particular, since the 2D convolution of the Rayleigh Sommerfeld diffraction integral method is easy to apply parallel computing, it is necessary to prepare not only the depth slice image but also the point cloud data set for the segment as shown in FIG. To calculate the complex hologram by applying the angular spectrum method from, or to compute the complex hologram using the Rayleigh-Sommerfeld diffraction integral from the point cloud data set, the overall computation amount can be optimized.

도 5는 본 발명의 일 실시예에 따른 홀로그램 생성 방법의 설명에 제공되는 흐름도이다.5 is a flowchart provided for explaining a hologram generating method according to an embodiment of the present invention.

도시된 바와 같이, 먼저 주어진 RGBD data를 segmentation을 한다(S110,S120). 그리고 각각의 segment에 대해서, depth slice image 및 point cloud data set을 변환하고, 변환 과정에서 depth slice image의 slice image 개수 L과 point cloud data set의 포인트 수 P를 저장해 놓는다(S130).As illustrated, segmentation is performed on the given RGBD data (S110, S120). Then, for each segment, the depth slice image and the point cloud data set are converted, and the number of slice images L of the depth slice image and the number P of points of the point cloud data set are stored in the conversion process (S130).

만약 depth slice image의 slice image 개수 L이 특정 threshold 값 L t를 넘어서지 않는다면(S140-YES) 그대로 angular spectrum method를 통한 complex hologram 생성 연산을 한다(S160).If the number of slice images L of the depth slice image does not exceed a specific threshold value L t (S140-YES), a complex hologram generation operation is performed through the angular spectrum method (S160).

반면 depth slice image의 slice image 개수 L이 특정 threshold 값 L t를 넘어선다면(S140-NO), point cloud data set의 포인트수 P가 특정 threshold 값 P t를 넘어서지 않는지 판단한다(S150).On the other hand, if the number of slice images L of the depth slice image exceeds a certain threshold value L t (S140-NO), it is determined whether the number P of points of the point cloud data set does not exceed a certain threshold value P t (S150).

만약 point cloud data set의 포인트수 P가 특정 threshold 값 P t 보다 작다면(S150-YES), Rayleigh-Sommerfeld diffration integral 적용의 이득이 있으므로 Rayleigh-Sommerfeld diffraction integral 방식으로 complex hologram 연산을 한다(S170).If the number of points P of the point cloud data set is less than a certain threshold value P t (S150-YES), since there is a benefit of applying the Rayleigh-Sommerfeld diffration integral, a complex hologram operation is performed using the Rayleigh-Sommerfeld diffraction integral method (S170).

반면, point cloud data set의 포인트수 P가 특정 threshold 값 P t를 넘어선다면(S150-NO). depth slice image로부터 angular spectrum method를 통한 complex hologram 연산을 하게 된다(S160).On the other hand, if the number of points P of the point cloud data set exceeds a certain threshold value P t (S150-NO). From the depth slice image, a complex hologram operation is performed through an angular spectrum method (S160).

이후 각각의 세그먼트들에 대해 생성한 홀로그램들을 결합하여 전체 홀로그램을 완성한다.Thereafter, the holograms generated for each segment are combined to complete the hologram.

도 6은 본 발명의 다른 실시예에 따른 홀로그램 생성 방식을 적응적으로 결정하는 시스템의 블럭도이다.6 is a block diagram of a system for adaptively determining a hologram generating method according to another embodiment of the present invention.

본 발명의 실시예에 따른 홀로그램 생성 시스템은, 도 6에 도시된 바와 같이, 통신부(110), 출력부(120), 프로세서(130), 입력부(140) 및 저장부(150)를 포함하는 컴퓨팅 시스템으로 구현가능하다.The hologram generation system according to an embodiment of the present invention, as shown in FIG. 6, includes a communication unit 110, an output unit 120, a processor 130, an input unit 140, and a storage unit 150 It can be implemented as a system.

통신부(110)는 외부 기기 및 외부 네트워크와 통신 연결하여, 데이터를 전송하고 수신하기 위한 통신 수단이다.The communication unit 110 is a communication means for transmitting and receiving data in communication with an external device and an external network.

출력부(120)는 프로세서(130)의 실행 결과가 표시되는 디스플레이이고, 입력부(140)는 사용자 명령을 입력받아 프로세서(130)로 전달하는 입력 수단이다.The output unit 120 is a display on which the execution result of the processor 130 is displayed, and the input unit 140 is an input means for receiving a user command and transmitting it to the processor 130.

프로세서(130)는 전술한 도 5에 제시된 방법에 따라 연산을 수행하여 홀로그램을 생성한다.The processor 130 generates a hologram by performing an operation according to the method shown in FIG. 5 described above.

저장부(150)에는 프로세서(130)가 동작하고 기능함에 있어 필요한 저장 공간을 제공하는 한편, RGBD 이미지가 저장되고, 프로세서(130)에 의해 생성된 홀로그램이 저장된다.The storage unit 150 provides storage space required for the processor 130 to operate and function, while the RGBD image is stored and the hologram generated by the processor 130 is stored.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs functions of the apparatus and method according to the present embodiment. Further, the technical idea according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium. The computer-readable recording medium can be any data storage device that can be read by a computer and stores data. Of course, the computer-readable recording medium can be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like. In addition, computer-readable codes or programs stored on a computer-readable recording medium may be transmitted through a network connected between computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications can be implemented by those skilled in the art, and these modifications should not be individually understood from the technical idea or prospect of the present invention.

110 : 통신부
120 : 출력부
130 : 프로세서
140 : 입력부
150 : 저장부110: communication unit
120: output unit
130: processor
140: input unit
150: storage unit

Claims (12)

이미지를 다수의 세그먼트들로 세그먼테이션 하는 단계;
각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하는 단계;
각각의 세그먼트들에 대해, 뎁스 슬라이스 이미지들의 이미지 개수를 기초로, 홀로그램 생성 방식을 결정하는 단계;
각각의 세그먼트들에 대해, 결정된 방식으로 홀로그램을 생성하는 단계; 및
생성된 홀로그램들을 결합하는 단계;를 포함하는 것을 특징으로 하는 홀로그램 생성 방법.
Segmenting the image into multiple segments;
Converting each segment into depth slice images;
For each segment, determining a hologram generation method based on the number of images of the depth slice images;
For each segment, generating a hologram in a determined manner; And
And combining the generated holograms.
청구항 1에 있어서,
각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하는 단계;를 더 포함하고,
결정 단계는,
각각의 세그먼트들에 대해, 뎁스 슬라이스 이미지들의 이미지 개수 및 포인트 클라우드 데이터 세트의 포인스 개수를 기초로, 홀로그램 생성 방식을 결정하는 것을 특징으로 하는 홀로그램 생성 방법.
The method according to claim 1,
And converting each segment into depth slice images.
The decision phase,
A hologram generation method characterized in that for each segment, the hologram generation method is determined based on the number of images of the depth slice images and the number of points of the point cloud data set.
청구항 2에 있어서,
결정 단계는,
이미지 개수가 특정 개수 미만이면, 뎁스 슬라이스 이미지들을 이용하여 홀로그램을 생성하는 방식을 결정하는 것을 특징으로 하는 홀로그램 생성 방법.
The method according to claim 2,
The decision phase,
If the number of images is less than a specific number, the method for generating holograms using the depth slice images is determined.
청구항 3에 있어서,
뎁스 슬라이스 이미지들을 이용하여 홀로그램을 생성하는 방식은,
angular spectrum method를 통해 complex hologram을 생성하는 방식인 것을 특징으로 하는 홀로그램 생성 방법.
The method according to claim 3,
The method of generating the hologram using the depth slice images,
Hologram generation method characterized in that the method for generating a complex hologram through the angular spectrum method.
청구항 3에 있어서,
결정 단계는,
이미지 개수가 특정 개수 이상이면, 포인스 개수를 기초로 홀로그램 생성 방식을 결정하는 것을 특징으로 하는 홀로그램 생성 방법.
The method according to claim 3,
The decision phase,
If the number of images is greater than or equal to a specific number, a hologram generation method characterized by determining a hologram generation method based on the number of points.
청구항 5에 있어서,
결정 단계는,
포인스 개수를 특정 개수 미만이면, 포인트 클라우드 데이터 세트를 이용하여 홀로그램을 생성하는 방식을 결정하는 것을 특징으로 하는 홀로그램 생성 방법.
The method according to claim 5,
The decision phase,
If the number of points is less than a specific number, a method for generating holograms using a point cloud data set is determined.
청구항 6 있어서,
포인트 클라우드 데이터 세트를 이용하여 홀로그램을 생성하는 방식은,
Rayleigh-Sommerfeld diffraction integral 방식으로 complex hologram을 생성하는 방식인 것을 특징으로 하는 홀로그램 생성 방법.
The method according to claim 6,
The method of generating a hologram using a point cloud data set is:
Rayleigh-Sommerfeld diffraction integral hologram generation method characterized in that the method of generating a complex hologram in an integral manner.
청구항 6에 있어서,
결정 단계는,
포인스 개수를 특정 개수 이상이면, 뎁스 슬라이스 이미지들을 이용하여 홀로그램을 생성하는 방식을 결정하는 것을 특징으로 하는 홀로그램 생성 방법.
The method according to claim 6,
The decision phase,
If the number of points is greater than or equal to a specific number, a hologram generation method characterized by determining a method of generating a hologram using depth slice images.
청구항 1에 있어서,
이미지는,
RGBD 이미지인 것을 특징으로 하는 홀로그램 생성 방법.
The method according to claim 1,
The image is,
Hologram generation method characterized in that the RGBD image.
이미지가 저장된 저장부; 및
저장부에 저장된 이미지를 다수의 세그먼트들로 세그먼테이션 하고, 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하며, 각각의 세그먼트들에 대해 뎁스 슬라이스 이미지들의 이미지 개수를 기초로, 홀로그램 생성 방식을 결정하고, 각각의 세그먼트들에 대해 결정된 방식으로 홀로그램을 생성하며, 생성된 홀로그램들을 결합하는 프로세서;를 포함하는 것을 특징으로 하는 홀로그램 생성 시스템.
A storage unit in which images are stored; And
The image stored in the storage is segmented into a plurality of segments, each segment is converted into depth slice images, and a hologram generation method is determined based on the number of images of the depth slice images for each segment. And a processor that generates the hologram in a determined manner for the segments of the unit and combines the generated holograms.
이미지를 다수의 세그먼트들로 세그먼테이션 하는 단계;
각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하는 단계;
각각의 세그먼트들에 대해, 뎁스 슬라이스 이미지들의 이미지 개수를 기초로, 홀로그램 생성 방식을 결정하는 단계; 및
각각의 세그먼트들에 대해, 결정된 방식으로 홀로그램을 생성하는 단계;를 포함하는 것을 특징으로 하는 홀로그램 생성 방법.
Segmenting the image into multiple segments;
Converting each segment into depth slice images;
For each segment, determining a hologram generation method based on the number of images of the depth slice images; And
And for each segment, generating a hologram in a determined manner.
이미지가 저장된 저장부; 및
저장부에 저장된 이미지를 다수의 세그먼트들로 세그먼테이션 하고, 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하며, 각각의 세그먼트들에 대해 뎁스 슬라이스 이미지들의 이미지 개수를 기초로, 홀로그램 생성 방식을 결정하고, 각각의 세그먼트들에 대해 결정된 방식으로 홀로그램을 생성하는 프로세서;를 포함하는 것을 특징으로 하는 홀로그램 생성 시스템.
A storage unit in which images are stored; And
The image stored in the storage is segmented into a plurality of segments, each segment is converted into depth slice images, and a hologram generation method is determined based on the number of images of the depth slice images for each segment. And a processor that generates the hologram in a manner determined for the segments of the hologram.
KR1020180156592A 2018-12-07 2018-12-07 Hologram Generation Method Using Segmentation KR102161950B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2018/015484 WO2020116692A1 (en) 2018-12-07 2018-12-07 Hologram generation method using segmentation
KR1020180156592A KR102161950B1 (en) 2018-12-07 2018-12-07 Hologram Generation Method Using Segmentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180156592A KR102161950B1 (en) 2018-12-07 2018-12-07 Hologram Generation Method Using Segmentation

Publications (2)

Publication Number Publication Date
KR20200069492A true KR20200069492A (en) 2020-06-17
KR102161950B1 KR102161950B1 (en) 2020-10-06

Family

ID=70974291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180156592A KR102161950B1 (en) 2018-12-07 2018-12-07 Hologram Generation Method Using Segmentation

Country Status (2)

Country Link
KR (1) KR102161950B1 (en)
WO (1) WO2020116692A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11532122B2 (en) 2020-03-05 2022-12-20 Electronics And Telecommunications Research Institute Method and apparatus for processing holographic image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120118626A (en) * 2011-04-19 2012-10-29 전자부품연구원 Hologram display, method for hologram display
KR20120118582A (en) * 2011-04-19 2012-10-29 전자부품연구원 Fast holographic fringe pattern generation
KR20180069622A (en) * 2016-12-15 2018-06-25 한국전자통신연구원 Method and apparatus for authoring hologram content

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2084582B1 (en) * 2006-12-01 2016-01-06 F. Poszat HU, L.L.C. Computer generated hologram
KR102262214B1 (en) * 2014-09-23 2021-06-08 삼성전자주식회사 Apparatus and method for displaying holographic 3-dimensional image
KR101883233B1 (en) * 2017-02-21 2018-07-30 주식회사 미래기술연구소 Method for generating and reconstructing 3-dimensional computer generated hologram

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120118626A (en) * 2011-04-19 2012-10-29 전자부품연구원 Hologram display, method for hologram display
KR20120118582A (en) * 2011-04-19 2012-10-29 전자부품연구원 Fast holographic fringe pattern generation
KR20180069622A (en) * 2016-12-15 2018-06-25 한국전자통신연구원 Method and apparatus for authoring hologram content

Also Published As

Publication number Publication date
WO2020116692A1 (en) 2020-06-11
KR102161950B1 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
KR102047031B1 (en) Deep Stereo: Learning to predict new views from real world images
RU2007127915A (en) METHOD FOR CALCULATING DIGITAL VIDEO PROGRAMS AND A DEVICE FOR ITS IMPLEMENTATION
CN110166757B (en) Method, system and storage medium for compressing data by computer
CN109920056B (en) Building rendering method, device, equipment and medium
CN110574371A (en) Stereo camera depth determination using hardware accelerators
US10573017B2 (en) Depth estimation method and depth estimation apparatus of multi-view images
WO2023207356A1 (en) Image rendering method and apparatus, device, and storage medium
CN109325996B (en) Method and device for generating information
KR20130086437A (en) Method and apparatus for generating fast 3d hologram
KR20160031328A (en) Method and apparatus for redndering
KR102161950B1 (en) Hologram Generation Method Using Segmentation
KR101421984B1 (en) A Fast Generation Method of Digital Hologram Using Depth Difference Temporal Filtering
CN109377552B (en) Image occlusion calculating method, device, calculating equipment and storage medium
CN111768353B (en) Hole filling method and device for three-dimensional model
KR20160004096A (en) Mipmap Generation Method and apparatus
CN110288523B (en) Image generation method and device
US20190172249A1 (en) Systems and Methods for Real-Time Large-Scale Point Cloud Surface Reconstruction
EP3499381B1 (en) Image data processing method and apparatus
US10996627B2 (en) Image data processing method and apparatus
US9165347B2 (en) Method of and apparatus for local optimization texture synthesis 3-D inpainting
KR100914312B1 (en) Method and system of generating saliency map using graphics hardware and programmable shader and recording medium therewith
US20140198176A1 (en) Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data
KR101978176B1 (en) Image processing apparatus and method
KR102357469B1 (en) Method and System for Processing FMCW Radar Signal using Lightweight Deep Learning Network
WO2023179091A1 (en) Three-dimensional model rendering method and apparatus, and device, storage medium and program product

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant