KR101421984B1 - A Fast Generation Method of Digital Hologram Using Depth Difference Temporal Filtering - Google Patents

A Fast Generation Method of Digital Hologram Using Depth Difference Temporal Filtering Download PDF

Info

Publication number
KR101421984B1
KR101421984B1 KR1020120114653A KR20120114653A KR101421984B1 KR 101421984 B1 KR101421984 B1 KR 101421984B1 KR 1020120114653 A KR1020120114653 A KR 1020120114653A KR 20120114653 A KR20120114653 A KR 20120114653A KR 101421984 B1 KR101421984 B1 KR 101421984B1
Authority
KR
South Korea
Prior art keywords
hologram
depth
frames
frame
group
Prior art date
Application number
KR1020120114653A
Other languages
Korean (ko)
Other versions
KR20140049161A (en
Inventor
최현준
Original Assignee
목포해양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 목포해양대학교 산학협력단 filed Critical 목포해양대학교 산학협력단
Priority to KR1020120114653A priority Critical patent/KR101421984B1/en
Publication of KR20140049161A publication Critical patent/KR20140049161A/en
Application granted granted Critical
Publication of KR101421984B1 publication Critical patent/KR101421984B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/20—Copying holograms by holographic, i.e. optical means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)

Abstract

깊이영상의 시간상 일련의 프레임을 그룹으로 묶고, 그룹 내의 프레임 간 유사도를 구하여 유사한 부분에 대한 홀로그램 연산을 한 번만 수행하는 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법에 관한 것으로서, (a) 시간상 일련의 프레임으로 구성된 깊이 영상을 입력받는 단계; (b) 상기 깊이 영상의 프레임을 적어도 2개의 연속된 프레임으로 묶어 그룹(이하 깊이 그룹)을 형성하는 단계; (c) 상기 깊이 그룹 내의 모든 프레임 간의 유사도를 좌표별로 계산하여, 유사한 것으로 판단되는 좌표(이하 공동 좌표)와 나머지 좌표(이하 상이 좌표)로 구분하는 단계; (d) 상기 공동 좌표에 대하여 좌표의 깊이값에 의한 홀로그램(이하 공동 홀로그램)을 1회 계산하고, 상기 상이 좌표에 대하여 좌표의 깊이값에 의한 홀로그램(이하 프레임별 홀로그램)을 각 프레임별로 계산하는 단계; 및, (e) 상기 공동 홀로그램과 상기 프레임별 홀로그램을 합하여 상기 깊이 그룹 내 각 프레임의 디지털 홀로그램을 구하는 단계를 포함하는 구성을 마련한다.
상기와 같은 디지털 홀로그램의 고속 생성 방법에 의하여, 인접한 깊이정보 프레임간의 차이를 구해 동일한 깊이값을 갖는 좌표들의 홀로그램(CGH) 계산을 생략함으로써, 일반적인 홀로그램(CGH) 연산을 이용하는 경우에 비해 약 65% 정도 연산속도가 향상될 수 있다.The present invention relates to a method for generating a digital hologram based on temporal filtering of depth information by grouping a series of frames in time of a depth image and obtaining similarities between frames within the group to perform a hologram operation for a similar portion only once, Receiving a depth image composed of a series of frames; (b) grouping the frames of the depth image into at least two consecutive frames to form a group (hereinafter referred to as a depth group); (c) calculating the degree of similarity between all the frames in the depth group for each of the coordinates, and dividing the coordinates into coordinates (hereinafter referred to as common coordinates) and remaining coordinates (hereinafter referred to as disparate coordinates); (h) a hologram (hereinafter referred to as a joint hologram) by a depth value of the coordinate with respect to the co-ordinates is calculated once, and a hologram (hereinafter referred to as a frame-specific hologram) by the depth value of the coordinate with respect to the image coordinate is calculated for each frame step; And (e) obtaining a digital hologram of each frame in the depth group by summing the common hologram and the frame-by-frame hologram.
By omitting the calculation of the hologram (CGH) of the coordinates having the same depth value by obtaining the difference between the adjacent depth information frames by using the above-described high-speed digital hologram generating method, it is possible to obtain a hologram (CGH) The operation speed can be improved.

Description

깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법 { A Fast Generation Method of Digital Hologram Using Depth Difference Temporal Filtering }[0001] The present invention relates to a method of generating a digital hologram based on temporal filtering of depth information,

본 발명은 깊이정보(depth-map) 비디오 프레임간의 공간적인 중복성을 이용하여 인접한 깊이정보 프레임간의 차이를 구해 동일한 깊이값을 갖는 좌표들의 홀로그램(CGH) 계산을 생략하는 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법에 관한 것이다.
The present invention relates to a temporal filtering based digital hologram (hereinafter referred to as " temporal filtering ") of depth information which omits hologram (CGH) calculation of coordinates having the same depth value by finding the difference between adjacent depth information frames using spatial redundancy between depth- To a high-speed generation method.

일반적으로, 홀로그램은 입체영상 디스플레이에서부터 고밀도 메모리 기술, 빛을 이용한 고속 병렬연산에 이르기까지 다양한 응용분야로 확대되고 있다. 반도체 기술이 디지털 혁명의 모태가 된 것처럼 홀로그래피는 차세대 디스플레이분야의 핵심 기술로 자리 잡을 것으로 보인다. In general, holograms are being extended to a variety of applications ranging from stereoscopic display to high-density memory technology and high-speed parallel computation using light. Just as semiconductor technology has become the birthplace of the digital revolution, holography is expected to become a key technology in the next generation of display.

홀로그래피는 1940년대 초에 제안된 이후 3차원 정보를 기록할 수 있다는 특징 때문에 많은 연구자들의 관심을 끌어왔다. 하지만 아날로그 필름 형태로 저장 및 유통이 되던 기존의 홀로그래피는 가 간섭 광원인 레이저를 사용하기 때문에 간섭패턴을 기록하기 위해서는 암실과 같은 제한된 공간이 필요하고, 진동과 같은 주변 환경에 매우 민감하여 안정적인 광학 시스템이 요구되어 대중화에 상당한 제약이 있었다.Holography has attracted the attention of many researchers because of its ability to record 3D information since it was proposed in the early 1940s. However, the conventional holography, which has been stored and distributed in the form of analog film, uses a laser as an interference light source. Therefore, a limited space such as a dark room is required to record an interference pattern and a stable optical system And there was a significant restriction on popularization.

이런 문제점은 홀로그램을 생성, 획득, 저장, 처리, 표현(디스플레이)하는 장치가 디지털화됨에 따라서 점차 해결되고 있는 상황이다. 특히 컴퓨터를 이용하여 홀로그램을 생성하는 컴퓨터 생성 홀로그램(computer-generated hologram, CGH)[비특허문헌 1,2] 기법을 이용할 경우 컴퓨터를 이용해 비교적 간단하게 홀로그램(디지털 홀로그램)을 얻을 수 있다.Such a problem is gradually being solved as a device for generating, acquiring, storing, processing, and displaying (displaying) a hologram is digitized. Particularly, when a computer-generated hologram (CGH) [Non-Patent Documents 1 and 2] technique for generating a hologram using a computer is used, a hologram (digital hologram) can be relatively easily obtained using a computer.

CGH 기법은 빛의 회절을 계산하는 광선추적(ray-tracing) 방식이 사용되고 있다. 이 방식은 객체를 여러 점들의 집합으로 보고 각 점들에 대한 중간 홀로그램을 계산한 후 이를 모두 합산하게 된다. 따라서 이 기법의 경우 상당히 많은 연산량이 요구된다. 만약 다수의 디지털 홀로그램을 생성할 경우(디지털 홀로그래픽 비디오 서비스의 경우) 연산량과 시간은 기하급수적으로 늘어나게 된다. 이런 문제는 실시간 홀로그램 서비스에 상당한 장애요소가 되고 있다[비특허문헌 3-6].The CGH technique uses a ray-tracing method for calculating the diffraction of light. In this method, the object is regarded as a set of points, the intermediate hologram is calculated for each point, and then all the holograms are summed. Therefore, this technique requires a considerable amount of computation. If you create multiple digital holograms (for digital holographic video services), the amount of computation and time will increase exponentially. This problem has become a significant obstacle to real-time hologram service [Non-Patent Document 3-6].

따라서 여러 장의 깊이정보 프레임을 대상으로 CGH 연산을 수행할 경우 급격히 증가하는 연산시간을 줄일 수 있는 방법이 필요하다. 특히, 시간축에서 인접한 깊이정보 프레임들간의 공간적인 중복성을 탐색하여 중복되는 영역에 대한 중복 연산을 생략할 수 있는 방법이 필요하다.
Therefore, if CGH operation is performed on several depth information frames, it is necessary to reduce the computation time. In particular, there is a need for a method that can omit redundant operations for overlapping regions by searching spatial redundancy between adjacent depth information frames on the time axis.

[비특허문헌 1] B. R. Brown, A. W. Lohmann, "Complex spatial filtering with binary masks," Applied Optics, Vol. 5, 967-969, 1966.[Non-Patent Document 1] B. R. Brown, A. W. Lohmann, "Complex spatial filtering with binary masks," Applied Optics, Vol. 5, 967-969, 1966. [비특허문헌 2] B. R. Brown and A. W. Lohmann, "Complex spatial filtering with binary masks," Applied Optics, Vol. 5, No.6, pp. 967-969,1966.[Non-Patent Document 2] B. R. Brown and A. W. Lohmann, "Complex spatial filtering with binary masks," Applied Optics, Vol. 5, No. 6, pp. 967-969,1966. [비특허문헌 3] H. Yoshikawa, "Fast computation of Fresnel holograms employing difference," Optics Review, Vol. 8, pp. 331-335, 2000.[Non-Patent Document 3] H. Yoshikawa, "Fast computation of Fresnel holograms employing difference," Optics Review, Vol. 8, pp. 331-335, 2000. [비특허문헌 4] T. Shimobaba, T. Ito, "An efficient computational method suitable for hardware of computer-generated hologram with phase computation by addition," Computer Physics Communication, Vol. 138, pp. 44-52, 2001.[Non-Patent Document 4] T. Shimobaba, T. Ito, "An efficient computational method suitable for a computer-generated hologram with phase computation by addition ", Computer Physics Communication, Vol. 138, pp. 44-52, 2001. [비특허문헌 5] S. C. Kim, J. H. Yoon, E. S. Kim, "Fast generation of three-dimensional video holograms by combined use of data compression and lookup table techniques," Applied Optics, Vol. 47, Issue 32, pp. 5986-5995, 2008[Non-Patent Document 5] S. C. Kim, J. H. Yoon, E. Kim, "Fast generation of three-dimensional video holograms by combined use of data compression and lookup table techniques," Applied Optics, Vol. 47, Issue 32, pp. 5986-5995, 2008 [비특허문헌 6] Tomoyoshi Shimobaba, Tomoyoshi Ito, Nobuyuki Masuda, Yasuyuki Ichihashi, and Naoki Takada ,"Fast calculation of computer-generated-hologram on AMD HD5000 series GPU and OpenCL," Optics Express, Vol. 18, Issue 10, pp. 9955-9960, 2010 [Non-patent document 6] Tomoyoshi Shimobaba, Tomoyoshi Ito, Nobuyuki Masuda, Yasuyuki Ichihashi, and Naoki Takada, "Fast calculation of computer-generated-hologram on AMD HD5000 series GPU and OpenCL, Optics Express, Vol. 18, Issue 10, pp. 9955-9960, 2010 [비특허문헌 7] ISO/IEC 13818-2: 2000, ""Information technology-generic coding of moving pictures and associated audio information-part 2: video", 2000[Non-Patent Document 7] ISO / IEC 13818-2: 2000, "Information technology-generic coding of moving pictures and associated audio information-part 2: video &

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 깊이정보(depth-map) 비디오 프레임간의 공간적인 중복성을 이용하여 인접한 깊이정보 프레임간의 차이를 구해 동일한 깊이값을 갖는 좌표들의 홀로그램(CGH) 계산을 생략하는 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The object of the present invention is to solve the above-mentioned problems, and it is an object of the present invention to provide a method and an apparatus for correcting a difference between adjacent depth information frames by using spatial redundancy between depth- ) Based on temporal filtering of depth information that omits calculation.

특히, 본 발명의 목적은 깊이영상의 시간상 일련의 프레임을 그룹으로 묶고, 그룹 내의 프레임 간 유사도를 구하여 유사한 부분에 대한 홀로그램 연산을 한 번만 수행하는 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법을 제공하는 것이다.In particular, it is an object of the present invention to provide a method of generating a digital hologram based on temporal filtering of depth information, which groups a series of frames in time of a depth image and obtains similarities between frames in the group and performs a hologram operation only once on similar portions .

상기 목적을 달성하기 위해 본 발명은 깊이영상을 입력받아 홀로그램 영상을 생성하는 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법에 관한 것으로서, (a) 시간상 일련의 프레임들로 구성된 깊이 영상을 입력받는 단계; (b) 상기 깊이 영상의 프레임들을 적어도 2개의 연속된 프레임으로 묶어 그룹(이하 깊이 그룹)을 형성하는 단계; (c) 상기 깊이 그룹 내의 모든 프레임 간의 유사도를 좌표별로 계산하여, 유사한 것으로 판단되는 좌표(이하 공동 좌표)와 나머지 좌표(이하 상이 좌표)로 구분하는 단계; (d) 상기 공동 좌표에 대하여 좌표의 깊이값에 의한 홀로그램(이하 공동 홀로그램)을 1회 계산하고, 상기 상이 좌표에 대하여 좌표의 깊이값에 의한 홀로그램(이하 프레임별 홀로그램)을 각 프레임별로 계산하는 단계; 및, (e) 상기 공동 홀로그램과 상기 프레임별 홀로그램을 합하여 상기 깊이 그룹 내 각 프레임의 디지털 홀로그램을 구하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of generating a digital hologram based on temporal filtering of depth information for generating a hologram image by receiving a depth image, the method comprising: (a) receiving a depth image composed of a series of frames in time step; (b) grouping the frames of the depth image into at least two consecutive frames to form a group (hereinafter referred to as a depth group); (c) calculating the degree of similarity between all the frames in the depth group for each of the coordinates, and dividing the coordinates into coordinates (hereinafter referred to as common coordinates) and remaining coordinates (hereinafter referred to as disparate coordinates); (h) a hologram (hereinafter referred to as a joint hologram) by a depth value of the coordinate with respect to the co-ordinates is calculated once, and a hologram (hereinafter referred to as a frame-specific hologram) by the depth value of the coordinate with respect to the image coordinate is calculated for each frame step; And (e) summing the common hologram and the frame-by-frame hologram to obtain a digital hologram of each frame in the depth group.

또, 본 발명은 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법에 있어서, 상기 (b)단계에서, 상기 깊이 그룹에 속하는 프레임들의 개수를 동일한 크기(이하 그룹 크기)로 묶는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of generating a digital hologram based on temporal filtering of depth information, wherein the number of frames belonging to the depth group is grouped into a same size (hereinafter referred to as group size) in step (b).

또, 본 발명은 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법에 있어서, 상기 방법은, (f) 상기 깊이 그룹으로 묶어 지지 않고 남은 프레임에 대하여, 상기 그룹 크기를 하나 줄여서 상기 (b)단계부터 반복하는 단계를 더 포함하는 것을 특징으로 한다.The present invention also provides a method for generating a digital hologram based on temporal filtering of depth information, comprising the steps of: (f) reducing the group size by one for the remaining frames not bounded by the depth group, And repeating the steps from the beginning.

또, 본 발명은 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법에 있어서, 상기 (f)단계에서, 남은 프레임이 1개인 경우, 남은 프레임에 대해서 홀로그램을 계산하여 해당 프레임의 디지털 홀로그램을 구하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of generating a digital hologram based on temporal filtering of depth information, the method comprising: calculating a hologram for a remaining frame when the remaining frame is 1 in step (f) .

또, 본 발명은 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법에 있어서, 상기 그룹 크기를 5 이하로 정하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a high-speed digital hologram generating method based on temporal filtering of depth information, wherein the group size is set to 5 or less.

또, 본 발명은 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법에 있어서, 상기 유사도는 프레임 간의 깊이값 차이로 구하고, 깊이값이 동일한지 여부로 유사 여부를 판단하는 것을 특징으로 한다.
According to another aspect of the present invention, there is provided a high-speed digital hologram generating method based on temporal filtering of depth information, wherein the similarity is determined by a difference between depth values of frames and whether or not the depth values are identical.

상술한 바와 같이, 본 발명에 따른 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법에 의하면, 인접한 깊이정보 프레임간의 차이를 구해 동일한 깊이값을 갖는 좌표들의 홀로그램(CGH) 계산을 생략함으로써, 컴퓨터 생성 홀로그램(CGH) 연산의 과도한 연산량을 줄일 수 있는 효과가 얻어진다.As described above, according to the method for generating a digital hologram based on temporal filtering of depth information according to the present invention, by calculating the difference between adjacent depth information frames and omitting calculation of a hologram (CGH) of coordinates having the same depth value, An effect of reducing an excessive amount of computation of the hologram (CGH) operation can be obtained.

특히, 본 발명의 실험에 의하면, 일반적인 홀로그램(CGH) 연산을 이용하는 경우에 비해 약 65% 정도 연산속도가 향상될 수 있는 효과가 얻어진다.
Particularly, according to the experiment of the present invention, an effect that the operation speed can be improved by about 65% as compared with the case of using a general hologram (CGH) operation is obtained.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면이다.
도 2는 본 발명에 사용되는 컴퓨터 생성 홀로그램(CGH)의 연산과정을 도시한 것이다.
도 3은 본 발명에 따른 공간적인 중복성을 계산하기 위한 과정을 도시한 것이다.
도 4는 본 발명에 따른 실험 영상의 예로서, (a) Ballet, (b) David, (c) Camaro의 영상이다.
도 5는 본 발명의 실험에 따른 깊이정보 비디오의 시간축 상에서의 중복성 검사결과로서, (a) Ballet, (b) David, (c) Camaro의 검사결과 그래프이다.
도 6은 본 발명의 제1 실시예에 따른 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법을 설명하는 흐름도이다.
도 7은 본 발명의 제1 실시예에 따른 깊이 그룹을 묶는 방식의 예를 도시한 것이다.
도 8은 본 발명의 제1 및 제2 실시예에 따른 DDTF CGH 고속 생성 방법의 예로서, (a) Method 1(그룹 크기 2), (b) Method 2(그룹 크기 3), (c) Method 3(그룹 크기 4), (d) Method 4(그룹 크기 5)의 예를 도시한 것이다.
도 9는 본 발명의 제2 실시예에 따른 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법을 설명하는 흐름도이다.
도 10은 본 발명의 제2 실시예에 따른 DDTF CGH 고속 생성 방법을 위한 GoD 설정 방법의 예를 도시한 것이다.
도 11은 본 발명의 실험에 따른 실험 환경의 표이다.
도 12는 본 발명의 실험에 따른 회전하는 객체를 촬영한 깊이정보 비디오에 적용한 결과 그래프이다.
도 13은 본 발명의 실험에 따른 회전하는 객체의 깊이정보 영상과 홀로그래픽 복원영상으로서, (a) Ballet, (b) David의 예를 도시한 것이다.
도 14는 본 발명의 실험에 따른 수평이동하는 객체를 촬영한 깊이정보 비디오에 적용한 결과 그래프이다.
도 15는 본 발명의 실험에 따른 수평이동하는 객체의 깊이정보 영상과 홀로그래픽 복원영상의 예를 도시한 것이다.1 is a diagram showing a configuration of an overall system for carrying out the present invention.
FIG. 2 shows a calculation process of a computer generated hologram (CGH) used in the present invention.
FIG. 3 illustrates a process for calculating the spatial redundancy according to the present invention.
4 is an image of an experimental image according to the present invention, which is (a) Ballet, (b) David, and (c) Camaro.
FIG. 5 is a graph showing the result of checking the redundancy on the time axis of the depth information video according to the experiment of the present invention, (a) Ballet, (b) David, and (c) Camaro.
FIG. 6 is a flowchart illustrating a method for generating a digital hologram at high speed based on temporal filtering of depth information according to the first embodiment of the present invention.
FIG. 7 shows an example of a method of grouping depth groups according to the first embodiment of the present invention.
FIG. 8 shows an example of a high speed DDTF CGH generation method according to the first and second embodiments of the present invention. 3 (group size 4), and (d) Method 4 (group size 5).
9 is a flowchart illustrating a method of generating a digital hologram at a high speed based on temporal filtering of depth information according to a second embodiment of the present invention.
FIG. 10 shows an example of a GoD setting method for a DDTF CGH high-speed generating method according to the second embodiment of the present invention.
11 is a table of experimental conditions according to the experiment of the present invention.
12 is a graph showing a result of applying the present invention to a depth information video of a rotating object according to an experiment of the present invention.
13 shows an example of (a) Ballet, (b) David as a depth information image and a holographic reconstructed image of a rotating object according to an experiment of the present invention.
FIG. 14 is a graph of a result of applying the depth information video to a horizontally moving object according to the experiment of the present invention.
FIG. 15 illustrates an example of a depth information image and a holographic reconstruction image of a horizontally moving object according to an experiment of the present invention.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the drawings.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
In the description of the present invention, the same parts are denoted by the same reference numerals, and repetitive description thereof will be omitted.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.First, examples of the configuration of the entire system for carrying out the present invention will be described with reference to Fig.

도 1에서 보는 바와 같이, 본 발명에 따른 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법은 깊이 카메라(20)에 의해 촬영된 깊이영상(60)을 입력받아 컴퓨터 생성 홀로그램(CGH)을 생성하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 디지털 홀로그램의 고속 생성 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 프로그램 시스템(40)과 같이 동작할 수 있다.As shown in FIG. 1, a method for generating a digital hologram based on temporal filtering of depth information according to the present invention includes generating a computer generated hologram (CGH) by receiving a depth image 60 captured by a depth camera 20 May be implemented as a program system on the computer terminal 30. That is, the high-speed generation method of the digital hologram can be implemented by a program and installed in the computer terminal 30 and executed. The program installed in the computer terminal 30 can operate as one program system 40. [

한편, 다른 실시예로서, 디지털 홀로그램의 고속 생성 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 깊이영상으로부터 홀로그램(또는 컴퓨터 생성 홀로그램)을 생성하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 디지털 홀로그램의 고속 생성 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.Meanwhile, as another embodiment, a high-speed digital hologram generating method may be implemented by a single electronic circuit such as an ASIC (on-demand semiconductor) in addition to the general purpose computer which is constituted by a program. Or a dedicated computer terminal 20 dedicated to producing only a hologram (or computer generated hologram) from the depth image. This is referred to as a digital hologram high-speed generating apparatus 40. Other possible forms may also be practiced.

깊이 카메라(20)는 사물(10)의 깊이를 측정하는 카메라로서, 깊이정보를 측정하여 깊이영상을 출력하는 카메라를 말한다.The depth camera 20 is a camera for measuring the depth of the object 10, and is a camera for measuring depth information and outputting a depth image.

촬영된 영상(60)은 깊이 카메라(20)로 촬영된 깊이영상이다. 깊이영상(60)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 디지털 홀로그램의 고속 생성 장치(40)에 의해 처리된다. 또는, 깊이영상(60)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 디지털 홀로그램의 고속 생성 장치(40)에 의해 저장된 깊이영상(60)을 읽어 입력될 수도 있다.The photographed image 60 is a depth image photographed by the depth camera 20. The depth image 60 is directly input to and stored in the computer terminal 30 and is processed by the high-speed generating device 40 of the digital hologram. Alternatively, the depth image 60 may be stored in advance in the storage medium of the computer terminal 30, and may be read by inputting the depth image 60 stored by the high-speed generation device 40 of the digital hologram.

깊이영상(60)은 시간상으로 연속된 프레임들로 구성된다. 하나의 프레임은 하나의 깊이값 2차원 이미지를 갖는다. 또한, 각 프레임의 깊이값은 좌표로 표시될 수 있다. 예를 들어, 가로축을 x축, 세로축을 y축으로 하여, (xj,yj)의 좌표에 대한 깊이값 zj로 각 프레임이 표시될 수 있다.The depth image 60 is composed of consecutive frames in time. One frame has one depth value two-dimensional image. In addition, the depth value of each frame can be expressed in coordinates. For example, each frame may be displayed with a depth value z j for the coordinates of (x j , y j ), with the horizontal axis as x axis and the vertical axis as y axis.

한편, 디지털 홀로그램의 고속 생성 장치(40)는 깊이영상(60)을 입력받아, 상기 영상(60)으로부터 홀로그램 영상(CGH)을 생성한다.
Meanwhile, the digital hologram high-speed generating apparatus 40 receives the depth image 60 and generates a hologram image CGH from the image 60.

다음으로, 본 발명에 따른 컴퓨터 생성 홀로그램(CGH)을 구하는 연산 방법을 구체적으로 설명한다.Next, a calculation method for obtaining the computer generated hologram (CGH) according to the present invention will be described in detail.

본 발명에 따르면, 위상을 이용한 CGH 생성 방법을 사용한다. CGH 연산식은 [수학식 1]과 같이 정의된다. 이 식은 홀로그램의 위상(θH)으로부터 홀로그램의 빛의 강도(Iα)를 얻는 방법이다. 여기서 N은 3차원 객체의 광원수를 뜻한다.According to the present invention, a CGH generation method using a phase is used. The CGH operation expression is defined as in Equation (1). This equation is a method of obtaining the intensity (I alpha ) of light of the hologram from the phase ([theta] H ) of the hologram. Where N is the number of light sources in the 3D object.

[수학식 1][Equation 1]

Figure 112012083866851-pat00001
Figure 112012083866851-pat00001

θH는 Raj 로 정의되고 이는 [수학식 2]와 같다.θ H is defined as R aj , which is shown in Equation (2).

[수학식 2]&Quot; (2) "

Figure 112012083866851-pat00002
Figure 112012083866851-pat00002

여기서 k는 참조파의 파수(wave number)로 2π/λ로 정의되고 λ는 532nm의 값을 사용한다. xa와 ya는 홀로그램 내부의 위치를 의미하고 xj, yj, 및 zj 는 3차원 객체의 좌표를 나타낸다.Where k is defined as 2π / λ as the wave number of the reference wave and λ is the value of 532nm. x a and y a mean the position inside the hologram, and x j , y j , and z j represent the coordinates of the 3D object.

[수학식 2]는 Taylor 전개와 근사화 과정을 통해 [수학식 3]과 같이 간략화 될 수 있다[비특허문헌 4].[Equation 2] can be simplified as in Equation 3 through the Taylor expansion and the approximation process [Non-Patent Document 4].

[수학식 3]&Quot; (3) "

Figure 112012083866851-pat00003
Figure 112012083866851-pat00003

CGH 연산은 [수학식 1], [수학식 2]를 이용해 수행되는데, 이때 H×V 크기의 3차원 객체(intensity, depth)에 대한 M×N 크기의 디지털 홀로그램을 만들기 위해서는 M×N×H×V 만큼의 기본 반복연산이 필요하다.The CGH operation is performed using Equations (1) and (2). To create an M × N digital hologram for an H × V three-dimensional object (intensity, depth) The basic iterative operation of × V is required.

한 번의 반복연산에는 세부적으로 다수의 곱셈과 누적 덧셈 연산이 필요하다. 이러한 이유로 한 장의 홀로그램을 소프트웨어를 이용해서 생성하고자 할 경우에 최소 수 분 이상의 시간이 소요된다[비특허문헌 6].One iteration operation requires a lot of multiplication and accumulation operations in detail. For this reason, it takes at least several minutes to create a single hologram using software [Non-Patent Document 6].

도 2에서 한 장의 디지털 홀로그램을 생성하는 CGH 연산과정을 보이고 있다.
FIG. 2 shows a CGH calculation process for generating a single digital hologram.

다음으로, 본 발명에서 이용하는 깊이정보 프레임간의 공간적인 중복성 특성을 도 3 내지 도 5를 참조하여 보다 구체적으로 설명한다.Next, spatial redundancy characteristics between depth information frames used in the present invention will be described in more detail with reference to FIGS. 3 to 5. FIG.

앞서 기술한 바와 같이 CGH 연산방법을 이용해 디지털 홀로그램을 생성할 경우 상당한 시간이 소요된다. 이를 여러 장의 깊이정보 프레임으로 확장할 경우(디지털 홀로그래픽 비디오) 연산시간이 얼마나 늘어날 것인지는 직관적으로 예측할 수 있을 것이다. 이런 문제점을 해결하기 위해 본 발명에서는 깊이정보 프레임간의 공간적인 중복성을 탐색하여 고속으로 디지털 홀로그램 비디오를 생성한다.As described above, it takes considerable time to generate a digital hologram using the CGH calculation method. It can be intuitively predicted how much time it will take to extend this to multiple depth information frames (digital holographic video). In order to solve such a problem, the present invention exploits spatial redundancy between depth information frames to generate digital hologram video at high speed.

일반적인 자연영상 비디오의 경우 시간 축 상에서 인접한 영상사이에 상당한 공간적인 유사성이 존재한다[비특허문헌 7]. MPEG 계열의 동영상 압축기법의 경우 이런 공간적인 중복성을 이용해 첫 번째 영상(t)은 화면 내 부호화(intra coding)를 수행하고, 두 번째 영상(t+1)부터는 첫 번째 영상과의 차이값(residual image)만을 부호화(inter coding)하여 전송한다.In the case of general natural image video, there is considerable spatial similarity between adjacent images on the time axis [Non-Patent Document 7]. In the MPEG-based moving picture compression technique, intra coding is performed on the first image (t) using the spatial redundancy, and the residual value from the second image (t + 1) image is inter-coded and transmitted.

깊이정보 영상들의 집합인 깊이정보 비디오의 경우에도 일반적인 자연영상 비디오와 같이 시간축 상에서 공간적인 중복성을 찾을 수 있다면 이런 특징을 홀로그램 생성에 이용할 수 있을 것이다.In the case of depth information video, which is a set of depth information images, if spatial redundancy can be found on the time axis as in general natural image video, this feature can be used for hologram generation.

도 3은 n개의 깊이정보 프레임으로 구성된 깊이정보 비디오를 대상으로 두 개의 깊이정보를 하나의 깊이 그룹(GoD, Group of Depth)로 구성하여 공간적인 중복성을 측정하기 위한 과정의 일례를 보이고 있다.FIG. 3 shows an example of a process for measuring spatial redundancy by constructing two depth information as a depth group (GoD, Group of Depth) on a depth information video composed of n depth information frames.

도 3의 예는 n개의 깊이정보 프레임을 대상으로 차이 생성기(DG, Difference Generator) 과정을 통해 인접한 프레임간의 유사도를 계산하여 차이가 나는 좌표정보(이하 상이좌표, DC, Difference Coordinate)와 동일한 좌표정보(이하 공동좌표, CC, Common Coordinate)를 구하는 것이다.3, the degree of similarity between adjacent frames is calculated through a difference generator (DG) process for n depth information frames, and the same coordinate information (hereinafter referred to as " DC " (Common Coordinate, CC, Common Coordinate).

도 4는 깊이정보 비디오를 대상으로 시간축에서의 중복성을 측정하기 위해 사용한 실험영상의 예를 보이고 있다. 도 4(a),(b)는 회전하는 객체를 깊이정보 카메라로 촬영한 깊이정보 비디오이고, 도 4(c)는 수평방향으로 이동하는 객체를 촬영한 깊이정보 비디오이다. 이 깊이정보 영상은 실험에 사용한 깊이정보 비디오의 일부 프레임만을 예를 들어 보이는 것이다.FIG. 4 shows an example of an experimental image used for measuring the redundancy on the time axis with respect to the depth information video. 4 (a) and 4 (b) show a depth information video obtained by photographing a rotating object with a depth information camera, and FIG. 4 (c) shows a depth information video obtained by shooting an object moving in a horizontal direction. This depth information image shows only some frames of the depth information video used in the experiment.

도 5는 세 개의 깊이정보 비디오를 대상으로 시간축 상에서의 공간적인 중복성을 계산한 결과이다. 도 5의 각 그래프는 전체 비디오 프레임 중에 10개의 프레임을 선택하여 인접한 프레임간에 동일한 값들의 개수를 나타낸 것이다. 이 그래프의 x-축은 임의로 선정한 비디오 프레임, y-축은 인접한 프레임에서 동일한 깊이정보의 개수를 나타내고 있다. 여기서 임의로 선택한 10개의 프레임을 기준으로 GoD의 크기를 2~5까지 설정하여 하나의 GoD내의 동일한 깊이정보의 개수를 측정하였다.Fig. 5 is a result of calculating spatial redundancy on the time axis for three depth information videos. Each graph in FIG. 5 shows the number of identical values among adjacent frames by selecting 10 frames among the entire video frames. The x-axis of this graph represents a randomly selected video frame, and the y-axis represents the number of identical depth information in adjacent frames. The number of the same depth information in one GoD was measured by setting the size of GoD to 2 to 5 based on 10 randomly selected frames.

도 5(a)의 경우 실험에 사용된 깊이정보 비디오가 11-프레임만으로 구성되어 있으므로, GoD=2일 경우에는 5-프레임, GoD=3일 경우에는 3-프레임, GoD=4일 경우에는 2-프레임, GoD=5일 경우에는 2-프레임을 선정하여 그 프레임을 기준으로 GoD를 구성한 후 동일한 깊이정보의 개수를 측정하였다.In the case of Fig. 5 (a), since the depth information video used in the experiment is composed of only 11-frames, it is 5-frame when GoD = 2, 3-frame when GoD = 3, In case of GoD = 5, 2-frame is selected and GoD is constructed based on the frame. Then, the number of the same depth information is measured.

도 5(b) 영상의 경우 제자리에서 회전하는 객체를 높은 프레임율(360-frames)로 촬영했기 때문에 동일한 GoD내에서 같은 값의 깊이정보가 상당히 많이 존재하는 것을 확인할 수 있다.In FIG. 5 (b), since the object rotating in place is photographed at a high frame rate (360-frames), it can be seen that there is a considerable amount of depth information of the same value in the same GoD.

도 5(c)의 경우에는 수평방향으로 이동하는 객체를 촬영한 깊이정보 비디오를 대상으로 실험한 결과이다. 이 깊이정보 비디오의 경우 38-프레임으로 구성되어 있고 프레임율이 다소 낮으므로 GoD의 크기가 커질수록 동G일한 깊이정보의 개수가 감소하는 것을 확인할 수 있다. 도 5의 실험데이터를 모두 2-프레임으로 GoD를 구성하였을 경우 동일한 깊이정보의 개수가 가장 많은 것으로 나타났다. In the case of FIG. 5 (c), the depth information video obtained by taking an object moving in the horizontal direction is tested. Since the depth information video consists of 38 frames and the frame rate is somewhat low, it can be seen that as the size of GoD increases, the number of depth information decreases. When the experimental data of FIG. 5 is composed of two-frame GoD, the number of the same depth information is the largest.

도 5(a), (b)와 같이 프레임 사이의 공간적인 중복성이 낮은 실험 데이터를 사용하는 경우 본 발명에 따른 방법의 성능이 다소 평가절하될 여지가 있을 수 있다. 하지만, 이런 가혹한 실험환경에서 기술의 개선이 이뤄진다면 훨씬 더 가치 있기 때문에 도 5(a), (b)와 같은 실험데이터를 사용하여 본 발명의 성능을 검증하였다.
As shown in FIGS. 5 (a) and 5 (b), when the experimental data having low spatial redundancy between frames is used, the performance of the method according to the present invention may be somewhat undervalued. However, the performance of the present invention was verified by using the experimental data as shown in FIGS. 5 (a) and 5 (b) because the improvement of the technology in such a harsh experimental environment is much more valuable.

다음으로, 본 발명의 제1 실시예에 따른 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법을 도 6을 참조하여 보다 구체적으로 설명한다.Next, a method of generating a digital hologram at high speed based on temporal filtering of depth information according to the first embodiment of the present invention will be described in more detail with reference to FIG.

도 6에서 보는 바와 같이, 본 발명에 따른 제1 실시예에 의한 방법은 깊이영상 입력 단계(S10), 깊이 그룹(GoD) 형성 단계(S20), 유사도를 계산하여 공동 좌표(CC)와 상이 좌표(DC)로 분리 필터링하는 단계(S30), 각 좌표에 대한 홀로그램을 계산하는 단계(S40), 및 각 좌표별 홀로그램을 합하는 단계(S50)로 구성된다.As shown in FIG. 6, the method according to the first embodiment of the present invention includes a depth image input step S10, a depth group GoD formation step S20, (S30) of separating and filtering the input holograms (DC), calculating a hologram (S40) for each coordinate, and summing the holograms for each coordinate (S50).

앞에서 살펴본 바와 같이 깊이정보 비디오도 일반적인 자연영상 비디오처럼 인접한 프레임 간에 상당한 유사성이 존재한다. 본 발명에서는 이런 특성을 이용해 홀로그래픽 비디오 서비스를 위해 깊이정보 비디오를 대상으로 CGH 연산을 고속화한다.As we have seen, there is considerable similarity between adjacent frames, as is the case with general natural video. In the present invention, the CGH calculation is speeded up for depth information video for holographic video service using this characteristic.

즉, 시간축에서 인접한 깊이정보 프레임들간의 공간적인 중복성을 탐색하여 DC(Difference Coordinate)와 CC(Common Coordinate)로 분리하는 DDTF(Depth Difference Temporal Filtering) 과정, 분리된 DC, CC에 해당하는 깊이정보 프레임의 점들에 대해서만 CGH 연산을 수행하는 과정, 생성된 중간 홀로그램들을 합산하여 최종 디지털 홀로그램 프레임을 생성하는 과정으로 구성된다.That is, a DDTF (Depth Difference Temporal Filtering) process in which spatial redundancy between adjacent depth information frames on the time axis is searched and separated into DC (Difference Coordinate) and CC (Common Coordinate) And generating a final digital hologram frame by summing the generated intermediate holograms.

바람직하게는, 인접한 깊이정보 프레임간의 중복성을 탐색하는 DDTF는 깊이정보 프레임 2~5개를 하나의 그룹으로 설정한 후 수행한다. 여기서 깊이정보의 그룹을 GoD(Group of Depths)라고 정의한다.Preferably, the DDTF searching for redundancy between adjacent depth information frames is performed after setting two to five depth information frames into one group. Here, the group of depth information is defined as GoD (Group of Depths).

먼저, 시간상 일련의 프레임으로 구성된 깊이 영상을 입력받는다(S10).First, a depth image composed of a series of frames is input in time (S10).

앞서 설명한 바와 같이, 깊이영상은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 2차원 좌표에 의한 깊이값으로 표시될 수 있다. 즉, 좌표 (xj,yj)에 대한 깊이값 zj로 각 프레임이 표시될 수 있다.As described above, the depth image is composed of consecutive frames in time. One frame can be represented by a depth value by two-dimensional coordinates. That is, each frame can be displayed with a depth value z j for the coordinates (x j , y j ).

다음으로, 깊이 영상의 프레임을 적어도 2개의 연속된 프레임으로 묶어 그룹(이하 깊이 그룹)을 형성한다(S20).Next, the depth image is grouped into at least two consecutive frames to form a group (hereinafter referred to as depth group) (S20).

도 7에서 보는 바와 같이, 깊이영상(60)은 시간상으로 연속된 일련의 프레임(61)으로 구성되어 있다. 상기 일련의 프레임을 적어도 2개의 연속된 프레임으로 묶어 깊이 그룹(GoD, Group of Depths)을 형성한다. 이때, 그룹 내의 프레임 개수(또는 그룹 크기)는 2개 이상으로, 바람직하게는 5개 이하로 정한다.As shown in FIG. 7, the depth image 60 is composed of a series of frames 61 that are continuous in time. The series of frames is grouped into at least two consecutive frames to form a group of depths (GoD). At this time, the number of frames (or the group size) in the group is set to two or more, preferably five or less.

도 7의 예에서, 전체 프레임을 각각 3개, 3개, 2개, 3개, 4개, 2개로 묶어 깊이 그룹 GoD1, GoD2, ..., GoD6 으로 형성한다.In the example of FIG. 7, and 3 the entire frame, respectively, formed in the three, two, three, four, tie up two depth group GoD 1, GoD 2, ..., 6 GoD.

다음으로, 깊이 그룹 내의 모든 프레임 간의 유사도를 좌표별로 계산하여, 유사한 것으로 판단되는 좌표(이하 공동 좌표)와 나머지 좌표(이하 상이 좌표)로 구분한다(S30). 특히, 상기 유사도는 프레임 간의 깊이값 차이로 구하고, 깊이값이 동일한지 여부로 유사 여부를 판단한다.Next, the degree of similarity between all the frames in the depth group is calculated for each of the coordinates, and the coordinates (hereinafter referred to as co-ordinates) and the remaining coordinates (hereinafter referred to as co-ordinates) are determined to be similar (S30). Particularly, the degree of similarity is determined by the difference in depth value between frames, and whether or not similarity is determined is determined by whether depth values are the same.

즉, 본 발명에서는 깊이정보 비디오 시퀀스를 GoD(Group of Depths)로 구분한 후 각 GoD내에서 DDTF를 통해 깊이정보 프레임간의 유사도를 찾는다. 이 과정을 DDTF(Depth Difference Temporal Filtering, 깊이정보의 시간적 필터링)라 부른다. 즉, GoD의 크기를 정한 후에는 GoD내에서 DDTF를 수행한다. 이 과정을 도 8에서 보이고 있다.That is, in the present invention, the depth information video sequence is divided into GoD (Group of Depths), and the degree of similarity between depth information frames is found through DDTF in each GoD. This process is called DDTF (Depth Difference Temporal Filtering). That is, after determining the size of GoD, DDTF is performed in GoD. This process is shown in Fig.

DDTF는 GoD내의 깊이정보 프레임간의 차이를 계산(Difference Generator, DG)하여 동일한 깊이정보를 갖는 좌표(또는 공동 좌표, Common Coordinate, CC)와 다른 깊이정보 값을 갖는 좌표(또는 상이 좌표, Difference Coordinate, DC)를 구한다.The DDTF calculates the difference between the depth information frames in the GoD (Difference Generator, DG) and calculates the difference Coordinate (or Coordinate) between the coordinates having the same depth information (or the common coordinate, DC).

다음으로, 상기 공동 좌표(CC)에 대하여 좌표의 깊이값에 의한 홀로그램(이하 공동 홀로그램)을 1회 계산하고, 상기 상이 좌표(DC)에 대하여 좌표의 깊이값에 의한 홀로그램(이하 프레임별 홀로그램)을 각 프레임별로 계산한다(S40).Next, a hologram (hereinafter, referred to as a common hologram) based on the depth value of the coordinate with respect to the co-ordinates CC is calculated once, and a hologram (hereinafter referred to as a frame-based hologram) For each frame (S40).

앞서 단계에서 구해진 좌표정보를 기반으로 CC의 경우 하나의 GoD내에서 한번만 CGH 계산이 되고, DC의 경우 각각 계산이 된다. 실제 연산량의 감소율은 GoD내의 CC의 정보량에 따라 달라진다.Based on the coordinate information obtained in the previous step, in the case of CC, CGH calculation is performed only once in one GoD, and each calculation is performed in the case of DC. The rate of reduction of the actual computation amount depends on the amount of information of CC in GoD.

마지막으로, 상기 공동 홀로그램과 상기 프레임별 홀로그램을 합하여 상기 깊이 그룹 내 각 프레임의 디지털 홀로그램을 구한다(S50).Finally, the common hologram and the frame-specific hologram are combined to obtain a digital hologram of each frame in the depth group (S50).

즉, CC와 DC의 정보에 따라 개별적으로 계산된 중간 홀로그램 값들을 합쳐서 최종적으로 디지털 홀로그램을 구하게 된다.
That is, the intermediate hologram values calculated individually according to the information of CC and DC are combined to finally obtain the digital hologram.

다음으로, 본 발명의 제2 실시예에 따른 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법을 도 9를 참조하여 보다 구체적으로 설명한다.Next, a method for generating a digital hologram at high speed based on temporal filtering of depth information according to a second embodiment of the present invention will be described in more detail with reference to FIG.

본 발명에 따른 제2 실시예에 의한 방법은 제1 실시예에 의한 방법과 동일하다. 다만, 깊이 그룹의 크기를 일정한 크기로 정하는 점에서 다르다. 이하에서 그룹 크기가 일정한 것과 관련된 부분만 설명하고, 나머지는 앞서 제1 실시예를 참조한다.The method according to the second embodiment according to the present invention is the same as the method according to the first embodiment. However, it differs in that the depth group size is set to a fixed size. Only the part related to the constant group size will be described below, and the rest will be referred to the first embodiment.

도 9에서 보는 바와 같이, 본 발명에 따른 제2 실시예에 의한 방법은 제1 실시예에 의한 방법에 대하여, (b)단계(S20)에서, 깊이 그룹에 속하는 프레임의 개수를 동일한 크기(이하 그룹 크기)로 묶는다.As shown in FIG. 9, the method according to the second embodiment of the present invention is similar to the method according to the first embodiment except that in step (b), the number of frames belonging to the depth group is set to the same size Group size).

한편, 깊이 영상의 전체 프레임을 동일한 개수의 프레임으로 그룹을 형성하는 경우, 그룹 크기의 개수보다 작은 개수의 프레임이 남는 경우 그룹을 형성할 수 없다.On the other hand, when all the frames of the depth image are grouped into the same number of frames, a group can not be formed if a number of frames smaller than the number of group sizes remains.

따라서 제2 실시예는 (f) 상기 깊이 그룹으로 묶어 지지 않고 남은 프레임에 대하여, 상기 그룹 크기를 하나 줄여서 (b)단계(S20)부터 반복하는 단계(S60)를 더 포함한다.Therefore, the second embodiment further includes (f) repeating step (S60) from step (S20) by reducing the group size by one for the remaining frames not bound to the depth group.

또한, 남은 프레임이 1개인 경우, 남은 프레임에 대해서 홀로그램을 계산하여 해당 프레임의 디지털 홀로그램을 구한다(S61). 이때, 남은 1개의 프레임에 대하여 앞서 설명한 [수학식 1]에 의해 홀로그램을 계산한다.If there is one remaining frame, a hologram is calculated for the remaining frame to obtain the digital hologram of the frame (S61). At this time, the hologram is calculated by the above-described expression (1) for the remaining one frame.

도 10에서는 제2 실시예의 일례로서, 전체 깊이정보 비디오 프레임의 개수에 따라 GoD내의 깊이정보 프레임 수를 2~5개까지 조절하는 4가지 기법을 보이고 있다. 10 shows four schemes for adjusting the number of depth information frames in the GoD to 2 to 5 according to the number of all depth information video frames as an example of the second embodiment.

Method 1 : GoD내의 깊이정보 프레임의 개수를 2개로 설정하고, 남아있는 깊이정보 프레임은 [수학식 1]로 계산Method 1: The number of depth information frames in GoD is set to 2, and the remaining depth information frame is calculated by [Equation 1]

Method 2 : GoD내의 깊이정보 프레임의 개수를 3개로 설정, 남아있는 깊이정보 프레임이 2개일 경우 Method 1을 적용하고, 한 프레임일 경우 [수학식 1]로 계산Method 2: Set the number of depth information frames in GoD to 3, Apply Method 1 if there are two remaining depth information frames, and calculate by [Equation 1] for one frame.

Method 3 : GoD내의 깊이정보 프레임의 개수를 4개로 설정, 남아있는 깊이정보 프레임이 3개일 경우 Method 2를 적용, 2개일 경우 Method 1, 한 프레임일 경우 [수학식 1]로 계산Method 3: Set the number of depth information frames in GoD to 4, Apply Method 2 if there are 3 remaining depth information frames, Method 1 if 2, and [Formula 1]

Method 4 : GoD내의 깊이정보 프레임의 개수를 5개로 설정, 남아있는 깊이정보 프레임이 4개일 경우 Method 3, 3개일 경우 Method 2, 2개일 경우 Method 1, 한 프레임일 경우 [수학식 1]로 계산
Method 4: Set the number of depth information frames in GoD to 5, Method 3 in case of remaining depth information frame, Method 2 in case of 3, Method 1 in case of 2,

다음으로, 본 발명의 효과를 실험에 의해 보다 구체적으로 설명한다.Next, the effects of the present invention will be described more specifically by experiments.

본 발명에서 제안한 GoD 단위의 DDTF CGH 고속 생성 방법(깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법)의 성능을 검증하기 위해 도 4에서 보였던 세 가지 깊이정보 비디오를 이용하였다. In order to verify the performance of the DDTF CGH high-speed generation method (a method of generating a digital hologram based on temporal filtering based on temporal filtering) proposed by the present invention, three depth information video shown in FIG. 4 was used.

도 11에서는 실험환경을 보이고 있다. 실험에 사용한 깊이정보 비디오는 해상도, 프레임율, 객체의 움직임 방향 등이 다른 특성을 보이는 영상을 사용하였다. DDTF를 수행하기 위한 GoD의 크기를 2~5 프레임까지 설정한 후 CGH를 수행하였다. The experimental environment is shown in Fig. The depth information video used in the experiments used images with different characteristics such as resolution, frame rate, and object movement direction. The size of GoD for DDTF was set to 2 ~ 5 frames and then CGH was performed.

실험은 회전하는 객체와 수평이동하는 객체의 깊이정보 비디오로 나눠서 수행한 후 결과를 비교하였다. Experiments were performed by dividing the rotated object and the depth information video of the horizontally moving object and compared the results.

먼저, 회전객체 깊이정보 비디오에 대한 실험 결과이다.First, it is the experimental result on the video of the depth information of the rotating object.

도 4(a), (b)에서 보였던 제자리에서 회전하는 객체를 촬영한 깊이정보 비디오를 대상으로 DDTF CGH 고속 생성 방법을 적용하였다.The DDTF CGH high-speed generation method is applied to the depth information video which shows the object rotating in place as shown in FIGS. 4 (a) and 4 (b).

다양한 실험환경에서 제안한 알고리즘의 성능을 검증하기 위해 도 4(a)는 프레임율이 낮아 인접한 프레임간의 공간적인 상관도를 낮췄고, 도 4(b)는 높은 프레임율로 설정하여 인접한 프레임간의 공간적인 상관도를 높였다.In order to verify the performance of the proposed algorithm in various experimental environments, FIG. 4 (a) lowers the spatial correlation between adjacent frames because of low frame rate, FIG. 4 (b) .

각각의 실험데이터를 대상으로 DDTF CGH를 수행한 결과를 도 12에서 보이고 있다. 성능비교를 위해 [수학식 1]과 [수학식 2]의 방법을 이용해 각각의 깊이정보 프레임을 대상으로 CGH를 수행한 후 소요되는 연산시간(CPU time)을 측정하였고, 본 발명에서 제안한 DDTF CGH 고속 생성 방법의 4가지 기법을 적용하였다.The results of performing DDTF CGH on each experimental data are shown in FIG. In order to compare the performance, the computation time (CPU time) after performing the CGH on each depth information frame using the methods of [Equation 1] and [Equation 2] was measured, and the DDTF CGH Speed generation method.

도 12의 x-축은 제안한 알고리즘의 Method-4를 적용할 경우 만들어지는 GoD의 개수를 기준으로하여 재구성한 것이다. 예를 들어 도 12(a)의 경우 11-프레임으로 구성된 Ballet 깊이정보 비디오를 대상으로 Method-4를 적용할 경우 GoD는 (4,4,3)과 같이 세 개의 샘플로 구성된다. 이와 같은 세 개의 샘플에서 CPU time을 측정하였고, 다른 기법들 역시 세 개의 샘플만을 선택하여 CPU time을 도시하였다. 도 12(b)의 경우 총 프레임수는 360장이고, Method-4를 적용할 경우 72개의 GoD가 구성된다. 따라서 여기서는 72개의 샘플만을 선택하여 그림과 같은 그래프를 작성하였다. 도 12에서 확인할 수 있듯이 제안한 기법 중에서 Method-1이 가장 좋은 결과를 보였다.The x-axis in FIG. 12 is reconstructed based on the number of GoDs generated when Method-4 of the proposed algorithm is applied. For example, in the case of Fig. 12 (a), when the method-4 is applied to a video of a ballet depth information composed of 11 frames, GoD is composed of three samples as (4, 4, 3). CPU time was measured in these three samples, and other techniques also showed CPU time by selecting only three samples. 12 (b), the total number of frames is 360, and when Method-4 is applied, 72 GoDs are constructed. Therefore, only 72 samples are selected here, and the graph as shown in the figure is created. As shown in FIG. 12, Method-1 showed the best result among the proposed techniques.

도 13에서는 본 발명에서 제안한 DDTF CGH 알고리즘으로 생성한 디지털 홀로그램 비디오의 일부 프레임을 복원한 영상을 보이고 있다.
FIG. 13 shows a reconstructed image of a partial frame of a digital hologram video generated by the DDTF CGH algorithm proposed in the present invention.

다음으로, 수평이동 깊이정보 비디오에 대한 실험 결과이다.Next, it is the experimental result on the horizontal moving depth information video.

도 14는 수평방향으로 이동하는 객체를 촬영한 깊이정보 비디오인 "Camaro"를 대상으로 본 발명에서 제안한 알고리즘의 성능을 비교한 결과이다. 수평이동하는 객체를 촬영한 깊이정보 비디오의 경우에도 Method-1의 결과가 가장 결과를 보인다. Method-1의 경우 [수학식 1]에 비해 69.22%, [수학식 1]에 비해 17.51%정도 연산속도가 향상된 것을 확인할 수 있다.FIG. 14 shows the results of comparing the performance of the algorithm proposed in the present invention with respect to "Camaro", which is a depth information video obtained by photographing an object moving in a horizontal direction. The method-1 results show the best result even in the case of the depth information video in which the horizontally moving object is photographed. In the case of Method-1, it can be seen that the computation speed is improved by about 69.22% as compared with [Equation 1] and about 17.51% as compared with [Equation 1].

도 15에서는 본 발명에서 제안한 DDTF CGH 알고리즘으로 생성한 디지털 홀로그램 비디오의 일부 프레임을 복원한 영상을 보이고 있다.
FIG. 15 shows a reconstructed image of a partial frame of a digital hologram video generated by the DDTF CGH algorithm proposed in the present invention.

본 발명에서는 깊이정보 비디오 프레임을 대상으로 CGH를 수행하여 디지털 홀로그램을 디스플레이하는 홀로그래픽 비디오 서비스 모델에서 가장 문제가 되는 CGH 연산속도를 향상시킬 수 있는 방법을 제안하였다. 이 방법은 DDTF 과정을 통해 깊이정보 비디오 프레임간의 공간적인 중복성을 찾아 CGH 연산속도를 향상시키는 것이다. 이때, DDTF는 깊이정보 비디오 프레임을 2~4개의 그룹인 GoD 단위로 구분하여 동일한 GoD 내에서 수행된다. In the present invention, a method for improving the CGH operation speed, which is the most problematic in a holographic video service model for displaying a digital hologram by performing CGH on a depth information video frame, is proposed. This method improves CGH computation speed by finding spatial redundancy between depth information video frames through DDTF process. At this time, the DDTF is performed in the same GoD by dividing the depth information video frame into 2 to 4 groups of GoD.

세 가지 깊이정보 비디오를 대상으로 제안한 알고리즘을 적용한 결과를 살펴보면, 각각의 깊이정보 비디오 프레임을 독립적으로 CGH 연산을 수행한 결과에 비해 평균적으로 66% 정도 연산속도가 향상된 것을 확인하였다. As a result of applying the proposed algorithm to three depth information video, it is confirmed that the computation speed of each depth information video frame is improved by about 66% on the average compared with CGH operation performed independently.

특히, GoD의 크기를 2로 설정한 Method 1이 Ballet의 경우 76.89%, David의 경우 52.82%, Camaro의 경우 69.22%정도 연산속도가 향상된 것을 확인할 수 있었다.
In particular, we found that Method 1 with GoD size of 2 improved 76.89% for Ballet, 52.82% for David, and 69.22% for Camaro.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
Although the present invention has been described in detail with reference to the above embodiments, it is needless to say that the present invention is not limited to the above-described embodiments, and various modifications may be made without departing from the spirit of the present invention.

10 : 사물 20 : 깊이 카메라
30 : 컴퓨터 단말 40 : 프로그램 시스템
60 : 깊이영상 61 : 프레임10: Object 20: Depth camera
30: computer terminal 40: program system
60: depth image 61: frame

Claims (6)

깊이영상을 입력받아 홀로그램 영상을 생성하는 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법에 있어서,
(a) 시간상 일련의 프레임들로 구성된 깊이 영상을 입력받는 단계;
(b) 상기 깊이 영상의 프레임들을 적어도 2개의 연속된 프레임으로 묶어 그룹(이하 깊이 그룹)을 형성하는 단계;
(c) 상기 깊이 그룹 내의 모든 프레임 간의 유사도를 좌표별로 계산하여, 유사한 것으로 판단되는 좌표(이하 공동 좌표)와 나머지 좌표(이하 상이 좌표)로 구분하는 단계;
(d) 상기 공동 좌표에 대하여 좌표의 깊이값에 의한 홀로그램(이하 공동 홀로그램)을 1회 계산하고, 상기 상이 좌표에 대하여 좌표의 깊이값에 의한 홀로그램(이하 프레임별 홀로그램)을 각 프레임별로 계산하는 단계; 및,
(e) 상기 공동 홀로그램과 상기 프레임별 홀로그램을 합하여 상기 깊이 그룹 내 각 프레임의 디지털 홀로그램을 구하는 단계를 포함하는 것을 특징으로 하는 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법.
A method for generating a digital hologram based on temporal filtering of depth information for generating a hologram image by receiving a depth image,
(a) receiving a depth image composed of a series of frames in time;
(b) grouping the frames of the depth image into at least two consecutive frames to form a group (hereinafter referred to as a depth group);
(c) calculating the degree of similarity between all the frames in the depth group for each of the coordinates, and dividing the coordinates into coordinates (hereinafter referred to as common coordinates) and remaining coordinates (hereinafter referred to as disparate coordinates);
(h) a hologram (hereinafter referred to as a joint hologram) by a depth value of the coordinate with respect to the co-ordinates is calculated once, and a hologram (hereinafter referred to as a frame-specific hologram) by the depth value of the coordinate with respect to the image coordinate is calculated for each frame step; And
(e) summing the common hologram and the frame-by-frame holograms to obtain a digital hologram of each frame in the depth group, based on temporal filtering of the depth information.
제1항에 있어서,
상기 (b)단계에서, 상기 깊이 그룹에 속하는 프레임들의 개수를 동일한 크기(이하 그룹 크기)로 묶는 것을 특징으로 하는 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법.
The method according to claim 1,
Wherein the number of frames belonging to the depth group is grouped into the same size (hereinafter referred to as group size) in the step (b).
제2항에 있어서, 상기 방법은,
(f) 상기 깊이 그룹으로 묶어 지지 않고 남은 프레임에 대하여, 상기 그룹 크기를 하나 줄여서 상기 (b)단계부터 반복하는 단계를 더 포함하는 것을 특징으로 하는 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법.
3. The method of claim 2,
(f) repeating the step of repeating the step (b) from the step (b) by reducing the group size by one for the remaining frames that are not bounded by the depth group. The method for generating a digital hologram based on temporal filtering of depth information .
제3항에 있어서,
상기 (f)단계에서, 남은 프레임이 1개인 경우, 남은 프레임에 대해서 홀로그램을 계산하여 해당 프레임의 디지털 홀로그램을 구하는 것을 특징으로 하는 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법.
The method of claim 3,
Wherein the step (f) comprises calculating a hologram for a remaining frame if the remaining frame is 1, and obtaining a digital hologram of the frame.
제2항에 있어서,
상기 그룹 크기를 5 이하로 정하는 것을 특징으로 하는 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법.
3. The method of claim 2,
Wherein the group size is set to 5 or less. ≪ RTI ID = 0.0 > 8. < / RTI >
제1항 또는 제2항에 있어서,
상기 유사도는 프레임 간의 깊이값 차이로 구하고, 깊이값이 동일한지 여부로 유사 여부를 판단하는 것을 특징으로 하는 깊이정보의 시간적 필터링 기반 디지털 홀로그램의 고속 생성 방법.
3. The method according to claim 1 or 2,
Wherein the degree of similarity is determined by a difference between depth values of frames, and whether or not the depth values are the same is determined.
KR1020120114653A 2012-10-16 2012-10-16 A Fast Generation Method of Digital Hologram Using Depth Difference Temporal Filtering KR101421984B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120114653A KR101421984B1 (en) 2012-10-16 2012-10-16 A Fast Generation Method of Digital Hologram Using Depth Difference Temporal Filtering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120114653A KR101421984B1 (en) 2012-10-16 2012-10-16 A Fast Generation Method of Digital Hologram Using Depth Difference Temporal Filtering

Publications (2)

Publication Number Publication Date
KR20140049161A KR20140049161A (en) 2014-04-25
KR101421984B1 true KR101421984B1 (en) 2014-07-28

Family

ID=50654824

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120114653A KR101421984B1 (en) 2012-10-16 2012-10-16 A Fast Generation Method of Digital Hologram Using Depth Difference Temporal Filtering

Country Status (1)

Country Link
KR (1) KR101421984B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807400B2 (en) 2015-09-10 2017-10-31 Samsung Electronics Co., Ltd. Image processing method and image processing apparatus
KR20180036659A (en) 2016-08-29 2018-04-09 주식회사 내일해 An On-Axis and Off-Axis Digital Hologram Generating Device and Method
US10578787B2 (en) 2016-11-24 2020-03-03 Samsung Electronics Co., Ltd. Hologram generating method and hologram generating apparatus
US10915989B2 (en) 2018-02-23 2021-02-09 Samsung Electronics Co., Ltd. Apparatus and method of processing image data using IFFT
US11175626B2 (en) 2017-12-04 2021-11-16 Naeilhae, Co. Ltd. On-axis and off-axis digital hologram generating device and method
KR20220118984A (en) 2018-03-09 2022-08-26 주식회사 내일해 An On-Axis and Off-Axis Digital Hologram Generating Device and Method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102667015B1 (en) * 2022-12-19 2024-05-22 주식회사 비욘드테크 Apparatus For Discriminating Video Based On Depth Information And Method Thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010042672A (en) * 1999-02-15 2001-05-25 이데이 노부유끼 Signal processing method and video/audio processing device
KR20100131295A (en) * 2009-06-05 2010-12-15 엘지전자 주식회사 Signal processing apparatus and method thereof
KR20110127981A (en) * 2010-05-20 2011-11-28 강원대학교산학협력단 Apparatus and method for processing by using depth transformation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010042672A (en) * 1999-02-15 2001-05-25 이데이 노부유끼 Signal processing method and video/audio processing device
KR20100131295A (en) * 2009-06-05 2010-12-15 엘지전자 주식회사 Signal processing apparatus and method thereof
KR20110127981A (en) * 2010-05-20 2011-11-28 강원대학교산학협력단 Apparatus and method for processing by using depth transformation

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807400B2 (en) 2015-09-10 2017-10-31 Samsung Electronics Co., Ltd. Image processing method and image processing apparatus
KR20180036659A (en) 2016-08-29 2018-04-09 주식회사 내일해 An On-Axis and Off-Axis Digital Hologram Generating Device and Method
US10578787B2 (en) 2016-11-24 2020-03-03 Samsung Electronics Co., Ltd. Hologram generating method and hologram generating apparatus
US11175626B2 (en) 2017-12-04 2021-11-16 Naeilhae, Co. Ltd. On-axis and off-axis digital hologram generating device and method
US10915989B2 (en) 2018-02-23 2021-02-09 Samsung Electronics Co., Ltd. Apparatus and method of processing image data using IFFT
KR20220118984A (en) 2018-03-09 2022-08-26 주식회사 내일해 An On-Axis and Off-Axis Digital Hologram Generating Device and Method

Also Published As

Publication number Publication date
KR20140049161A (en) 2014-04-25

Similar Documents

Publication Publication Date Title
KR101421984B1 (en) A Fast Generation Method of Digital Hologram Using Depth Difference Temporal Filtering
Casas et al. 4d video textures for interactive character appearance
Nishitsuji et al. Review of fast calculation techniques for computer-generated holograms with the point-light-source-based model
KR102350235B1 (en) Image processing method and apparatus thereof
Arai et al. An accelerated hologram calculation using the wavefront recording plane method and wavelet transform
KR20140096532A (en) Apparatus and method for generating digital hologram
TW201436552A (en) Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream
KR101778962B1 (en) Method and apparatus for generating fast hologram
KR20140123694A (en) Apparatus and method for generating hologram pattern
Choudhary et al. Pyramid method in image processing
KR101511315B1 (en) Method and system for creating dynamic floating window for stereoscopic contents
Lee et al. Fast hologram pattern generation by radial symmetric interpolation
KR101657367B1 (en) Method for generating computer generated hologram using look-up table and block-based motion compensation
CN107396083B (en) Holographic image generation method and device
US20240196011A1 (en) Methods and apparatuses for encoding/decoding a sequence of multiple plane images, methods and apparatus for reconstructing a computer generated hologram
Pei et al. A new 3D unseen visible watermarking and its applications to multimedia
Solichin Motion-based less significant frame for improving LSB-based video steganography
KR102145288B1 (en) Device and method for creating stereograms with large viewing angle and high 2d image resolution
Shimobaba et al. Computer holography using wavefront recording method
Choi et al. Analysis of Digital Hologram Rendering Using a Computational Method
Shin et al. Occlusion removal technique for improved recognition of partially occluded 3D objects in computational integral imaging
US20130195348A1 (en) Image processing apparatus and method
Kim et al. Ray tracing-based construction of 3D background model for real-time stereoscopic rendering of live immersive video
Zhao et al. Rapid calculation of full-color holographic system with real objects using relocated point cloud gridding method
KR20180077547A (en) Depth map generating method and depth map generating device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20170717

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180612

Year of fee payment: 5