KR20230078422A - A coding method for complex hologram compression - Google Patents
A coding method for complex hologram compression Download PDFInfo
- Publication number
- KR20230078422A KR20230078422A KR1020210166202A KR20210166202A KR20230078422A KR 20230078422 A KR20230078422 A KR 20230078422A KR 1020210166202 A KR1020210166202 A KR 1020210166202A KR 20210166202 A KR20210166202 A KR 20210166202A KR 20230078422 A KR20230078422 A KR 20230078422A
- Authority
- KR
- South Korea
- Prior art keywords
- complex
- hologram
- plane
- coding method
- vector
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 119
- 238000007906 compression Methods 0.000 title claims description 39
- 230000006835 compression Effects 0.000 title claims description 38
- 239000013598 vector Substances 0.000 claims abstract description 102
- 238000009826 distribution Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 16
- 238000013139 quantization Methods 0.000 abstract description 36
- 238000010606 normalization Methods 0.000 description 11
- 238000005457 optimization Methods 0.000 description 9
- 238000011160 research Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000007667 floating Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001093 holography Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000499 effect on compression Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0841—Encoding method mapping the synthesized field into a restricted set of values representative of the modulator parameters, e.g. detour phase coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Holo Graphy (AREA)
Abstract
Description
본 발명은 복소 벡터 평면을 이용하여 완전 복소 홀로그램을 하나의 정보로 재구성하여 코딩하되, 복소 벡터 평면을 다수의 단위 영역으로 분할하여 실수형태의 홀로그램 화소를 정수 형태의 지수로 변환하는, 복소 홀로그램 압축을 위한 코딩 방법에 관한 것이다.The present invention reconstructs and codes a complete complex hologram into one piece of information using a complex vector plane, and converts real-number hologram pixels into integer-type exponents by dividing the complex vector plane into a plurality of unit areas for complex hologram compression. It is about a coding method for.
홀로그램을 표현하는 여러 방법들 중에서 가장 일반적으로 많이 사용되는 방식이 완전 복소 홀로그램이다. 완전 복소 방식은 공간 상에서 전파하는 빛의 간섭과 회절 현상을 수학적으로 완벽히 표현할 수 있다. 완전 복소 홀로그램은 실수형태로 표현되기 때문에 하나의 홀로그램 화소를 표현하는데 많은 비트가 요구된다. 2차원 영상은 정수의 형태로 저장되므로 상대적으로 비트수가 작은 반면에 홀로그램은 실수의 형태로 저장되므로 소수점 이하의 숫자를 표현하기 위해서 그 만큼 많은 비트가 필요하다. 또한 복소수 형태이기 때문에 실수부와 허수부가 동시에 존재한다. 따라서 2차원 영상에 비해서 2배의 화소 평면이 필요하다. 2차원 영상이 8비트의 Full HD 1 프레임라면 동일한 해상도에서 홀로그램은 32비트의 Full HD 2개의 프레임이 필요하다. 비트수로 고려한다면, 2차원 영상에 비해서 홀로그램은 8배만큼 많은 비트수를 사용한다. Among various methods of expressing holograms, the most commonly used method is a complete complex hologram. The complete complex method can mathematically perfectly express the interference and diffraction phenomena of light propagating in space. Since a complete complex hologram is expressed in the form of a real number, many bits are required to represent one hologram pixel. Since 2D images are stored in the form of integers, the number of bits is relatively small, whereas holograms are stored in the form of real numbers, so as many bits are required to represent numbers after decimal points. Also, since it is a complex number, real and imaginary parts exist at the same time. Therefore, twice as many pixel planes are required as compared to 2D images. If a two-dimensional image is one frame of 8-bit Full HD, then two frames of 32-bit Full HD are required for a hologram at the same resolution. Considering the number of bits, a hologram uses eight times as many bits as a two-dimensional image.
홀로그램은 시각적으로 관찰할 때, 잡음과 유사한 형태를 갖고 있기 때문에 압축이 매우 어려운 데이터이다. 뿐만 아니라 실수부와 허수부 각각의 화질도 중요하지만 실수부와 허수부 사이의 관계(위상)를 유지하는 것도 매우 중요하다. 즉, 실수부와 허수부의 홀로그램들을 각각 잘 압축하면서 둘 사이의 관계를 유지해야 한다.When visually observed, holograms are data that is very difficult to compress because they have a form similar to noise. In addition, the image quality of each of the real part and the imaginary part is important, but it is also very important to maintain the relationship (phase) between the real part and the imaginary part. That is, it is necessary to maintain the relationship between the holograms of the real part and the imaginary part while compressing them well.
본 발명은 실수부와 허수부 홀로그램 사이의 관계를 잘 보존하면서 홀로그램을 효율적으로 압축할 수 있다.The present invention can efficiently compress a hologram while well preserving the relationship between the real part and the imaginary part hologram.
홀로그래피는 1948년 Gabor에 의해 최초로 제안되었고[비특허문헌 1], 3차원 정보를 완전히 기록할 수 있는 특징 때문에 많은 분야에서 연구와 개발이 이루어져 왔다. 아날로그 홀로그래피는 특수한 재료로 만들어진 홀로그램 필름에 3차원 정보를 기록하고, 필름을 현상하여 사용하는 것으로 현대의 멀티미디어 서비스를 위한 용도로는 다소 제한적인 기술이다[비특허문헌 2].Holography was first proposed by Gabor in 1948 [Non-Patent Document 1], and research and development have been conducted in many fields because of the characteristics of completely recording three-dimensional information. Analog holography records three-dimensional information on a hologram film made of a special material, develops the film, and is a somewhat limited technology for use in modern multimedia services [Non-Patent Document 2].
최근 아날로그 방식의 단점을 극복하면서 홀로그램의 3차원 복원을 충분히 활용하기 위한 디지털 방식의 홀로그램 기술에 대한 연구가 널리 이루어지고 있다[비특허문헌 3]. 디지털 홀로그램을 멀티미디어로써 이용하기 위해서는 디지털 홀로그램 신호처리(digital hologram signal processing) 기술이 필요하다[비특허문헌 4]. 홀로그램 신호처리는 크게 홀로그램의 랜더링과 압축으로 구성된다. 홀로그램 랜더링 기술에는 홀로그램 생성, 편집, 디스플레이, 보간 그리고 개선이 포함될 수 있다. 홀로그램 압축 기술에는 정지 홀로그램 압축과 비디오 홀로그램 압축이 포함된다.Recently, research on digital hologram technology has been widely conducted to fully utilize the 3D restoration of holograms while overcoming the disadvantages of analog methods [Non-Patent Document 3]. In order to use digital hologram as multimedia, digital hologram signal processing technology is required [Non-Patent Document 4]. Hologram signal processing is largely composed of hologram rendering and compression. Hologram rendering techniques may include hologram creation, editing, display, interpolation, and enhancement. Hologram compression techniques include still hologram compression and video hologram compression.
가장 쉽고 간단하게 적용할 수 있는 홀로그램 압축 방법은 무손실 압축(Lossless coding) 방법일 것이다. 이전 연구들에서도 무손실 방법으로 홀로그램을 압축하는 여러 시도를 수행하였다[비특허문헌 6][비특허문헌 7].A hologram compression method that can be applied most easily and simply is a lossless coding method. In previous studies, several attempts to compress holograms using a lossless method were performed [Non-Patent Document 6] [Non-Patent Document 7].
부동 소수점(floating-point) 형식으로 표현된 복소수 형태의 홀로그램은 실수(RE)와 허수(IM) 혹은 진폭(AM)과 위상(PH)의 쌍으로 표현될 수 있다. 이들 쌍은 같은 정보를 표시하지만 다른 특성을 보이므로 압축에 대한 효과도 상이할 가능성은 존재한다. 이전 연구 결과를 살펴보면 AM/PH 쌍의 경우에 홀로그램의 압축 효과가 나타나지 않고, RE/IM의 쌍의 경우에는 약 3:1~4:1의 압축율을 나타내었다[비특허문헌 6]. A hologram in the form of a complex number expressed in floating-point form can be expressed as a pair of real (RE) and imaginary (IM) numbers or amplitude (AM) and phase (PH). These pairs represent the same information, but show different characteristics, so there is a possibility that the effect on compression is also different. Looking at the results of previous studies, the compression effect of the hologram did not appear in the case of the AM / PH pair, and the compression ratio of about 3: 1 to 4: 1 was shown in the case of the RE / IM pair [Non-Patent Document 6].
홀로그램의 리샘플링(resampling)을 이용한 압축 방법도 시도되었다[비특허문헌 8]. 고전적 형태의 리샘플링(resampling) 연구는 이전에 주로 수행되었고[비특허문헌 6], 압축율이 낮기 때문에 최근에는 거의 연구결과가 발표되지 않고 있다. 연구 결과를 살펴보면 평균적으로 쌍선형(bilinear) 보간을 사용한 경우가 가장 좋은 결과를 보였고, 다음으로 쌍입방(bicubic) 보간, 마지막으로 최근린(nearest neighborhood) 보간 방식의 순서로 결과가 나타났다[비특허문헌 6]. A compression method using hologram resampling has also been attempted [Non-Patent Document 8]. Research on resampling in the classical form has been mainly performed in the past [Non-Patent Document 6], and few research results have been published recently because of the low compression rate. Looking at the research results, on average, bilinear interpolation showed the best results, followed by bicubic interpolation, and finally results in the order of nearest neighborhood interpolation [non-patented Literature 6].
양자화가 홀로그램에 미치는 영향을 분석한 연구는 지금까지 여러 연구사례에서 살펴볼 수 있다. 예전에는 주로 균일 양자화기를 이용하였고, 홀로그램 화소 단위로 고려하는 스칼라 양자화가 주로 고려되었다[비특허문헌 6]. 최근에는 여기에 블록 단위로 양자화를 수행하는 벡터 양자화에 대한 연구까지 수행되고 있다[비특허문헌 9]. 또한 스칼라 양자화도 균일 양자화기 뿐만 아니라 비균일 양자화기도 연구되었다. NSTD(normalized standard deviation)를 이용한 연구 결과를 살펴보면, 낮은 양자화 비트를 할당한 경우(고압축)에서는 균일 양자화기가 좋은 성능을 보이고, 높은 양자화 비트를 할당한 경우(저압축)에서는 K-중앙값 클러스터링(K-medians Clustering) 방식이 좋은 성능을 보였다. 그러나 그 차이는 매우 작은 수준이다. 전체적으로는 K-평균값 클러스터링(K-means Clustering) 방식이 모든 양자화 비트에 대해서 낮은 성능을 보였다. 이러한 연구 결과를 통해서 살펴보면, 연산량이 높고 알고리즘이 복잡한 벡터 양자화기가 반드시 홀로그램의 양자화에 좋은 성능을 보이지 않는다는 것이다.Studies analyzing the effect of quantization on holograms can be found in several research cases so far. In the past, a uniform quantizer was mainly used, and scalar quantization in units of hologram pixels was mainly considered [Non-Patent Document 6]. Recently, even research on vector quantization in which quantization is performed in block units has been conducted [Non-Patent Document 9]. In addition, scalar quantization has been studied not only uniform quantizer but also non-uniform quantizer. Looking at the research results using NSTD (normalized standard deviation), the uniform quantizer shows good performance when low quantization bits are assigned (high compression), and K-median clustering (K -medians Clustering) method showed good performance. However, the difference is very small. Overall, the K-means clustering method showed low performance for all quantization bits. According to the results of this study, vector quantizers with high computational complexity and complicated algorithms do not always show good performance for hologram quantization.
최근에는 주로 JPEG, JPEG2000, AVC 그리고 HEVC 등과 같은 표준 코덱들을 이용하여 홀로그램을 압축하고, 이들 사이의 압축 효율을 벤치마킹한 다양한 연구가 진행되었다[비특허문헌 10][비특허문헌 11][비특허문헌 12]. 표준 코덱을 사용하는 방식에는 몇 가지 공통적으로 고려해야하는 사항이 있다. 첫 번째는 부동소수점 형태의 복소 홀로그램을 표준 코덱에 입력시키기 위해 8비트의 정수형 데이터로 변환하는 것이다. 두 번째는 코덱의 파라미터를 조정하는 것이다. 각각의 코덱은 조절할 수 있는 다양한 파라미터가 존재한다. 예를 들어 HEVC의 경우에 Intra 모드를 사용한다면 QP 및 CU 사이즈 등을 선택할 수 있다. 이와 같이 선호하는 파라미터의 셋팅 차이에 의해서 일부 결과에 차이가 발생할 수 있다. Recently, various studies have been conducted on compressing holograms using standard codecs such as JPEG, JPEG2000, AVC, and HEVC, and benchmarking the compression efficiency between them [Non-Patent Document 10] [Non-Patent Document 11] [Non-Patent Document 11] Literature 12]. There are some common considerations in the method of using a standard codec. The first is to convert a complex hologram in the form of a floating point into 8-bit integer data to be input to a standard codec. The second is to adjust the parameters of the codec. Each codec has various parameters that can be adjusted. For example, in the case of HEVC, if Intra mode is used, QP and CU size can be selected. In this way, a difference in the setting of the preferred parameter may cause a difference in some results.
홀로그램을 압축하는 연구는 크게 홀로그램 자체를 압축하는 방법과 홀로그램을 특정한 거리로 전파시킨 후에 그 위치에서 회절된(복원된) 면의 정보를 압축하는 방법[비특허문헌 13][비특허문헌 14][비특허문헌 15][비특허문헌 16]으로 나눌 수 있다. 지금까지 논의한 대부분의 방법은 홀로그램 자체를 압축하기 위해 시도된 것들이다. 홀로그램은 잡음과 유사한 형태를 갖고 있어 화소들간에 공간적인 상관성을 찾기가 매우 어렵기 때문에 주파수 변환을 수행하더라도 좋은 에너지 집중도를 보이기 어렵다. 따라서 홀로그램을 조금 더 공간적인 상관성이 높은 데이터의 형태로 변환한 후에 이를 압축하고자 하는 것이 복원 영역에서의 압축방식이다.Research on compressing a hologram is largely divided into a method of compressing the hologram itself and a method of compressing the information of the diffracted (reconstructed) surface at that location after propagating the hologram to a specific distance [Non-Patent Document 13] [Non-Patent Document 14] It can be divided into [Non-Patent Document 15] and [Non-Patent Document 16]. Most of the methods discussed so far have attempted to compress the hologram itself. Since the hologram has a form similar to noise, it is very difficult to find spatial correlation between pixels, so it is difficult to show good energy concentration even when frequency conversion is performed. Therefore, it is a compression method in the restoration area to compress the hologram after converting it into a form of data with higher spatial correlation.
본 발명은 홀로그램 자체를 압축하는 연구에 대해 논의를 국한한다.The present invention confines the discussion to the study of compressing the hologram itself.
홀로그램은 다양한 방법으로 표현될 수 있는데, 광학적 방법으로 CCD를 이용하여 홀로그램을 촬영했다면 강도(intensity) 기반의 홀로그램에 해당할 것이고, 위상-천이 방식의 홀로그램인 경우에는 각 홀로그램 사이의 차이값(Phase-shifted distances-based representation)을 압축에 이용한다.A hologram can be expressed in various ways. If a hologram is photographed using a CCD in an optical method, it will correspond to an intensity-based hologram, and in the case of a phase-shift type hologram, the difference between each hologram (Phase -shifted distances-based representation) is used for compression.
가장 일반적인 홀로그램은 복소파(complex object wavefield based representation)로 표현하는 것이다. 복소파는 실수와 허수로 표현될 수도 있고, 진폭과 위상으로 표현될 수도 있다. 다른 표현 방법들로 같은 홀로그램에 대한 정보를 나타낸다면, 압축의 결과는 달라질 수 있다. 일반적으로 진폭과 위상 쌍에 비해서 실수와 허수 방식이 더욱 좋은 압축 효율을 보인다. 이것은 위상 성분이 랜덤성이 너무 강해서 압축 효율이 매우 낮기 때문이다. 따라서 이전의 대부분의 연구에서는 실수와 허수 형식의 정보를 압축하는 것을 선호하고 있다.The most common hologram is represented by a complex object wavefield based representation. A complex wave may be expressed in real and imaginary numbers, or in amplitude and phase. If different representation methods represent information about the same hologram, the result of compression may be different. In general, real and imaginary methods show better compression efficiency compared to amplitude and phase pairs. This is because the randomness of the phase component is too strong and the compression efficiency is very low. Therefore, most previous studies prefer to compress real and imaginary types of information.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 복소 벡터 평면을 이용하여 완전 복소 홀로그램을 하나의 정보로 재구성하여 코딩하되, 복소 벡터 평면을 다수의 단위 영역으로 분할하여 실수형태의 홀로그램 화소를 양자화 과정을 통해 정수 형태의 지수로 변환하는, 복소 홀로그램 압축을 위한 코딩 방법을 제공하는 것이다.An object of the present invention is to solve the above-mentioned problem, and to reconstruct and code a complete complex hologram into one piece of information using a complex vector plane, but divide the complex vector plane into a plurality of unit areas to form a hologram in real form. An object of the present invention is to provide a coding method for compressing a complex hologram, which converts pixels into exponents in the form of integers through a quantization process.
또한, 본 발명의 목적은 복소 홀로그램을 가장 잘 표현할 수 있는 복소 벡터 평면을 찾는 최적화 과정을 수행하고, 복소 벡터 평면에서 사용되는 단위 영역에 대해서만 지수를 부여하여 최적화를 수행한 후, 종래의 영상 압축 도구로 코딩하는, 복소 홀로그램 압축을 위한 코딩 방법을 제공하는 것이다.In addition, an object of the present invention is to perform an optimization process of finding a complex vector plane that can best represent a complex hologram, perform optimization by assigning an exponent only to a unit area used in the complex vector plane, and then perform conventional image compression. It is to provide a coding method for complex hologram compression that is coded with a tool.
상기 목적을 달성하기 위해 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 관한 것으로서, (b) 단위 영역으로 분할되는 복소 벡터 평면을 생성하되, 상기 복소 벡터 평면의 각 단위 영역에 지수를 부여하는 단계; (c) 복소 홀로그램을 복소 벡터로 간주하여 복소 벡터 평면에 사상하고, 사상된 상기 복소 벡터 평면의 단위 영역에 부여된 지수를, 상기 복소 홀로그램의 복소 지수로 할당하는 단계; 및, (f) 복소 지수로 할당된 복소 홀로그램을 인코딩 하는 단계를 포함하는 것을 특징으로 한다.To achieve the above object, the present invention relates to a coding method for compressing a complex hologram, comprising: (b) generating a complex vector plane divided into unit areas, and assigning an index to each unit area of the complex vector plane; (c) considering the complex hologram as a complex vector and mapping it onto a complex vector plane, and allocating an exponent assigned to a unit area of the mapped complex vector plane to the complex exponent of the complex hologram; and (f) encoding the complex hologram assigned to the complex exponential.
또, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 있어서, 상기 방법은, (a) 상기 복소 홀로그램을 정규화 한 후 상기 (b)단계 이하를 수행하되, 사전에 설정된 영역으로 자르고, 잘려진 영역을 사전에 정해진 크기를 갖는 범위로 사상하여 정규화 하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the present invention is a coding method for compressing a complex hologram, the method comprising: (a) normalizing the complex hologram and then performing steps (b) and below, cutting into a pre-set area, and pre-cutting the truncated area. Characterized in that it further comprises the step of normalizing by mapping into a range having a predetermined size.
또, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 있어서, 상기 (a)단계에서, 잘려진 영역을 사전에 정해진 크기를 갖는 범위로 사상할 때, 홀로그램의 분포 조절을 위해 스케일링 작업을 더 수행하는 것을 특징으로 한다.In addition, in the coding method for compressing a complex hologram, the present invention further performs a scaling operation to adjust the distribution of the hologram when mapping the truncated area into a range having a predetermined size in the step (a). to be characterized
또, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 있어서, 상기 (b)단계에서, 상기 복소 벡터 평면의 각 단위 영역에 서로 식별되는 숫자로 지수를 부여하는 것을 특징으로 한다.In addition, in the coding method for compressing a complex hologram, the present invention is characterized in that, in the step (b), an exponent is assigned to each unit area of the complex vector plane as a number that is mutually identified.
또, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 있어서, 상기 (b)단계에서, 상기 복소 벡터 평면의 각 단위 영역에 일련의 숫자로 지수를 부여하는 것을 특징으로 한다.In addition, in the coding method for compression of the complex hologram, the present invention is characterized in that, in the step (b), an index is assigned to each unit area of the complex vector plane as a series of numbers.
또, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 있어서, 상기 방법은, (d) 상기 (c)단계에서 복소 홀로그램의 할당된 복소 지수로부터 복소 홀로그램을 복원하고, 원래의 복소 홀로그램과 복원된 복소 홀로그램의 차이(이하 손실)를 최소화 하도록 하이퍼 파라미터를 조정하여 상기 (b)단계 및 (c)단계를 반복하는 단계를 더 포함하고, 상기 하이퍼 파라미터는 상기 복소 벡터 평면의 단위 영역의 크기 및 형태 중 어느 하나 이상을 조정하는 변수인 것을 특징으로 한다.In addition, the present invention is a coding method for compressing a complex hologram, the method comprising: (d) restoring a complex hologram from the complex exponent assigned to the complex hologram in step (c), and combining the original complex hologram with the restored complex The step of repeating steps (b) and (c) by adjusting hyperparameters to minimize the difference between holograms (hereinafter referred to as loss), wherein the hyperparameter is selected from among the size and shape of the unit area of the complex vector plane. It is characterized in that it is a variable that adjusts one or more.
또, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 있어서, 상기 방법은, (d) 상기 (c)단계에서 복소 홀로그램의 할당된 복소 지수로부터 복소 홀로그램을 복원하고, 원래의 복소 홀로그램과 복원된 복소 홀로그램의 차이(이하 손실)를 최소화 하도록 하이퍼 파라미터를 조정하여 상기 (a)단계 내지 (c)단계를 반복하는 단계를 더 포함하고, 상기 하이퍼 파라미터는 상기 복소 벡터 평면의 단위 영역의 크기, 형태, 및, 홀로그램의 분포 조절을 위한 스케일링 중 어느 하나 이상을 조정하는 변수인 것을 특징으로 한다.In addition, the present invention is a coding method for compressing a complex hologram, the method comprising: (d) restoring a complex hologram from the complex exponent assigned to the complex hologram in step (c), and combining the original complex hologram with the restored complex Further comprising repeating steps (a) to (c) by adjusting hyperparameters to minimize the difference between holograms (loss), wherein the hyperparameters are the size, shape, and size of the unit area of the complex vector plane; And, it is characterized in that it is a variable that adjusts at least one of scaling for controlling the distribution of holograms.
또, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 있어서, 상기 (d)단계에서, 상기 복소 홀로그램의 할당된 복소 지수를 상기 복소 벡터 평면의 단위 영역에 역으로 재사상하고, 재사상된 단위 영역을 나타내는 복소 벡터를 추출하고, 추출된 복소 벡터로 복소 홀로그램을 복원하는 것을 특징으로 한다.In addition, in the coding method for compressing a complex hologram, in the step (d), the assigned complex exponent of the complex hologram is reversely remapped to the unit area of the complex vector plane, and the remapped unit area is remapped. It is characterized by extracting a complex vector representing , and restoring a complex hologram with the extracted complex vector.
또, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 있어서, 상기 (d)단계에서, 재사상된 단위 영역을 나타내는 복소 벡터의 범위에서 대표값을 가지는 복소 벡터를 추출하고, 추출된 복소 벡터로 복소 홀로그램을 복원하는 것을 특징으로 한다.In addition, in the coding method for compressing a complex hologram, the present invention extracts a complex vector having a representative value from a range of complex vectors representing a remapped unit area in step (d), and converts the complex vector into the extracted complex vector. Characterized in restoring the hologram.
또, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 있어서, 상기 방법은, (e) 상기 (f)단계 이전에, 복소 벡터 평면에서 사상할 때 실제로 사용된 단위 영역의 지수들(이하 제1 지수들)만 모아, 상기 제1 지수들과 일대일 매핑되는 제2 지수들을 생성하되, 상기 제2 지수들은 일련의 숫자로 구성되며 상기 제1 지수들과 동일한 개수이고, 해당 매핑 관계에 따라 복소지수 평면의 지수를 매핑하여 재할당하는 것을 특징으로 한다.In addition, the present invention is a coding method for complex hologram compression, the method comprising: (e) prior to the step (f), the exponents of the unit area actually used when mapping on the complex vector plane (hereinafter, the first exponent) s) to generate second exponents that are mapped one-to-one with the first exponents, the second exponents being composed of a series of numbers and having the same number as the first exponents, and a complex exponential plane according to the mapping relationship. It is characterized in that the index of is mapped and reallocated.
또, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 있어서, 상기 복소 홀로그램은 실수부와 허수부로 구성되고, 상기 복소 벡터는 홀로그램의 실수부와 허수부의 2차원으로 이루어진 벡터인 것을 특징으로 한다.In addition, in the coding method for compressing a complex hologram, the complex hologram is composed of a real part and an imaginary part, and the complex vector is a two-dimensional vector composed of the real part and the imaginary part of the hologram.
또, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 있어서, 상기 복소 홀로그램은 2차원 이미지로 구성되고 해당 2차원 영상의 각 좌표에는 실수부와 허수부의 값을 가지며, 상기 복소 홀로그램의 지수는 2차원 영상으로 구성되고 해당 2차원 영상의 각 좌표에는 실수부와 허수부에 의해 할당된 지수의 값을 가지는 것을 특징으로 한다.In addition, the present invention is a coding method for compressing a complex hologram, wherein the complex hologram is composed of a two-dimensional image, each coordinate of the corresponding two-dimensional image has a value of a real part and an imaginary part, and the index of the complex hologram is a two-dimensional It is composed of an image, and each coordinate of the corresponding two-dimensional image has an index value assigned by a real part and an imaginary part.
또, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 있어서, 상기 (f)단계에서, 영상 또는 비디오 코덱에 의하여 상기 복소 홀로그램의 복소 지수를 인코딩 하는 것을 특징으로 한다.Also, in the coding method for compressing the complex hologram, the present invention is characterized in that, in step (f), the complex exponent of the complex hologram is encoded by an image or video codec.
또, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법에 있어서, 복소 홀로그램 압축을 위한 코딩 방법에 있어서, (g) 제1항 내지 제7항 중 어느 한 항의 방법에 의하여 인코딩된 복소 홀로그램의 복소 지수를 수신하는 단계; (h) 인코딩된 복소 홀로그램의 복소 지수를 디코딩하는 단계; 및, (i) 상기 복소 홀로그램의 할당된 복소 지수를 상기 복소 벡터 평면의 단위 영역에 역으로 재사상하고, 재사상된 단위 영역을 나타내는 복소 벡터를 추출하고, 추출된 복소 벡터로 복소 홀로그램을 복원하는 단계를 포함하는 것을 특징으로 한다.In addition, the present invention relates to a coding method for compressing a complex hologram, wherein (g) a complex exponent of a complex hologram encoded by the method of any one of
또한, 본 발명은 복소 홀로그램 압축을 위한 코딩 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.In addition, the present invention relates to a computer-readable recording medium on which a program for performing a coding method for compressing a complex hologram is recorded.
상술한 바와 같이, 복소 홀로그램 압축을 위한 코딩 방법에 의하면, 복소 벡터 평면을 이용하여 완전 복소 홀로그램을 하나의 지수 정보로 재구성하여 코딩함으로써, 실수부와 허수부 홀로그램 사이의 관계를 잘 보존하면서 홀로그램을 효율적으로 압축할 수 있는 효과가 얻어진다.As described above, according to the coding method for compressing a complex hologram, a complete complex hologram is reconstructed into one exponential information using a complex vector plane and coded, thereby preserving the relationship between the real part and the imaginary part hologram while maintaining the hologram. An effect capable of being compressed efficiently is obtained.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 홀로그램 예시도(Dices1080p)로서, (a) 실수부, (b) 허수부, (c) 복원(진폭)에 대한 예시도.
도 3은 본 발명의 일실시예에 따른 복소 홀로그램 압축을 위한 코딩 방법의 인코딩 과정을 설명하는 흐름도.
도 4는 본 발명의 일실시예에 따른 복소 홀로그램 압축을 위한 코딩 방법의 디코딩 과정을 설명하는 흐름도.
도 5는 본 발명의 일실시예에 따른 복소 홀로그램 압축을 위한 코딩 방법의 주요 동작에 대하여 요약하여 도식화 한 도면.
도 6은 본 발명의 일실시예에 따른 홀로그램의 분포를 조절하는 과정을 도식화 한 도면으로서, (a) 홀로그램 정규화 과정, (b) 스케일링 과정, (c) 역 정규화 과정을 도식화한 도면.
도 7은 본 발명의 일실시예에 따른 복소 벡터평면의 예시를 나타낸 표.
도 8은 본 발명의 일실시예에 따른 균일 복소 벡터평면의 종류로서, (a) 저밀도 원형, (b) 고밀도 원형, (c) 저밀도 정사각형, (d) 고밀도 정사각형 형태의 균일 복소 벡터 평면.
도 9는 본 발명의 일실시예에 따른 비균일 복소 벡터평면의 종류 (a) 원형, (b) 실수-허수 대칭 직사각형, (c) 실수-허수 비대칭 정사각형 형태의 비균일 복소 벡터 평면.
도 10은 본 발명의 일실시예에 따른 복소 홀로그램 양자화 단계를 도식화 한 예시도.
도 11은 본 발명의 일실시예에 따른 복소 홀로그램 역양자화 단계를 도식화 한 예시도.
도 12는 본 발명의 일실시예에 따른 복소 벡터 평면의 최적화를 위한 단계를 설명하는 의사 코드.
도 13은 본 발명의 일실시예에 따른 사용된 복소 벡터 평면의 형태에 대한 예시도.1 is a diagram showing the configuration of an entire system for implementing the present invention.
2 is an exemplary diagram (Dices1080p) of a hologram according to an embodiment of the present invention, illustrating (a) a real part, (b) an imaginary part, and (c) restoration (amplitude).
3 is a flowchart illustrating an encoding process of a coding method for compressing a complex hologram according to an embodiment of the present invention.
4 is a flowchart illustrating a decoding process of a coding method for complex hologram compression according to an embodiment of the present invention.
5 is a schematic diagram summarizing the main operations of a coding method for complex hologram compression according to an embodiment of the present invention.
6 is a diagram illustrating a process of adjusting the distribution of holograms according to an embodiment of the present invention, including (a) a hologram normalization process, (b) a scaling process, and (c) an inverse normalization process.
7 is a table showing examples of complex vector planes according to an embodiment of the present invention.
8 is a uniform complex vector plane in the form of (a) low-density circle, (b) high-density circle, (c) low-density square, and (d) high-density square, as types of uniform complex vector planes according to an embodiment of the present invention.
9 is a non-uniform complex vector plane in the form of (a) a circular shape, (b) a real-imaginary symmetric rectangle, and (c) a real-imaginary asymmetric square shape of non-uniform complex vector planes according to an embodiment of the present invention.
10 is an exemplary diagram illustrating a complex hologram quantization step according to an embodiment of the present invention.
11 is an exemplary diagram illustrating a complex hologram inverse quantization step according to an embodiment of the present invention.
12 is pseudo code illustrating steps for optimization of a complex vector plane according to one embodiment of the present invention.
13 is an exemplary view of a form of a complex vector plane used according to an embodiment of the present invention.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.Hereinafter, specific details for the implementation of the present invention will be described according to the drawings.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.In addition, in explaining the present invention, the same reference numerals are assigned to the same parts, and the repeated explanation thereof is omitted.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.First, examples of the configuration of the entire system for carrying out the present invention will be described with reference to FIG. 1 .
도 1에서 보는 바와 같이, 본 발명에 따른 복소 홀로그램 압축을 위한 코딩 방법은 홀로그램 데이터(100)를 입력받아 홀로그램의 성분을 압축하는 컴퓨터 단말(200) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 코딩 방법은 프로그램으로 구성되어 컴퓨터 단말(200)에 설치되어 실행될 수 있다. 컴퓨터 단말(200)에 설치된 프로그램은 하나의 프로그램 시스템 또는 코딩 시스템(300)과 같이 동작할 수 있다.As shown in FIG. 1, the coding method for compressing a complex hologram according to the present invention can be implemented by a program system on a
한편, 다른 실시예로서, 복소 홀로그램 압축을 위한 코딩 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 홀로그램 성분을 압축하는 것만을 전용으로 처리하는 전용 컴퓨터 단말로 개발될 수도 있다. 이를 코딩 시스템(300)이라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.On the other hand, as another embodiment, a coding method for compressing a complex hologram may be configured as a program and operated in a general-purpose computer, and may be implemented as a single electronic circuit such as an application specific integrated circuit (ASIC). Alternatively, it may be developed as a dedicated computer terminal that exclusively processes only compressing hologram components. This will be referred to as the
한편, 홀로그램 데이터(100)는 홀로그램의 성분의 데이터이다.On the other hand, the
다음으로, 본 발명에서 사용하는 완전복소 홀로그램에 대하여 설명한다.Next, the complete complex hologram used in the present invention will be described.
완전 복소 홀로그램을 수식적으로 표현하면 식 1과 같다. 홀로그램 평면 위에서, 객체 포인트들로부터 반사된 파와 참조파 사이의 간섭을 연산한 후에, 모든 객체 포인트들에 대한 간섭 패턴들을 누적한다. 식 1에 완전 복소 홀로그램(full complex hologram)의 생성을 위한 CGH 수식을 나타내었다. I(u,v)는 홀로그램 평면의 좌표 (u,v)에서의 강도이고, A(x, y, z)는 (x, y, z)좌표에서 객체 포인트의 강도이다. N은 객체 포인트의 개수이고, λ는 홀로그램 생성에 사용한 참조파(reference wave)의 파장이고, p는 홀로그램과 객체 포인트의 크기인데, 여기에서는 편의상 동일한 값으로 취급하였다. The full complex hologram is mathematically expressed as
[수학식 1][Equation 1]
도 2에 완전복소 홀로그램이 예시를 나타내었다. 도 2의 홀로그램은 JPEG에서 홀로그램의 압축 표준을 만들기 위해 공개한 홀로그램 데이터(Dices1080p)이다. 도 2(a)는 완전 복소 홀로그램의 실수부 홀로그램이고, 도 2(b)는 허수부 홀로그램이다. 도 2(a), (b), 및 (c)의 해상도는 1,920×1,080이다. SLM의 픽셀 크기는 6.4um이고, 복원 거리는 0~0.655cm이다. 복원을 위한 참조파의 파장은 640nm이고, 제공되는 데이터의 정밀도는 32비트이다 [비특허문헌 5]. 2 shows an example of a complete complex hologram. The hologram in FIG. 2 is hologram data (Dices1080p) published to make a hologram compression standard in JPEG. Fig. 2(a) is a hologram of the real part of a complete complex hologram, and Fig. 2(b) is a hologram of the imaginary part. The resolution of Figs. 2(a), (b), and (c) is 1,920×1,080. The pixel size of the SLM is 6.4um, and the restoration distance is 0~0.655cm. The wavelength of the reference wave for restoration is 640 nm, and the precision of the provided data is 32 bits [Non-Patent Document 5].
다음으로, 본 발명의 일실시예에 따른 복소 홀로그램 압축을 위한 코딩 방법에 대해서 도 3 및 도 4를 참조하여 설명한다.Next, a coding method for compressing a complex hologram according to an embodiment of the present invention will be described with reference to FIGS. 3 and 4 .
본 발명의 일실시예에 따른 코딩 방법은 홀로그램을 압축하는 인코딩 과정과, 압축된 홀로그램을 디코딩하는 디코딩 과정으로 구성된다.A coding method according to an embodiment of the present invention includes an encoding process of compressing a hologram and a decoding process of decoding the compressed hologram.
도 3에서 보는 바와 같이, 본 발명의 일실시예에 따른 인코딩 과정은 복소 홀로그램 정규화(complex hologram normalization)(S11), 복소 홀로그램 분석(complex hologram analysis) 및 복소평면 생성(complex plane generation)(S12), 복소평면-홀로그램 사상(complex plane projection)(S13a), 복소지수 할당(complex index assignment)(S13b), 복소평면 재사상(complex plane re-projection)(S14a), 복소 홀로그램 할당(complex hologram assignment)(S14b), 왜곡 최적화(distortion optimization)(S15), 복소지수 재할당(complex index re-assignment)(S16) 등의 단계들로 구성된다.As shown in FIG. 3, the encoding process according to an embodiment of the present invention includes complex hologram normalization (S11), complex hologram analysis, and complex plane generation (S12) , complex plane-hologram projection (S13a), complex index assignment (S13b), complex plane re-projection (S14a), complex hologram assignment (S14b), distortion optimization (S15), and complex index re-assignment (S16).
이때, 복소평면 사상(S13a)와 복소지수 할당(S13b) 단계가 홀로그램 양자화 단계(S13)를 구성하고, 복소평면 재사상(S14a)와 복소홀로그램 할당(S14b) 단계가 홀로그램 역양자화 단계(S13)를 구성한다.At this time, the steps of complex plane mapping (S13a) and complex exponential assignment (S13b) constitute the hologram quantization step (S13), and the steps of complex plane remapping (S14a) and complex hologram assignment (S14b) constitute the hologram dequantization step (S13). make up
또한, 인코딩 과정은 최종적으로 영상/비디오 인코딩 단계(S17)를 더 포함하며, 표준 코덱 혹은 전용 코덱을 사용할 수 있다.In addition, the encoding process finally further includes a video/video encoding step (S17), and a standard codec or a dedicated codec may be used.
또한, 도 4에서 보는 바와 같이, 본 발명의 일실시예에 따른 디코딩 과정은 복소평면-홀로그램 재사상(S22a)와 복소홀로그램 할당(S22b) 등 홀로그램 역양자화(S22), 그리고 복소홀로그램 역정규화(S23) 단계 등으로 구성된다. 여기에 영상/비디오 디코딩(S21) 단계가 포함된다.In addition, as shown in FIG. 4, the decoding process according to an embodiment of the present invention includes hologram dequantization (S22), such as complex plane-hologram remapping (S22a) and complex hologram assignment (S22b), and complex hologram denormalization ( S23) and the like. Here, the image/video decoding (S21) step is included.
즉, 본 발명에 따른 디코더(340)의 디코딩 과정은 인코더(330)의 인코딩 과정에 포함된다. That is, the decoding process of the decoder 340 according to the present invention is included in the encoding process of the encoder 330.
먼저, 다양한 분포를 갖는 완전 복소 홀로그램은 정규화 과정을 거치면서 동일한 분포를 갖도록 조절한다(S11). 복소 홀로그램의 분포를 분석하여 복소 평면을 생성한다(S12). 복소 평면을 이용하여 완전 복소 홀로그램을 양자화 지수값으로 구성된 복소 지수 평면으로 변환한다(S13). 이 과정을 복소 홀로그램 양자화 단계(S13)이라 정의한다.First, complete complex holograms having various distributions are adjusted to have the same distribution through a normalization process (S11). The distribution of the complex hologram is analyzed to generate a complex plane (S12). The complex hologram is converted into a complex exponential plane composed of quantization exponent values using the complex plane (S13). This process is defined as a complex hologram quantization step (S13).
양자화된 복소 홀로그램은 역 양자화 단계(S14)를 거쳐서 다시 복원된다. 왜곡 최적화 단계(S15)를 통해서 원래의 홀로그램과 복원된 홀로그램의 유사성을 분석한 후에, 이를 바탕으로 복소 평면을 다시 생성하고 이후의 과정을 반복한다. 둘 사이의 유사도가 매우 높은 수준이 되면 반복을 멈추고 복소 지수 재할당 단계(S16)를 수행하여 최소화된 복소 지수만 남기고, 복소 지수 평면을 최적화한다. 결과의 복소 지수 평면은 영상 및 비디오 압축 코덱(앵커 코덱, JPEG2000, HEVC, VVC, 전용 코덱 등)을 이용하여 압축하고(S17), 압축된 비트 스트림을 생성한다.The quantized complex hologram is reconstructed again through an inverse quantization step (S14). After analyzing the similarity between the original hologram and the restored hologram through the distortion optimization step (S15), a complex plane is regenerated based on this and the subsequent process is repeated. When the degree of similarity between the two reaches a very high level, the iteration is stopped and the complex exponential reallocation step (S16) is performed to optimize the complex exponential plane, leaving only the minimized complex exponents. The resulting complex exponential plane is compressed using an image and video compression codec (anchor codec, JPEG2000, HEVC, VVC, dedicated codec, etc.) (S17), and a compressed bit stream is generated.
다음으로, 복원과정은 압축과정의 역 과정이다. 먼저 압축된 비트 스트림을 영상 및 비디오 압축 코덱을 이용하여 복원한 후(S21)에, 복소 홀로그램 역양자화 단계(S22)를 통해서 복소 홀로그램을 복원한다. 마지막으로 복소 홀로그램을 역 정규화함(S23)으로써 원래의 분포를 갖는 홀로그램을 최종적으로 복원한다. Next, the restoration process is the reverse process of the compression process. First, the compressed bit stream is restored using an image and video compression codec (S21), and then the complex hologram is restored through a complex hologram inverse quantization step (S22). Finally, a hologram having an original distribution is finally restored by inverse normalizing the complex hologram (S23).
다음으로, 본 발명의 복소 홀로그램 압축을 위한 코딩 방법의 주요 동작을 도 5를 참조하여 설명한다. 도 5는 본 발명에 따른 방법의 주요 동작을 도식적으로 나타내고 있다.Next, main operations of the coding method for complex hologram compression of the present invention will be described with reference to FIG. 5 . 5 schematically shows the main operations of the method according to the invention.
본 발명의 핵심은 실수부와 허수부의 두 프레임으로 구성된 완전 복소 홀로그램을 동일한 크기를 갖는 한 프레임의 복소 평면으로 만드는 것이다. 이때 가장 중요한 동작은 실수부와 허수부의 홀로그램을 하나의 복소 평면으로 사상하는 것이다. 복소 평면으로 사상하는 동작은 크게 세 가지 효과를 갖는다. The essence of the present invention is to make a complete complex hologram composed of two frames of a real part and an imaginary part into a complex plane of one frame having the same size. At this time, the most important operation is to map the hologram of the real part and the imaginary part into one complex plane. Mapping to a complex plane has three main effects.
1) 첫 번째는 입력된 완전 복소 홀로그램의 해상도를 반으로 줄일 수 있다. 1) First, the resolution of the input complete complex hologram can be reduced by half.
2) 두 번째는 완전 복소 홀로그램의 실수부와 허수부 홀로그램 사이의 위상을 유지할 수 있다.2) Second, the phase between the real part and the imaginary part hologram of the complete complex hologram can be maintained.
3) 세 번째는 영역 기반의 다양한 양자화를 적용할 수 있다. 3) Third, various domain-based quantizations can be applied.
도 5는 크게 두 가지 동작으로 구성된다. 첫 번째는 인코딩 동작(아래쪽 왼쪽에서 오른쪽으로 진행되는 과정)과 두 번째는 디코딩 동작(위쪽 오른쪽에서 왼쪽으로 진행되는 과정)이다. 인코딩 동작에서 실수부 홀로그램의 첫 번째 화소의 값은 0.46이고, 허수부 홀로그램의 첫 번째 화소의 값은 0.77이다. 실수부와 허수부 홀로그램 화소의 크기는 -1~1로 정규화를 거친 결과이다. -1~1의 범위를 갖는 x축과 -1~1의 범위를 갖는 y축의 범위를 갖는 복소 평면을 정의한 후에 이 복소 평면에 0.46과 0.77의 화소값들을 이용해서 하나의 영역을 선택한다. 이 영역은 현재 5라는 지수가 할당되어 있다. 즉, 2개의 화소값들을 이용해서 하나의 2차원 벡터를 만들 수 있고, 이 벡터가 가리키는 위치가 이 두 개의 화소가 만들어낸 지수값이다. 이와 같은 방법으로 실수부와 허수부 홀로그램의 화소쌍이 만들어낸 지수는 복소 지수 지도(complex index map)에서 하나의 화소가 된다. 도 5에서 가장 오른쪽의 사각형이 홀로그램 복소 지수 지도에 해당하고, 이 정보가 영상/비디오 코덱으로 압축되는 대상이다. 디코딩 과정에서는 홀로그램 복소 지도의 화소를 하나씩 호출한 후에 복소 평면을 이용하여 원래의 홀로그램 화소들을 복구한다. 5 is largely composed of two operations. The first is the encoding operation (bottom left to right) and the second is the decoding operation (top right to left). In the encoding operation, the value of the first pixel of the real part hologram is 0.46, and the value of the first pixel of the imaginary part hologram is 0.77. The size of the real and imaginary hologram pixels is the result of normalization from -1 to 1. After defining a complex plane having an x-axis range of -1 to 1 and a y-axis range of -1 to 1, one area is selected on the complex plane using pixel values of 0.46 and 0.77. This area is currently assigned an index of 5. That is, a two-dimensional vector can be created using two pixel values, and the location indicated by this vector is the exponential value created by these two pixels. In this way, an index created by a pair of pixels of a real part and an imaginary part hologram becomes one pixel in a complex index map. In FIG. 5, the rightmost rectangle corresponds to the hologram complex exponential map, and this information is an object to be compressed by an image/video codec. In the decoding process, after calling the pixels of the hologram complex map one by one, the original hologram pixels are restored using the complex plane.
다음으로, 복소 홀로그램 정규화(complex hologram normalization) 단계(S11) 및 역 정규화 단계(S23)에 대하여 도 6을 참조하여 보다 구체적으로 설명한다.Next, the complex hologram normalization step (S11) and the inverse normalization step (S23) will be described in more detail with reference to FIG.
특정한 고정된 비트수만 갖는 2차원 영상과 달리 홀로그램은 생성 방법에 따라 다양한 범위의 값(32비트 부동소수점, 64비트 부동소수점, 16비트 부동소수점, 정수형 등)을 가질 수 있다. 다양한 값의 범위를 갖는 데이터를 고정된 알고리즘으로 처리하는 것은 매우 어렵다. 따라서 입력된 홀로그램을 일정한 범위를 갖는 데이터 포맷으로 정규화하는 과정은 필수적이다.Unlike a 2D image with a specific fixed number of bits, a hologram can have a range of values (32-bit floating point, 64-bit floating point, 16-bit floating point, integer, etc.) depending on the generation method. It is very difficult to process data with a range of values with a fixed algorithm. Therefore, a process of normalizing the input hologram into a data format having a certain range is essential.
홀로그램 정규화 과정은 크게 두 가지 과정으로 구성된다. 첫 번째는 자르기(clipping) 과정이고, 두 번째는 정규화(normalization) 과정이다. 홀로그램의 분포가 매우 넓은 경우에는 최대값과 최소값부터 시작하여 일정한 영역을 자른다. 다음으로 잘려진 영역을 일정한 크기를 갖는 범위(도 6에서는 -1 ~ 1로 표현)로 전체 데이터를 사상한다.The hologram normalization process is largely composed of two processes. The first is a clipping process, and the second is a normalization process. If the distribution of the hologram is very wide, a certain area is cut starting from the maximum and minimum values. Next, the entire data is mapped to a range having a certain size (expressed as -1 to 1 in FIG. 6) in the cut area.
또한, 바람직하게는, 정규화 과정(잘려진 영역을 일정 범위로 사상하는 과정)에서, 홀로그램의 분포 조절을 위해 스케일링 작업을 수행한다. 예를 들어, 홀로그램 분포가 높은 범위를 넓어지도록 하고 분포가 낮은 범위를 좁아지게 하도록, 스케일링 하여, 홀로그램의 상대적인 분포가 압축 효율이 좋은 형태가 되도록 조절한다.Also, preferably, in a normalization process (a process of mapping a cut-out area to a certain range), a scaling operation is performed to adjust the distribution of the hologram. For example, the relative distribution of the holograms is adjusted so that the relative distribution of the holograms is in a form with good compression efficiency by scaling such that the high range of the hologram distribution is widened and the range of the low distribution is narrowed.
또한, 왜곡 최적화 과정에서, 최적의 압축 효율을 얻기 위한 실수부와 허수부의 값의 분포가 조절될 수 있다. 즉, 정규화된 실수부와 허수부의 홀로그램 각각에 대해서 상대적인 분포를 조절할 수 있다. 이러한 실수부와 허수부 홀로그램 사이의 상대적인 분포를 조절하는 것도 왜곡 최적화 과정에서 하이퍼 파라미터에 포함된다.Also, in the distortion optimization process, the distribution of values of the real part and the imaginary part may be adjusted to obtain optimal compression efficiency. That is, the relative distribution of each of the holograms of the normalized real part and imaginary part may be adjusted. Adjusting the relative distribution between the real part and the imaginary part hologram is also included in the hyperparameters in the distortion optimization process.
홀로그램 역 정규화 과정은 동일한 과정을 반대로 수행한다. 다만 잘려진 영역은 동일한 값으로 복구할 수 없다.The hologram denormalization process does the same in reverse. However, the cut area cannot be restored to the same value.
다음으로, 복소 벡터 평면 생성(complex vector plane generation) 단계(S12)에 대하여 도 7 내지 도 9를 참조하여 보다 구체적으로 설명한다.Next, the complex vector plane generation step (S12) will be described in more detail with reference to FIGS. 7 to 9.
복소 홀로그램을 복소평면에 사상한 후에 사상된 분포를 분석하여 복소 홀로그램을 가장 잘 표현할 수 있는 복소 벡터평면을 생성한다.After mapping the complex hologram onto the complex plane, the mapped distribution is analyzed to create a complex vector plane that can best express the complex hologram.
복소 벡터평면은 다양한 형태를 가질 수 있다. 복소 벡터평면의 예시를 도 7의 표에 나타내었다. 복소 벡터평면은 형태적으로는 사각형일 수도 있고, 원형일 수도 있고, 그 밖의 다른 형태일 수도 있다.Complex vector planes can have various shapes. Examples of complex vector planes are shown in the table of FIG. 7 . The complex vector plane may have a rectangular shape, a circular shape, or other shapes.
복소 벡터평면은 작은 영역(sub-region)으로 나누어지는데 작은 하나의 단위 영역은 홀로그램의 공간적 양자화 단위가 된다. 이 작은 영역은 위치에 따라서 도 8과 같이 동일한 형태 혹은 면적을 갖도록 정의할 수 있고, 도 9와 같이 다른 형태 및 면적을 갖도록 정의할 수도 있다. 즉, 작은 영역은 균일하게 구성할 수도 있고, 비균일한 형태로 구성할 수도 있다. 또한 작은 영역은 선형적인 형태일 수도 있고, 비선형적인 형태일 수도 있다.The complex vector plane is divided into small sub-regions, and one small unit region becomes a spatial quantization unit of the hologram. This small area may be defined to have the same shape or area as shown in FIG. 8 depending on the location, or may be defined to have a different shape and area as shown in FIG. 9 . That is, the small area may be formed uniformly or may be formed in a non-uniform form. Also, the small area may be linear or non-linear.
또한, 복소 벡터평면의 각 단위영역에는 서로 식별이 되는 지수(예를들어, 일련의 숫자 등)를 부여한다. 특히, 바람직하게는, 지수는 일련의 숫자(예를들어, 일련의 정수 등)로 부여한다. 일례로서, 도 5와 같이, 각 단위 영역에 일련번호로 넘버링하여 지수를 부여할 수 있다.In addition, each unit area of the complex vector plane is given an index (for example, a series of numbers) to be identified with each other. Particularly preferably, the exponent is given as a series of numbers (eg, a series of integers, etc.). As an example, as shown in FIG. 5 , an index may be assigned to each unit area by numbering it with a serial number.
다음으로, 복소 홀로그램 양자화 단계(S13)에 대하여 도 10을 참조하여 보다 구체적으로 설명한다.Next, the complex hologram quantization step (S13) will be described in more detail with reference to FIG.
복소 홀로그램의 분포를 분석하고 복소 벡터평면을 생성한 후에, 복소 벡터평면을 이용하여 복소 홀로그램의 양자화를 수행한다.After analyzing the distribution of the complex hologram and generating a complex vector plane, quantization of the complex hologram is performed using the complex vector plane.
복소 벡터평면을 이용한 복소 홀로그램의 양자화 단계(S13)는 크게 복소 벡터평면 사상(complex vector plane projection) 단계(S13a)와 복소 지수 할당(complex index assignment) 단계(S13b)로 구성된다.The step of quantizing a complex hologram using a complex vector plane (S13) is largely composed of a step of complex vector plane projection (S13a) and a step of complex index assignment (S13b).
이 두 과정을 도 10에 한꺼번에 표시하고 있다.These two processes are shown at once in FIG. 10 .
도 10에서 보는 바와 같이, 실수부 홀로그램(real hologram)과 허수부 홀로그램(imaginary hologram)은 복소 벡터 평면(complex vector plane)의 두 개의 축을 구성한다. 2차원 실수부와 허수부 홀로그램의 공간적으로 동일한 홀로그램 화소의 위치(2차원 좌표)에 있는 두 값은 각각 복소 벡터 평면의 x축과 y축의 좌표가 된다. 이 두 좌표로 구성되는 실수형태의 2차원 좌표(2차원 벡터)가 포함된 영역(양자화 단위)은 하나의 지수를 갖는다. 이 지수값이 복소 지수 평면을 구성하는 값이 된다. 또한 평면에 대한 지수값의 좌표는 실수부와 허수부 홀로그램 화소의 위치(2차원 좌표)로 정의된다. 앞서 설명한 바와 같이 복소 벡터 평면은 여러 영역으로 구분되어 있고, 이 영역(또는 단위 영역)은 공간적인 양자화 단위에 해당한다. As shown in FIG. 10, a real hologram and an imaginary hologram constitute two axes of a complex vector plane. The two values at the spatially identical hologram pixel position (2D coordinates) of the 2D real and imaginary holograms become the coordinates of the x-axis and y-axis of the complex vector plane, respectively. An area (quantization unit) containing 2-dimensional coordinates (2-dimensional vectors) in the form of real numbers composed of these two coordinates has one exponent. This exponential value becomes a value constituting the complex exponential plane. In addition, the coordinates of the exponential value on the plane are defined as the positions (two-dimensional coordinates) of the real and imaginary hologram pixels. As described above, the complex vector plane is divided into several regions, and these regions (or unit regions) correspond to spatial quantization units.
다음으로, 홀로그램 역양자화(Hologram De-Quantization) 단계(S14,S22)에 대하여 도 11을 참조하여 보다 구체적으로 설명한다.Next, the hologram de-quantization steps (S14 and S22) will be described in detail with reference to FIG. 11 .
홀로그램 역양자화 과정은 홀로그램 양자화 과정의 역 과정과 동일하다. 복소 지수 평면은 2차원 좌표의 순서대로 하나씩 처리된다.The hologram inverse quantization process is the same as the reverse process of the hologram quantization process. The complex exponential plane is processed one by one in the order of the two-dimensional coordinates.
역양자화 과정을 도 11에 나타내고 있다.The inverse quantization process is shown in FIG. 11 .
도 11에서 보는 바와 같이, 복소 지수 평면의 좌표는 복원될 복소 홀로그램의 좌표와 동일하다. 복소 지수 평면을 형성하고 있는 값들은 양자화 지수들이고, 복소 벡터 평면의 각각의 영역(또는 단위 영역)을 지시한다. 복소 지수 평면의 값을 하나씩 읽어서 지수 값을 확인한 후에, 이 지수가 가리키는 복소 벡터 평면 내의 대응되는 영역(또는 단위 영역)을 정의하는 실수 형태의 2차원 좌표를 구한다. 2차원 좌표(2차원 벡터)의 x축에 대한 값은 실수부 홀로그램의 값이고, y축에 대한 값은 허수부 홀로그램의 값이다.As shown in FIG. 11, the coordinates of the complex exponential plane are the same as the coordinates of the complex hologram to be restored. The values forming the complex exponential plane are quantization exponents, and indicate each area (or unit area) of the complex vector plane. After checking the exponential value by reading the values of the complex exponential plane one by one, the two-dimensional coordinates in the form of real numbers defining the corresponding area (or unit area) within the complex vector plane indicated by the exponent are obtained. The value on the x-axis of the 2-dimensional coordinates (2-dimensional vector) is the value of the real part hologram, and the value on the y-axis is the value of the imaginary part hologram.
이때, 바람직하게는, 단위 영역에 대응되는 x축 범위 또는 y축 범위의 중간값을 해당 홀로그램의 실수부/허수부로 추출한다. 즉, 바람직하게는, 단위 영역에 대응하는 복소 벡터의 대표값을 해당 벡터 값의 범위(단위 영역에 대응되는 벡터 값 범위)의 대표값(예를 들어, 중간값, 시작점 값, 끝점 값 등)으로 설정한다.In this case, preferably, the median value of the x-axis range or the y-axis range corresponding to the unit area is extracted as the real/imaginary part of the corresponding hologram. That is, preferably, the representative value of the complex vector corresponding to the unit area is converted into a representative value (eg, a median value, a starting point value, an ending point value, etc.) of a range of corresponding vector values (a vector value range corresponding to the unit area). set to
다음으로, 왜곡 최적화 단계(S15)에 대하여 도 12를 참조하여 보다 구체적으로 설명한다.Next, the distortion optimization step ( S15 ) will be described in more detail with reference to FIG. 12 .
홀로그램 양자화와 역양자화를 거쳐서 복원된 홀로그램을 원래의 홀로그램과 비교하여 복소 지수 평면이 홀로그램의 양자화와 복원에 미치는 영향을 최소화시킨다. 즉, 원래의 홀로그램을 가장 잘 표현할 수 있고, 양자화 및 역양자화 과정을 통해서 원래의 홀로그램에 대한 정보의 손실이 최소화될 수 있는 복소 벡터 평면을 반복적으로 찾는 것이다.The hologram restored through hologram quantization and inverse quantization is compared with the original hologram to minimize the effect of the complex exponential plane on the quantization and restoration of the hologram. That is, iteratively finds a complex vector plane that can best represent the original hologram and can minimize loss of information about the original hologram through quantization and dequantization processes.
왜곡 최적화 단계(S15)의 과정을 도 12에 요약하고 있다.The process of the distortion optimization step (S15) is summarized in FIG. 12.
도 12의 의사 코드에서, 완전 복소 홀로그램, 복소 지수 평면, 역양자화된 완전 복소 홀로그램은 각각 HC(x,y), I(x,y), HC'(x,y)로 정의한다. 또한 양자화와 역양자화 함수는 각각 Q(HC,θ)와 Q-1(HC',θ)로 정의한다. 복소 벡터 평면으로의 변환 및 역변환 함수는 각각 C(θ)와 C-1(θ)로 정의한다. 여기서 θ는 복소 벡터 평면의 형태를 규정하는 하이퍼 파라미터에 해당하고, α는 학습률에 해당한다.In the pseudo code of FIG. 12, the full complex hologram, the complex exponential plane, and the inverse quantized full complex hologram are defined as H C (x,y), I(x,y), and H C' (x,y), respectively. In addition, the quantization and inverse quantization functions are defined as Q(H C , θ) and Q -1 (H C' , θ), respectively. The transform and inverse transform functions to the complex vector plane are defined as C(θ) and C -1 (θ), respectively. Here, θ corresponds to the hyperparameter defining the shape of the complex vector plane, and α corresponds to the learning rate.
바람직하게는, θ는 복소 벡터 평면의 단위 영역을 규정하는 하이퍼 파라미터이다. 즉, 하이퍼 파라미터는 복소 평면의 단위 영역의 크기와 형태를 조절하는 파라미터이다. 일례로서, 벡터 평면의 단위 영역의 크기와 형태는 복잡한 함수를 만들어서 조절할 수도 있고, 크기와 형태를 미리 여러 종류로 정해 놓고 선택하게 할 수 있다. 또는 이들 방식을 혼합해서 사용할 수도 있다.Preferably, θ is a hyperparameter defining the unit area of the complex vector plane. That is, hyperparameters are parameters that control the size and shape of a unit area on a complex plane. As an example, the size and shape of the unit area of the vector plane can be adjusted by creating a complex function, or the size and shape can be pre-determined in several types and selected. Alternatively, these methods may be mixed and used.
또한, 더욱 바람직하게는, 하이퍼 파라미터 θ는 홀로그램의 분포 조절을 위한 스케일링 변수를 더 포함할 수 있다. 이 경우, 복소 홀로그램 정규화 단계(S11)부터 다시 수행한다.Also, more preferably, the hyper parameter θ may further include a scaling variable for adjusting the hologram distribution. In this case, the complex hologram normalization step (S11) is performed again.
도 12에서 보는 바와 같이, 먼저, 복소 벡터 평면과 홀로그램을 이용하여 복소 지수 평면을 생성하는 양자화 과정을 수행한다(step1). 다음으로 복소 지수 평면을 다시 홀로그램을 복원하는 역양자화 과정을 수행한다(step2). 다음으로 원래의 홀로그램과 복원된 홀로그램의 차이를 구하고(step3), 이 차이가 최소화되도록 복소 벡터 평면의 형태를 업데이트하면서(step4-step7) 전체 과정을 반복한다(step8).As shown in FIG. 12, first, a quantization process of generating a complex exponential plane is performed using a complex vector plane and a hologram (step 1). Next, an inverse quantization process of reconstructing a hologram from the complex exponential plane is performed (step 2). Next, the difference between the original hologram and the restored hologram is obtained (step 3), and the entire process is repeated while updating the shape of the complex vector plane to minimize the difference (step 4-step 7) (step 8).
다음으로, 복소 지수 재할당(complex index reassignment) 단계(S16)에 대하여 도 13을 참조하여 보다 구체적으로 설명한다.Next, the complex index reassignment step (S16) will be described in detail with reference to FIG. 13 .
복소 벡터 평면의 모든 화소가 사용되지는 않는다. 복소 홀로그램의 분포에 따라 복소 벡터 평면은 일부만 사용될 수 있다. 도 13에 전체 복소 벡터 평면에서 사용된 복소 벡터 평면을 푸른색으로 나타내었다.Not all pixels of the complex vector plane are used. Depending on the distribution of complex holograms, only some of the complex vector planes can be used. In FIG. 13, the complex vector plane used in the entire complex vector plane is shown in blue.
도 13과 같이 복소 벡터 평면에서 실제로 사용된 영역이 줄어들게 되면 할당된 지수의 개수가 감소한다. 지수의 개수가 감소되면 지수값으로 구성되는 복소 지수 평면이 단조로와 진다. 즉, 복소 지수 평면의 변화도가 낮아지게 되어 복소 지수 평면은 더욱 압축이 잘 될 수 있다.As shown in FIG. 13, when the area actually used in the complex vector plane decreases, the number of assigned exponents decreases. As the number of exponents decreases, the complex exponential plane composed of exponential values becomes monotonous. That is, since the gradient of the complex exponential plane is lowered, the complex exponential plane can be further compressed.
즉, 바람직하게는, 복소 벡터 평면에서 실제로 사용된 영역의 지수들(이하 제1 지수들)만 모아, 상기 제1 지수들과 일대일 매핑되는 제2 지수들을 생성한다. 제2 지수들은 최초 지수들과 동일한 형태의 지수 체계이나 개수만 줄어든 지수들이다. 즉, 바람직하게는, 상기 제2 지수들은 일련의 숫자로 구성되며 상기 제1 지수들의 개수와 동일한 개수로 생성된다. 그리고 이러한 매핑 관계(재할당 매핑 관계)에 따라 복소지수 평면의 지수를 재할당한다. 즉, 복소지수 평면의 지수를 제2 지수들의 지수로 매핑하여 재할당한다.That is, preferably, only exponents (hereinafter referred to as first exponents) of regions actually used in the complex vector plane are collected to generate second exponents that are one-to-one mapped to the first exponents. The second indices are index systems having the same form as the first indices, but with only a reduced number. That is, preferably, the second exponents are composed of a series of numbers and are generated in the same number as the number of the first exponents. And according to this mapping relationship (reassignment mapping relationship), exponents of the complex exponential plane are reallocated. That is, the exponents of the complex exponential plane are mapped to the exponents of the second exponents and reallocated.
예를 들어, 복소 벡터 평면의 단위 영역의 개수가 100개(지수: 0~99)로 만들어졌는데, 실제로 사용된 단위 영역의 개수가 80개이다. 이 경우에 사용되지 않은 단위 영역 20개를 제외하고, 사용된 80개의 지수를 다시 새로운 지수(지수 : 0~79)로 매핑하여 재할당한다는 의미이다. 데이터의 범위가 줄어들기 때문에, 주파수 변환(transform)의 압축율이 더 좋아진다. 즉, 평균적으로 데이터들의 변화율이 낮아져서 주파수 변환의 결과로 나온 계수가 단순화된다.For example, although the number of unit areas of the complex vector plane is made 100 (index: 0 to 99), the number of actually used unit areas is 80. In this case, it means that 80 used indices are mapped to a new index (index: 0 to 79) and reallocated, excluding 20 unused unit areas. Since the range of data is reduced, the compression rate of the frequency transform becomes better. That is, the rate of change of the data is lowered on average, so that the coefficients resulting from the frequency conversion are simplified.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.In the above, the invention made by the present inventors has been specifically described according to the above embodiments, but the present invention is not limited to the above embodiments, and various changes can be made without departing from the gist of the present invention.
100 : 포인트 클라우드 200 : 컴퓨터 단말
300 : 프로그램 시스템, 품질 개선 장치100: point cloud 200: computer terminal
300: program system, quality improvement device
Claims (14)
(b) 단위 영역으로 분할되는 복소 벡터 평면을 생성하되, 상기 복소 벡터 평면의 각 단위 영역에 지수를 부여하는 단계;
(c) 복소 홀로그램을 복소 벡터로 간주하여 복소 벡터 평면에 사상하고, 사상된 상기 복소 벡터 평면의 단위 영역에 부여된 지수를, 상기 복소 홀로그램의 복소 지수로 할당하는 단계; 및,
(f) 복소 지수로 할당된 복소 홀로그램을 인코딩 하는 단계를 포함하는 것을 특징으로 하는 복소 홀로그램 압축을 위한 코딩 방법.
In the coding method for complex hologram compression,
(b) generating a complex vector plane divided into unit areas, and assigning an index to each unit area of the complex vector plane;
(c) considering the complex hologram as a complex vector and mapping it onto a complex vector plane, and allocating an exponent assigned to a unit area of the mapped complex vector plane to the complex exponent of the complex hologram; and,
(f) encoding a complex hologram assigned to a complex exponential.
상기 방법은, (a) 상기 복소 홀로그램을 정규화 한 후 상기 (b)단계 이하를 수행하되, 사전에 설정된 영역으로 자르고, 잘려진 영역을 사전에 정해진 크기를 갖는 범위로 사상하여 정규화 하는 단계를 더 포함하는 것을 특징으로 하는 복소 홀로그램 압축을 위한 코딩 방법.
According to claim 1,
The method further comprises: (a) performing steps below (b) after normalizing the complex hologram, cutting it into a pre-set area, mapping the cut-out area to a range having a pre-determined size, and normalizing the area; Coding method for complex hologram compression, characterized in that.
상기 (a)단계에서, 잘려진 영역을 사전에 정해진 크기를 갖는 범위로 사상할 때, 홀로그램의 분포 조절을 위해 스케일링 작업을 더 수행하는 것을 특징으로 하는 복소 홀로그램 압축을 위한 코딩 방법.
According to claim 2,
In the step (a), when mapping the truncated area into a range having a predetermined size, a scaling operation is further performed to control the distribution of the hologram.
상기 (b)단계에서, 상기 복소 벡터 평면의 각 단위 영역에 서로 식별되는 숫자로 지수를 부여하는 것을 특징으로 하는 복소 홀로그램 압축을 위한 코딩 방법.
According to claim 1,
In the step (b), an index is assigned to each unit area of the complex vector plane as a mutually identified number.
상기 (b)단계에서, 상기 복소 벡터 평면의 각 단위 영역에 일련의 숫자로 지수를 부여하는 것을 특징으로 하는 복소 홀로그램 압축을 위한 코딩 방법.
According to claim 4,
In the step (b), an index is assigned as a series of numbers to each unit area of the complex vector plane.
상기 방법은, (d) 상기 (c)단계에서 복소 홀로그램의 할당된 복소 지수로부터 복소 홀로그램을 복원하고, 원래의 복소 홀로그램과 복원된 복소 홀로그램의 차이(이하 손실)를 최소화 하도록 하이퍼 파라미터를 조정하여 상기 (b)단계 및 (c)단계를 반복하는 단계를 더 포함하고, 상기 하이퍼 파라미터는 상기 복소 벡터 평면의 단위 영역의 크기 및 형태 중 어느 하나 이상을 조정하는 변수인 것을 특징으로 하는 복소 홀로그램 압축을 위한 코딩 방법.
According to claim 1,
The method, (d) restores a complex hologram from the complex index assigned to the complex hologram in step (c), and adjusts the hyperparameter to minimize the difference (hereinafter referred to as loss) between the original complex hologram and the restored complex hologram. Further comprising repeating steps (b) and (c), wherein the hyperparameter is a variable that adjusts at least one of the size and shape of a unit area of the complex vector plane. Coding method for .
상기 방법은, (d) 상기 (c)단계에서 복소 홀로그램의 할당된 복소 지수로부터 복소 홀로그램을 복원하고, 원래의 복소 홀로그램과 복원된 복소 홀로그램의 차이(이하 손실)를 최소화 하도록 하이퍼 파라미터를 조정하여 상기 (a)단계 내지 (c)단계를 반복하는 단계를 더 포함하고, 상기 하이퍼 파라미터는 상기 복소 벡터 평면의 단위 영역의 크기, 형태, 및, 홀로그램의 분포 조절을 위한 스케일링 중 어느 하나 이상을 조정하는 변수인 것을 특징으로 하는 복소 홀로그램 압축을 위한 코딩 방법.
According to claim 3,
The method, (d) restores a complex hologram from the complex index assigned to the complex hologram in step (c), and adjusts the hyperparameter to minimize the difference (hereinafter referred to as loss) between the original complex hologram and the restored complex hologram. It further comprises repeating steps (a) to (c), wherein the hyper parameter adjusts any one or more of the size and shape of the unit area of the complex vector plane, and scaling for adjusting the hologram distribution. Coding method for complex hologram compression, characterized in that the variable.
상기 (d)단계에서, 상기 복소 홀로그램의 할당된 복소 지수를 상기 복소 벡터 평면의 단위 영역에 역으로 재사상하고, 재사상된 단위 영역을 나타내는 복소 벡터를 추출하고, 추출된 복소 벡터로 복소 홀로그램을 복원하는 것을 특징으로 하는 복소 홀로그램 압축을 위한 코딩 방법.
According to claim 6 or 7,
In the step (d), the complex exponent assigned to the complex hologram is inversely remapped to the unit area of the complex vector plane, a complex vector representing the remapped unit area is extracted, and the complex hologram is extracted using the complex vector. Coding method for complex hologram compression, characterized in that for restoring.
상기 (d)단계에서, 재사상된 단위 영역을 나타내는 복소 벡터의 범위에서 대표값을 가지는 복소 벡터를 추출하고, 추출된 복소 벡터로 복소 홀로그램을 복원하는 것을 특징으로 하는 복소 홀로그램 압축을 위한 코딩 방법.
According to claim 8,
In step (d), a complex vector having a representative value is extracted from a range of complex vectors representing the remapped unit area, and the complex hologram is restored with the extracted complex vector. .
상기 방법은, (e) 상기 (f)단계 이전에, 복소 벡터 평면에서 사상할 때 실제로 사용된 단위 영역의 지수들(이하 제1 지수들)만 모아, 상기 제1 지수들과 일대일 매핑되는 제2 지수들을 생성하되, 상기 제2 지수들은 일련의 숫자로 구성되며 상기 제1 지수들과 동일한 개수이고, 해당 매핑 관계에 따라 복소지수 평면의 지수를 매핑하여 재할당하는 것을 특징으로 하는 복소 홀로그램 압축을 위한 코딩 방법.
According to claim 1,
In the method, (e) prior to the step (f), only the exponents (hereinafter referred to as first exponents) of the unit area actually used when mapping on the complex vector plane are collected and mapped one-to-one with the first exponents. 2 exponents are generated, wherein the second exponents are composed of a series of numbers and have the same number as the first exponents, and the exponents of the complex exponential plane are mapped and reallocated according to a corresponding mapping relationship. Coding method for .
상기 복소 홀로그램은 실수부와 허수부로 구성되고, 상기 복소 벡터는 홀로그램의 실수부와 허수부의 2차원으로 이루어진 벡터인 것을 특징으로 하는 복소 홀로그램 압축을 위한 코딩 방법.
According to any one of claims 1 to 7,
The coding method for compressing a complex hologram, characterized in that the complex hologram is composed of a real part and an imaginary part, and the complex vector is a vector composed of two dimensions of the real part and the imaginary part of the hologram.
상기 복소 홀로그램은 2차원 이미지로 구성되고 해당 2차원 영상의 각 좌표에는 실수부와 허수부의 값을 가지며, 상기 복소 홀로그램의 지수는 2차원 영상으로 구성되고 해당 2차원 영상의 각 좌표에는 실수부와 허수부에 의해 할당된 지수의 값을 가지는 것을 특징으로 하는 복소 홀로그램 압축을 위한 코딩 방법.
According to claim 11,
The complex hologram is composed of a two-dimensional image, each coordinate of the corresponding two-dimensional image has a real part and an imaginary part, and the index of the complex hologram is composed of a two-dimensional image, and each coordinate of the corresponding two-dimensional image has a real part and a real part. A coding method for compression of a complex hologram, characterized in that it has a value of an exponent assigned by an imaginary part.
(g) 제1항 내지 제7항 중 어느 한 항의 방법에 의하여 인코딩된 복소 홀로그램의 복소 지수를 수신하는 단계;
(h) 인코딩된 복소 홀로그램의 복소 지수를 디코딩하는 단계; 및,
(i) 상기 복소 홀로그램의 할당된 복소 지수를 상기 복소 벡터 평면의 단위 영역에 역으로 재사상하고, 재사상된 단위 영역을 나타내는 복소 벡터를 추출하고, 추출된 복소 벡터로 복소 홀로그램을 복원하는 단계를 포함하는 것을 특징으로 하는 복소 홀로그램 압축을 위한 코딩 방법.
In the coding method for complex hologram compression,
(g) receiving a complex exponent of a complex hologram encoded by the method of any one of claims 1 to 7;
(h) decoding the complex exponent of the encoded complex hologram; and,
(i) inversely remapping the complex exponent assigned to the complex hologram to the unit area of the complex vector plane, extracting a complex vector representing the remapped unit area, and restoring the complex hologram with the extracted complex vector; Coding method for complex hologram compression comprising a.
A computer-readable recording medium recording a program for performing the coding method for compressing a complex hologram according to any one of claims 1 to 7.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210166202A KR102668230B1 (en) | 2021-11-26 | 2021-11-26 | A coding method for complex hologram compression |
| US17/965,218 US20230168627A1 (en) | 2021-11-26 | 2022-10-13 | Coding method for compressing complex hologram |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210166202A KR102668230B1 (en) | 2021-11-26 | 2021-11-26 | A coding method for complex hologram compression |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230078422A true KR20230078422A (en) | 2023-06-02 |
| KR102668230B1 KR102668230B1 (en) | 2024-05-23 |
Family
ID=86755617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210166202A KR102668230B1 (en) | 2021-11-26 | 2021-11-26 | A coding method for complex hologram compression |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102668230B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101267557A (en) * | 2008-04-14 | 2008-09-17 | 西安理工大学 | A method for image compression based on compound vector quantification |
| KR20150031523A (en) * | 2013-09-16 | 2015-03-25 | 광운대학교 산학협력단 | A Digital Hologram Compression Device based on Scalable Video Coding |
| KR20160081527A (en) * | 2014-12-31 | 2016-07-08 | 한국전자통신연구원 | Method for processing holographic image and displaying, and processing apparatus for holographic image, and display and computer readable recording medium for holographic image |
-
2021
- 2021-11-26 KR KR1020210166202A patent/KR102668230B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101267557A (en) * | 2008-04-14 | 2008-09-17 | 西安理工大学 | A method for image compression based on compound vector quantification |
| KR20150031523A (en) * | 2013-09-16 | 2015-03-25 | 광운대학교 산학협력단 | A Digital Hologram Compression Device based on Scalable Video Coding |
| KR20160081527A (en) * | 2014-12-31 | 2016-07-08 | 한국전자통신연구원 | Method for processing holographic image and displaying, and processing apparatus for holographic image, and display and computer readable recording medium for holographic image |
Non-Patent Citations (19)
| Title |
|---|
| (비특허문헌 1) Dennis Gabor, "A new microscopic principle", Nature, 161, pp. 777-778, 1948. |
| A. Ahar, D. Blinder, R. Bruylants, C. Schretter, A. Munteanu, and P. Schelkens, "Subjective quality assessment of numerically reconstructed compressed holograms." In Applications of Digital Image Processing XXXVIII. International Society for Optics and Photonics. vol. 9599, no. 95990K, pp. 1-15, Sep.2015 |
| B. Bross, W.-J. Han, G. J. Sullivan, J.-R. Ohm, and T. Wiegand, High Efficiency Video Coding (HEVC) Text Specification Draft 7, ITU-T/ISO/IEC Joint Collaborative Team on Video Coding (JCT-VC) document JCTVC-I1003, May 2012. |
| E. Darakis and J. J. Soraghan, "Reconstruction domain compression of phase-shifting digital holograms", Appl. Opt, vol. 46, no. 3, pp. 351-356, Jan. 2007. |
| E. Darakis and J. J. Soraghan, "Use of Fresnelets for Phase-Shifting Digital Hologram Compression," in IEEE Transactions on Image Processing, vol. 15, no. 12, pp. 3804-3811, Dec. 2006. |
| E. Darakis, T. J. Naughton, and J. J. Soraghan, "Compression defects in different reconstructions from phase-shifting digital holographic data," Appl. Opt, vol. 46, no. 21, pp. 4579-4586, Mar. 2007. |
| H. Yoshikawa and K. Sasaki, "Image Scaling for electro-holographic display", editor, SPIE Proc, vol. 2176 Practical Holography Ⅷ, paper#2176-02, pp. 12-22, Feb. 1994. |
| H. Yoshikawa, "Digital holographic signal processing," Proc. TAO First International Symposium on Three Dimensional Image Communication Technologies, pp. S-4-2, Dec. 1993. |
| Hussein S. Abdul-Rahman, Munther A. Gdeisat, David R. Burton, Michael J. Lalor, Francis Lilley, and Christopher J. Moore, "Fast and robust three-dimensional best path phase unwrapping algorithm," Appl. Opt. 46, 6623-6635 (2007) |
| J. Lainema, F. Bossen, W. Han, J. Min and K. Ugur, "Intra Coding of the HEVC Standard," in IEEE Transactions on Circuits and Systems for Video Technology, vol. 22, no. 12, pp. 1792-1801, Dec. 2012, doi: 10.1109/TCSVT.2012.2221525. |
| J. P. Peixeiro, C. Brites, J. Ascenso, and F. Pereira, "Holographic data coding: Benchmarking and extending hevc with adapted transforms." IEEE Transactions on Multimedia, vol. 20, no. 2, pp. 282-297, Feb.2018 |
| J. Peixeiro, C. Brites, J. Ascenso, and F. Pereira, " Digital holography: Benchmarking coding standards and representation formats." IEEE International Conference on Multimedia and Expo (ICME), pp. 1-6, July.2016 |
| J. Y. Sim, "Digital hologram compression using correlation of reconstructed object images." In Pacific-Rim Symposium on Image and Video Technology. pp. 204-214, Nov.2011 |
| JPEG Pleno https://jpeg.org/jpegpleno/ |
| P. A. Cheremkhin, and E. A. Kurbatova, "Numerical comparison of scalar and vector methods of digital hologram compression." Holography, Diffractive Optics, and Applications VII. vol. 10022, no. 1002227, pp.1-10, Oct.2016 |
| P. Hariharan, "Basics of Holography", Cambridge University Press, May 2002. |
| T. J. Naughton, Y. Frauel, B. Javidi and E. Tajahuerce, "Compression of digital holograms for three-dimensional object reconstruction and recognition", Appl. Opt. 41, pp. 4124-4132, July 2002. |
| T. J. Naughton, Y. Frauel, O. Matoba, N. Bertaux, E. Tajahuerce and B. Javidi, "Three-dimensional imaging, compression, and reconstruction of digital holograms", SPIE Proc, vol. 4877, Opp.104-114, Mar. 2003. |
| W. Osten, A. Faridian, P. Gao, K. Kㆆrner, D. Naik, G. Pedrini, Al. Kumar Singh, M. Takeda, and M. Wilke, "Recent advances in digital holography [Invited]," Appl. Opt. 53, G44-G63, 2014. |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102668230B1 (en) | 2024-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Naughton et al. | Compression of digital holograms for three-dimensional object reconstruction and recognition | |
| Bernardo et al. | Holographic representation: Hologram plane vs. object plane | |
| Yoshikawa et al. | Holographic image compression by motion picture coding | |
| Seo et al. | 3D scanning-based compression technique for digital hologram video | |
| Seo et al. | Digital hologram compression technique by eliminating spatial correlations based on MCTF | |
| Ko et al. | Deep learning-based compression for phase-only hologram | |
| Seo et al. | Lossy coding technique for digital holographic signal | |
| Blinder et al. | Wavelet coding of off-axis holographic images | |
| KR102668230B1 (en) | A coding method for complex hologram compression | |
| Elias et al. | On the use of graph Fourier transform for light-field compression | |
| KR20240006852A (en) | A compression coding method for complex holograms of amplitude and phase format | |
| Seo et al. | A new coding technique for digital holographic video using multi-view prediction | |
| US20230168627A1 (en) | Coding method for compressing complex hologram | |
| KR102617395B1 (en) | A compression coding system for phase component of hologram | |
| KR101530956B1 (en) | A Digital Hologram Compression Method based on Quad-tree Fresnelet | |
| Kim et al. | A fractal vector quantizer for image coding | |
| Lee et al. | Viewing angle dependent coding of digital holograms | |
| Cho et al. | 3-D mesh sequence compression using wavelet-based multi-resolution analysis | |
| Rodrigues et al. | Image Compression for Quality 3D Reconstruction | |
| JP5305451B2 (en) | Hologram encoding apparatus and hologram decoding apparatus, and hologram encoding program and hologram decoding program | |
| Valtchev et al. | Convolutional autoencoders for lossy light field compression | |
| Xing et al. | Sparse based adaptive non separable vector lifting scheme for holograms compression | |
| Seo et al. | Data compression technique for digital holograms using a temporally scalable coding method for 2-D images | |
| Raj et al. | Compression of complex-valued hologram data using line index coding and image compression standards | |
| Kim et al. | Performance analysis of versatile video coding for encoding phase-only hologram videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |