KR20180007239A - 도메인 변환 및 2d 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법 - Google Patents

도메인 변환 및 2d 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법 Download PDF

Info

Publication number
KR20180007239A
KR20180007239A KR1020160088225A KR20160088225A KR20180007239A KR 20180007239 A KR20180007239 A KR 20180007239A KR 1020160088225 A KR1020160088225 A KR 1020160088225A KR 20160088225 A KR20160088225 A KR 20160088225A KR 20180007239 A KR20180007239 A KR 20180007239A
Authority
KR
South Korea
Prior art keywords
video
compression
image
domain conversion
digital hologram
Prior art date
Application number
KR1020160088225A
Other languages
English (en)
Other versions
KR101910446B1 (ko
Inventor
장수진
서영호
김동욱
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020160088225A priority Critical patent/KR101910446B1/ko
Publication of KR20180007239A publication Critical patent/KR20180007239A/ko
Application granted granted Critical
Publication of KR101910446B1 publication Critical patent/KR101910446B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0493Special holograms not otherwise provided for, e.g. conoscopic, referenceless holography
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

도메인 변환 방식, 도메인 변환 단위, 압축 파라미터들의 조건들을 다양하게 변화시켜 테스트를 통해 가장 압축효율이 좋은 최적의 압축조건을 구하고, 구해진 조건을 만족하는 압축방법을 선택하는, 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에 관한 것으로서, (a) 디지털 홀로그램을 사전에 정해진 구간에 따라 세그먼트로 나누어 부분 DH(Digital Hologram) 영상으로 생성하는 단계; (b) 상기 부분 DH 영상을 다수의 도메인 변환방식 각각에 따라 도메인 변환을 수행하여, 도메인 변환 데이터를 획득하는 단계; (c) 상기 도메인 변환 데이터를 비디오 시퀀스로 생성하는 단계; (d) 비디오 시퀀스를 2차원 비디오 압축기에 따라 압축하되, 상기 2차원 비디오 압축기의 파라미터를 달리 설정하여 각 설정된 파라미터에 따라 비디오 시퀀스를 각각 압축하여 생성하는 단계; (e) 압축된 비디오 시퀀스를 복원하여 도메인 변환 데이터로 복원하고, 복원된 도메인 변환 데이터를 역 도메인 변환하여 부분 DH 영상으로 복원하는 단계; 및, (f) 복원된 부분 DH 영상과, 최초 부분 DH 영상을 대비하여 평가하여, 최적의 도메인 변환방식과, 상기 2차원 비디오 압축기의 파라미터를 선정하는 단계를 포함하는 구성을 마련한다.
상기와 같은 디지털 홀로그램 비디오 압축 방법에 의하여, 도메인 변환 방식, 압축 파라미터, CTU(Coding Tree Unit) 크기, 압축 모드, GOP(group of prediction) 크기 등 압축 파라미터의 최적 조건을 추출하여 압축함으로써, 종래 압축 기술에 비하여 동일한 화질을 가지면서 비디오의 압축률이 최소 2배 이상으로, 월등히 우수한 성능을 가질 수 있다.

Description

도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법{A Compression Method of Digital Hologram Video using Domain Transforms and 2D Video Compression Technique}
본 발명은 국제표준으로 제정된 2차원 동영상 압축기술을 이용하여 홀로그램 동영상을 압축하되, 디지털 홀로그램의 화소 간 상관성을 높이기 위하여 도메인 변환을 사용하여 압축하는, 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에 관한 것이다.
2009년 말, 3D영화 '아바타'의 상영으로 실감영상에 대한 욕구가 또다시 촉발되었으며, 과거와는 달리 이 사건으로 인해 대중들은 더 높은 실감성을 요구하는 계기가 되었다[비특허문헌 1]. 이에 안경식 스테레오스코픽(stereoscopic) 영상의 안경착용의 불편함과 시점의 제한을 극복하고자 무안경식 다시점(multiple viewpoints) 영상이 연구되어 왔으나[비특허문헌 2], 시점변환의 부자연스러움, 무안경식 3D영상의 어지러움, 다시점을 위한 해상도 등의 문제를 여전히 완전히 해결하지 못하고 있다. 따라서 1940년대부터 꾸준히 연구되어온 홀로그램(hologram)에 대한 관심도가 최근 급상승하고 있다.
홀로그램은 물체에서 반사되는 광파(물체파, object wave)에 기준이 되는 광파(기준파, reference wave)를 간섭시켜 그 결과로 발생되는 프린지 패턴(fringe pattern)들로 구성되며, 이 프린지 패턴을 디지털 데이터로 획득한 것이 디지털 홀로그램(digital hologram, DH)이다. 따라서 홀로그램은 2D 데이터이지만 물체파와 기준파의 위상차이로 물체까지의 거리정보까지 포함하는 3D 데이터이다[비특허문헌 3]. 이 홀로그램에 기준파를 조사하면 원 위치의 원 물체 영상이 재현된다. 따라서 홀로그램 영상은, 시야각의 제약은 있지만, 3차원 영상을 디스플레이하기 때문에 궁극적인 3D영상으로 간주되고 있으며, 최근 국내에서도 2020년 상용화를 목표로 범정부차원의 국책과제를 진행하고 있다[비특허문헌 4].
지금까지의 홀로그램 또는 DH(디지털 홀로그램)에 대한 연구는 홀로그램을 획득 또는 생성하는 분야와 홀로그램 영상을 디스플레이하는 분야에 집중되어 왔고, 홀로그램을 서비스하기 위한 분야에는 상대적으로 적은 연구만 진행되어왔다.
홀로그램을 서비스하기 위한 분야에 대한 기존 연구들을 설명한다.
Yoshikawa 등은 DH를 복원한 영상의 해상도가 인간의 시각시스템에 비해 너무 크기 때문에 DH의 해상도를 줄이고, 대신에 영상을 복원할 때 보간법 등을 이용하도록 정보량을 줄이는 방법을 제안하였다[비특허문헌 5][비특허문헌 6]. 또한 DH를 다수개의 1차원적 세그먼트(segment)로 나누고 각각에 이산코사인변환(discrete cosine transform, DCT)를 수행하여 동영상 압축 표준인 MPEG-1과 MPEG-2로 압축한 방법들이 제안되었다[비특허문헌 7][비특허문헌 8]. Javidi 등은 DH를 무손실 부호화 방식으로 압축하는 방법[비특허문헌 9]을 제안하였고, 무손실부호화 방식을 손실부호화 기술과 결합한 형태의 기술[비특허문헌 10]도 제안하였다. 이 팀에서는 또한 실시간 전송을 위해서 비트 패킹 동작에 의한 복소스트림을 양자화하는 압축방식[비특허문헌 11]을 제안하기도 하였다.
DH의 압축에 다양한 디지털 신호처리 기술을 사용한 방법들도 제안되었다. DH를 분할하고 각 부분 DH를 상관성이 높은 정보로 DCT 또는 DWT(discrete wavelet transform)한 후 변환된 부분DH를 시퀀스(sequence)로 만들어 MPEG2 또는 MPEG4 H.264/AVC의 손실압축과 ZIP 등의 무손실압축을 혼용한 압축방식[비특허문헌 12]을 제안하였으며, DH 비디오를 대상으로 DCT 또는 DWT된 부분홀로그램을 압축효율이 최적이 되도록 시퀀싱하는 방법[비특허문헌 13]을 제안하기도 하였다. 또한 DCT 변환된 부분DH 영상을 집적영상(integrated image)으로 만들어 그 결과를 H.264/AVC로 압축하는 방법[비특허문헌 14]을 제안하기도 하였다. DH를 부분 홀로그램으로 분할한 후 그 결과를 Fresnel 변환(Fresnel transform, FT)하고, 그 결과를 1차원으로 시퀀스를 만들어 motion-compensated temporal filtering (MCTF) 방법으로 압축하는 방법[비특허문헌 15], Mallat-tree 기반의 DWT와 Bandelet 변환을 사용하여 프린지 패턴의 방향성에 따라 압축을 수행한 방법[비특허문헌 16]이 제안되었다. Liebling 등은 DH를 프렌넬(Fresnel) 회절변환(FT)과 웨이블릿(wavelet) 변환을 결합하여 다해상도 영상으로 분해하는 프레넬릿(Fresenelet) 변환(FLT)방법을 제안[비특허문헌 17]하였는데, [비특허문헌 18]에서는 이 프레넬릿 변환된 각 부대역을 양자화하는 양자화기를 설계하여 압축하는 방법을 제안하였다.
또한, [비특허문헌 13]~[비특허문헌 16], [비특허문헌 17] 등과 같이, DH 비디오를 도메인 변환하고 그 결과를 2차원 동영상 압축 기술로 압축하는 방법을 예상할 수 있다. 그런데 DH 또는 그 원영상의 특징에 따라 DCT, FT, FLT 등 압축효율이 가장 좋은 도메인 변환과 그 변환 파라미터 및 압축 파라미터들을 찾는 방법이 필요하다.
[비특허문헌 1] 김진웅(Jin-Woong Kim), 안치득(Chideuk An), 최진수(Jin-Soo Choi), 문경애(Kyung-Ae Moon), 허남호(Nam-Ho Heo), 엄기문(Ki-Moon Eum), 강경욱(Kyung-Wook Kang), 훤히 보이는 3D 기술(Obviously-looking 3D techniques), 전자신문사(Electronic Technology News), 2010. [비특허문헌 2] Y. Gao, G. Cheung, T. Maugey, P.Frossard, and J. Liang, "Encoder-driven inpainting strategy in multiview video compression," IEEE Trans. in Image Processing, Vol. 25, No. 1, pp. 134-149, Ja. 2016. [비특허문헌 3] S. A. Benton and V. M. Bove Jr., Holographic imaging, John Wiley and Sons Inc., 2008. [비특허문헌 4] 한기평(Ki-Pyung Han), "기가코리아(Giga Korea)," TTL Journal, Vol. 146, pp. 16-21, 2013년 3월(March 2013). [비특허문헌 5] H. Yoshikawa and K. Sasaki, "Information reduction by limited resolution for electro-holographic display," SPIE Proc. Vol. 1914 Practical Holography Ⅶ, pp. 1914-1930, Feb. 1993. [비특허문헌 6] H. Yoshikawa and K. Sasaki, "Image Scaling for electro-holographic display," SPIE Proc. Vol. 2176, paper #2176-02, pp. 12-22, Feb, 1994. [비특허문헌 7] H. Yoshikawa, "Digital holographic signal processing," Proc. TAO First International Symposium on Three Dimensional Image Communication Technologies, pp. S-4-2, Dec. 1993. [비특허문헌 8] H. Yoshikawa and J. tamai, "Holographic image compression by motion picture coding," editor, SPIE Proc. vol 2652 Practical Holography Ⅹ, pp. 2652-01, Jan, 1996. [비특허문헌 9] T. J. Naughton and B. Javidi, "Compression of encrypted three-dimensional objects using digital holography," Optical Engineering, 43(10), pp. 2233-2238, October 2004. [비특허문헌 10] T. J. Naughton, Y. Frauel, E. Tajahuerce, and B. Javidi, "Compression of digital holograms for three-dimensional object reconstruction and recognition," Applied Optics, 41(20), pp. 4124-4132, July 10, 2002. [비특허문헌 11] O. Matoba, T. J. Naughton, Y. Frauel, N. Bertaux and B. Javidi, "Real-time three-dimensional object reconstruction by use of a phase-encoded digital hologram," Appl. Opt. 41(29), pp. 6187-6192, Oct, 2002. [비특허문헌 12] Young-Ho Seo, Hyun-Jun Choi, and Dong-Wook Kim, "Lossy coding technique for digital holographic signal", SPIE Optical Engineering, 45(6), 065802, Jun. 2006. [비특허문헌 13] Young-Ho Seo, Hyun-Jun Choi, and Dong-Wook Kim, "3D scanning-based compression technique for digital hologram video", Elsevier Signal Processing - Image Communication, Vol.22, Issue 2, pp. 144-156. Feb. 2007. [비특허문헌 14] Young-Ho Seo, Hyun-Jun Choi, Jin-Woo Bae, Hoon-Chong Kang, Seung-Hyun Lee, Ji-Sang Yoo and Dong-Wook Kim, "A new coding technique for digital holographic video using multi-view prediction", IEICE Transactions on Information and Systems, Vol. E90-D, No.1, pp. 118-125, Jan. 2007. [비특허문헌 15] Young-Ho Seo, Hyun-Jun Choi, Ji-Sang Yoo, and Dong-Wook Kim, "Digital hologram compression technique by eliminating spatial correlations based on MCTF," Opt. Commun. 283(21), pp. 4261-4270, 2010. [비특허문헌 16] Le Thanh Bang, Zulfiqar Ali, Pham Duc Quang, Jae-Hyeung Park, and Nam Kim, "Compression of digital hologram for three-dimensional object using Wavelet-Bandelets transform," Optics Express, Vol. 19 Issue 9, pp. 8019-8031, 2011. [비특허문헌 17] M. Liebling, T. Blu and M. Unser, "Fresnelets : new multiresolution wavelet bases for digital holography," IEEE Trans. Image Process. Vol. 12, No. 1, pp. 29-43, 2003. [비특허문헌 18] 서영호(Young-Ho Seo), 김문석(Moon-Seok Kim), 김동욱(Dong-Wook Kim), "프레넬릿 기반의 디지털 홀로그램 부호화를 위한 쿼드트리 부대역 양자화기 설계(Quad-tree Subband Quantizer Design for Digital Hologram Encoding based on Fresenelet)," 한국정보통신학회 논문지(Journal of the Korea Institute of Information and Communication Engineering), 제19권(Vol. 19), 제5호(No. 5), pp. 1180-1188, May 2015. [비특허문헌 19] http://mpeg.chiariglione.org/standards/mpeg-h/high-efficiency-videocoding [비특허문헌 20] Y-H. Seo, Y-H. Lee, J-M. Koo, W-Y. Kim, J-S. Yoo, and D-W. Kim, "Digital holographic video service system for natural color scene," Optical Engineering 52(11), 113106, Nov. 2013. [비특허문헌 21] http://tf3dm.com/3d-model/windmill-56151.html [비특허문헌 22] http://research.microsoft.com/en-us/downloads/5e4675af-03f4-4b16-b3bc-a85c5bafb21d/
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 국제표준으로 제정된 2차원 동영상 압축기술을 이용하여 홀로그램 동영상을 압축하되, 디지털 홀로그램의 화소 간 상관성을 높이기 위하여 도메인 변환을 사용하여 압축하는, 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법을 제공하는 것이다.
또한, 본 발명의 목적은 도메인 변환 방식, 도메인 변환 단위, 압축 파라미터들의 조건들을 다양하게 변화시켜 테스트를 통해 가장 압축효율이 좋은 최적의 압축조건을 구하고, 구해진 조건을 만족하는 압축방법을 선택하는, 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법을 제공하는 것이다.
특히, 도메인 변환 방식으로는 DCT([비특허문헌 13][비특허문헌 14]에서 DCT가 DWT보다 압축효율이 좋은 결과를 보였으므로 여기서는 DCT만 고려함), FT, 그리고 FLT를 고려하며, 2차원 비디오 압축기술은 가장 최근에 국제표준으로 제정된 H.265/HEVC(high efficient video coding)[비특허문헌 19]를 사용한다.
또한, 본 발명의 목적은 DH 또는 그 원영상의 특징에 따라 DCT, FT, FLT 중 압축효율이 가장 좋은 도메인 변환과 그 변환 파라미터 및 압축 파라미터들을 찾되, 도메인 변환 파라미터들을 DCT와 FT는 부분홀로그램의 크기, FLT는 변환 레벨(level)이며, 압축 파라미터는 HEVC CTU의 크기로 설정하는, 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에 관한 것으로서, (a) 디지털 홀로그램을 사전에 정해진 구간에 따라 세그먼트로 나누어 부분 DH(Digital Hologram) 영상으로 생성하는 단계; (b) 상기 부분 DH 영상을 다수의 도메인 변환방식 각각에 따라 도메인 변환을 수행하여, 도메인 변환 데이터를 획득하는 단계; (c) 상기 도메인 변환 데이터를 비디오 시퀀스로 생성하는 단계; (d) 비디오 시퀀스를 2차원 비디오 압축기에 따라 압축하되, 상기 2차원 비디오 압축기의 파라미터를 달리 설정하여 각 설정된 파라미터에 따라 비디오 시퀀스를 각각 압축하여 생성하는 단계; (e) 압축된 비디오 시퀀스를 복원하여 도메인 변환 데이터로 복원하고, 복원된 도메인 변환 데이터를 역 도메인 변환하여 부분 DH 영상으로 복원하는 단계; 및, (f) 복원된 부분 DH 영상과, 최초 부분 DH 영상을 대비하여 평가하여, 최적의 도메인 변환방식과, 상기 2차원 비디오 압축기의 파라미터를 선정하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에서, 상기 도메인 변환 방식은 2차원 이산 코사인 변환(DCT) 방식, 프레넬 변환(FT) 방식, 및, 프레넬릿 변환(FLT) 방식을 포함하는 것을 특징으로 한다.
또, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에서, 상기 도메인 변환 데이터를 각 도메인 변환 방식에 의해 변환되는 데이터의 크기를 1/4n(n은 자연수)의 비율로 세분화하여 생성하되, 상기 DCT 방식과 상기 FT 방식인 경우 부분 DH 영상을 분할하여 분할된 각 DH 영상을 각각 도메인 변환하여 해당 크기의 도메인 변환 데이터를 생성하고, 상기 FLT 방식인 경우 부분 DH 영상을 도메인 변환하는 레벨을 조절하여 해당 크기의 도메인 변환 데이터를 생성하고, 세분화된 도메인 변환 데이터는 분활된 각 DH 영상 별로 독립적으로 압축되는 것을 특징으로 한다.
또, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에서, 상기 2차원 비디오 압축기는 HEVC(high efficient video coding) 방식에 의해 비디오 시퀀스를 압축하는 것을 특징으로 한다.
또, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에서, 상기 비디오 압축기의 파라미터는 CTU(coding-tree unit) 크기, 압축모드, GOP(group of prediction) 크기를 포함하고, 상기 CTU 크기는 64×64, 32×32, 16×16를 구성되고, 상기 압축모드는 저지연(low delay) 모드와 임의접근(random access) 모드로 구성되고, 상기 GOP 크기는 4와 8로 구성되는 것을 특징으로 한다.
또, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에서, 상기 (f)단계에서, 비디오 시퀀스를 압축할 때 각 도메인 변환 방식과 각 파라미터 별로 동일한 압축률로 압축한 경우를 대비하여 평가하되, PSNR(Peak Signal-to-Noise Ratio)을 산출하여 평가하는 것을 특징으로 한다.
또한, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에 관한 것으로서, (a) 디지털 홀로그램을 사전에 정해진 구간에 따라 세그먼트로 나누어 부분 DH(Digital Hologram) 영상으로 생성하는 단계; (b) 상기 부분 DH 영상을 프레넬 변환(FT) 방식에 따라 도메인 변환을 수행하여 도메인 변환 데이터를 획득하되, 프레넬 변환을 1-레벨로 수행하여 획득하는 단계; (c) 상기 도메인 변환 데이터를 비디오 시퀀스로 생성하는 단계; 및, (d) 비디오 시퀀스를 HEVC(high efficient video coding) 방식의 2차원 비디오 압축기에 따라 압축하되, 상기 2차원 비디오 압축기의 CTU(coding-tree unit) 크기를 64×64로 설정하고, 압축모드를 임의접근(random access) 모드로 설정하고, GOP(group of prediction) 크기를 4로 설정하여, 비디오 시퀀스를 압축하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
상술한 바와 같이, 본 발명에 따른 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에 의하면, 도메인 변환 방식, 압축 파라미터, CTU(Coding Tree Unit) 크기, 압축 모드, GOP(group of prediction) 크기 등 압축 파라미터의 최적 조건을 추출하여 압축함으로써, 종래 압축 기술에 비하여 동일한 화질을 가지면서 비디오의 압축률이 최소 2배 이상으로, 월등히 우수한 성능을 가지는 효과가 얻어진다.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명에 따른 디지털 홀로그램의 2DDCT 결과의 예로서, 원 물체 정보의 (a) 빛의 세기, (b) 깊이, 디지털 홀로그램 평면의 (c) 실수, (d) 허수, (e) 크기, (f) 위상, 전체 홀로그램의 2DDCT 결과 평면의 (g) 실수, (h) 허수, (i) 크기, (j) 위상, 1/4 부분홀로그램의 2DDCT 결과 평면의 (k) 실수. (l) 허수, (m) 크기, (n)위상에 대한 예시 영상.
도 3은 본 발명에 따른 도 2의 DH에 대한 FT 결과 영상으로서, 전체 홀로그램을 FT한 결과 평면의 (a) 실수, (b) 허수, (c) 크기, (d) 위상; 1/4 부분홀로그램을 FT한 결과 평면의 (e) 실수, (f) 허수, (g) 크기, (h) 위상에 대한 결과 영상.
도 4는 본 발명에 따른 FLT의 두 형태에 대한 영상으로서, (a) 1-레벨 FLT, (b) 2-레벨 Mallat-tree FLT, (c) 2-레벨 quad-tree FLT에 대한 영상.
도 5는 본 발명에 따른 도 2의 DH에 대한 quad-tree FLT 결과에 대한 영상으로서, 1-레벨 FLT 평면의 (a) 실수, (b) 허수, (c) 크기, (d) 위상, 2-레빌 FLT 평면의 (e) 실수, (f) 허수, (g) 크기, (f) 위상에 대한 예시 영상.
도 6은 본 발명에 따른 1-레벨 FLT 부대역의 에너지 분포를 나타낸 표.
도 7은 본 발명의 일실시예에 따른 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법을 설명하는 흐름도.
도 8은 본 발명의 일실시예에 따른 DH 비디오 데이터 압축, 복호화 및 화질평가 과정을 설명하는 흐름도.
도 9는 본 발명의 일실시예에 따른 비디오 시퀀싱에 대한 설명도로서, (a) DH 전체를 2DDCT 또는 FT한 경우, (b) 부분 DH를 2DDCT 또는 FT한 경우, (c) FLT한 경우에 대한 설명도.
도 10은 본 발명의 실험에 따른 CGH 생성 파리미터를 나타낸 표.
도 11은 본 발명의 실험에 따른 사용한 비디오 데이터를 나타낸 표.
도 12는 본 발명의 실험에 따른 압축 관련 파라미터를 나타낸 표.
도 13은 본 발명의 실험에 따른, 압축결과의 예시 영상으로서, (a)(e)(i) 원 데이터, (b)(f)(j) 200:1로 압축한 결과, (c)(g)(k) 500:1로 압축한 결과, (d)(h)(l) 1000:1로 압축한 결과; (a)(b)(c)(d) 복원한 영상, (e)(f)(g)(h) DH 실수부, (i)(j)(k)(l) DH 허수부에 대한 예시 영상.
도 14는 본 발명의 실험에 따른 도 13의 영상들의 PSNR 값에 대한 표.
도 15는 본 발명의 실험에 따른 부분DH의 크기 또는 변환레벨에 따른 압축결과를 나타낸 그래프로서, 변환종류별의 (a)(b)(c) 2DDCT, (d)(e)(f) FT, (g)(h)(i) FLT, 데이터별의 (a)(d)(g) 복원영상, (b)(e)(h) DH 실수부, (c)(f)(i) DH 허수부에 대해 나타낸 그래프.
도 16은 본 발명의 실험에 따른 HEVC의 CTU 크기에 대한 압축결과 복원영상에 대한 그래프로서, (a) 2DDCT, (b) FT, (c) FLT 영상에 대한 그래프.
도 17은 본 발명의 실험에 따른 HEVC의 압축모드와 GOP에 따른 압축결과 복원영상에 대한 그래프로서, (a) 2DDCT, (b) FT, (c), FLT에 대한 그래프.
도 18은 본 발명의 실험에 따른 각 변환방법에 대한 최적 압축조건을 나타낸 표.
도 19은 본 발명의 실험에 따른 각 변환방법의 최적 압축조건에서의 압축효율 비교를 나타낸 그래프로서, (a) 복원영상, (b) DH 실수부, (c) DH 허수부에 대한 그래프.
도 20은 본 발명의 실험에 따른 기존 연구와의 비교를 나타낸 표.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명에 따른 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법은 DH(디지털 홀로그램) 영상(10)을 입력받아 상기 영상(또는 이미지)에 대하여 압축하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 디지털 홀로그램 비디오 압축 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.
한편, 다른 실시예로서, 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 DH 영상을 압축하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 디지털 홀로그램 비디오 압축 장치(30)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.
한편, DH 영상(10)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(10)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(10)은 하나의 이미지인 경우에도 해당된다.
본 발명에 따른 방법을 설명하기 전에, 본 발명에서 사용되는 도메인 변환 방식에 대하여 도 2 내지 도 6을 참조하여 먼저 설명한다.
본 발명에서는 DH 비디오의 압축도구로 2D 비디오 압축 기술인 H.265/HEVC를 사용한다. HEVC(high efficient video coding)는 공간적 시간적 중복성을 제거하고 상대적으로 고주파성분이 인간의 시각시스템에 덜 민감하다는 특성을 사용한다. 그러나 DH를 구성하는 간섭현상의 프린지패턴은 원 물체정보의 조그마한 변화에도 상당히 다른 형태의 패턴을 형성한다. 따라서 2D 비디오 압축 기술을 DH 압축에 사용하기 위해서는 DH를 먼저 공간적 시간적 상관성이 높은 데이터로 변환하여야 한다. 이것은 공간 도메인에서 다른 도메인으로 변환하여 얻을 수 있는데, 본 발명에서 사용할 도메인 변환 방식인 DCT, FT, FRLT 각각에 대해 그 변환방법과 변환결과의 특징에 대해서 설명한다.
먼저, 2차원 이산 코사인 변환(DCT) 방식에 대하여 설명한다.
DCT는 공간영역의 영상을 코사인의 각 주파수 대역 성분의 값으로 재편하는 변환방식이다. 따라서 가장 저주파 성분은 0 주파수 성분(평균값, DC값)이며, 최고주파 성분은 매 인접하는 데이터가 크고 작음을 반복하는 성분이다. 영상 데이터는 2차원 데이터이므로 영상에 대해서는 DCT를 가로방향과 세로방향의 2차원적으로 DCT를 적용하여 코사인 성분의 주파수 대역 데이터로 변환하는데, 이것을 2차원 코사인 변환(2-dimensional discrete cosine transform, 2DDCT)이라고 한다. 수학식 1은 f(i,j)의 공간영역의 영상을 F(u,v)의 주파수영역으로 2DDCT를 수행하는 식을 보이고 있는데, 여기서 M과 N은 각각 가로방향과 세로방향의 2DDCT 대상 영상의 크기, i와 j는 각각 가로방향과 세로방향의 화소의 위치(정수값), 그리고 u와 v는 각각 i와 j에 해당하는 주파수 도메인에서의 좌표값을 나타낸다. C(u), C(v)는 정수기저(integral basis)값으로, u 또는 v가 0일 때는
Figure pat00001
, 그 외의 경우는 1을 갖는다.
[수학식 1]
Figure pat00002
도 2는 DH에 대한 2DCCT 결과의 예를 보이고 있다. (a)와 (b)는 원영상정보로서 빛의 세기와 깊이정보를 각각 나타내고 있고, 두 영상의 해상도는 모두 200×200이다. (c)와 (d)는 (a)와 (b)로 획득된 DH의 실수부와 허수부를 각각 나타내고 있는데, 이 홀로그램은 간섭현상을 모델링한 수식[비특허문헌 3]으로 생성된 CGH(computer generated hologram)로, 해상도는 1,024×1,024이다. 도 2에서 디지털 홀로그램과 2DDCT 결과로 실수부-허수부의 쌍((c-d), (g-h), (k-l))과 크기-위상의 쌍((e-f), (i-j), (m-n))을 모두 보였다. 또한 DH 전체에 대한 2DDCT(g~j) 뿐만 아니라 DH를 가로와 세로방향으로 각각 1/2로 나눈 각 부분DH에 2DDCT를 수행한 결과(k~n)도 보이고 있다. (g~j)와 (k~n)을 비교하면 홀로그램이 작아짐에 따라 물체도 크기가 작아짐을 알 수 있고, 홀로그램 크기와 상관없이 2DDCT 결과는 각 홀로그램의 중심이 그 시점임을 알 수 있다. 예를 들어 (k~n)의 좌상위 2DDCT 결과는 (g~j)에 비해 시점이 좌상위로 이동한 결과를 보이고 있다.
다음으로, 프레넬 변환(FT) 방식에 대하여 설명한다.
DH를 영상으로 복원하기 위해서는 DH에 기준파를 조사하여 프린지 패턴에 의한 빛의 회절(diffraction)현상을 일으켜야 하는데, 이것은 공간광변조기(spatial light modulator, SLM)와 같은 특별한 장치를 사용하여야 가능하다. 그러나 이 회절현상 또한 모델링되어 특정 거리에서 홀로그램 영상을 복원할 수 있는데, 이것은 시뮬레이션 등의 목적으로 주로 사용되고 있다. 이 식을 프레넬 회절(Fresnel diffraction) 또는 변환(FT)이라고 하며, 디지털 홀로그램 f(x,y)를 G(x,y)로 FT하는 식을 수학식 2에 나타내었다.
[수학식 2]
Figure pat00003
여기서, (i,j)와 (x,y)(i,j,x,y 모두 정수)는 DH와 FT된 결과의 화소위치, △i와 △j는 DH의 가로방향과 세로방향 화소크기, △x와 △y는 FT평면의 가로방향과 세로방향의 화소크기, z는 DH평면과 FT평면과의 거리, λ는 사용한 빛의 파장을 각각 나타낸다. 이 식에서 디지털 홀로그램의 해상도는 M×N이다.
도 3은 도 2의 DH를 FT한 결과를 실수, 허수, 크기, 위상평면으로 보이고 있다. (a)~(d)는 전체 DH에 대한 결과이고, (e)~(h)는 1/4 부문DH 각각에 대한 결과이다. 마찬가지로 (e)~(f)의 각 FT 결과는 (a)~(d)의 결과에 비해 해당 DH의 중심으로 시점이동한 결과를 보이고 있다.
다음으로, 프레넬릿 변환(FLT) 방식에 대하여 설명한다.
프레넬릿 변환(FLT)는 FT와 DWT를 결합한 변환방식[비특허문헌 17]이다. 따라서 이 변환에서는 저대역 통과 필터링(ZL)과 고대역 통과 필터링(ZH)을 각 방향으로 수행하게 되는데, 이 두 필터링을 수학식 3과 4에, 각 필터링에 사용되는 필터(F0, F1)를 수학식 5와 6에 각각 나타내었다. 또한 수학식 7와 8은 FLT의 역변환에 사용되는 저대역 통과(F0 *)와 고대역 통과(F1 *) 필터를 각각 나나태고 있다. 두 필터링 모두 1차원 필터링을 수행하기 때문에 가로방향과 세로방향으로 해당 필터링을 각각 수행하여 2차원 데이터를 변환한다. DH도 2차원 데이터이기 때문에 양방향으로 필터링을 수행하여야 한다.
[수학식 3]
Figure pat00004
[수학식 4]
Figure pat00005
[수학식 5]
Figure pat00006
[수학식 6]
Figure pat00007
[수학식 7]
Figure pat00008
[수학식 8]
Figure pat00009
FLT가 원 데이터에 저대역과 고대역 통과 필터링을 각각 수행하기 때문에 필터링 결과를 모두 보유하면 원 데이터의 2배에 해당하는 데이터를 갖게 된다. 따라서 각 통과대역 필터링 결과에서 1/2 서브샘플링(sub-sampling)(decimation)하여야 원 데이터와 동일한 양의 데이터를 가질 수 있다[비특허문헌 12][비특허문헌 17]. DH는 2차원 데이터이므로 가로방향과 세로방향 각각에 대해 필터링을 수행하여야 하는데, 이 경우는 가로와 세로방향 모두 1/2 데시메이션(decimation)을 수행하며, 결과적으로 LL, LH, HL, HH의 4개의 부대역(subband)이 형성된다(도 4(a)). 여기서 부대역 XY(X와 Y는 L 또는 H)는 가로방향으로 F0, 세로방향으로 F1을 각각 통과시킨 결과를 뜻한다.
FLT의 가로와 세로 한 쌍의 필터링을 한 레벨(level)이라 하며, 두 레벨 이상의 필터링을 수행할 경우 두 가지 형태가 가능하다. 도 4에 이 두 형태를 보이고 있는데, (b)의 말럿 트리(Mallat-tree) FLT는 그 전 레벨의 부대역 중 최저 주파수 대역, 즉 LL 부대역만 레벨 2에서 FLT를 수행하고, (c)의 쿼드트리(quad-tree) FLT는 그 전 레벨의 모든 부대역에 대해 FLT를 수행한다. 도 4(b) 또는 (c)에서 부대역 이름 WXYZ(W, X, Y, Z는 L 또는 H)는 레벨 1에서 가로방향으로 W, 세로방향으로 X, 레벨 2에서 가로방향으로 X, 세로방향으로 Z 필터링을 수행할 결과를 나타낸다. 본 발명에서는 더 세밀한 주파수대역 분할을 위하여 쿼드트리(quad-tree) FLT만을 고려한다. n-레벨 FLT를 수행하면 총 4n개의 부대역이 생성된다.
도 5는 도 2의 DH에 대해 쿼드트리(quad-tree) FLT를 수행한 결과의 예를 보이고 있다. 마찬가지로 실수, 허수, 크기, 위상평면을 모두 보이고 있으며, (a)~(d)는 1-레벨 FLT 결과, (e)~(h)는 쿼드트리(quad-tree) 2-레벨 FLT 결과를 각각 보이고 있다. DCT나 FT와는 달리 1-레벨 FLT 결과와 2-레벨 FLT결과가 모두 동일한 시점을 갖는다는 것을 알 수 있는데, 이것은 모든 부대역이 전체 DH에 대해 가로와 세로의 주파수 대역만 다르기 때문이다.
즉, FLT의 경우는 한 번 변환하면 1/4크기의 4개의 부대역으로 나누어지지만, FT나 DCT는 원 홀로그램 크기의 한 변환결과만을 만들어낸다. 따라서 FT나 DCT를 작은 단위로 하려면 원 홀로그램 자체를 나누어서 변환한다. 그런데, 나누어진 각 부분 홀로그램은 그 홀로그램의 중심을 시점으로 볼 수 있으므로, FT나 DCT가 원 홀로그램보다 작은 크기라면 시점의 변화가 생기는 것이다.
도 6의 표는 1-레벨 FLT로 생성되는 부대역들의 실수부, 허수부, 크기가 갖는 상대적인 에너지 분포를 보이고 있다. 도 6의 표에서 보는 바와 같이 FLT 결과 값을 복소수로 표현하였을 때 실수평면과 허수평면은 각 부대역의 에너지 분포에 큰 차이가 없으나, 크기와 위상으로 표현하였을 때 크기의 에너지는 LL 부대역에 집중되는 것을 볼 수 있다.
다음으로, 본 발명의 일 실시 예에 따른 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법을 도 7 내지 도 9를 참조하여 설명한다. 도 7 및 도 8은 본 발명에 따른 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에 대한 전체적인 흐름도를 보여준다.
도 7에서 보는 바와 같이, 본 발명에 따른 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법은 (a) 디지털 홀로그램을 세그먼트화하는 단계(S10), (b) 세그먼트화된 디지털 홀로그램 영상에 도메인 변환을 수행하는 단계(S20), (c) 변환된 데이터를 비디오 시퀀스로 생성하는 단계(S30), (d) 비디오 시퀀스를 압축하는 단계(S40), (e) 비디오 시퀀스를 복원하는 단계(S50), 및 (f) 복원된 홀로그램 영상과 최초 홀로그램 영상을 대비하여 평가하는 단계(S50)로 구성된다.
세부적인 방법이 도 8에 도시되고 있다.
즉, 본 발명에 따른 방법은 2D 비디오 압축부호화기를 사용하여 DH 비디오 데이터를 압축부호화하는 방법으로서, 크게는, 도 8과 같이, 압축부호화과정, 복호화과정 및 화질을 평가하는 과정으로 구성된다. 먼저, DH을 필요에 따라 분할하여 부분 DH로 만들고 각 부분 DH를 데이터 상관도를 높이기 위하여 앞에서 설명한 도메인 변환을 수행한다. 그 결과는 비디오 시퀀스로 만들어 2D 비디오 압축기인 H.265/HEVC로 압축을 수행한다. 압축된 결과는 복호화하고 도메인 역변환 과정을 거쳐 분할된 부분DH를 결합하여 원 DH의 크기로 만든다. 화질평가는 DH 자체에 대한 평가와 FT으로 영상을 복원한 결과에 대해 각각 압축률 대비 화질을 평가한다.
먼저, 디지털 홀로그램을 세그먼트화 한다(S10). 즉, 디지털 홀로그램(DH) 영상을 사전에 정해진 구간에 따라 세그먼트로 나누어 부분 DH 영상으로 생성한다.
다음으로, 부분 DH 영상을 도메인 변환한다(S20). 이때, 부분 DH영상을 원 DH 영상 또는 최초 DH 영상이라 부르기로 한다.
앞에서 언급한 바와 같이 DH 데이터가 프린지 패턴으로 구성되어 있어서 데이터의 상관성이 아주 낮기 때문에 HEVC(high efficient video coding)의 화면 내 예측(intra prediction)이나 화면 간 예측(inter prediction)에서 효율이 많이 떨어진다. 따라서 DH의 데이터 상관성을 높이기 위하여 도메인 변환을 먼저 수행한다.
도 9에 보인 바와 같이, 본 발명에서는 2DDCT, FT, FLT의 세 변환 방식을 사용한다. 이 중 2DDCT는 이미 잘 알려진 방식이다[비특허문헌 13][비특허문헌 15].
2DDCT와 FT는 변환결과가 원 데이터와 동일한 크기의 하나의 데이터가 생성된다. 그러나 FLT는 가로방향과 세로방향으로 1/2 데시메이션(decimation)을 수행한다고 가정하면, 한 레벨 FLT는 동일한 크기의 결과 데이터를 만들어내지만 이 데이터는 동일한 크기의 네 주파수 부대역으로 나누어진다. 앞에서 언급한 것과 같이 본 발명에서는 보다 세밀한 주파수대역 분할을 위해서 쿼드 트리(quad-tree) 방식의 FLT를 사용한다. 따라서 n-레벨 쿼드 트리(quad-tree) FLT를 수행하면 2n+1의 동일한 부대역으로 나누어진다. 또한, FLT의 레벨을 증가시키면서, 각 레벨에 대하여 이후 비디어 시퀀스를 생성한다. 이것은 FLT의 레벨을 증가함에 따른 압축효율 변화도 확인하기 위한 것이다. 또한, 2DDCT와 FT도 원 DH를 동일한 크기의 여러 부분 DH로 분할한 후 도메인 변환을 수행하여 부분 DH 크기의 변화에 따른 압축효율의 변화도 확인한다.
다음으로, 변환된 데이터로부터 비디오 시퀀스를 형성한다(S30).
도메인 변환된 데이터를 HEVC와 같은 2D 비디오 압축기로 압축하기 위해서는 이 데이터를 시퀀스로 만들어야 한다. 먼저, 도 9(a)와 같이 DH 전체를 2DDCT 또는 FT한 경우는 원 DH 비디오 시퀀스대로 시퀀스를 형성한다. 그러나 DH을 부분DH로 분할하여 2DDCT 또는 FT로 변환한 경우에는 동일한 위치의 부분 DH별로 시퀀스를 형성한다. 도 9(b)에 1/4fh 분할되는 경우를 보이고 있는데, 이 경우는 4개의 독립된 시퀀스가 형성된다. [비특허문헌 13]에서 분할된 부분DH에 대해 3차원으로 지그재그(zig-zag) 스캔하는 방법을 제안하였는데, 상기 선행기술의 결과와 본 발명의 결과는 이하 효과에서 비교하기로 한다. 한편, FLT의 경우는 1 레벨 변환만 수행하여도 크기가 1/4인 4개의 부대역이 생성된다. 이 경우는 도 9(c)의 예(1-레벨 FLT)에서 보인 바와 같이 동일한 부대역까리 시퀀스를 형성한다.
다음으로, 데이터를 압축하여 부호화한다(S40).
시퀀스가 형성된 데이터는 2D 비디오 압축기로 압축하였으며, 바람직하게는, HEVC를 사용한다. DH은 HEVC의 인트라 프레임 주기(intra period) 단위로 동일위치의 부분 DH 또는 FLT 부대역 시퀀스를 차례로 입력한다. 이때 압축부호화 모드는 저지연(low delay) 모드와 임의접근(random access) 모드를 모두 고려한다. 또한, CTU(coding-tree unit)는 가능한 모든 크기를 모두 고려한다. 또한, 압축율은 QP(quantization parameter)값을 변경하거나 비트율을 조절하여 조정한다[비특허문헌 19].
다음으로, 압축된 시퀀스를 홀로그램 영상으로 복원한다(S50).
압축된 데이터는 압축율 대비 화질을 평가하기 위하여 복호화한다. 복호화는 부호화의 역과정, 즉 먼저 HEVC 복호화를 수행하고 그 결과를 도메인 역변환하여 분할된 경우는 결합하여 전체 DH 프레임을 형성한다.
다음으로, 복원된 DH 영상을 원 DH 영상과 대비하여, 홀로그램 압축 방법에 대하여 평가한다(S60).
압축률 대비 화질평가는 DH 자체와 복원영상에 대해서 모두 시행한다. DH을 영상으로 복원하는 방법은 DH을 FT하여 수행하는데, 이 때 복원거리는 물체의 중심거리로 한다.
다음으로, 본 발명의 효과를 실험을 통해 설명한다.
본 발명에 따른 DH의 압축방법의 압축 효율을 판단하기 위하여 다양한 환경에서 실험을 수행하고, 그 결과를 종래기술에 따른 방법과 비교한다.
먼저, 실험환경에 대하여 설명한다.
도 8의 모든 과정은 PC에서 수행하였으며, 사용한 PC는 인텔 코어(Intel Core)(TM) i7-3770 CPU를 사용하고 GPU는 NVIDIA GeForce GTX 970 카드 한 장을 사용하였다. 도 8의 과정 중 도메인 변환은 GPU를 사용하였고, HEVC 압축은 HM16.0을 사용하였으며, 나머지는 C/C++로 구현하였다.
디지털 홀로그램(DH)은 광원+깊이정보의 원 비디오 데이터를 사용하여, 빛의 간섭현상을 모델링한 수식으로 컴퓨터-생성 홀로그램(computer-generated hologram, CGH)[비특허문헌 3]을 만들어 사용하였다. 이 CGH 생성에 사용한 파리미터들을 도 10의 표에 나열하였는데, DH는 단색(monochromatic)으로 원 영상의 Y성분을 추출하여 빛의 세기로, 깊이영상을 깊이정보로 각각 사용하였다.
CGH로 만든 원 비디오 클립(clip)들은 도 11의 표에 나열하였다. 먼저 본 발명자가 제작한 영상/비디오 획득 시스템[비특허문헌 20]으로 획득한 4개의 비디오를 사용하였다. 이 획득시스템은 수직리그(vertical rig)를 사용하며, 하나의 수직리그에 RGB 카메라와 깊이카메라 각각 1대씩 장착되어 있는데, 깊이카메라의 해상도가 176×144이어서 RGB 영상 또한 깊이카메라로 해상도에 맞춰 사용하였다. 이 외 윈드밀(Windmill)[비특허문헌 21]과 MPEG4 MVC(multiview video coding)의 테스트 시퀀스 중 발레(Ballet)와 브레이크댄서(Breakdancers)를 사용하였다. MPEG 테스트 시퀀스를 제외한 영상들은 배경이 없는 영상들이어서 배경이 있는 영상에 대한 DH 및 그 압축을 실험하기 위하여 MPEG 테스트 영상들을 사용하였으며, DH를 생성하기 위해서는 깊이정보가 필요하기 때문에 MVC 테스트 영상들을 사용하였다. 모든 비디오 클립들은 176×144로 해상도를 맞춰 실험하였으며, 사용한 프레임 수도 200 프레임으로 동일하게 하였다.
도 8의 압축과정과 관련되어 본 발명에서 고려하는 파라미터들을 도 12의 표에 나열하였다. 먼저 도메인 변환에서 2DDCT와 FT는 원 DH(1,024×1,024)부터 64×64 부분 DH(프레임당 256개의 부분 DH)까지 분할하여 실험하였고, FLT의 경우는 3레벨까지(프레임당 64개의 부대역) 실험하였다. HEVC는 CTU(coding-tree unit) 크기를 64×64, 32×32, 16×16의 세 경우를 고려하였다. 압축모드는 저지연모드와 임의접근모드를 모두 고려하였고, 두 모드 모두 GOP(group of prediction)는 4와 8로 수행하였으며, 인트라 프레임 주기는 공히 16프레임으로 하였다. 압축율 조절은 모두 QP(quantization parameter) 값 또는 비트율을 조정하여 수행하였다.
다음으로, 실험결과에 대하여 설명한다.
먼저 압축을 수행한 결과 DH와 복원영상의 예들을 도 13에 보였다. 이 예들은 DH(1,024×1,024)를 1-레벨 FLT하여, CTU 크기를 64×64, 인트라 프레임 간 간격을 16, GOP 4의 저지연 방식으로 압축하였으며, 압축률은 비트율로 조정하였다. 여기에는 원 데이터((a)(e)(i))와 200:1((b)(f)(j)), 500:1((c)(g)(k)), 1000:1((d)(h)(l))로 압축한 데이터를 보이고 있으며, 맨 위 열((a)(b)(c)(d))은 복원한 영상, 가운데 열((e)(f)(g)(h))은 DH의 실수부, 맨 아래 열((i)(j)(k)(l))은 DH의 허수부를 각각 보이고 있다. 원 데이터에 대한 각 영상의 PSNR(Peak Signal-to-noise ratio) 값(각 열의 맨 좌측 영상에 대한)은 도 14의 표에 나열하였다. 압축결과를 보면 복원영상에 비해 DH 데이터의 PSNR이 많이 떨어지는 것을 볼 수 있는데, 이것은 DH이 다량의 프린지 패턴으로 이루어졌으므로 고주파 성분을 다량 포함하고 있기 때문으로 판단된다. 그러나 복원영상들은 1000:1의 고압축에도 PSNR이 40을 넘는 값을 보여 매우 좋은 압축효율을 보이고 있음을 알 수 있다.
모든 실험은 압축 전 도메인 변환을 거친 후 구 결과영상들을 비디오 시퀀스로 형성하여 압축을 진행한다. 따라서 원본 디지털 홀로그램과 압축 후 역 도메인 변환을 거친 디지털 홀로그램 간의 PSNR, 그리고 원본 디지털 홀로그램을 복원한 영상과 압축된 디지털 홀로그램을 복원한 영상 간의 PSNR을 비교한다.
PSNR(Peak Signal-to-Noise Ratio)은 기준이 되는 데이터에 비해 특정 데이터가 얼마나 왜곡되어 있나를 측정하는 하나의 지표이다. 영상 또는 동영상 압축에서 손실압축은 데이터의 손실을 감수하고 높은 압축률을 얻고자 수행하는데, 따라서 이 때의 PSNR은 압축 전 원 영상에 비해 압축으로 손실된 데이터 등으로 압축 후 영상이 얼마나 왜곡되었는지를 판단하는 기준이 된다. 즉 PSNR이 높을수록 데이터의 왜곡이 적다.
한편, 디지털 홀로그램은 복소수와 같이, 실수부와 허수부로 이루어져 있다. 이때, 실수들만 모두 모아놓은 것을 홀로그램의 실수부, 허수들을 모두 모아놓은 것을 허수부라고 한다. 그런데 2D 비디오 압축기는 실수 데이터만을 사용하기 때문에, 실수부와 허수부를 서로 독립적인 데이터인 것처럼 분리해서 따로 압축한다. 홀로그램 자체의 PSNR을 구할 때는 원 홀로그램의 실수부와 압축된 홀로그램의 실수부, 원 홀로그램의 허수부와 압축된 홀로그램의 허수부를 각각 대비하여 PSNR을 계산한다. 즉 실수부와 허수부의 모든 데이터에 대해 PSNR을 구하거나 실수부 간의 PSNR과 허수부 간의 PSNR을 각각 계산해서 평균을 구하는 방법으로 PSNR을 계산한다.
다음으로, 압축관련 파라미터에 따른 결과를 설명한다.
먼저, DH의 크기 또는 변환레벨에 대한 결과이다.
본 발명에서 고려한 압축관련 파라미터들 중 첫 번째로 부분 DH의 크기(2DDCT와 FT) 또는 변환레벨(FLT)에 대한 압축효율을 도 15에 보였다. 이 데이터는 각 변환 후 HEVC로 압축할 때 CTU 크기를 64×64, 인트라 프레임 간 간격을 16, GOP 4의 임의접근방식의 동일한 조건으로 압축한 결과이다. (a)(b)(c)는 2DDCT, (d)(e)(f)는 FT, (g)(h)(i)는 FLT를 사용한 압축결과이며, (a)(d)(g)는 압축 후 복원한 영상, (b)(e)(h)는 압축 후 DH의 실수부, (c)(f)(i)는 압축 후 DH의 허수부에 대한 압축결과인데, 압축률 대비 원본 데이터에 대한 PSNR값들로 나타내었다. 2DDCT나 FT는 원본 DH 자체를 변환할 수 있지만, FLT는 1 레벨 변환하면 4개의 부대역으로 나누어지고, 각 부대역이 원 데이터의 1/4로 크기가 줄어들기 때문에 FLT의 한 레벨 결과 부대역의 크기가 2DDCT 또는 FT의 부분DH 512×512에 해당한다. 따라서 FLT는 3-레벨까지만 수행하였다.
레벨이라는 용어는 FLT에만 적용된다. FLT의 경우, 한 번 변환하면 1/4크기의 4개의 부대역이 만들어진다. 이와 같이, 한 번 변환하는 것을 한 레벨에 해당된다. 따라서 FLT의 경우 n 레벨 변환하면 총 4n 개의 동일한 크기의 부대역으로 나뉜다. 예를 들어 16×16 홀로그램을 1 레벨 FLT하면 4개의 8×8 부대역이 생기고, 여기서 한 레벨 더 변환하면 각 부대역을 다시 4개의 1/4 부대역으로 구분되어 총 16개의 4×4 부대역이 생성된다. 그러나 FT나 DCT는 변환 전과 변환 후의 크기변화가 없다. 그런데 FT나 DCT가 변환되기 전 홀로그램의 크기에 따라 효율이 달라질 수 있다. 따라서 FT나 DCT의 경우, 변환하기 전에 홀로그램을 분할하고, 분할된 각 부분 홀로그램을 변환단위 또는 변환크기로 사용한다. 예를 들어 16×16 디지털 홀로그램을 분할하지 않고 그대로 DCT 또는 FT 하면 16×16 크기의 변환결과 하나가 만들어진다. 그러나 FLT 1레벨 변환하면 4개의 8×8 부대역이 생기는 것을 감안하여 DCT나 FT의 결과도 8×8 크기로 하고 싶으면 처음부터 홀로그램을 4개의 8×8 부분 홀로그램으로 잘라서 변환해야 한다. 일단 변환이 되면 그 다음에는 비디오 시퀀스처럼 변환된 결과를 시퀀스로 만든다. 도 9와 같이, 변환된 부대역의 종류(FLT의 경우)나 동일 위치(DCT, FT)의 변환결과들을 시간축으로 묶어서 시퀀스를 만들고, 그 시퀀스 별로 2D 비디오 압축기에 넣어서 압축한다.
한편, 세 변환 모두 복원한 영상의 PSNR 값이 DH 자체 데이터보다 훨씬 높은 값을 나타내고 있는데, 이것은 DH 데이터가 프린지 패턴으로 이루어져 있어 고주파 성분이 많기 때문인 것으로 판단된다. 2DDCT와 FT에서는 분할하지 않은 전체 DH를 도메인 변환한 것이 가장 압축효율이 좋았고, FLT는 1-레벨 변환한 것이 가장 좋았다. 부분DH의 크기 또는 변환레벨에 따른 압축효율 변화는 2DDCT가 가장 작았고, FT와 FLT는 비슷한 정도를 보였다. 전체적으로 FT를 이용한 결과가 가장 높은 압축효율을 보였고, 그 다음이 FLT였으며, 2DDCT가 가장 나쁜 결과를 보였다.
다음은 HEVC의 CTU 크기에 따른 압축효율이며, 도 16에 그 결과를 보이고 있다. 이 도면에는 복원영상에 대한 데이터만 보이고 있는데, 이것은 DH의 실수부와 허수부에 대한 결과가 복원영상에 대한 데이터와 거의 같기 때문이다. 또한 이 데이터는 도 15에서 실험한 결과 중 가장 좋은 결과를 보인 경우, 즉 2DDCT와 FT는 전체영상을 변환한 경우, FLT는 1-레벨 변환한 경우에 대해서만 나타내었다. 이것은 부분DH 또는 더 높은 레벨에 대해 실험한 결과가 도 15의 결과와 같은 결과를 보였기 때문이다. 도면에서 보듯이 CTU 크기 64×64와 32×32가 근소한 차이를 보이기는 했지만, 세 변환 모두에서 64×64가 가장 좋은 압축효율을 보였다.
실험결과에서 보듯이, CTU 크기가 달라지면 압축률, 즉 압축효율이 달라진다. 그러니까 이것을 파라미터로 책정했고, 가장 압축효율이 높은 CTU 크기를 실험을 통해서 검색한다.
실험결과와 같이, CTU 크기는 가장 큰 경우가 압축효율이 가장 좋다.
다음은 HEVC 의 압축모드와 GOP 크기에 따른 압축효율로, 도 17에 그 결과를 나타내었다. 이 도면 역시 도 16과 동일한 이유로 복원영상에 대한 실험결과만을 보이고 있다. 압축모드는 임의접근모드와 저지연모드를 고려하였으며, 모든 모드에서 GOP 4와 GOP 8을 고려하였다. 세 변환 모두 압축모드나 GOP 크기에 대해 큰 차이를 보이지는 않았으나, 모든 변환에서 임의접근모드의 GOP 4가 가장 높은 압축효율을 보였다.
다음으로, 변환 방식에 대한 결과이다.
각 변환 방식에서 최적의 조건에서 압축효율을 비교하기 위해서 위에서 고려한 파라미터들의 최적 압축조건을 도 18의 표에 나타내었고, 그 때 압축률 대비 PSNR 값을 도 19에 다시 나타내었다. 최적의 압축조건에서 FT가 가장 좋은 효율을 보였으며, FLT는 FT와 상대적으로 큰 차이를 보이지 않았으나 2DDCT는 많은 차이를 보였다. 압축률이 증가할수록 세 방식의 차이가 줄어들었으며, 1000:1 압축에서 DH 데이터는 세 방법이 큰 차이를 보이지 않았으나, 복원영상에 대해서는 2DDCT가 상대적으로 많이 떨어지는 것을 볼 수 있다. 가장 효율이 좋은 FT의 경우 1000:1의 압축에서 복원영상이 39.17[dB], DH 실수부가 24.17[dB], 허수부가 23.97[dB]의 높은 PSNR 값을 보이는 것을 알 수 있다.
다음으로, 기존 기술과의 비교에 대하여 설명한다.
앞에서 구한 최적의 압축조건과 기존 기술의 압축결과를 도 20의 표에 비교하였다. 참고문헌 중 [비특허문헌 9]~[비특허문헌 15]가 실제 압축을 진행한 기술인데, [비특허문헌 9]~[비특허문헌 11]과 [비특허문헌 14]는 압축률 대비 화질이 많이 떨어지거나 실제 데이터를 싣지 않았기 때문에 여기서는 이들은 제외하고 상대적으로 성능이 우수한 [비특허문헌 12][비특허문헌 13][비특허문헌 15][비특허문헌 16]과 비교한다.
도 20의 표에서 보는 바와 같이, 각 종래 기술서 제시한 평가 측정값이 달라 본 발명에 따른 방법에 대해서 앞에서 설명한 PSNR 이외에 NC(normal correlation)와 NRMS(normalized root mean square)[비특허문헌 16]값을 모두 계산하여 첫 번째 열에 나열하였다. 표에서 '-'로 표시한 곳은 해당 종래기술에서 값을 제시하지 않았다는 뜻이다. 비교대상 종래기술들에서 제시한 최대 압축률이 200:1이었기 때문에 도 20의 표에는 최대 200:1까지만을 수록하였다. 종래기술에 따라 연속적인 데이터를 제시한 곳도 있지만 대부분 특정 압축률들에 대해서만 데이터를 제시하였기 때문에 여기서는 50:1, 100:1, 200:1의 대표적인 값들만 비교하였으나, 나머지 데이터들은 이들과 매우 유사한 경향을 보였다. 도 20의 표에서 괄호안의 수는 디지털 홀로그램 데이터에 대한 값들이며, 괄호 밖의 값들은 복원한 영상에 대한 값들이다. [비특허문헌 15]의 데이터를 보면 복원영상에 대한 데이터가 디지털 홀로그램에 대한 데이터보다 낮은 성능을 보이고 있는데, 이것은 이 기술에서 영상을 복원할 때 프레넬 변환을 사용하지 않고 광학적으로 복원한 것으로 보인다.
도 20의 표에서 보듯이 본 발명에 따른 방법이 기존의 방법보다 월등히 좋은 성능을 보이는 것을 알 수 있다. 이것은 본 발명에서 2차원 동영상 압축기술로 H.265/HEVC를 사용한 반면 [비특허문헌 12][비특허문헌 13][비특허문헌 15]에서는 H.264/AVC를 사용한 이유가 어느 정도는 작용한 것으로 보인다. 일반적으로 H.265/HEVC가 H.264/AVC보다 동일 화질에서 1.5배 정도 높은 압축률을 보인다고 알려져 있다. 그러나 [비특허문헌 15]에서 디지털 홀로그램의 PSNR 값이 200:1에서 24.87이었는데, 본 발명에 따른 방법이 이 값을 가지는 압축률은 약 540:1 정도였다. 또한 [비특허문헌 13]이 100:1 압축률에서 NC값 0.946을 보이고 있는데([비특허문헌 12]는 100:1의 데이터를 제시하지 않았고, 50:1 압축률에서 [비특허문헌 13]보다 성능이 떨어지므로 [비특허문헌 12]는 제외하였음), 이 NC값을 가지는 본 발명에 따른 방법의 압축률은 약 850:1 정도였다. 그리고 [비특허문헌 16]에서 100:1 압축률에서 NRMS값이 0.575를 보였는데, 본 발명에 따른 방법으로 1000:1 압축했을 때에도 이보다 낮은 0.438값을 가졌다.
따라서 본 발명에 따른 방법의 성능은 2차원 동영상 압축기술을 사용한 이유보다 훨씬 우수한 성능을 보이고 있으며, 이것은 본 발명에 따른 방법에서 사용한 압축과정 및 도메인 변환 방법과 압축 파라미터들이 최적으로 선택되었기 때문인 것으로 판단된다.
본 발명에서는 디지털 홀로그램 동영상을 효과적으로 압축하는 방법을 설명하였다. 압축기술로는 2차원 동영상 압축기술인 H.265/HEVC를 사용하였으며, 디지털 홀로그램의 화소간 상관도를 높이기 위해 도메인 변환 방식인 2차원 이산 코사인 변환, 프레넬 변환, 프레넬릿 변환을 고려하였다. 또한 H.265/HEVC의 압축 파라미터인 CTU 크기, 압축모드, GOP의 크기를 고려하여 이 중 가장 최적의 파라미터들을 실험을 통해 결정하였다.
도메인 변환 방식으로는 프레넬 변환이 가장 우수한 성능을 보였으며, 압축 파라미터들로는 CTU 크기는 64×64, 압축모드와 GOP 크기는 임의접근 모드의 GOP 4가 가장 우수한 성능을 보였다. 이 변환 방식과 파라미터들로 실험한 결과 1000:1의 압축률에서 PSNR이 39.17[dB]의 높은 화질을 보였다. 기존 기술들과 비교한 결과에서도 동일한 화질을 가질 때 본 발명에 따른 방법의 압축률이 최소 2배 이상으로 나타나 기존의 방법들보다 월등히 우수한 성능을 보였다.
따라서 본 발명에 따른 방법은 향후 더 고화질의 디지털 홀로그램을 서비스할 때 데이터 압축방법으로 매우 유용하게 사용될 수 있을 것으로 사료되며, 특히 이 방법은 2차원 동영상 압축기술을 사용하므로 현존하는 동영상 서비스 플랫폼을 그대로 사용할 수 있어 더욱 유용하다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 홀로그램 영상
20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims (8)

  1. 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에서,
    (a) 디지털 홀로그램을 사전에 정해진 구간에 따라 세그먼트로 나누어 부분 DH(Digital Hologram) 영상으로 생성하는 단계;
    (b) 상기 부분 DH 영상을 다수의 도메인 변환방식 각각에 따라 도메인 변환을 수행하여, 도메인 변환 데이터를 획득하는 단계;
    (c) 상기 도메인 변환 데이터를 비디오 시퀀스로 생성하는 단계;
    (d) 비디오 시퀀스를 2차원 비디오 압축기에 따라 압축하되, 상기 2차원 비디오 압축기의 파라미터를 달리 설정하여 각 설정된 파라미터에 따라 비디오 시퀀스를 각각 압축하여 생성하는 단계;
    (e) 압축된 비디오 시퀀스를 복원하여 도메인 변환 데이터로 복원하고, 복원된 도메인 변환 데이터를 역 도메인 변환하여 부분 DH 영상으로 복원하는 단계; 및,
    (f) 복원된 부분 DH 영상과, 최초 부분 DH 영상을 대비하여 평가하여, 최적의 도메인 변환방식과, 상기 2차원 비디오 압축기의 파라미터를 선정하는 단계를 포함하는 것을 특징으로 하는 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법.
  2. 제1항에서,
    상기 도메인 변환 방식은 2차원 이산 코사인 변환(DCT) 방식, 프레넬 변환(FT) 방식, 및, 프레넬릿 변환(FLT) 방식을 포함하는 것을 특징으로 하는 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법.
  3. 제2항에서,
    상기 도메인 변환 데이터를 각 도메인 변환 방식에 의해 변환되는 데이터의 크기를 1/4n(n은 자연수)의 비율로 세분화하여 생성하되, 상기 DCT 방식과 상기 FT 방식인 경우 부분 DH 영상을 분할하여 분할된 각 DH 영상을 각각 도메인 변환하여 해당 크기의 도메인 변환 데이터를 생성하고, 상기 FLT 방식인 경우 부분 DH 영상을 도메인 변환하는 레벨을 조절하여 해당 크기의 도메인 변환 데이터를 생성하고, 세분화된 도메인 변환 데이터는 분활된 각 DH 영상 별로 독립적으로 압축되는 것을 특징으로 하는 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법.
  4. 제1항에서,
    상기 2차원 비디오 압축기는 HEVC(high efficient video coding) 방식에 의해 비디오 시퀀스를 압축하는 것을 특징으로 하는 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법.
  5. 제4항에서,
    상기 비디오 압축기의 파라미터는 CTU(coding-tree unit) 크기, 압축모드, GOP(group of prediction) 크기를 포함하고, 상기 CTU 크기는 64×64, 32×32, 16×16를 구성되고, 상기 압축모드는 저지연(low delay) 모드와 임의접근(random access) 모드로 구성되고, 상기 GOP 크기는 4와 8로 구성되는 것을 특징으로 하는 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법.
  6. 제1항에서,
    상기 (f)단계에서, 비디오 시퀀스를 압축할 때 각 도메인 변환 방식과 각 파라미터 별로 동일한 압축률로 압축한 경우를 대비하여 평가하되, PSNR(Peak Signal-to-Noise Ratio)을 산출하여 평가하는 것을 특징으로 하는 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법.
  7. 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에서,
    (a) 디지털 홀로그램을 사전에 정해진 구간에 따라 세그먼트로 나누어 부분 DH(Digital Hologram) 영상으로 생성하는 단계;
    (b) 상기 부분 DH 영상을 프레넬 변환(FT) 방식에 따라 도메인 변환을 수행하여 도메인 변환 데이터를 획득하되, 프레넬 변환을 1-레벨로 수행하여 획득하는 단계;
    (c) 상기 도메인 변환 데이터를 비디오 시퀀스로 생성하는 단계; 및,
    (d) 비디오 시퀀스를 HEVC(high efficient video coding) 방식의 2차원 비디오 압축기에 따라 압축하되, 상기 2차원 비디오 압축기의 CTU(coding-tree unit) 크기를 64×64로 설정하고, 압축모드를 임의접근(random access) 모드로 설정하고, GOP(group of prediction) 크기를 4로 설정하여, 비디오 시퀀스를 압축하는 단계를 포함하는 것을 특징으로 하는 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법.
  8. 제1항 내지 제7항 중 어느 한 항의 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020160088225A 2016-07-12 2016-07-12 도메인 변환 및 2d 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법 KR101910446B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160088225A KR101910446B1 (ko) 2016-07-12 2016-07-12 도메인 변환 및 2d 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160088225A KR101910446B1 (ko) 2016-07-12 2016-07-12 도메인 변환 및 2d 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법

Publications (2)

Publication Number Publication Date
KR20180007239A true KR20180007239A (ko) 2018-01-22
KR101910446B1 KR101910446B1 (ko) 2018-10-30

Family

ID=61094947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160088225A KR101910446B1 (ko) 2016-07-12 2016-07-12 도메인 변환 및 2d 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법

Country Status (1)

Country Link
KR (1) KR101910446B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11388465B2 (en) 2018-08-10 2022-07-12 Samsung Electronics Co., Ltd. Electronic apparatus and method for upscaling a down-scaled image by selecting an improved filter set for an artificial intelligence model
CN115065817A (zh) * 2022-05-24 2022-09-16 昆明理工大学 一种全息图压缩方法、编码器和全息再现模块
KR20230011162A (ko) * 2021-07-13 2023-01-20 광운대학교 산학협력단 홀로그램의 위상 성분을 위한 압축 코딩 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11388465B2 (en) 2018-08-10 2022-07-12 Samsung Electronics Co., Ltd. Electronic apparatus and method for upscaling a down-scaled image by selecting an improved filter set for an artificial intelligence model
US11825033B2 (en) 2018-08-10 2023-11-21 Samsung Electronics Co., Ltd. Apparatus and method with artificial intelligence for scaling image data
KR20230011162A (ko) * 2021-07-13 2023-01-20 광운대학교 산학협력단 홀로그램의 위상 성분을 위한 압축 코딩 시스템
CN115065817A (zh) * 2022-05-24 2022-09-16 昆明理工大学 一种全息图压缩方法、编码器和全息再现模块
CN115065817B (zh) * 2022-05-24 2024-01-12 昆明理工大学 一种全息图压缩方法、编码器和全息再现模块

Also Published As

Publication number Publication date
KR101910446B1 (ko) 2018-10-30

Similar Documents

Publication Publication Date Title
KR102450688B1 (ko) 완전 시차 압축 라이트 필드 3d 촬상 시스템을 위한 방법
EP1825690B1 (en) Method and system for decomposing multiview videos
Adami et al. State-of-the-art and trends in scalable video compression with wavelet-based approaches
KR102126886B1 (ko) 단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제
Seo et al. Digital hologram compression technique by eliminating spatial correlations based on MCTF
US20160050440A1 (en) Low-complexity depth map encoder with quad-tree partitioned compressed sensing
Aggoun A 3D DCT compression algorithm for omnidirectional integral images
CN108141593A (zh) 用于针对深度视频的高效帧内编码的基于深度不连续的方法
Sakamoto et al. A study on efficient compression of multi-focus images for dense light-field reconstruction
KR101910446B1 (ko) 도메인 변환 및 2d 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법
Sakamoto et al. A novel scheme for 4-D light-field compression based on 3-D representation by multi-focus images
Hachicha et al. 1D directional DCT-based stereo residual compression
KR101246115B1 (ko) 3차원 웨이블릿 기반 영상 부호화/복호화 방법 및 장치
Aggoun et al. Wavelet-based compression algorithm for still omnidirectional 3D integral images
KR20220073666A (ko) 인공 신경망의 피쳐 맵을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
KR20180017659A (ko) 디지털 홀로그램 데이터를 압축하는 방법 및 장치
Liu et al. Quad-tree partitioned compressed sensing for depth map coding
Velisavljević et al. View and rate scalable multiview image coding with depth-image-based rendering
WO2002050774A2 (en) Efficiently adaptive double pyramidal coding
Ouddane et al. Stereo image coding: State of the art
Nayan et al. Baseline JPEG-like DWT CODEC for disparity compensated residual coding of stereo images
KR101530955B1 (ko) 스케일러블 코딩기반의 디지털 홀로그램 압축 장치
Jang et al. A Study on the Compression Efficiency of a Digital Hologram Video using Domain Transforms and H. 265/HEVC
Stepanov et al. Compression of light fields
Calemme et al. Depth map coding with elastic contours and 3D surface prediction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant