KR101530955B1

KR101530955B1 - 스케일러블 코딩기반의 디지털 홀로그램 압축 장치

Info

Publication number: KR101530955B1
Application number: KR1020130110806A
Authority: KR
Inventors: 서영호; 김동욱; 김윤주
Original assignee: 광운대학교 산학협력단
Priority date: 2013-09-16
Filing date: 2013-09-16
Publication date: 2015-06-25
Also published as: KR20150031523A

Abstract

디지털 홀로그램 영상을 홀로그램과 광원의 차영상을 사용하여 압축 부호화하는 스케일러블 코딩기반의 디지털 홀로그램 압축 장치에 관한 것으로서, 3차원 객체 영상을 단계적으로 다운스케일링하여, 각 단계(이하 계층)에서, 해당 계층의 객체 영상과 다운스케일된 객체 영상의 차영상을 구하여 부호화하고 상기 객체 영상들로부터 홀로그램 영상의 차영상을 구하여 부호화하여, 기본계층 및 다수의 향상계층의 비트스트림으로 전송하는 부호화 장치; 및, 기본계층과, 다수의 향상계층으로 구성된 객체 영상 및 홀로그램 영상의 차영상의 비트스트림들을 복호화하여 각 계층의 차영상들을 추출하고, 각 계층의 차영상들을 합성하여 홀로그램 영상을 복원하는 복호화 장치를 포함하는 구성을 마련한다.
상기와 같은 스케일러블 코딩기반의 디지털 홀로그램 압축 장치에 의하여, 부호화 과정에서 홀로그램 및 광원의 차영상을 압축하여 코딩함으로써, 복호화 과정에서 기본계층과 광원 정보의 차영상들을 이용하여 다양한 해상도를 가진 홀로그램을 복원할 수 있다.

Description

스케일러블 코딩기반의 디지털 홀로그램 압축 장치 { A Digital Hologram Compression Device based on Scalable Video Coding }

본 발명은 효과적인 홀로그래픽 비디오 서비스를 다양한 재생환경에서 제공하기 위하여 홀로그램과 광원의 차영상을 사용하여 압축을 하는 스케일러블 코딩기반의 디지털 홀로그램 압축 장치에 관한 것이다.

3D가 보편화 되고 발전함에 따라 사람들은 더욱 실감있는 영상에 대한 관심이 늘어나고 있다. 그 중에서도 평면 위에 3차원 입체상을 공간상에 정확히 표현 할 수 있는 홀로그램은 가장 이상적인 입체 시각 시스템이다. 특히 홀로그래피 방식은 3D 영상과 달리 안경을 착용하지 않고 자연영상을 보듯 시청 할 수 있기 때문에 차세대 기술로 많은 사람들의 이목을 끌고 있다[비특허문헌 1][비특허문헌 2].

최근에는 홀로그래픽 기술을 활용한 상품설명회를 하는 것이 유행되고 있으며 그 외에도 다양한 응용분야에서 활용이 가능할 것이다. 광고, 방송서비스, 화상통신, 군사훈련, 쇼핑등이 그 응용 분야에 포함된다. 또한 모의실험 등에서는 실물을 눈앞에 있는 것처럼 보여줌으로써 더욱 정확한 실험이 되게 도울 수 있다.

홀로그래픽 비디오 서비스의 구조에 대한 표준이 확정이 되니 않은 상태이지만 이러한 응용 분야들은 기존의 비디오 서비스와 같이 각기 다른 디스플레이 해상도, 수신 단말기의 성능 및 네트워크 환경을 가지고 있을 것이다. 그렇기 때문에 홀로그래픽 서비스를 위해서는 스케일러블 홀로그래피 비디오 기술이 필요하다.

일반적인 2D 비디오의 SVC 기술은 MPEG-4의 형태로 표준안이 마련되어 왔다. 비디오 압축 표준화를 연구하는 ISO/IEC SC29 WG11의 MPEG(Moving Picture Experts Group) 및 ITU-T SG16 Q6/VCEG(Video Coding Experts Group)그룹 에서는 MPEG-4 SVC (Scalable Video Coding) 또는 H.264 Scalable Extension이라는 표준화의 발전을 위하여 노력하고 있다. 새로운 스케일러블 비디오 기술인 MPEG-4 SVC는 표준화 초기 MPEG-21 part 13으로 시작하였고, 2003년도 이후부터는 MPEG-4 AVC(Advanced Video Coding) 또는 H.264 표준의 확장된 형태로 진행됨에 따라서 MPEG-4 part 10 Amd. 1이라는 명칭으로 바뀌게 되었다[비특허문헌 4][비특허문헌 5].

홀로그램은 2D영상과 비교했을 때 전혀 다른 특성을 가지고 있어서 홀로그램의 스케일러블 디스플레이에 2D의 기술을 그대로 이용할 수는 없고, 홀로그램의 스케일러블 코딩 기법을 활용한 스케일러블 디스플레이 기법을 적용해야 한다[비특허문헌 6].

현재까지 세계 여러 연구 기관에서는 디지털 홀로그램의 부호화에 대한 다양한 연구가 진행되고 있다.

Yoshikawa는 홀로그램의 정보량을 줄이는 방법을 이용했을 때 복원 해상도가 HVS에 비해 너무 큰 단점을 개선하여 해상도를 제한 방법과, 보간법을 이용하여 정보량을 줄이는 방법을 제안하였다[비특허문헌 6][비특허문헌 7].

또한 2차원 영상과 다른 특징 때문에 홀로그램을 1차원적으로 몇 개의 segment로 나누어 DCT를 수행하고, 동영상 압축 표준인 MPEG-1과 MPEG-2로 압축하였다[비특허문헌 8][비특허문헌 9].

Javidi는 [비특허문헌 10]과 [비특허문헌 11]에서 디지털 홀로그램을 무손실 부호화 방식의 압축하는 방법과 무손실 부호화 방식을 손실 부호화 기술에 결합한 기술을 제안하였다. Liebling은 홀로그램의 분해를 위해 Fresnelet 이라는 웨이블릿 기반의 기저함수를 만들고 이로 입축을 시도하였다[비특허문헌 12]. Matoba는 실시간 네트워킹을 위해서 비트 패킹 동작에 의한 복소 스트림을 양자화하는 압축 방식을 제안하였다[비특허문헌 13]. 디지털 홀로그램을 분할하여 상관성이 높은 정보로 변환한 후에 H.264 등의 도구로 압축을 시도한 방식[비특허문헌 14][비특허문헌 15]과 홀로그램으로부터 집적영상을 만든 후에 집적영상과 분할된 디지털 홀로그램과의 차이 정보를 압축하는 방식[비특허문헌 16]이 있다.

그러나 이러한 스케일러블 홀로그래픽 비디오 코딩 기법을 다양한 재생 환경에서 사용할 수 있는 방법이 필요하다.

[비특허문헌 1] B. Javidi and F. Okano eds, "Three Dimensional Television, Video, and Display Technologies," Springer Verlag Berlin, 2002. [비특허문헌 2] P. Hariharan, Basics of Holography, Cambridge University Press, 2002. [비특허문헌 3] F. Wu, S. Li, and Y.-Q. Zhang, "A framework for efficient progressive fine granularity scalable video coding," IEEE Trans. Circuits Syst. Video Technol., vol. 11, no. 3, pp. 332-344, 2001. [비특허문헌 4] J. Reichel, H. Schwarz, and M. Wien, "Scalable Video Coding - Working Draft 1", Doc. JVT-N020, 2005. [비특허문헌 5] Young-Ho Seo, Hyun-Jun Choi, and Dong-Wook Kim, "3D Scanning-based Compression Technique for Digital Hologram Video", Elsevier Signal Processing - Image Communication, Vol.22, Issue 2, pp. 144-156. Feb. 2007. [비특허문헌 6] H. Yoshikawa and K. Sasaki, "Information reduction by limited resolution for electro -holographic display," editor SPIE Proc. Vol. 1914 Practical Holography Ⅶ, pp. 1914-1930, Feb. 1993. [비특허문헌 7] H. Yoshikawa and K. Sasaki, "Image Scaling for electro-holographic display," editor, SPIE Proc. vol 2176 Practical Holography Ⅷ, paper #2176-02, pp. 12-22, Feb, 1994. [비특허문헌 8] H. Yoshikawa, "Digital holographic signal processing," Proc. TAO First International Symposium on Three Dimensional Image Communication Technologies, pp. S-4-2, Dec. 1993. [비특허문헌 9] H. Yoshikawa and J. tamai, "Holographic image compression by motion picture coding," editor, SPIE Proc. vol 2652 Practical Holography Ⅹ, pp. 2652-01, Jan, 1996. [비특허문헌 10] T. J. Naughton and B. Javidi, "Compression of Encrypted Three-dimensional Objects using Digital Holography," Optical Engineering, vol. 43, no. 10, pp. 2233-2238, October 2004. [비특허문헌 11] T. J. Naughton, Y. Frauel, E. Tajahuerce, and B. Javidi, "Compression of Digital Holograms for Three-Dimensional Object Reconstruction and Recognition," Applied Optics, vol. 41, no. 20, pp. 4124-4132, July 10, 2002. [비특허문헌 12] M. Liebling, T. Blu and M. Unser, "Fresnelets : New multiresolution wavelet bases for digital holography," IEEE Trans. Image Process. 12, pp. 29-43, 2003. [비특허문헌 13] O. Matoba, T. J. Naughton, Y. Frauel, N. Bertaux and B. Javidi, "Real-time three-dimensional object reconstruction by use of a phase-encoded digital hologram," Appl. Opt. 41, No.29, pp. 6187-6192, Oct, 2002. [비특허문헌 14] Young-Ho Seo, Hyun-Jun Choi, and Dong-Wook Kim, "Lossy Coding Technique for Digital Holographic Signal", SPIE Optical Engineering, Vol. 45, No. 6, pp. 065802-1~065802-10, Jun. 2006. [비특허문헌 15] Young-Ho Seo, Hyun-Jun Choi, and Dong-Wook Kim, "3D Scanning-based Compression Technique for Digital Hologram Video", Elsevier Signal Processing - Image Communication, Vol.22, Issue 2, pp. 144-156. Feb. 2007. [비특허문헌 16] Young-Ho Seo, Hyun-Jun Choi, Jin-Woo Bae, Hoon-Chong Kang, Seung-Hyun Lee, Ji-Sang Yoo and Dong-Wook Kim, "A New Coding Technique for Digital Holographic Video using Multi-View Prediction", IEICE Transactions on Information and Systems, Vol.E90-D, No.1, pp.118-125, Jan. 2007. [비특허문헌 17] http://developer.nvidia.com/category/zone/cuda-zone

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 홀로그래픽 비디오 서비스를 다양한 재생환경에서 제공하기 위하여 홀로그램의 차영상과 광원의 차영상을 압축하는 스케일러블 코딩기반의 디지털 홀로그램 압축 장치를 제공하는 것이다.

특히, 본 발명의 목적은 홀로그램의 차영상은 H.264 코덱을 이용하는 손실 압축을 하게 되며 광원은 무손실 압축을 하게 되는 스케일러블 코딩기반의 디지털 홀로그램 압축 장치를 제공하여, 복호화 과정에서 기본계층과 광원 정보의 차영상들을 이용하여 다양한 해상도를 가진 홀로그램을 구할 수 있게 하는 것이다.

상기 목적을 달성하기 위해 본 발명은 디지털 홀로그램 영상을 압축하여 코딩하는 스케일러블 코딩기반의 디지털 홀로그램 압축 장치에 관한 것으로서, 3차원 객체 영상을 단계적으로 다운스케일링하여, 각 단계(이하 계층)에서, 해당 계층의 객체 영상과 다운스케일된 객체 영상의 차영상을 구하여 부호화하고 상기 객체 영상들로부터 홀로그램 영상의 차영상을 구하여 부호화하여, 기본계층 및 다수의 향상계층의 비트스트림으로 전송하는 부호화 장치; 및, 기본계층과, 다수의 향상계층으로 구성된 객체 영상 및 홀로그램 영상의 차영상의 비트스트림들을 복호화하여 각 계층의 차영상들을 추출하고, 각 계층의 차영상들을 합성하여 홀로그램 영상을 복원하는 복호화 장치를 포함하는 것을 특징으로 한다.

또, 본 발명은 스케일러블 코딩기반의 디지털 홀로그램 압축 장치에 있어서, 상기 부호화 장치는 N개(N은 1 이상의 자연수)의 향상계층의 비트스트림을 전송하고, 상기 복호화 장치는 최하위 계층부터 순차적으로 상위 계층까지의 N개 이하의 향상계층의 비트스트림을 수신하는 것을 특징으로 한다.

또, 본 발명은 스케일러블 코딩기반의 디지털 홀로그램 압축 장치에 있어서, 상기 부호화 장치는 해당 계층의 객체 영상(이하 제1 객체 영상)을 다운스케일링하고 다시 업스케일링하여 제2 객체 영상을 구하고, 상기 제1 객체 영상에서 상기 제2 객체 영상을 감산하여 객체 영상의 차영상을 구하는 것을 특징으로 한다.

또, 본 발명은 스케일러블 코딩기반의 디지털 홀로그램 압축 장치에 있어서, 상기 부호화 장치는 상기 제1 및 제2 객체 영상으로부터 각각 홀로그램 영상(이하 제1 및 제2 홀로그램 영상)을 구하고, 상기 제1 홀로그램 영상에서 상기 제2 홀로그램 영상을 감산하여 홀로그램의 차영상을 구하는 것을 특징으로 한다.

또, 본 발명은 스케일러블 코딩기반의 디지털 홀로그램 압축 장치에 있어서, 상기 부호화 장치는 상기 객체 영상의 차영상을 무손실 압축으로 부호화하고, 상기 홀로그램 영상의 차영상을 손실 압축으로 부호화하는 것을 특징으로 한다.

또, 본 발명은 스케일러블 코딩기반의 디지털 홀로그램 압축 장치에 있어서, 상기 부호화 장치는 다수의 향상계층 인코더와 하나의 기본계층 인코더를 포함하고, 상기 계층 인코더는 상위 계층의 인코더로부터 제1 객체 영상을 입력받아, 상기 제1 및 제2 객체 영상의 차영상 및, 상기 제1 및 제2 홀로그램의 차영상을 부호화하는 것을 특징으로 한다.

또, 본 발명은 스케일러블 코딩기반의 디지털 홀로그램 압축 장치에 있어서, 상기 기본계층 인코더는 추가적으로 상기 제1 객체 영상을 다운스케일링한 영상을 무손실 압축으로 부호화하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 스케일러블 코딩기반의 디지털 홀로그램 압축 장치에 의하면, 부호화 과정에서 홀로그램 및 광원의 차영상을 압축하여 코딩함으로써, 복호화 과정에서 기본계층과 광원 정보의 차영상들을 이용하여 다양한 해상도를 가진 홀로그램을 복원할 수 있는 효과가 얻어진다.

특히, 본 발명에 따른 스케일러블 코딩기반의 디지털 홀로그램 압축 장치에 의하면, 1,024×1,024 크기의 홀로그램의 차영상에 대해서는 1:1에서 100:1의 압축율을 가지고 광원의 차영상은 무손실 압축을 이용함으로써, 적응적인 서비스가 가능하게 하고, 이를 통해 다양한 해상도를 갖는 서비스를 제공할 수 있는 효과가 얻어진다.

도 1은 본 발명의 일실시예에 따른 스케일러블 코딩기반의 디지털 홀로그램 압축 장치의 구성에 대한 블록도.
도 2 및 도 3은 본 발명에 따른 스케일러블 코딩기반의 디지털 홀로그램 압축 장치의 부호화 장치의 구성에 대한 블록도.
도 4는 본 발명에 따른 부호화 장치의 구성에 대한 블록도로서, (a) 부호화 전체 구성도, (b) 신호처리부의 구성도.
도 5는 본 발명에 사용되는 홀로그램 압축을 위한 과정을 도시한 것.
도 6은 본 발명의 일실시예에 따른 복호화 장치에 대한 구성도로서, (a) 복호화 전체 구성도, (b) 신호처리부의 구성도.
도 7은 본 발명의 실험을 위한 파라미터에 대한 표.
도 8은 본 발명의 실험에 사용된 영상으로서, Rabbit의 (a) 깊이, (b) 복원영상.
도 9는 본 발명의 실험에 따른 부호화 코딩 과정 및 그 결과를 도시한 것.
도 10은 본 발명의 실험에 따른 다운스케일링 결과 영상(Rabbit)으로서, (a)200×200 (b)180×180 (c)160×160 (d)140×140 (e)120×120 인 경우의 결과 영상.
도 11은 본 발명의 실험에 따른 부호화 과정에 의한 홀로그램과 복원영상으로서, (200×200) (a) 원래 광원의 홀로그램, (b) 신호처리 과정 후의 홀로그램, (c) (a),(b)의 차영상, (d) (a)의 복원영상, (e) (b)의 복원영상, (f) (c)의 복원영상.
도 12는 본 발명의 실험에 따른 홀로그램 차영상 복원의 압축률에 따른 화질 결과 영상.
도 13은 본 발명의 실험에 따른 홀로그램의 합을 복원한 영상을 압축률에 따른 화질 결과에 대한 영상.
도 14는 본 발명의 실험에 따른 복호화 코딩 과정 및 그 결과를 도시한 것.
도 15는 본 발명의 실험에 따른 광원 크기에 따른 복원 결과로서, (a)200×200 (b)180×180 (c)160×160 (d)140x140 인 경우의 복원 영상.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명에서 이용되는 홀로그램 기반의 공간 적응적 스케일러블 코딩 방법(HRS)과 광원기반의 SNR 적응적 코딩 방법에 대하여 설명한다.

다양한 재생환경에 대해 적응적으로 홀로그램 비디오를 서비스하기 위한 본 발명의 방법은 홀로그램의 생성 및 획득 방식에 따라서 해상도 스케일러블 코딩(hologram-based resolutional scalable coding, HRS) 방식과 광원 기반의 SNR 스케일러블 코딩(light source-based SNR scalable coding, LSS) 방식으로 구성된다.

홀로그램 기반의 공간 적응적 스케일러블 코딩 방법(HRS 코딩 방법)은 디지털 홀로그램이 CCD(Charge Coupled Device)와 광학적 시스템을 통해서 취득된 경우에 주로 사용한다. 획득된 홀로그램은 분할과정을 거치면서 다양한 해상도의 정보가 분리되고, 분할/변환을 거친 후에 압축 과정을 거쳐 비트스트림이 된다.

이 과정의 역 과정을 통해 다양한 해상도의 디지털 홀로그램이 복호화 된다. 복호화된 디지털 홀로그램은 SLM(spacial light modulator)와 같은 홀로그래픽 디스플레이 장치를 통해서 서비스된다.

광원 기반의 SNR 스케일러블 코딩(광원기반의 SNR 적응적 코딩, light source-based SNR scalable coding, LSS) 방법은 광원의 조절을 통한 서비스가 가능하다. 상기 LSS 코딩 방법은 HRS 코딩 방법과는 다르게 카메라 시스템으로부터 깊이 정보와 밝기 정보로 획득한 후에 CGH(컴퓨터 생성 홀로그램)를 통해 홀로그램을 생성한다.

LSS의 부호화 과정에서는 획득된 광원의 개수를 조절하고 분리한 후에 정보를 압축한다. 이때 상기 광원은 2D 정보와 유사한 특징을 가지고 있기 때문에, 광원 정보의 일부가 손상이 되면 홀로그램의 품질이 감소하게 된다. 따라서 무손실 압축이 필요하다.

또한 입력된 광원들은 네트워크의 대역 폭과 수신 단말기의 성능을 고려하여 전송되는 양을 결정한다. 복호화 과정에서는 압축된 광원 정보를 복원한 후에 결정된 서비스의 품질에 따라서 광원의 개수를 선택하거나 보간 과정을 통해서 화질을 선택한다.

최종 생성된 광원 정보는 CGH를 통해서 홀로그램으로 생성되고, 이는 SLM(공간광 변조기) 등을 이용하여 공간상에 재현된다.

다음으로, 본 발명의 일실시예에 따른 스케일러블 코딩기반의 디지털 홀로그램 압축 장치의 구성을 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 스케일러블 코딩기반의 디지털 홀로그램 압축 장치(1)는 객체 영상 및 디지털 홀로그램을 부호화하고 비트스트림으로 전송하는 부호화 장치(100)와, 전송된 비트스트림을 수신하여 객체 영상 또는 홀로그램 영상을 복원하는 복호화 장치(200)로 구성된 시스템으로 실시될 수 있다.

본 발명에 따른 스케일러블 코딩기반의 디지털 홀로그램 압축 장치는 다양한 재생환경에 대해 적응적으로 홀로그램 비디오를 서비스하기 위한 것으로서, 종래의 HRS 코딩과 LSS 코딩 방법의 부분들이 적용된다.

그러나 종래의 방법과는 다르게 홀로그램의 차영상과 3차원 객체(3D object) 정보의 차영상을 수신부(또는 부호화 장치)로 보낸다. 이때 홀로그램의 차영상은 H.264 코덱을 이용하여 압축하고, 3차원 객체(3D object)는 무손실 압축을 한다.

즉, 부호화 장치(100)는 객체 영상 및 디지털 홀로그램을 계층별로 다운스케일링하여 그 차영상을 부호화한다. 즉, 객체 영상을 다운스케일링하여, 원래 객체 영상과 다운스케일된 객체 영상의 차영상을 구하여, 해당 차영상에 대하여 압축하여 비트스트림을 구성한다. 또한, 원래 객체 영상과 다운스케일된 객체 영상으로부터 홀로그램 영상을 각각 구하여 이로부터 홀로그램의 차영상을 획득하고, 이들을 압축하여 역시 비트스트림을 구성한다.

또한, 부호화 장치(100)는 상위 계층에서 하위 계층으로 다운스케일된 객체 영상을 보내면, 하위 계층에서는 입력된 다운스케일된 객체 영상을 다시 다운스케일링하여 차영상을 구하고 비트스트림을 전송하는 작업을 동일한 방식으로 수행한다.

한편, 부호화 장치(100)로 입력되는 영상은 깊이 정보 및 밝기 정보를 포함하는 3차원 객체 영상(이하 원래 객체 영상)이다. 바람직하게는, 카메라 시스템으로부터 직접 깊이 및 밝기 정보를 획득한다.

복호화 장치(200)는 부호화된 차영상들을 수신하고, 이들 차영상을 복호화하여 객체 영상 또는 홀로그램 영상을 복원한다. 이때, 복호화 장치(200)는 전송 환경에 따라 적절한 계층까지만 비트스트림을 수신하여 복호화한다. 따라서 전송 환경에 따라 서로 다른 해상도의 영상으로 복원할 수 있다.

다음으로, 본 발명의 일실시예에 따른 스케일러블 코딩기반의 디지털 홀로그램 압축 장치의 부호화 장치(100)에 대하여 도 2 내지 도 5를 참조하여 설명한다.

도 2에서 보는 바와 같이, 본 발명에 따른 부호화 장치(100)는 3차원 객체 영상을 단계적으로 다운스케일링하여, 각 단계(이하 계층)에서 해당 계층의 비트스트림을 생성한다.

최상위 계층 인코더(10)에 입력되는 영상은 3차원 객체 영상으로서, 깊이 정보 및 밝기 정보를 포함하는 3차원 객체 영상(이하 원래 객체 영상)이다. 바람직하게는, 카메라 시스템으로부터 직접 깊이 및 밝기 정보를 획득한다.

한편, 마지막으로 다운스케일링되는 계층이 기본계층으로, 그 상위 계층들을 향상 계층으로 하여, 기본계층 및 다수의 향상 계층(또는 N개의 향상계층)의 비트스트림으로 전송한다.

이를 위해, 도 2와 같이, 부호화 장치(100)는 다수의 향상계층 인코더(10)와 기본계층 인코더(20)로 구성된다. 상위 계층의 인코더(10)는 바로 다음 단계의 하위 계층의 인코더(10,20)로 다운스케일된 객체 영상을 보내고, 하위 계층의 인코더(10,20)는 바로 이전 단계의 상위 계층의 인코더(10)로부터 다운스케일된 객체 영상을 받아, 해당 객체 영상에 대한 압축 코딩을 수행한다.

각 계층(또는 단계)에서, 계층 인코더(10,20)는, 해당 계층의 객체 영상과 다운스케일된 객체 영상(상기 해당 계층의 객체 영상을 다운스케일링한 영상)의 차영상을 구하여 부호화한다. 또한, 각 계층에서 해당 객체 영상 및 다운스케일된 객체 영상으로부터 각각 홀로그램 영상을 구하고 이들 홀로그램 영상의 차영상을 구하여 부호화 한다.

한편, 이를 통해, 생성된 홀로그램 영상에 대하여 H.264 코덱을 통해 1:1에서 1:100 까지 10 계층의 압축을 수행한다.

도 3은 향상계층 인코더(10)의 구성에 대한 블록도이다. 또한, 도 4는 모든 계층의 인코더(10)가 결합한 전체 부호화 장치(100)를 도시한 것이다.

도 3(a)에서 보는 바와 같이, 본 발명의 일실시예에 따른 향상계층 인코더(10)는 다운스케일부(10), 제1 CGH생성부(21), 제1 감산기(31), 신호처리부(40), 손실압축부(50), 무손실 압축부(60)으로 구성된다.

또한, 도 3(b)와 같이, 신호처리부(40)는 업스케일부(70), 제2 CGH생성부(22), 제2 감산기(32)로 구성된다.

다운스케일부(10)는 객체 영상(이하 제1 객체 영상)을 다운스케일링하여 다운스케일된 객체 영상을 획득한다. 또한, 제1 CGH생성부(21)에 의해, 상기 제1 객체 영상으로부터 CGH(컴퓨터 생성 홀로그램) 방법을 통해 디지털 홀로그램 영상(이하 제1 홀로그램 영상)을 생성한다.

신호처리부(40)는 다운스케일된 객체 영상을 업스케일하여 업스케일된 영상(이하 제2 객체 영상)을 획득하고, 제1 및 제2 객체 영상 간의 차영상과, 상기 제2 객체 영상에 대한 홀로그램 영상(이하 제2 홀로그램 영상)을 생성하여 출력한다.

즉, 신호처리부(40) 내에 구성된 업스케일부(70)는 다운스케일된 객체 영상을 업스케일하여 업스케일된 영상(또는 제2 객체 영상)을 획득한다. 그리고 제2 감산기(32)에 의해, 상기 제1 객체 영상에서 상기 제2 객체 영상을 감산하여 객체 영상의 차영상을 획득한다. 또한, 제2 CGH생성부(22)를 통해, 제2 객체 영상에 대한 홀로그램 영상(또는 제2 홀로그램 영상)을 생성한다.

신호처리부(40) 내에서 생성된 객체 영상의 차영상은 무손실 압축부(60)로 보내지고, 제2 홀로그램 영상은 제1 감산기(31)로 보내진다.

요약하면, 도 3(b)는 신호처리부(40)에 의한 부호화의 신호처리 과정(Signal processing)으로서, 이 과정에서는 원본 깊이 정보와 밝기 정보는 다운스케일링(Down-Scaling)과 업스케일링(Up-Scaling)은 거친 후에 원본과의 차영상(RO_n) 수신부로 보내고. 업스케일링 하여 얻어진 깊이 정보와 밝기 정보는 CGH를 통하여 홀로그램을 생성한 후 원본 깊이 정보와 밝기정보로 얻어진 홀로그램과의 차영상을 만들어 손실압축 (Lossy Compression)을 한다.

또한, 제1 감산기(31)에 의해, 신호처리부(40)에서 출력되는 제2 홀로그램 영상을 상기 제1 홀로그램 영상에서 감산하여, 홀로그램의 차영상을 획득한다.

다음으로, 손실압축부(50)는 홀로그램의 차영상을 손실 압축을 수행한다.

획득된 홀로그램 차영상은 압축을 위하여 분할/변환 과정을 거치는데 도 5에서 간략히 나타냈다. 홀로그램의 특성을 가지고 압축을 하기 위하여 홀로그램을 분리하고 주파수 변환을 수행하기 위하여 DCT (discrete cosine transform)을 이용한다. 그 후, 생성된 비디오 스트림은 몇가지 과정을 거친 후에 H.264 코덱을 이용하여 압축한다[비특허문헌 14].

압축된 홀로그램의 차영상은 수신단(또는 복호화 장치)으로 비트스트림으로 전송된다.

앞의 과정들을 도 4를 참조하여 요약하면, 깊이 정보와 밝기 정보를 획득 한 CGH를 통해 홀로그램을 생성한 후 깊이 정보와 밝기 정보를 다운 스케일링을 한다. 그 다음 신호처리 과정(Signal processing)을 거친 후 생성된 홀로그램의 차영상을 생성을 압축 과정 (Compression)을 거쳐 비트스트림이 된다.

다음으로, 무손실 압축부(60)는 객체의 차영상에 대하여 무손실 압축을 수행하고, 압축된 차영상을 비트스트림으로 전송한다. 즉, 3차원 객체 영상, 즉, 깊이 정보와 밝기 정보의 차영상은 무손실압축(Lossless Compression)을 하여 수신단으로 보내진다.

도 4에 의하면, 신호처리 과정(Signal procssing)을 거친 깊이 정보와 밝기 정보의 차영상은 무손실압축(Lossless Compression)을 하여 수신단으로 보내진다.

한편, 도 4에서 보는 바와 같이, 마지막 계층(또는 기본 계층)의 인코더(20)에서, 추가적으로, 마지막으로 다운스케일된 객체 영상을 무손실로 압축하여 전송한다.

다음으로, 본 발명의 일실시예에 따른 복호화 장치(200)를 도 6을 참조하여 보다 구체적으로 설명한다.

복호화 장치(200)는 기본계층과 최하위 계층부터 순차적으로 N개 이하의 향상계층으로 구성된 객체 영상 및 홀로그램 영상의 차영상의 비트스트림들 수신하여 복호화 한다. 즉, 통신 환경에 따라 수신하는 향상계층의 수는 N개 보다 적을 수 있다. 향상계층의 수가 적을수록 통신량은 적으나 해상도는 낮아진다.

비트스트림이 복호화되면, 각 계층의 차영상들이 추출된다. 그리고 각 계층의 차영상들이 합성되어 홀로그램 영상이 복원된다.

복호화 장치(200)는 기본계층 영상과 차영상들을 이용하여, 하나의 기본계층 홀로그램과 3개의 상위 계층 홀로그램을 생성할 수 있다.

도 6은 복호화 장치(200)의 구성을 나타낸다.

먼저 4단계 다운스케일링 되고 복호화 된 깊이 정보와 밝기 정보(BO)를 복호화된 차영상(RO_n)과 또 하나의 차영상(RO₀)은 신호처리 과정(Signal Processing)을 거친후 생성된 홀로그램이 된다. 이때 이 획득된 홀로그램과 홀로그램 차영상(RH₀)을 결합한 후에 그 홀로그램을 재생하면 고해상도의 객체를 공간상에 재생할 수 있다.

이와 같은 방법으로 상위계층의 홀로그램을 얻을 수 있게 된다. 도 6(b)는 복호화 장치의 신호처리부(Signal Processing)의 구성을 나타낸다. 복호화 장치의 신호처리부에서는 기본계층（B_O) 또는 신호처리부(Signal Processing)를 한번 거친 (QO') 깊이 정보와 밝기 정보를 업스케일링 한 후에 송신단에 받은 홀로그램 차영상(RHn)을 결합한 홀로그램을 재생하여 복원한다.

다음으로, 실험을 통해 본 발명의 효과를 설명한다.

먼저, 본 발명의 실험을 위한 실험환경을 설명한다.

본 발명에 따른 SHVC 기법은 C++ 언어를 이용하여 구현하였다. CGH, 부호화(encoding), 복호화(decoding), 및 복원(reconstruction, Fresnel transform)은 CUDA 기반의 GPGPU(general purpose graphic processing unit)를 이용하여 구현하였다[비특허문헌 17]. CGH나 부호화와 같은 경우 CPU프로그램만으로는 매우 오랜 시간이 소요되기 때문에 GPGPU 프로그램을 이용하여 빠른 속도로 수행할 수 있다. 본 발명의 알고리즘은 소프트웨어 방식의 복원을 하였다.

본 발명에서 사용한 디지털 홀로그램에 대한 데이터는 도 7의 표 1에 나타내었으며, 디지털 홀로그램은 CGH 수식으로 생성하였다. 디지털 홀로그램은 200×200[pixel²] 광을 사용하여 1024×1024 [pixel²] 크기의 홀로그램을 생성하였다.

도 8에는 실험에 사용된 광원 정보에 해당하는 깊이 정보와 이를 Fresnel diffraction을 사용하여 S/W 복원한 영상이다. 도 8(a)의 Rabbit은 컴퓨터 그래픽을 이용하여 획득한 깊이 정보이고 (b)는 Rabbit의 복원된 영상이다.

다음으로, 부호화 과정 실험결과를 설명한다.

LSS 부호화 과정에 따른 결과들을 도 9에서 나타냈다. 도 9는 원래의 광원 정보가 CGH를 통해 홀로그램을 생성한 영상과 원래의 광원 정보를 다운스케일링과 Signal Processing을 거친 후 차영상이 된 영상을 수신단으로 보내게 된다. 또한 4번의 다운스케일을 통하여 Base Data를 얻게 되는 부호화 과정을 나타낸다. 도 10은 다운샘플링은 10% 줄여가면 한 영상을 나타내며 도 11에는 원본 광원의 홀로그램과 Signal Processing 후에 생성된 홀로그램, 그 둘의 차영상을 확대한 영상이다.

다음으로, H.264 압축 과정에 대한 실험결과를 설명한다.

도 12에는 부호화과정에서 얻어지는 차영상의 복원영상을 압축율에 따른 Rabbit 영상에 대한 전체적인 결과는 나타냈다. 첫 번째 그림은 압축을 하지 않은 차영상이다. 10:1에서 100:1까지의 코딩을 수행하였다. 100:1인로 갈수록 화 경우 PSNR이 1:10에 비하여 6dB 낮아졌으며 압축률이 높아짐에 따라 해상도가 꾸준히 떨어지는 것을 확인 할 수 있었다.

도 13에는 복호화 과정에서 압축하여 보내진 차영상과 Signal processing을 거쳐 나온 홀로그램을 더한 홀로그램을 복원하여 압축율에 따른 Rabbit 영상에 대한 전체적인 결과는 나타냈다. 첫 번째 그림은 압축을 하지 않은 영상이다. 도 12에 있는 10:1에서 100:1까지의 코딩을 수행을 수행한 차영상을 합하여 복원하였다. 위와 마찬가지로 100:1과 1:10의 PSNR을 비교하였을 때 10dB의 차이가 있었으며 압축률이 높아짐에 따라 해상도가 꾸준히 떨어지는 것을 확인 할 수 있었다.

다음으로, 복호화 과정에 대한 실험결과를 설명한다.

도 14는 LSS 복호화 과정중 위에 두 단계에 따른 결과들을 그림에 나타냈다. 앞서 설명한 것과 같이 홀로그램 차영상은 손실압축을 하고 광원의 차영상은 무손실 압축을 하여 수신단으로 전송이 된다. 전송된 광원의 차영상은 Signal Processing 과정을 거쳐 기본계층과 합해져서 홀로그램을 생성한다. 그 획득된 홀로그램을 손실압축을 거친 홀로그램 차영상과 합한다. 맨 오른쪽에 있는 영상이 합한 것을 복원한 결과이다. 도 15는 4가지의 각기 다른 광원크기로 복원된 영상이다. 광원의 크기가 줄어 들수록 복원되어진 토끼의 크기도 함께 작아진다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

100 : 부호화 장치 110 : 향상계층 인코더
120 : 기본계층 인코더 200 : 복호화 장치
10 : 다운스케일부 21,22 : 제1 및 제2 CGH생성부
31,32 : 제1 및 제2 감산기 40 : 신호처리부
50 : 손실압축부 60 : 무손실압축부
70 : 업스케일부

Claims

디지털 홀로그램 영상을 압축하여 코딩하는 스케일러블 코딩기반의 디지털 홀로그램 압축 장치에 있어서,
3차원 객체 영상을 단계적으로 다운스케일링하여, 각 단계(이하 계층)에서, 해당 계층의 객체 영상과 다운스케일된 객체 영상의 차영상을 구하여 부호화하고 상기 객체 영상들로부터 홀로그램 영상의 차영상을 구하여 부호화하여, 기본계층 및 다수의 향상계층의 비트스트림으로 전송하는 부호화 장치; 및,
기본계층과, 다수의 향상계층으로 구성된 객체 영상 및 홀로그램 영상의 차영상의 비트스트림들을 복호화하여 각 계층의 차영상들을 추출하고, 각 계층의 차영상들을 합성하여 홀로그램 영상을 복원하는 복호화 장치를 포함하고,
상기 부호화 장치는 해당 계층의 객체 영상(이하 제1 객체 영상)을 다운스케일링하고 다시 업스케일링하여 제2 객체 영상을 구하고, 상기 제1 객체 영상에서 상기 제2 객체 영상을 감산하여 객체 영상의 차영상을 구하고,
상기 부호화 장치는 상기 제1 및 제2 객체 영상으로부터 각각 홀로그램 영상(이하 제1 및 제2 홀로그램 영상)을 구하고, 상기 제1 홀로그램 영상에서 상기 제2 홀로그램 영상을 감산하여 홀로그램의 차영상을 구하고,
상기 복호화 장치의 각 계층에서, 해당 계층에서 수신한 객체 차영상을 업스케일링하고 상기 해당 계층의 하위 계층의 객체 영상을 합하여 업스케일링된 객체 영상을 획득하고, 업스케일링된 객체 영상으로부터 업스케일링된 홀로그램 영상을 획득하고, 상기 업스케일링된 홀로그램 영상과 해당 계층에서 수신한 홀로그램 차영상을 합하여 해당 계층의 홀로그램 영상을 획득하고,
상기 부호화 장치 및 복호화 장치는 상기 객체 영상의 차영상을 무손실 압축으로 각각 부호화 및 복호화하고, 상기 홀로그램 영상의 차영상을 손실 압축으로 각각 부호화 및 복호화하는 것을 특징으로 하는 스케일러블 코딩기반의 디지털 홀로그램 압축 장치.
제1항에 있어서,
상기 부호화 장치는 N개(N은 1 이상의 자연수)의 향상계층의 비트스트림을 전송하고, 상기 복호화 장치는 최하위 계층부터 순차적으로 상위 계층까지의 N개 이하의 향상계층의 비트스트림을 수신하는 것을 특징으로 하는 스케일러블 코딩기반의 디지털 홀로그램 압축 장치.
삭제
삭제
삭제
제1항에 있어서,
상기 부호화 장치는 다수의 향상계층 인코더와 하나의 기본계층 인코더를 포함하고,
상기 계층 인코더는 상위 계층의 인코더로부터 제1 객체 영상을 입력받아, 상기 제1 및 제2 객체 영상의 차영상 및, 상기 제1 및 제2 홀로그램의 차영상을 부호화하는 것을 특징으로 하는 스케일러블 코딩기반의 디지털 홀로그램 압축 장치.
제6항에 있어서,
상기 기본계층 인코더는 추가적으로 상기 제1 객체 영상을 다운스케일링한 영상을 무손실 압축으로 부호화하는 것을 특징으로 하는 스케일러블 코딩기반의 디지털 홀로그램 압축 장치.