KR101285811B1 - 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법 - Google Patents
홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법 Download PDFInfo
- Publication number
- KR101285811B1 KR101285811B1 KR1020110083858A KR20110083858A KR101285811B1 KR 101285811 B1 KR101285811 B1 KR 101285811B1 KR 1020110083858 A KR1020110083858 A KR 1020110083858A KR 20110083858 A KR20110083858 A KR 20110083858A KR 101285811 B1 KR101285811 B1 KR 101285811B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- divided
- layer
- region
- center
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 18
- 238000012546 transfer Methods 0.000 claims description 8
- 238000007906 compression Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
홀로그래픽 영상을 다수의 해상도의 정보로 분리하여 전송하기 위한 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법에 있어서, 영상의 송신 측에서, 홀로그래픽 영상을 중심 영역과 다수의 테두리 영역으로 분할하고, 중심 영역과 다수의 테두리 영역을 각각 인코딩하여 기본계층 및 다수의 향상계층의 비트스트림들을 생성하여 전송하고, 영상의 수신 측에서, 해상도에 따라 일부 계층의 비트스트림을 수신하여 디코딩하고, 디코딩된 각 계층의 영상을 합성하는 구성을 마련한다.
상기와 같은 방법에 의하여, 다양한 해상도를 갖는 디스플레이, 수신단의 연산 능력, 그리고 네트워크의 대역폭에 따라 적응적으로 홀로그래픽 영상(또는 비디오)을 제공할 수 있다.
상기와 같은 방법에 의하여, 다양한 해상도를 갖는 디스플레이, 수신단의 연산 능력, 그리고 네트워크의 대역폭에 따라 적응적으로 홀로그래픽 영상(또는 비디오)을 제공할 수 있다.
Description
본 발명은 홀로그래픽 영상을 다수의 해상도의 정보로 분리하여 전송하기 위한 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법에 관한 것이다.
원래의 3차원 입체상을 공간상에 정확히 재현할 수 있는 가장 이상적인 입체 시각 시스템이 홀로그램이다. 최근 많은 사람들은 3차원 입체 비디오처리 기술의 최종목표를 홀로그램 서비스로 생각하고 있다. 홀로그래피 방식은 정해진 범위내의 어떤 시점에서도 관찰이 가능하도록 깊이감을 표현함으로써 관찰위치의 제약이 없고 자연스런 화상표현이 가능하다. 특히 안경을 착용할 필요없이 자연영상을 보듯이 시청할 수 있어 3D 영상에서 발생되는 여러 문제들이 완전히 제거될 수 있다. 3D가 보편화되어감에 따라서 우리는 더욱 실감있는 입체를 요구하게 될 것이고 이것의 답은 분명히 홀로그램에 있음은 부인할 수 없다.
홀로그래픽 서비스의 형태는 다양할 것으로 예상되고, 홀로그래픽 기술은 다양한 응용분야에서 활용이 가능할 것으로 예측되고 있다. 그 응용 분야에는 광고, 화상통신, 화상회의, 방송서비스, 교육, 모의실험, 그리고 군사용 훈련 등이 포함된다. 또한 쇼핑 등에서는 실물을 눈앞에 동일한 크기로 보여줌으로써 선택을 도울 수 있다. 앞서 나열한 것과 같이 홀로그램의 응용 분야는 다양할 것이고, 이러한 분야들은 각기 다른 네트워크 환경, 디스플레이 해상도 및 수신기의 연산 능력을 가지고 있을 것이다. 즉, 홀로그래픽 서비스도 현재의 비디오 서비스와 같이 네트워크의 상태 및 수신 단말기의 성능에 따라서 다른 해상도 혹은 품질의 서비스를 제공해야 할 것이다. 이와 같은 서비스를 위해서 스케일러블 홀로그래픽 비디오 코딩 기술이 필요하다.
한편, 일반적인 2D 비디오의 SVC 기술은 MPEG-4의 형태로 표준안이 마련되어 왔다. ISO/IEC 산하 MPEG(Moving Picture Experts Group) 및 ITU-T 산하 VCEG(Video Coding Experts Group)에서는 MPEG-4 SVC (Scalable Video Coding) 또는 H.264 Scalable Extension이라는 표준화를 함께 진행하였다. 새로운 스케일러블 비디오 기술인 MPEG-4 SVC는 표준화 초기 MPEG-21 part 13으로 시작하였고, 그 이후 MPEG-4 AVC(Advanced Video Coding) 또는 H.264 표준의 확장된 형태로 진행됨에 따라서 MPEG-4 part 10 Amd. 1이라는 명칭으로 바뀌게 되었다.
다양한 전송환경에 적응적인 비디오 부호화 기술인 스케일러블 비디오 코딩(scalable video coding, SVC)은 부호화 효율 저하를 최소로 하면서 공간과 시간 그리고 화질의 측면에서 적응적인 부호화 기능을 지원한다. 다양한 화질을 제공하는 기본적인 SVC의 구조는 도 1과 같다. SVC 복호화기는 네트워크와 단말기의 연산 능력에 따라 부호화된 비트스트림의 일부분만을 선택적으로 복호화함으로써 하나의 비트스트림에서 다양한 공간적, 시간적, 화절적 해상도를 가지는 비디오로 복호화할 수 있는 방법이다. MPEG-4 SVC에서 제공하는 스케일러빌러티의 종류로는 공간, 시간, SNR, 복합(hybrid) 스케일러빌러티 및 FGS(fine granularity scalability) 등이 있다.
공간적 SVC는 기본계층(base layer)과 연속되는 상위계층(enhancement layer)에 해당하는 다양한 해상도의 프레임들을 부호화하여 전송함으로써, SVC 복호기로 하여금 단말장치에 적합한 해상도의 비디오를 처리할 수 있도록 한다. 부호기에서는 다양한 해상도의 비디오를 생성하고, 해상도에 따라 기본 계층과 다수의 상위 계층으로 나누어 부호화한다. 기본 계층 생성을 위하여 다운 샘플링한 후, 이 기본 계층에 대하여 일반적인 MPEG 코덱과 동일한 방법으로 부호화한다. 그리고 다운샘플링된 영상의 업샘플링된 결과와 원본영상의 차이를 부호화하여 상위계층을 생성한다. 복호화 과정은 부호화의 역과정으로 기본계층만을 복호화할 수도 있고, 단말기 및 네트워크의 상태가 우수하다면 상위 계층을 복호화한 뒤 기본계층의 업샘플링 정보와 합하여 높은 해상도를 얻는다.
시간적 SVC는 GOP(group of picture) 단위로 계층적인 B 픽처(hierachical B picture)의 삭제 혹은 MCTF(motion compensated temporal filtering) 기법을 이용한다. 이는 매 프레임마다 구별된 시간적 레벨을 지정해 줌으로써 비디오 콘텐츠의 다양한 프레임율을 제공한다. 시간적 SVC는 시간 축 상에서 다운 샘플링과 업 샘플링을 사용한다는 것을 제외하고 공간적 스케일러빌러티 코덱과 유사하기 동작한다. 시간 축 상의 다운 샘플링은 프레임 삭제를 사용하고 업 샘플링은 프레임 복사를 사용한다.
FGS는 향상된 SNR SVC로써 양자화 파라미터(quantization parameter : QP)로 양자화된 DCT 계수값들에 대한 bitplane을 이용하여 화질 열화 정도를 가변함으로써 세밀한 비트량 조절 및 화질에 대한 스케일러빌러티를 제공한다. 여기서 granularity는 스케일러블 부호화 시 상위 계층이 얼마나 밀집하여 존재하는가를 나타낸다. FGS에서 기본계층에 대한 부호화는 일반적인 비디오 코덱과 동일하게 동작한다. 상위계층은 원본 영상과 기본 계층에서 재구성된 영상과의 차 영상을 구한 후, 이 차영상에 대한 DCT를 수행한다. 그리고 이 DCT 계수의 절대치가 가장 큰 계수를 구해 비트 평면의 개수를 구하고, 비트플레인 부호화를 수행한다. 이와 같이 FGS의 상위 계층은 비트플레인을 선택하여 채널 상황에 적합하게 비트스트림을 발생시켜 사용 가능한 대역폭만큼 더해져서, 상위 계층의 복원되 비디오를 얻는다.
그러나 2D 영상과 홀로그램은 전혀 다른 특성을 가지고 있기 때문에 홀로그램의 스케일러블 코딩에, 상기와 같은 2D의 스케일러블 코딩기술을 그대로 이용할 수는 없고, 홀로그램의 특성을 활용한 스케일러블 코딩 기법을 적용해야 한다. 스케일러블 비디오 신호처리 기법과 함께 비디오 코딩을 위한 압축 기법이 필요하다.
종래에는 디지털 홀로그램의 부호화에 대한 다양한 연구가 진행되었다. Yoshikawa는 홀로그램의 복원 해상도가 HVS에 비해 너무 크다는 것으로부터 해상도를 제한하는 방법과, 보간법을 이용하여 정보량을 줄이는 방법을 제안하였다. 또한 디지털 홀로그램을 1차원적으로 몇 개의 segment로 나누어 DCT를 수행하고, 동영상 압축 표준인 MPEG-1과 MPEG-2로 압축한 방법들이 제안되었다. Javidi는 디지털 홀로그램을 무손실 부호화 방식의 압축하는 방법을 제안하였고, 무손실 부호화 방식을 손실 부호화 기술에 결합한 형태의 기술도 제안하였다. Liebling은 홀로그램의 분해를 위해 Fresnelet 기반의 변환기법을 만들고, 이를 이용하여 압축을 시도하였다. 실시간 네트워킹을 위해서 비트 패킹 동작에 의한 복소 스트림을 양자화하는 압축 방식도 제안되었다. 최근 홀로그램을 압축하기 위해 다양한 디지털 신호처리 기법들을 적극적으로 활용한 방식들도 제안되었다. 디지털 홀로그램을 분할하여 상관성이 높은 정보로 변환한 후에 H.264 등의 도구로 압축을 시도한 방식과 홀로그램으로부터 집적영상을 만든 후에 집적영상과 분할된 디지털 홀로그램과의 차이 정보를 압축하는 방식이 있다. 또한, Motion-Compensated Temporal Filtering (MCTF)를 이용하여 압축율을 더욱 향상시켰다. 또한 홀로그램을 Mallat tree 기반의 웨이블릿 변환을 수행한 이후에 부대역별로 압축을 시도한 연구도 있었다.
그러나 홀로그램을 다양한 수신 환경에서 재생하기 위하여, 다수의 해상도의 정보에 따라 홀로그램을 분리하여 전송하고 복원하는 스케일러블 홀로그래픽 비디오 코딩기술은 제시되고 있지 못하다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 홀로그래픽 영상을 다수의 해상도의 정보로 분리하여 전송하기 위한 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 이미 홀로그램이 촬영되거나 컴퓨터 생성 홀로그램 기법(CGH)을 통해서 생성된 홀로그래픽 영상에 적용한 것으로서, 홀로그램 평면 내의 각 화소들은 객체의 전체 광원에 대한 정보를 모두 포함하고 있다는 특성을 이용하는 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 홀로그래픽 영상을 다수의 해상도의 정보로 분리하여 전송하기 위한 홀로그래픽 영상의 공간 스케일러블 인코딩 장치에 관한 것으로서, 상기 홀로그래픽 영상을 중심 영역과 다수의 테두리 영역으로 분할하는 영상분할부; 및, 상기 중심 영역과 다수의 테두리 영역을 각각 인코딩하여, 기본계층 및 다수의 향상계층의 비트스트림들을 생성하는 영상인코더를 포함하는 것을 특징으로 한다.
또, 본 발명은 홀로그래픽 영상의 공간 스케일러블 인코딩 장치에 있어서, 상기 다수의 테두리 영역은 계층으로 구성하고, 상위계층의 테두리 영역의 내측 경계선은 하위계층의 테두리 영역의 외측 경계선과 맞닿고 최하위계층의 테두리 영역의 내측 경계선은 상기 중심 영역의 외측 경계선과 맞닿도록 분할되는 것을 특징으로 한다.
또, 본 발명은 홀로그래픽 영상의 공간 스케일러블 인코딩 장치에 있어서, 상기 영상분할부는 다수 계층으로 구성되는 다수의 단위분할부를 구비하고, 각 단위분할부는 전달받은 영상의 일부를 절단(cropping)하여 중심 영역의 영상과 테두리 영역의 영상으로 분할하고, 분할된 테두리 영역의 영상을 상기 영상인코더로 전달하고, 상위계층의 단위분할부는 중심 영역의 영상을 하위계층의 단위분할부로 전달하고, 최상위계층의 단위분할부는 상기 홀로그래픽 영상을 분할하고, 최하위계층의 단위분할부는 분할된 중심 영역의 영상을 상기 영상 인코더로 전달하는 것을 특징으로 한다.
또, 본 발명은 홀로그래픽 영상의 공간 스케일러블 인코딩 장치에 있어서, 상기 영상 인코더는 다수 계층으로 구성되는 다수의 단위인코더를 구비하고, 각 단위인코더는 해당되는 각 계층의 단위분할부로부터 영상을 전달받아 인코딩하는 것을 특징으로 한다.
또, 본 발명은 홀로그래픽 영상의 공간 스케일러블 인코딩 장치에 있어서, 상기 중심영역 및 테두리 영역은 직사각형인 것을 특징으로 한다.
또, 본 발명은 홀로그래픽 영상의 공간 스케일러블 인코딩 장치에 있어서, 상기 중심영역 및 테두리 영역은 동일한 면적으로 분할되거나 면적의 차이가 소정의 범위 이내가 되도록 분할되는 것을 특징으로 한다.
또, 본 발명은 홀로그래픽 영상의 공간 스케일러블 인코딩 장치에 있어서, 상기 중심영역 및 테두리 영역의 중심은 상기 홀로그래픽 영상의 중심이거나 상기 홀로그램 영상의 중심에서 소정의 반경이내인 것을 특징으로 한다.
또한, 본 발명은 다수의 해상도의 정보로 분리되어 전송된 비트스트림들로부터 홀로그래픽 영상을 복원하는 홀로그래픽 영상의 공간 스케일러블 디코딩 장치에 관한 것으로서, 기본계층 및 다수의 향상계층으로 분할된 홀로그래픽 영상의 비트스트림들을 디코딩하여 각 계층의 분할영상을 생성하는 영상디코더; 및, 디코딩된 각 계층의 분할영상을 합성하는 영상합성부를 포함하고, 상기 기본계층의 분할영상은 상기 홀로그래픽 영상의 중심 영역에 대응되는 영상이고, 상기 다수의 향상계층의 분할영상은 상기 홀로그래픽 영상의 다수의 테두리 영역에 대응되는 영상인 것을 특징으로 한다.
또, 본 발명은 홀로그래픽 영상의 공간 스케일러블 디코딩 장치에 있어서, 상기 다수의 테두리 영역은 계층으로 구성하고, 상위계층의 테두리 영역의 내측 경계선은 하위계층의 테두리 영역의 외측 경계선과 맞닿고 최하위계층의 테두리 영역의 내측 경계선은 상기 중심 영역의 외측 경계선과 맞닿도록 분할되는 것을 특징으로 한다.
또, 본 발명은 홀로그래픽 영상의 공간 스케일러블 디코딩 장치에 있어서, 상기 영상디코더는 다수 계층으로 구성되는 다수의 단위디코더를 구비하고, 각 단위디코더는 각 계층의 비트스트림을 디코딩하여, 해당되는 각 계층의 단위합성부로 디코딩된 분할영상을 전달하는 것을 특징으로 한다.
또한, 본 발명은 홀로그래픽 영상을 다수의 해상도의 정보로 분리하여 전송하기 위한 홀로그래픽 영상의 공간 스케일러블 인코딩 방법에 관한 것으로서, (a) 상기 홀로그래픽 영상을 중심 영역과 다수의 테두리 영역으로 분할하는 단계; 및, (b) 상기 중심 영역과 다수의 테두리 영역을 각각 인코딩하여, 기본계층 및 다수의 향상계층의 비트스트림들을 생성하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명은 다수의 해상도의 정보로 분리되어 전송된 비트스트림들로부터 홀로그래픽 영상을 복원하는 홀로그래픽 영상의 공간 스케일러블 디코딩 방법에 관한 것으로서, (d) 기본계층 및 다수의 향상계층으로 분할된 홀로그래픽 영상의 비트스트림들을 디코딩하여 각 계층의 영상을 생성하는 단계; 및, (e) 디코딩된 각 계층의 영상을 합성하는 단계를 포함하고, 상기 기본계층의 영상은 상기 홀로그래픽 영상의 중심 영역에 대응되는 영상이고, 상기 다수의 향상계층의 영상은 상기 홀로그래픽 영상의 다수의 테두리 영역에 대응되는 영상인 것을 특징으로 한다.
또한, 본 발명은 홀로그래픽 영상의 인코딩 장치 및 디코딩 장치에 의하여, 다수의 해상도의 정보로 분리하여 전송하기 위한 홀로그래픽 영상의 공간 스케일러블 코딩 방법에 관한 것으로서, (a) 상기 인코딩 장치는 상기 홀로그래픽 영상을 중심 영역과 다수의 테두리 영역으로 분할하는 단계; 및, (b) 상기 인코딩 장치는 상기 중심 영역과 다수의 테두리 영역을 각각 인코딩하여, 기본계층 및 다수의 향상계층의 비트스트림들을 생성하는 단계; (c) 상기 인코딩 장치는 상기 비트스트림들을 상기 디코딩 장치로 전송하는 단계; (d) 상기 디코딩 장치는 상기 비트스트림들을 디코딩하여 각 계층의 영상을 생성하는 단계; 및, (e) 상기 디코딩 장치는 디코딩된 각 계층의 영상을 합성하는 단계를 포함하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법에 의하면, 다양한 해상도를 갖는 디스플레이, 수신단의 연산 능력, 그리고 네트워크의 대역폭에 따라 적응적으로 홀로그래픽 영상(또는 비디오)을 제공할 수 있는 효과가 얻어진다.
도 1은 종래의 스케일러블 코딩 방법을 설명하는 구성도이다.
도 2는 본 발명에 따른 디지털 홀로그램 서비스 시스템 구성의 일례를 도시한 것이다.
도 3은 본 발명에 따른 디지털 홀로그램의 서브샘플링 후 복원 결과의 예를 도시한 것이다.
도 4는 본 발명에 따른 홀로그램의 분할에 대한 특성을 도시한 도면이다.
도 5는 본 발명에 따른 전체 홀로그램의 국부적 역 Fresnel 결과를 예시한 것이다.
도 6은 본 발명에 따른 주파수 영역에서 계수의 평균 에너지를 예시한 것이다.
도 7은 본 발명의 제1 실시예에 따른 홀로그래픽 영상의 공간 스케일러블 코딩 장치의 구성도이다.
도 8은 본 발명의 제1 실시예에 따른 홀로그래픽 영상을 분할하는 예를 도시한 것이다.
도 9는 본 발명에 따른 압축을 위한 전처리 과정의 일례를 도시한 것이다.
도 10은 본 발명의 제1 실시예에 따른 홀로그래픽 영상을 합성하는 예를 도시한 것이다.
도 11은 본 발명의 제2 실시예에 따른 홀로그래픽 영상의 공간 스케일러블 인코딩 장치의 구성도이다.
도 12는 본 발명의 제2 실시예에 따라 홀로그래픽 영상을 분할하는 일례를 도시한 것이다.
도 13은 본 발명의 제3 실시예에 따른 홀로그래픽 영상의 공간 스케일러블 디코딩 장치의 구성도이다.
도 14는 본 발명의 제2 실시예에 따라 홀로그래픽 영상을 합성하는 일례를 도시한 것이다.
도 15는 본 발명에 따른 홀로그램을 잘라내는 단위와 방식의 예들을 도시한 것이다.
도 16은 본 발명의 일실시예에 따른 홀로그래픽 영상의 공간 스케일러블 코딩 방법을 설명하는 흐름도이다.
도 17은 본 발명의 실시에 대한 PSNR 결과를 도시한 그래프이다.
도 18은 본 발명의 실시에 대한 토끼 객체에 대한 HSR 결과 영상의 일례이다.
도 2는 본 발명에 따른 디지털 홀로그램 서비스 시스템 구성의 일례를 도시한 것이다.
도 3은 본 발명에 따른 디지털 홀로그램의 서브샘플링 후 복원 결과의 예를 도시한 것이다.
도 4는 본 발명에 따른 홀로그램의 분할에 대한 특성을 도시한 도면이다.
도 5는 본 발명에 따른 전체 홀로그램의 국부적 역 Fresnel 결과를 예시한 것이다.
도 6은 본 발명에 따른 주파수 영역에서 계수의 평균 에너지를 예시한 것이다.
도 7은 본 발명의 제1 실시예에 따른 홀로그래픽 영상의 공간 스케일러블 코딩 장치의 구성도이다.
도 8은 본 발명의 제1 실시예에 따른 홀로그래픽 영상을 분할하는 예를 도시한 것이다.
도 9는 본 발명에 따른 압축을 위한 전처리 과정의 일례를 도시한 것이다.
도 10은 본 발명의 제1 실시예에 따른 홀로그래픽 영상을 합성하는 예를 도시한 것이다.
도 11은 본 발명의 제2 실시예에 따른 홀로그래픽 영상의 공간 스케일러블 인코딩 장치의 구성도이다.
도 12는 본 발명의 제2 실시예에 따라 홀로그래픽 영상을 분할하는 일례를 도시한 것이다.
도 13은 본 발명의 제3 실시예에 따른 홀로그래픽 영상의 공간 스케일러블 디코딩 장치의 구성도이다.
도 14는 본 발명의 제2 실시예에 따라 홀로그래픽 영상을 합성하는 일례를 도시한 것이다.
도 15는 본 발명에 따른 홀로그램을 잘라내는 단위와 방식의 예들을 도시한 것이다.
도 16은 본 발명의 일실시예에 따른 홀로그래픽 영상의 공간 스케일러블 코딩 방법을 설명하는 흐름도이다.
도 17은 본 발명의 실시에 대한 PSNR 결과를 도시한 그래프이다.
도 18은 본 발명의 실시에 대한 토끼 객체에 대한 HSR 결과 영상의 일례이다.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 디지털 홀로그램 서비스 시스템 구성의 일례를 도 2를 참조하여 설명한다.
도 2에서 보는 바와 같이, 디지털 홀로그램 서비스 시스템은 각 기능에 따라 3차원 정보 획득부, 부호화부, 전송부, 복호화부, 홀로그래픽 디스플레이부로 구분된다. 먼저 3차원 정보 획득부에서는 실사에 대한 정보를 정보 특성에 따라 디지털 홀로그램, 깊이 영상 및 텍스처 영상, 그리고 모델 형태로 획득하게 된다. 디지털 홀로그램은 광학계에 의해 구성된 획득 시스템에 의해 획득되고, 깊이 및 텍스처 영상은 깊이 카메라 등의 실사에 대한 깊이 정보를 획득할 수 있는 시스템에 의해 획득된다. 획득된 3차원 정보는 부호화부에 입력되어 각각의 정보 특성에 맞는 부호화 알고리듬에 따라 부호화를 한다. 디지털 홀로그램은 컬러에 따라 서로 다른 특성을 갖기 때문에 디지털 홀로그램 특성에 맞는 알고리듬을 이용하여 부호화해야 한다.
부호화된 데이터는 네트워크망에 의해 수신단에 전송되며, 수신된 데이터는 각각의 특성에 맞는 복호화 알고리듬에 의해 복호화를 수행한다. 부호화된 데이터는 다양한 네트워크를 통해서 전달되고, 전달된 데이터는 다양한 복호화 성능과 디스플레이를 갖는 단말기를 통해서 복호화가 수행된다. 따라서 네트워크와 단말기의 성능에 따라 적응적으로 데이터가 복호화될 수 있도록 부호화 단계에서 스케일러블하게 데이터를 처리하는 기술의 적용이 필요하다.
복호화된 데이터가 디지털 홀로그램일 경우 홀로그래픽 디스플레이 시스템에 의해 디스플레이 되며, 모델을 비롯한 텍스처 및 깊이 영상일 경우에는 디지털 홀로그램을 생성할 수 있는 3차원 정보를 추출하여 디스플레이 시스템에 맞게 변환한 후 홀로그래픽 디스플레이 장치를 이용하여 재생한다.
이하에서, 부호화부로 구현되는 장치를 인코딩 장치라 부르기로 하고, 복호화부로 구현되는 장치를 디코딩 장치로 부르기로 한다.
다음으로, 본 발명에서 비디오 코딩(또는 영상 코딩)의 대상인 홀로그래픽 영상의 특징을 도 3 내지 도 6을 참조하여 보다 구체적으로 설명한다.
부호화 대상인 디지털 홀로그램(또는 홀로그래픽 영상)은 일반적인 영상과 상이한 특성을 가지고 있지만 기존의 영상처리 기술들을 사용하기 위해서는 기존의 영상처리 기술의 위치에서 바라본 디지털 홀로그램의 특성이 분석되어야 한다.
먼저, 홀로그래픽 영상의 서브 샘플링(Subsampling)에 대한 특성을 살펴본다. 즉, 일반적인 2D 영상을 구성하는 기본 단위인 화소가 디지털 홀로그램에서도 유사한 특성을 가질 수 있는지 살펴본다.
일반적인 영상의 경우, 샘플(sample) 혹은 픽셀(pixel) 단위로 서브 샘플링(Subsampling) 과정을 거치고 다시 원래의 영상과 동일한 공간적인 해상도를 취하면, 원영상에서 고주파가 제거된 형태의 blurring 영상이 생성된다.
하지만 도 3b에서 보이는 것과 같이, 디지털 홀로그램 자체에 대해 서브 샘플링(Subsampling) 과정을 수행하게 되면, 원영상 혹은 원객체의 정보를 거의 소실하는 결과를 얻는다. 도 3b는 도 3a의 원 영상(홀로그래픽 영상)을 서브 샘플링(Subsampling)하여 얻은 영상이다.
이런 결과로부터 디지털 홀로그램을 구성하는 인접성분들 간의 상관도는 거의 없고 각각이 독립적인 정보를 표현한다고 가정할 수 있다.
또한, 디지털 홀로그램에 대해 서브 샘플링(Subsampling)을 블록 단위로 수행하면, 그 결과는 도 3a 또는 도 3d에서 보는 바와 같이 나타난다. 도 3a 또는 도 3d는 도 3a의 디지털 홀로그램에 대하여, 각각 128×128 및 64×64 블록 단위로 서브 샘플링(Subsampling)을 수행한 후 복원한 결과를 나타낸다. 도 3a 또는 도 3d에서 볼 수 있듯이 블록 단위가 클수록 원 객체와 더 가까운 형태를 가진다.
이러한 결과는 홀로그램내의 특정 국부영역은 전체 객체에 대한 정보를 모두 가지고, 선택된 영역의 크기가 커질수록 복원결과가 우수하다는 것을 보여준다. 도 3b는 도 3a 및 도 3d와 동일한 데이터 량을 서브 샘플링(Subsampling) 하였지만 복원 결과는 전혀 다르다는 것으로 확인할 수 있다.
먼저, 홀로그래픽 영상의 국부영역의 특성에 대한 특성을 살펴본다.
디지털 홀로그램의 국부영역의 특성은 일정 크기로 디지털 홀로그램을 분할한 뒤 복원한 결과를 관찰하여 확인할 수 있다. 도 4a와 같이 홀로그램의 중심을 기준으로 분할한 후 역 Fresnel 변환 과정을 거치면 도 4b와 같이 스케일링된 결과를 얻는다. 이러한 결과는 앞서 본 서브 샘플링(Subsampling)의 결과와 유사하고 2D 영상과는 전혀 다른 광학적인 특성이다.
즉, 디지털 홀로그램의 국부영역에서는 그 영역에서 바라본 전체 객체의 정보가 모두 포함된다. 따라서 국부영역이 전체 홀로그램에 대해 위치하는 지점에 따라서 도 5와 같은 복원 결과를 보인다.
국부적 영역의 특성은 홀로그램만의 독특한 특성으로 다른 시점에서 공간적 스케일러블 코딩의 가능성을 보여준다. 즉, 일반적인 2D 영상은 해상도를 조절하기 위해서 다운샘플링 혹은 스케일링 다운과 같은 과정을 수행하지만 홀로그램은 영역을 나눔으로써 공간적 스케일러블 코딩이 가능해지는 것이다.
도 6에서 볼 수 있듯이 홀로그램은 잡음과 같은 형태이고, 홀로그램의 주파수 특성도 2D 영상에서 나타나는 것과 다른 경향을 보인다. 도 6에 DCT(Discerete Cosine Transform)과 DWT(Discrete Wavelet Transform)을 이용하여 주파수 영역으로 변환한 후에 저주파에서 고주파 계수들의 평균 에너지를 나타냈다. 최저주파수 계수 및 영역에서 가장 큰 에너지를 보이는 것은 동일하지만 그 이후에 고주파 성분의 에너지가 증가하는 경향성은 2D 영상과 전혀 다르다. 즉, 2D 영상과 같이 주파수 변환도구를 이용하여 데이터의 상관도를 추출한 후 계수들을 직접적으로 처리하는 것은 올바른 접근이라 할 수 없고, 부가적인 처리과정이 필요하다는 것을 알 수 있다.
다음으로, 본 발명의 제1 실시예에 따른 홀로그래픽 영상의 공간 스케일러블 코딩 장치에 대하여 도 7을 참조하여 보다 구체적으로 설명한다. 도 7에서 보는 바와 같이, 홀로그래픽 영상의 공간 스케일러블 코딩장치는 인코딩 장치(30) 및 디코딩 장치(40)로 구성된다.
본 발명의 제1 실시예에 따른 인코딩 장치(30) 및 디코딩 장치(40)는 홀로그램의 국부적인 영역의 특성을 이용한다. 이를 홀로그램 기반의 해상도 적응적 코딩 또는 공간적 스케일러블 코딩(hologram-based resolutional scalable coding, HRS)이라 하기로 한다.
HRS 코딩은 디지털 홀로그램(또는 홀로그래픽 영상)이 광학적 시스템과 CCD를 통해서 취득된 경우에 사용할 수 있는 적응적 코딩 기술이다. 획득된 홀로그램(또는 홀로그래픽 영상)은 인코딩 장치(30)에 의해 분할과정을 거치면서 다양한 해상도의 정보로 분리가 되고, 압축 과정을 거쳐서 비트스트림이 된다. 바람직하게는, 분리된 영상을 통상의 전처리 과정을 거친 후에 압축과정을 수행한다.
디코딩 장치(40)는 이 과정의 역과정을 통해서 다양한 해상도의 디지털 홀로그램(또는 홀로그래픽 영상)이 복호화된다. 복호화된 디지털 홀로그램은 SLM(spacial light modulator)와 같은 홀로그래픽 디스플레이 장치를 통해서 서비스된다. 코딩의 적응성은 홀로그래픽 디스플레이 장치에 좌우될 수 있을 것이다.
다음으로, 인코딩 장치(30)에 대하여 보다 구체적으로 설명한다.
도 7에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 인코딩 장치(30)는 영상분할부(31) 및 영상인코더(32)로 구성된다. 추가적으로, 비트스트림을 전송하기 위한 영상전송부(33)를 더 포함하여 구성될 수 있다.
영상분할부(31)는 홀로그래픽 영상을 중심 영역과 다수의 테두리 영역으로 분할한다. 바람직하게는, 상기 다수의 테두리 영역은 계층으로 구성하고, 상위계층의 테두리 영역의 내측 경계선은 하위계층의 테두리 영역의 외측 경계선과 맞닿고 최하위계층의 테두리 영역의 내측 경계선은 상기 중심 영역의 외측 경계선과 맞닿도록 분할된다.
도 8은 홀로그래픽 영상(60)을 중심영역(66)과 다수의 테두리 영역(61,63,65)으로 분할한 예를 도시하고 있다. 이때, 다수의 테두리 영역은 제1, 제2, 및, 제3 테두리 영역(65,63,61)으로 계층으로 구성된다.
가장 바깥쪽에 위치한 제3 테두리 영역(61)이 최상위계층의 테두리 영역이고, 제3 테두리 영역(61)의 내측면(또는 내측 경계선)에 접하는 제2 테두리 영역(63)이 그 하위계층의 테두리 영역이다. 한편, 제2 테두리 영역(63)의 하위계층의 테두리 영역은 제3 테두리 영역(65)이다. 제3 테두리 영역(65)이 곧 최하위계층의 테두리 영역으로서, 그 내측면이 중심영역(66)의 외측면(또는 외측 경계선)과 맞닿아 있다.
한편, 도 8과 같이, 상기 중심영역 및 테두리 영역은 직사각형으로 구성되는 것이 바람직하다. 그러나 직사각형 외 타원형 등 다양한 형태로 분할하는 것도 가능하다.
또한, 중심영역 및 테두리 영역은 동일한 면적으로 분할되거나 면적의 차이가 소정의 범위 이내가 되도록 분할되는 것이 바람직하다. 즉, 중심영역 및 테두리 영역의 면적을 유사하게 하게 분할한다. 이로 인해, 분할된 영역을 인코딩 또는 디코딩 시, 각 영역들의 코딩 연산량 이나 코딩 시간을 비슷한 수준으로 맞추기 위함이다.
상기 중심영역 및 테두리 영역의 중심은 상기 홀로그래픽 영상의 중심이거나 상기 홀로그램 영상의 중심에서 소정의 반경 이내로 정하는 것이 바람직하다. 전체 홀로그램에서 일부만 잘라내어(cropping) 영상을 복원할 때, 원 홀로그램의 중심에 가깝게 잘라낼수록 더 정확한 영상으로 복원된다. 따라서 잘라낼 때 원 영상의 중심에 가깝게 하여 잘라내면 더 정확한 영상을 복원할 수 있다.
다음으로, 영상인코더(32)는 중심 영역과 다수의 테두리 영역을 각각 인코딩하여, 기본계층 및 다수의 향상계층의 비트스트림들을 생성한다.
도 8에서, 중심 영역(65)을 인코딩하여 기본계층의 비트스트림을 생성한다. 그리고 제1 계층의 테두리 영역(65)을 인코딩하여 제1 향상계층의 비트스트림을 생성한다. 또한, 제2 및 제3 계층의 테두리 영역(63,61)을 인코딩하여 각각 제2 및 제3 향상계층의 비트스트림을 생성한다.
영상전송부(33)는 계층화된 비트스트림을 전송한다. 즉, 디코딩 장치(40)로 전송한다. 특히, 영상전송부(33)는 계층화된 비트스트림을 전처리하고 압축하여 전송한다.
HRS를 위해 홀로그램을 잘라낸(cropping) 이후에 압축하는 과정의 전처리 과정을 도 9에 간략히 나타냈다. 앞서 살펴본 홀로그램의 특성을 이용하여 압축하기 위해 홀로그램을 세그먼트 단위로 다시 분리하고, DCT를 이용하여 주파수 변환을 수행한 후에 하나의 비디오 스트림으로 생성한다. 생성된 비디오 스트림은 H.264 등의 코덱을 이용하여 압축한다.
다음으로, 디코딩 장치(40)에 대하여 설명한다.
한편, 도 7에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 디코딩 장치(40)는 영상디코더(42) 및 영상합성부(43)로 구성된다. 추가적으로, 비트스트림을 수신하기 위한 영상수신부(41)를 더 포함하여 구성될 수 있다.
영상수신부(41)는 계층화된 비트스트림을 수신한다.
영상디코더(42)는 기본계층 및 다수의 향상계층으로 분할된 홀로그래픽 영상의 비트스트림들을 디코딩하여 각 계층의 분할영상(중심영역, 테두리 영역 등 분할영역의 홀로그래픽 영상)을 생성한다. 이때, 기본계층의 분할영상은 상기 홀로그래픽 영상의 중심 영역에 대응되는 영상이고, 상기 다수의 향상계층의 분할영상은 상기 홀로그래픽 영상의 다수의 테두리 영역에 대응되는 영상이다.
도 10a와 같이, 다수 계층의 비트스트림을 다수 계층으로 분할된 홀로그래픽 영상(또는 분할영상)으로 복원한다. 즉, 기본계층의 분할영상(66)은 기본계층의 비트스트림으로부터 복원되고, 제1, 제2, 제3 향상계층의 비트스트림들로부터 각각 제1, 제2, 제3 향상계층의 분할영상(65,63,61)들이 복원된다.
영상합성부(43)는 디코딩된 각 계층의 분할영상을 합성한다. 특히, 영상합성부(43)는 하위계층부터 상위계층까지 연속하는 다수의 분할영상을 합성한다.
도 10a에서 보는 바와 같이, 영상합성부(43)는 기본계층의 분할영상(66)을 출력하여, 바로 홀로그래픽 영상(이하 기본계층의 홀로그램)으로 표시하게 할 수 있다.
다음으로, 영상합성부(43)는 기본계층의 분할 영상(66)과 제1 향상계층의 분할영상(65)을 합성하여, 제1 향상계층의 홀로그램(또는 홀로그래픽 영상)(64)을 생성할 수 있다. 이때 제1 향상계층의 홀로그램(64)은 복원된 기본계층의 홀로그램(66)보다 해상도가 높다.
다음으로, 영상합성부(43)는 기본계층의 분할 영상(66), 제1 및 제2 향상계층의 분할영상(65, 63)을 합성하여, 제2 향상계층의 홀로그래픽 영상(62)을 생성할 수 있다. 또한, 기본계층의 분할 영상(66), 모든 향상계층의 분할영상(제1 내지 제3 계층의 분할영상)(65, 63, 61)을 합성함으로써, 원 홀로그래픽 영상(또는 제3 향상계층의 홀로그래픽 영상)(60)을 복원할 수 있다.
디코딩 장치(40)의 성능이나 네트워크의 밴드폭 등에 따라, 영상합성부(43)는 해상도에 적절한 향상계층의 홀로그래픽 영상을 생성하여 출력한다. 즉, 성능이 낮거나 밴드폭이 작은 경우 기본계층의 홀로그래픽 영상을 출력하여 표시하고, 성능이 높거나 네트워크의 밴드폭이 넓은 경우 높은 향상계층의 홀로그래픽 영상을 생성하여 출력한다.
도 10b에서 보는 바와 같이, 작은 홀로그램의 테두리에 여분의 홀로그램 정보를 결합한 후에 그 홀로그램을 재생하면 고해상도의 객체를 공간상에 재생할 수 있다.
다음으로, 본 발명의 제2 실시예에 따른 홀로그래픽 영상의 공간 스케일러블 디코딩 장치(30)에 대하여 도 11 내지 도 12를 참조하여 보다 구체적으로 설명한다.
본 발명의 제2 실시예에 따른 디코딩 장치(30)는 앞서 설명한 제1 실시예에 따른 디코딩 장치(30)와 기본적인 기능은 동일하나, 영상분할부(31), 영상인코더(32) 등이 다수의 단위분할부 또는 단위인코더로 세분화되어 병렬처리가 가능하도록 구성하고 있다.
도 11에서 보는 바와 같이, 영상분할부(31)는 다수 계층으로 구성되는 다수의 단위분할부(31a, 31b, 31c)를 구비하고, 영상 인코더(32)도 다수 계층으로 구성되는 다수의 단위인코더(32a, 32b, 32c, 32d)를 구비한다.
즉, 도 12a 및 12b에서 보는 바와 같이, 도 11의 구성에 의해, 홀로그램의 내부를 분할하고, 분할된 중심영역을 제외한 테두리 영역은 중심영역과 합해져서 고해상도를 제공하게 되는 향상계층의 역할을 한다. 분할된 중심영역은 다시 중심영역과 테두리 영역으로 나누어진다. 나누어진 영역은 다시 기본계층과 향상계층에 해당하게 된다. 이렇게 중심을 기준으로 홀로그램을 다수 번 분할했을 때 최종적인 중심영역이 기본계층이 된다. 분할하는 단위는 홀로그램을 압축하는 과정과 밀접한 관계를 갖는다.
각 단위분할부(31a, 31b, 31c)는 전달받은 영상의 일부를 절단(cropping)하여 중심 영역의 영상과 테두리 영역의 영상으로 분할하고, 분할된 테두리 영역의 영상을 영상인코더(32)로 전달한다.
이때, 도 12b에서 보는 바와 같이, 상위계층의 단위분할부(31a, 31b)는 중심 영역의 영상을 하위계층의 단위분할부(31b, 31c)로 전달한다. 특히, 최상위계층의 단위분할부(31a)는 상기 홀로그래픽 영상을 분할하고, 최하위계층의 단위분할부(31c)는 분할된 중심 영역의 영상을 영상 인코더(32)로 전달한다.
한편, 각 단위분할부(31a, 31b, 31c)는 해당되는(또는 자신에 대응되는) 단위인코더(32a, 32b, 32c, 32d)에 중심 영역 또는 테두리 영역의 영상을 전달한다. 따라서 각 단위인코더(32a, 32b, 32c, 32d)는 해당되는 각 계층의 단위분할부로부터 영상을 전달받아 인코딩한다.
특히, 최하위계층의 단위분할부(31c)는 분할된 테두리 영역의 영상 및 최종적으로 분할된 중심 영역의 영상을 각각 단위인코더(32c, 32d)로 전달한다.
다음으로, 본 발명의 제3 실시예에 따른 홀로그래픽 영상의 공간 스케일러블 인코딩 장치(40)에 대하여 도 13 내지 도 14를 참조하여 보다 구체적으로 설명한다.
본 발명의 제3 실시예에 따른 인코딩 장치(40)는 앞서 설명한 제1 실시예에 따른 인코딩 장치(40)와 기본적인 기능은 동일하나, 영상디코더(42), 영상합성부(43) 등이 다수의 단위디코더 또는 단위합성부로 세분화되어 병렬처리가 가능하도록 구성하고 있다.
영상디코더(42)는 다수 계층으로 구성되는 다수의 단위디코더(42a, 42b, 42c, 42d)를 구비하고, 영상합성부(43)는 다수 계층으로 구성되는 다수의 단위합성부(43a, 43b, 43c)를 구비한다.
그리고 각 단위디코더(42a, 42b, 42c, 42d)는 각 계층의 비트스트림을 디코딩하여, 해당되는 각 계층의 단위합성부(43a, 43b, 43c)로 디코딩된 영상을 전달한다.
각 단위합성부(43a, 43b, 43c)는 영상디코더(42)로부터 전달받은 해당 계층의 분할영상과, 하위계층의 단위합성부(43a, 43b, 43c)로부터 전달받은 분할영상을 합성한다. 분할영상을 합성하는 구체적인 방법은 도 14a 및 도 14b에 도시되어 있다.
한편, 인코딩 장치(40)는 네트워크의 밴드폭 또는 성능에 따라 단위디코더 및 단위인코더의 개수를 달리할 수 있다. 즉, 성능이 낮거나 밴드폭이 작은 경우 디코딩 장치(40)는 기본계층의 비트스트림을 처리하는 단위디코더(42a)만 구비하고, 영상합성부(43)를 구비하지 않을 수 있다. 이때, 디코딩 장치(40)는 수신하는 기본계층 비트스트림만을 디코딩하여 출력하여, 기본계층의 홀로그래픽 영상(66)을 표시하게 한다. 반면, 성능이 높거나 네트워크의 밴드폭이 넓은 경우, 디코딩 장치(40)는 도 13과 같은 전체 구성을 모두 구비하여, 원래의 홀로그래픽 영상을 복원하여 출력한다. 따라서 디코딩 장치(40)는 그 성능이나 네트워크의 밴드폭 등에 따라, 해상도에 적절한 향상계층의 홀로그래픽 영상을 생성하여 출력할 수 있도록 구성된다.
다음으로, 본 발명에 따른 적응적 코딩 기술의 특성을 살펴본다.
HRS 코딩 방법에서 적응적 코딩 특성은 홀로그램을 잘라내는 단위와 방식에 크게 좌우된다. 홀로그램을 잘라내는 단위는 앞서 설명한 것과 같이 홀로그램의 압축 기법과 밀접한 관계를 갖는다. 홀로그램을 압축하기 위해 비디오 스트림을 만들게 되는데 이 비디오 스트림의 해상도가 홀로그램을 잘라내기 위한 기본 단위가 된다. HRS를 위해 홀로그램을 분할하는 방법을 도 15에 나타냈다. 도 15에서 작은 격자가 홀로그램을 분할하기 위한 단위이고, 바람직하게는, 64×64 혹은 128×128의 크기를 사용한다.
다음으로, 본 발명의 일실시예에 따른 홀로그래픽 영상의 공간 스케일러블 코딩 방법을 도 16을 참조하여 설명한다.
도 16에서 보는 바와 같이, 본 발명의 일실시예에 따른 홀로그래픽 영상의 공간 스케일러블 인코딩 방법은 (a) 인코딩 장치(30)는 홀로그래픽 영상을 중심 영역과 다수의 테두리 영역으로 분할하는 단계(S10); 및, (b) 인코딩 장치(30)는 상기 중심 영역과 다수의 테두리 영역을 각각 인코딩하여, 기본계층 및 다수의 향상계층의 비트스트림들을 생성하는 단계(S20); (c) 인코딩 장치(30)는 상기 비트스트림들을 디코딩 장치(40)로 전송하는 단계(S30); (d) 디코딩 장치(40)는 상기 비트스트림들을 디코딩하여 각 계층의 영상을 생성하는 단계(S40); 및, (e) 디코딩 장치(40)는 디코딩된 각 계층의 영상을 합성하는 단계(S50)로 구분된다.
상기 홀로그래픽 영상의 공간 스케일러블 코딩 방법에서 생략된 설명은 앞서 설명한 홀로그래픽 영상의 공간 스케일러블 코딩 장치의 설명을 참조한다.
다음으로, 본 발명에 따른 효과를 도 17 및 도 18을 참조하여 보다 구체적으로 설명한다.
도 17에는 HRS를 이용하여 홀로그램을 압축하고 복원한 결과를 나타냈다. 도 17의 그래프에서 가로축은 압축율을 나타내고 세로축은 PSNR 값을 나타낸다. 도 17(a)는 홀로그램 자체에 대한 결과이고 도 17(b)는 홀로그램을 소프트웨어적으로 복원한 결과에 대한 결과이다. 그래프에서 Base는 기본계층을 나타내고 EnhancedN은 이전 계층과 상위계층을 합쳐서 복원한 결과를 나타낸다. HRS는 해상도, 즉 홀로그램의 크기를 조절하여 적응적인 코딩을 하는 기법이기 때문에 홀로그램 자체에 대한 결과에서 Base와 EnhancedN 사이에 PSNR의 차이가 크지는 않다. 그러나 각 계층 내에서 압축율에 따른 PSNR의 차이는 크다. PSNR은 20:1에서 50:1 사이에서 비교적 급격하게 감소하는 것을 볼 수 있다. 복원한 객체 애해서는 Base와 EnhancedN 사이에 PSNR의 차이가 N이 클수록 높다는 것을 알 수 있다. 이러한 특성은 도 17의 영상 결과에서 확인할 수 있다.
도 18은 HRS 코딩 기법에 의한 복원 객체의 영상을 나타낸다. 압축 효과를 관찰할 수 있도록 50:1의 압축 조건에 대한 결과를 나타냈다. 가장 위의 영상은 기본계층에 해당하고, 다음은 상위계층1에서 상위계층7까지에 해당한다.
도 18에서 관찰할 수 있는 것과 같이 해상도가 높아질수록 영상의 품질이 좋다는 것을 확인할 수 있다. 홀로그램이 너무 작다면 원래의 객체를 재생하기 위한 정보가 부족하게 되어 정확한 객체를 재현할 수 없기 때문에 이러한 현상을 나타나게 된다.
이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
30 : 인코딩 장치 31 : 영상분할부
31a, 31b, 32c : 단위분할부 32 : 영상인코더
32a, 32b, 32c, 32d : 단위인코더 33 : 영상전송부
40 : 디코딩 장치 42 : 영상디코더
42a, 42b, 42c, 42d : 단위디코더 43 : 영상합성부
43a, 43b, 43c : 단위합성부 41 : 영상수신부
31a, 31b, 32c : 단위분할부 32 : 영상인코더
32a, 32b, 32c, 32d : 단위인코더 33 : 영상전송부
40 : 디코딩 장치 42 : 영상디코더
42a, 42b, 42c, 42d : 단위디코더 43 : 영상합성부
43a, 43b, 43c : 단위합성부 41 : 영상수신부
Claims (14)
- 홀로그래픽 영상을 다수의 해상도의 정보로 분리하여 전송하기 위한 홀로그래픽 영상의 공간 스케일러블 인코딩 장치에 있어서,
상기 홀로그래픽 영상을 중심 영역과 다수의 테두리 영역으로 분할하는 영상분할부; 및,
상기 중심 영역과 다수의 테두리 영역을 각각 인코딩하여, 기본계층 및 다수의 향상계층의 비트스트림들을 생성하는 영상인코더를 포함하고,
상기 다수의 테두리 영역은 계층으로 구성하고,
상위계층의 테두리 영역의 내측 경계선은 하위계층의 테두리 영역의 외측 경계선과 맞닿고 최하위계층의 테두리 영역의 내측 경계선은 상기 중심 영역의 외측 경계선과 맞닿도록 분할되고,
상기 중심영역 및 다수의 테두리 영역은 동일한 면적으로 분할되거나 면적의 차이가 소정의 범위 이내가 되도록 분할되고,
상기 중심영역 및 테두리 영역의 중심은 상기 홀로그래픽 영상의 중심인 것을 특징으로 하는 홀로그래픽 영상의 공간 스케일러블 인코딩 장치.
- 삭제
- 제1항에 있어서,
상기 영상분할부는 다수 계층으로 구성되는 다수의 단위분할부를 구비하고,
각 단위분할부는 전달받은 영상의 일부를 절단(cropping)하여 중심 영역의 영상과 테두리 영역의 영상으로 분할하고, 분할된 테두리 영역의 영상을 상기 영상인코더로 전달하고,
상위계층의 단위분할부는 중심 영역의 영상을 하위계층의 단위분할부로 전달하고, 최상위계층의 단위분할부는 상기 홀로그래픽 영상을 분할하고, 최하위계층의 단위분할부는 분할된 중심 영역의 영상을 상기 영상 인코더로 전달하는 것을 특징으로 하는 홀로그래픽 영상의 공간 스케일러블 인코딩 장치.
- 제3항에 있어서,
상기 영상 인코더는 다수 계층으로 구성되는 다수의 단위인코더를 구비하고, 각 단위인코더는 해당되는 각 계층의 단위분할부로부터 영상을 전달받아 인코딩하는 것을 특징으로 하는 홀로그래픽 영상의 공간 스케일러블 인코딩 장치.
- 제1항, 제3항 내지 제4항 중 어느 한 항에 있어서,
상기 중심영역 및 테두리 영역은 직사각형인 것을 특징으로 하는 홀로그래픽 영상의 공간 스케일러블 인코딩 장치.
- 삭제
- 삭제
- 홀로그래픽 영상을 다수의 해상도의 정보로 분리하여 전송하기 위한 인코딩 장치 및, 다수의 해상도의 정보로 분리되어 전송된 비트스트림들로부터 홀로그래픽 영상을 복원하는 디코딩 장치를 포함하는 홀로그래픽 영상의 공간 스케일러블 인코딩 및 디코딩 장치에 있어서,
상기 인코딩 장치는,
상기 홀로그래픽 영상을 중심 영역과 다수의 테두리 영역으로 분할하는 영상분할부; 및,
상기 중심 영역과 다수의 테두리 영역을 각각 인코딩하여, 기본계층 및 다수의 향상계층의 비트스트림들을 생성하는 영상인코더를 포함하고,
상기 다수의 테두리 영역은 계층으로 구성하고,
상위계층의 테두리 영역의 내측 경계선은 하위계층의 테두리 영역의 외측 경계선과 맞닿고 최하위계층의 테두리 영역의 내측 경계선은 상기 중심 영역의 외측 경계선과 맞닿도록 분할되고,
상기 중심영역 및 다수의 테두리 영역은 동일한 면적으로 분할되거나 면적의 차이가 소정의 범위 이내가 되도록 분할되고,
상기 중심영역 및 테두리 영역의 중심은 상기 홀로그래픽 영상의 중심이고,
상기 디코딩 장치는,
기본계층 및 다수의 향상계층으로 분할된 홀로그래픽 영상의 비트스트림들을 디코딩하여 각 계층의 분할영상을 생성하는 영상디코더; 및,
디코딩된 각 계층의 분할영상을 합성하는 영상합성부를 포함하고,
상기 기본계층의 분할영상은 상기 홀로그래픽 영상의 중심 영역에 대응되는 영상이고, 상기 다수의 향상계층의 분할영상은 상기 홀로그래픽 영상의 다수의 테두리 영역에 대응되는 영상인 것을 특징으로 하는 홀로그래픽 영상의 공간 스케일러블 인코딩 및 디코딩 장치.
- 삭제
- 제8항에 있어서,
상기 영상합성부는 다수 계층으로 구성되는 다수의 단위합성부를 구비하고,
각 단위합성부는 상기 영상디코더로부터 전달받은 해당 계층의 분할영상과, 하위계층의 단위합성부로부터 전달받은 분할영상을 합성하는 것을 특징으로 하는 홀로그래픽 영상의 공간 스케일러블 디코딩 장치.
- 제10항에 있어서,
상기 영상디코더는 다수 계층으로 구성되는 다수의 단위디코더를 구비하고, 각 단위디코더는 각 계층의 비트스트림을 디코딩하여, 해당되는 각 계층의 단위합성부로 디코딩된 분할영상을 전달하는 것을 특징으로 하는 홀로그래픽 영상의 공간 스케일러블 디코딩 장치.
- 홀로그래픽 영상을 다수의 해상도의 정보로 분리하여 전송하기 위한 홀로그래픽 영상의 공간 스케일러블 인코딩 방법에 있어서,
(a) 상기 홀로그래픽 영상을 중심 영역과 다수의 테두리 영역으로 분할하는 단계; 및,
(b) 상기 중심 영역과 다수의 테두리 영역을 각각 인코딩하여, 기본계층 및 다수의 향상계층의 비트스트림들을 생성하는 단계를 포함하고,
상기 다수의 테두리 영역은 계층으로 구성하고,
상위계층의 테두리 영역의 내측 경계선은 하위계층의 테두리 영역의 외측 경계선과 맞닿고 최하위계층의 테두리 영역의 내측 경계선은 상기 중심 영역의 외측 경계선과 맞닿도록 분할되고,
상기 중심영역 및 다수의 테두리 영역은 동일한 면적으로 분할되거나 면적의 차이가 소정의 범위 이내가 되도록 분할되고,
상기 중심영역 및 테두리 영역의 중심은 상기 홀로그래픽 영상의 중심인 것을 특징으로 하는 홀로그래픽 영상의 공간 스케일러블 인코딩 방법.
- 삭제
- 홀로그래픽 영상의 인코딩 장치 및 디코딩 장치에 의하여, 다수의 해상도의 정보로 분리하여 전송하기 위한 홀로그래픽 영상의 공간 스케일러블 코딩 방법에 있어서,
(a) 상기 인코딩 장치는 상기 홀로그래픽 영상을 중심 영역과 다수의 테두리 영역으로 분할하는 단계; 및,
(b) 상기 인코딩 장치는 상기 중심 영역과 다수의 테두리 영역을 각각 인코딩하여, 기본계층 및 다수의 향상계층의 비트스트림들을 생성하는 단계;
(c) 상기 인코딩 장치는 상기 비트스트림들을 상기 디코딩 장치로 전송하는 단계;
(d) 상기 디코딩 장치는 상기 비트스트림들을 디코딩하여 각 계층의 영상을 생성하는 단계; 및,
(e) 상기 디코딩 장치는 디코딩된 각 계층의 영상을 합성하는 단계를 포함하고,
상기 다수의 테두리 영역은 계층으로 구성하고,
상위계층의 테두리 영역의 내측 경계선은 하위계층의 테두리 영역의 외측 경계선과 맞닿고 최하위계층의 테두리 영역의 내측 경계선은 상기 중심 영역의 외측 경계선과 맞닿도록 분할되고,
상기 중심영역 및 다수의 테두리 영역은 동일한 면적으로 분할되거나 면적의 차이가 소정의 범위 이내가 되도록 분할되고,
상기 중심영역 및 테두리 영역의 중심은 상기 홀로그래픽 영상의 중심인 것을 특징으로 하는 홀로그래픽 영상의 공간 스케일러블 코딩 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110083858A KR101285811B1 (ko) | 2011-08-23 | 2011-08-23 | 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110083858A KR101285811B1 (ko) | 2011-08-23 | 2011-08-23 | 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130021542A KR20130021542A (ko) | 2013-03-06 |
| KR101285811B1 true KR101285811B1 (ko) | 2013-07-12 |
Family
ID=48174374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110083858A KR101285811B1 (ko) | 2011-08-23 | 2011-08-23 | 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101285811B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10638131B2 (en) | 2014-12-23 | 2020-04-28 | Samsung Electronics Co., Ltd. | Content providing apparatus, display apparatus, and control method therefor |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101530955B1 (ko) * | 2013-09-16 | 2015-06-25 | 광운대학교 산학협력단 | 스케일러블 코딩기반의 디지털 홀로그램 압축 장치 |
| KR102250992B1 (ko) | 2017-03-16 | 2021-05-12 | 한국전자통신연구원 | 디지털 홀로그램 데이터의 해상도를 변환하는 방법 및 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040028054A (ko) * | 2002-09-28 | 2004-04-03 | 주식회사 케이티 | 영상 분할에 기반한 신축적인 동영상 부호화/복호화 장치및 그 방법 |
| KR20100033359A (ko) * | 2008-09-19 | 2010-03-29 | 브로드콤 코포레이션 | 다중 해상도 비디오 전달을 위한 방법 및 시스템 |
| KR20100084313A (ko) * | 2009-01-16 | 2010-07-26 | 엘지전자 주식회사 | 데이터 인코딩 방법, 데이터 기록 방법 및 데이터 기록 장치 |
-
2011
- 2011-08-23 KR KR1020110083858A patent/KR101285811B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040028054A (ko) * | 2002-09-28 | 2004-04-03 | 주식회사 케이티 | 영상 분할에 기반한 신축적인 동영상 부호화/복호화 장치및 그 방법 |
| KR20100033359A (ko) * | 2008-09-19 | 2010-03-29 | 브로드콤 코포레이션 | 다중 해상도 비디오 전달을 위한 방법 및 시스템 |
| KR20100084313A (ko) * | 2009-01-16 | 2010-07-26 | 엘지전자 주식회사 | 데이터 인코딩 방법, 데이터 기록 방법 및 데이터 기록 장치 |
Non-Patent Citations (2)
| Title |
|---|
| 논문 : OPTICS COMMUNICATIONS * |
| 논문 : OPTICS COMMUNICATIONS* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10638131B2 (en) | 2014-12-23 | 2020-04-28 | Samsung Electronics Co., Ltd. | Content providing apparatus, display apparatus, and control method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130021542A (ko) | 2013-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190222821A1 (en) | Methods for Full Parallax Compressed Light Field 3D Imaging Systems | |
| JP5170786B2 (ja) | マルチビュービデオのスケーラブルコーディングおよびデコーディング方法、ならびにコーディングおよびデコーディング装置 | |
| KR100751422B1 (ko) | 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치 | |
| KR100732961B1 (ko) | 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치 | |
| US20230080852A1 (en) | Use of tiered hierarchical coding for point cloud compression | |
| KR100746011B1 (ko) | 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더 | |
| JPWO2008066025A1 (ja) | 画像符号化装置及び画像復号化装置 | |
| WO2017095491A1 (en) | EFFICIENT AND SCALABLE INTRA VIDEO/IMAGE CODING USING WAVELETS AND AVC, MODIFIED AVC, VPx, MODIFIED VPx, OR MODIFIED HEVC CODING | |
| Garbas et al. | Methods and tools for wavelet-based scalable multiview video coding | |
| KR102345770B1 (ko) | 비디오 부호화 및 복호화 방법, 그를 이용한 장치 | |
| KR101285811B1 (ko) | 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법 | |
| KR100621584B1 (ko) | 스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오디코더 | |
| Sebai | Performance analysis of HEVC scalable extension for depth maps | |
| KR101259536B1 (ko) | 홀로그래픽 광원의 공간 스케일러블 인코딩 및 디코딩 장치 및 방법 | |
| Zhang et al. | Scalable Point Cloud Attribute Compression | |
| Aggoun et al. | Data compression of integral images for 3D TV | |
| KR101530955B1 (ko) | 스케일러블 코딩기반의 디지털 홀로그램 압축 장치 | |
| Kumarganesh et al. | Efficient medical data and medical video compression using HEVC standard | |
| IP | STEREOSCOPIC VIDEO CODING | |
| Smolic et al. | Coding and Standardization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160704 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170703 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180627 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190603 Year of fee payment: 7 |