KR100943634B1 - 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오콘텐츠 제공 방법 및 장치 - Google Patents

깊이 정보의 계층적 부호화를 통한 자유 시점 비디오콘텐츠 제공 방법 및 장치 Download PDF

Info

Publication number
KR100943634B1
KR100943634B1 KR1020080077470A KR20080077470A KR100943634B1 KR 100943634 B1 KR100943634 B1 KR 100943634B1 KR 1020080077470 A KR1020080077470 A KR 1020080077470A KR 20080077470 A KR20080077470 A KR 20080077470A KR 100943634 B1 KR100943634 B1 KR 100943634B1
Authority
KR
South Korea
Prior art keywords
information
image information
depth information
depth
image
Prior art date
Application number
KR1020080077470A
Other languages
English (en)
Other versions
KR20100018802A (ko
Inventor
정세윤
조숙희
최진수
문경애
강경옥
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080077470A priority Critical patent/KR100943634B1/ko
Publication of KR20100018802A publication Critical patent/KR20100018802A/ko
Application granted granted Critical
Publication of KR100943634B1 publication Critical patent/KR100943634B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream

Abstract

본 발명의 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 방법은, 수신부를 통하여 영상 정보 및 깊이 정보를 수신하는 단계, 상기 수신된 깊이 정보에 대한 중요도를 판단하는 단계, 상기 판단 결과 상기 깊이 정보의 중요도에 따라, 상기 깊이 정보를 계층적으로 부호화하는 단계, 상기 계층적으로 부호화된 깊이 정보를 참조하여 상기 영상 정보를 부호화하는 단계 및 상기 부호화된 깊이 정보 및 상기 부호화된 영상 정보를 다중화 하는 단계를 포함한다.
스케일러블, 계층, 깊이 정보, 다시점 TV, 자유시점 TV

Description

깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 방법 및 장치{METHOD AND APPARATUS FOR FREE-VIEWPOINT VIDEO CONTENTS OFFERING ACCORDING TO SCALABLE DEPTH CODING}
본 발명은 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 방법 및 장치에 관한 것으로서, 보다 상세하게는 양안식 및 다시점 3DTV 뿐만 아니라 자유시점TV(Free-viewpoint TV) 등의 서비스에 적용되는 비디오 콘텐츠의 중간 시점 존재 유무를 판단하여, 상기 중간 시점이 있을 경우 깊이 정보를 고계층으로 부호화하고 중간 시점이 없을 경우 깊이 정보를 저계층으로 스케일러블하게 부호화하는 방법 및 장치에 관한 것이다.
양안식 3차원 TV, 다시점 3차원 TV 및 자유시점 TV 등의 서비스를 함에 있어서, 단말기는 복호된 시점의 영상 정보 및 깊이 정보(depth)를 이용하여 중간 시점 영상을 생성(View Synthesis)한 후 전송된 시점의 영상과 새롭게 생성된 중간 시점의 영상을 모두 디스플레이 할 수도 있고, 중간 시점 영상 생성 없이 전송되어 복호된 시점의 영상 정보만을 디스플레이 할 수도 있다.
상기 양안식 또는 다시점 영상 정보가 카메라로부터 획득될 때, 카메라 사이 의 간격 및 양안식/다시점 비디오 콘텐츠의 서비스 형태에 따라 달라진다.
예를 들어, 양안식 및 다시점 카메라 시스템에서 카메라 사이의 간격이 넓을 경우, 이 비디오를 이용하여 양안식 3차원 TV, 다시점 3차원 TV 또는 자유시점 TV 서비스 시에는 단말에서의 중간시점 영상 생성이 반드시 필요하며, 이 경우 깊이 정보의 질은 중간시점 영상의 화질에 크게 영향을 미친다. 따라서, 깊이 정보의 질이 어느 정도 이상 유지될 수 있도록 부호화되어야 한다.
즉, 중간시점 영상 정보 생성은 깊이 정보를 이용하여 카메라에서 획득된 각 시점 사이에 존재하는 중간시점의 영상 정보를 생성하는 경우로써, 깊이 정보가 저화질로 부호화되거나 정확도가 떨어지면 중간시점의 영상 정보의 화질 저하에 큰 영향을 미친다. 따라서, 중간시점의 영상을 생성하기 위해서는 고화질로 보다 정확한 깊이 정보가 있어야 한다.
반면, 양안식 및 다시점 카메라 시스템에서 카메라 사이의 간격이 양안식 3차원 TV, 다시점 3차원 TV 서비스에 적합한 정도의 간격에서 획득되고 일반적으로 중간시점 영상 정보의 생성이 없어도 된다.
또한, 상기와 같은 경우에는 깊이 정보의 질이 다소 떨어지더라도 깊이 정보를 이용하여 영상 정보를 부호화하면 부호화의 효율을 향상시킬 수 있다. 즉, 상기와 같은 경우, 깊이 정보를 활용하여 다시점 비디오를 부호화할 경우로써, 깊이 정보는 고화질로 부호화하더라도 다시점 비디오의 부호화 효율 향상에 영향을 크게 미치지 않으며, 오히려 깊이 정보의 부호화량이 많아져 전체적인 부호화 효율이 저하된다.
본 발명은 상술한 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 깊이 정보의 중요도에 따라 깊이 정보를 계층적으로 부호화하여 비디오 콘텐츠 제공의 효율을 높이는데 그 목적이 있다.
또한, 본 발명은 수신된 영상 정보 및 깊이 정보를 전체적으로 부호화 한 후, 수신 단말기인 디코더 측의 깊이 정보에 대한 중요도에 따라 부호화 된 깊이 정보를 계층적(스케일러블)하게 전송할 수 있는 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 중간 시점 영상 정보를 생성하지 않고 카메라로부터 획득된 시점의 영상만을 제공하는 비디오 콘텐츠 제공 서비스에서는 깊이 정보의 부호화 비트레이트를 줄여서 부호화 효율을 향상 시키는데 그 목적이 있다.
또한, 본 발명은 카메라로부터 획득된 시점의 영상뿐만 아니라 가상으로 생성된 중간시점 영상 정보까지 제공하는 비디오 콘텐츠 제공 서비스에서 깊이 정보의 부호화 비트레이트를 늘려서 고화질의 중간시점 영상을 생성할 수 있도록, 깊이 정보를 스케일러블하게 부호화하여 다양한 서비스 형태에 효율을 높이는데 그 목적이 있다.
상기의 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명의 일실시예에 따른 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐 츠 제공 방법은, 수신부를 통하여 영상 정보 및 깊이 정보를 수신하는 단계, 상기 수신된 깊이 정보에 대한 중요도를 판단하는 단계, 상기 판단 결과 상기 깊이 정보의 중요도에 따라, 상기 깊이 정보를 계층적으로 부호화하는 단계, 상기 계층적으로 부호화된 깊이 정보를 참조하여 상기 영상 정보를 부호화하는 단계 및 상기 부호화된 깊이 정보 및 상기 부호화된 영상 정보를 다중화 하는 단계를 포함한다.
또한, 본 발명의 상기 수신된 깊이 정보에 대한 중요도를 판단하는 단계는, 상기 수신부를 통하여 수신되는 정보에 중간 시점의 정보가 포함되었는지 여부를 확인하는 단계, 상기 확인 결과 중간 시점의 정보가 포함된 경우, 상기 깊이 정보의 중요도가 높은 것으로 판단하는 단계 및 상기 확인 결과 중간 시점의 정보가 포함되지 않은 경우, 상기 깊이 정보의 중요도가 낮은 것으로 판단하는 단계를 포함한다.
또한, 본 발명의 상기 판단 결과 상기 깊이 정보의 중요도에 따라, 상기 깊이 정보를 계층적으로 부호화하는 단계는, 상기 깊이 정보의 중요도가 높은 경우, 상기 깊이 정보를 비트레이트를 증가시켜 고계층으로 부호화 하는 단계 및 상기 깊이 정보의 중요도가 낮은 경우, 상기 깊이 정보를 비트레이트를 감소시켜 저계층으로 부호화 하는 단계를 포함한다.
또한, 상기의 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명의 일실시예에 따른 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 방법은 부호화된 깊이 정보 및 부호화된 영상 정보를 수신하여 역다중화 하는 단계, 상기 깊이 정보를 계층적으로 복호화하는 단계, 상기 계층적으 로 복호화된 깊이 정보를 참조하여 상기 영상 정보를 복호화하는 단계, 상기 복호화된 영상 정보를 3차원 영상 정보 디스플레이 수단에 가용한 형식인 3차원 영상 정보로 가공하는 단계 및 상기 가공된 3차원 영상 정보를 디스플레이 수단으로 출력하는 단계를 포함한다.
또한, 본 발명은 상기 복호화된 영상 정보를 그대로 디스플레이 수단으로 출력하는 단계를 더 포함한다.
또한, 본 발명의 일실시예에 따른 자유 시점 비디오 콘텐츠 제공 시스템의 부호화 된 깊이 정보의 계층적 전송 방법은, 수신부를 통하여 영상 정보 및 깊이 정보를 수신하는 단계, 상기 수신된 영상 정보 및 깊이 정보를 전체적으로 부호화 하는 단계, 상기 부호화 된 깊이 정보를 수신하는 수신 단말기의 깊이 정보에 대한 중요도를 판단하는 단계, 상기 판단 결과, 상기 수신 단말기의 깊이 정보에 대한 중요도에 따라 상기 부호화 된 깊이 정보를 계층적으로 상기 수신 단말기 측으로 전송하는 단계를 포함한다.
또한, 상기의 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명의 일실시예에 따른 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 장치는, 영상 정보 및 깊이 정보를 수신하는 수신부, 상기 수신된 깊이 정보에 대한 중요도를 판단하는 판단부, 상기 판단 결과 상기 깊이 정보의 중요도에 따라, 상기 깊이 정보를 계층적으로 부호화하는 깊이 정보 부호화부, 상기 계층적으로 부호화된 깊이 정보를 참조하여 상기 영상 정보를 부호화하는 영상 정보 부호화부 및 상기 부호화된 깊이 정보 및 상기 부호화된 영상 정보를 다중화 하 는 다중화부를 포함한다.
이때, 본 발명의 상기 판단부는, 상기 수신부를 통하여 수신되는 정보에 중간 시점의 정보가 포함되었는지 여부를 확인하여 중간 시점의 정보가 포함된 경우, 상기 깊이 정보의 중요도가 높은 것으로 판단하거나, 중간 시점의 정보가 포함되지 않은 경우, 상기 깊이 정보의 중요도가 낮은 것으로 판단한다.
또한, 본 발명의 상기 깊이 정보 부호화부는, 상기 깊이 정보의 중요도가 높은 경우, 상기 깊이 정보를 비트레이트를 감소시켜 저계층으로 부호화 하거나, 상기 깊이 정보의 중요도가 낮은 경우, 상기 깊이 정보를 비트레이트를 증가시켜 고계층으로 부호화 한다.
또한, 상기의 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명의 일실시예에 따른 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 장치는, 부호화된 깊이 정보 및 부호화된 영상 정보를 수신하여 역다중화 하는 역다중화부, 상기 깊이 정보를 계층적으로 복호화하는 깊이 정보 복호화부, 상기 계층적으로 복호화된 깊이 정보를 참조하여 상기 영상 정보를 복호화하는 영상 정보 복화화부, 상기 복호화된 영상 정보를 3차원 영상 정보 디스플레이 수단에 가용한 형식인 3차원 영상 정보로 가공하는 3차원 영상 정보 가공부 및 상기 가공된 3차원 영상 정보를 디스플레이 수단으로 출력하는 영상 출력부를 포함한다.
본 발명에 따르면 깊이 정보의 중요도에 따라 깊이 정보를 계층적으로 부호 화하여 비디오 콘텐츠 제공의 효율을 높일 수 있다.
또한, 본 발명에 따르면 수신된 영상 정보 및 깊이 정보를 전체적으로 부호화 한 후, 수신 단말기인 디코더 측의 깊이 정보에 대한 중요도에 따라 부호화 된 깊이 정보를 계층적(스케일러블)하게 전송할 수 있다.
또한, 본 발명에 따르면 중간 시점 영상 정보를 생성하지 않고 카메라로부터 획득된 시점의 영상만을 제공하는 비디오 콘텐츠 제공 서비스에서는 깊이 정보의 부호화 비트레이트를 줄여서 부호화 효율을 향상 시킬 수 있다.
또한, 본 발명에 따르면 카메라로부터 획득된 시점의 영상뿐만 아니라 가상으로 생성된 중간시점 영상 정보까지 제공하는 비디오 콘텐츠 제공 서비스에서 깊이 정보의 부호화 비트레이트를 늘려서 고화질의 중간시점 영상을 생성할 수 있도록, 깊이 정보를 스케일러블하게 부호화하여 다양한 서비스 형태에 효율을 높일 수 있다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일실시예에 따른 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 장치의 구성을 도시한 블록도이다.
본 발명은 다시점 3차원 TV 또는 자유시점 TV 서비스를 지원하는 비디오 콘텐츠 제공 방법으로서, 1시점의 영상 정보와 그와 연관된 1시점의 깊이 정보에 의해서 서비스가 이루어질 수 있으며, 2개 시점 이상의 다시점 영상 정보 및 다시점 깊이 정보에 의해서 서비스가 이루어질 수도 있다.
즉, 본 발명은 상기 영상 정보 및 깊이 정보로 양안식 3차원 TV, 다시점 3차원 TV, 자유시점 TV 서비스 등의 다양한 비디오 콘텐츠 제공 서비스에서 제공되는 정보를 지원한다.
본 발명을 상기 영상 정보 및 깊이 정보를 처리하는 방법에 따라 순차적으로 설명하기로 도 1을 참조하여 한다.
먼저, 수신부(110)는 영상 정보 및 깊이 정보를 수신한다.
다음으로, 상기 수신된 깊이 정보에 대한 중요도를 판단부를 통하여 판단하고, 깊이 정보 부호화부(120)는 상기 판단 결과 상기 깊이 정보의 중요도에 따라, 상기 깊이 정보를 계층적으로 부호화 한다.
이때, 상기 판단부는 상기 수신부를 통하여 수신되는 정보에 중간 시점의 정보가 포함되었는지 여부를 확인함으로써, 상기 깊이 정보의 중요도를 판단할 수 있 는데, 상기 확인 결과 중간 시점의 정보가 포함된 경우, 상기 깊이 정보의 중요도가 높은 것으로 판단하며, 상기 확인 결과 중간 시점의 정보가 포함되지 않은 경우, 상기 깊이 정보의 중요도가 낮은 것으로 판단한다.
즉, 본 발명의 깊이 정보 부호화부(120)는 상기 깊이 정보의 중요도가 높은 경우, 상기 깊이 정보를 비트레이트를 증가시켜 고계층으로 부호화 하거나, 상기 깊이 정보의 중요도가 낮은 경우, 상기 깊이 정보를 비트레이트를 감소시켜 저계층으로 부호화 하는 등, 깊이 정보의 중요도를 판단할 수 있는 기준인 중간 시점의 유무에 따라 깊이 정보를 계층적으로(scalable) 부호화 한다.
이때, 본 발명은 상기 깊이 정보를 공간적 계층(Spatial scalable) 또는 SNR(Signal to Noise Ratio) 계층(scalable) 알고리즘 등을 통하여 계층적으로 부호화하는 것을 제안하나, 상기 알고리즘에 국한되거나 제한되지는 아니 한다.
다음으로, 영상 정보 부호화부(130)는 상기 계층적으로 부호화된 깊이 정보를 참조하여 상기 영상 정보를 부호화한다.
도 2는 본 발명의 일실시예에 따른 다시점 영상 정보를 참조 구조에 따라 부호화하는 예를 도시한 예이다.
본 발명에서는 다시점 영상 정보를 부호화하는 경우, 도 2에 도시된 바와 같이 시간축(Time) 및 공간축(시점: view)의 상관정보를 이용하여 부호화하는 것을 기초로 한다.
즉, 시간축 상의 움직임 정보와 공간축상의 변이 정보(disparity)를 예측하여 움직임 및 변이 보상을 수행하여 부호화하게 된다. 이 때, 기존의 모노 영상 정보 부호화 기술과의 호환성을 고려하여 1개 시점에 대해서는 기본시점(base view)으로 공간축상의 다른 시점의 정보를 이용하지 않고 움직임 정보만을 이용하여 부호화하고, 기본시점을 제외한 나머지 시점의 영상 정보에 대해서만 공간축상의 정보를 이용하여 부호화한다. 예를 들어, V0가 기본시점으로 부호화하는 경우이며, 나머지 시점이 비기본시점(non-baseview)으로 시점간의 예측구조를 가지고 부호화하는 경우이다.
본 발명은 공간축상의 정보를 이용하여 부호화가 이루어지는 시점(view)의 영상 정보 부호화에 있어서, 깊이 정보를 이용하여 부호화 하여 압축효율을 향상시키고자 한다.
도 2에 도시된 바와 같이, 다시점 비디오 콘텐츠의 경우 깊이 정보는 영상 정보와 마찬가지로 각 시점마다 존재하는 것이 일반적이다.
상기 깊이 정보는 영상내에 있는 각 객체에 대해 일정 기준위치로부터의 거리를 나타내는 정보이며, 이는 주로 픽셀단위로 표시되므로, 깊이 해상도는 영상 해상도와 동일하다.
이러한 깊이 정보를 이용하여 다시점 비디오를 부호화하는 방법으로는 공간축상의 상관 정보를 얻기 위하여 시점간의 참조구조에 의하여 예측을 수행할 때, 부호화하고자 하는 시점의 영상을 깊이 정보를 이용하여 가상적으로 생성한 후, 생성된 영상으로부터 예측하여 부호화하는 방법이 있다.
본 발명은 예를 들어, 깊이 정보를 포함하지 않는 영상 정보 부호화에서는 V1 시점의 영상을 부호화할 때, V0와 V2 시점에서 동일 시간축 상에 있는 영상 정 보를 참조하여 부호화한다.
도 3은 본 발명의 일실시예에 따른 가상 시점 생성부에 이용하여 가상 영상 정보를 생성하는 예를 도시한 도면이다.
그러나, 깊이 정보를 포함하는 다시점 영상 정보 부호화에서는 도 3에 도시된 바와 같이 가상 시점 영상 생성부를 포함하여 임의 시점에서 임의 시간축 상에 있는 영상 정보와 동일한 시점 및 시간축 상에 있는 깊이 정보를 이용하여 원하는 시점 및 시간축 상의 영상 정보를 생성하고, 상기 생성된 가상 영상 정보를 이용하여 다시점 영상 정보를 부호화한다.
도 4는 본 발명의 일실시예에 따른 공간축 상관 정보를 이용하는 시점 영상 정보의 부호화에서 시점간 참조 구조에 대한 예를 도시한 도면이다.
즉, 본 발명은 도 3에 도시된 바와 같이 가상 시점 영상 생성부에 의하여 V0시점의 영상 정보와 V0시점의 깊이 정보를 이용하여 가상의 V1시점 영상 정보인 V1’를 생성하고, V2시점의 영상 정보와 V2시점의 깊이 정보를 이용하여 가상의 V1시점 영상 정보인 V1’’를 생성한다.
또한, 본 발명은 V1시점의 영상 정보를 부호화할 때, 복호된 V0시점의 T0시간축상의 영상 정보와 V2시점의 T0시간축상의 영상 정보뿐만 아니라 가상으로 생성된 V1’와 V1’’를 V1 부호화 시에 참조 영상 정보로 활용하여 부호화 효율을 향상시키는 것이다.
즉, 본 발명은 기존 비디오 콘텐츠 제공 서비스에서 공간축 상에서의 참조 영상이 2개이었던 것에 비하여, 최대 4개까지 이용할 수 있게 되므로 부호화 효율 을 향상시킬 수 있다. 이때, 상기 가상의 V1’와 V1’’는 부호화 후 복호화된 V0와 V2 시점의 영상 정보와 깊이 정보에 의하여 생성된다.
그러나, 본 발명은 깊이 정보를 필요로 하지 않는 응용에서는 깊이 정보를 영상 정보 부호화만을 위하여 추가적으로 보내는 상황이 되므로, 깊이 정보에 대한 부호화량이 많아지게 되면 영상 정보 부호화 효율은 떨어지게 되나, 영상 정보 부호화만을 위하여 요구되는 깊이 정보는 그의 정화도 및 질이 떨어지도록 깊이 정보 부호화량을 적게 하여도 부호화 효율 저하에 크게 영향을 미치지 않으며, 깊이 정보의 정화도 및 질이 굉장히 우수하도록 깊이 정보 부호화량을 크게 하여도 부호화 효율 향상에는 크게 변화가 없다.
따라서, 여러 계층으로 부호화된 깊이 정보는 영상 정보 부호화 효율 향상을 위해서는 저계층(low layer)에서 부호화된 깊이 정보를 이용하여 가상 시점 영상 정보를 생성하고 생성된 가상 시점의 영상 정보를 예측구조에 이용하여 부호화 효율을 향상시킨다.
즉, 본 발명은 중간시점의 영상 정보를 단말기에서 디스플레이 하지 않는 응용에서 활용이 가능한 구조이다. 반면 중간시점의 영상 정보를 단말기에서 디스플레이 하는 응용에서는 중간시점의 영상이 제대로 생성될 수 있도록 고계층(high layer)까지 부호화된 깊이 정보를 이용하여 영상 정보를 부호화하고, 중간시점 영상 정보를 생성하도록 한다.
도 5는 본 발명의 일실시예에 따른 영상 정보 부호화부(130)의 상세 구조를 도시한 블록도이다.
영상 정보 부호화부(130)는 예를 들어, 도 5에 도시된 바와 같이 크게 Motion 및 disparity 보상을 갖는 다시점 비디오 부호화 모듈과 가상 시점 영상 생성 모듈과 메모리로 구성될 수 있다.
이때, 상기 Motion 및 disparity 보상을 갖는 다시점 비디오 부호화 모듈은 기존의 다시점 비디오 부호화기와 마찬가지로 시공간축 상의 상관정보를 이용하여 부호화하는 기능도 가지고 있으며, 기존 방식과 다른 점은 가상시점 영상 생성 모듈에서 출력되는 영상 정보를 참조 영상으로 이용하여 부호화한다는 것이다.
또한, 가상시점 영상 생성 모듈은 깊이 정보 부호화부(120)에서 부호화된 깊이 정보에서 일부 저계층에서의 비트스트림만으로 복원된 다른 시점의 깊이 정보와 이미 부호화되어 메모리에 저장되어 있는 복원된 다른 시점의 영상 프레임을 가상시점 영상 생성 모듈로 입력하여 현재 부호화하고자 하는 시점의 위치에 있는 영상을 가상으로 생성하여 이를 참조영상으로 사용하여 부호화한다.
즉, Motion 및 disparity 보상을 갖는 다시점 비디오 부호화 모듈은 현재 V1 시점의 T0번째 영상 정보를 부호화하고자 하는 경우, 부호화 순서상 부호화 후 복호된 V0시점의 T0번째 영상 정보 및 깊이 정보와 V2시점의 T0번째 영상 정보 및 깊이 정보는 이미 부호화되어 메모리에 저장되어 있는 상태이다.
따라서, 영상 정보 부호화부(130)는 메모리로부터 부호화 후 복호된 V0시점의 T0번째 영상 정보 및 깊이 정보와 V2시점의 T0번째 영상 정보 및 깊이 정보를 가상 시점 영상 생성 모듈로 입력시켜 가상으로 생성된 V1’ 시점의 T0 영상 정보와 V1’’ 시점의 T0 영상 정보를 생성하여 Motion 및 disparity 보상을 갖는 다시 점 비디오 부호화 모듈로 입력시킨다.
최종적으로, Motion 및 disparity 보상을 갖는 다시점 비디오 부호화 모듈은 가상으로 생성된 V1’ 시점의 T0 영상 정보와 V1’’ 시점의 T0 영상 정보를 참조하여 부호화를 수행한다. 이때, 이용되는 깊이 정보는 모든 계층에서의 비트스트림을 이용하여 복호된 깊이 정보가 아니라, 일부 저계층에서 부호화된 비트스트림만이 복호된 깊이 정보이다.
따라서, 본 발명의 영상 정보 부호화부(130)의 기능을 정리해 보면 다음과 같다.
먼저, 영상 정보 부호화부(130)는 수신부(110)로부터 수신된 영상 정보의 동일 시간축 상에서 가장 근접한 이전 시점의 복호된 영상 정보 및 복호된 깊이 정보를 이용하여 제1 가상 정보를 생성한다.
다음으로, 영상 정보 부호화부(130)는 상기 영상 정보의 동일 시간축 상에서 가장 근접한 다음 시점의 복호된 영상 정보 및 복호된 깊이 정보를 이용하여 제2 가상 정보를 생성한다.
최종적으로, 영상 정보 부호화부(130)는 상기 제1 가상 정보, 제2 가상 정보, 상기 영상 정보의 동일 시간축 상에서 가장 근접한 이전 시점의 복호된 영상 정보 및 상기 영상 정보의 동일 시간축 상에서 가장 근접한 다음 시점의 복호된 영상 정보를 참조하여 영상 정보를 부호화할 수 있다.
또한, 깊이 정보 부호화부(120)에서 상기 깊이 정보의 중요도에 따라 계층적으로 부호화된 깊이 정보 중 일부 부호화된 깊이 정보만을 추출하여 영상 정보 부 호화부(130)로 전송할 수도 있다.
도 6은 본 발명의 다른 실시예에 따른 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 장치의 구성을 도시한 블록도이다.
본 발명은 도 6에 도시된 바와 같이, 깊이 정보 추출부(140)를 별도로 구성하여 상기 계층적으로 부호화된 깊이 정보 중 전송될 계층의 부호화된 깊이 정보만을 추출할 수도 있다.
즉, 본 발명은 계층적으로 부호화된 깊이 정보 비트스트림에서 필요한 계층(layer)의 부호화 비트스트림만을 추출하여 다중화부(150)를 통하여 다중화 할 수도 있다.
상기와 같이, 본 발명은 깊이 정보 부호화부(120)를 이용하여 깊이 정보를 계층적으로 부호화하고, 영상 정보 부호화부(130)를 이용하여 깊이 정보 부호화부(120)를 통하여 수신되는 부호화된 깊이 정보를 수신하여 영상 정보를 부호화한다.
상기 부호화된 깊이 정보 및 상기 부호화된 영상 정보는 다중화부(150)를 통하여 다중화 과정을 거친다. 이때, 상기 부호화된 깊이 정보는 깊이 정보 추출부(140)를 통하여 필요한 계층만이 추출되어 다중화부(150)에 의해 다중화될 수도 있다.
상기와 같이, 본 발명에 따르면 다중화 과정을 거친 상기 부호화된 깊이 정보 및 상기 부호화된 영상 정보는 비트스트림 생성부(160)를 이용하여 비트스트림을 각각 생성하고, 전송부(170)를 통하여 상기 생성된 깊이 정보 및 영상 정보의 비트스트림을 디코더 측으로 전송한다.
이렇듯, 본 발명은 다시점 영상 정보에 중간 시점이 포함되었는지 여부에 따라 깊이 정보를 계층적으로 부호화함으로써, 영상 정보의 부호화 효율을 향상 시킬 수 있다.
또한, 본 발명은 전술한 바와 같이 계층적 부호화 방법뿐만 아니라, 계층적 부호화된 깊이 정보 및 영상 정보를 수신하여 이를 디스플레이 수단을 통하여 디스플레이 할 수 있는 복호화 방법에도 적용할 수 있다.
따라서, 본 발명의 다른 일실시예에 따른 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 장치의 구성을 다음과 같이 설명하고자 한다.
이때, 본 발명의 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 장치(200)는 전술한 본 발명의 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 장치(100)에 의해 부호화된 정보를 수신하여 다시 복호화하는 장치로, 상기 각 정보를 처리하는 순서에 따라 순차적으로 설명하기로 한다.
도 7은 본 발명의 일실시예에 따른 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 장치의 구성을 도시한 블록도이다.
먼저, 역다중화부(210)는 부호화된 깊이 정보 및 부호화된 영상 정보를 수신하여 역다중화 한다.
다음으로, 깊이 정보 복호화부(220)는 상기 깊이 정보를 계층적으로 복호화한다.
다음으로, 영상 정보 복호화부(230)는 상기 계층적으로 복호화된 깊이 정보 를 참조하여 상기 영상 정보를 복호화한다. 이때, 상기 복호화된 깊이 정보는 가상 시점인 중간 시점의 영상 정보를 생성하여 영상 정보를 복호화할 때 참조 영상 정보로 사용한다.
도 8은 본 발명의 일실시예에 따른 영상 정보 복호화부(230)의 상세 구조를 도시한 블록도이다.
본 발명의 영상 정보 복호화부(230)는 도 9에 도시된 바와 같이, 크게 Motion 및 disparity 보상을 갖는 다시점 비디오 복호화 모듈과 가상 시점 영상 생성 모듈과 메모리로 구성된다.
이때, Motion 및 disparity 보상을 갖는 다시점 비디오 복호화 모듈은 시공간축 상의 상관 정보를 이용하여 부호화된 비트스트림을 복호화 하며, 본 발명이 기존 방식과 다른 점은 가상 시점 영상 생성 모듈에서 출력되는 영상 정보를 참조 영상으로 이용하여 복호화한다는 것이다.
또한, 가상 시점 영상 생성 모듈은 깊이 정보 복호화부(220)에서 일부 저계층에서의 비트스트림만으로 복호화된 다른 시점의 깊이 정보와 이미 복호화된 다른 시점의 영상 정보를 가상 시점 영상 생성 모듈로 입력하여 현재 복호화하고자 하는 시점의 위치에 있는 영상 정보를 가상으로 생성하여 이를 참조영상 정보로 사용하여 복호화한다.
상기와 같이, 영상 정보 복호화부(230)는 깊이 정보 복호화부(220)로부터 복호화된 깊이 정보를 수신하여 상기 복호화된 깊이 정보를 참조하여 영상 정보를 복호화하여 복호화된 영상 정보를 생성한다.
다음으로, 3차원 영상 정보 가공부(260)는 상기 복호화된 영상 정보를 3차원 영상 정보 디스플레이 수단에 가용한 형식인 3차원 영상 정보로 가공하고, 최종적으로, 영상 출력부(270)는 상기 가공된 3차원 영상 정보를 디스플레이 수단으로 출력한다.
또한, 본 발명은 3차원 영상 정보가 아닌 2차원 영상 정보도 지원 가능하다.
즉, 영상 출력부(270)는, 상기 디스플레이 수단이 3차원 영상 정보 디스플레이 기능을 지원하지 않을 경우, 상기 복호화된 영상 정보를 그대로 디스플레이 수단으로 출력할 수도 있다.
또한, 본 발명은 도 9에 도시된 바와 같이 도 6에 도시된 바와 같은 깊이 정보 추출부(140)가 부가된 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 장치(100)에 대응되는 복호화 장치를 제공할 수도 있다.
도 9는 본 발명의 다른 실시예에 따른 영상 정보 복호화부(230)의 상세 구조를 도시한 블록도이다.
즉, 본 발명은 가상 시점 영상 생성부(240)를 구성하고, 깊이 정보 복호화부(220) 및 영상 정보 복호화부(230)에 의해 각각 복호화된 깊이 정보 및 영상 정보를 가상 시점 영상 생성부(240)에 전송하여 사용자가 원하는 위치에 해당하는 시점의 영상 정보를 생성한다.
이때, 가상으로 만들어지는 중간 시점 영상 정보는 한 시점 이상이 될 수 있으며, 가상의 영상 정보를 위한 알고리즘은 기존에 알려진 방법을 이용할 수 있다.
본 발명은 가상 시점 영상 생성부(240)에 의해 생성된 영상 정보를 다시 3차 원 영상 정보 가공부(260)을 이용하여 3차원 영상 정보로 가공하여 출력할 수도 있고, 2차원 영상 정보의 형태로 출력할 수도 있다.
상기와 같이, 본 발명은 가상 시점 영상 생성부(240)를 수신측 장치(200)에 포함함으로써, 부호화해야 할 시점의 수를 줄여서 보다 좁은 대역폭으로 다시점 3차원 TV 및 자유시점 TV의 서비스를 가능하게 할 수 있다.
또한, 본 발명은 상기 역다중화된 깊이 정보 중 복호화될 계층의 깊이 정보만을 추출하여 일부 깊이 정보만을 복호화 함으로써, 영상 정보를 복호화 하는데 있어, 참조 영상 정보로 사용할 수도 있다.
도 10은 본 발명의 또 다른 실시예에 따른 영상 정보 복호화부(230)의 상세 구조를 도시한 블록도이다.
즉, 본 발명은 도 10에 도시된 바와 같이, 깊이 정보 추출부(250)를 부가하고, 상기 전송된 모든 계층의 깊이 정보 중에서 일부 필요한 계층에 대한 깊이 정보에 대한 비트스트림만을 추출한 후, 이를 복호화하여 영상 정보 복호화부(230)로 입력하여 가상의 영상 정보를 생성하여 영상 정보를 복호할 때 참조영상으로 사용할 수도 있다.
상기와 같이 본 발명은 깊이 정보를 계층적으로 부호화 하여 영상 정보의 참조 영상으로 사용함으로써, 부호화 효율을 향상시킬 수 있을 뿐만 아니라, 부호화된 깊이 정보 및 영상 정보를 수신하여 계층적으로 복호화 할 수 있어 복호화 효율도 향상시킬 수 있는 방법을 제공하고 있다.
상기 방법을 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제 공 장치(100) 및 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 장치의 구성을 고려하여 순차적으로 설명하도록 한다.
이때, 상기 방법은 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 장치(100) 및 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 장치(200)를 이용하는 방법에 준하는 내용이므로, 상기 장치의 기능적 요소를 모두 포함하고 있기 때문에 그에 따른 상세한 설명은 생략하여 간략히 설명하기로 한다.
첫번째로, 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 방법을 도 11 및 도 12를 참조하여 설명하도록 한다.
도 11은 본 발명의 일실시예에 따른 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 방법을 도시한 흐름도이다.
먼저, 수신부(110)는 수신부를 통하여 영상 정보 및 깊이 정보를 수신한다(S1110).
다음으로, 본 발명은 판단부를 이용하여 상기 수신된 깊이 정보에 대한 중요도를 판단하고(S1120), 깊이 정보 부호화부(120)를 이용하여 상기 판단 결과 상기 깊이 정보의 중요도에 따라, 상기 깊이 정보를 계층적으로 부호화한다(S1130).
도 12는 본 발명의 일실시예에 따른 깊이 정보의 계층적 부호화 방법을 도시한 흐름도이다.
즉, 본 발명은 도 12에 도시된 바와 같이 단계(S1120) 내지 단계(S1130)에서 수신부(110)를 통하여 수신되는 정보에 중간 시점의 정보가 포함되었는지 여부를 확인하고(S1131), 상기 확인 결과 중간 시점의 정보가 포함된 경우, 상기 깊이 정보의 중요도가 높은 것으로 판단하여(S1132) 상기 깊이 정보를 비트레이트를 증가시켜 고계층으로 부호화한다(S1133).
또한, 본 발명은 단계(S1120) 내지 단계(S1130)에서 수신부(110)를 통하여 수신되는 정보에 중간 시점의 정보가 포함되었는지 여부를 확인하고(S1131), 상기 확인 결과 중간 시점의 정보가 포함되지 않은 경우, 상기 깊이 정보의 중요도가 낮은 것으로 판단하여(S1134) 상기 깊이 정보를 비트레이트를 감소시켜 저계층으로 부호화한다(S1135).
다음으로, 영상 정보 부호화부(130)는 상기 계층적으로 부호화된 깊이 정보를 참조하여 상기 영상 정보를 부호화한다(S1140).
다음으로, 다중화부(150)는 상기 부호화된 깊이 정보 및 상기 부호화된 영상 정보를 다중화 한다(S1160).
이때, 깊이 정보 추출부(140)는 상기 계층적으로 부호화된 깊이 정보 중 전송될 계층의 부호화된 깊이 정보만을 추출하여 다중화부(150)로 전송하고(S1150), 다중화부(150)는 상기 부호화된 깊이 정보 중 추출된 정보 및 상기 부호화된 영상 정보를 수신하여 다중화 할 수도 있다.
다음으로, 비트스트림 생성부(160)는 상기 다중화된 깊이 정보 및 영상 정보를 비트스트림을 각각 생성한다(S1170).
최종적으로, 전송부(180)는 상기 생성된 깊이 정보 및 영상 정보의 비트스트림을 디코더로 전송한다(S1180).
두번째로, 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 방법을 도 13을 참조하여 설명하도록 한다.
도 13은 본 발명의 일실시예에 따른 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 방법을 도시한 흐름도이다.
먼저, 역다중화부(210)는 부호화된 깊이 정보 및 부호화된 영상 정보를 수신하여 역다중화 한다(S1310).
다음으로, 깊이 정보 복호화부(220)는 상기 깊이 정보를 계층적으로 복호화한다(S1330).
이때, 깊이 정보 추출부(250)는 상기 역다중화된 깊이 정보 중 복호화 될 계층의 깊이 정보만을 추출하여 깊이 정보 복호화부(220)로 전송하고(S1320), 깊이 정보 복호화부(220)는 상기 추출된 깊이 정보를 계층적으로 복호화할 수도 있다.
다음으로, 영상 정보 복호화부(230)는 상기 계층적으로 복호화된 깊이 정보를 참조하여 상기 영상 정보를 복호화한다(S1340).
본 발명은 단계(S1330) 내지 단계(S1340)에서 상기 복호화된 영상 정보 및 상기 복호화된 깊이 정보를 가상 시점 영상 생성부(240)를 이용하여 중간 시점의 가상 영상 정보로 변화하여 생성할 수도 있다.
다음으로, 본 발명은 출력단과 연결되는 디스플레이 수단이 3차원 영상 정보 디스플레이 기능을 지원하는지 여부를 판단하고(S1360), 지원 하는 경우 3차원 영상 정보 가공부(260)를 상기 복호화된 영상 정보를 3차원 영상 정보 디스플레이 수단에 가용한 형식인 3차원 영상 정보로 가공한다(S1370).
또한, 3차원 영상 정보 가공부(260)는 상기 가상 영상 정보를 수신하여 3차원 영상 정보로 가공할 수도 있다.
최종적으로, 영상 출력부(270)는 상기 가공된 3차원 영상 정보를 디스플레이 수단으로 출력한다.
또한, 본 발명은 수신된 영상 정보 및 깊이 정보를 전체적으로 부호화 한 후, 수신 단말기인 디코더 측의 깊이 정보에 대한 중요도에 따라 부호화 된 깊이 정보를 계층적(스케일러블)하게 전송할 수도 있다.
즉, 본 발명의 일실시예에 따른 자유 시점 비디오 콘텐츠 제공 시스템의 부호화 된 깊이 정보의 계층적 전송 방법은, 수신부(110)를 통하여 영상 정보 및 깊이 정보를 수신하고, 상기 수신된 영상 정보 및 깊이 정보를 전체적으로 부호화 한다.
이때, 본 발명의 판단부는 상기 부호화 된 깊이 정보를 수신하는 수신 단말기의 깊이 정보에 대한 중요도를 판단한다.
최종적으로, 본 발명의 전송부(180)는 상기 판단 결과, 상기 수신 단말기의 깊이 정보에 대한 중요도에 따라 상기 부호화 된 깊이 정보를 계층적으로 상기 수신 단말기 측으로 전송할 수 있다.
또한, 본 발명은 3차원 영상 정보뿐만 아니라, 2차원 영상 정보도 지원하기 때문에, 상기 판단 결과(S1360) 디스플레이 수단이 3차원 영상 정보를 지원하지 않는 경우 상기 복호화된 영상 정보를 그대로 디스플레이 수단으로 출력할 수도 있다(S1390).
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 다시점 영상 정보를 참조 구조에 따라 부호화하는 예를 도시한 예이다.
도 3은 본 발명의 일실시예에 따른 가상 시점 생성부에 이용하여 가상 영상 정보를 생성하는 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 공간축 상관 정보를 이용하는 시점 영상 정보의 부호화에서 시점간 참조 구조에 대한 예를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 영상 정보 부호화부(130)의 상세 구조를 도시한 블록도이다.
도 6은 본 발명의 다른 실시예에 따른 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 장치의 구성을 도시한 블록도이다.
도 7은 본 발명의 일실시예에 따른 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 장치의 구성을 도시한 블록도이다.
도 8은 본 발명의 일실시예에 따른 영상 정보 복호화부(230)의 상세 구조를 도시한 블록도이다.
도 9는 본 발명의 다른 실시예에 따른 영상 정보 복호화부(230)의 상세 구조를 도시한 블록도이다.
도 10은 본 발명의 또 다른 실시예에 따른 영상 정보 복호화부(230)의 상세 구조를 도시한 블록도이다.
도 11은 본 발명의 일실시예에 따른 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 방법을 도시한 흐름도이다.
도 12는 본 발명의 일실시예에 따른 깊이 정보의 계층적 부호화 방법을 도시한 흐름도이다.
도 13은 본 발명의 일실시예에 따른 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 방법을 도시한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
110: 수신부
120: 깊이 정보 부호화부
130: 영상 정보 부호화부
140: 깊이 정보 추출부
150: 다중화부
160: 비트스트림 생성부
170: 전송부

Claims (25)

  1. 계층적으로 부호화된 깊이 정보 및 계층적으로 부호화된 영상 정보를 수신하여 역다중화 하는 단계;
    상기 영상 정보에서 일부 시점 영상 정보를 복호화하는 단계;
    상기 깊이 정보를 계층적으로 복호화하는 단계;
    상기 계층적으로 복호화된 깊이 정보와 상기 복호화된 일부 시점 영상 정보를 이용하여 생성된 가상 시점 영상을 참조 영상 정보로 이용하여 다른 일부 시점의 영상 정보를 복호화하는 단계;
    상기 복호화된 영상 정보를 3차원 영상 정보 디스플레이 수단에 가용한 형식인 3차원 영상 정보로 가공하는 단계; 및
    상기 가공된 3차원 영상 정보를 디스플레이 수단으로 출력하는 단계
    를 포함하는 것을 특징으로 하는 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 방법.
  2. 제1항에 있어서,
    상기 복호화된 영상 정보를 그대로 디스플레이 수단으로 출력하는 단계
    를 더 포함하는 것을 특징으로 하는 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 방법.
  3. 제1항에 있어서,
    상기 복호화된 영상 정보 및 상기 복호화된 깊이 정보 이용하여 중간 시점의 가상 영상 정보를 생성하고 3차원 영상 정보 디스플레이 수단에 가용한 형식인 3차원 영상 정보로 가공하는 단계; 및
    상기 가공된 3차원 영상 정보를 디스플레이 수단으로 출력하는 단계
    를 더 포함하는 것을 특징으로 하는 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 방법.
  4. 제3항에 있어서,
    상기 복호화된 영상 정보 및 상기 생성된 가상 영상 정보를 그대로 디스플레이 수단으로 출력하는 단계
    를 더 포함하는 것을 특징으로 하는 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 방법.
  5. 제1항에 있어서,
    상기 역다중화된 깊이 정보 중 복호화될 계층의 깊이 정보만을 추출하는 단계;
    상기 추출된 깊이 정보를 계층적으로 복호화하는 단계;
    상기 계층적으로 복호화된 깊이 정보와 상기 복호화된 일부 시점 영상 정보를 이용하여 생성된 가상 시점 영상을 참조 영상 정보로 이용하여 다른 일부 시점의 영상 정보를 복호화하는 단계;
    상기 복호화된 영상 정보를 3차원 영상 정보 디스플레이 수단에 가용한 형식인 3차원 영상 정보로 가공하는 단계; 및
    상기 가공된 3차원 영상 정보를 디스플레이 수단으로 출력하는 단계
    를 더 포함하는 것을 특징으로 하는 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 방법.
  6. 수신부를 통하여 영상 정보 및 깊이 정보를 수신하는 단계;
    공간적 계층(Spatial scalable) 또는 SNR(Signal to Noise Ratio) 계층(scalable) 알고리즘을 이용하여 상기 깊이 정보를 계층적으로 부호화하는 단계;
    상기 계층적으로 부호화된 깊이 정보 중 저계층의 깊이 정보만을 이용하여 상기 영상 정보를 부호화하는 단계; 및
    상기 부호화된 깊이 정보 및 상기 부호화된 영상 정보를 다중화 하는 단계
    를 포함하는 것을 특징으로 하는 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 방법.
  7. 제6항에 있어서,
    상기 영상 정보 및 깊이 정보는 양안식 3차원 TV, 다시점 3차원 TV, 자유시점 TV 서비스 중 어느 하나에 대한 정보인 것을 특징으로 하는 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제6항에 있어서,
    상기 계층적으로 부호화된 깊이 정보를 이용하여 영상 정보를 부호화하는 단계는,
    상기 영상 정보의 동일 시간축 상에서 가장 근접한 이전 시점의 복호된 영상 정보 및 복호된 깊이 정보를 이용하여 제1 가상 정보를 생성하는 단계;
    상기 영상 정보의 동일 시간축 상에서 가장 근접한 다음 시점의 복호된 영상 정보 및 복호된 깊이 정보를 이용하여 제2 가상 정보를 생성하는 단계; 및
    상기 제1 가상 정보, 제2 가상 정보, 상기 영상 정보의 동일 시간축 상에서 가장 근접한 이전 시점의 복호된 영상 정보 및 상기 영상 정보의 동일 시간축 상에서 가장 근접한 다음 시점의 복호된 영상 정보를 참조하여 영상 정보를 부호화하는 단계
    를 포함하는 것을 특징으로 하는 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 방법.
  12. 제6항에 있어서,
    상기 다중화된 깊이 정보 및 영상 정보를 비트스트림을 각각 생성하는 단계; 및
    상기 생성된 깊이 정보 및 영상 정보의 비트스트림을 디코더로 전송하는 단계
    를 더 포함하는 것을 특징으로 하는 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 방법.
  13. 제6항에 있어서,
    상기 계층적으로 부호화된 깊이 정보 중 전송될 계층의 부호화된 깊이 정보만을 추출하는 단계;
    상기 추출된 부호화된 깊이 정보 및 상기 부호화된 영상 정보를 다중화 하는 단계
    를 더 포함하는 것을 특징으로 하는 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 방법.
  14. 수신부를 통하여 영상 정보 및 깊이 정보를 수신하는 단계;
    상기 수신된 영상 정보 및 깊이 정보를 전체적으로 부호화 하는 단계;
    상기 부호화 된 깊이 정보를 수신하는 수신 단말기가 중간 시점의 가상 영상 정보를 생성할 것인지 여부에 따라, 상기 중간 시점의 상기 가상 영상 정보가 필요한 경우, 상기 깊이 정보의 중요도가 높은 것으로 판단하거나, 상기 중간 시점의 상기 가상 영상 정보가 필요하지 않는 경우 상기 깊이 정보의 중요도가 낮은 것으로 판단하는 단계;
    상기 판단 결과, 상기 수신 단말기의 깊이 정보에 대한 중요도에 따라 상기 중요도가 낮은 경우 저계층에서 부호화된 상기 깊이 정보만을 상기 수신 단말기로 전송하거나, 상기 중요도가 높은 경우, 전체 계층에서 부호화된 상기 깊이 정보를 상기 수신 단말기로 전송하는 단계
    를 포함하는 것을 특징으로 하는 자유 시점 비디오 콘텐츠 제공 시스템의 부호화 된 깊이 정보의 계층적 전송 방법.
  15. 제1항 내지 제7항 또는 제11항 내지 제14항의 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
  16. 부호화된 깊이 정보 및 부호화된 영상 정보를 수신하여 역다중화 하는 역다중화부;
    상기 깊이 정보를 계층적으로 복호화하는 깊이 정보 복호화부;
    상기 계층적으로 복호화된 깊이 정보와 복호화된 일부 시점 영상 정보를 이용하여 생성된 가상 시점 영상을 참조 영상 정보로 이용하여 다른 일부 시점의 영상 정보를 복호화하는 영상정보 복호화부;
    상기 복호화된 영상 정보를 3차원 영상 정보 디스플레이 수단에 가용한 형식인 3차원 영상 정보로 가공하는 3차원 영상 정보 가공부; 및
    상기 가공된 3차원 영상 정보를 디스플레이 수단으로 출력하는 영상 출력부
    를 포함하는 것을 특징으로 하는 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 장치.
  17. 제16항에 있어서,
    상기 영상 출력부는,
    상기 디스플레이 수단이 3차원 영상 정보 디스플레이 기능을 지원하지 않을 경우,
    상기 복호화된 영상 정보를 그대로 디스플레이 수단으로 출력하는 것을 특징으로 하는 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 장치.
  18. 삭제
  19. 제16항에 있어서,
    상기 역다중화된 깊이 정보 중 복호화될 계층의 깊이 정보만을 추출하는 깊이 정보 추출부
    를 더 포함하는 것을 특징으로 하는 깊이 정보의 계층적 복호화를 통한 자유 시점 비디오 콘텐츠 제공 장치.
  20. 영상 정보 및 깊이 정보를 수신하는 수신부;
    공간적 계층(Spatial scalable) 또는 SNR(Signal to Noise Ratio) 계층(scalable) 알고리즘을 이용하여 상기 깊이 정보를 계층적으로 부호화하는 깊이 정보 부호화부;
    상기 계층적으로 부호화된 깊이 정보 중 저계층의 깊이 정보만을 이용하여 상기 영상 정보를 부호화하는 영상 정보 부호화부; 및
    상기 부호화된 깊이 정보 및 상기 부호화된 영상 정보를 다중화 하는 다중화부
    를 포함하는 것을 특징으로 하는 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 장치.
  21. 삭제
  22. 삭제
  23. 제20항에 있어서,
    상기 영상 정보 부호화부는,
    상기 영상 정보의 동일 시간축 상에서 가장 근접한 이전 시점의 복호된 영상 정보 및 복호된 깊이 정보를 이용하여 생성된 제1 가상 정보, 상기 영상 정보의 동일 시간축 상에서 가장 근접한 다음 시점의 복호된 영상 정보 및 복호된 깊이 정보를 이용하여 생성된 제2 가상 정보, 상기 영상 정보의 동일 시간축 상에서 가장 근접한 이전 시점의 복호된 영상 정보, 상기 영상 정보의 동일 시간축 상에서 가장 근접한 다음 시점의 복호된 영상 정보를 참조하여 영상 정보를 부호화하는 것을 특징으로 하는 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 장치.
  24. 제20항에 있어서,
    상기 다중화된 깊이 정보 및 영상 정보를 비트스트림을 각각 생성하는 비트스트림 생성부; 및
    상기 생성된 깊이 정보 및 영상 정보의 비트스트림을 디코더로 전송하는 전송부
    를 더 포함하는 것을 특징으로 하는 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 장치.
  25. 제20항에 있어서,
    상기 계층적으로 부호화된 깊이 정보 중 전송될 계층의 부호화된 깊이 정보만을 추출하는 깊이 정보 추출부
    를 더 포함하는 것을 특징으로 하는 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오 콘텐츠 제공 장치.
KR1020080077470A 2008-08-07 2008-08-07 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오콘텐츠 제공 방법 및 장치 KR100943634B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080077470A KR100943634B1 (ko) 2008-08-07 2008-08-07 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오콘텐츠 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080077470A KR100943634B1 (ko) 2008-08-07 2008-08-07 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오콘텐츠 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100018802A KR20100018802A (ko) 2010-02-18
KR100943634B1 true KR100943634B1 (ko) 2010-02-24

Family

ID=42089365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080077470A KR100943634B1 (ko) 2008-08-07 2008-08-07 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오콘텐츠 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100943634B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9602798B2 (en) 2011-07-15 2017-03-21 Lg Electronics Inc. Method and apparatus for processing a 3D service
KR101992767B1 (ko) * 2012-12-14 2019-09-30 한국전자통신연구원 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법
KR101646867B1 (ko) 2015-02-23 2016-08-09 서울과학기술대학교 산학협력단 마이크로폰 위치정보를 이용하는 ftv 입체음향 구현 장치 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060045798A (ko) * 2004-10-16 2006-05-17 한국전자통신연구원 다시점 동영상의 계층적 깊이 영상 부호화를 위한 방법 및장치
KR20060053268A (ko) * 2004-10-16 2006-05-19 한국전자통신연구원 계층적 깊이 영상을 이용한 다시점 동영상 부호화/복호화방법 및 장치
KR100780840B1 (ko) 2006-06-14 2007-11-29 광주과학기술원 다시점 동영상의 계층적 깊이 영상 부호화를 위한 시간적예측 장치 및 방법
KR20080065766A (ko) * 2007-01-10 2008-07-15 광주과학기술원 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060045798A (ko) * 2004-10-16 2006-05-17 한국전자통신연구원 다시점 동영상의 계층적 깊이 영상 부호화를 위한 방법 및장치
KR20060053268A (ko) * 2004-10-16 2006-05-19 한국전자통신연구원 계층적 깊이 영상을 이용한 다시점 동영상 부호화/복호화방법 및 장치
KR100780840B1 (ko) 2006-06-14 2007-11-29 광주과학기술원 다시점 동영상의 계층적 깊이 영상 부호화를 위한 시간적예측 장치 및 방법
KR20080065766A (ko) * 2007-01-10 2008-07-15 광주과학기술원 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법

Also Published As

Publication number Publication date
KR20100018802A (ko) 2010-02-18

Similar Documents

Publication Publication Date Title
US20230276039A1 (en) Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
KR100454194B1 (ko) 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
JP5232866B2 (ja) ビデオ符号化方法、ビデオ復号方法、ビデオコーダおよびビデオデコーダ
JP6175473B2 (ja) マルチレイヤフレーム準拠ビデオ配信のためのシステム及び方法
TWI407796B (zh) An image signal decoding apparatus, an image signal decoding method, an image signal coding apparatus, an image signal coding method, and a program
KR20040020537A (ko) 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반송수신 시스템 및 그 방법
KR20100071690A (ko) 영상분할기반 초고해상도 비디오 부호화 및 복호화 장치, 및 그 제어 방법
WO2010022672A1 (zh) 码流转换系统及方法、码流识别单元和方案确定单元
KR20130011994A (ko) 송신 장치, 수신 장치 및 그 송수신 방법
JP2012517178A (ja) 多視点映像の符号化及び復号化のための装置及び方法
KR102116265B1 (ko) 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
KR100943634B1 (ko) 깊이 정보의 계층적 부호화를 통한 자유 시점 비디오콘텐츠 제공 방법 및 장치
KR101144752B1 (ko) 비디오 인코딩/디코딩 방법 및 그 장치
KR101386651B1 (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
KR20120118432A (ko) 3ｄ 비디오 신호 코딩 및 디코딩 방법
KR20120026013A (ko) 통신 시스템에서 데이터 송수신 장치 및 방법
AU2008303276B2 (en) Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
KR20140002853A (ko) 3ｄ 영상 신호의 처리 방법 및 장치
KR20160081031A (ko) 초다시점 영상 송신 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130205

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140123

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150126

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160201

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170206

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180205

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 10