KR20110017337A - 추출 방법과 그 장치, 및 다시점 스케일러블 비디오 비트스트림 생성 방법과 그 장치 - Google Patents

추출 방법과 그 장치, 및 다시점 스케일러블 비디오 비트스트림 생성 방법과 그 장치 Download PDF

Info

Publication number
KR20110017337A
KR20110017337A KR1020100019908A KR20100019908A KR20110017337A KR 20110017337 A KR20110017337 A KR 20110017337A KR 1020100019908 A KR1020100019908 A KR 1020100019908A KR 20100019908 A KR20100019908 A KR 20100019908A KR 20110017337 A KR20110017337 A KR 20110017337A
Authority
KR
South Korea
Prior art keywords
bitstream
information
scalable video
view
multiview
Prior art date
Application number
KR1020100019908A
Other languages
English (en)
Other versions
KR101101320B1 (ko
Inventor
박광훈
장한근
이윤진
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Publication of KR20110017337A publication Critical patent/KR20110017337A/ko
Application granted granted Critical
Publication of KR101101320B1 publication Critical patent/KR101101320B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다시점 스케일러블 비디오 비트스트림 추출/생성 기술이 개시(disclose)된다. 개시된 기술 중 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 방법은 적어도 하나의 시점들을 포함한 코딩된 영상에 대한 제1 다시점 스케일러블 비디오 비트스트림을 수신하는 단계; 상기 제1 다시점 스케일러블 비디오 비트스트림 중, 추출 대상 시점에 대응하는 적어도 하나의 비트스트림을 검색하는 단계; 상기 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여 상기 검색된 적어도 하나의 비트스트림을 추출하는 단계; 및 상기 추출된 적어도 하나의 비트스트림을 조합하여 제2 다시점 스케일러블 비디오 비트스트림을 재구성하는 단계를 포함한다.

Description

추출 방법과 그 장치, 및 다시점 스케일러블 비디오 비트스트림 생성 방법과 그 장치{Method and apparatus for extracting multi-view scalable video bitstream, and method and apparatus for generating multi-view scalable video bitstream}
개시된 기술은, 비디오 인코딩/디코딩 기술에 관한 것으로, 보다 상세하지만 제한됨이 없이는(more particularly, but not exclusively), 다양한 종류의 네트워크 환경과 다양한 포맷의 단말들 - 다양한 종류의 실감형(Realistic) 디스플레이(예컨대, 스테레오스코픽 디스플레이, 다시점 디스플레이, 시점 선택형 디스플레이 등)를 지원하는 단말과 기존의 다양한 종류의 2차원 디스플레이를 지원하는 단말 등을 포함함 - 을 고려하여 영상 정보를 효율적으로 처리할 수 있는 비디오 인코딩/디코딩 기술에 관한 것이다.
최근, 비디오 코딩 기술의 급속한 발전을 통하여, 다양한 응용 분야(예컨대, 통신, 방송, 저장매체 등)에서 사용자는 고해상도 및/또는 고화질의 영상 서비스를 향유할 수 있게 되었다.
한편, 현재까지는 주로 2차원 평면 디스플레이 장치를 지원하거나 특정 포맷 - 예컨대, 특정 어플리케이션/전송 환경/단말에 전용적인(dedicated) 영상 포맷 - 에 한하여 지원하는 비디오 코딩 기술이 사용되고 있지만, 앞으로는 다시점 비디오 코딩 (Multi-view Video Coding : MVC) 기술과 스케일러블 비디오 코딩 (Scalable Video Coding : SVC) 기술이 급속도로 보급될 것으로 예상되고 있다.
개시된 기술이 이루고자 하는 기술적 과제는 다양한 종류의 네트워크 환경과 다양한 종류의 단말을 고려하여 비디오 정보를 효율적으로 처리할 수 있는 실감형 다시점 스케일러블 비디오 코딩 기술로 코딩된 비트스트림으로부터 다양한 종류의 단말이 필요로 하는 영상 정보를 선택하거나 추출하는 방법 및 영상 정보를 제공하는 방법, 그리고 이를 통해 실감형 서비스를 효율적으로 제공하는 방법을 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 일 측면은 (a) 제1 다시점 스케일러블 비디오 비트스트림을 수신하는 단계; (b) 상기 제1 다시점 스케일러블 비디오 비트스트림 중, 추출 대상 시점에 대응하는 적어도 하나의 비트스트림을 검색하는 단계; (c) 상기 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여 상기 검색된 적어도 하나의 비트스트림을 추출하는 단계; 및 (d) 상기 추출된 적어도 하나의 비트스트림을 조합하여, 제2 다시점 스케일러블 비디오 비트스트림을 재구성하는 단계를 포함하는 다시점 스케일러블 비디오 비트스트림 추출 방법을 제공한다.
일실시예에 있어서, 상기 (b) 단계는, 상기 추출 대상 영상의 비트스트림에 대한 비트스트림 추출 정보를 설정하는 단계를 포함한다. 일실시예에 있어서, 상기 비트스트림 추출 정보를 설정하는 단계는, 입력 정보에 기초하여 상기 비트스트림 추출 정보 중 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정하는 단계를 포함한다. 일실시예에 있어서, 상기 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정 단계는, 상기 제1 다시점 스케일러블 비디오 비트스트림에 대한 비트스트림 요약 정보를 획득하는 단계; 및 상기 비트스트림 요약 정보에 기초하여, 상기 제1 다시점 스케일러블 비디오 비트스트림에 대한 정보로서 상기 입력 정보에 대응하는 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정하는 단계를 포함한다. 일실시예 있어서, 상기 시점 추출 정보 및 스케일러블 계층 추출 정보는 상기 비트스트림 요약 정보의 시점 및 스케일러블 계층에 대한 식별 정보 중, 상기 입력 정보에 가장 근사한 값으로 설정된다.
일실시예에 있어서, 상기 비트스트림 추출 정보는, 디코딩 가능한 시점 수, 공간적 해상도, 시간적 해상도, 화질을 포함하는 디코딩 성능에 관한 정보, 네트워크 상태에 관한 정보, 해당 영상에 포함된 적어도 하나의 시점에 관한 정보 및 스케일러블 계층에 관한 정보 중 적어도 하나를 포함한다.
일실시예에 있어서, 상기 입력 정보는, 시점, 공간적 해상도, 시간적 해상도, 화질 중 적어도 하나에 대하여 상기 제2 다시점 스케일러블 비디오 비트스트림을 제공받는 단말기의 성능에 관한 정보이다.
일실시예에 있어서, 상기 비트스트림 요약 정보를 획득하는 단계는, 상기 제1 다시점 스케일러블 비디오 비트스트림 또는 상기 제1 다시점 스케일러블 비디오 비트스트림과는 별개의 비트스트림으로부터 상기 비트스트림 요약 정보를 추출하는 단계를 포함한다.
일실시예에 있어서, 상기 비트스트림 요약 정보는 영상 추출 방법 정보 및 스케일러블 계층 추출 방법 정보 중 적어도 하나를 포함한다.
일실시예에 있어서, 상기 (d) 단계는, 상기 추출된 적어도 하나의 비트스트림을, 디코딩 시점 순서에 따라 조합하여 하나의 비트스트림으로 재구성하거나, 적어도 하나의 시점 집합별 비트스트림으로 재구성하는 단계를 포함한다.
일실시예에 있어서, 상기 다시점 스케일러블 비디오 비트스트림 추출 방법은 상기 제2 다시점 스케일러블 비디오 비트스트림을 적어도 하나의 디코더로 전송하는 단계를 더 포함한다.
일실시예에 있어서, 상기 다시점 스케일러블 비디오 비트스트림 추출 방법은 상기 제2 다시점 스케일러블 비디오 비트스트림을 복호화하여 적어도 하나의 시점 및 적어도 하나의 스케일러블 계층에 대한 시점들을 복원하는 단계를 더 포함한다.
일실시예에 있어서, 단말 네트워크가 상기 다시점 스케일러블 비디오 비트스트림 추출 방법을 구현하는 적어도 하나의 비트스트림 추출기 및 적어도 하나의 디코더를 포함하는 경우, 컨텐츠 서버로부터 상기 제1 다시점 스케일러블 비디오 비트스트림을 제공받는 적어도 하나의 단말 네트워크를 통해 다시점 스케일러블 비디오 비트스트림 제공 서비스가 구현된다. 일실시예에 있어서, 상기 비트스트림 추출기는, 상기 디코더에 포함되거나, 상기 컨텐츠 서버에 포함되거나, 상기 컨텐츠 서버와 상기 적어도 하나의 디코더 간의 네트워크 내에 위치하거나, 독립적인 비트스트림 추출 서버로 구동한다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 다른 측면은 (a) 적어도 하나의 시점들에 대해, 시점 및 스케일러블 계층을 고려한 다시점 스케일러블 비디오 인코딩을 수행하는 단계; (b) 상기 다시점 스케일러블 비디오 인코딩에 의해 생성된 비트스트림에 대해 상기 시점에 대한 정보 및 상기 스케일러블 계층에 대한 정보 중 적어도 하나를 포함하는 비트스트림 요약 정보를 생성하는 단계; (c) 상기 생성된 비트스트림을, 상기 시점 및 스케일러블 계층을 고려한 순서에 따라 조합하여 다시점 스케일러블 비디오 비트스트림을 생성하는 단계; 및 (d) 상기 다시점 스케일러블 비디오 비트스트림 및 상기 비트스트림 요약 정보를 출력하는 단계를 포함하는 다시점 스케일러블 비디오 비트스트림 생성 방법을 제공한다.
일실시예에 있어서, 상기 (b) 단계는, 상기 비트스트림 요약 정보로서 시점별 정보, 시점 추출 방법 정보 및 스케일러블 계층 정보를 포함한다.
일실시예에 있어서, 상기 (d) 단계는, 상기 비트스트림 요약 정보를 상기 다시점 스케일러블 비디오 비트스트림과 별개의 비트스트림으로 출력하는 단계를 포함한다.
일실시예에 있어서, 상기 (d) 단계는, 상기 비트스트림 요약 정보를 상기 다시점 스케일러블 비디오 비트스트림에 추가적으로 삽입하여, 상기 다시점 스케일러블 비디오 비트스트림을 출력하는 단계를 포함한다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 또 다른 측면은 적어도 하나의 시점들을 포함한 코딩된 영상에 대한 제1 다시점 스케일러블 비디오 비트스트림을 수신하는 제1 다시점 스케일러블 비디오 비트스트림 수신부; 상기 제1 다시점 스케일러블 비디오 비트스트림 중, 추출 대상 시점에 대응하는 적어도 하나의 비트스트림을 검색하는 비트스트림 검색부; 상기 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여 상기 검색된 적어도 하나의 비트스트림을 추출하는 비트스트림 추출부; 및 상기 추출된 적어도 하나의 비트스트림을 조합하여 제2 다시점 스케일러블 비디오 비트스트림을 재구성하는 제2 다시점 스케일러블 비트스트림 재구성부를 포함하는 다시점 스케일러블 비디오 비트스트림 추출 장치를 제공한다.
일실시예에 있어서, 상기 다시점 스케일러블 비디오 비트스트림 추출 장치는 상기 제2 다시점 스케일러블 비디오 비트스트림을 적어도 하나의 디코딩 단말기로 전송한다.
일실시예에 있어서, 상기 다시점 스케일러블 비디오 비트스트림 추출 장치는 상기 제2 다시점 스케일러블 비디오 비트스트림을 복호화하여 적어도 하나의 시점 및 스케일러블 계층에 대한 영상들을 복원하는 다시점 스케일러블 비디오 복원부를 더 포함한다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 또 다른 측면은 적어도 하나의 시점들을 포함한 코딩된 영상에 대해, 시점 및 스케일러블 계층을 고려한 다시점 스케일러블 비디오 인코딩을 수행하는 다시점 스케일러블 비디오 인코딩부; 상기 디시점 스케일러블 비디오 인코딩에 의해 생성된 비트스트림에 대해 상기 시점에 대한 정보 및 스케일러블 계층에 대한 정보를 포함하는 비트스트림 요약 정보를 생성하는 비트스트림 요약 정보 생성부; 상기 생성된 비트스트림을, 상기 시점 및 계층을 고려한 순서에 따라 조합하여 다시점 스케일러블 비디오 비트스트림을 생성하는 다시점 스케일러블 비디오 비트스트림 생성부; 및 상기 다시점 스케일러블 비디오 비트스트림 및 상기 비트스트림 요약 정보를 출력하는 출력부를 포함하는 다시점 스케일러블 비디오 비트스트림 생성 장치를 제공한다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 또 다른 측면은 개시된 다시점 스케일러블 비디오 비트스트림 추출 방법을 구현하는 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체를 제공한다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 또 다른 측면은 개시된 다시점 스케일러블 비디오 비트스트림 생성 방법을 구현하는 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체를 제공한다.
유비쿼터스 환경에서 실감형 단말과 기존 2차원 단말들에게 다양한 포맷의 비디오 정보가 통합적으로 처리되어 손쉽게 변환되어 전송되고, 원하는 포맷의 영상이 추출될 수 있다.
도 1은 다시점 비디오 코딩 기술에서 사용되는 예측 구조의 일례를 나타낸다.
도 2는 스케일러블 비디오 코딩 기술을 사용하지 않는 방식과 스케일러블 비디오 코딩 기술을 사용하는 방식을 비교 설명하기 위한 도면이다.
도 3은 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치의 블록도를 도시한다.
도 4는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 인코딩 장치의 블록도를 도시한다.
도 5는 일실시예에 따라 구현 가능한 실감형 다시점 스케일러블 비디오 서비스의 개요도를 도시한다.
도 6은 일실시예에 따른 비트스트림 추출 정보의 이용례를 도시한다.
도 7은 일실시예에 따른 시점 추출 정보 및 스케일러블 계층 추출 정보의 이용례를 도시한다.
도 8은 다른 실시예에 따라 시점 추출 정보 및 스케일러블 계층 추출 정보의 이용례를 도시한다.
도 9는 일실시예에 따른 시점별 비디오 비트스트림의 구조를 도시한다.
도 10은 일실시예에 따른 다시점 스케일러블 비디오 비트스트림의 구조를 도시한다.
도 11은 일실시예에 따라 재구성된 다시점 스케일러블 비디오 비트스트림의 구조를 도시한다.
도 12는 일실시예에 따른 비트스트림 추출 방법의 흐름도를 도시한다.
도 13은 다른 실시예에 따른 비트스트림 추출 방법의 흐름도를 도시한다.
도 14는 네트워크 상황을 고려하여 스케일러블 계층 추출 정보를 설정하는 일실시예를 도시한다.
도 15는 일실시예에 따라 필요 시점에 대응하는 날 유닛의 비트스트림 추출 방법의 흐름도를 도시한다.
도 16은 다른 실시예에 따라 추출된 시점의 스케일러블 계층별 정보에 대응하는 날 유닛의 비트스트림 추출 방법의 흐름도를 도시한다.
도 17은 일실시예에 따른 비트스트림 추출부 및 비트스트림 재구성부의 구조를 도시한다.
도 18은 다른 실시예에 따른 비트스트림 추출부 및 비트스트림 재구성부의 구조를 도시한다.
도 19는 일실시예에 따른 비트스트림 추출 및 비트스트림 재구성 방법의 흐름도를 도시한다.
도 20은 일실시예에 따른 다시점 스케일러블 비디오 디코딩의 일 방식을 도시한다.
도 21은 일실시예에 따른 다시점 스케일러블 비디오 인코딩의 일 방식을 도시한다.
도 22는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림을 제공하는 서비스 구조를 도시한다.
도 23은 다른 실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치의 블록도를 도시한다.
도 24는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치가 적용된 디코딩 장치의 블록도를 도시한다.
도 25는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 방법의 흐름도를 도시한다.
도 26은 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 인코딩 방법의 흐름도를 도시한다.
도 27은 시점 추출 정보 또는 보충적 개선 정보(SEI) 형태의 시점 추출 정보의 사용에 관한 구체적인 일실시예를 도시한다.
도 28은 추출기로 입력된 비트스트림 추출 정보와 시점 추출에 관한 비트스트림 요약 정보를 이용하여 추출될 시점을 결정하는 흐름도의 실시일예를 도시한다.
도 29는 추출기를 통해 입력된 비트스트림 추출 정보와 추출될 시점에 대응하는 스케일러블 계층에 관한 비트스트림 요약 정보를 이용하여 추출될 화질 계층을 결정하는 흐름도의 실시일예를 도시한다.
본 발명의 실시예들에 관한 설명은 본 발명의 구조적 내지 기능적 설명들을 위하여 예시된 것에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예들에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 본 발명의 실시예들은 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 본 발명의 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
"및/또는"의 용어는 하나 이상의 관련 항목으로부터 제시가능 한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및/또는 제3 항목"의 의미는 "제1 항목, 제2 항목 및 제3 항목 중 적어도 하나 이상"을 의미하는 것으로, 제1, 제2 또는 제3 항목뿐만 아니라 제1, 제2 및 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 발명에서 기재된 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명에서 기술한 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
먼저, 다시점 비디오 코딩 기술은, 기존의 비디오 국제표준인 MPEG-4 part 10 Advanced Video Coding(AVC; H.264) 방식에 기초하되 다양한 형태 안에서 일정한 간격으로 떨어져 있는 다수의 카메라로부터 입력된 복수의 시점의 비디오 영상들을 효율적으로 부호화하는 기술로서, 3차원 TV(3DTV)나 FTV(Free Viewpoint TV) 등의 실감형 디스플레이 장치를 지원한다. 이 다시점 비디오 부호화 기술에서는, 시간 방향으로는 JSVC(Joint Scalable Video Coding) 방식에서 시간적 스케일러빌리티(temporal scalability)를 지원하기 위해 수행되는 방법인 계층적 B-픽쳐(hierarchical B-pictures) 부호화가 사용되고, 시점 방향으로는 시점간 예측(inter-view prediction)이 사용된다.
도 1은 다시점 비디오 코딩 기술에서 사용되는 예측 구조의 일례를 나타내며, 보다 상세하게는, 8개의 시점 비디오 영상들이 존재하며, 시간 방향의 GOP(Group of Pictures)의 크기가 8 (=N)일 경우의 예측 구조를 나타낸다.
도 1에서, S0, S0, S1, S2, S3, S4, S5, S6, S7는 각각 하나의 시점(view)을 나타내고, T0, T1, T2, T3, ..., T16은 시간 상의 흐름을 나타낸다. 다시점 비디오 코딩 기술에서는, 도 1의 화살표 방향에 따라 다른 시점의 비디오 영상을 참조하는 부호화 즉, 시점 방향의 예측(시점간 예측)이 수행된다.
다음으로, 스케일러블 비디오 코딩 방식은 ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)의 MPEG 회의에서 2004년 3월에 표준화를 시작하였고, H.264 코딩 기술을 기반으로 표준화를 수행하기로 결정된 후 2005년 1월부터 JVT (Joint Video Team)에서 표준화를 진행하였으며, 2007년 7월 표준화가 완료되어 H.264 Amendment 3이 완성되었다. 스케일러블 비디오 코딩 방식은 다양한 종류의 단말들과 다양한 전송환경에서 비디오 정보를 통합적으로 취급하기 위한 기술로써 다양한 공간적 해상도(Spatial Resolution), 다양한 프레임율(Frame-rate)과 다양한 화질(Quality)를 지원 가능한 하나의 통합된 데이터를 생성하여 다양한 전송환경과 다양한 단말들에게 데이터를 효율적으로 전송할 수 있도록 지원하는 방법이다.
도 2는 스케일러블 비디오 코딩 기술을 사용하지 않는 방식(이하, 제1 방식)과 스케일러블 비디오 코딩 기술을 사용하는 방식(이하, 제2 방식)을 비교 설명하기 위한 도면이다. 도 2에서는, 4CIF(4ㅧCommon Intermediate Format, 704ㅧ576) 해상도의 비디오 컨텐트(Content)(200)를 CIF(352ㅧ288)급의 저화질(Low Quality) 2차원 디스플레이 장치(210), CIF급 고화질(High Quality) 2차원 디스플레이 장치(220), 및 4CIF급 고화질 2차원 디스플레이 장치(230)에 각각 전달한다고 전제한다.
제1 방식(240)에 따르면, 각각의 장치(210, 220, 230)의 포맷에 적합하도록 비디오 인코더들(242, 244, 246)은 각각의 인코딩 과정을 수행해서 각각의 비트스트림(252, 254, 256)을 생성해야 한다. 또한, 생성된 비트스트림들(252, 254, 256)을 모두 저장하는 전달해야 하는 복잡한 과정을 거치게 된다.
이에 반해 제2 방식(260)에 따르면, SVC 인코더(265)가 스케일러블 비디오 코딩 방식에 따른 인코딩 과정을 한번만 수행하여, SVC 비트스트림(275)을 생성한 후, SVC 비트스트림(275)에서 각각의 장치(210, 220, 230)에 맞도록 비트스트림을 추출 과정(285)를 거쳐 전송하면 된다.
실감형 디스플레이 장치들을 지원하기 위해 다시점 영상을 효율적으로 코딩하는 방법인 다시점 비디오 코딩 표준과, 다양한 전송환경과 다양한 종류의 단말들을 통합적으로 효율적으로 코딩 전송할 수 있는 스케일러블 비디오 코딩 표준이 존재하지만, 유비쿼터스 환경에서 실감형 단말들과 기존 2차원 단말들에게 비디오 정보를 통합적으로 처리하는 방법은 현재 존재하지 않는다.
비디오 코딩 기술의 발전을 통해 사용자가 고화질, 고해상도의 비디오 정보를 접할 수 있게 되었지만, 이들은 단지 2차원 평면 디스플레이 장치를 지원하기 위한 방법일 뿐이며 사용자에게 입체감을 주거나 시점을 자유롭게 선택할 수 있도록 하는 실감형 서비스(Realistic Service)를 고려하지 않고 있다.
또한 앞으로는 방송/통신의 융합 및 유/무선의 융합 등의 과정을 통해 다양한 전송환경 속에서 다양한 종류의 단말들이 혼재하는 유비쿼터스(Ubiquitous) 환경에서 비디오 정보를 효율적으로 전달할 수 있어야 한다. 하지만 이들 비디오 코딩 방법은 각각의 어플리케이션에서 특정한 전송환경과 특정한 단말을 대상으로 한정된 코딩을 수행하도록 설계되어 있기 때문에 효율적인 처리가 불가능하다.
만약 기존의 비디오 코딩 방법을 이용하여 하나의 비디오 정보를 서비스한다고 가정하면 다양한 전송환경과 단말들을 지원하기 위해 반복적으로 인코딩을 수행해야 하기 때문에 상당히 어렵고 복잡한 작업이 될 수 있음을 예상할 수 있다.
현재 실감형 콘텐츠에 대한 관심 및 사용자 욕구가 매우 높으며, 다양한 종류의 실감형 디스플레이 장치들이 상용화될 것으로 예측된다. 실감형 컨텐트에 대한 사용자의 관심은 영화산업을 중심으로 급격하게 높아지고 있으며, 현재 개인용 스테레오스코픽 디스플레이 장치나 다시점 영상 디스플레이 장치와 같은 실감형 디스플레이 장치들이 다양한 플랫폼에서 개발되고 있다.
따라서, 실감형 비디오 컨텐트를 다양한 전송 환경과 다양한 단말들에게 효율적으로 전달될 수 있도록, 실감형 서비스를 지원하고 다양한 전송 환경과 다양한 단말들의 다양한 포맷들을 지원하는 비디오 정보들을 통합적으로 처리하는 기술이 필요하다.
이하, 도 3 내지 26을 참조하여, 개시된 기술을 상세히 설명한다.
도 3은 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치의 구성을 예시하는 블록도이다.
일실시예에 있어서, 다시점 스케일러블 비디오 비트스트림 추출 장치(300)는 제1 다시점 스케일러블 비디오 비트스트림 수신부(310), 비트스트림 검색부(320), 비트스트림 추출부(330) 및 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)를 포함한다.
제1 다시점 스케일러블 비디오 비트스트림 수신부(310)는, 적어도 하나의 시점들을 포함한 코딩된 영상에 대한 제1 다시점 스케일러블 비디오 비트스트림을 수신한다. 제1 다시점 스케일러블 비디오 비트스트림은, 적어도 하나의 시점들을 포함한 코딩된 영상에 대하여 시점 및 스케일러블 계층을 고려한 다시점 스케일러블 비디오 인코딩을 수행하여 코딩된 비트스트림이다. 일례로, 상기 제1 다시점 스케일러블 비트스트림은, 인코딩 단에서 복수의 시점별 비디오 영상들을 부호화하되, 상기 복수의 시점별 비디오 영상들 중 적어도 하나에 대해서는 다시점 비디오 인코딩을 적용하고, 상기 복수의 시점별 비디오 영상들 중 적어도 하나에 대해서는 스케일러블 비디오 인코딩을 적용하여, 시점별 계층별 비트스트림들을 생성하는 제1 과정; 및 상기 생성된 시점별 계층별 비트스트림들을, 시점 및 계층에 기초한 미리 설정된 순서에 따라 조합하는 제2 과정을 수행하여 생성될 수 있다. 여기서, 상기 제1 과정에서 상기 복수의 시점별 비디오 영상들 중 적어도 하나에 대해서는 다시점 비디오 인코딩 및 스케일러블 비디오 인코딩이 적용될 수 있다. 또한, 제1 과정에서 다시점 비디오 코딩을 적용하는 구현 예로는, 타 시점의 비디오 영상 정보에 기초한 시점간 예측을 수행하는 것을 들 수 있으며, 제1 과정에서 스케일러블 비디오 인코딩을 적용하는 구현 예로는, 하위 계층에 대한 비디오 인코딩으로 얻어지는 코딩된 비디오 영상 정보 및 하위 계층의 코딩된 비디오 영상을 기초로 현재 계층의 비디오 영상을 부호화하는 것을 들 수 있으나, 반드시 이에 한정되는 것은 아니다.
비트스트림 검색부(320)는, 제1 다시점 스케일러블 비디오 비트스트림 수신부(310)로부터 출력된 제1 다시점 스케일러블 비디오 비트스트림 중, 추출 대상 영상에 관하여 코딩된 정보 및 스케일러블 계층의 정보에 대응하는 적어도 하나의 비트스트림을 검색한다. 여기서 영상이란 픽처들의 집합일 수 있으며, 적어도 하나의 영상들은 소정 특성에 따라 구별되는 픽처 집합들을 나타낸다. 예를 들어 영상들은, 시점, 시간대 및 공간적 위치 등의 소정 특성에 따라 구별될 수 있다. 제1 다시점 스케일러블 비디오 비트스트림으로서, 복수의 시점별 영상들이 다시점 비디오 인코딩 방식에 의해 생성된 비트스트림들이 입력될 수 있다.
비트스트림 검색부(320)는 제1 다시점 스케일러블 비디오 비트스트림 중 추출하고자 하는 소정 영상에 관하여 코딩된 정보 또는 소정 스케일러블 계층의 정보에 대응하는 비트스트림 부분을 검색하기 위해, 비트스트림 추출 정보를 이용할 수 있다.
비트스트림 추출 정보는, 추출하고자 하는 소정 영상에 관하여 코딩된 정보를 나타내는 정보로서, 복수 개의 코딩된 영상들 중 시점에 대한 정보, 분할된 영상들 중 소정 부분의 위치에 대한 정보 등을 포함할 수 있다.
비트스트림 추출 정보는, 소정 스케일러블 계층을 나타내는 정보로서, 공간적 스케일러블 계층, 시간적 스케일러블 계층, 화질적 스케일러블 계층 등에 대한 정보 등을 포함할 수 있다.
일실시예에 따른 비트스트림 검색부(320)는, 외부로부터 입력된 비트스트림 추출 정보를 이용할 수도 있지만, 추출 대상인 시점 및 스케일러블 계층의 적어도 하나의 비트스트림에 대한 비트스트림 추출 정보를 설정할 수도 있다. 일실시예에 따른 비트스트림 검색부(320)는, 추출하고자 하는 시점 및 스케일러블 계층에 대한 입력 정보에 기초하여, 비트스트림 추출 정보 중 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정할 수 있다.
또한 일실시예에 따른 비트스트림 검색부(320)는, 제1 다시점 스케일러블 비디오 비트스트림에 대한 비트스트림 요약 정보를 획득하고, 입력 정보 및 비트스트림 요약 정보에 기초하여 비트스트림 추출 정보를 설정할 수 있다.
입력 정보에 기초하여 추출하고자 하는 시점 및 스케일러블 계층이 결정될 수 있다. 예를 들어 입력 정보는, 시점, 공간적 해상도, 시간적 해상도, 화질 중 적어도 하나에 대한 디코더의 성능에 관한 정보일 수 있다. 일실시예에 따른 비트스트림 검색부(320)는, 비트스트림 요약 정보에 기초하여 제1 다시점 스케일러블 비디오 비트스트림 중 추출하고자 하는 시점 및 스케일러블 계층에 대응하는 비트스트림의 위치를 검색할 수 있다.
예를 들어 비트스트림 요약 정보가 제1 다시점 스케일러블 비디오 비트스트림 중 시점별 비트스트림 및 스케일러블 계층별 비트스트림에 대한 식별 정보일 수 있다. 이 경우, 비트스트림 검색부(320)는, 시점별 비트스트림 및 스케일러블 계층별 비트스트림에 대한 식별 정보를 이용하여, 제1 다시점 스케일러블 비디오 비트스트림 중에서, 비트스트림 추출 정보가 나타내는 시점 및 스케일러블 계층에 대응하는 비트스트림에 가장 근사한 시점별 비트스트림 및 스케일러블 계층별 비트스트림을 검색할 수 있다.
일실시예에 따른 비트스트림 추출 정보는, 네트워크 환경에 따라 갱신될 수도 있다. 예를 들어 비트스트림 추출 정보는, 단말 네크워크 내의 디코더가 디코딩 가능한 시점 수, 공간적 해상도, 시간적 해상도, 화질을 포함하는 디코딩 성능에 관한 정보, 네트워크 상태에 관한 정보, 해당 비트스트림의 하나 이상의 시점에 관한 정보 및 스케일러블 계층에 관한 정보 중 적어도 하나를 포함할 수 있다.
일실시예에 따른 비트스트림 검색부(320)는, 제1 다시점 스케일러블 비디오 비트스트림으로부터 비트스트림 요약 정보를 추출하거나, 제1 다시점 스케일러블 비디오 비트스트림과 함께 수신된 별개의 비트스트림으로부터 비트스트림 요약 정보를 추출할 수도 있다.
제1 다시점 스케일러블 비디오 비트스트림에 비트스트림 요약 정보가 삽입되어 있지 않은 경우, 일실시예에 따른 비트스트림 검색부(320)는 비트스트림 요약 정보를 생성할 수 있다. 또한 일실시예에 따른 비트스트림 검색부(320)는, 비트스트림 요약 정보를 외부로부터 입력받을 수도 있다.
일실시예에 따른 비트스트림 요약 정보는 시점 추출 방법 정보 및 스케일러블 계층 추출 방법 정보 중 적어도 하나를 포함할 수 있다. 일실시예에 따른 시점 추출 방법 정보는, 제1 다시점 스케일러블 비디오 비트스트림으로부터 추출 가능한 적어도 하나의 시점들의 집합에 대한 정보를 포함할 수 있다. 일실시예에 따른 스케일러블 계층 추출 방법 정보는, 제1 다시점 스케일러블 비디오 비트스트림으로부터 추출 가능한 적어도 하나의 스케일러블 계층의 집합에 대한 정보를 포함할 수 있다.
일실시예에 따른 비트스트림 요약 정보는 시점 추출 요약 정보 및 스케일러블 요약 정보를 포함할 수도 있다.
시점 추출 요약 정보는 시점 추출 방법 정보 및 시점별 정보를 포함할 수 있다. 일실시예에 따른 시점별 정보는, 시점 간의 예측 관계에 관한 정보 및 코딩 순서에 관한 정보 중 적어도 하나를 포함할 수 있다.
일실시예에 따른 스케일러블 계층 요약 정보는 스케일러블 계층 추출 방법 정보 및 해당 시점에 관한 식별 정보를 포함할 수 있다. 일실시예에 따른 스케일러블 계층 요약 정보는, 해당 시점의 스케일러블 계층이 적어도 하나의 공간적 스케일러블 계층, 적어도 하나의 시간적 스케일러블 계층, 적어도 하나의 화질적 스케일러블 계층 중 하나임을 나타내는 식별 정보를 더 포함할 수도 있다.
일실시예에 따른 비트스트림 추출부(330)는, 제1 다시점 스케일러블 비디오 비트스트림 수신부(310)로부터 출력된 제1 다시점 스케일러블 비디오 비트스트림으로부터, 비트스트림 검색부(320)에 의해 검색된 적어도 하나의 비트스트림을 추출한다. 일실시예에 따른 비트스트림 추출부(330)는, 제1 다시점 스케일러블 비디오 비트스트림에 대한 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여, 제1 다시점 스케일러블 비디오 비트스트림으로부터 원하는 시점에 대하는 비트스트림들을 추출할 수 있다.
일실시예에 따른 제1 다시점 스케일러블 비디오 비트스트림은, 각각의 시간대의 시점들에 대응하는 비트스트림은 액세스 유닛(Access unit) 단위로, 각각의 시간대, 각각의 시점 및 각각의 스케일러블 계층의 비트스트림은 날 유닛(Network Abstraction Layer (NAL) unit) 단위로 구성되어 있을 수 있다. 일실시예에 따른 비트스트림 추출부(330)는, 검색된 소정 영상 및 스케일러블 계층의 날 유닛들을 추출할 수 있다.
일실시예에 따른 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는, 비트스트림 추출부(330)에 의해 추출된 적어도 하나의 비트스트림을 조합하여 제2 다시점 스케일러블 비디오 비트스트림을 재구성한다. 일실시예에 따른 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는, 추출된 적어도 하나의 비트스트림을, 디코딩 순서에 따라 조합하여 하나의 비트스트림으로 재구성할 수 있다. 또한 일실시예에 따른 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는, 적어도 하나의 시점을 포함하는 시점 집합에 대응하는 비트스트림들을 조합하여, 시점 집합별 비트스트림을 재구성할 수도 있다.
일실시예에 따른 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는, 제1 다시점 스케일러블 비디오 비트스트림으로부터 추출된 동일 시간대의 날 유닛의 비트스트림들이 조합된 시간대별 액세스 유닛들을, 시간 순서에 따라 조합함으로써 제2 다시점 스케일러블 비디오 비트스트림을 재구성할 수 있다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)는, 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)로부터 출력된 제2 다시점 스케일러블 비디오 비트스트림을 적어도 하나의 디코딩 단말기로 전송할 수 있다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)는, 컨텐츠 서버로부터 제공된 제1 다시점 스케일러블 비디오 비트스트림 중, 디코딩 단말기 성능에 따라 필요한 제2 다시점 스케일러블 비디오 비트스트림을 선택적으로 제공하는 다시점 스케일러블 비디오 비트스트림 제공 서비스에서 응용될 수 있다. 즉, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)는, 컨텐츠 서버로부터 제공된 제1 다시점 스케일러블 비디오 비트스트림으로부터 제2 다시점 스케일러블 비디오 비트스트림을 필요에 따라 선택적으로 추출하여 디코딩 단말기로 전송할 수 있다. 디코딩 단말기는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)와 동일한 단말 네트워크 내에 위치할 수 있다. 또는 디코딩 단말기는 컨텐츠 서버와 독립적인 서버로서 작동하는 다시점 스케일러블 비디오 비트스트림 추출 장치(300)로부터 제2 다시점 스케일러블 비디오 비트스트림을 수신할 수 있다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)는, 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)로부터 출력된 제2 다시점 스케일러블 비디오 비트스트림을 복호화하여, 적어도 하나의 시점 및 적어도 하나의 스케일러블 계층에 대해 코딩된 정보들을 복원하는 다시점 스케일러블 비디오 복원부를 더 포함할 수 있다.
도 4는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 인코딩 장치의 블록도를 도시한다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 인코딩 장치(400)는, 다시점 스케일러블 비디오 인코딩부(410), 비트스트림 요약 정보 생성부(420), 다시점 스케일러블 비디오 비트스트림 생성부(430) 및 출력부(440)를 포함한다.
일실시예에 따른 다시점 스케일러블 비디오 인코딩부(410)는, 인코딩하고자 하는 적어도 하나의 영상들에 대해, 시점 및 스케일러블 계층을 고려한 다시점 스케일러블 비디오 인코딩을 수행한다. 일실시예에 따른 다시점 스케일러블 비디오 인코딩부(410)는, 복수 개의 영상에 대해 시점 방향 예측에 따른 다시점 비디오 인코딩과 함께, 계층적 스케일러빌리티에 기초한 스케일러블 비디오 인코딩을 수행할 수 있다.
즉, 복수 개의 영상들 중 현재 영상을 인코딩하기 위해, 다른 시점 영상 정보를 참조하는 시점 방향 예측 코딩 및, 현재 영상의 현재 계층 및 하위 계층의 정보, 그리고 현재 계층 및 하위 계층 간의 계층 간 예측 정보 등을 포함하는 계층 간 정보를 이용하는 스케일러블 비디오 인코딩이 수행될 수 있다.
일실시예에 따른 다시점 스케일러블 비디오 인코딩으로서, 공간적 스케일러블 비디오 인코딩, 시간적 스케일러블 비디오 인코딩 및 화질적 스케일러블 비디오 인코딩 등 다양한 종류의 스케일러빌리티 기능을 지원하는 스케일러블 인코딩들이 조합되어 수행될 수 있다.
일실시예에 따른 비트스트림 요약 정보 생성부(420)는, 다시점 스케일러블 비디오 인코딩부(410)에 의해 수행된 다시점 스케일러블 비디오 인코딩에 대한 해당 영상 및 해당 스케일러블 계층에 대한 정보를 포함하는 비트스트림 요약 정보를 생성할 수 있다.
일실시예에 따른 비트스트림 요약 정보 생성부(420)는, 비트스트림 요약 정보로서 해당 비트스트림에 대응하는 시점에 대한 시점 추출 요약 정보를 생성할 수 있다. 일실시예에 따른 시점 추출 요약 정보는 시점별 정보 및 시점 추출 방법 정보를 포함할 수 있다. 또한, 일실시예에 따른 비트스트림 요약 정보 생성부(420)는, 비트스트림 요약 정보로서 해당 비트스트림에 대응하는 스케일러블 계층에 대한 스케일러블 계층 요약 정보를 생성할 수 있다. 일실시예에 따른 스케일러블 계층 요약 정보는 스케일러블 계층 추출 방법 정보 및 해당 시점에 관한 식별 정보를 포함할 수 있다.
일실시예에 따른 비트스트림 요약 정보의 관련 정보들은, 앞서 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)에서 이용되는 각종 비트스트림 요약 정보의 관련 정보들과 상응할 수 있다.
일실시예에 따른 비트스트림 요약 정보 생성부(420)는, 비트스트림 요약 정보를 선택적으로 디코딩하기 위한 부가 정보의 형태로 생성할 수 있다. 예를 들어, 비트스트림 요약 정보는 보충적 개선 정보(Supplementary Enhancement Information (SEI))의 형태로 생성되어 다시점 스케일러블 비디오 비트스트림과 함께 제공될 수 있다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성부(430)는, 다시점 스케일러블 비디오 인코딩부(410)에 의해 생성된 각각의 시점 및 스케일러블 계층의 비트스트림들을, 시점 및 스케일러블 계층을 고려한 순서에 따라 조합하여 다시점 스케일러블 비디오 비트스트림을 생성한다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성부(430)는, 각각의 시점 및 스케일러블 계층에 대응하는 날 유닛 단위의 비트스트림들을 생성할 수 있다. 동일한 시간대의 시점 및 스케일러블 계층에 대응하는 날 유닛들끼리 나열한 비트스트림들을 액세스 유닛의 형태로 구성될 수 있다. 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성부(430)는, 각각의 시간대별 비트스트림들에 대응하는 액세스 유닛들을 시간 순서에 따라 나열하여 조합함으로써, 다시점 스케일러블 비디오 비트스트림을 생성할 수 있다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성부(430)에 의해 생성된 다시점 스케일러블 비디오 비트스트림이, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 수신부(310)에서 수신되는 제1 다시점 스케일러블 비디오 비트스트림에 상응할 수 있다.
일실시예에 따른 출력부(440)는, 다시점 스케일러블 비디오 인코딩부(410)로부터 출력된 다시점 스케일러블 비디오 비트스트림 및 비트스트림 요약 정보 생성부(420)로부터 출력된 비트스트림 요약 정보를 출력할 수 있다.
일실시예에 따른 출력부(440)는, 비트스트림 요약 정보를 다시점 스케일러블 비디오 비트스트림과 별개의 비트스트림으로 출력할 수 있다. 별개의 비트스트림들은 각각 별개의 채널을 통해 전송될 수도 있으며, 하나의 채널을 통해 순서대로 전송될 수도 있다.
또한, 일실시예에 따른 출력부(440)는, 다시점 스케일러블 비디오 비트스트림에 비트스트림 요약 정보를 추가적으로 삽입하여, 다시점 스케일러블 비디오 비트스트림을 출력할 수 있다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해, 기존 2차원 디스플레이, 스테레오스코픽 디스플레이, 다시점 영상 디스플레이, 자유로운 시점 선택형 디스플레이 등을 포함하는 다양한 시점, QVGA, SD, HD, Full HD 등을 포함하는 다양한 화면 크기, VCD, DVD, HDTV 등을 포함하는 다양한 화질, 5Hz, 15Hz, 30Hz, 60Hz 등을 포함하는 다양한 시간적 해상도 등의 다양한 포맷의 컨텐트가 인코딩되어 비트스트림으로 전송될 수 있다.
또한, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해, 디코딩하고자 하는 영상에 대응하는 비트스트림을 추출하기 위해 참고할 수 있는 비트스트림 요약 정보가 다시점 스케일러블 비디오 코딩된 비트스트림과 함께 전송됨으로써, 디코딩단에서는 원하는 포맷의 컨텐트에 대응하는 비트스트림만 추출되어 디코딩될 수 있다.
또한, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)에 의해, 수신된 다시점 스케일러블 비디오 비트스트림으로부터 비트스트림들을 선택적으로 추출함으로써, 원하는 포맷의 컨텐트가 복원될 수 있다. 이에 따라, 다양한 시점, 다양한 화면 크기, 다양한 화질, 다양한 시간적 해상도를 지원할 수 있는 다양한 디코딩 단말에게 각각의 환경에 맞는 컨텐트가 제공될 수 있다.
따라서, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300) 및 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해 구현되는 다시점 스케일러블 비디오 코딩 방식에 따라, 다양한 시점, 다양한 화면 크기, 다양한 화질, 다양한 시간적 해상도를 지원할 수 있는 디스플레이 장치들에게 각각의 포맷에 적합한 컨텐트가 제공될 수 있으며, 다양한 포맷의 영상 정보가 코딩되어 조합된 하나의 다시점 스케일러블 비디오 비트스트림를 통해 통합적으로 처리되어 효율적으로 전송 및 수신될 수 있다.
또한, 다시점 스케일러블 비디오 비트스트림으로부터 원하는 포맷의 시점에 대응하는 비트스트림을 추출하기 위한 추출 정보가 제공됨으로써, 다양한 단말들은 다시점 스케일러블 비디오 비트스트림을 효과적으로 디코딩하여 원하는 포맷의 컨텐트를 복원할 수 있다.
도 5는 일실시예에 따라 구현 가능한 실감형 다시점 스케일러블 비디오 서비스의 개요도를 도시한다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300) 및 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)가 이용하는 다시점 스케일러블 비디오 비트스트림은, 다양한 시점, 다양한 해상도, 다양한 화질, 다양한 프레임율을 지원할 수 있어, 실감형 비디오 컨텐트를 다양한 전송 환경과 다양한 단말들에게 효율적으로 전달될 수 있다.
실감형 다시점 스케일러블 비디오 서비스(500)에 의해, HD급 해상도의 다시점 영상 컨텐트(510)를 이용한 다양한 포맷의 비디오 컨텐트들이 제공될 수 있다. 실감형 다시점 스케일러블 비디오 서비스(500) 중 인코더 동작 단계(520)는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해 구현될 수 있으며, 비트스트림 추출 단계(540)는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)에 의해 구현될 수 있다.
인코더 동작 단계(520)는 HD급 해상도의 다시점 영상 컨텐트(510)에 대해 한번의 인코딩을 수행하여 비트스트림(530)을 생성한다. 비트스트림은 비트스트림 추출 단계(540)로 전송되어, 다양한 해상도, 다양한 화질, 다양한 시간적 해상도, 다양한 시점을 지원하는 디스플레이 장치들에게 각각의 환경에 맞도록 비트스트림이 추출된다.
추출된 비디오 컨텐트들 중 저화질 및 고정 시점의 비디오 컨텐트는 소형 2차원 디스플레이 장치(550)로 제공될 수 있으며, 고화질 및 고정 시점의 비디오 컨텐트는 소형 2차원 디스플레이 장치(551)로, 고화질 및 고정 시점의 비디오 컨텐트는 SD급 2차원 디스플레이 장치(552)로, 고화질 및 고정 시점의 비디오 컨텐트는 HD급 2차원 디스플레이 장치(553)로 제공되어 재생될 수 있다.
또한, 추출된 비디오 컨텐트들 중 고화질 및 시점 선택형 비디오 컨텐트는 HD급 2차원 디스플레이 장치(554)로 제공될 수 있으며, 고화질의 비디오 컨텐트는 소형 스테레오 디스플레이 장치(555)로, HD급 스테레오 디스플레이 장치(556) 및 다시점 디스플레이 장치(558)로, 저화질 비디오 컨텐트는 다시점 디스플레이 장치(557)로 제공되어 재생될 수 있다. 이 중 디스플레이 장치들(554, 555, 556, 557, 558)는 실감형 디스플레이 장치들로서, 다시점 비디오 컨텐트를 재생할 수 있다.
일실시예에 따른 실감형 다시점 스케일러블 비디오 서비스(500)에 따라 다양한 종류의 어플리케이션들이 손쉽게 지원될 수 있게 된다. 시점의 종류로는, 기존 2차원 디스플레이, 스테레오스코픽 디스플레이 다시점 영상 디스플레이 장치, 자유로운 시점 선택형 디스플레이 등이 있으며, 화질의 종류로는 QVGA, SD, HD, Full HD 등이 있고, 화질의 종류로는 VCD, DVD, HDTV 등이 있고, 프레임율의 종류로는 5Hz, 15Hz, 30Hz, 60Hz 등이 있다.
일실시예에 따른 실감형 다시점 스케일러블 비디오 서비스(500)에 의해 유비쿼터스 컴퓨팅 환경 내에서, 다양한 시점, 다양한 화질, 다양한 해상도, 다양한 프레임율이 통합적으로 지원될 수 있으며, 또한 효율적으로 각각의 환경에 적합한 비디오 컨텐트들이 전달될 수 있다.
도 6 내지 8을 참조하여 다양한 실시예들에 따른 비트스트림 추출 정보의 이용례에 대해 상술된다.
도 6은 일실시예에 따른 비트스트림 추출 정보의 이용례를 도시한다.
다시점 스케일러블 비디오 비트스트림 추출 모듈(600)은, 다시점 스케일러블 비트스트림을 입력으로 받고, 추출하고자 하는 정보를 확인하여 입력된 다시점 스케일러블 비디오 비트스트림의 일부를 추출하여 출력한다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 모듈(600)은, 입력된 다시점 스케일러블 비디오 비트스트림으로부터, 소정 영상에 관해 코딩된 시점 및 소정 스케일러블 계층의 비트스트림을 선택하여 추출할 수 있다. 예를 들어 다시점 스케일러블 비디오 비트스트림 추출 모듈(600)은 단일 시점의 기본 계층의 비트스트림만을 추출할 수 있다. 또한 다시점 스케일러블 비디오 비트스트림 추출 모듈(600)은, 단일 시점의 다양한 스케일러블 계층들의 비트스트림, 다양한 시점들의 단일 스케일러블 계층의 비트스트림, 다양한 시점들의 단일 스케일러블 계층의 비트스트림, 다양한 시점들의 다양한 스케일러블 계층들의 비트스트림 등, 다양한 포맷의 비트스트림들을 선택적으로 추출하는 실시예들로 구현될 수 있다.
예를 들어, 다시점 스케일러블 비디오 비트스트림 추출 모듈(600)은, 2개의 공간적 계층들과 각각의 공간적 계층별로 2개의 화질적 계층들을 지원하고 8개의 시점들을 지원하는 다시점 스케일러블 비디오 비트스트림을 입력받고, 다시점 스케일러블 비디오 비트스트림으로부터 4개의 시점들과 공간적 기본 계층에서 화질적 상위 계층까지만 추출하여 출력할 수 있다.
추출된 비트스트림은, 기존 비디오 코딩 표준에 의해서 디코딩이 가능한 비트스트림이 될 수 있다. 일 예로 단일 시점 및 단일 계층(기본 계층)으로 추출된 비트스트림은 H.264/AVC (MPEG-4 Part 10 Advanced Video Coding) 비디오 코딩 표준에 따르는 디코더로 디코딩이 가능하며, 단일 시점 및 다양한 스케일러블 계층을 포함한 비트스트림은 SVC (Scalable Video Coding, H.264 Amendment 3) 비디오 코딩 표준에 따르는 디코더로 디코딩이 가능하고, 다양한 시점 및 기본 계층을 포함한 비트스트림은 MVC (Multi-view Video Coding, H.264 Amendment 4) 비디오 코딩 표준에 따르는 디코더로 디코딩이 가능하다.
다시점 스케일러블 비디오 비트스트림 추출 모듈(600)로 입력되는 비트스트림 추출 정보는 어느 비트스트림을 추출할지에 대한 기본 정보가 되며, 다양한 형식의 정보가 입력될 수 있다. 일실시예에 따른 비트스트림 추출 정보는 디코더 성능 정보들을 포함할 수 있다. 예를 들어 디코더 성능 정보는, 디코더에서 지원 가능한 해상도, 디코더의 디스플레이 시점의 개수, 디코더의 최대 프레임율 등에 관한 정보들이 될 수 있다.
또한, 일실시예에 따른 비트스트림 추출 정보는 다시점 스케일러블 비디오 비트스트림 제공 서비스가 구축된 네트워크의 전송률 등, 네트워크 상태에 대한 정보를 포함할 수 있다. 또한, 일실시예에 따른 비트스트림 추출 정보는 해당 다시점 스케일러블 비디오 비트스트림의 시점 식별 번호 정보, 스케일러블 계층의 식별 번호 정보 등을 포함할 수도 있다.
도 7은 일실시예에 따른 영상 추출 정보 및 스케일러블 계층 추출 정보의 이용례를 도시한다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 모듈(700)은 시점 추출 모듈(710) 및 스케일러블 계층 추출 모듈(720)을 포함한다. 다시점 스케일러블 비디오 비트스트림 추출 모듈(700)에 입력된 다시점 스케일러블 비디오 비트스트림이 입력되고, 시점 추출 모듈(710)을 통해 다시점 스케일러블 비디오 비트스트림으로부터 시점별 비트스트림이 추출될 수 있고, 시점별 비트스트림은 스케일러블 계층 추출 모듈(720)을 통해 다시 스케일러블 계층별 비트스트림으로 추출될 수 있다.
시점 추출 모듈(710)은 시점 추출 정보를 이용하여, 다시점 스케일러블 비디오 비트스트림이 포함하고 있는 M개 시점들 중 일부를 선택하여 추출할 수 있다. 일례로, 복수 개의 시점들에 대응하는 비트스트림이 조합된 다시점 스케일러블 비디오 비트스트림들로부터 일부의 시점들에 대응하는 비트스트림들이 추출될 수 있으며, 다른 예로 복수 개의 시점별 비트스트림으로부터 일부의 시점별 비트스트림이 추출될 수도 있다. 다른 실시예로, 시점 추출 모듈(710)은 시점 추출 정보를 이용하여, 분할된 복수 개의 시점으로 구성된 비트스트림 중 일부의 시점을 추출할 수 있다.
일실시예에 따른 시점 추출 정보는, 추출 대상인 시점의 식별 번호 정보, 추출 대상인 시점의 개수 정보 등을 포함할 수 있다. 일실시예에 따르는 시점 추출 정보는 시점들 간의 예측 관계에 관한 정보를 포함할 수 있다. 예를 들어 추출 대상인 시점이 다른 시점을 참조하여 예측 코딩되었다면, 시점 추출 모듈(710)의 일실시예는 입력된 추출 대상 시점의 식별 번호 정보를 이용하여 해당 시점에 대응하는 비트스트림을 추출하면서, 디코딩 과정에서 현재 시점의 참조 정보로 사용하기 위해 다른 시점에 대응하는 비트스트림을 추가로 추출할 수 있다.
일실시예에 따른 시점 추출 모듈(710)은, 입력된 시점 추출 정보를 이용하여 해당 시점에 대응하는 비트스트림을 추출할 수 없다는 내용을 출력하고 추출 과정을 종료할 수도 있다. 일실시예에 따른 시점 추출 모듈(710)은, 다시점 비디오 디코딩 수행시 참조 시점으로 사용하기 위해서 추가로 추출되는 다른 시점에 대응되는 비트스트림은 출력을 위한 비트스트림이 아님을 명시하는 내용을 포함하여 추출할 수도 있다.
일실시예에 따른 추출 대상인 시점의 개수 정보가 이용되는 경우, 시점 추출 모듈(710)은 시점들 간의 코딩 순서를 분석하고, 시점들 간의 코딩 순서대로 비트스트림을 추출할 수 있다.
일실시예에 따른 시점 추출 모듈(710)은, 시점 추출 정보 중 추출 대상 시점 개수에 최적화된 시점 추출 방법 정보를 이용하여 해당 시점들의 비트스트림들을 추출할 수 있다.
일실시예에 따른 시점 추출 정보는, 추출 대상 시점의 갯수에 적합한 최적화되도록 설정될 수 있다. 일실시예에 따라 추출 대상 시점에 따라 최적화된 시점 추출 정보는, 다시점 스케일러블 비디오 비트스트림에 삽입되어 있을 수 있으며, 외부로부터 입력될 수도 있다.
일실시예에 따른 시점 추출 모듈(710)로부터 추출된 시점별 비트스트림들은 다시 스케일러블 계층 추출 모듈(720)로 입력되고, 다시점 스케일러블 계층 추출 모듈(720)은 스케일러블 계층 추출 정보를 이용하여 스케일러블 계층별 비트스트림을 추출할 수 있다. 일실시예에 다른 스케일러블 계층 추출 정보는 공간적 계층, 화질적 계층, 시간적 계층 등의 스케일러블 계층 식별 번호 정보, 공간적 해상도, 프레임율 또는 비트레이트와 같은 디코딩 단말의 동작 환경에 대한 정보 등을 포함할 수 있다.
일실시예에 따른 스케일러블 계층 추출 모듈(720)은, 비트스트림에 기록된 스케일러블 계층 식별 번호에 기초하여 추출 대상인 스케일러블 계층의 비트스트림을 선택할 수 있다.
또한, 일실시예에 따른 스케일러블 계층 추출 모듈(720)은, 공간적 해상도, 프레임율, 비트레이트와 같은 디코딩 단말의 동작 환경에 대한 정보를 수록한 외부 입력 정보를, 비트스트림에 삽입되어 있는 스케일러블 계층 요약 정보와 비교하여, 비트스트림에 기록된 스케일러블 계층 요약 정보 중 추출 대상 계층과 가장 근접한 계층을 검색하여 추출할 수 있다.
일실시예에 따른 스케일러블 계층 추출 모듈(720)은, 추출된 시점별 비트스트림마다 독립적으로 스케일러블 계층별 비트스트림을 추출 할 수 있다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 모듈(700)은 시점별로 각각 다른 종류의 스케일러블 계층의 비트스트림을 추출할 수 있다. 예를 들어, 제1 시점 비트스트림으로부터는 화질적 계층의 비트스트림이 추출되고, 제2 시점 비트스트림으로부터는 다른 공간적 계층의 비트스트림을 추출될 수 있다. 또한, 시점별 비트스트림으로부터 각각 다른 화질적(공간적, 시간적) 계층의 비트스트림이 추출될 수도 있다. 또한, 추출된 시점별 비트스트림으로부터 모두 동일한 스케일러블 계층의 비트스트림이 추출될 수도 있다.
도 8은 다른 실시예에 따라 시점 추출 정보 및 스케일러블 계층 추출 정보의 이용례를 도시한다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 모듈(800)은, 시점 추출 모듈(810), 추출 정보 분석 모듈(820) 및 스케일러블 계층 추출 모듈(830)을 포함한다. 스케일러블 계층 추출 모듈(830)은 M개의 영상별 비트스트림 각각으로부터 스케일러블 계층별 비트스트림을 추출하기 위하여, M개의 서브-스케일러블 계층 추출 모듈들(832, 834, 836, 838)을 포함할 수 있다.
일실시예에 따른 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 모듈(800)에 입력된 다시점 스케일러블 비디오 비트스트림은 먼저 시점 추출 모듈(810)로 입력되고 다시점 스케일러블 비디오 비트스트림으로부터 추출하고자 하는 시점별 비트스트림이 추출될 수 있다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 모듈(800)은, 입력된 다시점 스케일러블 계층의 비트스트림 중 원하는 비트스트림을 검색하여 추출할 수 있다
일실시예에 따른 시점 추출 모듈(810)은 다시점 스케일로블 비디오 비트스트림을 입력받고, 입력된 다시점 스케일러블 비디오 비트스트림으로부터 시점별 비트스트림을 선택적으로 추출할 수 있다. 또한, 일실시예에 따른 시점 추출 모듈(810)은 다시점 스케일러블 비디오 비트스트림으로부터 시점별 비트스트림을 개별적으로 추출하는 대신에, 모든 시점 비트스트림을 그대로 스케일러블 계층 추출 모듈(830)로 출력할 수 있다.
일실시예에 따른 시점 추출 모듈(810)로부터 추출된 시점별 비트스트림은 각각의 시점별로 M개의 스케일러블 계층 추출 모듈들(832, 834, 836, 838)로 입력되고, 시점별 비트스트림으로부터 스케일러블 계층별 비트스트림이 추출될 수 있다.
일실시예에 따른 각각의 스케일러블 계층 추출 모듈(832, 834, 836, 838)은, 입력된 시점별 비트스트림으로부터 모두 동일한 스케일러블 계층의 비트스트림을 추출할 수 있다. 또한, 시점별 비트스트림으로부터 별개의 스케일러블 계층의 비트스트림이 각각 추출될 수도 있다. 시점 추출 과정과 스케일러블 계층 추출 과정을 통해 추출된 비트스트림은 다중화 모듈(840)을 통해 조합되고, 다시점 스케일러블 비디오 비트스트림이 생성되어 출력된다.
다시점 스케일러블 비디오 비트스트림은 액세스 유닛 구조를 따르고, 다시점 스케일러블 비디오 비트스트림 중 소정 시점 및 스케일러블 계층별 비트스트림이 순차적으로 삽입되어 있을 경우, 일실시예에 따른 다중화 모듈(840)은 입력된 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층별 비트스트림을 순차적으로 추출하여 조합함으로써 제2 다시점 스케일러블 비디오 비트스트림을 생성할 수 있다.
이상 전술된 다시점 스케일러블 비디오 비트스트림 추출 모듈(600, 700, 800)은, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300) 중 비트스트림 검색부(320) 및 비트스트림 추출부(330)를 구현하기 위한 실시예들에 해당한다.
이하, 도 9 내지 11을 참조하여 다양한 실시예들에 따른 다시점 스케일러블 비디오 비트스트림의 구조에 대해 상술된다. 제1 다시점 스케일러블 비디오 비트스트림은, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해 생성되고, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300), 다시점 스케일러블 비디오 비트스트림 추출 모듈(600, 700, 800)로 입력되어 제2 다시점 스케일러블 비디오 비트스트림의 형태로 재구성될 수 있다.
도 9는 일실시예에 따른 시점별 비디오 비트스트림의 구조를 도시한다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림은 복수개의 시점들에 대한 시점별 비트스트림이 조합된 구조이다.
일실시예에 따른 다시점 스케일러블 비디오 인코딩부(410)는, 다시점 비디오 인코딩 후 시점별 비트스트림을 생성할 수 있다. 일실시예에 따른 다시점 스케일러블 비디오 인코딩부(410)는 서로 다른 카메라에서 입력 받은 3개의 시점의 영상을 시점 0, 시점 2, 시점 1의 순서로 코딩하고, 각각의 시점은 2개의 공간적 계층(DId 0, DId 1)으로 구성되며, 각각의 공간적 계층은 다시 2개의 화질적 계층(QId 0, QId 1)으로 구성된 3개의 시점별 비트스트림을 시점 0 비트스트림(900), 시점 2 비트스트림(960), 시점 1 비트스트림(930)의 순서로 출력한다.
다시점 스케일러블 비디오 비트스트림 생성부(420)가 비트스트림들(900, 960, 930)을 입력받았을 때 다시점 스케일러블 비디오 비트스트림을 구성하는 방법이 도 10를 참조하여 후술된다.
도 9의 하나의 블록은 날 유닛을 나타내며, 하나의 날 유닛은 하나의 화면을 나타내는 픽처 또는 슬라이스로 구성되며, 하나의 온전한 화면 또는 하위 계층의 화질을 향상시키기 위한 잔여 신호 또는 공간적 해상도를 높이기 위한 잔여 신호들이 포함되어 있을 수 있다. 각각의 시점별 비트스트림은 시점 별로 구분하기 위해 VId 0, VId 1, VId 2로 표기되며, 가로 방향은 시간 순서를 나타내며 T0, T1, T2..., TX로 표기된다. 세로 방향은 동일한 시간의 공간적, 화질적 계층을 나타내며, 공간적 기본 계층은 DId 0, 공간적 향상 계층은 DId 1로 표기되고, 화질적 기본 계층은 QId 0, 화질적 향상 계층은 QId 1로 표기된다.
각각의 시점별 비트스트림(900, 960, 930)은 시간별로 접근이 가능한 서브-액세스 유닛으로 구성이 되어 있는데, 서브-액세스 유닛은 동일한 시간의 공간적 계층 및 화질적 계층을 포함한 날 유닛으로 구성된다. 일 예로 시간 T0의 DId 0 및 QId 0의 날 유닛(1216), T0의 DId 0 및 QId 1의 날 유닛(1211), T0의 DId 1 및 QId 0의 날 유닛(1206), T0의 DId 1 및 QId 1의 날 유닛(1201)이 시간 T0에 대한 서브-액세스 유닛이 되며, 시간 T1의 DId 0 및 QId 0(1217), T1의 DId 0 및 QId 1(1212), T1의 DId 1 및 QId 0(1207), T1의 DId 1 및 QId 1(1202)의 날 유닛이 시간 T1에 대한 서브-액세스 유닛이 된다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300), 다시점 스케일러블 비디오 비트스트림 추출 모듈(600, 700, 800) 중 시점 추출 과정을 통해 시점별 비트스트림들(900, 930, 960)이 선택적으로 추출될 수 있다.
도 10은 일실시예에 따른 다시점 스케일러블 비디오 비트스트림의 구조를 도시한다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성부(430)는, 각각의 시점별 비트스트림에서 획득한 서브-액세스 유닛을 동일한 시간 T의 다른 시점의 서브-액세스 유닛과 조합하여, 다시점 스케일러블 비디오 비트스트림의 액세스 유닛으로 구성한다.
일 예로 시간 T0의 액세스 유닛(1010)은 VId 0의 T0의 서브-액세스 유닛들(916, 911, 906, 901), VId1의 T0의 서브-액세스 유닛들(946, 941, 936, 931), VId 2의 T0의 서브-액세스 유닛들(976, 971, 966, 961)로 구성될 수 있다. 서브-액세스 유닛들을 액세스 유닛으로 조합하는 순서의 일 예는, 시점 번호 순서인 VId 0의 T0의 서브-액세스 유닛들(946, 941, 936, 931), VId 1의 T0의 서브-액세스 유닛들(946, 941, 936, 931), VId 2의 T0의 서브-액세스 유닛들(976, 971, 966, 961)의 순서로 구성될 수 있다. 또 다른 일 예로, 비트스트림이 코딩된 순서인 VId 0의 T0의 서브-액세스 유닛들(946, 941, 936, 931), VId 2의 T0의 서브-액세스 유닛들(976, 971, 966, 961), VId 1의 T0의 서브-액세스 유닛들(946, 941, 936, 931)의 순서로 구성할 수 있다.
시간 T1의 액세스 유닛(1020)은 VId 0의 T1의 서브-액세스 유닛들(917, 912, 907, 902), VId 1의 T1의 서브-액세스 유닛들(947, 942, 937, 932), VId 2의 T1의 서브-액세스 유닛들(977, 972, 967, 962)으로 구성 될 수 있다.
시간 T2의 액세스 유닛(1030)은 VId 0의 T2의 서브-액세스 유닛들(918, 913, 908, 903), VId 1의 T2의 서브-액세스 유닛들(948, 943, 938, 933), VId 2의 T2의 서브-액세스 유닛들(978, 973, 968, 963)으로 구성 될 수 있다.
시간 T3의 액세스 유닛(1040)은 VId 0의 T3의 서브-액세스 유닛들(919, 914, 909, 904), VId 1의 T3의 서브-액세스 유닛들(949, 944, 939, 934), VId 2의 T3의 서브-액세스 유닛들(979, 974, 969, 964)으로 구성 될 수 있다.
시간 TX의 액세스 유닛(1050)은 VId 0의 TX의 서브-액세스 유닛들(920, 915, 910, 905), VId 1의 TX의 서브-액세스 유닛들(950, 945, 940, 935), VId 2의 TX의 서브-액세스 유닛들(980, 975, 970, 965)으로 구성 될 수 있다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성부(430)는, 구성된 액세스 유닛들(1020, 1030, 1040, 1050)을 시간 순서대로 다시 배치하여 다시점 스케일러블 비디오 비트스트림(1000)을 구성한다. 따라서, 다시점 스케일러블 비디오 비트스트림(1000)은 2개의 공간적 계층들과 각각의 공간적 계층별로 2개의 화질적 계층들, 그리고 3개의 시점들에 대한 비트스트림을 포함할 수 있다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림(1000)는, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300), 다시점 스케일러블 비디오 비트스트림 추출 모듈(600, 700, 800)에 제1 다시점 스케일러블 비디오 비트스트림으로서 입력될 수 있다. 다시점 스케일러블 비디오 비트스트림(1000)으로부터 원하는 시점 및 스케일러블 계층의 비트스트림을 선택적으로 추출될 수 있다.
도 11은 일실시예에 따라 재구성된 다시점 스케일러블 비디오 비트스트림의 구조를 도시한다.
일실시예에 따른 제2 다시점 스케일러블 비디오 비트스트림 재구성부 장치(300), 다시점 스케일러블 비디오 비트스트림 추출 모듈(600, 700, 800) 중 다시점 스케일러블 비디오 비트스트림 재구성 과정은, 입력된 제1 다시점 스케일러블 비디오 비트스트림으로부터 원하는 시점 및 스케일러블 계층의 비트스트림을 선택적으로 추출하여 조합하여 제2 다시점 스케일러블 비디오 비트스트림으로 재구성할 수 있다.
제1 다시점 스케일러블 비디오 비트스트림으로서 다시점 스케일러블 비디오비트스트림(1000)이 입력되는 경우, 다시점 스케일러블 비디오 비트스트림(1000)으로부터 2개의 시점(VId 0, VId 1) 및 공간적 기본 계층(DId 0)에서 1개의 화질적 계층(QId 0), 공간적 향상 계층(DId 1)에서 1개의 화질적 계층(QId 0)을 추출하여 재구성한 제2 다시점 스케일러블 비디오 비트스트림으로서 다시점 스케일러블 비디오 비트스트림(1100)을 출력할 수 있다.
즉, 다시점 스케일러블 비디오 비트스트림(1100)은 추출된 시점 및 스케일러블 계층의 비트스트림이 시간 순서에 따라 시간 T0, T1, T2, T3, ..., TX의 액세스 유닛들(1110, 1120, 1130, 1140, 1150)로 구성된 구조이다.
구체적으로 보면, 시간 T0의 액세스 유닛(1110)은 VId 0의 T0의 서브-액세스 유닛들(916, 906), VId 1의 T0의 서브-액세스 유닛들(946, 936)로 재구성되어 있다. 마찬가지로, 시간 T1의 액세스 유닛(1120)은 VId 0의 T1의 서브-액세스 유닛들(917, 907), VId 1의 T1의 서브-액세스 유닛들(947, 937)로 재구성되고, 시간 T2의 액세스 유닛(1130)은 VId 0의 T2의 서브-액세스 유닛들(918, 908), VId 1의 T2의 서브-액세스 유닛들(948, 938)로 재구성되고, 시간 T3의 액세스 유닛(1140)은 VId 0의 T3의 서브-액세스 유닛들(919, 909), VId 1의 T3의 서브-액세스 유닛들(949, 939)로 재구성되고, 시간 TX의 액세스 유닛(1140)은 VId 0의 TX의 서브-액세스 유닛들(920, 910), VId 1의 TX의 서브-액세스 유닛들(950, 940)로 재구성될 수 있다.
도 9 내지 11을 참조하여, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)의 비트스트림 추출 과정을 요약하면, 제1 다시점 스케일러블 비디오 비트스트림 수신부(310)에서 다시점 스케일러블 비디오 비트스트림(1000)이 수신되고, 비트스트림 검색부(320)는 다시점 스케일러블 비디오 비트스트림(1000) 중 2개의 시점(VId 0, VId 1) 및 공간적 기본 계층(DId 0)에서 1개의 화질적 계층(QId 0), 공간적 향상 계층(DId 1)에서 1개의 화질적 계층(QId 0)의 비트스트림을 검색한다.
비트스트림 추출부(330)는 시점별 비트스트림들(900, 930, 960)이 추출되고 시점별 비트스트림들(900, 930, 960)로부터 2개의 시점별 비트스트림(900, 930) 중 공간적 기본 계층(DId 0) 및 화질 기본 계층(QId 0)의 비트스트림들(906, 907, 908, 909, 910, 936, 937, 938, 939, 940), 공간적 향상 계층(DId 1) 및 화질 기본 계층(QId 0)의 비트스트림들(916, 917, 918, 919, 920, 946, 947, 948, 949, 950)을 검색한다.
제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는 검색된 비트스트림들(906, 907, 908, 909, 910, 916, 917, 918, 919, 920, 936, 937, 938, 939, 940, 946, 947, 948, 949, 950)을 조합하여 시간별 액세스 유닛들(1110, 1120, 1130, 1140, 1150)로 구성하고, 시간대별 액세스 유닛들(1110, 1120, 1130, 1140, 1150)을 시간 순서대로 나열함으로써, 제2 다시점 스케일러블 비디오 비트스트림(1100)을 재구성한다.
비트스트림 추출 정보에 기초하여 다시점 스케일러블 비디오 비트스트림으로부터 원하는 포맷의 비트스트림을 추출하는 경우, 일실시예에 따른 비트스트림 추출 정보는 추출기에 입력된 외부 추출 정보는, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)가 시점별 비트스트림 및 스케일러블 계층별 비트스트림을 추출하기 위해 사용될 수 있도록 변경된 형태의 정보일 수 있다.
예를 들어 추출하고자 하는 해상도, 프레임율, 추출 대상 시점 개수에 대한 정보가 추출 정보로서 입력되었다면, 비트스트림 검색부(320)는 현재 다시점 스케일러블 비디오 비트스트림으로부터 추출 가능한 해상도, 프레임율, 추출 대상 시점 개수를 확인하여 입력된 추출 정보에 가장 근접하는 최적의 설정에 적합한 스케일러블 계층 및 시점의 식별 번호를 검색하고, 추출하고자 하는 스케일러블 계층 및 시점의 식별 번호에 대한 정보를 비트스트림 추출부(330)로 출력할 수 있다.
구체적인 일실시예로서, 해상도 320ㅧ240 및 해상도 640ㅧ480의 공간적 해상도 및 4개의 시점을 지원하는 실감형 비트스트림들이 입력되고, 이로부터 CIF(Common Intermediate Format)급 영상(352ㅧ288) 및 2개의 시점에 해당하는 비트스트림을 추출하고자 하는 경우를 가정한다. 총 4개의 시점들 중 2개의 시점들로 구성된 시점 집합은 6개(4C2 = 6)이므로, 비트스트림 검색부(320)는 추출 가능한 6개의 시점 집합 중 소정 시점 집합의 비트스트림을 추출하기로 선택하고, 선택된 시점 집합에 포함된 시점의 식별 번호에 대한 정보는 비트스트림 추출부(330)로 출력될 수 있다.
또한, 비트스트림 검색부(320)는 2가지의 공간적 해상도 중 해상도 320ㅧ240가 추출하고자 하는 해상도에 가장 적합하다고 선택할 수 있으며, 해상도 320ㅧ240의 공간적 계층의 식별 번호에 대한 정보를 비트스트림 추출부(330)로 출력될 수 있다.
비트스트림 추출부(330)는 입력된 시점 식별 번호에 대한 정보 및 스케일러블 계층 식별 번호에 대한 정보에 기초하여, 현재 다시점 스케일러블 비디오 비트스트림으로부터 선택된 2개의 시점의 해상도 320ㅧ240 영상에 대응하는 비트스트림들을 추출할 수 있다.
이하 도 12 내지 16을 참조하여, 다양한 실시예들에 따라 비트스트림 추출 정보를 이용하는 비트스트림 추출 방법에 대해 상술된다.
도 12는 일실시예에 따른 비트스트림 추출 방법의 흐름도(1200)를 도시한다.
단계 1210에서, 입력된 추출 정보에 기초하여 비트스트림 추출 정보가 설정된다. 단계 1220에서는, 설정된 비트스트림 추출 정보를 이용하여 시점 추출 동작이 수행된다. 단계 1230에서는, 설정된 비트스트림 추출 정보를 이용하여 스케일러블 계층 추출 동작이 수행된다. 단계 1230의 동작은, 시점 단위로 추출된 비트스트림에 포함된 시점의 개수만큼 반복된다. 시점 단위로 추출된 비트스트림으로부터 모두 동일한 스케일러블 계층의 비트스트림들이 추출될 수 있으며, 시점 단위로 추출된 비트스트림의 각각 시점마다 독립적으로 선택된 스케일러블 계층의 비트스트림들이 추출될 수도 있다.
도 13은 다른 실시예에 따른 비트스트림 추출 방법의 흐름도(1300)를 도시한다.
일실시예에 따라 비트스트림 추출 정보는, 입력된 추출 정보와 비트스트림 요약 정보를 비교하여 가장 근사한 값을 설정될 수 있다. 예를 들어, 비트스트림 요약 정보와 입력된 추출 정보를 비교하여, 비트스트림 요약 정보 중 입력된 추출 정보보다 크지 않은 최대값이 선택되거나 또는 동일한 값이 선택될 수 있다.
단계 1310에서, 비트스트림 추출 정보가 입력된다. 일실시예에 따른 비트스트림 추출 정보는 디코딩 가능한 해상도, 프레임율 또는 비트레이트 등의 디코딩 단말의 디코딩 능력에 대한 정보, 전송 채널의 전송률(bandwidth) 등의 전송 네트워크의 상태에 대한 정보를 포함할 수 있다.
단계 1320에서, 현재 추출하고자 하는 비트스트림에 대한 요약 정보가 존재 하는지 확인하고, 만약 비트스트림 요약 정보가 존재한다면 단계 1340으로 진행하고, 비트스트림 요약 정보가 존재하지 않는다면 단계 1330으로 진행한다.
일실시예에 따른 비트스트림 요약 정보는 인코딩단에서 다시점 스케일러블 비디오 비트스트림에 삽입되어 전송되거나, 다시점 스케일러블 비디오 비트스트림과 별개의 비트스트림으로 전송될 수도 있다. 또한 일실시예에 따른 비트스트림 요약 정보는, 추출 가능한 시점 집합의 개수, 공간적 계층, 시간적 계층, 화질적 계층별로 추출 가능한 스케일러블 계층 집합에 대한 정보를 포함할 수 있다.
단계 1330에서, 추출하고자 하는 비트스트림 요약 정보가 생성된다. 비트스트림 요약 정보는, 다시점 스케일러블 비디오 비트스트림의 신택스에 기초하여 생성될 수 있다. 예를 들어, 다시점 스케일러블 비디오 비트스트림의 신택스를 분석하여 획득된 추출 가능한 시점 집합, 스케일러블 계층에 대한 정보가 비트스트림 요약 정보로 설정될 수 있다. 또한, 비트스트림 요약 정보는 외부 입력에 의해 생성될 수 있다.
단계 1340에서, 비트스트림 요약 정보와 입력된 추출 정보의 비교에 기초하여 시점 추출 정보가 설정된다. 단계 1350에서, 비트스트림 요약 정보와 입력된 추출 정보의 비교에 기초하여 스케일러블 계층 추출 정보가 설정한다. 일실시예에 따른 스케일러블 계층 추출 정보는, 추출된 모든 시점별 비트스트림에 대해서 동일하게 설정되거나, 각각의 시점별 비트스트림마다 독립적으로 설정될 수도 있다.
일실시예에 따른 비트스트림 추출 정보는 비트스트림에 대한 고유한 식별 정보를 포함할 수 있다. 예를 들어, 비트스트림에 삽입된 시점에 대한 식별 번호, 공간적 또는 화질적 또는 시간적 스케일러블 계층에 대한 식별 정보 등이 비트스트림 추출 정보로서 설정될 수 있다.
구체적으로, 비트스트림 추출 정보로서, 날 유닛 헤더에 각각의 비트스트림 내에서 서브-액세스 유닛을 식별하기 위해서 공간적 계층을 나타내는 정보 'dependency_id', 화질적 계층을 나타내는 정보 'quality_id', 시간적 계층을 나타내는 정보 'temporal_id', 여러 시점의 시점들 중에서 현재 시점의 식별 정보 'view_id'가 설정될 수 있다.
일실시예에 따른 비트스트림 추출 정보는 네트워크 환경에 따라 갱신될 수 있다. 예를 들어, 비트스트림 추출 정보 설정 과정에서 전송 채널의 전송률과 같은 네트워크 환경 정보에 기초하여, 스케일러블 계층 추출 정보를 현재 네트워크 상태를 고려하여 갱신될 수 있다. 비트스트림 추출 과정에 네트워크 상태를 실시간으로 반영함으로써 QoS(Quality of Service) 솔루션이 지원될 수 있다.
도 14는 네트워크 상황을 고려하여 스케일러블 계층 추출 정보를 설정하는 일실시예를 도시한다.
비트스트림 추출 정보는 현재 서비스에서 사용가능한 네트워크 대역폭을 고려하여 갱신될 수 있다. 예를 들어, 비트스트림 검색부(320)는, 추출될 스케일러블 계층 정보 중 각각의 스케일러블 계층의 비트레이트 정보를 현재 서비스에서 사용 가능한 네트워크 대역폭에 대응시켜, 가능한 최대의 비트레이트를 갖는 스케일러블 계층이 선택되도록 비트스트림 추출 정보를 갱신하여 설정할 수 있다.
비트스트림 검색부(320)는, 시점 0(view#0)의 비트스트림 및 시점 2(view#2)의 비트스트림 각각에 대한 스케일러블 계층 정보(Scalable information) SEI 테이블들(1410, 1420)을 생성한다. 각각의 스케일러블 계층 정보 SEI 테이블은, 계층(Layer), 해상도(Resolution), 프레임율(Frame rate), 비트레이트(Bit-rate), 스케일러블 계층 식별 번호(DTQ)의 대응 관계에 대한 정보를 수록하고 있다.
일실시예에 따른 비트스트림 검색부(320)는, 네트워크 전송 대역폭에 대응하는 스케일러블 계층 정보의 추출 정보를 설정하기 위해, 먼저 추출될 비트스트림 요약 정보의 스케일러블 계층 정보 중 동일한 스케일러블 계층 정보를 갖는 계층(Layer)에 대한 평균 비트레이트를 결정한다.
시점별 비트스트림으로부터 스케일러블 계층의 비트스트림을 추출하기 위해, 평균 비트레이트가 각각의 스케일러블 계층의 대표값으로 사용된다. 스케일러블 계층 추출 과정에서는 평균 비트레이트 정보들을 현재 사용가능한 네트워크 대역폭에 대응시켜, 실제로 추출될 화질적 계층이 결정될 수 있다.
구체적으로, 스케일러블 계층 정보 SEI 테이블들(1410, 1420)은, 4개의 시점과 2개의 공간적 계층(176x144, 352x288), 3개의 시간적 계층(7.5Hz, 15Hz, 30Hz), 3개의 화질적 계층을 갖는 다시점 스케일러블 비디오 비트스트림 중 2개의 시점 0과 시점 2에 대한 스케일러블 계층 정보를 예로 들어 설명한다. DTQ는 각각 공간적 계층의 식별 정보 'dependency_id', 시간적 계층의 식별 정보 'temporal_id', 및 화질 계층의 식별 정보 'quality_id'를 나타낸다.
스케일러블 계층 정보 SEI 테이블들(1410, 1420) 중 동일한 스케일러블 계층 정보를 갖는 계층에 대한 평균 비트레이트가 결정된다. 예를 들어, 서비스를 제공받고자 하는 단말기의 디코딩 성능이 해상도(Resolution) 352x288 및 프레임율(Frame rate) 15Hz인 경우, 화질적 계층 및 평균 비트레이트 테이블(1430)은 스케일러블 계층의 대표값으로 사용될 수 있는 평균 비트레이트 및 화질 계층에 관한 스케일러블 계층 정보를 수록하고 있다.
화질적 계층 및 평균 비트레이트 테이블(1430)에 기초하여, 사용 가능한 네트워크 대역폭이 791bps 내지 1135bps인 경우에는 스케일러블 계층 식별 정보 'quality_id'를 0으로 하고, 사용 가능한 네트워크 대역폭이 1135bps 내지 1731bps인 경우에는 스케일러블 계층 식별 정보 'quality_id'를 1로, 사용 가능한 네트워크 대역폭이 1731bps 이상인 경우는 스케일러블 계층 식별 정보 'quality_id'를 2로 결정할 수 있다.
추출될 시점들의 스케일러블 계층별 비트레이트 대표값이 수록된 테이블을 생성하기 위해, 일실시예에 따른 비트스트림 검색부(320)는 추출될 시점마다 각각의 스케일러블 계층의 비트레이트의 평균값을 사용하거나, 각각이 시점마다 발생되는 비트레이트의 크기에 따른 가중치를 부가하여, 보다 최적의 화질 계층을 추출하도록 결정할 수도 있다.
도 14를 참조하여 설명된 비트스트림 요약 정보는 다시점 스케일러블 비디오 비트스트림에 삽입되어 있는 실시예이며, 비트스트림 요약 정보 중 시점 추출 방법 정보와 스케일러블 계층 추출 방법 정보는 독립적으로 설정될 수 있다. 또한, 시점 추출 방법 정보와 스케일러블 계층 추출 방법 정보가 하나의 정보로 조합되어 설정될 수도 있다.
일실시예에 따라 시점 추출 방법 정보 및 스케일러블 계층 추출 방법 정보가 독립적으로 존재할 경우, 일실시예에 따른 시점 추출 요약 정보는 아래 표 1과 같은 신택스로 기술될 수 있다.
image_information( ){
image_number
for(i=0; i<image_number; i++){
시점별 정보
}
시점 추출 방법 정보
}
일실시예에 따른 시점 추출 요약 정보 'image_information'는 코딩된 영상의 시점 개수 정보 'image_number', 시점별 정보, 시점 추출 방법 정보를 포함한다. 코딩된 영상의 시점 개수 정보는 현재 다시점 스케일러블 비디오 비트스트림에 포함된 시점의 개수를 나타내며, 각각의 시점마다 시점별 정보가 설정될 수 있다. 일실시예에 따른 시점별 정보는 시점별 예측 관계에 대한 정보, 시점별 코딩 순서에 대한 정보를 포함할 수 있다. 또한, 다시점 스케일러블 비디오 비트스트림 중 현재 신택스 위치에, 다른 신택스 위치에 삽입된 시점 추출 정보인 시점간 예측 정보가 중복적으로 삽입될 수도 있다.
일실시예에 따른 시점 추출 방법 정보는, 추출하고자 하는 시점의 개수에 대응하여 현재 비트스트림으로부터 추출 가능한 시점 집합의 시점 식별 번호들 될 수 있다.
구체적인 실시일예로, 4개의 시점들 중 2개의 시점들의 비트스트림을 추출하려면 시점 0 및 시점 1의 비트스트림이 추출되고, 3개의 시점들의 비트스트림을 추출하려면 시점 0, 시점 1, 시점 2의 비트스트림이 추출되도록 하는 시점 집합에 대한 정보가 시점 추출 방법 정보로서 설정될 수 있다.
또한 일실시예에 따른 시점 집합 정보는, 추출 가능한 모든 시점 집합 방법에 대한 정보 및 추출 가능하더라도 디코딩 후 디스플레이를 수행할지 여부를 나타내는 정보를 포함할 수도 있다. 예를 들어, 4개의 시점들 중에서 2개의 시점들의 비트스트림을 추출하려면 시점 0, 시점 1의 영상 집합의 비트스트림이 추출 가능하다는 정보가 설정될 수 있고, 3개의 시점의 비트스트림을 추출하기 위해 시점 0, 시점 1 및 시점 2의 비트스트림만 추출 가능하다는 정보가 설정될 수 있다.
또한 일실시예에 따라 시점 추출 방법 정보 및 스케일러블 계층 추출 방법 정보가 독립적으로 존재할 경우, 일실시예에 따른 스케일러블 계층 요약 정보는 아래 표 2과 같은 신택스로 기술될 수 있다.
scalable_information(){
image_id
scalable_number
for(i=0; i<scalable_number; i++)
스케일러블 계층 정보
}
}
일실시예에 따른 스케일러블 계층 요약 정보의 신택스 'scalable_information'는, 해당 스케일러블 계층 요약 정보의 식별 정보 'image_id', 스케일러블 계층 개수 정보 'scalable_number', 스케일러블 계층 정보를 포함한다. 시점 식별 정보는, 현재 스케일러블 계층 정보가 어느 시점에 대한 스케일러블 계층인지 나타내며, 스케일러블 계층 개수 정보는 현재 스케일러블 계층이 지원할 수 있는 계층의 총 개수를 나타낸다. 스케일러블 계층 정보는 스케일러블 계층 총 개수만큼 반복하여 설정될 수 있다.
일실시예에 따른 시점 식별 정보는, 시점의 식별 번호 정보 또는 분할된 시점 중 어느 부분의 시점인지를 나타내는 위치 정보로 설정될 수 있다. 일실시예에 따른 스케일러블 계층 정보는 스케일러블 계층에 대한 해상도, 프레임율, 비트레이트 등에 대한 정보가 설정될 수 있다.
도 15는 일실시예에 따라 영상에 대응하는 날 유닛의 비트스트림 추출 방법의 흐름도(1500)를 도시한다.
일실시예에 따른 비트스트림 추출부(330)은, 다시점 스케일러블 비디오 비트스트림을 날 유닛별로 확인하여 현재 날 유닛이 추출하고자 하는 시점에 대응하는 비트스트림인지 확인함으로써 추출 대상인 시점의 비트스트림만 추출할 수 있다. 날 유닛 단위의 비트스트림 추출 방법의 흐름도(1500)는 아래와 같다.
단계 1510에서, 현재 날 유닛이 추출하고자 하는 시점의 날 유닛이면 단계 1520으로 진행하고, 만약 그렇지 않다면 단계 1530으로 진행한다.
단계 1520에서, 현재 날 유닛이 추출하고자 하는 시점들이 참조로 하는 시점의 날 유닛이면 단계 1540으로 진행한다. 만약 그렇지 않다면 단계 1530으로 진행한다.
단계 1530에서, 현재 날 유닛이 추출되지 않고 다음 날 유닛으로 추출 동작이 진행한다.
단계 1540에서, 현재 날 유닛이 추출되어 저장되고 다음 날 유닛으로 추출 동작이 진행한다.
도 16은 다른 실시예에 따라 스케일러블 계층별 정보에 대응하는 날 유닛의 비트스트림 추출 방법의 흐름도를 도시한다.
일실시예에 따른 비트스트림 추출부(330)은, 스케일러블 계층 추출 정보에 기초하여 추출 설정된 스케일러블 계층 및 현재 비트스트림의 스케일러블 계층 간의 상하를 비교하여 현재 비트스트림의 추출 여부를 결정할 수 있다. 예를 들어, 추출되도록 설정된 스케일러블 계층보다 현재 비트스트림의 스케일러블 계층이 하위 계층인지 판단하고, 만약 현재 비트스트림의 스케일러블 계층이 하위 계층이라면, 현재 날 유닛이 추출되고 그렇지 않다면 추출되지 않을 수 있다.
전술된 실시예에 따른 날 유닛 단위의 스케일러블 계층별 비트스트림 추출 방법의 흐름도(1600)는 아래와 같다.
단계 1610 에서, 현재 날 유닛이 추출 설정된 스케일러블 계층보다 하위 계층이거나 동일한 계층의 날 유닛이라면 단계 1620으로 진행한다. 만약 그렇지 않다면 단계 1630으로 진행한다.
단계 1620에서, 현재 유닛이 추출되어 저장되고 다음 날 유닛으로 추출 동작이 진행한다.
단계 1630에서, 현재 날 유닛이 추출되지 않고 다음 날 유닛으로 추출 동작이 진행한다.
일실시예에 따라, 다시점 스케일러블 비디오 비트스트림으로부터 비트스트림을 선택적으로 추출하는 방법을 검증하기 위해서 다시점 비디오 부호화의 공식 실험 영상 'flamenco2'를 이용한 결과가 후술된다.
VGA, QVGA 급 공간적 해상도의 2개의 공간적 계층, 30Hz, 15Hz 시간적 해상도의 2개의 시간적 계층, 및 기본 양자화 파라미터(Quantization Parameter; QP)를 37, MGS 계층 QP는 32로 하여 3개의 화질 계층을 갖도록 설정된 스케일러블 계층 및 4개의 영상 시점을 지원하는 실감형 다시점 스케일러블 비디오 인코딩이 일실시예에 따라 수행되었다.
일실시예에 따라 생성된 제1 다시점 스케일러블 비디오 비트스트림으로부터, 고화질 입체 단말, 고화질 2D 단말, 고성능 이동형 단말, 저성능 이동형 단말에 적합한 제2 다시점 스케일러블 비디오 비트스트림이 추출되었다. 실험의 결과는 아래 표 3과 같다.
서비스 종류 해상도 화면율
(Hz)		 화질계층 시점 수 비트율
(Kbps)
Universal
Bitstream		 640x480 30 3 4 15071.00
고화질 입체 640x480 30 3 2 7841.53
고화질 2D 640x480 30 3 1 3796.08
이동형 단말 (고성능) 320x240 15 2 1 483.00
이동형 단말 (저성능) 320x240 15 1 1 252.40
유니버설 비트스트림(Universal Bitstream)은, 일실시예에 따른 다시점 스케일러블 비디오 인코딩을 이용하여 생성된 모든 계층 정보가 포함되어 있는 비트스트림을 의미한다.
일실시예에 따라 다시점 스케일러블 비디오 비트스트림으로부터 비트스트림을 선택적으로 추출하는 방법을 이용한 결과, 약 비트레이트 15071 Kbps을 갖는 유니버셜 비트스트림으로부터 디코딩 단말의 성능(공간적 해상도, 시간적 해상도, 화질, 시점)과 네트워크 전송 환경에 적합한 비트스트림이 추출되었다.
일실시예로 저성능의 이동형 단말에 대해 다시점 스케일러블 비디오 컨텐츠를 서비스하는 경우에, 일실시예에 따른 비트스트림의 선택적 추출 방법을 통해 추출된 비트스트림이 약 252 Kbps의 비트레이트로 전송되므로, 일실시예에 따른 비트스트림의 선택적 추출 방법을 채택하지 않은 경우에 비하여 약 14819 Kbps(15071 Kbps - 252 Kbps = 14819 Kbps)의 네트워크 대역폭을 절약하면서 해당 단말의 성능에 적합한 서비스가 제공될 수 있다.
도 17 내지 19를 참조하여, 다양한 실시예들에 따른 비트스트림의 재구성에 대해 상술된다. 일실시예에 따른 비트스트림 추출부(330) 및 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)의 동작이 관련된다.
일실시예에 따른 비트스트림 추출부(330)에 의해 추출되어 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)에 의해 재구성된 비트스트림은, i) H.264 비디오 코딩 표준, ii) SVC(Scalable Video Coding) 비디오 코딩 표준, iii) MVC(Multi-view Video Coding) 비디오 코딩 표준, 및 iv) 일실시예에 따른 다시점 스케일러블 비디오 디코딩 방법 중 하나에 따르는 디코더에서 디코딩될 수 있다. 재구성된 비트스트림은 조합 과정을 통해 하나의 비트스트림으로 출력되거나, 시점별로 별개의 비트스트림들로 출력될 수 있다.
일실시예에 따라 M개의 시점에 대한 다시점 스케일러블 비디오 비트스트림은 추출 과정을 통해 N개(1≤N≤M)의 시점별 비트스트림으로 추출된 후, 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는 시점별 비트스트림들을 코딩 순서대로 조합하여 하나의 비트스트림으로 재구성할 수 있다. 또한, 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는 추출된 시점별 비트스트림들을 조합하여 N개의 비트스트림으로 재구성할 수 있다.
도 17 및 18은 다시점 스케일러블 비디오 비트스트림으로부터 비트스트림을 선택적으로 추출하는 일실시예에 따라, 시점 및 공간적 계층, 시간적 계층, 화질적 계층에 대하여 각각의 시점별로 추출된 액세스 유닛을 조합하여 제2 다시점 스케일러블 비디오 비트스트림을 재구성하는 재구성 모듈이 포함된 실시예들을 도시하고 있다.
도 17은 일실시예에 따른 비트스트림 추출부 및 비트스트림 재구성부의 구조를 도시한다. 일실시예에 따라, 비트스트림 추출 모듈(1710)은 다시점 스케일러블 비디오 비트스트림을 입력받아, 시점 및 공간적, 시간적, 화질적 계층별 비트스트림의 날 유닛들로 구성된 시점별 비트스트림 0, 1, ..., N의 액세스 유닛들을 추출하여 재구성 모듈(1720)로 출력할 수 있다. 재구성 모듈(1720)은 추출된 액세스 유닛들을 디코딩될 순서대로 조합하여 하나의 다시점 스케일러블 비디오 비트스트림으로 재구성하여 출력할 수 있다.
도 18은 다른 실시예에 따른 비트스트림 추출부 및 비트스트림 재구성부의 구조를 도시한다. 다른 실시예에 따라, 비트스트림 추출 모듈(1710)은 다시점 스케일러블 비디오 비트스트림을 입력받아, 시점 및 공간적, 시간적, 화질적 계층별 비트스트림의 날 유닛들로 구성된 시점별 비트스트림 0, 1, ..., N의 액세스 유닛들을 추출하여 재구성 모듈(1820)로 출력할 수 있다.
재구성 모듈(1820)은 다수의 서브-재구성 모듈들(1822, 1824, 1826)로 구성된다. 추출된 시점별 비트스트림 0, 1, ..., N의 액세스 유닛들 각각은, 서브-재구성 모듈 0(1822), 서브-재구성 모듈 1(1824), ..., 서브-재구성 모듈 N(1826)로 입력된다. 각각의 서브-재구성 모듈(1822, 1824, 1826)은 입력된 시점별 비트스트림의 액세스 유닛을 재구성된 영상별 다시점 스케일러블 비디오 비트스트림으로서 출력할 수 있다.
도 19는 일실시예에 따른 비트스트림 추출 및 비트스트림 재구성 방법의 흐름도(1900)를 도시한다.
단계 1910 에서, 시점 및 공간적, 시간적, 화질적 스케일러블 계층에 대하여 시점별로 추출된 액세스 유닛이 입력된다.
단계 1920에서는, 입력된 액세스 유닛이 시점들의 디코딩 순서에 따라 하나의 다시점 스케일러블 비디오 비트스트림으로 재구성되어 다시점 스케일러블 비디오 비트스트림이 출력된다.
단계 1930에서, 입력된 액세스 유닛이 각각의 시점별 다시점 스케일러블 비디오 비트스트림으로서 그대로 출력된다.
비트스트림 재구성 과정을 통해 생성된 다시점 스케일러블 비디오 비트스트림은, 비트스트림에 포함되어 있는 시점별 스케일러블 계층으로 나누어 디코딩된다. 시점별 스케일러블 계층은, 공간적 계층, 시간적 계층 및 화질적 계층 등일 수 있다.
예를 들어, 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해 2개의 시점과 2개의 공간적 스케일러블 계층(QVGA, VGA)을 지원하는 비트스트림이 생성되고, 일실시예에 따른 다시점 스케일러블 비디오 추출 장치(300)는 2개의 시점과 VGA급 공간적 해상도의 영상으로 디코딩될 수 있는 하나의 비트스트림을 추출할 수 있다. 디코더는 2개의 시점과 VGA급 공간적 해상도의 비트스트림을 입력받아 2개의 시점별 스케일러블 계층으로 나누고 디코딩하고, 두 개의 VGA 크기 시점 영상을 복원할 수 있다.
도 20은 일실시예에 따른 다시점 스케일러블 비디오 디코딩의 일 방식을 도시한다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림 디코딩 모듈(2000)은 역다중화(Demultiplexing) 모듈(2040) 및 M개의 서브-디코딩 모듈들(2022, 2024, 2026, 2028 등)을 포함한다.
역다중화 모듈(2040)은 하나의 다시점 스케일러블 비트스트림 또는 디코딩 대상인 시점 개수만큼의 시점별 스케일러블 비디오 비트스트림을 입력받을 수 있다. 역다중화 모듈(2040)이 하나의 비트스트림을 입력받는 경우, 입력된 하나의 비트스트림을 시점별 비트스트림들로 분해하여 각각의 시점별 비트스트림들을 서브-디코딩 모듈(2022, 2024, 2026, 2028)로 출력한다. 각각의 서브-디코딩 모듈(2022, 2024, 2026, 2028)은 입력된 각각의 시점별 비트스트림에 대해 스케일러블 비디오 디코딩을 수행할 수 있다.
또한 역다중화 모듈(2040)의 입력이 여러 개의 시점별 비트스트림인 경우에는, 별도의 비트스트림 분해 과정 없이, 각각의 시점별 비트스트림이 각각의 서브-디코딩 모듈(2022, 2024, 2026, 2028))에 전달되어 디코딩이 수행될 수 있다.
도 21은 일실시예에 따른 다시점 스케일러블 비디오 인코딩의 일 방식을 도시한다.
일실시예에 따른 다시점 스케일러블 비디오 비트스트림으로부터 비트스트림을 선택적으로 추출하기 위해, 비트스트림 추출 정보와 비트스트림 요약 정보를 이용할 수 있다. 비트스트림 요약 정보는 외부로부터 입력될 수도 있으며, 일실시예에 따른 다시점 스케일러블 비디오 추출 장치(300)에서 비트스트림 요약 정보가 생성될 수도 있다. 또한, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)는 비트스트림 요약 정보를 생성하여 다시점 스케일러블 비디오 비트스트림에 삽입하여 전송할 수도 있다.
비트스트림 요약 정보는 시점 추출에 관한 정보와 스케일러블 계층 정보로, 시점 추출에 관련하여 해당 비트스트림이 제공될 때 가장 적합한 시점 정보를 추출하기 위한 방법 정보와 해당 비트스트림이 제공될 때 디코딩이 가능하도록 하기 위해 시점들의 의존성을 기록한 시점별 정보 그리고 비트스트림 내의 영상들마다 가지고 있는 스케일러블 계층 정보가 있을 수 있다.
일실시예에 따른 비트스트림 요약 정보는, 코딩된 비트스트림 내에 포함될 수도 있고 또 다른 일 예로 추출기에서 비트스트림 요약 정보를 생성할 수 있고, 외부에서 정의될 수 있다.
일실시예에 따른 다시점 스케일러블 비디오 인코더(2100)는 시점 추출 정보 생성 모듈(2110), 서브-인코딩 모듈들(2122, 2124, 2126, 2128) 및 다중화 모듈(2130)을 포함한다.
시점 추출 정보 생성 모듈(2110)은 시점 추출 방법 정보 및 시점별 정보를 이용하여 비트스트림 요약 정보로서 시점 추출 요약 정보를 생성할 수 있다. 각각의 서브-인코딩 모듈들(2122, 2124, 2126, 2128)에서는 각각의 코딩된 스케일러블 계층 정보를 포함하는 스케일러블 계층 요약 정보를 비트스트림 요약 정보로서 생성할 수 있다.
시점 추출 정보 생성 모듈(2110)에 의해 생성된 비트스트림 요약 정보는, 다중화 모듈(2130)을 통해, 각각의 서브-인코딩 모듈(2122, 2124, 2126, 2128)에서 인코딩이 수행된 후 출력 데이터들에 삽입되어, 하나의 통합된 다시점 스케일러블 비디오 비트스트림이 출력될 수 있다.
일실시예에 따른 비트스트림 요약 정보로는 시점 추출 방법 정보와 각각의 시점별 스케일러블 계층 정보가 있다. 일실시예에 따른 비트스트림 요약 정보는, 실제 비트스트림의 디코딩에는 영향을 주지 않는 부가적인 정보로써 보충적 개선 정보(Supplemental Enhancement Information; SEI) 형태로 다시점 스케일러블 비디오 비트스트림 내부에 포함되어 제공될 수 있다.
또한 일실시예에 따른 비트스트림 요약 정보는, 다시점 스케일러블 비디오 비트스트림과는 별개의 비트스트림으로 제공될 수도 있다.
일실시예에 따른 비트스트림 요약 정보 중 시점 요약 정보는 시점 추출 방법 정보 및 시점별 정보를 포함한다. 일실시예에 따른 시점 추출 방법 정보는, 비트스트림을 이용한 서비스 제공시 서비스에 가장 적합한 시점 집합을 인코딩단에서 미리 설정해놓은 정보를 포함할 수 있다. 일실시예에 따른 시점별 정보는, 시점간 자유로운 변경을 지원하기 위하여 디코딩에 필요한 경우 각각의 시점이 필요로 하는 의존성 정보를 포함할 수 있다.
일실시예에 따라 SEI 형태로 제공되는 시점 추출 정보에 대한 신택스가 표 4에 기술되어 있다.
MVSC_multiview_SEI( ){
view_number
for(i=0; i<view_number; i++){
시점별 의존성 정보
}
View_set_number
for(j=0; j<view_set_number; j++){
view_set을 이용한 시점 추출 방법 정보
}
}
다시점 스케일러블 비디오 코딩의 SEI 신택스 'MVSC_mulitview_SEI'는 코딩된 시점의 개수 'view_number', 시점별 의존성 정보 및 시점 집합 정보의 개수 정보 "view_set_number와 시점 집합 정보 'view_set'을 이용한 시점 추출 방법 정보를 포함한다.
일실시예에 따른 시점별 의존성 정보는, 임의의 시점이 선택된 경우, 현재 시점을 디코딩하기 위해 참조할 다른 시점에 대한 정보를 포함할 수 있다. 시점별 의존성 정보는, 자유로운 시점 변경을 지원하기 위해 필요하다.
시점 집합 정보 'view_set'은, 시점 추출을 지원하기 위해 인코딩단에서 미리 지정해놓는 시점 집합에 관한 정보로서, 시점 집합 개수 정보'view_set_number'는 필요에 따라 자유롭게 지정될 수 있는 시점 집합의 개수를 나타낸다. 입력된 시점 추출 방법에 관한 매개 변수를 통해, 필요한 시점 개수가 다른 각각의 어플리케이션들에게 적합한 시점 집합에 관한 정보이다. 'view set[n]'은 개념 적으로 최적의 서비스의 제공을 위해 필요한 시점에 대응하여 권고되는 n개의 시점 집합 중 하나를 의미하며, 코딩을 수행하는 측에서 입력 영상의 주관적인 특징을 확인 후 서비스에 가장 적합하다고 판단한 시점들의 집합이다. 다시점 비디오 코딩의 자유로운 시점 예측 구조에 따라 제공될 서비스 - 3d 입체 혹은 2시점 이상의 다시점 컨텐츠- 에 대응하는 시점 집합이 복수로 존재할 수 있으며, 따라서 시점 집합 정보 'view_set[n]은 시점 집합 정보의 개수 'view_set_number' 만큼 존재할 수 있다. 여기서 n은 view_set_number의 값임을 명기한다. 시점 집합 정보의 개수 'view_set_number'가 코딩된 시점의 개수 'view_number'와 같다면 제공될 서비스에 대응하는 시점 집합이 일대일로 대응됨을 나타내고, 시점 집합 정보의 개수 'view_set_number'가 코딩된 시점의 개수 'view_number' 보다 크다면 제공될 서비스에 대응하는 시점 집합이 하나 이상이 될 수 있음을 의미한다. 이하 시점 집합의 사용에 관한 구체적인 실시일예를 도 27에 도시하였다.
도 27은 시점 0, 1, 2의 3개 시점들을 지원하는 코딩된 시점 영상들에 대해 인코더(2100)측에서 시점 조합 정보 'view_set'을 지정한 일예이다. 도 27에서 코딩된 시점의 개수 'view_number'는 3이며 각각의 시점 집합 'view set[X]'은 '(X % view number)+1'개의 필요 시점에 대응하는 시점 집합을 나타내며, 시점 집합 'view set[X]'는 적합한 시점들을 지정할 수도 있으며, 지정되지 않는 경우는 정보가 없음을 나타낼 수도 있다.
예를 들어, 단일 시점 디스플레이의 지원을 위하여 필요한 시점의 개수는 1개 이다. 도 27에 예시된 시점 집합 정보 'view set[X]' 가운데 X가 0이거나 3인 경우 1개의 필요 시점에 대응하는 시점 집합을 나타낼 수 있으며, 추출시 시점 집합 {view#0},{non} 으로 지정될 수 있다. 여기서 non은 값을 지정해 주지 않은 경우로 실제 추출 과정에서는 값으로 지정된 시점 0 만을 추출할 수 있다. 또한 3차원 입체 영상 서비스를 지원하기 위하여 2개의 시점이 필요한 경우, 이에 대응하는 시점 집합은 X가 1 또는 4일 때 이며, 추출될 필요 시점들에 대응하는 시점 집합으로 {view#0-view#1},{view#0-view#2} 가운데 선택적으로 추출할 수도 있다. 또한 3시점 디스플레이를 지원에 대응하는 시점 집합의 경우는 X가 2 혹은 5일 경우이며, 추출시 필요 시점에 대응하는 시점 집합으로 {view#0- view #1- view #2},{ view #0- view #1- view #2} 가운데 선택적으로 추출하여 사용할 수 있다. 일실시예에 따른 비트스트림 요약 정보 중 스케일러블 계층 요약 정보가 SEI 형태로 제공되는 경우의 신택스가 아래 표 5에서 기술된다.
MVSC_scalable_SEI(){
view_id
scalable_number
for(i=0; i<scalable_number; i++)
스케일러블 계층 정보
}
}
표 5의 SEI 신택스는 표 3의 스케일러블 계층 요약 정보 신택스 'scalable information SEI'에 'view_id'가 추가된 형태이다. 따라서 다수의 시점 영상들에 대해 스케일러블 비디오 코딩을 수행하는 경우 다수의 스케일러블 계층 정보가 생성되더라도, 스케일러블 계층 요약 정보에 시점 식별 정보 'view_id'를 추가함으로써, 해당 스케일러블 계층 정보가 어느 시점 영상에 관한 정보인지 식별될 수 있다.
전술된 비트스트림 요약 정보 또는 SEI 형태의 비트스트림 요약정보를 이용하여 최종적인 추출 정보를 결정하는 구체적인 실시일예가 도 13 및 도 28, 도29를 이용하여 후술된다. 도 13은 전술된 내용과 같이, 사용자를 통해 추출기로 입력된 간단한 형태의 비트스트림 추출 정보(1310)와 존재하거나 혹은 존재하지 않는 경우 생성된 비트스트림 요약 정보(1320,1330)를 이용하여 시점 추출 정보 설정(1340)과 스케일러블 계층 추출 정보 설정(1350)을 수행하는 비트스트림 추출 방법의 흐름도이다. 추출될 시점이 결정 되지 않으면, 그에 대응하는 스케일러블 계층 추출 정보를 결정할 수 없고 따라서 이를 이용한 이용한 제어정보 결정을 수행할 수 없기 때문에 시점 추출 정보 설정(1340) 모듈이 먼저 수행되며, 시점 추출 정보 설정(1340)의 수행에 관한 실시일예를 도 28을 참조하여 상술한다.
단계 2810에서는 추출기로 입력된 비트스트림 추출 정보를 검색을 통해 필요한 시점 선택에 관한 간단한 정보를 입력받는다.
단계 2820에서는 단계 2810에서 입력받은 필요한 시점 선택에 관한 정보가 필요 시점의 수이면 단계 2860으로 진행하고, 만약 그렇지 않다면 입력받은 정보가 필요한 시점의 번호로 판단하여 단계 2830으로 진행한다.
단계 2830에서는 추출될 시점을 결정하기 위하여 필요한 시점 번호를 입력받는다.
단계 2840에서는 시점 추출에 관한 비트스트림 요약 정보 중 시점간의 예측관계 정보를 읽는다.
단계 2850에서는 단계 2830에서 입력된 필요 시점 번호와 단계 2840에서 입력된 시점간 예측관계 정보를 이용하여 추출될 시점을 결정한다. 추출될 시점으로는 단계 2830에서 입력된 필요한 시점 번호에 해당하는 시점과 선택된 시점을 디코딩하는 데 필요로 하는, 예측관계에 있는 모든 시점들을 포함한다.
단계 2860에서는 추출될 시점을 결정하기 위하여 필요한 시점의 개수를 입력 받는다.
단계 2870에서는 시점 추출에 관한 비트스트림 요약 정보 중 시점 집합에 관한 정보를 읽고, 단계 2860에서 입력된 필요한 시점의 개수에 대응하는 시점 집합을 읽는다. 필요한 시점 개수에 대응하는 시점 집합은 하나 또는 복수개가 존재할 수 있으며 이를 선택적으로 이용할 수 있다. 시점 집합을 이용한 추출 시점 결정(2870)에 관한 구체적인 실시일예는 도 27의 시점 집합 정보 'view set'에 전술한 내용을 참조한다.
도 28의 과정을 통해 추출될 시점을 명확히 결정한 경우, 도 13의 스케일러블 계층 추출 정보 설정(1350) 모듈을 수행할 수 있다. 도 29에서는 실시일예로 스케일러블 계층 추출 정보 설정(1350) 모듈을 통해 화질적 계층의 선택을 자동적으로 결정하기 위한 흐름도를 도시하고 있다.
단계 2910에서는 추출기로 입력된 비트스트림 추출 정보를 검색한다.
단계 2920에서는 단계 2910에서 입력된 간단한 추출 정보 중 목표 비트율을 입력으로 받는다.
단계 2930에서는 전술된 도 28의 과정을 통해 결정된 추출될 시점 정보를 읽고 이에 해당하는 스케일러블 계층 정보만을 입력으로 받는다.
단계 2940에서는 스케일러블 계층 정보들을 읽고 이 가운데 탐색을 하기 위해 선택될 계층의 정보들을 모두 읽는다. 실시일예로 만약 3개의 스케일러블 계층 정보들이 입력되었고, 탐색을 위해 선택될 계층이 1이라면 3개의 스케일러블 계층 정보들의 계층 1에 관한 스케일러블 정보들을 모두 탐색할 수 있다. 단계 2940이 최초로 수행될 경우 탐색될 계층은 0이며, 그렇지 않을 경우는 단계 2960을 통해 결정된 계층의 번호를 따른다. 이와 같은 탐색을 통해 해당 계층의 해상도와 프레임 율을 읽고 이 정보가 추출에 해당하는 범위인지 확인 한다. 만약 해당 범위라면 단계 2950으로 진행하고 그렇지 않을 경우는 단계 2960으로 진행한다.
단계 2950에서는 탐색된 스케일러블 계층의 해상도와 프레임 율이 추출 범위에 해당할 때 수행되며, 각각의 스케일러블 계층 정보의 탐색된 계층의 정보 중 발생된 비트량에 관한 정보들의 평균값을 구해 '계층별 평균 비트레이트 테이블'을 갱신한다. 단계 2950의 구체적인 실시일예는 전술된 도 14의 설명을 참조 한다.
단계 2960은 탐색을 위해, 현재 선택된 계층의 다음 계층을 탐색의 대상으로 선택한다.
단계 2970은 스케일러블 계층 정보에 포함되어 있는 모든 계층에 대해 단계 2950의 '계층별 평균 비트레이트 테이블'의 갱신 과정이 수행되었는지 확인하고 모든 계층에 대해 갱신 과정이 수행된 경우는 단계 2980으로 진행하고 그렇지 않을 경우는 단계 2960으로 진행한다.
단계 2980은 단계 2940,2950,2960,2970을 통하여 결정된 '계층별 평균 비트레이트 테이블'을 이용하여, 테이블 중에 목표 비트율에 가장 근접하는 화질 계층을 자동적으로 결정한다.
도 22 내지 24를 참조하여, 일실시예에 따른 다시점 스케일러블 비디오 추출 장치를 이용한 서비스 구조가 이하 상술된다.
도 22는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림을 제공하는 서비스 구조를 도시한다.
일실시예에 따른 다시점 스케일러블 비디오 코딩, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300), 및 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)를 통해, 실감형 다시점 스케일러블 비디오 비트스트림을 각 단말의 디코딩 환경에 적합하도록 다시점 스케일러블 비디오 비트스트림으로부터 필요한 정보를 선택적으로 추출하는 방법을 통해 생성된 비트스트림을 이용한 서비스가 제공될 수 있다.
실감형 다시점 스케일러블 비디오 비트스트림 제공 서비스 구조(2200)는, 컨텐츠 서버(2210), 네트워크 1(2220), 네트워크 2(2250), 네트워크 3(2280)로 구성되어 있다. 컨텐츠 서버(2210)는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해 생성된 다시점 스케일러블 비디오 비트스트림을 네트워크 1(2220), 네트워크 2(2250), 네트워크 3(2280)로 제공한다.
네트워크 1, 2, 3(2220, 2250, 2280)은 각각 일 실시에에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)에 따르는 비트스트림 추출기 1, 2, 3를 포함한다. 네트워크 1(2220), 네트워크 2(2250), 네트워크 3(2280)는 각각 허브(2225), 라우터(2255), 유/무선 중계기(2285)와 같은 네트워크 장비를 통해, 다시점 스케일러블 비디오 비트스트림으로부터 원하는 정보를 선택적으로 추출하여 단말들(2230, 2232, 2234, 2262, 2264, 2292, 2294, 2296)에게 전송한다.
네트워크 1(2220)을 거쳐, 컨텐트 서버(2210)로부터 제공된 다시점 스케일러블 비디오(Multi-view Scalable Video Coding; MSVC) 비트스트림으로부터 단일 시점 컨텐츠의 비트스트림이 추출되어 2차원 디스플레이들(2230, 2232, 2234)에게로 전송될 수 있다.
네트워크 2(2250)를 거쳐, 컨텐트 서버(2210)로부터 제공된 MSVC 비트스트림으로부터 2시점 컨텐츠의 비트스트림이 추출되어 스테레오스코픽 디스플레이들(2262, 2264)에게로 전송될 수 있다.
네트워크 3(2280)를 거쳐, 컨텐트 서버(2210)로부터 제공된 MSVC 비트스트림으로부터 스케일러블 계층에 따라 하위 계층 컨텐츠의 비트스트림이 추출되어 모바일 기기들(2292, 2294, 2296)에게로 전송될 수 있다.
실감형 다시점 스케일러블 비디오 비트스트림 서비스 구조(2200)는, 다양한 공간적 해상도(QVGA, VGA, SD, HD, Full HD), 다양한 시점(기존 2차원 디스플레이, 스테레오스코픽 디스플레이, 다시점 디스플레이), 다양한 시간적 해상도(5Hz, 15Hz, 30Hz, 60Hz 등), 다양한 화질(VCD, DVD, HDTV 등)이 요구되는 여러 단말이 혼재되어 있는 유비쿼터스 환경에서, 컨텐츠 서버(2210)를 통해 실감형 다시점 스케일러블 비디오 컨텐츠에 대한 서비스 구조이다.
일실시예에 따른 서비스 구조(2200)에 따르면, 컨텐츠 서버(2210)는 컨텐츠를 요청하는 단말에게 다양한 시점(2D 지원 단말, 스테레오스코픽 3D 입체 단말, 다시점 3D 입체 단말), 다양한 공간적 해상도(QVGA급, VGA급, SD급, HD급, Full HD급), 다양한 시간적 해상도(5Hz, 15Hz, 30Hz, 60Hz), 다양한 화질(5Hz, 15Hz, 30Hz, 60Hz)을 지원하는 실감형 다시점 스케일러블 비디오 컨텐츠의 비트스트림을 전송한다. 다양한 네트워크 환경에서 전송되는 컨텐츠는 그대로 요청 단말에게 전송됨으로써 실감형 다시점 스케일러블 비디오 컨텐츠 제공 서비스가 제공될 수 있다.
다른 실시예로, 컨텐츠 서버(2210)는 다양한 시점, 공간적 계층, 시간적 계층, 화질 계층을 지원하는 다시점 스케일러블 비디오 비트스트림을 제공할 수 있더라도, 본 발명에서 제안한 실감형 다시점 스케일러블 비디오 코딩의 비트스트림에서 필요한 정보를 선택적으로 추출하는 방법과 장치를 이용하여, 요청 단말의 성능에 적합하게 선택되어 추출된 시점, 공간적 해상도, 시간적 해상도, 화질만을 지원하는 다시점 스케일러블 비디오 비트스트림을 전송할 수 있다.
또 다른 실시예로 컨텐츠를 요청한 단말의 요구 사항을 고려하여, 해당 요구사항에 적합하게 선택되어 추출된 실감형 다시점 스케일러블 비디오 비트스트림만이 전송되어 실감형 다시점 스케일러블 비디오 컨텐츠 서비스가 제공될 수 있다.
또 다른 실시예로, 컨텐츠를 요청한 단말의 네트워크 대역폭과 전송 환경 정보를 이용하여, 해당 정보에 적합하게 선택되어 추출된 실감형 다시점 스케일러블 비디오 비트스트림이 선택적으로 추출되어 전송되도록 서비스가 제공될 수 있다.
일실시예에 따른 서비스 구조(2200) 중에서, 실감형 다시점 스케일러블 비디오 비트스트림에서 필요한 정보를 선택적으로 추출하는 추출기는 컨텐츠가 서비스되는 네트워크 환경 어느 곳에서나 위치할 수 있다. 일실시예에 따른 추출기는 컨텐츠 서버(2210)와 동일한 서버에 위치하여 동작할 수 있다. 또한, 추출기가 컨텐츠가 전송되는 경로에 위치한 허브(2225), 라우터(2255), 유/무선 중계기(2285)와 같은 네트워크 장비와 연동 또는 일체하여 동작할 수 있다. 또한 추출기는 독립적인 서버에서 동작될 수 있다.
도 23은 다른 실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치의 블록도를 도시한다.
다른 실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(2300)는 실감형 다시점 스케일러블 비디오 비트스트림을 입력받을 수 있다. 입력된 비트스트림은 선택 또는 추출 정보 설정부(2310)에 입력되거나 비트스트림 추출부(2320)로 입력될 수 있다.
선택 또는 추출 정보 설정부(2310)는 비트스트림 추출 정보, 비트스트림 선택 정보 그리고 다시점 스케일러블 비디오 비트스트림을 입력받을 수 있다. 입력된 비트스트림 선택 정보 또는 비트스트림 추출 정보와 일실시예에 따라 생성된 비트스트림 요약 정보를 이용하여, 적합한 추출 또는 선택을 위해 변환된 추출 정보가 생성되고 비트스트림 추출부(2320)로 출력된다.
비트스트림 추출부(2320)에서는 추출 또는 선택 정보 설정부(2310)에 의해 변환된 추출 정보와 다시점 스케일러블 비디오 비트스트림을 입력받아, 일실시예에 따른 필요 시점 및 스케일러블 계층을 고려하여 선택적으로 비트스트림을 추출하고, 추출된 비트스트림들은 비트스트림 조합부(2330)로 출력된다.
비트스트림 조합부(2330)는 추출된 비트스트림들을 일실시예에 따라 다시점 스케일러블 비디오 비트스트림 재구성 과정을 수행하여, 재구성된 비트스트림을 생성한다.
도 24는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치가 적용된 디코딩 장치의 블록도를 도시한다.
일실시예에 따른 디코딩 장치(2400)에 입력된 다시점 스케일러블 비디오 비트스트림은 비트스트림 선택부(2410)에 입력되거나 비트스트림 분해부(2420)로 입력될 수 있다.
비트스트림 선택부(2410)는 비트스트림 선택 정보와 다시점 스케일러블 비디오 비트스트림을 입력받아, 비트스트림 선택 정보 중 시점 정보 및 공간적, 시간적, 화질적 스케일러블 계층 정보를 이용하여, 일실시예에 따라 다시점 스케일러블 비디오 비트스트림으로부터 일부의 비트스트림을 선택하여 출력할 수 있다. 비트스트림 선택 정보는 일실시예에 따른 추출 정보 및 비트스트림 추출 정보에 상응한다.
비트스트림 선택부(2410)에 의해 선택된 비트스트림 또는 디코딩 장치(2400) 입력된 비트스트림은 비트스트림 분해부(2420)로 입력되거나 디코딩부(230)로 입력될 수 있다.
비트스트림 분해부(2420)는 비트스트림과 비트스트림 분해 정보를 입력받고, 일실시예에 따라 비트스트림 분해 정보를 이용하여 다시점 스케일러블 비디오 비트스트림으로부터 원하는 비트스트림을 선택적으로 추출함으로써 비트스트림을 분해해서 디코딩부(2430)에게로 출력한다.
디코딩부(2430)는 출력할 시점 개수에 따라서 물리적/논리적으로 별개인 서브-디코더들로 구성될 수 있고, 물리적/논리적으로 하나로 구성될 수도 있다. 하나의 디코더로 구성된 디코딩부(2430)의 경우에는 각각의 시점이 디코딩되는 순서에 따라서 순차적으로 각각의 시점별 비트스트림에 대해 디코딩을 수행할 수 있다. 또한 출력되는 시점 개수에 따라 서브-디코더들이 물리적/논리적으로 별개로 존재하는 경우, 서브-디코더들의 디코딩 과정을 병렬로 수행될 수 있다.
다른 실시예로 디코딩부(2430)이 비트스트림 추출기까지 포함하는 경우, 하나의 독립된 디코더로 구성된 디코딩부(2430)는 비트스트림 선택부(2410)로부터 입력된 '분해되지 않은 비트스트림'을 입력받을 수 있고, 여러 개의 서브-디코더로 구성된 디코딩부(2430)은 비트스트림 분해부(220)에 의해서 '분해된 비트스트림'들을 각각 입력받을 수 있다.
디코딩부(2430)는 시점 및 스케일러블 계층별로 '분해된 비트스트림'과, 다른 시점 정보, 하위 계층 정보, 계층 간 예측 정보를 입력받을 수 있으며, 입력된 비트스트림에 따라서 다양한 방법의 디코딩을 수행할 수 있다.
만약 H.264 비디오 디코딩 표준에 따르는 디코딩이 수행되는 경우, 비트스트림 이외에 다른 시점 정보, 하위 계층 정보, 계층간 예측 정보는 사용되지 않는다. 또한 SVC 비디오 디코딩 표준에 따르는 디코딩이 수행되는 경우, 하위 계층 정보를 이용한 디코딩이 수행될 수 있으며, MVC 비디오 디코딩 표준에 따르는 디코딩이 수행되는 경우에는 다른 시점 정보를 이용하여 디코딩이 수행될 수 있다. 그리고 MSVC 비디오 디코딩 방식에 따르는 디코딩이 수행되는 경우에는 다른 시점 정보, 하위 계층 정보 그리고 계층 간 예측 정보를 이용하여 디코딩이 수행될 수 있다.
디코딩부(2430)에 의해 디코딩된 정보는 다른 계층 또는 다른 시점을 디코딩하는데 사용하기 위해서 현재 디코딩 정보(현재 스케일러블 계층의 디코딩 정보, 또는 디코딩된 영상)가 다른 시점을 위한 디코딩부에서 사용될 수 있도록 출력될 수 있다.
만약 디코딩부(2430)가 독립적으로 구성된 경우에는, 출력된 디코딩 정보가 다시 현재 디코딩부(2430)에 입력될 수 있으며, 만약 그렇지 않고 여러 개의 시점별 디코딩부로 구성된 경우에는 출력된 디코딩 정보가 다른 디코딩부로 입력될 수도 있다.
도 25는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 방법의 흐름도를 도시한다.
단계 2510에서, 적어도 하나의 코딩된 시점별 영상들에 대한 제1 다시점 스케일러블 비디오 비트스트림이 수신된다.
단계 2520에서, 제1 다시점 스케일러블 비디오 비트스트림 중, 추출하고자하는 시점 및 스케일러블 계층의 코딩된 시점 영상에 대응하는 적어도 하나의 비트스트림이 검색된다. 추출하고자 하는 비트스트림의 시점 및 스케일러블 계층에 대한 비트스트림 추출 정보 및 다시점 스케일러블 비디오 비트스트림 중 시점 및 스케일러블 계층에 대한 비트스트림 요약 정보를 이용하여, 추출하고자 하는 시점 및 스케일러블 계층의 비트스트림이 결정될 수 있다.
단계 2530에서, 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여, 추출하기 위해 검색된 적어도 하나의 비트스트림이 추출된다. 각각의 시점 및 스케일러블 계층의 비트스트림은 날 유닛으로 추출될 수 있다.
단계 2540에서, 추출된 적어도 하나의 비트스트림이 조합되어, 제2 다시점 스케일러블 비디오 비트스트림이 재구성된다. 동일 시간대의 시점 및 스케일러블 계층의 날 유닛의 비트스트림들은 하나의 액세스 유닛으로 조합될 수 있다.
재구성된 제2 다시점 스케일러블 비디오 비트스트림은 디코더로 출력되어 디코딩되고, 단말이 요구하는 시점, 해상도, 화질의 영상들로 복원될 수 있다.
도 26은 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 인코딩 방법의 흐름도를 도시한다.
단계 2610에서, 적어도 하나의 코딩된 시점별 영상들에 대해, 시점 및 스케일러블 계층을 고려한 다시점 스케일러블 비디오 인코딩이 수행된다.
단계 2620에서, 각각의 시점 및 스케일러블 계층의 에 대한 해당 시점 및 해당 스케일러블 계층에 대한 정보를 포함하는 비트스트림 요약 정보가 생성된다. 비트스트림 요약 정보는 시점 추출 방법 정보 및 스케일러블 계층 정보를 포함할 수 있다.
단계 2630에서, 다시점 스케일러블 비디오 인코딩에 의해 생성된 각각의 시점 및 스케일러블 계층의 비트스트림들을, 시점 및 계층을 고려한 순서에 따라 조합하여 다시점 스케일러블 비디오 비트스트림이 생성된다. 각각의 시점 및 스케일러블 계층의 비트스트림은 날 유닛 형태로, 동일 시간대의 날 유닛들이 조합되어 액세스 유닛 형태의 비트스트림을 구성하고, 액세스 유닛들이 시간 순서대로 조합됨으로써 다시점 스케일러블 비디오 비트스트림이 생성될 수 있다.
단계 2640에서, 다시점 스케일러블 비디오 비트스트림 및 비트스트림 요약 정보가 출력된다. 비트스트림 요약 정보는 다시점 스케일러블 비디오 비트스트림에 삽입되어 출력되거나, 별개의 비트스트림으로 출력되어 전송될 수 있다.
일실시예에 따른, 다시점 스케일러블 비디오 비트스트림 생성 방법 및 그 장치는, HD급 해상도의 다시점 영상 컨텐트를 한번의 인코딩을 수행하여 비트스트림을 생성할 수 있다. 일실시예 따르면, 기존 2차원 디스플레이, 스테레오스코픽 디스플레이, 다시점 영상 디스플레이 장치, 자유로운 시점 선택형 디스플레이 등을 포함하는 다양한 시점, QVGA, SD, HD, Full HD 등을 포함하는 다양한 화면 크기, VCD, DVD, HDTV 등을 포함하는 다양한 화질, 5Hz, 15Hz, 30Hz, 60Hz 등을 포함하는 다양한 시간적 해상도 등의 다양한 포맷의 컨텐트가 인코딩되어 비트스트림으로 전송될 수도 있다. 또한, 다시점 스케일러블 비디오 비트스트림으로부터 정확한 포맷의 컨텐츠를 추출하기 위하여 필요한 정보들이 함께 코딩되어 전송된다.
또한, 일실시예에 따른, 다시점 스케일러블 비디오 비트스트림 추출 방법 및 그 장치는, 수신된 비트스트림들로부터 원하는 포맷의 컨텐트에 해당하는 비트스트림을 선택하여 컨텐트를 추출하여 디스플레이 장치들로 전송할 수 있다. 이에 따라, 다양한 시점, 다양한 화면 크기, 다양한 화질, 다양한 시간적 해상도를 지원할 수 있는 디스플레이 장치들에게 각각의 환경에 맞는 컨텐트가 제공될 수 있다.
따라서 일실시예에 따른 다시점 스케일러블 비디오 코딩에 의해, 실감형 비디오 컨텐트가 다양한 전송환경과 다양한 단말들에게 효율적으로 전달할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다.
또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

Claims (24)

  1. (a) 제1 다시점 스케일러블 비디오 비트스트림을 수신하는 단계;
    (b) 상기 제1 다시점 스케일러블 비디오 비트스트림 중, 추출 대상 시점에 대응하는 적어도 하나의 비트스트림을 검색하는 단계;
    (c) 상기 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여 상기 검색된 적어도 하나의 비트스트림을 추출하는 단계; 및
    (d) 상기 추출된 적어도 하나의 비트스트림을 조합하여, 제2 다시점 스케일러블 비디오 비트스트림을 재구성하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.
  2. 제1항에 있어서, 상기 (b) 단계는,
    상기 추출 대상 시점의 비트스트림에 대한 비트스트림 추출 정보를 설정하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.
  3. 제2항에 있어서, 상기 비트스트림 추출 정보를 설정하는 단계는,
    입력 정보에 기초하여 상기 비트스트림 추출 정보 중 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.
  4. 제3항에 있어서, 상기 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정 단계는,
    상기 제1 다시점 스케일러블 비디오 비트스트림에 대한 비트스트림 요약 정보를 획득하는 단계; 및
    상기 비트스트림 요약 정보에 기초하여, 상기 제1 다시점 스케일러블 비디오 비트스트림에 대한 정보로서 상기 입력 정보에 대응하는 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.
  5. 제4항에 있어서, 상기 시점 추출 정보 및 스케일러블 계층 추출 정보는,
    상기 비트스트림 요약 정보의 시점 및 스케일러블 계층에 대한 식별 정보 중, 상기 입력 정보에 가장 근사한 값으로 설정되는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.
  6. 제2항에 있어서, 상기 비트스트림 추출 정보는,
    디코딩 가능한 시점 수, 공간적 해상도, 시간적 해상도, 화질을 포함하는 디코딩 성능에 관한 정보, 네트워크 상태에 관한 정보, 해당 시점 추출에 관한 정보 및 스케일러블 계층에 관한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.
  7. 제3항에 있어서, 상기 입력 정보는,
    시점, 공간적 해상도, 시간적 해상도, 화질 중 적어도 하나에 대하여 상기 제2 다시점 스케일러블 비디오 비트스트림을 제공받는 단말기의 성능에 관한 정보인 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.
  8. 제4항에 있어서, 상기 비트스트림 요약 정보를 획득하는 단계는,
    상기 제1 다시점 스케일러블 비디오 비트스트림 또는 상기 제1 다시점 스케일러블 비디오 비트스트림과는 별개의 비트스트림으로부터 상기 비트스트림 요약 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.
  9. 제 4항에 있어서, 상기 비트스트림 요약 정보는
    시점 추출 방법 정보 및 스케일러블 계층 추출 방법 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.
  10. 제1항에 있어서, 상기 (d) 단계는,
    상기 추출된 적어도 하나의 비트스트림을, 시점들의 디코딩 순서에 따라 조합하여 하나의 비트스트림으로 재구성하거나, 적어도 하나의 시점 집합별 비트스트림으로 재구성하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.
  11. 제1항에 있어서,
    상기 제2 다시점 스케일러블 비디오 비트스트림을 적어도 하나의 디코더로 전송하는 단계를 더 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.
  12. 제11항에 있어서,
    상기 제2 다시점 스케일러블 비디오 비트스트림을 복호화하여 적어도 하나의 시점 및 적어도 하나의 스케일러블 계층에 대한 시점 영상들을 복원하는 단계를 더 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.
  13. 제1항에 있어서,
    단말 네트워크가 상기 다시점 스케일러블 비디오 비트스트림 추출 방법을 구현하는 적어도 하나의 비트스트림 추출기 및 적어도 하나의 디코더를 포함하는 경우, 컨텐츠 서버로부터 상기 제1 다시점 스케일러블 비디오 비트스트림을 제공받는 적어도 하나의 단말 네트워크를 통해 다시점 스케일러블 비디오 비트스트림 제공 서비스가 구현되는 것을 특징으로 하는 다시점 스케일러블 비트스트림 추출 방법.
  14. 제13항에 있어서,
    상기 비트스트림 추출기는, 상기 디코더에 포함되거나, 상기 컨텐츠 서버에 포함되거나, 상기 컨텐츠 서버와 상기 적어도 하나의 디코더 간의 네트워크 내에 위치하거나, 독립적인 비트스트림 추출 서버로 구동하는 것을 특징으로 하는 다시점 스케일러블 비트스트림 추출 방법.
  15. (a) 적어도 하나의 입력 영상들에 대해, 시점 및 스케일러블 계층을 고려한 다시점 스케일러블 비디오 인코딩을 수행하는 단계;
    (b) 상기 다시점 스케일러블 비디오 인코딩에 의해 생성된 비트스트림에 대해 상기 시점에 대한 정보 및 상기 스케일러블 계층에 대한 정보 중 적어도 하나를 포함하는 비트스트림 요약 정보를 생성하는 단계;
    (c) 상기 생성된 비트스트림을, 상기 시점 및 스케일러블 계층을 고려한 순서에 따라 조합하여 다시점 스케일러블 비디오 비트스트림을 생성하는 단계; 및
    (d) 상기 다시점 스케일러블 비디오 비트스트림 및 상기 비트스트림 요약 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 생성 방법.
  16. 제15항에 있어서, 상기 (b) 단계는,
    상기 비트스트림 요약 정보로서 시점별 정보, 시점 추출 방법 정보 및 스케일러블 계층 정보를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 생성 방법.
  17. 제15항에 있어서, 상기 (d) 단계는,
    상기 비트스트림 요약 정보를 상기 다시점 스케일러블 비디오 비트스트림과 별개의 비트스트림으로 출력하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 생성 방법.
  18. 제15항에 있어서, 상기 (d) 단계는,
    상기 비트스트림 요약 정보를 상기 다시점 스케일러블 비디오 비트스트림에 추가적으로 삽입하여, 상기 다시점 스케일러블 비디오 비트스트림을 출력하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 생성 방법.
  19. 적어도 하나의 코딩된 영상들에 대한 제1 다시점 스케일러블 비디오 비트스트림을 수신하는 제1 다시점 스케일러블 비디오 비트스트림 수신부;
    상기 제1 다시점 스케일러블 비디오 비트스트림 중, 추출 대상 시점에 대응하는 적어도 하나의 비트스트림을 검색하는 비트스트림 검색부;
    상기 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여 상기 검색된 적어도 하나의 비트스트림을 추출하는 비트스트림 추출부; 및
    상기 추출된 적어도 하나의 비트스트림을 조합하여 제2 다시점 스케일러블 비디오 비트스트림을 재구성하는 제2 다시점 스케일러블 비트스트림 재구성부를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 장치.
  20. 제19항에 있어서, 상기 다시점 스케일러블 비디오 비트스트림 추출 장치는,
    상기 제2 다시점 스케일러블 비디오 비트스트림을 적어도 하나의 디코딩 단말기로 전송하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 장치.
  21. 제19항에 있어서,
    상기 제2 다시점 스케일러블 비디오 비트스트림을 복호화하여 적어도 하나의 시점 및 스케일러블 계층에 대한 디코딩 된 영상들로 복원하는 다시점 스케일러블 비디오 복원부를 더 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 장치.
  22. 적어도 하나의 시점들에 대해, 시점 및 스케일러블 계층을 고려한 다시점 스케일러블 비디오 인코딩을 수행하는 다시점 스케일러블 비디오 인코딩부;
    상기 디시점 스케일러블 비디오 인코딩에 의해 생성된 비트스트림에 대해 상기 시점에 대한 정보 및 스케일러블 계층에 대한 정보를 포함하는 비트스트림 요약 정보를 생성하는 비트스트림 요약 정보 생성부;
    상기 생성된 비트스트림을, 상기 시점 및 계층을 고려한 순서에 따라 조합하여 다시점 스케일러블 비디오 비트스트림을 생성하는 다시점 스케일러블 비디오 비트스트림 생성부; 및
    상기 다시점 스케일러블 비디오 비트스트림 및 상기 비트스트림 요약 정보를 출력하는 출력부를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 생성 장치.
  23. 제1항 내지 제14항 중 어느 한 항의 다시점 스케일러블 비디오 비트스트림 추출 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
  24. 제15항 내지 제18항 중 어느 한 항의 다시점 스케일러블 비디오 비트스트림 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
KR1020100019908A 2009-08-13 2010-03-05 추출 방법과 그 장치, 및 다시점 스케일러블 비디오 비트스트림 생성 방법과 그 장치 KR101101320B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090074883 2009-08-13
KR20090074883 2009-08-13

Publications (2)

Publication Number Publication Date
KR20110017337A true KR20110017337A (ko) 2011-02-21
KR101101320B1 KR101101320B1 (ko) 2011-12-30

Family

ID=43775426

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100019908A KR101101320B1 (ko) 2009-08-13 2010-03-05 추출 방법과 그 장치, 및 다시점 스케일러블 비디오 비트스트림 생성 방법과 그 장치

Country Status (1)

Country Link
KR (1) KR101101320B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013051896A1 (ko) * 2011-10-05 2013-04-11 한국전자통신연구원 비디오 부호화/복호화 방법 및 그 장치
KR101407665B1 (ko) * 2012-10-09 2014-06-13 주식회사 아이티엑스시큐리티 비디오 기록 장치
WO2018004239A1 (ko) * 2016-06-27 2018-01-04 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
KR20180058649A (ko) * 2016-11-24 2018-06-01 한국전자통신연구원 스케일러블 비디오를 처리하기 위한 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013051896A1 (ko) * 2011-10-05 2013-04-11 한국전자통신연구원 비디오 부호화/복호화 방법 및 그 장치
KR101407665B1 (ko) * 2012-10-09 2014-06-13 주식회사 아이티엑스시큐리티 비디오 기록 장치
WO2018004239A1 (ko) * 2016-06-27 2018-01-04 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
US11184584B2 (en) 2016-06-27 2021-11-23 Gachon University Of Industry-Academic Cooperation Foundation Method for image decoding, method for image encoding, apparatus for image decoding, apparatus for image encoding
KR20180058649A (ko) * 2016-11-24 2018-06-01 한국전자통신연구원 스케일러블 비디오를 처리하기 위한 방법 및 장치

Also Published As

Publication number Publication date
KR101101320B1 (ko) 2011-12-30

Similar Documents

Publication Publication Date Title
KR101915037B1 (ko) 고해상도 영상 스트리밍을 위한 영상 비트스트림 생성방법 및 장치
Vetro et al. Overview of the stereo and multiview video coding extensions of the H. 264/MPEG-4 AVC standard
KR100563754B1 (ko) 이미지 신호를 다중화하는 방법 및 시스템, 이미지 신호를 역다중화하는 방법 및 시스템 및, 전송 매체
EP0883300B1 (en) Temporal and spatial scaleable coding for video object planes
KR102229848B1 (ko) 정보 처리 장치 및 방법
CN103026706B (zh) 用于多层帧兼容视频传输的系统及方法
EP2538675A1 (en) Apparatus for universal coding for multi-view video
CN109155861A (zh) 用于编码媒体内容的方法和装置以及计算机程序
US20090103619A1 (en) Method of coding and decoding multiview sequence and method of displaying thereof
Lim et al. A multiview sequence CODEC with view scalability
US20070041443A1 (en) Method and apparatus for encoding multiview video
US20210227236A1 (en) Scalability of multi-directional video streaming
US11412265B2 (en) Decoding multi-layer images
CN105325003A (zh) 用于视频编码和解码的装置、方法和计算机程序
US11677922B2 (en) Apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
JP2009505604A (ja) 多視点動映像を符号化する方法及び装置
US11259049B2 (en) Area-based processing method and apparatus for 360-degree video
US11509879B2 (en) Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
US20150312547A1 (en) Apparatus and method for generating and rebuilding a video stream
CN103814572A (zh) 帧兼容的全分辨率立体3d压缩和解压缩
Puri et al. Stereoscopic video compression using temporal scalability
KR101101320B1 (ko) 추출 방법과 그 장치, 및 다시점 스케일러블 비디오 비트스트림 생성 방법과 그 장치
CN101743750A (zh) 用于编码和解码多视角图像的方法和装置
KR101144752B1 (ko) 비디오 인코딩/디코딩 방법 및 그 장치
KR101386651B1 (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141203

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151209

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161209

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181002

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 9