KR20110039531A

KR20110039531A - 코딩 효율을 증가시키기 위하여 고속 채널 변경을 위한 스케일러블 비디오 코딩 방법

Info

Publication number: KR20110039531A
Application number: KR1020117000944A
Authority: KR
Inventors: 시우핑 루; 제뉴 우; 존 키앙 리
Original assignee: 톰슨 라이센싱
Priority date: 2008-07-16
Filing date: 2009-01-16
Publication date: 2011-04-19
Also published as: JP2011528529A; EP2301252A1; CN102100069A; WO2010008416A1; US20110110418A1; BRPI0915795A2

Abstract

장치는 기본 계층 비디오로 코딩된 신호와 향상된 계층 비디오로 코딩된 신호를 포함하는 스케일러블 비디오로 코딩된(SVC: scalable video coded) 신호를 제공하기 위하여 비디오 신호를 인코딩하고, 이 기본 계층 비디오로 코딩된 신호는 향상 계층보다 더 많은 랜덤 액세스 포인트, 예를 들어, 즉각적 디코더 리프레쉬(IDR: Instantaneous Decoder Refresh)를 가지며, 이들 액세스 유닛에서, 향상 계층이 IDR 슬라이스를 갖는다면, 기본 계층은 비-IDR 슬라이스를 갖는다.

Description

코딩 효율을 증가시키기 위하여 고속 채널 변경을 위한 스케일러블 비디오 코딩 방법{A SCALABLE VIDEO CODING METHOD FOR FAST CHANNEL CHANGE TO INCREASE CODING EFFICIENCY}

본 출원은 2008년 7월 16일에 제출된 미국 가 출원 번호 61/081,056의 권리를 주장한다.

본 발명은 일반적으로 통신 시스템, 예를 들어, 지상파 방송, 셀룰러(cellular), 무선-충실도 (Wi-FI: Wireless-Fidelity), 위성 등과 같은 유선 및 무선 시스템에 관한 것이다.

압축된 비디오 비트 스트림이 무선 네트워크와 같은 오류-유발(error-prone) 통신 채널을 통하여 전달될 때, 비트 스트림의 특정 부분은 손상될 수 있거나(corrupted) 또는 분실될 수 있다. 이렇게 오류가 있는 비트스트림이 수신기에 도달하여 비디오 디코더에 의해 디코딩될 때, 재생(playback) 품질은 심하게 안 좋은 영향을 받을 수 있다. 소스(source) 오류 복원(resiliency) 코딩은 이러한 문제를 다루는데 사용되는 기술이다.

비디오 브로드캐스트/멀티캐스트 시스템에서, 하나의 압축된 비디오 비트 스트림은, 일반적으로 세션(session)이라 종종 불리는 지정된 시간 주기에 동시에 사용자의 그룹에 전달된다. 비디오 코딩의 예측 성질에 기인하여, 비트 스트림에 대한 랜덤 액세스는 비트 스트림 내부의 특정 랜덤 액세스 포인트에서만 이용가능하므로, 올바른 디코딩이 이들 랜덤 액세스 포인트로부터 시작만이 가능하다. 랜덤 액세스 포인트가 일반적으로 더 낮은 압축 효율을 가지므로, 오직 비트 스트림 내에 제한된 수의 이러한 포인트가 존재한다. 그 결과로서, 사용자가 이 사용자의 수신기를 채널에 동조하고 세션에 가입할 때, 올바른 디코딩을 시작하기 위하여, 사용자는 수신된 비트 스트림에서 다음의 이용가능한 랜덤 액세스 포인트를 위하여 기다려야 하는데, 이는 비디오 콘텐츠의 재생에서 지연을 유발한다. 이러한 지연은 동조 지연이라 불리고, 이는 시스템의 사용자 경험에 영향을 주는 중요한 요소이다.

비디오 전달 시스템에서, 몇몇의 압축된 비디오 비트 스트림은 공통 송신 매체를 공유하는 최종 사용자에 전달되는데, 여기에서 각 비디오 비트 스트림은 프로그램 채널에 대응한다. 이전의 경우와 유사하게, 사용자가 하나의 채널에서 다른 채널로 전환할 때, 이 사용자는 올바르게 디코딩을 시작하기 위하여, 채널로부터 수신된 비트 스트림에서 다음의 이용가능한 랜덤 액세스 포인트를 위하여 기다려야 한다. 이러한 지연은 채널-변경 지연이라 불리고, 이러한 시스템에서 사용자 경험에 영향을 미치는 다른 중요한 요소이다.

삽입된 랜덤 액세스 포인트의 장점은 비디오 코딩의 관점로부터 압축된 비디오 비트 스트림의 오류 복원을 개선한다는 것이다. 예를 들어, 비트 스트림에 삽입되는 랜덤 액세스 포인트는 디코더를 주기적으로 리셋(reset)하고, 오류의 전파를 완전히 멈추는데, 이는 오류에 대항하는 비트의 강력함을 향상시킨다.

예를 들어, H.264/AVC 비디오 압축 표준{예를 들어, ITU-T 권고 H.264: "범용 시청각 서비스를 위한 진보된 비디오 코딩", ISO/IEC 14496-10 (2005): "정보 기술- 시-청각 객체 파트(Part) 10의 코딩: 진보된 비디오 코딩"을 보면)을 고려하면, 랜덤 액세스 포인트(또한, 포인트를 인에이블 시키는 전환 동작(switching)이라고 참조되는)는 IDR(Instantaneous Decoder Refresh) 슬라이스(slice), 내부(intra)-코딩된 매크로 블록(MBs) 및 SI(전환 동작 I)슬라이스 를 포함하는 코딩 방법에 의해 구현될 수 있다.

IDR 슬라이스에 대하여, IDR 슬라이스는 올바른 디코딩에 대한 임의의 이전 슬라이스에 의존하지 않는, 오직 내부-코딩된 MB만을 포함한다. 또한, IDR 슬라이스는 디코더에서 디코딩 픽쳐를 리셋하여, 다음의 슬라이스의 디코딩이 IDR 슬라이스 이전에 임의의 슬라이스에 독립적이다. 올바른 디코딩이 IDR 슬라이스 이후에 즉각적으로 이용가능하기에, 이는 또한 즉각적(instantaneous) 랜덤 액세스 포인트라 불린다. 이에 반하여, 점진적(gradual) 랜덤 액세스 동작은 내부-코딩된 MB를 기초로 실현될 수 있다. 다수의 연속적인 예측 픽쳐에서, 내부-코딩된 MB는 조직적으로 인코딩됨으로써, 이들 픽쳐의 디코딩 이후에, 다음의 픽쳐에서 각 MB는 픽쳐 중 하나에서 내부-코딩되어 함께-위치되는 대응물(counterpart)을 갖는다. 그러므로, 픽쳐의 디코딩은 픽쳐의 세트 이전에, 임의의 다른 슬라이스에 의존하지 않는다. 마찬가지로, Sl 슬라이스는 이러한 타입의 전용으로 인코딩된 슬라이스를 비트 스트림에 내장함으로써, 상이한 비트 스트림 사이의 전환 동작을 인에이블한다. 유감스럽게도, H264/AVC에서, IDR 슬라이스 또는 SI 슬라이스의 공통적인 단점은, 이들이 다른 타입의 압축된 픽쳐보다 보통 크기 때문에, 코딩 효율의 손실이 있다는 것이다. 일반적으로, 상당한 양의 비트율 오버헤드는 전환 동작 포인트를 내장하기 위하여 보상되어야 한다.

마찬가지로, 랜덤 액세스 포인트는 또한, 스케일러블 비디오 코딩(SVC: Scalable Video Coding)에 사용된다. SVC에서, 종속 표현은 다수의 계층 표현으로 구성되고, 액세스 유닛은 하나의 프레임 번호에 대응하는 모든 종속 표현으로 구성된다(Y-K. 왕(Y-K. Wang), 하눅셀라(Hannuksela), S. 패턱스(S.Pateux), A. 엘리퍼라이어디스(A. Eleftheriadis), 및 S. 웬저(S. Wenger) 등의 "SVC의 시스템 및 송신 인터페이스", 비디오 기술에 대한 IEEE Trans. 회로 및 시스템(2007, 9월), vol. 17, no. 9, 페이지 1149-1163; 및, H. 슈워크(H. Schwarz), D. 마프(D. Marpe), 및 T. 위전드(Wiegand)의 "H.264/AVC 표준의 스케일러블 비디오 코딩 확장의 개관", 비디오 기술에 대한 IEEE Trans. 회로 및 시스템(2007, 9월), vol. 17, no. 9, 페이지 1103-1120을 보면).

랜덤 액세스 포인트를 내장하기 위한 SVC에 대한 공통적인 방법은 IDR 슬라이스를 사용하여 전체적으로 액세스 유닛을 코딩하는 것이다. 구체적으로, 더 상위 계층 표현(더 높은 dependency_id 값을 갖는 계층 표현)이 IDR 픽쳐에 인코딩될 때, 모든 더 하위 계층 표현(들)(더 낮은 dependency_id 값을 갖는 계층 표현(들)) 또한 IDR 픽쳐(들)에 인코딩된다. 왜냐하면, 더 하위 계층 표현이 IDR 픽쳐 자체에 코딩될 때, 더 상위 계층 표현이 계층-사이의(inter) 예측을 잠정적으로 더 좋게 활용할 수 있기 때문이다(이 계층이 IDR 픽쳐에 인코딩될 때). 예시는 도 1에 도시된다. 도 1의 SVC로 코딩된 신호는 2개의 종속 표현을 갖고, 각 종속 표현은 하나의 계층 표현을 갖는다. 구체적으로, 기본 계층은 D = 0과 연관되고, 향상 계층은 D = 1("dependency_id"로 본 기술에 또한 참조되는 "D"의 값)에 연관된다. 도 1은 SVC 신호의 프레임에 존재하는 9개의 액세스 유닛을 도시한다. 점선 박스(10)에 도시된 바와 같이, 액세스 유닛(1)은 제 1 계층(D = 1)에 대한 IDR 슬라이스 및 기본 계층(I = 0)에 대한 IDR 슬라이스를 포함한다. 다음의 액세스 유닛은 2개의 예측된(P) 슬라이스를 포함한다. 액세스 유닛(1, 5 및 9)만이 IDR 슬라이스를 포함한다는 것은 도 1로부터 관측될 수 있다. 가령, 랜덤 액세스는 이들 액세스 유닛에 존재할 수 있다. 하지만, H.264/AVC의 경우와 같이, IDR 슬라이스로 인코딩된 각 액세스 유닛은, IDR 슬라이스가 다른 타입의 압축된 픽쳐보다 일반적으로 더 크기 때문에, SVC 코딩 효율을 감소시킨다.

본 발명의 원리에 따라, 비디오 신호를 송신하기 위한 방법은, 스케일러블 비디오 코딩(SVC) 신호의 제 1 스케일러블 계층을 채널 변경 계층으로 선택하는 단계로서, 이 제 1 스케일러블 계층은 스케일러블 비디오로 코딩된 신호의 제 2 스케일러블 계층의 연관된 dependency_id 값보다 작은 연관된 dependency_id 값을 갖는, 선택 단계, 스케일러블 비디오로 코딩된 신호를 제공하기 위한 비디오 신호를 스케일러블 비디오 코딩 단계로서, 이 단계에 의해, 스케일러블 비디오로 코딩된 신호의 적어도 일부에 대하여, 제 1 스케일러블 계층에서의 랜덤 액세스 포인트와 제 2 스케일러블 계층에서의 랜덤 액세스 포인트는 상이한 액세스 유닛에 존재하는, 스케일러블 비디오 코딩 단계, 및 스케일러블 비디오로 코딩된 신호를 송신하는 단계를 포함한다.

본 발명의 예시적인 실시예에 따라, SVC 신호는 기본 계층 및 향상 계층을 포함하는데, 기본 계층은 향상 계층보다 더 많은 랜덤 액세스 포인트, 예를 들어, IDR 슬라이스를 가짐으로써 선택되고, 이들 액세스 유닛에서 향상 계층이 IDR 슬라이스를 갖는다면, 기본 계층은 비-IDR 슬라이스를 갖는다.

본 발명의 다른 예시적인 실시예에서 SVC 인코더는 기본 계층 및 향상 계층을 포함하는 SVC 신호를 제공하는데, 기본 계층은 향상 계층보다 더 많은 랜덤 액세스 포인트, 예를 들어, IDR 슬라이스를 가짐으로써 선택되고, SVC 인코더는 코딩 효율의 기능으로서, 이들 액세스 유닛에서 향상 계층이 IDR 슬라이스를 갖는 경우, 기본 계층이 비-IDR 슬라이스를 갖는지를 결정한다.

위의 관점에서, 그리고, 상세한 서술을 읽음으로써 명백해지는 바와 같이, 다른 실시예 또는 특징 또한 본 발명의 원리 내에 있을 수 있고 이에 속하게 된다.

본 발명은 코딩 효율을 증가시키기 위하여 고속 채널 변경을 위한 스케일러블 비디오 코딩 방법을 제공함으로써, 상기 언급된 SVC 코딩 효율을 증가시킨다.

도 1은 즉각적 디코더 리프레쉬(IDR: Instantaneous Decoder Refresh) 슬라이스를 갖는 종래 기술의 스케일러블 비디오 코딩(SVC) 신호를 도시하는 도면.
도 2는 SVC 인코딩에서 사용하기 위한 예시적인 흐름도를 도시하는 도면.
도 3은 예시적인 SVC 신호를 도시하는 도면.
도 4는 본 발명의 원리에 따라, SVC 인코딩에서 사용하기 위한 예시적인 흐름도를 도시하는 도면.
도 5는 본 발명의 원리에 따라 장치의 예시적인 실시예를 도시하는 도면.
도 6은 본 발명의 원리에 따라 예시적인 SVC 신호를 도시하는 도면.
도 7은 본 발명의 원리에 따라, SVC 인코딩에서 사용하기 위한 다른 예시적인 흐름도를 도시하는 도면.
도 8은 본 발명의 원리에 따라 장치의 다른 예시적인 실시예를 도시하는 도면.
도 9는 본 발명의 원리에 따라 다른 예시적인 흐름도를 도시하는 도면.

본 발명의 개념 이외에, 도면에 도시되는 요소는 잘 알려져 있기에, 상세히 서술되지는 않는다. 예를 들어, 본 발명의 개념 이외에, 이산 다중톤(DMT: Discrete Multitone) 송신(또한, 직교 주파수 분할 멀티플렉싱(OFDM) 또는 코딩된 직교 주파수 분할 멀티플렉싱(COFDM))이 잘 알려져 있다고 간주 되기에, 본 명세서에서 서술되지 않는다, 또한, 텔레비전 방송, 수신기 및 비디오 인코딩이 잘 알려져 있다고 간주 되기에, 본 명세서에서 상세히 서술되지 않는다. 예를 들어, 본 발명의 개념 이외에, NTSC(국가 텔레비전 시스템 위원회, National Television Systems Committee), PAL(Phase Alternation Lines), SECAM(SEquential Couleur Avec Memoire) 및 ATSC(차세대 텔레비전 시스템 위원회, Advanced Television Systems Comittee)(ATSC), 중국 디지털 텔레비전 시스템(GB) 20600-2006 및 DVB-H와 같은 TV 표준에 대한 현재 및 제안된 권고는 잘 알려져 있다고 간주된다. 마찬가지로, 본 발명의 개념 이외에, 8개의-레벨 잔류 측파대(8-VSB), 직교 진폭 변조(QAM)와 같은 다른 송신 개념과, 무선 주파수(RF) 프론트-엔드(front-end)(저 잡음 블록, 동조기, 다운(down) 컨버터 등과 같은), 복조기, 상관기(correlator), 리크(leak) 적분기 및 제곱기와 같은 수신기 구성 요소가 간주된다. 게다가, 본 발명의 개념 이외에, 단방향 송신을 통한 파일 전달(FLUTE: FIle Delivery over Unidirectional Transport) 프로토콜, 비동기 계층 코딩(ALC: Asynchronous Layered Coding) 프로토콜, 인터넷 프로토콜(IP), 및 인터넷 프로토콜 캡슐화기(encapsulator)(IPE)와 같은 프로토콜이 잘 알려져 있다고 간주되어, 본 명세서에서는 서술되지 않는다. 마찬가지로, 본 발명의 개념 이외에, 송신 비트 스트림을 생성하기 위하여, 포맷 방법 및 인코딩 방법(동화상 전문가 그룹 (MPEG)-2 시스템 표준(ISO/IEC 13818-1), 및 위에-언급된 SVC와 같은)은 잘 알려져 있기에, 본 명세서에서 서술되지 않는다. 본 발명의 개념이 본 명세서에서 서술되지 않는 종래의 프로그래밍 기술을 사용하여 구현될 수 있다는 것 또한 주목되어야 한다.

앞서 언급된 바와 같이, 수신기가 초기에 켜졌을 때, 또는, 채널 변경 동안 내내, 또는 심지어 동일한 채널 내에 서비스를 단지 변경시킬지라도, 수신기는 임의의 수신된 데이터를 처리할 수 있기 전에, 요구된 초기화 데이터를 위해 추가적으로 기다려야 할 수 있다. 그 결과, 사용자는 서비스 또는 프로그램을 액세스할 수 있기 이전에, 추가적인 시간의 양만큼 기다려야 한다. 본 명세서에서 서술된 바와 같이, 용어 "채널 변경", "동조", "서비스 변경"은 이 용어 모두가 새로운 프로그램에 대한 전환 동작을 나타내기에 동일하다.

SVC에서, SVC 신호는 다수의 종속 (공간) 계층을 포함할 수 있는데, 여기에서 각 종속 계층은 동일한 dependency_id 값을 갖는 SVC 채널의 하나 이상의 시간적 및/또는 품질 스케일러블 계층일 수 있다. 기본 계층(dependency_id = 0)은 비디오 신호의 해상도의 최소 레벨을 나타낸다. 다른 계층(dependency_id > 0)은 비디오 신호에 대한 해상도의 계층을 증가시키는 것을 나타낸다. 예를 들어, SVC 신호가 3가지 계층을 포함한다면, 기본 계층, 계층 1, 및 계층 2가 존재한다. 각 계층은 상이한 dependency_id 값에 연관된다. 수신기는 단지 (a) 기본 계층, (b) 기본 계층 및 계층 1, 또는 (c) 기본 계층, 계층 1, 및 계층 2를 처리할 수 있다. 예를 들어, SVC 신호는 기본 신호의 해상도만을 지원하는 디바이스에 의해 수신될 수 있고, 가령, 이러한 타입의 디바이스는 수신된 SVC 신호의 다른 2개의 계층을 간단히 무시할 수 있다. 반대로, 디바이스가 가장 높은 해상도를 지원한다면, 이러한 타입의 디바이스는 수신된 SVC 신호의 모든 3가지 계층을 처리할 수 있다.

SVC에서, IDR 픽쳐의 인코딩은 각 계층에 대하여 독립적으로 완료될 수 있다. 가령, 그리고 본 발명의 원리에 따라, 비디오 신호를 송신하기 위한 방법은 스케일러블 비디오 코딩(SVC) 신호의 제 1 스케일러블 계층을 채널 변경 계층으로 선택하는 단계로서, 이 제 1 스케일러블 계층은 스케일러블 비디오로 코딩된 신호의 제 2 스케일러블 계층의 연관된 dependency_id 값보다 작은 연관된 dependency_id 값을 갖는, 선택 단계, 스케일러블 비디오로 코딩된 신호를 제공하기 위한 비디오 신호를 스케일러블 비디오 코딩 단계로서, 이 단계에 의해, 스케일러블 비디오로 코딩된 신호의 적어도 일부에 대하여, 제 1 스케일러블 계층에서의 랜덤 액세스 포인트와 제 2 스케일러블 계층에서의 랜덤 액세스 포인트는 상이한 액세스 유닛에 존재하는, 스케일러블 비디오 코딩 단계, 및 스케일러블 비디오로 코딩된 신호를 송신하는 단계를 포함한다. 그 결과로서, 비디오 인코더는 추가의 전환동작가능케 하는 포인트를 압축된 비디오 비트 스트림 내에 내장함으로써, 동조 지연 및 채널 변경 지연을 감소시킬 수 있고, 전반적인 비트율을 더 감소시킨다.

본 발명의 예시적인 실시예에서, SVC 신호는 기본 계층, 향상 계층을 포함하는데, 기본 계층은 향상 계층보다 더 많은 랜덤 액세스 포인트, 예를 들어, IDR 슬라이스를 갖기에 선택되고, 향상 계층이 IDR 슬라이스를 갖는 이들 액세스 유닛에서, 기본 계층은 비-IDR 계층을 갖는다. 본 발명의 개념이 2개의 계층의 상황에서 설명되었지만, 본 발명의 개념은 이에 제한되지 않고, 2개보다 많은 스케일러블 계층이 존재할 수 있다.

본 발명의 개념을 서술하기 이전에, 동조 지연 및 채널-변경 지연을 감소시키기 위한 스케일러블 비디오 인코더에서 사용하기 위한 흐름도는 도 2에 도시된다. 단계(105)에서, 스케일러블 비디오 인코더는 기본 계층 및 적어도 하나의 다른 계층을 포함하는 SVC 신호로 비디오 신호를 인코딩한다. 구체적으로, 단계(110)에서, 스케일러블 비디오 인코더는 비디오 신호를 인코딩하여, IDR 슬라이스가 초래하는 SVC 채널의 임의의 다른 계층보다는 기본 계층에 더 자주 삽입되게 한다. 예를 들어, 스케일러블 비디오 인코더는, 코딩 파라미터가 상이한 공간 계층에서 상이한 IDR 간격을 지정하는 것을 제외하고는 존재하는 코딩 패턴 IBBP 또는 IPPP와 유사한 코딩 파라미터에 응답한다. 마지막으로 단계(115)에서, SVC 신호가 송신된다.

이제 도 3을 참조하면, 도 2의 흐름도의 단계를 수행하는 SVC 인코더에 의해 형성된 예시적인 SVC 신호(111)가 도시된다. 이러한 예시에서, SVC 신호(111)는 2개의 계층, 기본 계층(D = 0) 및 향상 계층(D = 1)을 포함한다. 도 3으로부터 관측될 수 있는 바와 같이, 기본 계층은 액세스 유닛(1, 4, 7 및 9)에서 IDR 슬라이스를 갖는다; 반면에 향상 계층은 액세스 유닛(1, 9)에서만 IDR 슬라이스를 갖는다. 가령, 화살표(301)에 의해 도시되는 바와 같이, 수신 디바이스가 시간(T_c)에, SVC 신호(111)를 전달하는 채널로 변경될 때(또는 먼저 동조될 때), 수신 디바이스는 SVC 신호(111)의 기본 계층의 디코딩을 시작하여, 사용자에게 줄어든 해상도의 비디오 픽쳐를 제공할 수 있기 이전에, 화살표(302)에 의해 도시되는 시간(T_w) 만큼 기다려야만 한다. 따라서, 수신기는 기본 계층 비디오로 인코딩된 신호를 즉각적으로 디코딩함으로써, 동조 지연 및 채널-변경 지연을 감소시킬 수 있으므로, 더 많은 랜덤 액세스 포인트를 갖는다. 도 3으로부터 더 관측될 수 있는 것처럼, 수신기는 향상 계층을 디코딩하여, 더 높은 해상도의 비디오 픽쳐를 사용자에게 제공할 수 있기 전에, 화살표(303)로 나타나는 시간(T_D) 동안 기다려야 한다.

도 1에 도시되는 예시와 비교할 때, 2개의 계층이 동일한 IDR 주파수를 갖는 경우, 도 2의 방법은 기능 향상, 하지만 오직 제한된 성능 감소를 갖는 더 낮은 비트율의 동일한 세트를 실현하기 위한 능력을 제공한다. 이는 특히, 기본 계층이 비트 스트림에 대한 전체 비트율의 오직 적은 일부만을 취할 때, 해당된다. 예를 들어, 기본 계층(D = 0)으로서의 공통 중간 포맷(CIF: Common Intermediate Format)(372*288) 해상도 및 향상 계층(D = 1)으로서의 표준 화질(SD)(720*480) 해상도에 대하여, 기본 계층은 전체 비트율의 오직 적은 퍼센트(예를 들어, 대략 25%)만을 차지한다. 따라서, CIF 해상도에서 IDR 주파수를 증가시킴으로써, 비트율 오버헤드는 오직 향상 계층, 또는 2개의 계층 모두에서 IDR 주파수의 증가에 비해 매우 적게 된다. 불행히도, IDR 슬라이스로 인코딩된 각 액세스 유닛은, IDR 슬라이스가 다른 타입의 압축된 픽쳐에 비하여 일반적으로 크기에, 여전히 SVC 코딩 효율을 감소시킨다.

그러므로, 본 발명의 원리에 따라, 비디오 신호를 송신하기 위한 방법은, 스케일러블 비디오 코딩(SVC) 신호의 제 1 스케일러블 계층을 채널 변경 계층으로 선택하는 단계로서, 이 제 1 스케일러블 계층은 스케일러블 비디오로 코딩된 신호의 제 2 스케일러블 계층의 연관된 dependency_id 값보다 작은 연관된 dependency_id 값을 갖는, 선택 단계, 스케일러블 비디오로 코딩된 신호를 제공하기 위한 비디오 신호를 스케일러블 비디오 코딩 단계로서, 이 단계에 의해, 스케일러블 비디오로 코딩된 신호의 적어도 일부에 대하여, 제 1 스케일러블 계층에서의 랜덤 액세스 포인트와 제 2 스케일러블 계층에서의 랜덤 액세스 포인트는 상이한 액세스 유닛에 존재하는, 스케일러블 비디오 코딩 단계, 및 스케일러블 비디오로 코딩된 신호를 송신하는 단계를 포함한다.

본 발명의 원리에 따른 예시적인 흐름도는 도 4에 도시된다. 또한, 본 발명의 원리에 따라, 비디오 신호를 인코딩하기 위하여 예시적인 장치(200)를 도시하는 도 5에 일시적으로 주의를 돌려야한다. 본 발명의 개념에 관한 오직 이들 부분만이 도시된다. 장치(200)는 처리기-기반 시스템이고, 하나 이상의 처리기 및 도 5에 점선 박스의 형식으로 도시되는 처리기(240) 및 메모리(245)로 나타나는 바와 같이 연관된 메모리를 포함한다. 이러한 배경으로, 컴퓨터 프로그램 또는 소프트웨어는 처리기(240)를 통하여 실행하는 메모리(245)에 저장되고, 예를 들어 SVC 인코더(205)를 구현한다. 처리기(240)는 하나 이상의 저장된-프로그램 제어 처리기를 나타내고, 이들 처리기는 송신기 기능에 전용되어선 안되는데, 예를 들어, 처리기(240)는 또한 송신기의 다른 기능 또한 제어할 수 있다. 메모리(245)는 임의의 저장 디바이스, 예를 들어, 랜덤-액세스 메모리(RAM); 읽기-전용 메모리(ROM) 등을 나타내고, 송신기에 내부 및/또는 외부에 있을 수 있으며, 필요하다면 휘발성 및/또는 비-휘발성이다.

장치(200)는 SVC 인코더(205) 및 변조기(210)를 포함한다. 비디오 신호(204)는 SVC 인코더(205)에 적용된다. 후자는 본 발명의 원리에 따라 비디오 신호(204)를 인코딩하고, SVC 신호(206)를 변조기(210)에 제공한다. 변조기(210)는 업컨버터(upconverter) 및 안테나(도 5에 이 둘 모두는 미도시 됨)를 통하여 송신을 위한 변조된 신호(211)를 제공한다.

이제, 도 4를 참조하면 단계(155)에서, 도 5의 처리기(240)는 기본 계층 및 향상 계층을 포함하는 SVC 신호(206)로 비디오 신호(204)를 인코딩한다. 구체적으로, 단계(160)에서, 처리기(240)는 도 5의 SVC 인코더를 제어하여(예를 들어, 도 5에서 점선의 형태로 도시된 신호(203)를 통하여), IDR 슬라이스가 SVC 신호(206)의 향상 계층보다 기본 계층에 더 자주 삽입되고, 추가로, 2개의 IDR 슬라이스가 동일한 액세스 유닛에 존재할 때, 기본 계층은 비-IDR 슬라이스로 인코딩된다. 구체적으로, 코딩 파라미터는 단지 코딩 패턴 IBBP 또는 IPPP의 지정과 같은 SVC 인코더(205)에 적용되는데, 이 파라미터는 상이한 공간 계층에서 상이한 IDR 간격을 지정한다. 단계(165)에서, 도 5의 변조기(210)는 SVC 신호를 송신한다.

이제, 도 6을 참조하면, 도 4의 흐름도의 단계를 수행하는 SVC 인코더에 의해 형성된 예시적인 SVC 신호(206)가 나타난다. 이러한 예시에서, SVC 신호(206)는 2개의 계층, 기본 계층(D = 0), 및 향상 계층(D = 1)을 포함한다. 도 6으로부터 관측될 수 있는 바와 같이, 향상 계층이 액세스 유닛(1 및 9)을 갖는 반면에, 기본 계층은 액세스 유닛(4 및 7)에서 IDR 슬라이스를 갖는다. 본 발명의 원리에 따라, 액세스 유닛(1 및 9)에서 기본 계층은 비-IDR 슬라이스로 인코딩된다. SVC 인코더가 향상 계층보다 더 많은 랜덤 액세스 포인트를 갖는 기본 계층을 제공 했지만(예를 들어, 향상 계층의 액세스 유닛(9)에서 IDR 슬라이스의 출현 이전에, 기본 계층에 대한 액세스 유닛(4 및 7)에서 2개의 IDR 슬라이스가 존재한다), 본 발명의 개념은 이에 제한적이지 않는다. 예를 들어, SVC 인코딩이 수행될 수 있으므로, 채널 변경 계층에서의 IDR 슬라이스가 더 높은 dependency_id 값을 갖는 계층에서 IDR 슬라이스와는 다른 횟수로 발생한다. 사실상, 이 SVC 인코딩은 예를 들어, 기본 계층 및 향상 계층에서 IDR 슬라이스의 개수가 동일해지는 것을 초래할 수 있다.

도 6의 서술에 이어서, 수신 디바이스가 화살표(401)에 의해 도시되는 시간(T_c)에 SVC 신호(206)를 전달하는 채널을 변화시킬 때, 수신 디바이스는 SVC 신호(206)의 기본 계층의 디코딩을 시작하여 줄어든 해상도의 비디오 픽쳐를 사용자에게 제공할 수 있기 이전에, 오직 화살표(402)에 의해 나타나는 시간(T_w) 까지 기다려야한다. 따라서, 수신기는 더 많은 랜덤 액세스 포인트를 갖는 기본 계층 비디오로 인코딩된 신호를 즉시 디코딩함으로써, 동조 지연 및 채널-변경 지연을 감소시킬 수 있다. 도 6으로부터 더 관측될 수 있는 바와 같이, 채널 변경이 화살표(409)에 의해 나타나는 시간(T_F)에 발생한다면, 수신기는 향상 계층을 디코딩하여, 더 높은 해상도의 비디오 픽쳐를 사용자에게 제공할 수 있기 이전에, 화살표(403)에 의해 나타나는 시간(TG)까지 기다려야한다.

이제 도 7로 넘어가 보면, 본 발명의 다른 예시적인 실시예가 도시된다. 도 7의 흐름도는 기본 계층 및 향상 계층을 포함하는 SVC 신호를 제공하는 SVC 인코더(예를 들어, 도 5의 인코더(205))를 도시하는데, 기본 계층은 향상 계층보다 더 많은 랜덤 액세스 포인트, 예를 들어, IDR 슬라이스를 갖기에 선택되고, SVC 인코더는 코딩 효율의 함수로서, 향상 계층이 IDR 슬라이스를 갖는 이들 액세스 유닛에서, 기본 계층이 비-IDR 슬라이스를 갖는지를 결정한다. 그 결과로서, 초래하는 SVC 인코딩 신호는 더 하위 계층이 비-IDR 슬라이스로 인코딩되고, 더 상위 계층이 적어도 일부의 SVC로 인코딩된 신호에서 IDR 슬라이스로 인코딩되는, 액세스 유닛을 가질 수도, 또는 갖지 않을 수도 있다. 단계(505)에서, 스케일러블 비디오 인코더는 기본 계층과 적어도 하나의 다른 계층을 포함하는 SVC 신호로 비디오 신호를 인코딩한다. 구체적으로, 단계(510)에서, 스케일러블 비디오 인코더는 IDR 슬라이스가 초래하는 SVC 신호의 임의의 다른 계층이 아닌 기본 계층에 더 자주 삽입되도록 하기 위하여, 비디오 신호를 인코딩한다. 예를 들어, 스케일러블 비디오 인코더는, 코딩 파라미터가 상이한 공간 계층에서 상이한 IDR 간격을 지정하는 것은 제외하고, 존재하는 코딩 파라미터 IBBP 또는 IPPP와 유사한 코딩 파라미터에 응답한다. 단계(520)에서, SVC 인코더는 초래하는 코딩 효율 예를 들어, IDR 슬라이스로서의 전체 액세스 유닛의 인코딩을 위한 비트율이 비-IDR 슬라이스로서의 기본 계층과, IDR 슬라이스로서의 더 상위 계층을 인코딩하는 비트율보다 더 높은 지를 검사한다. 만일 비트율이 더 높지 않다면, 단계(530)에서, SVC 신호가 송신된다. 하지만, 비트율이 더 높다면, 단계(525)에서, 2개의 IDR 슬라이스가 동일한 액세스 유닛에 발생하는 이들 액세스 유닛에서, SVC 인코더는 코딩 효율을 증가시키기 위하여 비-IDR 슬라이스와 기본 계층을 교체하고, 그런 후에, SVC 신호는 단계(530)에서 송신된다.

도 2, 도 4, 도 7의 흐름도가 장치(200)를 통해 처리의 더 상위 계층을 나타낸다는 점이 주목되어야 한다. 예를 들어, 비디오 신호의 일부가 SVC로 인코딩되었다면면, SVC로 인코딩된 신호의 일부는 동시에 송신될 수 있다. 또한, 도 4 및 도 7의 흐름도가 기본 계층 및 단일 향상 계층의 배경으로 도시되지만, 하나 보다 많은 상위 계층에 쉽게 확장될 수 있다.

도 8을 참조하면, 본 발명의 원리에 따라, SVC 신호를 수신하기 위한 예시적인 장치가 도시된다. 본 발명의 개념에 관련된 오직 시스템의 일부분만이 도시된다. 장치(350)는 수신된 신호(311)에 의해 나타나는 본 발명의 원리에 따라 SVC 신호를 전달하는 신호를 수신한다(예를 들어, 도 5의 장치(200)에 의해 송신된 신호의 수신된 버전). 장치(350)는 휴대폰, 모바일 TV, 셋-톱 박스, 디지털 TV(DTV) 등을 나타낸다. 장치(350)는 처리기-기반의 시스템이다. 수신기(355)는 SVC 신호를 전달하는 채널에 동조를 위한 프론트-엔드 및 복조기를 나타낸다. 수신기(355)는 신호(311)를 수신하고, 이 수신된 신호(311)로부터 처리기(360)에 의해 처리되는 신호(356)를 복구하는데, 즉, 처리기(360)는 SVC 디코딩을 수행한다. 예를 들어, 및 본 발명의 원리에 따라 채널 전환 및 채널 동조에 대하여, 도 9(아래에 서술되는)에 도시된 흐름도에 따라, 처리기(360)는 경로(366)를 통하여, 메모리(365)에 디코딩된 비디오를 제공한다. 디코딩된 비디오는 장치(350)의 일부 일 수 있거나 장치(350)로부터 분리될 수 있는 디스플레이(미도시)에 응용을 위하여, 메모리(365)에 저장된다.

이제 도 9로 넘어가면, 장치(350)에서의 사용을 위해 본 발명의 원리에 따른 예시적인 흐름도가 도시된다. 이러한 예시에서, 수신된 SVC 신호는 기본 계층 및 향상 계층(더 상위 계층)을 포함하고, 여기에서 기본 계층의 dependency_id 값은 향상 계층의 dependency_id 값보다 작다. 채널의 전환 동작 또는 채널에 동조시, 처리기(360)는 초기에 타게팅된 독립 계층, 예를 들어 지정된 채널 변경 계층에 디코딩을 설정한다. 이러한 예시에서, 이는 단계(405)에서, 수신된 SVC 신호의 기본 계층에 의해 나타난다. 하지만, 본 발명의 개념은 이에 제한적이지 않으며, 다른 독립 계층도 "초기 타게팅 된 계층"으로 지정될 수 있다. 단계(410)에서, 처리기(360)는 액세스 유닛(또한, 수신된 SVC 네트워크 추상 계층(NAL) 유닛으로 본 기술에 참조되는)를 수신하고, 단계(415)에서, 수신된 액세스 유닛의 상위 계층이 IDR 슬라이스인지를 검사한다. 만일 이 계층이 IDR 슬라이스가 아니라면, 처리기(360)는 단계 425에서, 수신된 액세스 유닛의 기본 계층에서 IDR 슬라이스가 존재하는지를 검사한다. 만일 기본 계층에 어떠한 IDR도 존재하지 않는다면, 처리기(360)는 다음의 액세스 유닛을 수신하기 위하여 단계(410)로 되돌아간다. 하지만, 단계(415)에서, 상위 계층에 IDR 슬라이스가 존재한다면, 단계(420)에서 처리기(360)는 SVC 타겟 표현 계층을 향상 계층에 설정하고, 향상 계층으로부터 IDR 픽쳐, 예를 들어 정규 비디오 스트림을 제일 먼저 수신했을 때, 디코딩을 시작한다.

단계(425)로 돌아가서, 수신된 기본 계층이 IDR 슬라이스라면, 처리기(360)는 줄어든 해상도일지라도 비디오 신호를 제공하기 위하여 단계(430)에서 SVC 기본 계층의 디코딩을 시작한다. 그런 후에, 단계(435)에서, 처리기(360)는 액세스 유닛을 수신하고, 단계(440)에서, 수신된 액세스 유닛의 상위 계층이 IDR 슬라이스인지를 검사한다. 상위 계층이 IDR 슬라이스가 아니라면, 처리기(360)는 다음의 액세스 유닛을 수신하기 위하여 단계(435)로 되돌아간다. 하지만, 수신된 액세스 유닛의 상위 계층이 IDR 슬라이스라면, 처리기(360)는 더 높은 해상도로 비디오 신호를 제공하기 위해 단계(445)에서 SVC 상위 계층의 디코딩을 시작한다.

즉, 도 9의 흐름도의 개관은 다음과 같다. 현재 디코딩 계층의 dependency_id 값보다 높은 dependency_id 값을 갖는 독립 계층에서 IDR 슬라이스의 검출시, 수신기는 검출된 IDR 슬라이스를 갖는 이러한 독립 계층에서 코딩된 비디오를 디코딩한다. 위에 서술된 바와 같이, 기본 계층으로부터 IDR이 없을지라도, 향상 계층으로부터의 IDR은 이러한 향상 계층의 디코딩을 시작하는데 충분하다.

도 9의 흐름도가 장치(350)를 통한 처리의 상위 계층을 나타낸다는 것이 주목되어야 한다. 예를 들어, 일단 기본 계층의 디코딩이 단계(430)에서 시작한다면, 이 디코딩은, 처리기(360)가 또한, 단계(435 및 450)에서 IDR 슬라이스에 대한 상위 계층을 검사할지라도, 처리기(360)를 통해 지속한다. 마지막으로, 기본 계층 및 단일 향상 계층의 배경으로 설명되었지만, 도 9의 흐름도는 하나보다 많은 상위 계층으로 손쉽게 확장될 수 있다.

위에 서술된 바와 같이, 및 본 발명의 원리에 따라, 비트 스트림 인코딩 패턴은, MPEG 스케일러블 비디오 코딩(SVC)(예를 들어, ITU-T 권고 H.264 개정 3: "범용 시청각 서비스를 위한 진보된 비디오 코딩: 스케일러블 비디오 코딩")이 고속 채널 변경에 대해 사용될 때, 전체적인 비트율을 감소시킨다. 그 결과로서, SVC로 압축된 비디오 스트림의 전체적인 비트율은 빠른 채널 변경 성능에 영향을 미치는 것 없이, 감소될 수 있다. 본 발명의 개념이 2개의 계층 공간 스케일러블 SVC 비트 스트림의 배경으로 서술되었지만, 본 발명의 개념은 이에 제한되지 않고, SVC 표준에 특정되는 시간적 및 품질 PSNR(신호-대-잡음 비) 스케일러빌리티(scalability)에도 적용될 수 있다.

위의 관점에서, 전술한 것은 오로지 본 발명의 원리를 설명하는 것이므로, 당업자에게 있어서, 본 명세서에서 명시적으로 서술되지는 않았지만, 본 발명의 원리를 구현하고 본 발명의 사상 및 범주 내에 있는 다수의 대안적인 방식을 안출할 수 있음이 인식된다. 예를 들어, 임의의 요소 또는 모든 요소가 분리된 기능 요소를 배경으로 설명되었지만. 이 임의의 요소 또는 모든 요소는 저장된-프로그램-제어-처리기, 예를 들어, 디지털 신호 처리기에 구현될 수 있는데, 이 디지털 신호 처리기는 예를 들어, 도 4 및 도 8 등에 도시된 하나 이상의 단계에 대응하는, 연관된 소프트웨어를 실행한다. 게다가, 본 발명의 원리는 통신 시스템의 다른 타입 예를 들어, 위성, 무선-충실도(Wi-Fi), 셀룰러 등에 적용될 수 있다. 게다가, 본 발명의 개념은 또한 고정 또는 모바일 수신기에 적용될 수 있다. 그러므로, 다수의 변형이 본 발명의 실시예로 구현될 수 있고, 다른 방법이 청구항에 의해 한정되는 본 발명의 사상 및 범주로부터의 이탈 없이도 안출될 수 있음이 이해될 것이다.

10 : IDR 203 : SVC 인코더
210 : 변조기 355 : 수신기
240, 350 : 처리기 245. 365 : 메모리

Claims

비디오 신호를 송신하기 위한 방법에 있어서,
채널 변경 계층으로 스케일러블 비디오 코딩된(scalable video coded) 신호의 제 1 스케일러블 계층을 선택하는 단계로서, 상기 제 1 스케일러블 계층은 연관된 dependency_id 값을 가지며, 상기 dependency_id 값은 상기 스케일러블 비디오로 코딩된 신호의 제 2 스케일러블 계층의 연관된 dependency_id 값보다 작은, 선택 단계,
상기 스케일러블 비디오로 코딩된 신호를 제공하기 위하여 상기 비디오 신호를 스케일러블 비디오 코딩 단계로서, 상기 코딩 단계에 의해, 상기 스케일러블 비디오로 코딩된 신호의 적어도 일부에 대하여, 상기 제 1 스케일러블 계층에서의 랜덤(random) 액세스 포인트 및 상기 제 2 스케일러블 계층에서의 랜덤 액세스 포인트는 상이한 액세스 유닛에 존재하는, 스케일러블 비디오 코딩 단계, 및
상기 스케일러블 비디오로 코딩된 신호를 송신하는 단계를
포함하는, 비디오 신호를 송신하기 위한 방법.
제 1항에 있어서, 상기 스케일러블 비디오 코딩 단계는,
제 1 스케일러블 계층에서의 랜덤 액세스 포인트 및 제 2 스케일러블 계층에서의 랜덤 액세스 포인트가 코딩 효율의 함수로 상이한 액세스 유닛에서 발생하도록 하기 위하여, 비디오 신호의 인코딩을 결정하는 단계를
포함하는, 비디오 신호를 송신하기 위한 방법.
제 1항에 있어서, 상기 스케일러블 비디오 코딩 단계는 상기 제 2 스케일러블 계층보다는 상기 제 1 스케일러블 계층에서 더 많은 랜덤 액세스 포인트를 제공하는, 비디오 신호를 송신하기 위한 방법.
제 1항에 있어서, 상기 스케일러블 계층은 상기 비디오로 코딩된 신호의 기본 계층인, 비디오 신호를 송신하기 위한 방법.
제 1항에 있어서, 상기 비디오로 코딩된 신호는 2개보다 많은 스케일러블 계층을 포함하는, 비디오 신호를 송신하기 위한 방법.
제 1항에 있어서, 랜덤 액세스 포인트는 즉각적 디코더 리프레쉬(Instantaneous Decoder Refresh) 슬라이스(slice)인, 비디오 신호를 송신하기 위한 방법.
채널 변경을 수행한 장치에서 사용하기 위한 방법에 있어서,
각 스케일러블 계층이 dependency_id 값에 연관되는, 복수의 스케일러블 계층을 포함하는 스케일러블 비디오 코딩된 신호를 수신하는 단계,
상기 채널 변경의 발생에 연관된 이러한 스케일러블 계층에 대해 디코딩을 세팅하는 단계로서, 상기 채널 변경의 발생에 연관된 상기 스케일러블 계층에서 랜덤 액세스 포인트와, 남아있는 복수의 스케일러블 계층에서 랜덤 액세스 포인트가 상기 수신된 스케일러블 비디오 코딩된 신호의 상이한 액세스 유닛에서 발생하는, 세팅 단계,
랜덤 액세스 포인트에 대한 상기 수신된 스케일러블 비디오로 코딩된 신호의 액세스 유닛을 검사하는 단계, 및
상기 랜덤 액세스 포인트 및 가장 높은 dependency_id 값을 갖는 이러한 스케일러블 계층에서 상기 코딩된 비디오를 디코딩하는 단계를
포함하는, 채널 변경을 수행한 장치에서 사용하기 위한 방법.
제 7항에 있어서, 상기 채널 변경의 발생에 연관된 상기 스케일러블 계층은 다른 스케일러블 계층보다 더 많은 랜덤 액세스 포인트를 갖는, 채널 변경을 수행한 장치에서 사용하기 위한 방법.
제 7항에 있어서, 상기 채널 변경의 발생에 연관된 상기 스케일러블 계층은 상기 스케일러블 비디오로 코딩된 신호의 기본 계층인, 채널 변경을 수행한 장치에서 사용하기 위한 방법.
제 7항에 있어서, 랜덤 액세스 포인트는, 즉각적 디코더 리프레쉬 슬라이스인, 채널 변경을 수행한 장치에서 사용하기 위한 방법.
장치에 있어서,
제 1 스케일러블 계층 및 제 2 스케일러블 계층을 포함하는 비디오로 코딩된 신호를 제공하기 위한 스케일러블 비디오 인코더로서, 상기 제 1 스케일러블 계층은 상기 제 2 스케일러블 계층의 dependency_id 값보다 작은 연관된 dependency_id 값을 갖고, 비디오 코딩된 신호의 적어도 일부에 대하여, 상기 제 1 스케일러블 계층에서 랜덤 액세스 포인트 및 제 2 스케일러블 계층에서 랜덤 액세스 포인트는 상이한 액세스 유닛에서 발생하는, 스케일러블 비디오 인코더와,
상기 비디오로 코딩된 신호를 송신하기 위한, 변조기를
포함하는 장치.
제 11항에 있어서, 상기 스케일러블 비디오 인코더는 상기 비디오 신호를 인코딩하여, 상기 제 1 스케일러블 계층에서의 랜덤 액세스 포인트와 상기 제 2 스케일러블 계층에서의 랜덤 액세스 포인트가 코딩 효율의 함수로서 상이한 액세스 유닛에서 발생하는, 장치.
제 11항에 있어서, 상기 스케일러블 비디오 인코더는 상기 제 2 스케일러블 계층보다는 상기 제 1 스케일러블 계층에 더 많은 랜덤 액세스 포인트를 제공하는, 장치.
제 11항에 있어서, 상기 제 1 스케일러블 계층은 상기 비디오로 코딩된 신호의 기본 계층인, 장치.
제 11항에 있어서, 상기 비디오로 코딩된 신호는 2개보다 많은 스케일러블 계층을 포함하는, 장치.
제 11항에 있어서, 랜덤 액세스 포인트는 즉각적 디코더 리프레쉬 슬라이스인, 장치.
장치에 있어서,
채널로부터 스케일러블 비디오로 코딩된 신호를 제공하기 위한 수신기로서, 상기 스케일러블 비디오로 코딩된 신호는 복수의 스케일러블 계층을 포함하며, 각 스케일러블 계층은 dependency_id 값에 연관되고, 하나의 스케일러블 계층은 채널 변경의 발생에 연관되고, 상기 채널 변경의 발생에 연관된 상기 스케일러블 계층에서의 랜덤 액세스 포인트와 남아있는 복수의 스케일러블 계층에서의 랜덤 액세스 포인트는 상기 수신된 스케일러블 비디오 코딩된 신호의 상이한 액세스 유닛에 발생하는, 수신기, 및
랜덤 액세스 포인트와 가장 높은 dependency_id 값을 갖는 상기 수신된 스케일러블 비디오로 코딩된 신호의 이러한 종속 계층에서 상기 코딩된 비디오를 디코딩하기 위한 처리기를
포함하는, 장치.
제 17항에 있어서, 상기 채널 변경의 발생에 연관되는 상기 스케일러블 계층은 다른 스케일러블 계층보다 많은 랜덤 액세스 포인트를 갖는, 장치.
제 17항에 있어서, 상기 채널 변경의 발생에 연관되는 상기 스케일러블 계층은 상기 스케일러블 비디오로 코딩된 신호의 기본 계층인, 장치.
제 17항에 있어서, 랜덤 액세스 포인트는 즉각적 디코더 리프레쉬 슬라이스인, 장치.