KR20120096392A - 스케일러블 비디오 코딩과 상기 방법을 수행할 수 있는 장치들 - Google Patents

Abstract

인코더의 동작 방법이 개시된다. 상기 방법은 시간에 따라 변하는 통신 채널의 대역폭을 분석하여 제어 코드를 출력하는 단계와, 상기 제어 코드에 따라 다수의 종속 레이어들 중에서 선택된 레이어를 코딩 레이어로서 인코딩하고 인코드된 코딩 레이어를 상기 통신 채널로 전송하는 단계를 포함한다.

Description

스케일러블 비디오 코딩과 상기 방법을 수행할 수 있는 장치들{SCALABLE VIDEO CODING AND DEVICES PERFORMING THE SAME}

본 발명의 개념에 따른 실시 예는 스케일러블 비디오 코딩 스킴(scalable video coding (SVC) scheme)에 관한 것으로, 특히 스케일러블 비디오 코딩을 수행할 수 있는 방법들과 상기 방법들을 수행할 수 있는 장치들에 관한 것이다.

H.261, MPEG(moving picture experts group)-1, H.262/MPEG-2 비디오, H.263, MPEG-4 비주얼(Visual), 및 H.264/AVC와 같은 국제적인 비디오 코딩 표준들은 디지털 비디오 애플리케이션들(digital video applications)의 성공에 중요한 역할을 했다.

H.264/AVC 사양(specification)은 비디오 코딩에서 최첨단(state-of-the-art)을 나타낸다. 종래의 비디오 코딩 표준들과 비교할 때, H.264/AVC 표준은 지각과 관련된 질(perceptual quality)을 표현하기 위하여 필요한 비트 레이트(bit rate)를 상당히 감소시킨다.

동적 네트워크 환경에서, 이용가능한 네트워크 대역폭은 시간에 따라 변한다. 따라서, 화상 화의(video conferencing)의 같은 실시간(real-time) 비디오 애플리케이션(video application)에서, 송신기는 매 순간마다 주어진 네트워크 대역폭에 따라 인코드된 스트림(encoded stream)의 비트-레이트(bit-rate)를 조절할 필요가 있다.

본 발명이 이루고자 하는 기술적인 과제는 다수의 종속 레이어들(a plurality of dependency layers) 중에서 시간에 따라 변하는 통신 채널(time varying communication channel)의 대역폭(bandwidth)에 적합한 코딩 레이어를 전송할 수 있는 스케일러블 비디오 코딩(SVC)을 수행할 수 있는 방법들과 상기 방법들을 수행할 수 있는 장치들을 제공하는 것이다.

본 발명의 실시예에 따른 인코더의 동작 방법은 시간에 따라 변하는 통신 채널의 대역폭을 분석하여 제어 코드를 출력하는 단계와, 상기 제어 코드에 따라 다수의 종속 레이어들 중에서 선택된 레이어를 코딩 레이어로서 인코딩하고 인코드된 코딩 레이어를 상기 통신 채널로 전송하는 단계를 포함한다.

실시예에 따라 상기 인코더의 동작 방법은 상기 코딩 레이어가 최상위 레이어(uppermost layer)가 아닐 때, 상기 코딩 레이어의 모든 상위 레이어 각각에 대한 인코드된 각각의 스케일링 팩터를 상기 통신 채널로 전송하는 단계를 더 포함한다.

상기 스케일링 팩터는 공간 확장성 팩터(spatial scalability factor)를 적어도 일부로서 포함한다.

다른 실시예에 따라 상기 인코더의 동작 방법은 상기 코딩 레이어가 최하위 레이어(lowermost layer)가 아닐 때, 상기 코딩 레이어의 모든 하위 레이어 각각을 인코딩하지 않는 단계를 더 포함한다.

또 다른 실시예에 따라 상기 인코더의 동작 방법은 상기 코딩 레이어가 최상위 레이어가 아닐 때, 상기 코딩 레이어의 모든 상위 레이어 각각을 인코딩하는 단계와, 먹스(mux)를 이용하여 상기 인코드된 코딩 레이어와 상기 모든 상위 레이어 각각에 대한 인코드된 스케일링 팩터를 상기 통신 채널로 전송하는 단계를 더 포함한다.

또 다른 실시예에 따라 상기 인코더의 동작 방법은 상기 코딩 레이어가 최하위 레이어가 아닐 때, 상기 코딩 레이어의 모든 하위 레이어 각각을 인코딩하는 단계와, 먹스(mux)를 이용하여 상기 인코드된 코딩 레이어만을 상기 통신 채널로 전송하는 단계를 더 포함한다.

또 다른 실시예에 따라 상기 인코더의 동작 방법은 상기 코딩 레이어가 최상위 레이어가 아닐 때, 상기 코딩 레이어의 모든 상위 레이어 각각을 인코딩하지 않는 단계를 더 포함한다.

또 다른 실시예에 따라 상기 인코더의 동작 방법은 상기 코딩 레이어가 최상위 레이어가 아닐 때, 상기 코딩 레이어의 모든 상위 레이어 각각을 인코딩하는 단계와, 먹스를 이용하여 상기 인코드된 코딩 레이어만을 상기 통신 채널로 전송하는 단계를 더 포함한다.

또 다른 실시예에 따라 상기 인코더의 동작 방법은 상기 코딩 레이어가 최하위 레이어가 아닐 때, 상기 코딩 레이어의 모든 하위 레이어 각각을 인코딩하는 단계와, 먹스를 이용하여 인코드된 모든 하위 레이어 각각과 상기 인코드된 코딩 레이어를 순차적으로 상기 통신 채널로 전송하는 단계를 더 포함한다.

본 발명의 다른 실시예에 따른 인코더의 동작 방법은 제1인코드된 코딩 레이어를 통신 채널로 전송하는 송신 버퍼의 비트 레벨에 따라 상기 통신 채널의 대역폭을 분석하여 제어 코드를 출력하는 단계와, 상기 제어 코드에 따라 다수의 종속 레이어들(dependency layers) 중에서 선택된 레이어를 코딩 레이어로서 인코딩하고 인코딩 결과에 따라 생성된 제2인코드된 코딩 레이어를 상기 통신 채널로 전송하는 단계를 포함한다.

본 발명의 또 다른 실시예에 따른 인코더의 동작 방법은 디코더로부터 출력되고, 통신 채널을 통하여 상기 디코더로 전송되는 제1인코드된 코딩 레이어의 비트 레이트에 대한 비트 레이트 정보를 수신하는 단계와, 상기 비트 레이트 정보에 따라 상기 통신 채널의 대역폭을 분석하여 제어 코드를 출력하는 단계와, 상기 제어 코드에 따라 다수의 종속 레이어들(dependency layers) 중에서 선택된 레이어를 코딩 레이어로서 인코딩하고, 인코딩 결과에 따라 생성된 제2인코드된 코딩 레이어를 상기 통신 채널로 전송하는 단계를 포함한다.

본 발명의 실시예에 따른 디코딩 장치의 동작 방법은 다수의 종속 레이어들 중에서 코딩 레이어에 대한 인코드된 코딩 레이어를 통신 채널을 통하여 수신하는 단계와, 상기 인코드된 코딩 레이어로부터 제1제어 코드와 제2제어 코드를 생성하는 단계와, 상기 인코드된 코딩 레이어를 디코딩하여 디코드된 코딩 레이어를 생성하는 단계와, 상기 제1제어 코드에 따라 스케일러가 디스에이블될 때 상기 디코드된 코딩 레이터를 상기 스케일러를 바이패스하여 디스플레이로 출력하고, 상기 제1제어 코드에 따라 상기 스케일러가 인에이블될 때 상기 제2제어 코드에 따라 상기 디코드된 코딩 레이터의 해상도를 스케일-업 하고 스케일-업 된 해상도를 갖는 디코드된 코딩 레이어를 상기 디스플레이로 출력하는 단계를 포함한다.

본 발명의 실시예에 따른 비디오 신호 처리 장치는 비디오 소스와 인코더를 포함한다.

상기 인코더는 상기 비디오 소스로부터 출력된 비디오 신호를 스케일러블 비디오 코딩하여 서로 다른 해상도를 갖는 다수의 종속 레이어들을 생성하고, 통신 채널의 대역폭의 분석 결과에 따라 생성된 제어 코드에 따라 상기 다수의 종속 레이어들 중에서 선택된 레이어를 인코딩하고 인코딩 결과에 따라 제1인코드된 코딩 레이어를 상기 통신 채널로 전송한다.

상기 인코더는 송신 버퍼와, 상기 송신 버퍼에 누적되는 비트스트림들의 양에 따라 상기 통신 채널의 대역폭을 분석하여 상기 제어 코드를 생성하는 컨트롤 모듈을 포함한다.

실시예에 따라 상기 인코더는 상기 다수의 종속 레이어들 중에서 최상의 레이어를 버퍼링하기 위한 제1버퍼와, 각각이 상기 다수의 종속 레이어들 중에서 나머지 레이어들 각각을 생성하기 위한 복수의 데시메이터들과, 각각이 상기 복수의 데시메이터들 각각에 의하여 생성된 레이어를 버퍼링하기 위한 복수의 제2버퍼들과, 각각이 상기 제1버퍼와 상기 다수의 제2버퍼들 각각에 의하여 버퍼된 레이어를 인코딩하기 위한 복수의 레이어 인코더들을 포함하며, 상기 복수의 레이어 인코더들 중에서 어느 하나는 상기 제어 코드에 따라 상기 제1인코드된 코딩 레이어를 생성한다.

다른 실시예에 따라 상기 인코더는 상기 다수의 종속 레이어들 중에서 최상의 레이어를 버퍼링하기 위한 제1버퍼와, 각각이 상기 다수의 종속 레이어들 중에서 나머지 레이어들 각각을 생성하기 위한 복수의 데시메이터들과, 각각이 상기 복수의 데시메이터들 각각에 의하여 생성된 레이어를 버퍼링하기 위한 복수의 제2버퍼들과, 각각이 상기 제1버퍼와 상기 다수의 제2버퍼들 각각에 의하여 버퍼된 레이어를 인코딩하기 위한 복수의 레이어 인코더들과, 상기 제어 코드에 응답하여, 상기 복수의 레이어 인코더들 중에서 어느 하나의 인코더로부터 출력된 상기 제1인코드된 코딩 레이터를 상기 통신 채널로 전송하는 먹스(MUX)를 포함한다.

상기 인코더는 디코더로부터 출력되고, 상기 통신 채널로 전송되는 제2인코드된 코딩 레이어의 비트 레이트에 대한 비트 레이트 정보에 따라 전송 조건 정보를 생성하는 모니터와, 상기 전송 조건 정보를 분석하여 상기 제어 코드를 생성하는 컨트롤 모듈을 포함한다.

본 발명의 실시예에 따른 비디오 신호 처리 장치는 디스플레이 장치와 상기 디스플레이 장치의 해상도에 맞는 해상도를 갖는 디코딩 레이어를 제공하는 디코딩 장치를 포함한다.

상기 디코딩 장치는 상기 디스플레이 장치의 상기 해상도보다 낮은 해상도를 갖는 인코드된 코딩 레이어를 통신 채널을 통하여 수신하여 디코딩하는 디코더와, 상기 디코더로부터 출력된 스케일링 팩터를 이용하여 상기 디코더에 의하여 디코드된 상기 디코딩 레이어의 해상도를 상기 디스플레이 장치의 해상도에 맞게 조절하는 스케일러를 포함한다.

상기 스케일러는 상기 디코더로부터 출력된 제어 코드에 따라 인에이블 또는 디스에이블된다.

본 발명의 실시 예에 따른 스케일러블 비디오 코딩(SVC)을 수행할 수 있는 방법들과 상기 방법들을 수행할 수 있는 장치들은 다수의 종속 레이어들 중에서 시간에 따라 변하는 통신 채널의 적합한 코딩 레이어를 전송할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1a는 스케일러블 인코더와 스케일러블 디코더를 포함하는 본 발명의 일 실시 예에 따른 데이터 처리 시스템을 나타내는 블록도를 나타낸다.
도 1b는 스케일러블 인코더와 스케일러블 디코더를 포함하는 본 발명의 다른 실시 예에 따른 데이터 처리 시스템을 나타내는 블록도를 나타낸다.
도 2a는 도 1a 또는 도 1b에 도시된 인코더의 일 실시 예를 나타내는 블록도를 나타내다.
도 2b는 도 1a 또는 도 1b에 도시된 인코더의 다른 실시 예를 나타내는 블록도를 나타내다.
도 3은 도 1a 또는 도 1b에 도시된 디코더의 실시 예를 나타내는 블록도이다.
도 4는 통신 채널의 대역폭의 변화에 따른 도 1a 또는 도 1b에 도시된 스케일러블 인코더의 동작을 설명하기 위한 타이밍 도의 일 실시 예를 나타낸다.
도 5는 통신 채널의 대역폭의 변화에 따른 도 1a 또는 도 1b에 도시된 스케일러블 인코더의 동작을 설명하기 위한 타이밍 도의 다른 실시 예를 나타낸다.
도 6은 통신 채널의 대역폭의 변화에 따른 도 1a 또는 도 1b에 도시된 스케일러블 인코더의 동작을 설명하기 위한 타이밍 도의 또 다른 실시 예를 나타낸다.
도 7은 스케일러블 인코더와 스케일러블 디코더를 포함하는 본 발명의 또 다른 실시 예에 따른 데이터 처리 시스템을 나타내는 블록도를 나타낸다.
도 8은 스케일러블 인코더와 스케일러블 디코더를 포함하는 본 발명의 또 다른 실시 예에 따른 데이터 처리 시스템을 나타내는 블록도를 나타낸다.
도 9는 도 1a 또는 도 1b에 도시된 스케일러블 인코더의 동작 방법을 설명하는 플로우차트이다.
도 10은 도 1a 또는 도 1b에 도시된 스케일러블 인코더의 동작 방법을 설명하는 플로우차트이다.
도 11은 도 4에 도시된 실시예를 수행하기 위한 도 1a 또는 도 1b에 도시된 스케일러블 디코더의 동작 방법을 설명하는 플로우차트이다.
도 12는 도 5와 도 6에 도시된 실시예를 수행하기 위한 도 1a 또는 도 1b에 도시된 스케일러블 디코더의 동작 방법을 설명하는 플로우차트이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

본 명세서에 기재된 본 발명의 실시 예에 따른 기술적 사상이 적용된 스케일러블 인코더(20) 및/또는 스케일러블 디코더(40)에 대해서는 Annex G extension of the H.264/MPEG-4 AVC(Advanced Video Coding) 비디오 압축 표준 (video compression standard)을 레퍼런스(reference)로 일부에 포함한다(incorporated).

여기서, 본 발명의 실시 예에 따른 스케일러블 인코더(scalable encoder)는 스케일러블 비디오 코딩(scalable video coding(SVC)) 또는 멀티-해상도 비디오 코딩(multi-resolution video coding)을 수행할 수 있는 인코더(encoder)를 의미하고, 본 발명의 실시 예에 따른 스케일러블 디코더(scalable decoder)는 스케일러블 비디오 코딩(SVC) 또는 멀티-해상도 비디오 코딩(multi-resolution video coding)을 수행할 수 있는 디코더(decoder)를 의미한다.

도 1a는 스케일러블 인코더와 스케일러블 디코더를 포함하는 본 발명의 일 실시예에 따른 데이터 처리 시스템을 나타내는 블록도를 나타낸다.

도 1a를 참조하면, 데이터 처리 시스템(10)은 스케일러블 인코더(20), 통신 채널(30), 및 스케일러블 디코더(40)를 포함한다. 스케일러블 디코딩 장치(14)는 스케일러블 디코더(40)와 스케일러(46)를 포함할 수 있다.

스케일러블 인코더(20)는 인코더 엔드(encoder end)로 불릴 수 있고, 스케일러블 디코더(40)는 디코더 엔드(decoder end)로 불릴 수 있다.

스케일러블 인코더(20) 및/또는 스케일러블 디코더(40)는 이동 TV(mobile TV), DTV(digital TV), HDTV(high definition TV), IPTV(internet protocol TV), 무선 및 인터넷 비디오 스트리밍 시스템(wireless and Internet video streaming system), 멀티미디어 메시징 시스템(multimedia messaging system), 화상 통화 시스템(video telephony system), 비디오 회의 시스템(video conferencing system), 케이블(cable) TV, DBS(direct broadcast satellite video services), DSL(digital subscriber line video service), DTTB(digital terrestrial television broadcasting), ISM(interactive storage media), MMM(multimedia mailing), MSPN (multimedia services over packet networks), RTC(real-time conversional services), RVC(remote video surveillance), 또는 SSM(serial storage media)에 구현될 수 있다.

스케일러블 디코딩 장치(14)는 상술한 장치들 또는 애플리케이션에 구현될 수 있다.

실시 예에 따라, 스케일러블 인코더(20)와 스케일러블 디코딩 장치(14)는 동일한 비디오 신호 처리 장치(또는 시스템)에 구현될 수도 있고 또는 서로 다른 비디오 신호 처리 장치(또는 시스템)에 구현될 수도 있다.

다른 실시 예에 따라, 스케일러블 인코더(20)와 스케일러블 디코딩 장치(14)는 하나의 SoC(System on Chip) 또는 서로 다른 SoC에 구현될 수 있다.

스케일러블 인코더(20)는 시간에 따라 변하는 전송 조건(time varying transmission condition), 예컨대 통신 채널(30)의 대역폭(bandwidth)의 감시 결과 또는 분석 결과에 따라 다수의 종속 레이어들(또는, 다수의 공간 레이어들(spatial layers) 중에서 선택된 하나의 레이어를 코딩 레이어(coding layer) 또는 가상 타겟 레이어(virtual target layer)로서 인코딩하고 인코드된 코딩 레이어(encoded coding layer)를 통신 채널(30)로 전송할 수 있다.

상기 다수의 종속 레이어들 각각은 하나의 로우 비디오 신호(raw video signal; VI)로부터 생성된다.

여기서, 레이어(layer)는 일련의 비디오 프레임들(a sequence of video frames) 또는 비트스트림들(bitstreams)을 나타내고, 인코드된 코딩 레이어는 스케일된 비트스트림들(scaled bit streams)을 나타낸다.

스케일러블 인코더(20)는 인코더(encoder; 22), 컨트롤 모듈(control module; 24), 및 송신 버퍼(transmission buffer; 26)를 포함한다. 실시예에 따라 스케일러블 인코더(20)는 제1모니터(27)를 더 포함할 수 있다.

컨트롤 모듈(24)로부터 출력된 인코더 제어 코드(RC)에 따라, 인코더(22)는 비디오 소스(video source)로부터 출력된 로우 비디오 신호(raw video signal; VI)를 스케일러블 비디오 코딩 스킴(scalable video coding(SVC) scheme) 또는 멀티-해상도 코딩 스킴(multi-resolution coding scheme)에 따라 인코딩하고, 인코드된 코딩 레이어를 생성하고, 생성된 인코드된 코딩 레이어를 송신 버퍼(26)로 전송한다.

회로(circuit), 로직(logic), 코드(code) 또는 이들의 조합으로 구현될 수 있는 컨트롤 모듈(24)은 통신 채널(30)의 대역폭(bandwidth)을 분석하고, 분석 결과에 따라 인코더(22)의 인코딩 동작을 제어할 수 있는 인코더 제어 코드(RC)를 출력할 수 있다. 인코더 제어 코드(RC)는 다수의 비트들을 포함할 수 있다.

컨트롤 모듈(24)은 대역폭 예측기(bandwidth estimator; 24-1)와 인코딩 타입 결정 블록(encoding type decision block; 24-2)을 포함한다.

실시 예에 따라, 컨트롤 모듈(24)의 대역폭 예측기(24-1)는 인코드된 코딩 레이어를 통신 채널(30)로 전송하는 송신 버퍼(26), 예컨대 CPB(coded picture buffer)의 비트 레벨(level)에 따라 통신 채널(30)의 전송 조건, 예컨대 대역폭을 예측하고 예측 결과에 따라 예측 정보를 출력하고, 컨트롤 모듈(24)의 인코딩 타입 결정 블록(24-2)은 상기 예측 정보에 따라 각 레이어 인코더의 동작을 제어할 수 있는 인코더 제어 코드(RC)를 생성할 수 있다.

예컨대, CPB(26)가 FIFO(first-in-first-out) 버퍼로 구현될 때, CPB(26)의 비트 레벨은 CPB(26)에 누적(accumulate)되는 비트스트림들의 양을 나타내는 지표 (index)이다. 따라서 bps(bit per second)를 기본 단위로 사용하는 통신 채널(30)의 대역폭이 크면 클수록 CPB(26)의 비트 레벨은 낮아지고, 통신 채널(30)의 대역폭이 낮으면 낮을수록 CPB(26)의 비트 레벨은 높아진다. 즉, 통신 채널(30)의 대역폭은 CPB(26)의 비트 레벨에 반비례한다.

도 1b에 도시된 바와 같이, 통신 채널(30)을 통하여 CPB(26)로부터 CPB(42)로 전송되는 인코드된 코딩 레이어의 비트 레이트(bit rate)를 판단하기 위하여, 스케일러블 인코더(20)의 제1모니터(27)는 컨트롤 채널(control channel)을 통하여 스케일러블 디코더(40)의 제2모니터(41)와 핸드쉐이킹(handshake)을 수행할 수 있다.

예컨대, 제1모니터(27)가 통신 채널(30)에 포함된 상기 컨트롤 채널을 통하여 제2모니터(41)로 요구 신호(request signal)를 전송하면, 제2모니터(41)는 요구 신호에 따라 인코드된 코딩 레이어의 비트 레이터를 모니터링하고 모니터링 결과에 따라 응답 신호(response signal), 즉 비트 레이트 정보를 상기 컨트롤 채널을 통하여 제1모니터(27)로 전송한다.

상기 핸드쉐이킹을 이용하여, 스케일러블 인코더(20)의 제1모니터(27)는 통신 채널(30)을 통하여 전송되는 인코드된 코딩 레이어의 비트 레이트를 판단하고, 판단 결과에 따라 통신 채널(30)의 전송 조건을 나타내는 전송 조건 정보를 컨트롤 모듈(24)의 대역폭 예측기(24-1)로 전송할 수 있다.

이때, 대역폭 예측기(24-1)는 제1모니터(27)로부터 출력된 상기 전송 조건 정보를 분석하여 예측 정보를 출력하고, 컨트롤 모듈(24)의 인코딩 타입 결정 블록 (24-2)은 상기 예측 정보에 따라 각 레이어 인코더의 동작을 제어할 수 있는 인코더 제어 코드(RC)를 생성할 수 있다.

실시 예에 따라, 제2모니터(41)는 주기적으로 인코드된 코딩 레이어의 비트 레이트를 판단하고 비트 레이트 정보를 제1모니터(27)로 전송할 수 있다.

컨트롤 모듈(24)의 대역폭 예측기(24-1)는 통신 채널(30)의 전송 조건, 예컨대 송신 버퍼(26)의 비트 레벨 또는 제1모니터(27)로부터 출력된 전송 조건 정보를 이용하여 각 액세스 유닛(access unit)의 적절한 비트-버짓(bit-budgets)을 예측하고 예측 정보를 인코딩 타입 결정 블록(24-2)으로 출력할 수 있다.

도 1a 또는 도 1b에 도시된 바와 같이, 컨트롤 모듈(24)의 대역폭 예측기 (24-1)는 컨트롤 모듈(24)에 의해서 인코더(22)의 동작이 적절히 제어되는지의 여부를 판단하기 위하여 CPB(26)의 비트 레벨을 모니터하고 모니터 결과에 따라 예측 정보를 생성할 수 있다.

CPB(26)에 저장된 인코드된 코딩 레이어, 즉 스케일된 비트스트림들은 통신 채널(30)을 통하여 스케일러블 디코더(40)로 전송될 수 있다.

스케일러블 디코더(40)는 인코드된 코딩 레이어를 통신 채널(30)을 통하여 수신하여 디코딩하고 디코드된 코딩 레이어(이하, '디코딩 레이어'라 한다.)의 해상도(resolution)를 스케일링 팩터를 이용하여 디스플레이 장치의 해상도에 적합하도록 조절할 수 있다.

스케일러블 디코딩 장치(14)는 수신 버퍼(42), 디코더(44), 및 디코더 버퍼 (44-1)를 포함하는 스케일러블 디코더(40)와, 스케일러(46)를 포함한다. 스케일러블 디코딩 장치(14)는 제2모니터(41)를 더 포함할 수 있다.

수신 버퍼(42), 예컨대 CPB(42)는 통신 채널(30)을 통하여 입력된 적어도 하나의 인코드된 코딩 레이어 및/또는 적어도 하나의 스케일링 팩터를 수신하여 저장한다.

디코더(44)는 수신 버퍼(42)로부터 인코드된 코딩 레이어를 수신하여 디코딩하고 디코딩 레이어를 디코더 버퍼(44-1), 예컨대 DPB(decoded picture buffer)로 전송한다.

스케일러(46)가 스케일러블 디코더(40)의 외부에 구현될 때, 스케일러(46)는 디코더(44)로부터 출력된 제1제어 코드에 따라 인에이블 또는 디스에이블될 수 있다. 또한, 인에이블된 스케일러(46)는 디코더(44)로부터 출력된 스케일링 팩터를 포함하는 제2제어 코드에 따라 디코딩 레이어의 해상도를 스케일-업(scale-up) 또는 스케일-다운(scale-down)하고 스케일 조절된 디코딩 레이어(Vout)를 디스플레이 장치로 출력한다. 즉, 스케일러(46)는 스케일링 팩터를 이용하여 디코드된 코딩 레이터의 해상도를 디스플레이 장치의 해상도에 적합하게 조절할 수 있다.

도 5와 도 6을 참조하여 설명될 실시 예에 따라, 인에이블된 스케일러(46)는 디코더(44)로부터 출력된 제2제어 코드에 따라 디코딩 레이어의 해상도를 디스플레이 장치의 해상도에 적합하게 조절할 수 있다.

또한, 도 4를 참조하여 설명될 실시 예에 따라, 스케일러(46)는 제1제어 코드에 따라 디스에이블된다. 따라서, 디코더 버퍼(44-1)로부터 출력된 디코딩 레이어는 바이패스된다.

스케일러블 인코더(20)로부터 출력되는 스케일링 팩터는 다음의 팩터들 중에서 어느 하나일 수 있다.

1. 공간 확장성 팩터(spatial scalability factor), 예컨대 공간 해상도 스케일링 팩터(spatial resolution scaling factor)

2. 공간 확장성 팩터와 시간(temporal) 확정성 팩터의 결합 팩터, 예컨대 공간 해상도 스케일링 팩터와 시간 해상도 스케일링 팩터의 결합 팩터(combined factor)

3. 공간 확장성 팩터와 질적(quality) 확정성 팩터의 결합 팩터, 예컨대 공간 해상도 스케일링 팩터와 SNR(signal-to-noise ratio)의 결합 팩터

4. 공간 확장성 팩터, 시간 확정성 팩터, 및 질적 확장성 팩터의 결합 팩터

따라서, 상기 스케일링 팩터는 상기 공간 확장성 팩터, 예컨대 공간 해상도 스케일링 팩터(spatial resolution scaling factor)를 적어도 일부로서 포함한다.

도 2a는 도 1a 또는 도 1b에 도시된 인코더의 일 실시 예를 나타내는 블록도를 나타내다.

도 2a를 참조하면, 도 1a 또는 도 1b의 인코더(22)의 일 실시예로서 구현된 인코더(22A)는 다수의 데시메이터들(110-1과 110-2), 다수의 버퍼들(120-1, 120-2, 및 120-3), 및 다수의 레이어 인코더들(130-1, 130-2, 및 130-3)을 포함한다.

예컨대, 다수의 데시메이터들(110-1과 110-2) 각각은 공간 데시메이터 (spatial decimator)로 구현될 수 있다.

도 2a에서는 설명의 편의를 위하여, 3개의 레이어 인코더들(130-1, 130-2, 및 130-3)을 도시하나 본 발명의 기술적 사상이 레이어 인코더의 개수에 한정되는 것은 아니다. 따라서, 도 1a와 도 1b에 도시된 인코더(22)는 3개의 종속 레이어들을 스케일러블 인코딩할 수 있다.

로우(raw) 비디오 신호(VI)는 4CIF(common intermediate format)이고, 제2데시메이터(110-2)는 4CIF를 데시메이션하여 CIF를 출력하고, 제1데시메이터(110-1)는 CIF를 데시메이션하여 QCIF(Quarter CIF)를 출력한다고 가정한다. 이때, 다수의 종속 레이어들은 4CIF, CIF, 및 QCIF를 포함한다.

로우 비디오 신호(VI)는 각 데시메이터(110-2와 110-1)에 의하여 스케일-다운된 후 스케일-다운된 비디오 신호는 각 버퍼(120-2과 120-1)로 전송된다. 예컨대, 각 데시메이터(110-2과 110-1)는 각 제어 파라미터(CTRL1과 CTRL2)에 의하여 설정된 스케일 비율(scale ratio)에 따라 로우 비디오 신호(VI)를 스케일-다운할 수 있다.

각 레이어 인코더(130-1, 130-2, 및 130-3)의 인에이블과 디스에이블은 인코더 제어 코드(RC)에 따라 독립적으로 결정될 수 있다. 실시 예에 따라, 각 레이어 인코더(130-1, 130-2, 및 130-3)의 인에이블 순서 및/또는 각 레이어 인코더(130-1, 130-2, 및 130-3)의 디스에이블 순서는 인코더 제어 코드(RC)에 따라 결정될 수 있다. 예컨대, 통신 채널(30)의 대역폭이 증가할수록 인에이블되는 인코더의 수가 증가할 수 있다.

인코딩 동작은 하위(lower) 레이어 인코더(130-1)로부터 상위(upper) 레이어 인코더(130-3)로 순차적으로 진행될 수 있다.

인코더 제어 코드(RC)에 따라 설정되는 상기 인코딩 동작은 인트라-인코딩 (intra-encoding) 동작, 인터-인코딩(inter-encoding) 동작, 슬라이스-스킵(slice skip) 동작, 및 노-인코딩(no-encoding) 동작을 포함한다.

각 레이어 인코더(130-1, 130-2, 및 130-3)에 의하여 수행되는 상기 인트라-인코딩 동작, 상기 인터-인코딩 동작, 상기 슬라이브-스킵 동작, 및 상기 노-인코딩 동작은 디코딩 타입 결정 블록(24-2)으로부터 출력된 제어 코드(RC)에 따라 독립적으로 결정될 수 있다.

상기 인트라-인코딩 동작은 I-프레임(I-frame), 즉 인트라-코디드 프레임(intra-coded frame)을 생성하기 위해 현재 프레임을 인코딩하는 동작을 의미한다.

상기 인터-인코딩 동작은 P-프레임 또는 B-프레임, 즉 예측-코디드 프레임 (predictive-coded frame)을 생성하기 위해 현재 프레임과 이전 프레임의 차이를 인코딩하는 동작을 의미한다.

상기 슬라이스-스킵 동작은 인터-레이어 예측 정보만을 이용하여 입력 프레임을 인코딩하고 인코드된 스케일링 정보를 포함하는 헤더를 출력하는 동작을 의미한다.

상기 노-인코딩 동작은 입력 프레임을 인코딩하지 않는 동작을 의미한다.

각 프레임은 복수의 매크로블록들(macroblocks)을 포함하며, 인코딩은 매크로블록 단위로 수행된다.

베이스 레이어 인코더(base layer encoder) 또는 제1레이어 인코더(130-1)가 인코더 제어 코드(RC)에 따라 인트라-인코딩 동작을 수행할 때, 제1레이어 인코더 (130-1)는 제1버퍼(120-1)로부터 출력된 현재 프레임, 예컨대 QCIF를 수신하여 인코딩하고, 인코드된 제1코딩 레이어(CV1; 이하 '제1코딩 레이어'라 한다)와 제1인터-레이어 예측 정보(inter-layer prediction information; ILP1)를 생성한다.

제1인터-레이어 예측 정보(ILP1)는 제2레이어 인코더(130-2)의 코딩 효율 (coding efficiency)을 높이기 위하여 제2레이어 인코더(130-2)의 인코딩 동작에 사용된다.

향상 레이어 인코더(enhancement layer encoder) 또는 제2레이어 인코더 (130-2)가 인코더 제어 코드(RC)에 따라 인트라-인코딩 동작을 수행할 때, 제2레이어 인코더(130-2)는 제2버퍼(120-2)로부터 출력된 현재 프레임, 예컨대 CIF를 제1인터-레이어 예측 정보(ILP1)를 이용하여 인코딩하고, 인코드된 제2코딩 레이어(CV2; 이하 '제2코딩 레이어'라 한다.)와 제2인터-레이어 예측 정보(ILP2)를 생성한다.

제2인터-레이어 예측 정보(ILP2)는 제3레이어 인코더(130-3)의 코딩 효율을 높이기 위하여 제3레이어 인코더(130-3)의 인코딩 동작에 사용된다.

향상 레이어 인코더 또는 제3레이어 인코더(130-3)가 인코더 제어 코드(RC)에 따라 인트라-인코딩 동작을 수행할 때, 제3레이어 인코더(130-3)는 제3버퍼(120-3)로부터 출력된 비디오 신호, 예컨대 4CIF를 제2인터-레이어 예측 정보(ILP2)를 이용하여 인코딩하고, 인코드된 제3코딩 레이어(CV3; 이하 '제3코딩 레이어'라 한다.)를 생성한다.

각 레이어 인코더(130-1~130-3)가 인코더 제어 코드(RC)에 따라 인터-인코딩 동작을 수행할 때, 각 레이어 인코더(130-1~130-)는 각 버퍼(120-1~120-3)로부터 출력된 이전 프레임과 현재 프레임의 차이를 인코딩하고 각 코딩 레이어(CV1, CV2, 및 CV3)를 출력한다.

그러나, 슬라이스-스킵(slice skip) 동작을 수행할 때, 인코더 제어 코드(RC)에 따라 각 레이어 인코더(130-2와 130-3)는 SVC 문법 요소들(syntax elements)에 의하여 설정된 최소 비트들, 예컨대 스케일링 팩터, 즉 스케일 비율을 출력한다.

노-인코딩(no-encoding) 동작을 수행할 때, 인코더 제어 코드(RC)에 따라 각 레이어 인코더(130-1~130-3)는 디스에이블되므로 인코딩 동작은 수행되지 않는다.

도 2a에 도시된 바와 같이, 각 코딩 레이어(CVi, i=1, 2, 및 3)는 스케일링 팩터와 각종 제어 정보를 포함하는 헤더와, 데이터를 포함한다.

그러나, 각 슬라이스-스킵 레이어(CVj', j=2와 3)는 스케일링 팩터를 포함하는 슬라이스 단위의 헤더만을 포함한다.

도 2b는 도 1a 또는 도 1b에 도시된 인코더의 다른 실시 예를 나타내는 블록도를 나타내다. 도 2a와 도 2b를 참조하면, 도 1a 또는 도 1b의 인코더(22)의 다른 실시예로서 구현된 인코더(22B)는 다수의 데시메이터들(110-1과 110-2), 다수의 버퍼들(120-1, 120-2, 및 120-3), 다수의 레이어 인코더들(130-1, 130-2, 및 130-3), 및 MUX(multiplexer; 140)를 포함한다.

다수의 레이어 인코더들(130-1, 130-2, 및 130-3)은 인코더 제어 코드(RC)에 따라 동시에 인에이블되고 디스에이블될 수 있다. 따라서, 각 레이어 인코더(130-1, 130-2, 및 130-3)는 각 코딩 레이어(CV1, CV2, 및 CV3)를 먹스(140)로 출력할 수 있다.

먹스(140)는 인코더 제어 코드(RC)에 따라 각 코딩 레이어(CV1, CV2, 및 CV3)를 선택적으로 출력한다. 이때 인코더 제어 코드(RC)는 각 레이어 인코더(130-1, 130-2, 및 130-3)의 동작을 제어할 수 있는 비트들과 MUX(140)의 동작을 제어할 수 있는 비트들을 포함할 수 있다.

MUX(140)는 인코더 제어 코드(RC)에 따라 인트라-코딩 동작 동안 또는 인터-코딩 동작 동안 생성된 각 코딩 레이어(CV1, CV2, 및 CV3)를 선택적으로 출력한다.

그러나, 슬라이스-스킵 동작 동안, MUX(140)는 인코더 제어 코드(RC)에 따라 각각의 스케일링 팩터를 포함하는 각각의 슬라이스-스킵 레이어(CV2'와 CV3')를 선택적으로 출력한다.

노-인코딩 동안, MUX(140)는 인코더 제어 코드(RC)에 따라 어떠한 레이어 (CV1, CV2, CV3, CV2', 및 CV3')도 출력하지 않는다.

도 3은 도 1a 또는 도 1b에 도시된 디코더의 실시예를 나타내는 블록도이다.

도 3을 참조하면, 디코더(44)는 컨트롤 블록(44-2), 다수의 레이어 디코더들 (140-1~140-3), 및 다수의 출력 버퍼들(141-1~141-3)을 포함한다. 다수의 레이어 디코더들(140-1~140-3) 각각의 동작과 다수의 출력 버퍼들(141-1~141-3) 각각의 동작은 컨트롤 블록(44-2)에 의하여 제어될 수 있다.

컨트롤 블록(44-2)은 CPB(42)로부터 출력된 인코드된 코딩 레이어 또는 슬라이스-스킵 레이어에 따라 제1제어 코드 및/또는 제2제어 코드를 출력할 수 있다.

스케일러(46)는 상기 제1제어 코드에 따라 인에이블 또는 디스에이블되고, 스케일러(46)의 스케일링 팩터는 제2제어 코드에 따라 결정된다.

도 4는 통신 채널의 대역폭의 변화에 따른 도 1a 또는 도 1b에 도시된 스케일러블 인코더의 동작을 설명하기 위한 타이밍도의 일 실시예를 나타낸다.

스케일러블 디코더(40) 또는 스케일러블 디코딩 장치(14)에 의하여 디코드된 디코딩 레이어를 디스플레이되는 디스플레이 장치(미도시)는 다수의 종속 레이어들 중에서 항상 최상위 레이어를 디스플레이하고 스케일러(46)는 제1제어 코드에 따라 디스에이블된다고 가정한다.

통신 채널(30)의 대역폭(BW)이 제1값(BW1)을 가질 때, 도 1a, 도 2a, 도 3, 및 도 4를 참조하여 스케일러블 인코더(22A)의 동작을 설명하면 다음과 같다.

t0시점에서 제1레이어 인코더(130-1)는 인코더 제어 코드(RC)에 따라 제1버퍼(120-1)로부터 출력된 현재 프레임, 예컨대 QCIF를 인트라-인코딩하여 제1코딩 레이어(CV1), 즉 인트라-코디드 프레임(I0)을 출력하고, 제1인터-레이어 예측 정보 (ILP1)를 출력한다.

t0시점에서 제2레이어 인코더(130-2)는 제1인터-레이어 예측 정보(ILP1)를 이용하여 제1슬라이스-스킵 레이어(CV2')와 제2인터-레이어 예측 정보(ILP2)를 생성한다. 제1슬라이스-스킵 레이어(CV2')는 스케일링 팩터를 포함하는 슬라이스 단위의 헤더만을 포함한다.

t0시점에서 제3레이어 인코더(130-3)는 제2인터-레이어 예측 정보(ILP2)를 이용하여 제2슬라이스-스킵 레이어(CV3')를 생성한다. 제2슬라이스-스킵 레이어 (CV3')는 스케일링 팩터를 포함하는 슬라이스 단위의 헤더만을 포함한다.

통신 채널(30)의 대역폭(BW)이 제1값(BW1)을 가질 때, 도 1a, 도 2b, 도 3, 및 도 4를 참조하여 스케일러블 인코더(22B)의 동작을 설명하면 다음과 같다.

t0시점에서 인코더 제어 코드(RC)에 따라 인에이블된 각 레이어 인코더(130-1~130-3)는 각 코딩 레이어(CV1, CV2, 및 CV3)를 출력한다. MUX(140)는 인코더 제어 코드(RC)에 따라 제1코딩 레이어(CV1), 제1슬라이스-스킵 레이어 (CV2'), 및 제2슬라이스-스킵 레이어(CV3')를 순차적으로 출력한다.

따라서, 통신 채널(30)의 대역폭(BW)이 제1값(BW1)을 가질 때, t0시점에서 제1코딩 레이어(CV1), 제1슬라이스-스킵 레이어(CV2'), 및 제2슬라이스-스킵 레이어(CV3')는 CPB(26)와 통신 채널(30)을 통하여 CPB(42)로 전송된다.

제1코딩 레이어(CV1), 제1슬라이스-스킵 레이어(CV2'), 및 제2슬라이스-스킵 레이어(CV3')가 통신 채널(30)을 통하여 CPB(42)로 전송될 때, 컨트롤 블록(44-2)은 제1코딩 레이어(CV1)를 제1레이어 디코더(140-1)로 출력하고, 제1슬라이스-스킵 레이어(CV2')를 제2레이어 디코더(140-2)로 출력하고, 제2슬라이스-스킵 레이어 (CV3')를 제3레이어 디코더(140-3)로 출력한다. 이때, 컨트롤 블록(44-2)은 제1제어 코드를 스케일러(46)로 출력한다. 따라서 스케일러(46)는 디스에이블된다.

제1레이어 디코더(140-1)는 제1코딩 레이어(CV1)를 디코딩하여 디코딩 레이어를 제1출력 버퍼(141-1)로 출력하고, 생성된 인터-레이터 예측 정보를 제2레이어 디코더 (140-2)로 출력한다.

제2레이어 디코더(140-2)는 제1레이어 디코더(140-1)로부터 출력된 상기 인터-레이터 예측 정보를 이용하여 제1슬라이스-스킵 레이어(CV2')를 디코딩하여 디코딩 레이어를 제2출력 버퍼(141-2)로 전송하고, 생성된 인터-레이터 예측 정보를 제3레이어 디코더(140-3)로 출력한다.

제3레이어 디코더(140-3)는 제2레이어 디코더(140-2)로부터 출력된 상기 인터-레이터 예측 정보를 이용하여 제2슬라이스-스킵 레이어(CV3')를 디코딩하고 디코딩 레이어를 제3출력 버퍼(141-3)로 전송한다. 최종적으로, 제3출력 버퍼(141-3)에 저장된 디코딩 레이어가 DPB(44-1)로 출력된다.

통신 채널(30)의 대역폭(BW)이 제2값(BW2)을 가질 때, 도 1a, 도 2a, 도 3, 및 도 4를 참조하여 스케일러블 인코더(22A)의 동작을 설명하면 다음과 같다.

t1시점에서 제1레이어 인코더(130-1)는 인코더 제어 코드(RC)에 따라 디스에이블된다. 인코더 제어 코드(RC)에 따라, 제2레이어 인코더(130-2)는 제2버퍼(120-2)로부터 출력된 이전 프레임과 제2버퍼(120-2)로부터 출력된 현재 프레임의 차이를 인터-인코딩하여 제2코딩 레이어(CV2), 즉 예측-코디드 프레임(P1)과 제2인터-레이어 예측 정보(ILP2)를 생성한다.

t1시점에서 제3레이어 인코더(130-3)는 제2인터-레이어 예측 정보(ILP2)를 이용하여 제2슬라이스-스킵 레이어(CV3')를 생성한다.

통신 채널(30)의 대역폭(BW)이 제2값(BW2)을 가질 때, 도 1a, 도 2b, 도 3, 및 도 4를 참조하여 스케일러블 인코더(22B)의 동작을 설명하면 다음과 같다.

t1시점에서 인코더 제어 코드 (RC)에 따라 인에이블된 각 레이어 인코더 (130-1~130-3)는 각 코딩 레이어(CV1, CV2, 및 CV3)를 출력한다. MUX(140)는 인코더 제어 코드(RC)에 따라 제2코딩 레이어(CV2)와 제2슬라이스-스킵 레이어(CV3')를 순차적으로 출력한다.

따라서, 통신 채널(30)의 대역폭(BW)이 제2값(BW2)을 가질 때, t1시점에서 제2코딩 레이어(CV2)와 제2슬라이스-스킵 레이어(CV3')는 CPB(26)와 통신 채널(30)을 통하여 CPB(42)로 전송된다.

제2코딩 레이어(CV2)와 제2슬라이스-스킵 레이어(CV3')가 통신 채널(30)을 통하여 CPB(42)로 전송될 때, 컨트롤 블록(44-2)은 스케일러(46)를 디스에이블시키기 위한 제1제어 코드를 출력한다.

컨트롤 블록(44-2)의 제어에 따라, 제1레이어 디코더(140-1)는 디스에이블되고, 제2레이어 디코더(140-2)는 컨트롤 블록(44-2)으로부터 출력된 제2코딩 레이터 (CV2)를 디코딩하고 디코딩 레이어를 제2출력 버퍼(141-2)로 전송하고 생성된 인터-레이어 예측 정보를 제3레이어 디코더(140-3)로 전송한다.

제3레이어 디코더(140-3)는 제2레이어 디코더(140-2)로부터 출력된 상기 인터-레이터 예측 정보를 이용하여 제2슬라이스-스킵 레이어(CV3')를 디코딩하여 디코딩 레이어를 제3출력 버퍼(141-3)로 전송한다. 최종적으로, 제3출력 버퍼(141-3)에 저장된 디코딩 레이어가 DPB(44-1)로 출력된다.

통신 채널(30)의 대역폭(BW)이 제3값(BW3)을 가질 때, 도 1a, 도 2a, 도 3, 및 도 4를 참조하여 스케일러블 인코더(22A)의 동작을 설명하면 다음과 같다.

t2시점에서 제1레이어 인코더(130-1)와 제2레이어 인코더(130-2)는 인코더 제어 코드(RC)에 따라 디스에이블된다. 인코더 제어 코드(RC)에 따라, 제3레이어 인코더(130-3)는 t1시점의 이전 프레임과 t2시점의 현재 프레임의 차이를 인터-인코딩하여 제3코딩 레이어(CV3), 즉 예측-코디드 프레임(P2)을 생성한다.

따라서, 통신 채널(30)의 대역폭(BW)이 제3값(BW3)을 가질 때, t2시점에서 제3코딩 레이어(CV3)는 CPB(26)와 통신 채널(30)을 통하여 CPB(42)로 전송된다.

통신 채널(30)의 대역폭(BW)이 제3값(BW3)을 가질 때, 도 1a, 도 2b, 도 3, 및 도 4를 참조하여 스케일러블 인코더(22B)의 동작을 설명하면 다음과 같다.

t2시점에서 인코더 제어 코드 (RC)에 따라 인에이블된 각 레이어 인코더 (130-1~130-3)는 각 코딩 레이어(CV1, CV2, 및 CV3)를 출력한다. MUX(140)는 인코더 제어 코드(RC)에 따라 제3코딩 레이어(CV3)를 출력한다.

제3코딩 레이어(CV3)가 통신 채널(30)을 통하여 CPB(42)로 전송될 때, 컨트롤 블록(44-2)은 스케일러(46)를 디스에이블시키기 위한 제1제어 코드를 출력한다.

컨트롤 블록(44-2)의 제어에 따라, 제1레이어 디코더(140-1)와 제2레이터 디코더(140-2) 각각은 디스에이블되고 제3레이어 디코더(140-3)는 제3코딩 레이터 (CV3)를 디코딩하여 디코딩 레이어를 제3출력 버퍼(141-3)를 통하여 DPB(44-1)로 전송한다.

t3시점에서 제3코딩 레이어(CV3)는 CPB(42)로 전송되고, t4시점에서 제2코딩 레이어(CV2)와 제2슬라이스-스킵 레이어(CV3')는 CPB(42)로 전송되고, t5시점에서 제1코딩 레이어(CV1), 제1슬라이스-스킵 레이어(CV2') 및 제2슬라이스-스킵 레이어(CV3')는 CPB(42)로 전송되고, t6시점에서 제2코딩 레이어(CV2)와 제2슬라이스-스킵 레이어(CV3')는 CPB(42)로 전송되고, t7시점에서 제3코딩 레이어(CV3)는 CPB(42)로 전송된다.

도 5는 통신 채널의 대역폭의 변화에 따른 도 1a 또는 도 1b에 도시된 스케일러블 인코더의 동작을 설명하기 위한 타이밍 도의 다른 실시 예를 나타낸다.

이때 스케일러블 디코더(40)에 의하여 디코드된 디코딩 레이어를 디스플레이되는 디스플레이 장치(미도시)는 다수의 종속 레이어들 중에서 항상 최상위 레이어를 디스플레이하고, 스케일러(46)는 제1제어 코드에 따라 인에이블 또는 디스에이블된다고 가정한다.

통신 채널(30)의 대역폭(BW)이 제1값(BW1)을 가질 때, 도 1a, 도 2a, 도 3, 및 도 5를 참조하여 스케일러블 인코더(22A)의 동작을 설명하면 다음과 같다.

t0시점에서 제1레이어 인코더(130-1)는 인코더 제어 코드(RC)에 따라 제1버퍼(120-1)로부터 출력된 현재 프레임, 예컨대 QCIF를 인트라-인코딩하여 제1코딩 레이어(CV1), 즉 인트라-코디드 프레임(I0)을 출력한다. t0시점에서 제2레이어 인코더(130-2)와 제3레이어 인코더(130-3) 각각은 인코더 제어 코드(RC)에 따라 디스에이블된다.

통신 채널(30)의 대역폭(BW)이 제1값(BW1)을 가질 때, 도 1a, 도 2b, 도 3, 및 도 5를 참조하여 스케일러블 인코더(22B)의 동작을 설명하면 다음과 같다.

t0시점에서 인코더 제어 코드(RC)에 따라 인에이블된 각 레이어 인코더(130-1~130-3)는 각 코딩 레이어(CV1, CV2, 및 CV3)를 출력한다. MUX(140)는 인코더 제어 코드(RC)에 따라 제1코딩 레이어(CV1) 만을 출력한다.

통신 채널(30)의 대역폭(BW)이 제1값(BW1)을 가질 때, t0시점에서 제1코딩 레이어(CV1)는 CPB(26)와 통신 채널(30)을 통하여 CPB(42)로 전송된다.

제1코딩 레이어(CV1)가 통신 채널(30)을 통하여 CPB(42)로 전송될 때, 컨트롤 블록(44-2)은 제1레이어(CV1)의 헤더에 따라 스케일러(46)를 인에이블시키기 위한 제1제어 코드와 스케일링 팩터를 포함하는 제2제어 코드를 스케일러(46)로 출력하고, 제1레이어(CV1)를 제1레이어 디코더(140-1)로 출력한다. 이때, 제2레이어 디코더(140-2)와 제3레이어 디코더(140-3) 각각은 컨트롤 블록(44-2)의 제어에 따라 디스에이블된다.

제1레이어 디코더(140-1)는 제1코딩 레이어(CV1)를 디코딩하고 디코딩 레이어를 제1출력 버퍼(141-1)로 전송한다. 제1출력 버퍼(141-1)로 전송된 디코딩 레이어는 DPB(44-1)를 통하여 스케일러(46)로 전송된다. 스케일러(46)는 상기 제2제어 코드, 즉 스케일링 팩터를 이용하여 디코딩 레이어를 스케일-업 한다. 예컨대, QCIF는 4CIF로 스케일-업 된다.

통신 채널(30)의 대역폭(BW)이 제2값(BW2)을 가질 때, 도 1a, 도 2a, 도 3, 및 도 5를 참조하여 스케일러블 인코더(22A)의 동작을 설명하면 다음과 같다.

t1시점에서 제2레이어 인코더(130-2)는 인코더 제어 코드(RC)에 따라 제2버퍼(120-2)로부터 출력된 현재 프레임, 예컨대 CIF를 인트라-인코딩하여 제2코딩 레이어(CV2), 즉 인트라-코디드 프레임(I1)을 출력한다. t1시점에서 제1레이어 인코더 (130-1)와 제3레이어 인코더(130-3) 각각은 인코더 제어 코드(RC)에 따라 디스에이블된다.

통신 채널(30)의 대역폭(BW)이 제2값(BW2)을 가질 때, 도 1a, 도 2b, 도 3, 및 도 5를 참조하여 스케일러블 인코더(22B)의 동작을 설명하면 다음과 같다.

t1시점에서 인코더 제어 코드(RC)에 따라 인에이블된 각 레이어 인코더(130-1~130-3)는 각 코딩 레이어(CV1, CV2, 및 CV3)를 출력한다. MUX(140)는 인코더 제어 코드(RC)에 따라 제2코딩 레이어(CV2) 만을 출력한다.

통신 채널(30)의 대역폭(BW)이 제2값(BW2)을 가질 때, t1시점에서 제2코딩 레이어(CV2)는 CPB(26)와 통신 채널(30)을 통하여 CPB(42)로 전송된다.

제2코딩 레이어(CV2)가 통신 채널(30)을 통하여 CPB(42)로 전송될 때, 컨트롤 블록(44-2)은 제2레이어(CV2)의 헤더에 따라 스케일러(46)를 인에이블시키기 위한 제1제어 코드와 스케일러 스케일링 팩터를 포함하는 제2제어 코드를 스케일러(46)로 출력하고, 제2레이어(CV2)를 제2레이어 디코더(140-2)로 출력한다. 이때, 제1레이어 디코더(140-1)와 제3레이어 디코더(140-3) 각각은 컨트롤 블록(44-2)의 제어에 따라 디스에이블된다.

제2레이어 디코더(140-2)는 제2코딩 레이어(CV2)를 디코딩하고 디코딩 레이어를 제2출력 버퍼(141-2)로 전송한다. 제2출력 버퍼(141-2)로 전송된 디코딩 레이어는 DPB(44-1)를 통하여 스케일러(46)로 전송된다. 스케일러(46)는 제2제어 코드, 즉 스케일러 스케일링 팩터를 이용하여 제2디코딩 레이어를 스케일-업 한다. 예컨대, CIF는 4CIF로 스케일-업 된다.

통신 채널(30)의 대역폭(BW)이 제3값(BW3)을 가질 때, 도 1a, 도 2a, 도 3, 및 도 5를 참조하여 스케일러블 인코더(22A)의 동작을 설명하면 다음과 같다.

t2시점에서 제3레이어 인코더(130-3)는 인코더 제어 코드(RC)에 따라 제3버퍼(120-3)로부터 출력된 현재 프레임, 예컨대 4CIF를 인트라-인코딩하여 제3코딩 레이어(CV3), 즉 인트라-코디드 프레임(I2)을 출력한다. t2시점에서 제1레이어 인코더(130-1)와 제2레이어 인코더(130-22) 각각은 인코더 제어 코드(RC)에 따라 디스에이블된다.

통신 채널(30)의 대역폭(BW)이 제3값(BW3)을 가질 때, 도 1a, 도 2b, 도 3, 및 도 5를 참조하여 스케일러블 인코더(22B)의 동작을 설명하면 다음과 같다.

t2시점에서 인코더 제어 코드(RC)에 따라 인에이블된 각 레이어 인코더(130-1~130-3)는 각 코딩 레이어(CV1, CV2, 및 CV3)를 출력한다. MUX(140)는 인코더 제어 코드(RC)에 따라 제3코딩 레이어(CV3) 만을 출력한다.

통신 채널(30)의 대역폭(BW)이 제3값(BW3)을 가질 때, t2시점에서 제3코딩 레이어(CV3)는 CPB(26)와 통신 채널(30)을 통하여 CPB(42)로 전송된다.

제3코딩 레이어(CV3)가 통신 채널(30)을 통하여 CPB(42)로 전송될 때, 컨트롤 블록(44-2)은 제3코딩 레이어(CV3)의 헤더에 따라 스케일러(46)를 디스에이블시키기 위한 제1제어 코드를 스케일러(46)로 출력하고 제3코딩 레이어(CV3)를 제3레이어 디코더(140-3)로 출력한다. 이때, 제1레이어 디코더(140-1)와 제2레이어 디코더(140-2) 각각은 컨트롤 블록(44-2)의 제어에 따라 디스에이블 된다.

제3레이어 디코더(140-3)는 제3코딩 레이어(CV3)를 디코딩하고 디코딩 레이어를 제3출력 버퍼(141-3)로 전송한다. 제3출력 버퍼(141-3)로 전송된 디코딩 레이어는 DPB(44-1)를 통하여 디스플레이 장치로 전송된다.

t3시점에서 스케일러블 인코더(20)는 t3시점의 현재 프레임과 t2시점의 이전 프레임의 차이들을 인터-인코딩하여 예측-코디드 프레임(P3), 즉 제3코딩 레이어(CV3)를 출력한다. t4시점에서 스케일러블 인코더(20)는 t4시점의 현재 프레임과 t1시점의 이전 프레임의 차이들을 인터-인코딩하여 예측-코디드 프레임(P4), 즉 제2코딩 레이어(CV2)를 출력한다. t5시점에서 스케일러블 인코더(20)는 t5시점의 현재 프레임과 t0시점의 이전 프레임의 차이들을 인터-인코딩하여 예측-코디드 프레임(P5), 즉 제1코딩 레이어(CV1)를 출력한다. t6시점에서 스케일러블 인코더(20)는 t6시점의 현재 프레임과 t4시점의 이전 프레임의 차이들을 인터-인코딩하여 예측-코디드 프레임(P6), 즉 제2코딩 레이어(CV2)를 출력한다. t7시점에서 스케일러블 인코더(20)는 t7시점의 현재 프레임과 t3시점의 이전 프레임의 차이들을 인터-인코딩하여 예측-코디드 프레임(P7), 즉 제3코딩 레이어(CV3)를 출력한다.

도 6은 통신 채널의 대역폭의 변화에 따른 도 1a 또는 도 1b에 도시된 스케일러블 인코더의 동작을 설명하기 위한 타이밍 도의 또 다른 실시 예를 나타낸다.

통신 채널(30)의 대역폭(BW)이 제1값(BW1)을 가질 때, 도 1a, 도 2a, 도 3, 및 도 6을 참조하여 스케일러블 인코더(22A)의 동작을 설명하면 다음과 같다.

t0시점에서 제1레이어 인코더(130-1)는 인코더 제어 코드(RC)에 따라 제1버퍼(120-1)로부터 출력된 현재 프레임, 예컨대 QCIF를 인트라-인코딩하여 제1코딩 레이어(CV1), 즉 인트라-코디드 프레임(I0)을 출력한다. t0시점에서 제2레이어 인코더(130-2)와 제3레이어 인코더(130-3) 각각은 인코더 제어 코드(RC)에 따라 디스에이블된다.

통신 채널(30)의 대역폭(BW)이 제1값(BW1)을 가질 때, 도 1a, 도 2b, 도 3, 및 도 6을 참조하여 스케일러블 인코더(22B)의 동작을 설명하면 다음과 같다.

t0시점에서 인코더 제어 코드(RC)에 따라 인에이블된 각 레이어 인코더(130-1~130-3)는 각 코딩 레이어(CV1, CV2, 및 CV3)를 출력한다. MUX(140)는 인코더 제어 코드(RC)에 따라 제1코딩 레이어(CV1) 만을 출력한다.

통신 채널(30)의 대역폭(BW)이 제1값(BW1)을 가질 때, t0시점에서 제1코딩 레이어(CV1)는 CPB(26)와 통신 채널(30)을 통하여 CPB(42)로 전송된다.

제1코딩 레이어(CV1)가 통신 채널(30)을 통하여 CPB(42)로 전송될 때, 컨트롤 블록(44-2)은 제1코딩 레이어(CV1)의 헤더에 따라 스케일러(46)를 인에이블시키기 위한 제1제어 코드와 스케일러 스케일링 팩터를 포함하는 제1제어 코드를 스케일러(46)로 출력하고 제1코딩 레이어(CV1)를 제1레이어 디코더(140-1)로 출력한다. 이때, 제2레이어 디코더(140-2)와 제3레이어 디코더(140-3) 각각은 컨트롤 블록 (44-2)의 제어에 따라 디스에이블 된다.

제1레이어 디코더(140-1)는 제1코딩 레이어(CV1)를 디코딩하고 디코딩 레이어를 제1출력 버퍼(141-1)로 전송한다. 제1출력 버퍼(141-1)로 전송된 디코딩 레이어는 DPB(44-1)를 통하여 스케일러(46)로 전송된다. 스케일러(46)는 제2제어 코드에 포함된 스케일러 스케일링 팩터를 이용하여 디코딩 레이어를 스케일-업 한다.

예컨대, 따라서 디스플레이 장치의 해상도가 4CIF일 때 QCIF는 상기 스케일러 스케일링 팩터에 따라 4CIF로 스케일-업 되고, 상기 디스플레이 장치의 해상도가 CIF일 때 QCIF는 상기 스케일러 스케일링 팩터에 따라 CIF로 스케일-업 된다.

즉, 컨트롤 블록(44-2)은 상기 디스플레이 장치의 해상도에 따라 상기 스케일러 스케일링 팩터를 조절할 수 있다. 초기 세션 동안 또는 초기화시에, 컨트롤 블록(44-2)은 스케일러블 디코딩 장치(14)에 접속된 디스플레이 장치의 해상도에 대한 정보를 얻을 수 있다. 이에 따라 컨트롤 블록(44-2)은 상기 해상도에 대한 상기 정보와 코딩 레이어에 포함된 정보에 따라 스케일링 팩터를 포함하는 제2제어 코드를 생성할 수 있다.

통신 채널(30)의 대역폭(BW)이 제2값(BW2)을 가질 때, 도 1a, 도 2a, 도 3, 및 도 6을 참조하여 스케일러블 인코더(22A)의 동작을 설명하면 다음과 같다.

t1시점에서 제1레이어 인코더(130-1)는 인코더 제어 코드(RC)에 따라 t1에서의 현재 프레임과 t0에서의 이전 프레임의 차이를 인터-인코딩하여 제1코딩 레이 어(CV1)와 제1인터-레이어 예측 정보(ILP1)를 생성한다.

t1시점에서 제2레이어 인코더(130-2)는 제1인터-레이어 예측 정보(ILP1)를 이용하여 제2버퍼(120-2)로부터 출력된 현재 프레임을 인트라-인코딩하여 제2코딩 레이어(CV2), 즉 인트라-코디드 프레임(CV2)을 생성한다. t1시점에서 제3레이어 인코더(130-3)는 인코더 제어 코드(RC)에 따라 디스에이블된다.

통신 채널(30)의 대역폭(BW)이 제2값(BW2)을 가질 때, 도 1a, 도 2b, 도 3, 및 도 6을 참조하여 스케일러블 인코더(22B)의 동작을 설명하면 다음과 같다.

t1시점에서 인코더 제어 코드(RC)에 따라 인에이블된 각 레이어 인코더(130-1~130-3)는 각 코딩 레이어(CV1, CV2, 및 CV3)를 출력한다. MUX(140)는 인코더 제어 코드(RC)에 따라 제1코딩 레이어(CV1), 즉 예측-코디드 프레임과 제2코딩 레이어(CV2), 즉 인트라-코디드 프레임을 출력한다.

통신 채널(30)의 대역폭(BW)이 제2값(BW2)을 가질 때, t1시점에서 제1코딩 레이어(CV1)와 제2코딩 레이어(CV2)는 CPB(26)와 통신 채널(30)을 통하여 순차적으로 CPB(42)로 전송된다.

제1코딩 레이어(CV1)와 제2코딩 레이어(CV2)가 통신 채널(30)을 통하여 CPB (42)로 전송될 때, 컨트롤 블록(44-2)은 제1제어 코드와 제2제어 코드를 스케일러 (46)로 출력하고, 제1코딩 레이어(CV1)를 제1레이어 디코더(140-1)로 출력한다. 이때, 제2레이어 디코더(140-2)와 제3레이어 인코더(140-3) 각각은 컨트롤 블록(44-2)의 제어에 따라 디스에이블된다.

제1레이어 디코더(140-1)는 제1코딩 레이어(CV1)를 디코딩하고 디코딩 레이어를 제1출력 버퍼(141-1)로 전송한다. 제1출력 버퍼(141-1)로 전송된 디코딩 레이어는 DPB(44-1)를 통하여 스케일러(46)로 전송된다. 제1제어 코드에 응답하여 인에이블된 스케일러(46)는 스케일러 스케일러 스케일링 팩터를 포함하는 제2제어 코드를 이용하여 디코딩 레이어를 스케일-업 한다. 예컨대, 디스플레이 장치의 해상도가 4CIF일 때, QCIF는 4CIF로 스케일-업 된다.

제2레이어 디코더(140-2)는 제2코딩 레이어(CV2)를 디코딩하고 디코딩 레이어를 제2출력 버퍼(141-2)로 전송한다. 제2출력 버퍼(141-2)로 전송된 디코딩 레이어는 DPB(44-1)를 통하여 스케일러(46)로 전송된다. 제1제어 코드에 응답하여 인에이블된 스케일러(46)는 스케일러 스케일러 스케일링 팩터를 포함하는 제2제어 코드를 이용하여 디코딩 레이어를 스케일-업 한다.

실시예에 따라, 디스플레이 장치의 해상도가 4CIF일 때, CIF는 4CIF로 스케일-업 된다. 다른 실시 예에 따라, 디스플레이 장치의 해상도가 CIF일 때, QCIF는 CIF로 스케일-업 된다.

통신 채널(30)의 대역폭(BW)이 제3값(BW3)을 가질 때, 도 1a, 도 2a, 도 3, 및 도 6을 참조하여 스케일러블 인코더(22A)의 동작을 설명하면 다음과 같다.

t2시점에서 제1레이어 인코더(130-1)는 인코더 제어 코드(RC)에 따라 t2에서의 현재 프레임과 t1에서의 이전 프레임의 차이를 인터-인코딩하여 제1코딩 레이어(CV1)와 제1인터-레이어 예측 정보(ILP1)를 생성한다.

t2시점에서 제2레이어 인코더(130-2)는 인코더 제어 코드(RC)에 따라 t2에서의 현재 프레임과 t1에서의 이전 프레임의 차이를 인터-인코딩하여 제2코딩 레이어 (CV2)와 제2인터-레이어 예측 정보(ILP2)를 생성한다. 실시예에 따라, t2시점에서 제2레이어 인코더(130-2)는 인코더 제어 코드(RC)에 따라 제2버퍼(120-2)로부터 출력된 현재 프레임을 제2인터-레이어 예측 정보(ILP2)를 이용하여 인터-인코딩하여 제2코딩 레이어(CV2)를 생성할 수 있다.

t2시점에서 제3레이어 인코더(130-3)는 인코더 제어 코드(RC)에 따라 제3버퍼(120-3)로부터 출력된 현재 프레임을 제2인터-레이어 예측 정보(ILP2)를 이용하여 인트라-인코딩하여 제3코딩 레이어(CV3)를 생성한다.

통신 채널(30)의 대역폭(BW)이 제3값(BW3)을 가질 때, 도 1a, 도 2b, 도 3, 및 도 6을 참조하여 스케일러블 인코더(22B)의 동작을 설명하면 다음과 같다.

t2시점에서 인코더 제어 코드(RC)에 따라 인에이블된 각 레이어 인코더(130-1~130-3)는 각 코딩 레이어(CV1, CV2, 및 CV3)를 출력한다. MUX(140)는 인코더 제어 코드(RC)에 따라 제1코딩 레이어(CV1), 제2코딩 레이어(CV2), 및 제3코딩 레이어(CV3)를 순차적으로 출력한다.

통신 채널(30)의 대역폭(BW)이 제3값(BW3)을 가질 때, t2시점에서 각 코딩 레이어(CV1, CV2, 및 CV3)는 CPB(26)와 통신 채널(30)을 통하여 CPB(42)로 전송된다.

이때, 컨트롤 블록(44-2)은 제1코딩 레이어(CV1)를 제1레이터 디코더(140-1)로 출력하고, 제2코딩 레이어(CV2)를 제2레이터 디코더(140-2)로 출력하고, 제3코딩 레이어(CV3)를 제3레이어 디코더(140-3)로 출력한다.

t3시점에서 스케일러블 인코더(20)는 각 예측-코디드 프레임(CV1, CV2, 및 CV3)을 출력한다. t4시점에서 제1레이어 인코더(130-1)는 t4시점에서의 현재 프레임과 t3시점에서의 이전 프레임의 차이에 대하여 인터-인코딩을 수행하고, 제2레이어 인코더(130-2)는 t4시점에서의 현재 프레임과 t1시점에서의 이전 프레임의 차이에 대하여 인터-인코딩을 수행한다.

t5시점에서 제1레이어 인코더(130-1)는 t5시점에서의 현재 프레임과 t0시점에서의 이전 프레임의 차이에 대하여 인터-인코딩을 수행한다.

스케일러(46)는 제2제어 코드를 이용하여 디코딩 레이어의 해상도를 디스플레이 장치의 해상도에 적합하게 조절할 수 있다.

도 7은 스케일러블 인코더와 스케일러블 디코더를 포함하는 본 발명의 또 다른 실시 예에 따른 데이터 처리 시스템을 나타내는 블록도를 나타낸다.

도 7을 참조하면, 데이터 처리 시스템(200)은 스케일러블 인코더(20)를 포함하는 비디오 서버(210), 통신 채널(30), 및 다수의 이종 수신 장치들(a plurality of heterogeneous receiving devices; 220-1~220-5)을 포함한다. 다수의 이종 수신 장치들(220-1~220-5) 각각은 본 발명의 실시 예에 따른 스케일러블 디코더(40) 또는 스케일러블 디코딩 장치(14)를 포함한다.

제1수신 장치(220-1)는 QQVGA(Quarter-QVGA) 해상도를 갖는 작은(small) 디스플레이 장치를 포함하는 이동 전화기일 있다. 제2수신 장치(220-2)는 QVGA (Quarter Video Graphics Array) 해상도를 갖는 중간 (medium) 디스플레이 장치를 포함하는 PDA(personal digital assistant), PMP (portable multimedia player), 스마트폰(smart phone), 또는 태블릿 (tablet) PC일 수 있다

제3수신 장치(220-3)는 VGA(Video Graphics Array) 해상도를 갖는 대형 (large) 디스플레이 장치를 포함하는 랩탑(laptop) 컴퓨터 또는 PC(personal computer)일 수 있다. 제4수신 장치(220-4)는 SD(standard Definition) 해상도를 갖는 디스플레이 장치를 포함하는 디지털 TV, 또는 IPTV일 수 있다. 제5수신 장치 (220-5)는 HD(High Definition) 해상도를 갖는 디스플레이 장치를 포함하는 디지털 TV, 또는 IPTV일 수 있다.

스케일러블 인코더(20)는 다수의 종속 레이어들 중에서 시간에 따라 변하는 통신 채널(30)의 대역폭에 적합한 코딩 레이어를 인코딩하고 인코드된 코딩 레이어를 통신 채널(30)로 전송한다.

다수의 이종 수신 장치들(220-1~220-5) 각각에 구현된 스케일러블 디코더 (40) 또는 스케일러블 디코딩 장치(14)는 통신 채널(30)을 통하여 수신된 인코드된 코딩 레이어를 디코딩하고, 스케일러 스케일링 팩터에 따라 디코딩 레이어의 해상도를 다수의 이종 수신 장치들(220-1~220-5) 각각의 디스플레이 장치의 해상도에 적합하도록 조절할 수 있다.

도 8은 스케일러블 인코더와 스케일러블 디코더를 포함하는 본 발명의 또 다른 실시 예에 따른 데이터 처리 시스템을 나타내는 블록도를 나타낸다.

도 8을 참조하면, 데이터 처리 시스템(300)은 통신 채널(30)을 통하여 서로 통신하는 제1비디오 신호 처리 장치(11)와 제2비디오 신호 처리 장치(15)를 포함한다.

제1비디오 신호 처리 장치(11)는 제1비디오 소스(11-1), 제1스케일러블 인코더(20-1), 제1스케일러블 디코더(40-1), 및 제1디스플레이 장치(13)를 포함한다. 제1스케일러블 디코더(40-1)는 도 1a에 도시된 스케일러블 디코딩 장치(14)로 대체될 수 있다.

제1비디오 소스(11-1)는 제1스케일러블 인코더(20-1)로 로우(raw) 비디오 신호를 제공하고, 제1스케일러블 인코더(20-1)와 제1스케일러블 디코더(40-1) 각각의 구조와 동작은 도 1a에 도시된 스케일러블 인코더(20)와 스케일러블 디코더(40) 각각의 구조와 동작과 실질적으로 동일하다.

제1스케일러블 인코더(20-1)는 인코드된 코딩 레이어 및/또는 적어도 하나의 스케일러 스케일링 팩터를 통신 채널(30)을 통하여 제2비디오 신호 처리 장치(15)의 제2스케일러블 디코더(40-2)로 전송한다.

제1스케일러블 디코더(40-1)는 제2비디오 신호 처리 장치(15)의 제2스케일러블 인코더(20-2)로부터 출력된 인코드된 코딩 레이어 및/또는 적어도 하나의 스케일러 스케일링 팩터를 통신 채널(30)을 통하여 수신하여 디코딩하고, 디코딩 레이어 또는 스케일 조절된 디코딩 레이어를 제1디스플레이 장치(13)에 디스플레이한다.

제2비디오 신호 처리 장치(15)는 제1비디오 소스(15-1), 제2스케일러블 인코더(20-2), 제2스케일러블 디코더(40-2), 및 제2디스플레이 장치(17)를 포함한다. 제2스케일러블 디코더(40-2)는 도 1a에 도시된 스케일러블 디코딩 장치(14)로 대체될 수 있다.

제2비디오 소스(15-1)는 제2스케일러블 인코더(20-2)로 로우 비디오 신호를 제공하고, 제2스케일러블 인코더(20-2)와 제2스케일러블 디코더(40-2) 각각의 구조와 동작은 도 1a에 도시된 스케일러블 인코더(20)와 스케일러블 디코더(40) 각각의 구조와 동작과 실질적으로 동일하다.

제2스케일러블 인코더(20-2)는 인코드된 코딩 레이어 및/또는 적어도 하나의 스케일러 스케일링 팩터를 통신 채널(30)을 통하여 제1비디오 신호 처리 장치(11)의 제1스케일러블 디코더(40-1)로 전송한다.

제2스케일러블 디코더(40-2)는 제1비디오 신호 처리 장치(11)의 제1스케일러블 인코더(20-1)로부터 출력된 인코드된 코딩 레이어 및/또는 적어도 하나의 스케일러 스케일링 팩터를 통신 채널(30)을 통하여 수신하여 디코딩하고, 디코딩 레이어 또는 스케일 조절된 디코딩 레이어를 제2디스플레이 장치(17)에 디스플레이한다.

도 9는 도 1a 또는 도 1b에 도시된 스케일러블 인코더의 동작 방법을 설명하는 플로우차트이다.

도 1a, 도 1b, 도 2a, 도 2b, 및 도 9를 참조하면, 스케일러블 인코더(20)에 의하여 인코딩 동작이 시작되면, 모든 제어 파라미터들, 예컨대 GOP(group of picture) 타입 또는 스케일러 스케일링 팩터가 계산되고, 계산된 모든 제어 파라미터들은 초기값들로서 설정된다(S10).

목표 수준(target quality)을 만족시키기 위하여 요구되는 각 레이어마다 미리 정의된 비트들-크기(pre-defined bits-size)에 따라 다수의 종속 레이어들 각각에 대한 비트-버짓(bit-budget)이 할당된다.

상기 인코딩 동작 동안, 현재 AU(access unit)에 대한 통신 채널(30)의 이용가능한 비트-버짓, 예컨대 통신 채널(30)의 대역폭이 분석된다(S20). AU(access unit)는 각 시각에 포함된 프레임의 집합을 의미한다. 예컨대, 도 4에 도시된 바와 같이 t0시점에서 AU는 CV1, CV2', 및 CV3'을 포함하고, t1시점에서 AU는 CV2와 CV3'을 포함하고, t2시점에서 AU는 CV3을 포함한다.

통신 채널(30)의 대역폭이 분석되면, 분석 결과에 따라 다수의 종속 레이어들 중에서 어느 하나의 레이어가 코딩 레이어로서 선택된다(S30). 상기 코딩 레이어가 선택되면, 상기 코딩 레이어로 현재 AU(current AU)를 인코딩한다(S40). 그러나, 상기 코딩 레이어가 존재하지 않으면 상기 현재 AU를 스킵한다(S60).

상기 현재 AU가 마지막 AU인지를 판단하고(S50), 상기 현재 AU가 상기 마지막 AU인 경우 인코딩 동작을 종료한다. 그러나, 상기 현재 AU가 상기 마지막 AU가 아닐 때, 상기 현재 AU가 상기 마지막 AU가 될 때까지 S20, S30, S40, 및 S50을 반복적으로 수행한다.

도 10은 도 1a 또는 도 1b에 도시된 스케일러블 인코더의 동작 방법을 설명하는 플로우차트이다.

도 1a부터 도 10을 참조하면, 스케일러블 인코더(20)는 시간에 따라 변하는 통신 채널(30)의 대역폭을 감시 또는 분석한다(S110).

스케일러블 인코더(20)는 감시 결과 또는 분석 결과에 따라 다수의 종속 레이어들 중에서 선택된 레이어를 코딩 레이어로서 인코딩한다(S120).

인코드된 코딩 레이어가 최상위 레이어일 때(S130) 스케일러블 인코더(20)는 상기 최상위 레이어를 통신 채널(30)로 전송하고(S150), 상기 코딩 레이어가 최상위 레이어가 아닐 때(S130) 스케일러블 인코더(20)는 상기 코딩 레이어와 적어도 하나의 스케일러 스케일링 팩터를 통신 채널(30)로 전송할 수 있다(S140).

도 11은 도 4에 도시된 실시예를 수행하기 위한 도 1a 또는 도 1b에 도시된 스케일러블 디코더의 동작 방법을 설명하는 플로우차트이다.

도 1a, 도 3, 도 4, 및 도 11을 참조하면, 스케일러블 디코더(40)는 인코드된 코딩 레이어와 적어도 하나의 슬라이스-스킵 레이어(CV2'와 CV3')를 통신 채널 (30)을 통하여 수신하여 디코딩한다(S210).

도 3과 도 4를 참조하여 설명한 바와 같이, 스케일러블 디코더(44)는 적어도 하나의 슬라이스-스킵 레이어(CV2'와 CV3')를 이용하여 디코드된 코딩 레이어의 해상도를 디스플레이 장치의 해상도에 적합하도록 조절한다(S220).

도 12는 도 5와 도 6에 도시된 실시예를 수행하기 위한 도 1a 또는 도 1b에 도시된 스케일러블 디코더의 동작 방법을 설명하는 플로우차트이다.

도 1a, 도 3, 도 5, 도 6, 및 도 12를 참조하면, 스케일러블 디코딩 장치(14)는 인코드된 코딩 레이어를 통신 채널(30)을 통하여 수신하여 디코딩한다(S310).

도 3, 도 5와 도 6을 참조하여 설명한 바와 같이, 스케일러(46)는 스케일러 스케일링 팩터를 포함하는 제2제어 코드를 이용하여 디코딩 레이어의 해상도를 디스플레이 장치의 해상도에 적합하도록 조절한다(S320).

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10: 데이터 처리 시스템
20: 스케일러블 인코더
22: 인코더
24: 컨트롤 모듈
26: 송신 버퍼
30: 통신 채널
14: 디코딩 블록
40: 스케일러블 디코더
42: 수신 버퍼
44: 디코더
46: 스케일러

Claims (19)

1. 시간에 따라 변하는 통신 채널의 대역폭을 분석하여 제어 코드를 출력하는 단계; 및
   상기 제어 코드에 따라 다수의 종속 레이어들(dependency layers) 중에서 선택된 레이어를 코딩 레이어로서 인코딩하고, 인코드된 코딩 레이어를 상기 통신 채널로 전송하는 단계를 포함하는 인코더의 동작 방법.
2. 제1항에 있어서,
   상기 코딩 레이어가 최상위 레이어(uppermost layer)가 아닐 때, 상기 코딩 레이어의 모든 상위 레이어 각각에 대한 인코드된 각각의 스케일링 팩터를 상기 통신 채널로 전송하는 단계를 더 포함하는 인코더의 동작 방법.
3. 제2항에 있어서, 상기 스케일링 팩터는,
   공간 확장성 팩터(spatial scalability factor)를 적어도 일부로서 포함하는 인코더의 동작 방법.
4. 제1항에 있어서,
   상기 코딩 레이어가 최하위 레이어(lowermost layer)가 아닐 때, 상기 코딩 레이어의 모든 하위 레이어 각각을 인코딩하지 않는 단계를 더 포함하는 인코더의 동작 방법.
5. 제1항에 있어서,
   상기 코딩 레이어가 최상위 레이어가 아닐 때, 상기 코딩 레이어의 모든 상위 레이어 각각을 인코딩하는 단계; 및
   먹스(mux)를 이용하여, 상기 인코드된 코딩 레이어와 상기 모든 상위 레이어 각각에 대한 인코드된 스케일링 팩터를 상기 통신 채널로 전송하는 단계를 더 포함하는 인코더의 동작 방법.
6. 제1항에 있어서,
   상기 코딩 레이어가 최하위 레이어가 아닐 때, 상기 코딩 레이어의 모든 하위 레이어 각각을 인코딩하는 단계; 및
   먹스(mux)를 이용하여 상기 인코드된 코딩 레이어만을 상기 통신 채널로 전송하는 단계를 더 포함하는 인코더의 동작 방법.
7. 제1항에 있어서,
   상기 코딩 레이어가 최상위 레이어가 아닐 때, 상기 코딩 레이어의 모든 상위 레이어 각각을 인코딩하지 않는 단계를 더 포함하는 인코더의 동작 방법.
8. 제1항에 있어서,
   상기 코딩 레이어가 최상위 레이어가 아닐 때, 상기 코딩 레이어의 모든 상위 레이어 각각을 인코딩하는 단계; 및
   먹스를 이용하여 상기 인코드된 코딩 레이어만을 상기 통신 채널로 전송하는 단계를 더 포함하는 인코더의 동작 방법.
9. 제1항에 있어서,
   상기 코딩 레이어가 최하위 레이어가 아닐 때, 상기 코딩 레이어의 모든 하위 레이어 각각을 인코딩하는 단계; 및
   먹스를 이용하여 인코드된 모든 하위 레이어 각각과 상기 인코드된 코딩 레이어를 순차적으로 상기 통신 채널로 전송하는 단계를 더 포함하는 인코더의 동작 방법.
10. 제1인코드된 코딩 레이어를 통신 채널로 전송하는 송신 버퍼의 비트 레벨에 따라 상기 통신 채널의 대역폭을 분석하여 제어 코드를 출력하는 단계; 및
    상기 제어 코드에 따라 다수의 종속 레이어들(dependency layers) 중에서 선택된 레이어를 코딩 레이어로서 인코딩하고 인코딩 결과에 따라 생성된 제2인코드된 코딩 레이어를 상기 통신 채널로 전송하는 단계를 포함하는 인코더의 동작 방법.
11. 디코더로부터 출력되고, 통신 채널을 통하여 상기 디코더로 전송되는 제1인코드된 코딩 레이어의 비트 레이트에 대한 비트 레이트 정보를 수신하는 단계;
    상기 비트 레이트 정보에 따라 상기 통신 채널의 대역폭을 분석하여 제어 코드를 출력하는 단계; 및
    상기 제어 코드에 따라 다수의 종속 레이어들(dependency layers) 중에서 선택된 레이어를 코딩 레이어로서 인코딩하고, 인코딩 결과에 따라 생성된 제2인코드된 코딩 레이어를 상기 통신 채널로 전송하는 단계를 포함하는 인코더의 동작 방법.
12. 다수의 종속 레이어들 중에서 코딩 레이어에 대한 인코드된 코딩 레이어를 통신 채널을 통하여 수신하는 단계;
    상기 인코드된 코딩 레이어로부터 제1제어 코드와 제2제어 코드를 생성하는 단계;
    상기 인코드된 코딩 레이어를 디코딩하여 디코드된 코딩 레이어를 생성하는 단계; 및
    상기 제1제어 코드에 따라 스케일러가 디스에이블될 때 상기 디코드된 코딩 레이터를 상기 스케일러를 바이패스하여 디스플레이로 출력하고,
    상기 제1제어 코드에 따라 상기 스케일러가 인에이블될 때 상기 제2제어 코드에 따라 상기 디코드된 코딩 레이터의 해상도를 스케일-업 하고 스케일-업 된 해상도를 갖는 디코드된 코딩 레이어를 상기 디스플레이로 출력하는 단계를 포함하는 디코딩 장치의 동작 방법.
13. 비디오 소스; 및
    상기 비디오 소스로부터 출력된 비디오 신호를 스케일러블 비디오 코딩하여 서로 다른 해상도를 갖는 다수의 종속 레이어들을 생성하고, 통신 채널의 대역폭의 분석 결과에 따라 생성된 제어 코드에 따라 상기 다수의 종속 레이어들 중에서 선택된 레이어를 인코딩하고 인코딩 결과에 따라 제1인코드된 코딩 레이어를 상기 통신 채널로 전송하는 인코더를 포함하는 비디오 신호 처리 장치.
14. 제13항에 있어서, 상기 인코더는,
    송신 버퍼; 및
    상기 송신 버퍼에 누적되는 비트스트림들의 양에 따라 상기 통신 채널의 대역폭을 분석하여 상기 제어 코드를 생성하는 컨트롤 모듈을 포함하는 비디오 신호 처리 장치.
15. 제14항에 있어서, 상기 인코더는,
    상기 다수의 종속 레이어들 중에서 최상의 레이어를 버퍼링하기 위한 제1버퍼;
    각각이 상기 다수의 종속 레이어들 중에서 나머지 레이어들 각각을 생성하기 위한 복수의 데시메이터들;
    각각이 상기 복수의 데시메이터들 각각에 의하여 생성된 레이어를 버퍼링하기 위한 복수의 제2버퍼들; 및
    각각이 상기 제1버퍼와 상기 다수의 제2버퍼들 각각에 의하여 버퍼된 레이어를 인코딩하기 위한 복수의 레이어 인코더들을 포함하며,
    상기 복수의 레이어 인코더들 중에서 어느 하나는 상기 제어 코드에 따라 상기 제1인코드된 코딩 레이어를 생성하는 비디오 신호 처리 장치.
16. 제14항에 있어서, 상기 인코더는,
    상기 다수의 종속 레이어들 중에서 최상의 레이어를 버퍼링하기 위한 제1버퍼;
    각각이 상기 다수의 종속 레이어들 중에서 나머지 레이어들 각각을 생성하기 위한 복수의 데시메이터들;
    각각이 상기 복수의 데시메이터들 각각에 의하여 생성된 레이어를 버퍼링하기 위한 복수의 제2버퍼들; 및
    각각이 상기 제1버퍼와 상기 다수의 제2버퍼들 각각에 의하여 버퍼된 레이어를 인코딩하기 위한 복수의 레이어 인코더들; 및
    상기 제어 코드에 응답하여, 상기 복수의 레이어 인코더들 중에서 어느 하나의 인코더로부터 출력된 상기 제1인코드된 코딩 레이터를 상기 통신 채널로 전송하는 먹스(MUX)를 포함하는 비디오 신호 처리 장치.
17. 제13항에 있어서, 상기 인코더는,
    디코더로부터 출력되고, 상기 통신 채널로 전송되는 제2인코드된 코딩 레이어의 비트 레이트에 대한 비트 레이트 정보에 따라 전송 조건 정보를 생성하는 모니터; 및
    상기 전송 조건 정보를 분석하여 상기 제어 코드를 생성하는 컨트롤 모듈을 포함하는 비디오 신호 처리 장치.
18. 디스플레이 장치; 및
    상기 디스플레이 장치의 해상도에 맞는 해상도를 갖는 디코딩 레이어를 제공하는 디코딩 장치를 포함하며,
    상기 디코딩 장치는,
    상기 디스플레이 장치의 상기 해상도보다 낮은 해상도를 갖는 인코드된 코딩 레이어를 통신 채널을 통하여 수신하여 디코딩하는 디코더; 및
    상기 디코더로부터 출력된 스케일링 팩터를 이용하여 상기 디코더에 의하여 디코드된 상기 디코딩 레이어의 해상도를 상기 디스플레이 장치의 해상도에 맞게 조절하는 스케일러를 포함하는 비디오 신호 처리 장치.
19. 제18항에 있어서,
    상기 스케일러는 상기 디코더로부터 출력된 제어 코드에 따라 인에이블 또는 디스에이블되는 비디오 신호 처리 장치.

Images