KR20050070096A

KR20050070096A - 코딩된 비디오 패킷 구조, 디멀티플렉서, 병합기, 및강력한 비디오 송신을 위해 데이터를 분할하기 위한 방법및 장치

Info

Publication number: KR20050070096A
Application number: KR1020057007356A
Authority: KR
Inventors: 종 철 예; 윙웨이 첸
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2002-10-30
Filing date: 2003-10-21
Publication date: 2005-07-05
Also published as: EP1559276A1; US20040086041A1; AU2003269397A1; CN1708992A; WO2004040917A1; JP2006505180A

Abstract

송신 동안 비트 에러 및 패킷 손실을 제거하도록 설계된 개선된 DCT 데이터 분할을 이용하는 단일 층 비트 스트림 구문을 제공하는 시스템 및 방법이 개시된다. 비트 스트림 구문은 단일 층 비트 스트림으로서 사용될 수 있거나, 동등하지 않은 에러 보호를 허용하기 위해 비디오 패킷을 기본 및 개선 층으로 디멀티플렉스하는데 사용될 수 있다. 이러한 구문의 한가지 장점은, 수신된 비디오 패킷의 디멀티플렉싱 및 병합이 간단해지는 한편, 기본 및 개선 층에 대한 융통성있는 비트 할당을 허용한다는 것이다.

Description

코딩된 비디오 패킷 구조, 디멀티플렉서, 병합기, 및 강력한 비디오 송신을 위해 데이터를 분할하기 위한 방법 및 장치{CODED VIDEO PACKET STRUCTURE, DEMULTIPLEXER, MERGER, METHOD AND APPARATUS FOR DATA PARTITIONING FOR ROBUST VIDEO TRANSMISSION}

본 발명은 비디오 코딩 시스템에 관한 것으로, 특히, 강력한(robust) 비디오 송신을 가능하게 하는 개선된 데이터 분할 구성에 관한 것이다. 본 발명은, 특히 상이한 비트율, 이에 따라 상이한 품질의 이미지를 수용할 수 있는 가변-대역폭 네트워크 및 컴퓨터 시스템에 연결된 유틸리티를 갖는다.

일반적으로 크기 조정가능(scalable) 비디오 코딩은 비디오 프레임당 데이터의 상이한 레벨 또는 양을 제공할 수 있는 코딩 기술을 지칭한다. 현재, 그러한 기술은, 코딩된 비디오 데이터를 출력할 때 융통성을 제공하기 위해 MPEG-1, MPEG-2 및 MPEG-4(즉, 동화상 전문가 그룹)와 같은 비디오 코딩 표준에 의해 사용된다. MPEG-1 및 MPEG-2 비디오 압축 기술이 자연적(natural) 비디오로부터 직사각형 화상에 제한되지만, MPEG-4 영상의 범위는 훨씬 더 넓다. MPEG-4 영상은 자연적 및 합성 비디오 모두가 코딩되도록 하고, 장면의 개별적인 대상에 컨텐트에 기초한 액세스를 제공한다.

MPEG-4 인코딩된 데이터 스트림은 계층에 의해 설명될 수 있다. 가장 높은 합성 구조는 영상(visual) 대상 시퀀스이다. 상기 구조는 하나 이상의 영상 대상으로 구성된다. 각 영상 대상은 다음의 대상 유형, 즉 비디오 대상, 정지 텍스처 대상, 메쉬(mesh) 대상, 페이스(face) 대상 중 하나에 속한다. 예를 들어, 비디오 대상에서, 자연적 비디오 대상은 하나 이상의 비디오 대상 층에 인코딩된다. 각 층은 비디오 대상의 시간적 또는 공간적 해상도를 개선한다. 단일 층 코딩에서, 하나의 비디오 대상 층만이 존재한다.

각 비디오 대상 층은. 비디오 대상 평면(VOP: Video Object Plane)으로 언급되는, 상이한 시간 간격에서의 임의의 형태로 된 2D 표현 시퀀스를 포함한다. 이들 VOP는 비디오 대상 평면 그룹(GOV: Group of Video Object Plane)에서 구조화될 수 있다. 비디오 대상 평면은 매크로블록으로 추가로 분리된다. 개별적인 비디오 대상에 액세스하기 위해, MPEG-4는 인코딩 움직임 및 텍스처 정보 외에 그 형태의 표현을 인코딩한다.

MPEG-4 비디오 표준은 잘 알려진 압축 툴을 적용한다. 공간적 상관은, 이산 코사인 변환(DCT)을 이용하고 뒤이어 시각적으로 가중된 양자화를 이용함으로서 제거된다. 블록 기반의 움직임 보상은 시간 여분(temporal redundancy)을 감소시키도록 적용된다. MPEG-4는 3가지 상이한 유형의 비디오 대상 평면, 즉 인트라-코딩(I), 예측-코딩(P), 및 쌍방향 예측 코딩(B) VOP를 이용한다.

비트율을 더 감소시키기 위해, 예측기는 공간 및 시간 잔여 감소 단계로부터의 결과를 코딩하는 동안 사용된다. 예측 코딩은 DC 계수, 및 인트라-코딩 블록에서 몇몇 AC 계수를 인코딩하는데 사용된다. 추가적으로, 움직임 벡터 및 형태 정보는 서로 다르게 인코딩된다. 예측 코딩의 광범위한 이용으로 인해, 이웃한 매트로블록 사이의 종속성이 강해지는데, 즉 특정 수의 이전 매크로블록의 정보가 이용가능한 경우에만 매크로블록이 디코딩될 수 있다.

상호 의존 매크로블록의 긴 체인(chain)을 피하기 위해, MPEG-4는 H.261/H.263에서의 블록 그룹(GOB), 및 MPEG-1/MPEG-2에서의 슬라이스 정의에 필적하는 자가-포함 비디오 패킷(VP)을 생성한다. MPEG-4 비디오 패킷은 매크로 블록의 수가 아니라 패킷에 포함된 비트의 수에 기초한다. 현재 인코딩된 비디오 패킷의 크기가 특정 임계치를 초과하면, 인코더는 다음 매크로블록에서 새로운 비디오 패킷을 시작할 것이다.

도 1에 도시된 바와 같이, MPEG-4 비디오 패킷 구조는 RESYNC 마커, 양자화 파라미터(QP), 헤더 확장 코드(HEC), 매크로블록(MB) 수, 움직임 및 헤더 정보, 움직임 마커(MM) 및 텍스처 정보를 포함한다. MB 수는 필요한 공간 재동기를 제공하는 한편, 양자화 파라미터는 차분 디코딩 프로세스가 재동기화되도록 한다.

움직임 및 헤더 정보 필드는 움직임 벡터(MV) DCT DC 계수의 정보, 및 매크로블록 유형과 같은 다른 헤더 정보를 포함한다. 나머지 DCT AC 계수는 텍스처 정보 필드에 코딩된다. 움직임 마커는 DC 및 AC DCT 계수를 분리한다.

MPEG-4 비디오 표준은 에러 내성(error robustness) 및 회복력(resilience)을 제공하여, 광범위한 범위의 저장 및 송신 매체를 통해 이미지 또는 비디오 정보에 액세스할 수 있게 한다. MPEG-4 비디오 표준에 대해 개발된 에러 회복력 툴은 3가지 주요 영역, 즉 재동기, 데이터 복구, 및 에러 은폐(concealment)로 분리될 수 있다.

재동기 툴은, 잔여 에러 또는 에러들이 검출된 후에 디코더와 비트스트림 사이에 재동기를 가능하게 하려고 시도한다. 일반적으로, 에러 이전의 동기 지점과, 동기가 재확립되는 제 1 지점 사이의 데이터는 폐기된다. 재동기 접근법이 디코더에 의해 폐기된 데이터의 양을 국부화할 때 효과적이면, 데이터를 복구하고 및/또는 에러 영향을 은폐하는 다른 유형의 툴의 능력은 크게 개선된다.

MPEG-4에 의해 사용된 현재 비디오 패킷 접근법은 비트스트림 전체에 주기적인 재동기 마커를 제공하는 것에 기초한다. 비디오 패킷의 길이는 매크로블록의 수에 기초하지 않고, 그 대신 상기 패킷에 포함된 비트의 수에 기초한다. 현재 비디오 패킷에 포함된 비트의 수가 미리 결정된 임계치를 초과하면, 새로운 비디오 패킷은 다음 매크로블록의 시작에서 생성된다.

재동기(RESYNC) 마커는 새로운 비디오 패킷의 시작을 구별하는데 사용된다. 이러한 마커는 모든 가능한 VLC 코드워드 및 VOP 시작 코드와 구별가능하다. 헤더 정보는 또한 비디오 패킷의 시작에 제공된다. 디코딩 프로세스를 재시작하는데 필요한 정보는 이러한 헤더에 포함된다.

동기가 재확립된 후에, 데이터 복구 툴은 일반적으로 손실될 데이터를 복구하도록 시도한다. 이들 툴은 간단히 에러 정정 코드가 아니며, 그 대신 에러 회복력 방식으로 데이터를 인코딩하는 기술이다. 예를 들어, 한가지 특정한 툴은 역방향 가변 길이 코드(RVLC: Reversible Variable Length Codes)이다. 이러한 접근법에서, 가변 길이 코드워드는, 순방향 및 역방향 모두에서 판독될 수 있도록 설계된다.

RVLC의 이용을 예시하는 예는 도 2에 주어진다. 일반적으로, 에러의 버스트(burst)가 데이터의 일부분을 변형(corrupted)시키는 이와 같은 상황에서, 2개의 동기 지점 사이의 모든 데이터는 손실된다. 그러나, 도 2에 도시된 바와 같이, RVLC는 상기 데이터 중 일부가 복구되도록 한다.

그러나, 강력한 비디오 송신을 위해 개선된 데이터 분할을 병합하는 비디오 코딩 기술이 필요하다.

도 1은 종래의 MPEG-4 비디오 패킷 구조를 도시한 도면.

도 2는 역방향 가변 길이 코딩의 종래의 예를 도시한 도면.

도 3은 본 발명의 바람직한 실시예에 따라 비디오 패킷 구조를 도시한 도면.

도 4는 본 발명의 하나의 양상에 따른 비디오 코딩 시스템을 도시한 도면.

도 5는 본 발명의 바람직한 실시예에 따른 분리(splitting)/병합 동작을 도시한 기능 블록도.

도 6은 본 발명이 구현될 수 있는 컴퓨터 시스템을 도시한 도면.

도 7은 도 4에 도시된 컴퓨터 시스템에서 개인용 컴퓨터의 구조를 도시한 도면.

도 8은 본 발명의 일실시예를 도시한 흐름도.

본 발명은, 종래의 비디오 패킷 구조에서 움직임 마커(MM) 앞뒤에 DCT AC 정보의 융통성있는 할당을 허용함으로써 전술한 필요성을 해결한다. 이것은 비디오 패킷 구조 내에 우선 순위 차단 포인트 정보를 추가함으로써 용이하게 된다.

본 발명의 하나의 양상은, 송신 동안 비트 에러 및 패킷 손실을 제거하도록 설계되는 개선된 DCT 데이터 분할을 단일 층 비트 스트림 구문(syntax)에 제공하는 시스템 및 방법에 관한 것이다. 비트 스트림 구문은 단일 층 비트 스트림으로서 사용될 수 있거나, 동등하지 않은 에러 보호를 허용하기 위해 비디오 패킷을 베이스 및 개선 층에 디멀티플렉스하는데 사용될 수 있다. 이러한 구문의 한가지 장점은, 수신된 비디오 패킷의 디멀티플렉싱 및 병합(merging)이 간단히 이루어지는 한편, 베이스 및 개선 층에 대한 융통성있는 비트 할당을 허용한다는 것이다.

본 발명의 다른 양상에서, 우선 순위 차단 포인트는 또한 비트 에러를 제거하기 위해 RVLC의 이용을 허용한다.

본 발명의 또 다른 양상에서, 재동기 마커 및 우선 순위 차단 포인트로 인해, 본 발명의 비디오 패킷 구조는 또한 비디오 패킷 손실을 제거할 수 있다.

본 발명의 일실시예는, 코딩된 비디오 패킷 구조의 시작, 우선 순위 차단 포인트(PBP), 및 DC DCT 계수 및 AC DCT 계수의 제 1 세트를 포함하는 움직임/텍스처 부분을 나타내는 재동기 마커를 포함하는 코딩된 비디오 패킷 구조에 관한 것이다. AC DCT 계수의 제 1 세트는 우선 순위 차단 포인트 값에 따라 움직임/텍스처 부분에 포함된다. 비디오 패킷 구조는, 또한 AC DCT 계수의 제 1 세트와는 상이한 AC DCT 계수의 제 2 세트를 포함하는 텍스처 부분, 및 움직임/텍스처 부분과 텍스처 부분을 분리시키는 움직임 마커를 포함한다.

본 발명의 다른 실시예는, 입력 비디오 데이터를 수신하는 단계와, 코딩되지 않은 비디오 데이터에 대한 DC 및 AC DCT 계수를 결정하고, DC 및 AC 계수를 코딩된 비디오 패킷으로 포맷하는 단계를 포함하는 비디오 데이터 인코딩 방법에 관한 것이다. 코딩된 비디오 패킷은, 시작 마커와, AC DCT 계수의 일부분 및 DC를 포함하는 제 1 서브섹션과, 제 1 서브섹션에 포함되지 않은 AC DCT 계수의 제 2 부분을 포함하는 제 2 서브섹션과, 제 1 및 제2 서브섹션 사이의 분리 마커를 포함한다. 상기 방법은, 또한 분리 마커에 따라 제 1 서브섹션을 포함하는 제 1 층, 및 제 2 서브섹션을 포함하는 제 2 층을 형성하기 위해 비디오 패킷을 분리하는 단계를 포함한다.

본 발명의 또 다른 실시예는, 코딩된 비디오 패킷을 형성하기 위해 기본 층 및 적어도 하나의 개선 층을 병합하는 장치에 관한 것이다. 상기 장치는 컴퓨터-실행가능한 프로세스 단계를 저장하는 메모리와, (ⅰ) DC 및 AC DCT 계수 및 개선 층 모두를 포함하는 기본 층을 수용하고, (ⅱ) 개선 층에서 움직임 마커를 검색하고, (ⅲ) 개선 층 패킷 헤더를 제거한 후에 기본 층과 개선 층을 조합하도록 메모리에 저장된 프로세스 단계를 수행하는 프로세서를 포함한다.

이러한 간략한 요약은, 본 발명의 특성이 빨리 이해될 수 있도록 제공된다. 첨부된 도면과 연계하여 본 발명의 바람직한 실시예의 다음 상세한 설명을 참조하여 본 발명이 더 완전히 이해될 수 있다.

이제 도 3을 참조하면, 우선 순위 차단 포인트(PBP)를 포함하는 비디오 패킷(VP) 구조가 도시된다. 도 3에 도시된 RSYNC 마커, MB 수, QP 및 HEC 요소는 도 1에 도시된 것과 동일하다. 그러나, 도 1의 움직임 마커(MM)는 이제 이동가능 움직임 마커(MMM)이다. PBP는 DCT AC 계수의 PBP를 신호 발신(signalling)함으로써 MMM 앞뒤에 DCT AC 정보의 융통성있는 할당을 허용한다. 각 DCT 블록에 대한 64 런-렝쓰(run-length) 쌍의 최대값이 있기 때문에, PBP 값은 6 비트 고정 길이 코드로 인코딩될 수 있다.

도 3에 도시된 VP의 장점은 도 4와 연계하여 논의될 것이다. 도 4는 계층형 코딩 및 전송 우선 순위를 갖는 비디오 시스템(100)을 도시한다. 계층형 소스 인코더(110)는 입력 비디오 데이터를 인코딩한다. 복수의 채널(120)은 인코딩된 데이터를 운반한다. 계층형 소스 디코더(130)는 인코딩된 데이터를 디코딩한다.

계층형 코딩을 구현하는 여러 방식이 있다. 예를 들어, 시간 영역 계층형 코딩에서, 기본 층은 더 낮은 프레임 속도를 갖는 비트 스트림을 포함하고, 개선 층은 더 높은 프레임 속도를 갖는 출력을 얻기 위해 증분 정보를 포함한다. 공간 영역 계층형 코딩에서, 기본 층은 본래 비디오 시퀀스의 서브-샘플링 버전을 코딩하고, 개선 층은 디코더에서 더 높은 공간 정보를 얻기 위한 추가 정보를 포함한다.

일반적으로, 상이한 층은 상이한 데이터 스트림을 이용하고, 채널 에러에 대해 명백히 상이한 허용오차를 갖는다. 채널 에러를 제거하기 위해, 계층형 코딩은 일반적으로 전송 우선 순위와 조합되어, 기본 층은 더 높은 에러 보호도로 전달된다. 기본 층이 손실되면, 개선 층에 포함된 데이터는 쓸모 없을 수 있다.

도 3에 도시된 VP 구조의 한가지 장점은, 각 VP 내의 MMM을 방금 검색함으로써 비디오 패킷을 기본 및 개선 층으로 분리할 수 있게 하는 것이다. 이것은 아래에 더 구체적으로 설명된다.

더욱이, 도 3의 VP 구조는 최소 기본 층(BL) 비디오 품질의 융통성있는 제어를 허용한다. 원하는 BL은 이에 따라 PBP를 선택함으로써 제어될 수 있다. 비디오 시스템(100)은 상이한 기준 및/또는 사용자 선택가능 PBP에 기초하여 하나 이상의 프로그래밍된 디폴트 PBP를 가질 수 있다. PBP 선택 기준은, 예를 들어,

(1) 현재 이용가능한 송신 채널(120)의 수;

(2) 현재 이용가능한 송신 채널(120)의 유형/품질;

(3) 현재 이용가능한 송신 채널(120)의 신뢰가능성, 또는

(4) BL 비디오 품질에 대한 사용자 선호도에 기초할 수 있다.

PBP의 값은 또한 선택 기준 및/또는 수신단으로부터 수신된 피드백에서의 변화에 기초하여 동적으로 제어될 수 있다. 예를 들어, VP가 손실되고 및/또는 에러로 변형되면, PBP는 이러한 변화에 응답하여 BL 비디오 품질을 증가/감소하도록 동적으로 변화될 수 있다. BL의 비디오 품질을 증가시키는 것은, 심지어 하나 이상의 개선 층이 손실된 경우 수신단에서의 디코딩 정보가 적어도 미리 결정된 비디오 품질이라는 것을 보장할 것이다.

기본 층(BL) 및 개선 층(EL) 분할의 블록도는 도 5에 도시되어 있다. 송신단에서, 도 4에 도시된 계층형 소스 인코더(110)의 부분일 수 있는 디멀티플렉서(111)는 도 3에 도시된 VP를 기본 층(200) 및 하나 이상의 개선 층(201){하나의 개선 층(201)만이 도 5에 도시됨}으로 분리된다. 수신단에서, 계층형 소스 디코더(130)의 부분일 수 있는 병합기(131)는 기본 층(200)과 하나 이상의 개선 층(201)을 병합한다.

이동가능 움직임 마커(MMM)의 검색 동작은 최소의 계산 비용을 초래하는데, 그 이유는 MMM이 고유하고, DCT AC 계수와 같은 다른 데이터로부터 어떠한 MMM 에뮬레이션도 존재하지 않기 때문이다. 이것은, 종래의 기본 및 개선 층 인코더/디코더에 비해 디멀티플렉서(111) 및 병합기(131)가 하드웨어 또는 소프트웨어에서 저가로 손쉽게 설계되도록 한다.

병합기에서, 기본 및 개선 층이 조합될 때, 병합기는 간단히 개신 층 패킷 헤더를 제거하여 MMM을 위치시키고, MMM 및 텍스처 정보를 기본 층에 추가할 필요가 있다. 이에 따라, 기본 및 개선 층은 도 3에 도시된 비디오 패킷 구조를 재형성하도록 조합될 수 있다. PBP는, AC DCT 계수의 부분이 기본 층에 포함된 병합기(131)(또는 디코더)에 표시되는데 사용된다.

더욱이, 더 신뢰성있는 송신 채널을 통해 PBP 값 및 대응하는 낮은 주파수 DCT 계수(즉, DC 및 약간의 AC DCT 계수)를 송신함으로써, DCT 정보의 더 우수한 동적 할당이 달성될 수 있다. 이것은 개선 VP 중 하나 이상이 손실되는 경우에 최소의 비디오 품질을 더 잘 제어할 수 있게 한다. 이 점에 있어서, 도 1에 도시된 종래의 MPEG-4 VP는, 단지 기본 층에서 비디오 품질의 최소 제어를 허용하는 나머지 AC DCT 정보로부터 DC DCT 정보를 분리할 수 있다.

도 5에 도시된 VP를 분리시키지 않고도, 단일 층 구문이 비트 에러뿐 아니라 패킷 손실을 제거함으로써 유용할 수 있다. 이 점에 있어서, 만일 MMM 이후에 비트 에러가 있다면, DCT DC 및 저 주파수 DCT DC 성분은 여전히 디코딩가능할 수 있고, 최소 비디오 품질을 제공하는데 사용될 수 있다. 최소 비디오 품질은 PBP 값을 조정함으로써 제어될 수 있다. 본 발명을 단일 또는 이중 층에 이러한 상호 운용성(interoperability)할수 있게 된 경우의 유일한 비용은 새로운 필드(즉, PBP)를 VP 구조에 도입함으로 인해 초래되는 비트 비용이다. 그러나, 전술한 바와 같이, 이것은 VP의 정상 크기(대략 수백 바이트)를 고려할 때 무시할 수 있는 소수의 비트(예를 들어, 6 비트)이다.

도 6은, 본 발명이 구현될 수 있는 컴퓨터 시스템(9)의 대표적인 실시예를 도시한다. 도 6에 도시된 바와 같이, 개인용 컴퓨터("PC")(10)는, 가변-대역폭 네트워크 또는 인터넷과 같은 네트워크에 인터페이스하기 위한 네트워크 연결부(11)와, 비디오 카메라(미도시)와 같은 다른 원격 소스와 인터페이스하기 위한 팩스/모뎀 연결부(12)를 포함한다. PC(10)는 또한 정보(비디오 데이터 포함)를 사용자에게 디스플레이하기 위한 디스플레이 스크린(14)과, 텍스트 및 사용자 명령을 입력하기 위한 키보드(15)와, 커서를 디스플레이 스크린(14) 상에 위치시키고 사용자 명령을 입력하기 위한 마우스(13)와, 설치된 플로피 디스크로부터 판독하고 플로피 디스크에 기록하기 위한 디스크 드라이브(16)와, CD-ROM 상에 저장된 정보에 액세스하기 위한 CD-ROM 드라이브(17)를 포함한다. PC(10)는 또한 텍스트 이미지, 그래픽 이미지 등을 문서에 입력하기 위한 스캐너(미도시), 및 이미지, 텍스트 등을 출력하기 위한 프린터(19)와 같이 부착된 하나 이상의 주변 디바이스를 가질 수 있다.

도 7은 PC(10)의 내부 구조를 도시한다. 도 7에 도시된 바와 같이, PC(10)는 컴퓨터 하드 디스크와 같은 컴퓨터-판독가능 매체를 포함하는 메모리(20)를 포함한다. 메모리(20)는 데이터(23), 애플리케이션(25), 프린트 드라이버(24), 및 운영 체계(26)를 저장한다. 본 발명의 바람직한 실시예에서, 본 발명이 다른 운영 체계도 또한 사용될 수 있지만, 운영 체계(26)는 마이크로소프트 윈도우즈95와 같은 윈도우형 운영 체계이다. 메모리(20)에 저장된 애플리케이션 중에는 크기 조정가능 비디오 코더(21) 및 크기 조정가능 비디오 디코더(22)가 있다. 크기 조정가능 비디오 코더(21)는 아래에 구체적으로 설명된 방식으로 크기 조정가능 비디오 데이터 인코딩을 수행하고, 크기 조정가능 비디오 디코더(22)는 크기 조정가능 비디오 코더(21)에 의해 규정된 방식으로 코딩된 비디오 데이터를 디코딩한다. 이들 애플리케이션의 동작은 아래에 구체적으로 설명된다.

또한 디스플레이 인터페이스(29), 키보드 인터페이스(30), 마우스 인터페이스(31), 디스크 드라이브 인터페이스(32), CD-ROM 드라이브 인터페이스(34), 컴퓨터 버스(36), RAM(37), 프로세서(38), 및 프린터 인터페이스(40)는 PC(10) 내에 포함된다. 프로세서(38)는 전술한 것과 같은 애플리케이션들을 RAM(37)으로부터 수행하기 위한 마이크로프로세서 등을 포함하는 것이 바람직하다. 크기 조정가능 비디오 코더(21) 및 크기 조정가능 비디오 디코더(22)를 포함하는 그러한 애플리케이션은 메모리(20)(전술한 바와 같은)에 저장될 수 있거나, 또는 대안적으로 디스크 드라이브(16) 내의 플로피 디스크, 또는 CD-ROM 드라이브(17) 내의 CD-ROM 상에 저장될 수 있다. 프로세서(38)는 디스크 드라이브 인터페이스(32)를 통해 플로피 디스크 상에 저장된 애플리케이션(또는 다른 데이터)에 액세스하고, CD-ROM 드라이브 인터페이스(34)를 통해 CD-ROM 상에 저장된 애플리케이션(또는 다른 데이터)에 액세스한다.

PC(10)의 애플리케이션 수행 및 다른 작업은 키보드(15) 또는 마우스(13), 각각 키보드 인터페이스(30) 및 마우스 인터페이스(31)를 통해 프로세서(38)로 송신되는 명령을 이용하여 개시될 수 있다. PC(10) 상에 실행되는 애플리케이션으로부터의 출력 결과는 디스플레이 인터페이스(29)에 의해 처리될 수 있고, 그 다음에 디스플레이(14) 또는 대안적으로, 네트워크 연결부(11)를 통한 출력부 상에 사용자에게 디스플레이될 수 있다. 예를 들어, 크기 조정가능 비디오 코더(21)에 의해 코딩된 입력 비디오 데이터는 일반적으로 네트워크 연결부(11)를 통해 출력된다. 다른 한 편으로, 예를 들어 가변 대역폭 네트워크로부터 수신되는 코딩된 비디오 데이터는 크기 조정가능 비디오 디코더(22)에 의해 디코딩되고, 그 다음에 디스플레이(14) 상에 디스플레이된다. 이 때문에, 디스플레이 인터페이스(29)는, 컴퓨터 버스(36)를 통해 프로세서(38)에 의해 제공된 디코딩된 비디오 데이터에 기초하여 비디오 이미지를 형성하고, 이들 이미지를 디스플레이(14)에 출력하기 위한 디스플레이 프로세서를 포함하는 것이 바람직하다. PC(10) 상에서 실행되는, 워드 프로세싱 프로그램과 같은 다른 애플리케이션으로부터의 출력 결과는 프린터 인터페이스(40)를 통해 프린터(19)에 제공될 수 있다. 프로세서(38)는, 프린터(19)로의 송신 이전에 그러한 프린터 작업물의 적절한 포매팅을 수행하도록 프린터 드라이버(24)를 수행한다.

도 8은 도 4에 도시된 비디오 시스템(100)의 기능을 설명하는 흐름도이다. 시작하기 위해, 단계(S101)에서, 본래 코딩되지 않은 비디오 데이터는 비디오 시스템(100)에 입력된다. 이러한 비디오 데이터는 네트워크 연결부(11), 팩스/모뎀 연결부(12), 또는 비디오 소스를 통해 입력될 수 있다. 본 발명의 목적을 위해, 비디오 소스는 임의의 유형의 비디오 캡쳐 디바이스를 포함할 수 있는데, 상기 비디오 캡쳐 디바이스의 예로는 디지털 비디오 카메라가 있다.

다음으로, 단계(S202)는 표준 기술을 이용하여 본래 비디오 데이터를 코딩한다. 계층형 소스 인코더(111)는 단계(S202)를 수행할 수 있다. 본 발명의 바람직한 실시예에서, 계층형 소스 인코더(111)는 MPEG-4 인코더이다. 단계(S303)에서, 디폴트 또는 사용자-선택 PBP 값은 코딩 단계(S202) 동안 사용된다. 결과적인 VP는 도 3에 도시된 구조를 갖는다.

단계(S404)에서, MMM이 위치된다. 그 다음에 VP는 단계(S505)에서 기본 및 개선 층으로 분리된다. 그 다음에 기본 및 개선 층은 단계(S606)에서 송신된다. BL은 이용가능한 가장 신뢰성있고 및/또는 가장 높은 우선 순위의 채널을 이용하여 송신되는 것이 바람직하다.

선택적으로, 단계(S707)에서, 다양한 송신 파라미터 및 채널 데이터는 예를 들어 스트리밍 비디오 애플리케이션에서 감시될 수 있다. 이것은 PBP가 송신 동안의 변화에 따라 극적으로 변화되도록 한다.

VP는, 단계(S808)에서 병합되고 디코딩된, 예를 들어 계층형 소스 디코더(130)와 같은 디코더에 의해 수신된다.

본 명세서에 설명된 본 발명의 실시예가 컴퓨터 코드로서 구현되는 것이 바람직하지만, 도 8에 도시된 단계의 전부 또는 일부는 별도의 하드웨어 요소 및/또는 논리 회로를 이용하여 구현될 수 있다. 또한, 본 발명의 인코딩 및 디코딩 기술이 PC 환경에서 설명되었지만, 이들 기술은, 디지털 텔레비전/셋톱 박스, 비디오 화상 회의 기기 등을 포함하지만 여기에 한정되지 않는 임의의 유형의 비디오 디바이스에 사용될 수 있다.

이러한 관점에서, 본 발명은 특정한 예시적인 실시예에 관해 설명되었다. 본 발명이 전술한 실시예 및 변형에 한정되지 않고, 다양한 변화 및 변형이 첨부된 청구항의 사상 및 범주에서 벗어나지 않고도 당업자에 의해 이루어질 수 있음이 이해될 것이다.

상술한 바와 같이, 본 발명은 비디오 코딩 시스템에 관한 것으로, 특히, 강력한 비디오 송신을 가능하게 하는 개선된 데이터 분할 구성 등에 이용된다.

Claims

코딩된 비디오 패킷 구조로서,

상기 코딩된 비디오 패킷 구조의 시작을 나타내는 재동기 마커와;

우선 순위 차단 포인트(PBP: Priority Break Point) 값과;

DC DCT 계수 및 AC DCT 계수의 제 1 세트를 포함하는 움직임/텍스처 부분으로서, 상기 AC DCT 계수의 제 1 세트는 상기 우선 순위 차단 포인트 값에 따라 움직임/텍스처 부분에 포함되는, 움직임/텍스처 부분과;

상기 AC DCT 계수의 제 1 세트와 다른 AC DCT 계수의 제 2 세트를 포함하는 텍스처 부분과;

상기 움직임/텍스처 부분과 상기 텍스처 부분을 분리하는 움직임 마커(motion marker)를

포함하는, 코딩된 비디오 패킷 구조.
제 1항에 있어서, 상기 AC DCT 계수의 제 1 세트는 제 1 비-DC DCT 계수에서 시작하여 상기 PBP 값에 따라 선택된 상한까지인 AC DCT 계수의 제 1 범위를 포함하는, 코딩된 비디오 패킷 구조.
제 2항에 있어서, 상기 AC DCT 계수의 제 2 세트는 상기 상한보다 높은, 코딩된 비디오 패킷 구조.
청구항 1항에 따른 코딩된 비디오 패킷 구조를, 움직임 마커에 따라 하나의 기본 층 및 하나 이상의 개선 층으로 분리하도록 배열된, 디멀티플렉서.
제 4항에 있어서, 상기 디멀티플렉서는 계층형 소스 인코더의 부분인, 디멀티플렉서.
제 5항에 있어서, 상기 계층형 소스 인코더는 MPEG-4 인코더인, 디멀티플렉서.
제 4항에 따라 분리된 하나의 기본 층 및 하나 이상의 개선 층을 병합하도록 배열된, 병합기.
제 7항에 있어서, 상기 병합기는 계층형 소스 디코더의 부분인, 병합기.
제 8항에 있어서, 상기 계층형 소스 디코더는 MPEG-4 디코더인, 병합기.
비디오 데이터 인코딩 방법으로서,

입력 비디오 데이터를 수신하는 단계와;

인코딩되지 않은 비디오 데이터에 대한 DC 및 AC DCT 계수를 결정하는 단계와;

상기 DC 및 AC 계수를 코딩된 비디오 패킷으로 포매팅하는 단계로서, 상기 코딩된 비디오 패킷은 시작 마커, 상기 DC 및 상기 AC DCT 계수의 부분을 포함하는 제 1 서브섹션, 상기 제 1 서브섹션에 포함되지 않은 상기 AC DCT 계수의 제 2 부분을 포함하는 제 2 서브섹션, 및 상기 제 1 및 제 2 서브섹션 사이의 분리 마커(separation marker)를 포함하는, 포매팅 단계와;

상기 분리 마커에 따라 상기 제 1 서브섹션을 포함하는 제 1 층, 및 상기 제 2 서브섹션을 포함하는 제 2 층을 형성하기 위해 상기 비디오 패킷을 분리시키는 단계를

포함하는, 비디오 데이터 인코딩 방법.
제 10항에 있어서, 상이한 송신 채널을 통해 상기 제 1 및 제 2 층을 송신하는 단계를 더 포함하는, 비디오 데이터 인코딩 방법.
제 10항에 있어서, 상기 포매팅 단계는, 상기 제 1 서브섹션에 포함하도록 상기 AC DCT 계수의 부분을 결정하기 위해 우선 순위 차단 포인트 값을 이용하는 단계를 포함하는, 비디오 데이터 인코딩 방법.
제 10항에 있어서, 상기 우선 순위 차단 포인트 값은 미리 결정된 선택 기준 또는 사용자 규정에 기초하는, 비디오 데이터 인코딩 방법.
제 13항에 있어서, 상기 우선 순위 차단 포인트 값은 상기 미리 결정된 선택 기준에서의 변화에 따라 후속 입력 비디오 데이터의 인코딩 동안 변화될 수 있는, 비디오 데이터 인코딩 방법.
코딩된 비디오 패킷을 형성하기 위해 하나의 기본 층과 적어도 하나의 개선 층을 병합하는 장치로서,

컴퓨터-수행가능 프로세스 단계를 저장하는 메모리와;

프로세서로서, (ⅰ) DC 및 AC DCT 계수 모두를 포함하는 기본 층, 및 개선 층을 수용하고, (ⅱ) 상기 개선 층에서 마커를 검색하고, (ⅲ) 상기 마커에 따라 상기 기본 층과 상기 개선 층을 조합하도록, 상기 메모리에 저장된 프로세스 단계를 수행하는, 프로세서를 포함하며,

여기서 헤더 값은 상기 기본 층에 포함된 AC DCT 계수의 범위에 관한 표시(indication)를 제공하는, 하나의 기본 층과 적어도 하나의 개선층을 병합하는 장치.
제 15항에 있어서, 상기 헤더 값은 우선 순위 차단 포인터이고, 상기 마커는 움직임 마커인, 하나의 기본 층과 적어도 하나의 개선층을 병합하는 장치.
제 15항에 있어서, 상기 코딩된 비디오 패킷을 디코딩하는 수단을 더 포함하는, 하나의 기본 층과 적어도 하나의 개선층을 병합하는 장치.