KR100861900B1

KR100861900B1 - 효율적인 데이터 복구를 가진 비디오 디코딩 방법, 비디오 디코딩 시스템, 비디오 디멀티플렉서, 무선 통신 디바이스, 및 컴퓨터 판독가능 매체

Info

Publication number: KR100861900B1
Application number: KR1020077008905A
Authority: KR
Inventors: 옌치 리; 밍-창 채; 얀 예; 판 링; 칼레드 헬미 엘-마레
Original assignee: 퀄컴 인코포레이티드
Priority date: 2004-09-22
Filing date: 2005-09-22
Publication date: 2008-10-09
Also published as: WO2006036802A1; JP5280474B2; CN101057501B; EP1792492B1; KR20070064642A; JP4819815B2; JP2011172245A; EP1792492A1; US20060062312A1; CN101057501A; JP2008514164A; TW200625837A

Abstract

비디오 디멀티플렉서 및 비디오 디코더는 채널 오류의 경우 효율적인 비디오 데이터 복구를 위한 특징들을 포함한다. 디멀티플렉서는 물리 계층 데이터 유닛 간의 경계를 검출하고 경계 정보를 디멀티플렉서에 의해 생성된 비트스트림에 부가한다. 디멀티플렉서는 응용 계층 비트스트림을 생성하기 위해 적응 계층에 의해 프로세싱되는 적응 계층 데이터 유닛을 생성한다. 비디오 디코더가 비트스트림에서의 오류에 직면하는 경우, 경계 정보를 이용하여 은폐되어야 하는 데이터의 양을 제한한다. 특히, 경계 정보는 오류를 데이터의 작은 세그먼트와 연관시킨다. 비디오 디코더는 세그먼트가 존재하는 전체의 슬라이스 또는 프레임보다는 데이터의 세그먼트의 처음부분으로부터의 데이터를 은폐한다. 이런 방식으로, 비디오 디코더는 다른 방법에서는 은폐 목적으로 고의로 폐기될 유용한 데이터의 손실을 제한하여, 효율적인 데이터 복구를 제공한다.

물리 계층 데이터 유닛, 비디오 데이터, 경계 마커

Description

효율적인 데이터 복구를 가진 비디오 디코딩 방법, 비디오 디코딩 시스템, 비디오 디멀티플렉서, 무선 통신 디바이스, 및 컴퓨터 판독가능 매체{VIDEO DECODING METHOD, VIDEO DECODING SYSTEM, VIDEO DEMULTIPLEXER, WIRELESS COMMUNICATION DEVICE, AND COMPUTER-READABLE MEDIUM WITH EFFICIENT DATA RECOVERY}

기술 분야

본 개시물은 비디오 디코딩에 관한 것으로, 더 상세하게는, 채널 오류로 인한 비디오 데이터 손실을 제한하는 기술에 관한 것이다.

배경

통상의 동화상 전문가 그룹 (MPEG)-4 비디오 디코더 구현에서, 오류가 검출되는 경우, 디코더는 손상된 슬라이스의 모든 매크로블록 (MBs), 또는 전체 프레임을 은폐한다. 은폐는, 매우 두드러지고 시각적으로 성가실 수도 있는, 디스플레이 비디오에의 잘못 디코딩된 MB 의 프리젠테이션을 방지한다. 게다가, 은폐는, 그렇지 않으면 부가적인 오류들을 비디오 스트림에 전파시킬 수 있는 잘못 디코딩된 MB 로부터의 부정확한 모션 벡터의 이용을 방지한다. 따라서, 일반적으로, 손상된 슬라이스 또는 프레임의 MB 모두를 은폐하는 것은 보다 시각적으로 유쾌한 비디오 신호를 제공한다.

비록 은폐 기술이 손상된 MB 의 프리젠테이션을 방지하더라도, 그러한 기술은 또한 슬라이스 또는 프레임의 초기에 유용한 MB 들을 포함할 수 있는 정확히 수신된 데이터를 고의로 버린다. 오류가 실제로 소정의 MB 에서 발생한다면, 예를 들어, 비디오 디코더는 적용가능한 슬라이스 또는 프레임 내의 MB 모두를 "아마 도" 손상된 것으로 간주하고 그들을 은폐한다. 정확히 수신된 데이터의 은폐는 비효율적이며, 또한 채널 오류가 일반적으로 행하여지는 무선 통신 시스템과 같은 일부 시스템의 성능에 상당한 영향을 줄 수 있다.

개요

일반적으로, 개시물은, 채널 오류의 경우에 효율적인 비디오 데이터 복구를 위한 특징들을 포함하는 비디오 디멀티플렉싱 및 디코딩 기술에 관한 것이다. 디멀티플렉서는 물리 계층 데이터 유닛 간의 경계를 검출하고 디멀티플렉서에 의해 생성된 적응 계층 데이터 유닛에 경계 정보를 부가한다. 비디오 디코더가 비디오 데이터 프레임 내의 오류에 직면하는 경우, 비디오 디코더는 디멀티플렉서에 의해 생성된 경계 정보를 이용하여 은폐될 데이터의 양을 제한한다. 경계 정보는 비디오 데이터 프레임에 임베딩된 경계 마커의 형태를 취할 수도 있다.

경계 마커는 오류를 비디오 데이터 프레임 내의 데이터의 작은 세그먼트와 연관시킨다. 그 세그먼트는, 통상은 송신 중에 손실되기 쉬운 가장 작은 유닛인 물리 계층 데이터 유닛의 위치에 기초하여 식별될 수도 있다. 비디오 디코더는 경계 마커를 이용하여 세그먼트가 존재하는 전체의 슬라이스 또는 프레임보다는 데이터의 작은 세그먼트를 은폐한다. 이런 방식으로, 비디오 디코더는, 그렇지 않으면 은폐 프로세스의 부분으로서 고의로 폐기될 유용한 데이터의 손실을 제한하여, 효율적인 데이터 복구를 제공한다. 일부 경우에, 디코딩 기술은 경계 마커와 결합하여 재동기화 마커와 같은 오류 복원 특징에 의존할 수도 있다.

일 실시형태에서, 개시물은, 물리 계층 데이터 유닛에 기초하여 비디오 데이 터를 포함한 멀티플렉스 계층 데이터 유닛을 발생시키는 단계, 물리 계층 데이터 유닛 간의 경계를 표시하기 위해 멀티플렉스 계층 데이터 유닛에 경계 마커를 임베딩하는 단계, 비디오 데이터 프레임을 생성하기 위해 멀티플렉스 계층 데이터를 디멀티플렉싱하는 단계, 및 경계 마커를 이용하여, 검출된 디코딩 오류를 비디오 데이터 프레임의 세그먼트와 연관시키는 단계를 포함하는 비디오 디코딩 방법을 제공한다.

다른 실시형태에서, 개시물은, 물리 계층 데이터 유닛에 기초하여 비디오 데이터를 포함한 멀티플렉스 계층 데이터 유닛을 발생시키고, 멀티플렉스 계층 데이터 유닛을 디멀티플렉싱하는 디멀티플렉싱 엔진, 물리 계층 데이터 유닛 간의 경계를 표시하기 위해 멀티플렉스 계층 데이터 유닛에 경계 마커를 임베딩하는 경계 발생기, 및 비디오 데이터를 포함한 비디오 데이터 프레임을 디코딩하고, 경계 마커를 이용하여, 검출된 디코딩 오류를 비디오 데이터 프레임의 세그먼트와 연관시키는 비디오 디코딩 엔진을 포함하는 비디오 디코딩 시스템을 제공한다.

부가적인 실시형태에서, 개시물은, 물리 계층 데이터 유닛에 기초하여 비디오 데이터를 포함한 멀티플렉스 계층 데이터 유닛을 발생시키고, 멀티플렉스 계층 데이터 유닛을 디멀티플렉싱하는 디멀티플렉싱 엔진, 및 물리 계층 데이터 유닛 간의 경계를 표시하기 위해 멀티플렉스 계층 데이터 유닛에 경계 마커를 임베딩하여 비디오 디코더로 하여금, 그 경계 마커를 이용하여, 검출된 디코딩 오류를 비디오 데이터 프레임의 세그먼트와 연관시키게 하는 경계 발생기를 포함하는 비디오 디멀티플렉서를 제공한다.

또 다른 실시형태에서, 개시물은, 무선 통신을 통해 비디오 데이터를 포함한 물리 계층 데이터 유닛을 수신하는 무선 수신기, 물리 계층 데이터 유닛에 기초하여 멀티플렉스 계층 데이터 유닛을 발생시키고, 멀티플렉스 계층 데이터 유닛을 디멀티플렉싱하는 디멀티플렉싱 엔진, 물리 계층 데이터 유닛 간의 경계를 표시하기 위해 멀티플렉스 계층 데이터 유닛에 경계 마커를 임베딩하는 경계 발생기, 및 비디오 데이터를 포함한 비디오 데이터 프레임을 디코딩하고, 경계 마커를 이용하여, 검출된 디코딩 오류를 비디오 데이터 프레임의 세그먼트로 격리하는 비디오 디코딩 엔진을 포함하는 무선 통신 디바이스를 제공한다.

하나 이상의 실시형태의 상세는 첨부된 도면 및 이하 설명에 서술되어 있다. 다른 특징, 목적, 및 이점은 설명과 도면, 그리고 청구항으로부터 명백해질 것이다.

도면의 간단한 설명

도 1 은 비디오 인코딩 및 디코딩 시스템을 나타낸 블록도이다.

도 2 는 물리 계층 데이터 유닛에 대응하는 비디오 데이터 프레임의 세그먼트를 식별하기 위해 경계 마커를 이용하는 비디오 디코더 시스템을 나타낸 블록도이다.

도 3 은 오류의 검출 시 비디오 데이터 프레임의 매크로블록의 은폐를 위한 종래 기술을 나타낸 도면이다.

도 4 는 오류의 검출 시 재동기화 마커를 이용한 비디오 데이터 프레임의 매크로블록의 은폐를 위한 종래 기술을 나타낸 도면이다.

도 5 는 예시적인 종래 기술의 멀티플렉싱 및 패킷화 기술을 나타낸 도면이다.

도 6a 내지 도 6d 는 오류의 검출 시 비디오 데이터 프레임의 매크로블록의 은폐를 위한 다른 기술을 나타낸 도면이다.

도 7 은 비디오 데이터 프레임에 임베딩된 물리 데이터 유닛 경계 마커를 이용하는 디멀티플렉싱 및 디패킷화 기술을 나타낸 도면이다.

도 8 은 물리 데이터 유닛이 손실될 때의 도 7 의 기술을 나타낸 도면이다.

도 9 는 비디오 데이터 프레임 내의 손실된 물리 데이터 유닛을 식별하기 위해 경계 마커를 이용하는 또 다른 디멀티플렉싱 및 디패킷화 기술을 나타낸 도면이다.

도 10a 내지 도 10d 는 재동기화 마커 (RM), 헤더 확장 코드 (HEC), 및 경계 마커를 이용하는 기술을 포함한 다양한 디멀티플렉싱 및 디패킷화 기술을 나타낸 도면이다.

도 11 은 이 개시물에 따른 비디오 디코딩 기술을 나타낸 흐름도이다.

상세한 설명

도 1 은 비디오 인코딩 및 디코딩 시스템 (10) 을 나타낸 블록도이다. 도 1 에 나타낸 바와 같이, 시스템 (10) 은 송신 채널 (16) 에 의해 접속되어 있는 인코더 시스템 (12) 과 디코더 시스템 (14) 을 포함한다. 채널 (16) 은 비디오 정보의 송신에 적절한 유선 매체 또는 무선 매체 중 하나일 수도 있다. 디코더 시스템 (14) 은 채널 오류의 발생 시에 효율적인 비디오 데이터 복구를 가능하게 한다. 상세히 설명되는 것처럼, 디코더 시스템 (14) 은 보통 채널 오류의 발생 시에 은폐 프로세스의 부분으로서 고의로 폐기될 유용한 데이터의 손실을 제한하도록 구성된다. 이런 방식으로, 디코더 시스템 (14) 은 더 큰 효율성, 강화된 디코딩 성능, 및 향상된 오류 복원 능력을 제공할 수 있다.

인코더 시스템 (12) 은 멀티플렉서 (MUX; 18), 비디오 인코더 (20) 및 오디오 인코더 (22) 를 포함한다. 비디오 인코더 (20) 는 MPEG-4 와 같은 비디오 압축 프로토콜에 따라 인코딩된 비디오 데이터를 발생시킨다. ITU (International Telecommunication Union) H.263, ITU H.264, 또는 MPEG-2 프로토콜과 같은 다른 비디오 압축 프로토콜이 사용될 수도 있다. 오디오 인코더 (22) 는 비디오 데이터에 수반하기 위해 오디오 데이터를 인코딩한다. 멀티플렉서 (18) 는 비디오 데이터와 오디오 데이터를 멀티플렉싱하여 채널 (16) 을 통해 송신하기 위한 일련의 멀티플렉스 데이터 유닛을 형성한다. 일 예로서, 멀티플렉서 (18) 는 ITU 에 의해 공표된 H.223 멀티플렉서 프로토콜에 따라 동작할 수도 있다. 그러나, 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜이 이용될 수도 있다.

채널 (16) 은 물리 계층 데이터 유닛으로서 멀티플렉싱된 정보를 디코더 시스템 (14) 으로 운송한다. 채널 (16) 은 인코더 시스템 (12) 과 디코더 시스템 (14) 사이의 임의의 물리 접속일 수도 있다. 예를 들어, 채널 (16) 은 국부 네트워크 또는 광역 네트워크와 같이 유선 접속일 수도 있다. 대안으로, 여기에 설명된 바와 같이, 채널 (16) 은 셀룰러, 위성 또는 광학 접속과 같은 무선 접속일 수도 있다.

디코더 시스템 (14) 은 디멀티플렉서 (DEMUX; 26), 비디오 디코더 (28) 및 오디오 디코더 (30) 를 포함한다. 디멀티플렉서 (26) 는 물리 계층 데이터 유닛으로부터의 멀티플렉스 데이터 유닛을 식별하고 그 멀티플렉스 계층 데이터 유닛의 내용을 디멀티플렉싱하여 비디오 및 오디오 적응 계층 데이터 유닛을 생성한다. 적응 계층 데이터 유닛은 비디오 데이터 프레임을 생성하기 위해 적응 계층에서 프로세싱된다. 비디오 디코더 (28) 는 응용 계층에서 비디오 데이터 프레임을 디코딩하여 디스플레이 디바이스의 구동 시에 사용하기 위한 비디오 데이터의 스트림을 생성한다. 오디오 디코더 (30) 는 오디오 데이터를 디코딩하여 오디오를 생성한다.

이 개시물에 따라서, 디멀티플렉서 (26) 는 물리 계층 데이터 유닛 간의 경계를 검출하고 디멀티플렉서에 의해 생성된 비트스트림에 경계 정보를 부가한다. 디멀티플렉서 (26) 는 응용 계층 비트스트림을 생성하기 위해 적응 계층에 의해 프로세싱되는 적응 계층 데이터 유닛을 생성한다. 비디오 디코더 (28) 가 비트스트림에서의 오류에 직면하는 경우, 비디오 디코더는 경계 정보를 이용하여 은폐되어야 하는 비디오 데이터의 양을 제한한다. 특히, 비디오 디코더 (28) 는 경계 정보를 이용하여, 예를 들면, 이 예에서는 물리 계층 데이터 유닛의 위치에 기초하여, 오류를 데이터의 더 작은 세그먼트로 격리한다. 비디오 디코더 (28) 는 오류가 존재하는 전체의 슬라이스 또는 프레임보다는 데이터의 더 작은 세그먼트를 은폐한다.

동작 시에, 디멀티플렉서 (26) 는 채널 (16) 을 통해 수신된 물리 계층 데이터 유닛에 기초하여 비디오 및 오디오 데이터를 포함한 멀티플렉스 계층 데이터 유닛을 발생시킨다. 디멀티플렉서 (26) 는 물리 계층 데이터 유닛 간의 경계를 표시하기 위해 멀티플렉스 계층 데이터 유닛에 하나 이상의 경계 마커를 임베딩하고, 비디오 데이터 프레임을 생성하기 위해 멀티플렉스 계층 데이터 유닛을 디멀티플렉싱한다. 그 후, 디코딩 오류의 검출 시, 비디오 디코더 (28) 는 경계 마커를 이용하여, 검출된 디코딩 오류를 비디오 데이터 프레임의 세그먼트와 연관시킨다.

그 후, 하나 이상의 경계 마커의 도움으로, 비디오 디코더 (28) 는 전체의 슬라이스 또는 프레임보다는, 오류가 발생한 비디오 데이터 프레임의 세그먼트를 은폐한다. 일부 실시형태에서, 비디오 디코더 (28) 는 또한 멀티플렉스 계층 데이터 유닛에 임베딩된 재동기화 마커를 이용할 수도 있다. 예를 들어, 비디오 데이터 프레임이 재동기화 마커를 포함한다면, 비디오 디코더 (28) 는 경계 마커에 의해 식별된 비디오 데이터 프레임의 세그먼트 내의 매크로블록 (MB), 및 비디오 데이터 프레임의 다음의 재동기화 마커까지의 MB 를 은폐하도록 구성될 수도 있다.

도 2 는 물리 계층 데이터 유닛에 대응하는 비디오 데이터 프레임의 세그먼트를 식별하기 위해 경계 마커를 이용하는 비디오 디코더 시스템 (14) 의 실시형태를 나타낸 블록도이다. 비디오 디코더 시스템 (14) 은 하나 이상의 비디오 경계 마커를 이용하여, 디코딩 오류의 발생시에 은폐되는 데이터의 양을 제한한다. 도 2 의 예에서, 비디오 디코더 시스템 (14) 은 무선 채널을 통해 비디오 및 오디오 데이터를 수신하기 위한 무선 수신기 (33) 를 포함한다. 무선 수신기 (33) 는 코드 분할 다중 접속 (CDMA), 광대역 CDMA (W-CDMA), 또는 시분할 다중 어드레싱 (TDMA) 과 같은 다양한 무선 송신 기술 중 어느 하나의 기술에 따라 RF (Radio Frequency) 무선 신호를 수신하도록 구성될 수도 있다.

도 2 에 나타낸 바와 같이, 디멀티플렉서 (DEMUX; 26) 는 디멀티플렉싱 엔진 (36), 무선 링크 제어 (RLC) 경계 검출기 (38) 및 경계 코드 발생기 (40) 를 포함한다. 디멀티플렉싱 엔진 (36) 은 무선 수신기 (33) 로부터 수신된 물리 계층 데이터 유닛에 기초하여 비디오 및 오디오 데이터를 포함한 멀티플렉스 계층 데이터 유닛을 발생시킨다. 일부 실시형태에서, 물리 계층 데이터 유닛은 W-CDMA 무선 링크 제어 (RLC) 패킷 데이터 유닛 (PDU), 즉, RLC PDU 일 수도 있다. 대안으로, 물리 계층 데이터 유닛은 CDMA2000 1x RLP (무선 링크 프로토콜) PDU, CDMA2000 1x EV-DO RLP PDU, CDMA2000 EV-DV RLP PDU 와 같은 여러 다른 형태를 취할 수도 있다. 디멀티플렉싱 엔진 (36) 은 H.223 와 같이, 디멀티플렉싱 프로토콜에 따라 멀티플렉스 계층 패킷 데이터 유닛 (MUX PDU) 을 발생시킨다. 그러나, 여기에 설명된 기술은 RTP/UDP/IP (실시간 전송 프로토콜/사용자 데이터그램 프로토콜/인터넷 프로토콜) 를 이용하는 SIP-기반 및 H.323 비디오 전화 프로토콜과 같은 다른 비디오 전송 프로토콜에 적용가능할 수도 있다.

RLC 경계 검출기 (38) 는 RLC PDU 간의 경계를 검출한다. 경계 코드 발생기 (40) 는 각각의 경계에 대해 코드를 발생시키고 디멀티플렉싱 엔진 (36) 에 의해 생성된 멀티플렉스 계층 데이터 유닛 내의 적절한 위치에 경계 마커로서 그 코드를 임베딩한다. 이런 방식으로, 디멀티플렉서 (26) 는 물리 계층 데이터 유닛 간의 경계의 표시를 보존한다. 디멀티플렉싱 엔진 (36) 이 MUX PDU 를 생성하고 적응 계층 모듈 (44) 이 비디오 데이터 프레임을 생성할 때, 디코딩 오류를 비디오 데이터 프레임의 작은 세그먼트로 격리하는데 비디오 디코더 (28) 에 의해 사용되기 위해 경계 마커는 손상되지 않은 채로 남는다.

W-CDMA 를 이용한 MPEG-4 무선 송신의 경우, RLC PDU 는 송신 중에 손실되기 쉬운 가장 작은 유닛이다. 예를 들면, W-CDMA RLC PDU 는 매 20ms 마다 160-바이트 길이이다. 경계 마커의 도움으로, 비디오 디코더 (28) 는 검출된 디코딩 오류를 디멀티플렉서 (26) 에 의해 생성된 비디오 데이터 프레임의 작은 세그먼트와 연관시킬 수 있다. 디코딩 오류의 검출 시, 비디오 디코더 (28) 는 과도한 개수의 MB, 또는 심지어 일부 경우에는 전체의 비디오 데이터 프레임보다 비디오 데이터 프레임의 작은 세그먼트를 은폐한다.

도 2 에 추가로 나타낸 바와 같이, 적응 계층 모듈 (44) 은 디멀티플렉서 엔진 (36) 에 의해 생성된 MUX PDU 를 비디오 디코더 (28) 에 의한 프로세싱용 비디오 데이터 프레임으로 변환한다. 이 예에서, 비디오 디코더 (28) 는 오류 검출 모듈 (46), 경계 코드 검출기 (48), 디코더 엔진 (50) 및 메모리 (52) 를 포함한다. 경계 코드 검출기 (48) 는 들어오는 비디오 프레임 비트스트림을 스캔하여 물리 계층에서의 원시 송신의 RLC PDU 간의 경계를 표시하는 경계 마커를 검출한다. 경계 코드 검출기 (48) 는 비디오 프레임 비트스트림으로부터 경계 마커를 제거하고 경계 마커의 위치를 메모리 (52) 에 기록한다. 오류 검출 모듈 (46) 이 디코딩 오류를 검출하는 경우, 디코더 엔진 (50) 은 기록된 경계 마커 위치를 이용하여 물리 계층에서의 원시 송신의 RLC PDU 간의 경계에 의하여 오류의 위치를 결정한다. 디코더 엔진 (50) 은 은폐된 MB 의 세그먼트의 사이즈가 일반적으로 RLC PDU 의 사이즈로 제한될 수 있도록 메모리 (52) 에 위치를 기록한다.

따라서, 디코더 시스템 (14) 은 효율적인 비디오 데이터 복구를 촉진하는 고유한 전송 디코더 계층 간 설계를 제공한다. 디코더 시스템 (14) 은 송신 오류의 존재시에 폐기되어야 하는 유용한 데이터의 양을 제한한다. 이 계층간 설계에 의하면, 전송 계층은 채널 손상 이전에 정확히 수신된 데이터를 복구하기 위하여 비디오 디코더 엔진 (50) 으로 부가적인 정보를 전달한다.

도 2 에 추가로 나타낸 바와 같이, 비디오 디코더 (28) 는 디코딩된 비디오 비트스트림을 생성하고 그것을 비디오 구동기 (51) 로 전달한다. 비디오 구동기 (51) 는 사용자에게 비디오 이미지를 보여주기 위해 디스플레이 디바이스를 구동시킨다. 비디오 디코더 시스템 (14) 은 비디오 전화 또는 스트리밍 비디오의 전달을 포함한, 다양한 비디오 응용을 지원할 수도 있다. 각각의 경우에, 디코더 시스템 (14) 은 유용한 데이터의 손실을 제한하는데 있어서 효과적이며, 이로써 효율성 및 성능을 강화시킨다.

비디오 디코더 시스템 (14) 은 디지털 신호 프로세서 (DSP) 또는 다른 프로세싱 디바이스 상에서 작동하는, 디코딩 프로세스 또는 코딩/디코딩 (CODEC) 프로세스로서 구현될 수도 있다. 비디오 디코더 시스템 (14) 은 전용 하드웨어, 소 프트웨어, 또는 이들의 조합은 물론, 명령 및 데이터를 저장하기 위한 전용 메모리 (52) 를 가질 수도 있다. 여기에 설명된 기술들의 다양한 양태는 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에 구현될 수도 있다. 만일 소프트웨어에 구현된다면, 그 기술들은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 RAM (NVRAM), 전기적으로 지울 수 있는 프로그램가능 판독 전용 메모리 (EEPROM), FLASH 메모리 등과 같은 컴퓨터-판독가능 매체 상에 명령으로서 수록될 수도 있다. 명령은 하나 이상의 프로세서로 하여금 이 개시물에 설명된 기능의 특정 양태를 수행하게 한다.

도 3 은 종래 기술에 따른 오류의 검출 시 비디오 데이터 프레임의 MB 의 은폐를 나타낸 도면이다. 도 3 은 이 개시물에 설명된 기술을 더 잘 설명하기 위해 비교를 목적으로 제공된다. 도 3 에 나타낸 바와 같이, 통상의 종래 기술의 은폐 프로세스에서, 송신 도중 MB 의 손실로 인해 오류가 검출될 때, 디코더는 손상된 슬라이스의 모든 MB, 또는 전체의 프레임을 은폐한다. 비록 이 접근법이 손상된 MB 의 프리젠테이션을 방지하더라도, 이 접근법은 또한 오류의 위치 이전의 슬라이스 또는 프레임의 초기의 수십 개의 MB 를 포함할 수 있는 정확히 수신된 데이터를 고의로 버린다.

도 3 의 도면은 유용한 데이터 은폐의 일반적인 비효율성을 설명한다. 도 3 은 MB 0 에서 MB 98 까지 연장하는 비디오 데이터 프레임 내의 시퀀스 번호에 의해 각각의 MB 를 식별한다. 연속적인 비디오 데이터 프레임은, 비디오 데이터 필드의 끝을 의미하는 비디오 오브젝트 플레인 (VOP) 필드에 의해 경계지어진 다. 도 3 의 예에서, 오류는 실제로 MB 41 에서 발생하지만, 비디오 디코더는 0 에서 98 까지의 MB 를 "아마도" 손상된 것으로 간주하고 그들 모두를 은폐한다. 이는 MB 0 에서 MB 40 까지의 데이터를 버리는 것과 동등하다. 결과적으로, 오류 다음에 오는 MB 들은 "손실 (LOST)" 되고, 오류 이전의 정확히 수신된 MB 들은 "폐기 (WASTED)" 된다. 분명히, MB 0 내지 MB 40 은 오류를 포함하고 있지 않고 대신 유용한 데이터를 운송한다. 하지만, 종래 기술의 은폐 기술은 MB 0 내지 MB 98 모두, 즉, 전체의 비디오 데이터 프레임의 은폐를 초래한다.

도 4 는 또 다른 종래 기술에 따른 오류의 검출 시 재동기화 마커를 이용한 비디오 데이터 프레임의 MB 의 은폐를 나타낸 도면이다. 도 4 의 예에서는, 재동기화 마커 (RM) 를 데이터 프레임에 임베딩하여 오류 복원 기술을 지원한다. RM 의 이용은 오류의 존재 시에 디코딩 프로세스의 효율성을 향상시키지만 여전히 폐기되는 MB 를 초래한다. 도 4 의 예에서, RM 이 사용되는 경우, 비디오 디코더는 MB 0 에서 MB 20 까지의 데이터만을 복구할 수 있으며, 21 에서 40 까지의 정확히 수신된 MB 는 여전히 은폐해야 하는데, 이는 20 MB 의 손실을 초래한다. 비록 도 4 의 예에서는 오류가 MB 41 에서 발생하더라도, 이 기술은 도 4 에 예시된 바와 같이, 오류 직전의 마지막 RM 과 오류 직후의 첫번째 RM 사이의 MB 의 은폐를 요구한다. 따라서, 이런 방식의 재동기화 마커의 이용은 효율성에 있어서 상당한 향상을 제공하지만, 여전히 상당한 개수의 폐기되는 MB 를 초래한다.

도 3 및 도 4 에 표현된 기술과 대조하여, 이 개시물에서 설명되는 바와 같이, 하나 이상의 경계 마커의 이용은 오류 이전에 위치되는 정확히 디코딩된 MB 의 복구를 지원하지만, 여전히 잘못 디코딩된 MB 의 프리젠테이션을 충분히 방지한다. 디멀티플렉싱 계층, 예를 들어, H.223 은 예를 들어, 특수 코드명 (special codeword) 으로서 하나 이상의 경계 마커를 비트스트림에 임베딩함으로써 비디오-RLC 경계 정보를 디코더에 전달한다. 비디오 디코더 (28) 는, 코드명을, 채널 (16) 을 통해 수신된 물리 데이터 유닛에 의하여 데이터 손실의 모든 가능한 위치의 식별을 허락하는 경계 마커로서 해석한다. 데이터 손실의 보다 정확한 위치에 관해서, 비디오 디코더 (28) 는 그러한 정보를 사용하여 오류를 비디오 데이터 프레임의 더 작은 세그먼트와 연관시키고 정확히 수신된 MB 를 더 많이 복구할 수 있다.

도 5 는 도 1 의 인코더 (12) 와 같은 인코더 내의 종래 기술의 멀티플렉싱 및 패킷화 기술을 나타낸 도면이다. 프로세스는 설명을 목적으로 H.223 멀티플렉싱 프로토콜의 문맥에서 설명될 것이다. 도 5 의 예에서, 비디오 데이터는 H.223 패킷으로 패킷화되고 오디오 데이터와 함께 멀티플렉싱된다. 응용 계층 (APP) 의 비디오 비트스트림은 우선 하나 이상의 적응 계층의 서비스 데이터 유닛 (AL-SDU) 으로 절단된다. 하나의 AL-SDU 는 비디오 인코더 구현에 따라, 하나의 전체 프레임 또는 프레임의 일부분만을 포함할 수 있다. 그 후, 각각의 AL-SDU 는 H.223 적응 계층 (AL) 으로 전달되며, 여기서, 전단에는 옵션의 시퀀스 번호 (SN) 를 부가하고 말단에는 16-비트 순환 중복 코드 (CRC) 를 부가함으로써 AL-PDU 패킷이 형성된다.

각각의 비디오 AL-PDU 는 필요하다면, H.223 멀티플렉스 계층 (ML) 으로 전 송되어 단편화되고, 또한 프레이밍 정보 및 MUX 헤더를 삽입함으로써 오디오 (AU) AL-PDU 와 함께 MUX-PDU 로 멀티플렉싱된다. 비디오 AL-PDU 의 마지막 MUX-PDU 의 후미에는 이 비디오 AL-PDU 의 종료를 표시하기 위해 부가적인 프레이밍 정보 (ALT) 가 온다. 모든 MUX-PDU 는 물리 계층 데이터 유닛에 의해 운송된다. 무선 응용에서, 물리 계층 데이터 유닛은 도 5 에 나타낸 것처럼 W-CDMA RLC PDU 와 같은 무선 링크 패킷이다.

도 1 의 디코더 시스템과 같은 디코더에서, H.223 디멀티플렉서는 RLC-PDU 를 수신하여, MUX 프레이밍 정보를 탐색함으로써 각각의 MUX-PDU 의 위치를 결정한다. 디멀티플렉서는 MUX 헤더에 있는 MUX 테이블에 따라 MUX-PDU 페이로드로부터 비디오 및 오디오 데이터를 추출한다. 일단 종료의 프레이밍 정보가 발견되면, 디멀티플렉서는 서로 다른 MUX-PDU 에서 추출되지만 동일한 비디오 AL-PDU 에 속하는 비디오 데이터 모두를 단편화 해소하고 단편화 해소된 비디오 데이터를, CRC 를 이용한 무결성 체크를 위해 AL 로 전달한다. CRC 가 성공하면, 비디오 디코더는 전체의 AL-SDU 를 수신한다. CRC 가 실패하면, 손상된 AL-SDU 가 구현에 따라, 비디오 디코더로 전달될 수도 있고 또는 폐기될 수도 있다.

도 6a 내지 도 6d 는 오류의 검출 시 비디오 데이터 프레임의 매크로블록의 은폐를 위한 다른 기술들을 나타낸다. 특히, 도 6a 내지 도 6d 는 상이한 은폐 기술들에 관련하여 비디오 데이터 프레임을 나타낸다. 도 6a 및 도 6c 는 경계 마커를 사용하지 않은 종래 기술을 나타낸다. 도 6b 및 도 6d 는 이 개시물에서 설명되는 것처럼, 경계 마커의 사용을 나타낸다.

도 6a 는 오류 복원 기술이 사용되지 않은 종래 기술의 이용을 나타내고 있다. 도 6a 의 기술에 의하면, 오류가 MB 41 에서 검출되는 경우, 매크로블록 MB [0,98] 을 포함하고 있는 전체의 비디오 데이터 프레임이 은폐된다. 도 6b 는 이 개시물에 따라서 오류를 비디오 데이터 프레임의 더 작은 세그먼트와 연관시키기 위한 경계 마커 (54) 의 이용을 나타낸다.

도 6b 에서, 비디오 데이터 프레임은 W-CDMA RLC PDU 와 같이, 인접한 물리 계층 데이터 유닛의 비디오 부분들 간의 경계를 표시하는 경계 마커 (54) 를 포함한다. 특히, 경계 마커 (54) 는 여기서 "비디오-RLC" 유닛으로 지칭되는 세그먼트를 한정한다. 하나의 비디오-RLC 유닛은 예를 들어 경계 마커 54A 와 54B 에 의해 표시된다. 비디오-RLC 유닛은 일반적으로 손실이 발생할 수 있는 가장 작은 유닛인 RLC PDU 에 대응한다. 채널 오류의 발생 시에는, 유용한 정보의 은폐를 방지하기 위해 RLC PDU 가 가이드로서 사용될 수 있다.

경계 마커 (54) 의 이용은 오류를 단일의 비디오-RLC 유닛과 연관시킨다. 비디오 디코더 엔진 (50) 에 의해 오류가 검출되는 경우에, 오류가 발생한 비디오-RLC 유닛 이전에 위치되는 정확히 수신된 MB 가 보존될 수 있다. 특히, 이 기술은 경계 마커 (54A) 이전에 위치되는 정확히 수신된 MB 의 복구를 허락한다.

도 6b 의 기술을 이용한 정확히 수신된 MB 의 보존은 도 6a 의 기술에 비해, 효율성을 증가시키고 성능을 향상시킬 수 있다. 도 6b 의 예에서, 오류가 MB 41 에서 검출되면, 비디오 데이터 프레임의 말단까지의 MB [41,98] 가 은폐된다. 그러나, MB 41 이전에 발생한 MB [0,40] 는 은폐될 필요가 없다. 경계 마커 (54A) 는 오류가 검출된 비디오-RLC 유닛의 시작을 표시하기 위해 사용된다. 따라서, 비디오 디코더 엔진 (50) 은 어느 쪽 MB 를 은폐할지 결정하는데 경계 마커 (54A) 에 의지한다.

도 6c 는 재동기화 마커 (RM) 를 사용하는 오류 복원 기술의 이용을 나타낸 것이다. 도 6c 에서, 오류가 MB 41 에서 검출되는 경우, 선행 RM 과 후속 RM 사이의 MB [21,72] 만이 은폐되므로, MB [0,20] 및 MB [73,98] 가 보존된다. 도 6d 는 오류 복원을 위해 RM (56) 과 결합하여 경계 마커 (54) 의 이용을 나타낸다. 도 6d 의 예에서, 오류가 MB 41 에서 발생하는 경우, 비디오-RLC 유닛의 시작 부분에서 다음에 발생한 RM (56B) 까지의 MB [41,72] 가 은폐된다.

도 6d 의 경계 마커 기술은 도 6c 에 나타낸 기본 오류 복원 기술보다 많은 향상을 제공한다. 상세하게는, 선행 RM (56A) 과 오류가 검출된 비디오-RLC 유닛의 시작을 나타내는 경계 마커 (54A) 와의 사이의 MB 가 보존되는데 이는 종래의 RM 의 사용보다 많은 이점을 제공한다. 그러나, 동시에, 후속 RM (56B) 과 프레임의 말단 사이의 MB 가 보존된다. 따라서, 도 6d 의 기술에 따른 경계 마커 (54) 와 RM (56) 의 조합 사용은 도 6c 의 기술에 비해 그 이상의 효율성을 초래한다.

경계 마커 (54) 를 제공하기 위해 다양한 다른 기술들이 사용될 수도 있다. 일 예로서, 디멀티플렉싱 엔진 (36) 은 각각의 RLC 경계의 메모리 어드레스를 메모리 (52) 에 저장할 수도 있다. 그러나, 메모리 내용이 비디오 디코더 (28) 에 의해 사용된 디코딩 버퍼에 복사되는 경우에는 저장된 정보가 손실될 수도 있 다. 게다가, 기록된 메모리 어드레스를 디코딩 버퍼의 어드레스로 변환하기가 어려울 수 있다. 따라서, 대안으로서, 또 다른 접근법은 여기에 설명되는 것처럼 비디오 데이터 프레임에 경계 마커를 임베딩하는 것이다. 특히, 이 접근법에 의하면, 디멀티플렉서 (26) 는 물리 계층 데이터 유닛으로부터 경계를 검출하고, 후에 비디오 디코더 엔진에 의한 사용을 위해 멀티플렉싱 및 적응 계층을 통해 응용 계층까지 전달되는 경계 마커를 임베딩한다.

도 7 은 이 개시물에 따라, 비디오 데이터 프레임에 경계 마커를 임베딩하는 단계를 포함하는 디멀티플렉싱 및 디패킷화 기술을 나타낸 도면이다. 도 8 은 RLC-PDU 와 같은 물리 데이터 유닛이 손실될 때의 도 7 의 기술을 나타낸 도면이다. 도 7 및 도 8 에 나타낸 기능들은 도 2 를 참조하여 설명된 것처럼 비디오 디코더 시스템 (14) 에 의해 수행될 수도 있다. 도 7 에 나타낸 바와 같이, 디멀티플렉싱 엔진 (26) 은 물리 계층에서 RLC PDU 들을 수신하고 그들을 멀티플렉스 계층 (ML) 에서 MUX PDU 로 변환한다. 도 2 의 디코더 구현에서, 예를 들면, 비디오-RLC 경계 검출기 (38) 는 RLC PDU 간의 경계를 검출하고, 경계 코드 발생기 (40) 가 경계 마커 (54) 를 MUX PDU 에 임베딩한다.

디멀티플렉싱 엔진 (36) 은 후에 AL SDU 로 변환되는 적응 계층 (AL) PDU 를 발생시킨다. 이런 방식으로, 비디오 데이터는, 응용 계층 (APP) 에서 비디오 디코딩이 후속되는 비트스트림 사전-프로세싱을 위해 비디오 데이터 프레임으로 직렬화된다. 멀티플렉서 및 적응 계층에서, RLC 경계를 의미하는 경계 마커 (54) 는 비디오 디코더 엔진 (50) 에 의해 후에 참조하기 위해 손상되지 않은 채 남는 다. 사실상, 멀티플렉스 계층은 물리 계층으로부터 페치된 각각의 RLC-PDU 를 추적하고 RLC-PDU 들이 연관되는 경우에 특수 코드명, 즉 경계 마커를 삽입한다. 도 8 에 나타낸 바와 같이, RLC-PDU 가 손실되면, 여전히, 비디오 디코더는 손상된 슬라이스 또는 프레임의 데이터를 버리는 대신에, 가장 가까운 경계가 놓인 MB 를 다시 추적함으로써 정확히 수신된 데이터를 복구할 수 있다. 이런 방식으로, 비디오 디코더 엔진 (50) 은 경계 마커 (54) 를 이용하여 원시 물리 계층 데이터 유닛과 일치하는 비디오 데이터 프레임 내의 더 작은 세그먼트와 검출된 오류를 연관시킬 수 있으며, 이로써 비디오 데이터 프레임의 MB 의 과도하고 불필요한 은폐를 막는다. 비디오 디코더 엔진 (50) 은 RLC-PDU 가 완전히 손상되거나 손실될 때 오류를 검출할 수도 있다.

RLC-PDU 가 MUX 계층에 의해 페치되는 경우에 특수 코드명으로서 경계 마커가 임베딩될 수도 있다. 게다가, 이 경계 정보는 비디오 디코더 (28; 도 2) 에 의한 사용을 위해 경계 마커로서 응용 계층까지 내내에 전달될 수 있다. 도 2 를 참조하면, 경계 코드 발생기 (48) 는 특수 코드명으로서 사용되는 이들 경계 마커를 찾기 위해 비트스트림 사전-스크리닝 프로세스를 수행한다. 경계 코드 검출기 (48) 는 경계 마커의 위치를 메모리 (52) 에 기록하며 디코더 엔진 (50) 에 의해 디코딩하기 전에 비트스트림으로부터 경계 마커를 제거한다. 디코딩 동안에, 일단 RLC 경계가 교차되면, 디코더 엔진 (50) 은 메모리 (52) 에 저장된 위치를 참조하여, 어느 쪽 MB 가 디코딩되고 있는지를 기록할 수 있다. 일단 오류가 오류 검출 모듈 (46) 에 의해 검출되면, 디코더 엔진 (50) 은, 그것이 기록한 MB 로부터 프레임의 말단까지, 또는 오류 복원 기술이 또한 RLC 경계 마커와 결합하여 사용되는 경우에는 다음의 재동기화 마커 (RM) 코드명까지 연장하는 MB 를 은폐할 것이다. 경계 마커로서 사용된 각각의 특수 코드명의 특성은 상이한 구현에 영향을 받을 수도 있다. 그러나, 코드명은 MPEG-4 및 H.263 비트스트림과 같은 임의의 비디오 압축 표준에 의해 생성된 비트스트림에 사용되는 기존의 비트 패턴과 쉽게 구별가능할 것이다. 일부 경우에, 특수 코드명은 MPEG-4 및 H.263 표준에 한정된 예비 시작 코드를 이용하여 구현될 수도 있다.

도 9 는 이 개시물에 따라서, 비디오 데이터 프레임 내의 손실된 물리 데이터 유닛을 식별하기 위해 경계 마커를 이용하는 또 다른 디멀티플렉싱 및 디패킷화 기술을 나타낸 도면이다. 도 9 의 예에서, 디멀티플렉서 (26) 는 물리 계층에서 손실된 RLC-PDU (57) 를 표시하기 위해 RLC 경계 마커 (55) 를 임베딩한다. 이 경우, 물리 계층은 RLC-PDU 가 손실되었음을 멀티플렉스 계층에 표시하도록 구성된다. 따라서, 디멀티플렉서 (26) 는 RLC-PDU 가 손실된 경우 사전 경고를 비디오 디코더 (28) 에 제공한다. 이 접근법은 모든 RLC-PDU 에 대해 경계 마커를 제공하는 것, 및 디코딩 동안 비디오 디코더 엔진 (50) 이 오류나 손실된 RLC-PDU 를 결정하는 것과 대조를 이루고 있다. 물리 계층이 그런 정보를 제공하기 위해 손실된 RLC-PDU 를 식별하도록 구성되면, 디멀티플렉서 (26) 는 손실된 RLC-PDU 가 발생한 MUX-PDU 내에 특수 코드명으로서 마커를 임베딩한다. 그 후, 비디오 디코더 엔진 (50) 은 손실된 비디오-RLC 경계의 위치를 결정하기 위해 메모리 (52) 내에서 이 특수 코드명을 찾고, 프레임의 시점에서 프레임의 말단, 또 는 오류 복원 기술이 사용되는 경우에는 다음의 RM 까지의 매크로블록을 은폐한다. 이런 방식으로, 손실된 RLC-PDU 의 시점까지의 정확히 수신된 MB 는, 은폐 및 폐기되기보다는 복구되고 보존될 수 있다.

도 10a 내지 도 10d 는 재동기화 마커 (RM), 헤더 확장 코드 (HEC), 및 도 10d 의 경계 마커를 이용하는 기술을 포함한 다양한 디멀티플렉싱 및 디패킷화 기술을 나타낸 도면이다. 설명을 용이하게 하기 위해, 도 10a 내지 도 10d 의 각각의 도면은 비디오-RLC 유닛을 한정하는 경계 마커의 위치를 표시하는 수직선을 포함하지만, 오직 10d 만이 실제로 비디오-RLC 경계 마커의 이용을 나타내고 있다. 도 10a 의 예에서는, 오류 복원 툴이 사용되지 않는다. 그 결과, 오류가 제 1 비디오 데이터 프레임의 말단 및 제 2 비디오 데이터 프레임의 처음 부분에서 검출되는 경우, 전체의 제 2 프레임에 대한 MB [0,98] 가 손실되는 한편, 실질적으로 전체의 제 1 비디오 데이터 프레임에 대한 MB [0,98] 는 오류의 시점까지 은폐되어야 한다. 결과적으로, 도 10a 에 보여지는 시나리오는 비디오 디코딩 성능에 과감한 역효과를 초래할 수 있다.

도 10b 의 예에서, 종래 기술의 오류 복원 기술에 따라, 비디오 데이터 프레임에 RM 이 임베딩된다. 도 10b 에 나타낸 바와 같이, 도 10a 에서 처럼, 오류가 제 1 비디오 데이터 프레임의 말단 및 제 2 비디오 데이터 프레임의 처음 부분에서 검출되는 경우, RM 은 제 1 비디오 데이터 프레임 내의 은폐된 MB 의 개수를 상당히 감소시킨다. 비록 전체의 제 2 비디오 데이터 프레임의 MB [0,98] 가 손실되고, 또한 제 1 비디오 데이터 프레임의 오류에서 말단까지 연장하는 MB 는 은폐되더라도, 오류 직전의 RM [55,98] 의 시점까지의 제 1 비디오 데이터 프레임의 MB 가 은폐되기보다는 복구된다. 따라서, 오류 복원 기술의 사용은 실질적인 성능 향상을 제공할 수 있다.

도 10c 의 예에서, RM 과 HEC 비트가 비디오 데이터 프레임에 임베딩된다. 이 시나리오에서, MB 는 오류 직전의 RM 의 시점까지 복구될 수 있다. MB [55,98] 는 오류 직전의 RM 과 제 1 비디오 데이터 프레임의 말단과의 사이에서 은폐된다. 이들 양태에서, 도 10c 의 시나리오는 일반적으로 도 10b 의 시나리오와 일치한다. 그러나, HEC 비트의 존재가 제 2 비디오 데이터 프레임 전체의 손실을 방지한다. 도 10c 에 나타낸 바와 같이, 제 2 비디오 데이터 프레임의 처음에 있는 MB [0,45] 보다는, 제 2 비디오 데이터 프레임의 제 1 HEC 필드 다음의 MB 가 복구된다. 특히, 제 2 비디오 데이터 프레임의 HEC 필드의 처음에서, 새로운 프레임이 생성된다. 새로운 프레임의 MB [0,44] 는 은폐되어야 하지만 MB [45,98] 는 디코딩될 수 있다.

도 10d 의 예에서, 디코더 시스템 (14) 은 데이터 손실의 영향 및 버려지고 은폐된 MB 의 개수를 보다 감소시키기 위해 이 개시물에 따라 비디오-RLC 경계 마커와 함께, RM 및 HEC 필드와 같은 진보된 오류 복원 툴을 사용한다. 도 10d 는 일반적으로 도 10c 와 일치한다. 그러나, 경계 마커의 존재는 오류 검출의 시점 이전의 부가적인 MB 를 복구시킨다. 특히, 도 10d 에 나타낸 바와 같이, MB 는, 오직 MB [70,98] 만이 제 1 비디오 데이터 필드에서 은폐되도록, 오류가 발생한 세그먼트의 처음 부분에 있는 경계 마커의 시점까지 복구된다.

도 10d 의 비디오 데이터 프레임의 경계 마커의 존재는 오류를 비디오 데이터 필드의 더 작은 세그먼트와 연관시킨다. 오류 세그먼트는 RM 간의 범위보다 상당히 더 작으며, 실제로는 송신 중에 손실이 발생할 수 있는 가장 작은 유닛인 물리 계층 데이터 유닛에 대응한다. 도 10d 로부터 명백해지는 것처럼, 경계 마커의 부가는 RM 과 HEC 필드의 단독 사용 비교할 때, MB 의 복구에 있어서 상당한 절약을 초래한다.

도 11 은 이 개시물에 따른 비디오 디코딩 기술을 나타낸 흐름도이다. 도 11 에 나타낸 바와 같이, 이 기술은 비디오 및 오디오 정보를 포함한 물리 계층 데이터 유닛을 수신하는 단계 (58), 및 인접한 물리 계층 데이터 유닛 간의 경계를 검출하는 단계 (60) 를 포함한다. 예의 무선 응용에서, 물리 계층 데이터 유닛은 W-CDMA RLC-PDU 일 수도 있다. 멀티플렉스 계층 데이터 유닛의 발생 시 (62) 에, 이 기술은 물리 데이터 유닛 경계를 식별하기 위해 멀티플렉스 계층 데이터 유닛에 하나 이상의 경계 마커를 임베딩하는 단계 (64) 를 더 포함한다.

비디오 데이터 프레임의 발생 시 (66) 에, 비디오 디코더는 비디오 데이터 프레임을 디코딩 (68) 하고 임베딩된 경계 마커를 이용하여, 오류를 비디오 데이터 프레임의 더 작은 세그먼트와 연관 (70) 시킨다. 이런 방식으로, 오류가 검출된 세그먼트 이전, 즉, 오류 세그먼트의 시작을 의미하는 경계 마커 이전에 위치되는 MB 는 은폐되기보다는 복구 (72) 될 수 있다. 게다가, 재동기화 마커 (RM) 가 사용되면, 오류 세그먼트의 말단 후에 발생하는 다음의 RM 후속의 MB 가 응용 프레임의 말단까지 복구될 수 있다. 오류 세그먼트에 후속하는 다음의 RM 은 오류가 검출된 세그먼트의 말단을 의미하는 경계 마커를 참조로 식별될 수 있다.

다양한 실시형태가 설명되고 있다. 이들 및 다른 실시형태들은 후속의 청구의 범위 내에 있다.

Claims

물리 계층 데이터 유닛에 기초하여 비디오 데이터를 포함한 멀티플렉스 계층 데이터 유닛을 발생시키는 단계;

상기 물리 계층 데이터 유닛 간의 경계를 표시하기 위해 상기 멀티플렉스 계층 데이터 유닛에 경계 마커를 임베딩하는 단계;

비디오 데이터 프레임을 발생시키기 위해 상기 멀티플렉스 계층 데이터 유닛을 디멀티플렉싱하는 단계; 및

상기 경계 마커를 이용하여, 검출된 디코딩 오류를 상기 비디오 데이터 프레임의 세그먼트와 연관시키는 단계를 포함하는, 비디오 디코딩 방법.
제 1 항에 있어서,

상기 경계 마커는 손실된 물리 계층 데이터 유닛의 시작을 식별하는, 비디오 디코딩 방법.
제 1 항에 있어서,

경계 마커를 임베딩하는 단계는 복수의 물리 계층 데이터 유닛 간의 경계를 식별하기 위해 복수의 경계 마커를 임베딩하는 단계를 포함하는, 비디오 디코딩 방법.
제 1 항에 있어서,

상기 비디오 데이터 프레임은 비디오 데이터의 매크로블록을 포함하고,

상기 방법은 상기 비디오 데이터 프레임의 세그먼트 내의 매크로블록을 은폐하는 단계를 더 포함하는, 비디오 디코딩 방법.
제 1 항에 있어서,

상기 비디오 데이터 프레임은 재동기화 마커를 포함하고,

상기 방법은 상기 비디오 데이터 프레임의 세그먼트 내의 매크로블록 및 상기 비디오 데이터 프레임 내의 검출된 디코딩 오류에 후속하는 상기 재동기화 마커 중 다음의 것까지의 매크로블록을 은폐하는 단계를 더 포함하는, 비디오 디코딩 방법.
제 1 항에 있어서,

적응 계층 데이터 유닛을 발생시키기 위해 상기 멀티플렉스 계층 데이터 유닛을 디멀티플렉싱하는 단계, 및 상기 적응 계층 데이터 유닛에 기초하여 상기 비디오 데이터 프레임을 발생시키는 단계를 더 포함하는, 비디오 디코딩 방법.
제 1 항에 있어서,

상기 물리 계층 데이터 유닛을 무선 통신을 통해 수신하는 단계를 더 포함하는, 비디오 디코딩 방법.
제 1 항에 있어서,

상기 멀티플렉스 계층 유닛을 ITU H.223 멀티플렉싱/디멀티플렉싱 프로토콜에 따라 디멀티플렉싱하는 단계를 더 포함하는, 비디오 디코딩 방법.
제 1 항에 있어서,

상기 멀티플렉스 계층 유닛을 RTP/UDP/IP 멀티플렉싱/디멀티플렉싱 프로토콜에 따라 디멀티플렉싱하는 단계를 더 포함하는, 비디오 디코딩 방법.
제 1 항에 있어서,

상기 비디오 데이터 프레임은 MPEG-4 표준에 따르는 비디오 데이터의 매크로블록을 포함하는, 비디오 디코딩 방법.
제 1 항에 있어서,

상기 비디오 데이터 프레임은 ITU H.263, ITU H.264 및 MPEG-2 프로토콜 중 하나에 따르는 비디오 데이터의 매크로블록을 포함하는, 비디오 디코딩 방법.
제 1 항에 있어서,

상기 물리 계층 데이터 유닛은 W-CDMA 무선 링크 제어 패킷 데이터 유닛 (RLC PDU) 을 포함하는, 비디오 디코딩 방법.
제 12 항에 있어서,

상기 멀티플렉스 계층 데이터 유닛은 H.223 멀티플렉싱/디멀티플렉싱 프로토콜에 따르는, 비디오 디코딩 방법.
제 1 항에 있어서,

상기 물리 계층 데이터 유닛은 CDMA2000 1x 무선 링크 프로토콜 패킷 데이터 유닛 (RLP PDU), CDMA2000 1x EV-DO RLP PDU 또는 CDMA2000 EV-DV RLP PDU 를 포함하는, 비디오 디코딩 방법.
제 1 항에 있어서,

상기 멀티플렉스 계층 데이터 유닛은 RTP/UDP/IP 멀티플렉싱/디멀티플렉싱 프로토콜에 따르는, 비디오 디코딩 방법.
제 1 항에 있어서,

상기 물리 계층 데이터 유닛은 오디오 및 비디오 데이터를 포함하고,

경계 마커를 임베딩하는 단계는 상기 물리 계층 데이터 유닛의 비디오 정보 간의 경계를 표시하기 위해 상기 멀티플렉스 계층 데이터 유닛에 경계 마커를 임베딩하는 단계를 포함하는, 비디오 디코딩 방법.
물리 계층 데이터 유닛에 기초하여 비디오 데이터를 포함한 멀리플렉스 계층 데이터 유닛을 발생시키고, 상기 멀티플렉스 계층 데이터 유닛을 디멀티플렉싱하는 디멀티플렉싱 엔진;

상기 물리 계층 데이터 유닛 간의 경계를 표시하기 위해 상기 멀티플렉스 계층 데이터 유닛에 경계 마커를 임베딩하는 경계 발생기; 및

상기 비디오 데이터를 포함한 비디오 데이터 프레임을 디코딩하고, 상기 경계 마커를 이용하여, 검출된 디코딩 오류를 상기 비디오 데이터 프레임의 세그먼트와 연관시키는 비디오 디코딩 엔진을 포함하는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 경계 마커는 손실된 물리 계층 데이터 유닛의 시작을 식별하는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 경계 발생기는 복수의 물리 계층 데이터 유닛 간의 경계를 식별하기 위해 복수의 경계 마커를 임베딩하는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 물리 계층 데이터 유닛 간의 경계를 검출하기 위해 경계 검출기를 더 포함하는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 비디오 데이터 프레임은 비디오 데이터의 매크로블록을 포함하고,

상기 디코딩 엔진은 상기 비디오 데이터 프레임의 세그먼트 내의 매크로블록을 은폐하는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 비디오 데이터 프레임은 재동기화 마커를 포함하고,

상기 디코딩 엔진은 상기 비디오 데이터 프레임의 세그먼트 내의 매크로블록 및 상기 비디오 데이터 프레임 내의 검출된 디코딩 오류에 후속하는 상기 재동기화 마커 중 다음의 것까지의 매크로블록을 은폐하는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 디멀티플렉싱된 멀티플렉스 계층 데이터 유닛에 기초하여 적응 계층 데이터 유닛을 발생시키고, 상기 적응 계층 데이터 유닛에 기초하여 상기 비디오 데이터 프레임을 발생시키는 적응 계층 모듈을 더 포함하는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 물리 계층 데이터 유닛을 무선 통신을 통해 수신하는 무선 수신기를 더 포함하는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 디멀티플렉싱 엔진은 상기 멀티플렉스 계층 유닛을 ITU H.223 멀티플렉싱/디멀티플렉싱 프로토콜에 따라 디멀티플렉싱하는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 디멀티플렉싱 엔진은 상기 멀티플렉스 계층 유닛을 RTP/UDP/IP 멀티플렉싱/디멀티플렉싱 프로토콜에 따라 디멀티플렉싱하는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 비디오 데이터 프레임은 MPEG-4 표준에 따르는 비디오 데이터의 매크로블록을 포함하는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 비디오 데이터 프레임은 ITU H.263, ITU H.264 및 MPEG-2 프로토콜 중 하나에 따르는 비디오 데이터의 매크로블록을 포함하는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 물리 계층 데이터 유닛은 W-CDMA RLC PDU 를 포함하는, 비디오 디코딩 시스템.
제 29 항에 있어서,

상기 멀티플렉스 계층 데이터 유닛은 H.223 멀티플렉싱/디멀티플렉싱 프로토콜에 따르는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 물리 계층 데이터 유닛은 CDMA2000 1x RLP PDU, CDMA2000 1x EV-DO RLP PDU 또는 CDMA2000 EV-DV RLP PDU 를 포함하는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 멀티플렉스 계층 데이터 유닛은 RTP/UDP/IP 멀티플렉싱/디멀티플렉싱 프로토콜에 따르는, 비디오 디코딩 시스템.
제 17 항에 있어서,

상기 물리 계층 데이터 유닛은 오디오 및 비디오 데이터를 포함하고,

상기 경계 발생기는 상기 물리 계층 데이터 유닛의 비디오 정보 간의 경계를 표시하기 위해 상기 멀티플렉스 계층 데이터 유닛에 상기 경계 마커를 임베딩하는, 비디오 디코딩 시스템.
물리 계층 데이터 유닛에 기초하여 비디오 데이터를 포함한 멀티플렉스 계층 데이터 유닛을 발생시키고, 상기 멀티플렉스 계층 데이터 유닛을 디멀티플렉싱하는 디멀티플렉싱 엔진; 및

상기 물리 계층 데이터 유닛 간의 경계를 표시하기 위해 상기 물리 계층 데이터 유닛에 경계 마커를 임베딩하여 비디오 디코더로 하여금, 상기 경계 마커를 이용하여, 검출된 디코딩 오류를 비디오 데이터 프레임의 세그먼트와 연관시키게 하는 경계 발생기를 포함하는, 비디오 디멀티플렉서.
제 34 항에 있어서,

상기 경계 마커는 손실된 물리 계층 데이터 유닛의 시작을 식별하는, 비디오 디멀티플렉서.
제 34 항에 있어서,

상기 경계 발생기는 복수의 물리 계층 데이터 유닛 간의 경계를 식별하기 위해 복수의 경계 마커를 임베딩하는, 비디오 디멀티플렉서.
제 34 항에 있어서,

상기 물리 계층 데이터 유닛 간의 경계를 검출하는 경계 검출기를 더 포함하는, 비디오 디멀티플렉서.
제 34 항에 있어서,

상기 비디오 데이터 프레임은 비디오 데이터의 매크로블록을 포함하고,

상기 디코딩 엔진은 상기 비디오 데이터 프레임의 세그먼트 내의 매크로블록을 은폐하는, 비디오 디멀티플렉서.
제 34 항에 있어서,

상기 디멀티플렉싱 엔진은 상기 멀티플렉스 계층 데이터 유닛을 H.223 멀티플렉싱/디멀티플렉싱 프로토콜에 따라 디멀티플렉싱하는, 비디오 디멀티플렉서.
제 34 항에 있어서,

상기 디멀티플렉싱 엔진은 상기 멀티플렉스 계층 데이터 유닛을 RTP/UDP/IP 멀티플렉싱/디멀티플렉싱 프로토콜에 따라 디멀티플렉싱하는, 비디오 디멀티플렉서.
제 34 항에 있어서,

상기 비디오 데이터 프레임은 MPEG-4 표준에 따르는 비디오 데이터의 매크로블록을 포함하는, 비디오 디멀티플렉서.
제 34 항에 있어서,

상기 비디오 데이터 프레임은 ITU H.263, ITU H.264 및 MPEG-2 프로토콜 중 하나에 따르는 비디오 데이터의 매크로블록을 포함하는, 비디오 디멀티플렉서.
제 34 항에 있어서,

상기 물리 계층 데이터 유닛은 W-CDMA RLC PDU 를 포함하는, 비디오 디멀티플렉서.
제 43 항에 있어서,

상기 멀티플렉스 계층 데이터 유닛은 H.223 멀티플렉싱/디멀티플렉싱 프로토콜에 따르는, 비디오 디멀티플렉서.
제 34 항에 있어서,

상기 물리 계층 데이터 유닛은 CDMA2000 1x RLP PDU, CDMA2000 1x EV-DO RLP PDU 또는 CDMA2000 EV-DV RLP PDU 를 포함하는, 비디오 디멀티플렉서.
제 34 항에 있어서,

상기 멀티플렉스 계층 데이터 유닛은 RTP/UDP/IP 멀티플렉싱/디멀티플렉싱 프로토콜에 따르는, 비디오 디멀티플렉서.
제 34 항에 있어서,

상기 물리 계층 데이터 유닛은 오디오 및 비디오 데이터를 포함하고,

상기 경계 발생기는 상기 물리 계층 데이터 유닛의 비디오 정보 간의 경계를 표시하기 위해 상기 멀티플렉스 계층 데이터 유닛에 상기 경계 마커를 임베딩하는, 비디오 디멀티플렉서.
비디오 데이터를 포함한 물리 계층 데이터 유닛을 무선 통신을 통해 수신하는 무선 수신기;

상기 물리 계층 데이터 유닛에 기초하여 멀티플렉스 계층 데이터 유닛을 발생시키고, 상기 멀티플렉스 계층 데이터 유닛을 디멀티플렉싱하는 디멀티플렉싱 엔진;

상기 물리 계층 데이터 유닛 간의 경계를 표시하기 위해 상기 멀티플렉스 계층 데이터 유닛에 경계 마커를 임베딩하는 경계 발생기; 및

상기 비디오 데이터를 포함한 비디오 데이터 프레임을 디코딩하고, 상기 경계 마커를 이용하여, 검출된 디코딩 오류를 상기 비디오 데이터 프레임의 세그먼트와 연관시키는 비디오 디코딩 엔진을 포함하는, 무선 통신 디바이스.
제 48 항에 있어서,

상기 경계 마커는 손실된 물리 계층 데이터 유닛의 시작을 식별하는, 무선 통신 디바이스.
제 48 항에 있어서,

상기 경계 발생기는 복수의 물리 계층 데이터 유닛 간의 경계를 식별하기 위 해 복수의 경계 마커를 임베딩하는, 무선 통신 디바이스.
물리 계층 데이터 유닛에 기초하여 비디오 데이터를 포함한 멀티플렉스 계층 데이터 유닛을 발생시키는 수단;

상기 물리 계층 데이터 유닛 간의 경계를 표시하기 위해 상기 멀티플렉스 계층 데이터 유닛에 경계 마커를 임베딩하는 수단;

비디오 데이터 프레임을 발생시키기 위해 상기 멀티플렉스 계층 데이터 유닛을 디멀티플렉싱하는 수단; 및

상기 경계 마커를 이용하여, 검출된 디코딩 오류를 상기 비디오 데이터 프레임의 세그먼트와 연관시키는 수단을 포함하는, 비디오 디코딩 시스템.
제 51 항에 있어서,

상기 경계 마커는 손실된 물리 계층 데이터 유닛의 시작을 식별하는, 비디오 디코딩 시스템.
제 51 항에 있어서,

상기 임베딩 수단은 복수의 물리 계층 데이터 유닛 간의 경계를 식별하기 위해 복수의 경계 마커를 임베딩하는 수단을 포함하는, 비디오 디코딩 시스템.
제 51 항에 있어서,

상기 비디오 데이터 프레임은 비디오 데이터의 매크로블록을 포함하고,

상기 시스템은 상기 비디오 데이터 프레임의 세그먼트 내의 매크로블록을 은폐하는 수단을 더 포함하는, 비디오 디코딩 시스템.
제 51 항에 있어서,

상기 비디오 데이터 프레임은 재동기화 마커를 포함하고,

상기 시스템은 상기 비디오 데이터 프레임의 세그먼트 내의 매크로블록 및 상기 비디오 데이터 프레임 내의 검출된 디코딩 오류에 후속하는 상기 재동기화 마커 중 다음의 것까지의 매크로블록을 은폐하는 수단을 더 포함하는, 비디오 디코딩 시스템.
제 51 항에 있어서,

상기 디멀티플렉싱 수단은 상기 멀티플렉스 계층 유닛을 ITU H.223 또는 RTP/UDP/IP 멀티플렉싱/디멀티플렉싱 프로토콜에 따라 디멀티플렉싱하는, 비디오 디코딩 시스템.
제 51 항에 있어서,

상기 비디오 데이터 프레임은 MPEG-4, ITU H.263, ITU H.264 또는 MPEG-2 프로토콜에 따르는 비디오 데이터의 매크로블록을 포함하는, 비디오 디코딩 시스템.
제 51 항에 있어서,

상기 물리 계층 데이터 유닛은 W-CDMA RLC PDU, CDMA2000 1x RLP PDU, CDMA2000 1x EV-DO RLP PDU 또는 CDMA2000 EV-DV RLP PDU 를 포함하는, 비디오 디코딩 시스템.
하나 이상의 프로세서로 하여금,

물리 계층 데이터 유닛에 기초하여 비디오 데이터를 포함한 멀티플렉스 계층 데이터 유닛을 발생시키고;

상기 물리 계층 데이터 유닛 간의 경계를 표시하기 위해 상기 멀티플렉스 계층 데이터 유닛에 경계 마커를 임베딩하고;

비디오 데이터 프레임을 발생시키기 위해 상기 멀티플렉스 계층 데이터 유닛을 디멀티플렉싱하며;

상기 경계 마커를 이용하여, 검출된 디코딩 오류를 상기 비디오 데이터 프레임의 세그먼트와 연관시키게 하는 명령을 포함하는, 컴퓨터-판독가능 매체.
제 59 항에 있어서,

상기 경계 마커는 손실된 물리 계층 데이터 유닛의 시작을 식별하는, 컴퓨터 판독가능 매체.
제 59 항에 있어서,

상기 프로세서로 하여금, 복수의 물리 계층 데이터 유닛 간의 경계를 식별하기 위해 복수의 경계 마커를 임베딩하게 하는 명령을 더 포함하는, 컴퓨터 판독가능 매체.
제 59 항에 있어서,

상기 비디오 데이터 프레임은 비디오 데이터의 매크로블록을 포함하고,

상기 프로세서로 하여금, 상기 비디오 데이터 프레임의 세그먼트 내의 매크로블록을 은폐하게 하는 명령을 더 포함하는, 컴퓨터 판독가능 매체.
제 59 항에 있어서,

상기 비디오 데이터 프레임은 재동기화 마커를 포함하고,

상기 프로세서로 하여금, 상기 비디오 데이터 프레임의 세그먼트 내의 매크로블록 및 상기 비디오 데이터 프레임 내의 검출된 디코딩 오류에 후속하는 상기 재동기화 마커 중 다음의 것까지의 매크로블록을 은폐하게 하는 명령을 더 포함하는, 컴퓨터 판독가능 매체.
제 59 항에 있어서,

상기 명령은 상기 프로세서로 하여금, 상기 멀티플렉스 계층 데이터 유닛을 ITU H.223 또는 RTP/UDP/IP 멀티플렉싱/디멀티플렉싱 프로토콜에 따라 디멀티플렉싱하게 하는, 컴퓨터 판독가능 매체.
제 59 항에 있어서,

상기 비디오 데이터 프레임은 MPEG-4, ITU H.263, ITU H.264 또는 MPEG-2 프로토콜에 따르는 비디오 데이터의 매크로블록을 포함하는, 컴퓨터 판독가능 매체.
제 59 항에 있어서,

상기 물리 계층 데이터 유닛은 W-CDMA RLC PDU, CDMA2000 1x RLP PDU, CDMA2000 1x EV-DO RLP PDU 또는 CDMA2000 EV-DV RLP PDU 를 포함하는, 컴퓨터 판독가능 매체.