KR101012624B1 - 통합 에러 은폐 프레임워크를 위한 방법 및 장치 - Google Patents

통합 에러 은폐 프레임워크를 위한 방법 및 장치 Download PDF

Info

Publication number
KR101012624B1
KR101012624B1 KR1020077028977A KR20077028977A KR101012624B1 KR 101012624 B1 KR101012624 B1 KR 101012624B1 KR 1020077028977 A KR1020077028977 A KR 1020077028977A KR 20077028977 A KR20077028977 A KR 20077028977A KR 101012624 B1 KR101012624 B1 KR 101012624B1
Authority
KR
South Korea
Prior art keywords
section
error
multimedia data
distribution information
selecting
Prior art date
Application number
KR1020077028977A
Other languages
English (en)
Other versions
KR20080026540A (ko
Inventor
팡 시
세이풀라 할리트 오구즈
서미트 세티
비자얄라크시미 알 라빈드란
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20080026540A publication Critical patent/KR20080026540A/ko
Application granted granted Critical
Publication of KR101012624B1 publication Critical patent/KR101012624B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법 및 장치가 개시되어 있다. 이 방법은 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계를 포함하다. 이 방법은 에러 분포 정보에 기초하여 멀티미디어 데이터의 제 1 섹션에 복수의 에러 복구 방식중 하나를 적용하는 단계를 더 포함한다.
에러 분포 정보, 에러 복구 방식, 멀티미디어 데이터

Description

통합 에러 은폐 프레임워크를 위한 방법 및 장치{A METHOD AND APPARATUS FOR UNIFIED ERROR CONCEALMENT FRAMEWORK}
35 U.S.C.§§119하의 우선권 주장
이 특허 출원은 2005년 5월 11일에 출원된 "A METHOD AND APPARATUS FOR UNIFIED ERROR CONCEALMENT FRAMEWORK" 라는 명칭의 가출원 제 60/680,213 호 및 2005년 5월 13일 출원된 "A METHOD AND APPARATUS FOR UNIFIED ERROR CONCEALMENT FRAMEWORK" 라는 명칭의 가특허출원 제 60/681,195 호에 대한 우선권을 주장한다. 이들 모두는 본 발명의 양수인에게 양도되었으며 참조로 본 명세서에 명백하게 통합되었다.
배경
분야
본 발명은 에러 관리를 사용하여 비디오 데이터 또는 오디오 데이터와 같은 멀티 미디어 데이터를 인코딩 및 디코딩하는 방법 및 장치에 관한 것이다.
배경
인터넷 및 무선 통신의 광범위한 사용은 인터넷 및 이동/무선 채널을 통해 미디어를 스트림하는 멀티미디어 서비스에 대한 요구를 증가시켰다. 인터넷 프로토콜 (IP) 네트워크에서, 비디오가 서버에 의해 제공될 수도 있으며, 하나 이상의 유선 또는 무선 채널에 의해 스트림될 수도 있다. 유선 접속은 다이얼-업 (dial-up), 통합 서비스 디지털 네트워크 (ISDN), 케이블, 디지털 가입자 라인 프로토콜 (일괄하여, xDSL 이라 칭함), 섬유, 로컬 영역 네트워크 (LAN), 광역 네트워크 (WAN) 등을 포함한다. 무선 통신을 활용하는 전자 디바이스는 전화기 (예를 들어, 셀 전화), 개인 보조 단말기 (PDA), 핸드-헬드 또는 휴대용 컴퓨터, 위성 전화 등을 포함한다. 이들 애플리케이션 모두가 아닌 대부분에서, 대역폭 요구 및/또는 제한은, 비디오 프로세싱이 비디오 데이터를 분석, 정량화, 프로세싱 및 표현하기 위해 비디오 압축 알고리즘을 통합하는 소스 인코더를 이용하여 "최소" 수의 비트를 확장함으로써 최대 정보를 전달하는 것을 필요로 한다. 이러한 알고리즘의 특징은 상당히 변화하고, 이것은 (객관적/주관적 품질, 압축 효율 및 비트 레이트와 같은) 성능에서의 큰 스케일의 변동을 초래한다. 압축 알고리즘을 사용하는 비디오 프로세싱의 특징은 (객관적/주관적 품질, 압축 효율 및 비트 레이트와 같은) 성능에서의 큰 스케일의 변동을 초래하는 컨텐츠에 기초하여 상당히 변화할 수도 있다.
무선 채널은 에러의 경향이 있다. 송신 데이터의 일부는 이러한 데이터의 일부가 분실되거나 손상되는 경우에 "에러" 이다. 비디오 압축이 리던던시를 본질적으로 제거하기 때문에, 압축된 데이터는 임계적이게 된다. 송신 동안의 이러한 데이터의 임의의 에러 부분은 디코더에서 재구성된 비디오 품질에 영향을 미친다. 이 영향은, 에러 데이터가 모션 압축 예측을 위한 기준 프레임의 일부인 경우에 가중되어, 시간 에러 전파를 야기한다.
에러를 가지고 수신된 비트스트림 데이터로 인한 재구성된 비디오 품질에 대 한 영향을 완화시키기 위해, 비디오 디코더가 수신 비디오 데이터를 프로세싱하여 비디오 품질을 개선시킨다. 이것을 에러 은폐라 칭한다. 에러 은폐 방식은 비디오 신호에 존재하는 공간 및 시간 상관을 이용한다.
현재, 여러 에러 은폐 방식이 이용가능하다. 특정 환경에 따라, 하나의 에러 은폐 방식은 다른 에러 은폐 방식 보다 양호한 결과를 제공할 수도 있다. 따라서, 복수의 에러 은폐 방식으로부터 특정 은폐 작업에 더욱 적합한 에러 은폐 방식을 동적으로 선택할 수도 있는 통합 에러 은폐 프레임워크를 개발하는 것이 바람직하다.
요약
일 양태에서, 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법이 개시된다. 이 방법은 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계를 포함한다. 이 방법은 에러 분포 정보에 기초하여 복수의 에러 복구 방식중의 하나를 멀티미디어 데이터의 제 1 섹션에 적용하는 단계를 더 포함한다.
또 다른 양태에서, 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 장치는 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 수단, 및 에러 분포 정보에 기초하여 복수의 에러 복구 방식중의 하나를 멀티미디어 데이터의 제 1 섹션에 적용하는 수단을 포함한다.
또 다른 양태에서, 멀티미디어 데이터를 프로세싱하는 장치는 에러상태로 수신된 제 1 섹션을 갖는 멀티미디어 데이터를 수신하도록 구성된 수신기, 및 제 1 섹션에 대응하는 에러 분포 정보에 기초하여 복수의 에러 복구 방식중의 하나를 멀티미디어 데이터의 제 1 섹션에 적용하도록 구성된 에러 은폐기 (concealer) 를 포함한다. 이 장치는 제 1 섹션에 대응하는 에러 분포 정보를 획득하도록 구성된 획득 모듈을 더 포함할 수도 있다. 또 다른 방법으로는, 에러 은폐기는 또한, 제 1 섹션에 대응하는 에러 분포 정보를 획득하도록 구성될 수도 있다.
상기 양태들에서, 멀티미디어 데이터는 각각의 프레임이 복수의 섹션을 포함하는 복수의 프레임을 포함할 수도 있으며, 에러 분포 정보는 정확하게 디코딩된 에러 섹션의 위치를 포함하는 맵을 생성함으로써 획득될 수도 있다. 멀티미디어 데이터는 다중 층 프로토콜로부터 생성된 정보를 포함할 수도 있다. 복수의 에러 복구 방식중의 하나는 제 1 섹션에 대한 에러 분포 정보에 기초하여 선택될 수도 있으며, 제 1 섹션은 선택된 에러 복귀 방식에 기초하여 프로세싱될 수도 있다. 제 1 섹션을 포함하는 제 1 액세스 유닛이 균일하게 코딩되었는지 여부, 채널 스위치가 검출되었는지 여부, 신규한 오브젝트가 검출되었는지 여부 및/또는 제 1 섹션이 균일하게 코딩된 슬라이스 또는 비균일하게 코딩된 슬라이스를 포함하는지 여부에 적어도 기초할 수도 있다.
또한, 프로세서가 설명한 방법 및/또는 장치의 기능을 수행하도록 구현될 수도 있다. 유사하게는, 머신 판독가능 매체가 구현될 수도 있으며, 여기서, 머신 판독가능 매체는 설명한 방법 및/또는 장치의 기능을 수행하도록 구성된 명령을 갖는다.
도면의 간단한 설명
도 1은 인커밍 멀티미디어 데이터 스트림에서의 가능한 슬라이스의 타입의 예시적인 리스트를 도시한다.
도 2는 에러 은폐의 예시적인 방법을 도시하는 플로우차트이다.
도 3은 비균일 타입 에러 은폐에 대한 예시적인 방법을 도시하는 플로우차트이다.
도 4는 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터 스트림을 프로세싱하는 예시적인 방법을 도시하는 흐름도이다.
도 5는 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터 스트림을 프로세싱하도록 구성된 예시적인 디코더를 도시하는 블록도를 도시한다.
도 6은 인커밍 멀티미디어 데이터 스트림을 디코딩하도록 구성된 디코더의 예를 도시하는 블록도를 도시한다.
도 7은 예시적인 에러 은폐기를 도시한다.
상세한 설명
아래의 설명에서, 개시된 방법 및 장치의 전반적인 이해를 제공하기 위해 특정한 상세가 제공된다. 그러나, 당업자는 개시된 방법 및 장치가 이러한 특정한 상세없이 실시될 수도 있다는 것을 이해할 것이다. 예를 들어, 불필요한 상세에서 특정 양태들을 불명료하게 하지 않기 위해 전기적 구성요소가 블록도로 도시될 수도 있다. 다른 경우에서, 이러한 구성요소, 다른 구조 및 기술이 특정 양태들을 더욱 설명하기 위해 상세히 도시될 수도 있다.
또한, 특정 양태들은 플로우차트, 흐름도, 구조도, 또는 블록도로서 도시되 는 프로세스로서 설명될 수도 있다. 플로우차트가 순차적 프로세스로서 동작을 설명할 수도 있지만, 다수의 동작은 병렬 또는 동시에 수행될 수도 있으며, 이 프로세스는 반복될 수도 있다. 또한, 동작의 순서는 재배열될 수도 있다. 프로세스는 그 동작이 완료될 때 종료된다. 프로세스가 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 함수에 대응할 때, 그 종료는 호출 함수 또는 메인 함수로의 함수의 복귀에 대응한다.
또한, 여기에 개시된 바와 같이, 용어 "저장 매체" 는 판독 전용 메모리 (ROM), 랜덤 액세스 메모리 (RAM), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 디바이스 및/또는 정보를 저장하는 다른 머신 판독가능 매체를 포함하는, 데이터를 저장하는 하나 이상의 디바이스를 나타낼 수도 있다. 용어 "머신 판독가능 매체" 또는 "컴퓨터 판독가능 매체" 는 휴대용 또는 고정 저장 디바이스, 광학 저장 디바이스, 무선 채널 및 명령(들) 및/또는 데이터를 저장, 포함 또는 전달할 수 있는 다양한 다른 매체를 포함하지만, 이에 제한되지 않는다.
이하, 수신된 멀티미디어 데이터 스트림을 디코딩하는 방법의 특정 실시형태를 상세히 설명한다. 멀티미디어 데이터는 비디오, 오디오, 그래픽, 텍스트, 및 화상을 포함하는 다양한 형태일 수도 있지만, 이에 제한되지 않는다. 이 데이터는 MPEG-x 표준에서와 같은 압축된 비디오 및 오디오, H.26x 표준에서와 같은 압축된 비디오, MPEG-2 AAC, MPEG-4 AAC, MPEG-2 오디오 레이어 Ⅲ (MP3), AMR 및 G.723 오디오 또는 음성 압축 표준에서와 같은 압축된 오디오, 또는 임의의 다른 타입의 디지털 데이터일 수도 있다. 이 데이터 스트림은, 전화, 케이블, 및 광 섬유와 같은 유선 네트워크 또는 무선 네트워크를 통해 수신될 수도 있다. 무선의 경우에서, 네트워크는 예를 들어, 코드 분할 다중 액세스 (CDMA 또는 CDMA2000) 통신 시스템의 일부를 포함할 수도 있거나, 또 다른 방법으로는, 이 시스템은 주파수 분할 다중 액세스 (FDMA) 시스템, 직교 주파수 분할 다중 액세스 (OFDMA) 시스템, 서비스 산업용의 GSM/GPRS (일반 패킷 무선 서비스)/EDGE (인핸스드 데이터 GSM 환경) 또는 TETRA (지상 트렁킹된 무선) 이동 전화 기술과 같은 시간 분할 다중 액세스 (TDMA) 시스템, 광대역 코드 분할 다중 액세스 (WCDMA), 하이 데이터 레이트 (1xEV-DO 또는 1xEV-DO 골드 멀티캐스트) 시스템, 또는 기술들의 결합을 이용하는 일반적인 임의의 무선 통신 시스템일 수도 있다.
일 예에서, 멀티미디어 데이터 스트림은 H.261, MPEG-1 파트 2, MPEG-2 파트 2 (H.262), MPEG-4 파트 2, H.263, 및 H.264의 구조와 유사한 구조를 이용하여 코딩된다. 멀티미디어 데이터 스트림은 하나 이상의 데이터 시퀀스를 포함할 수도 있다. 시퀀스는 시퀀스 헤더로 시작하고, 하나 이상의 화상 그룹 (GOP) 을 포함하며, 시퀀스 종료 코드로 종료한다. GOP는 제 1 프레임이 인트라-코딩된 프레임인 하나 이상의 화상 또는 프레임을 포함한다. 인트라-코딩된 프레임 (I-화상 또는 I-프레임) 은 어떤 다른 프레임에 대한 레퍼런스를 갖지 않은 프레임을 칭한다.
프레임은 비디오 시퀀스의 코딩 단위의 타입이다. 프레임에서의 비디오 데이터는 휘도 (Y) 및 2개의 색차 (Cb 및 Cr) 성분을 나타내는 3개의 직사각형 매트 릭스를 포함한다. 인트라-코딩된 프레임, 예측된 프레임, 및 양방향 예측된 프레임과 같은, 프레임이 어떻게 코딩되었는지에 의존하여 상이한 타입의 프레임이 존재한다. 인트라 프레임은 상술하였다. 예측된 프레임 (P-화상 또는 P-프레임) 은 현재의 프레임과 레퍼런스 프레임 사이의 차이를 인코딩함으로써 레퍼런스 프레임으로부터의 모션 보상으로 예측되는 프레임이다. P-프레임은 레퍼런스 프레임으로서 순방향 또는 역방향 프레임을 사용할 수도 있지만, 둘 모두를 사용하지는 않는다. 양방향 프레임 (B-화상 또는 B-프레임) 은 레퍼런스 프레임으로서 순방향 또는 역방향 프레임 또는 둘 모두의 프레임을 사용하는 프레임을 칭한다.
P-프레임 및 B-프레임 모두는 인터 또는 예측 코딩이라 칭하는 코딩 기술에 의해 인코딩된다. 인터-코딩은 현재의 프레임에서의 영역과 레퍼런스 프레임에서의 최상의 매칭 예측 영역 사이의 시간적 리던던시를 활용함으로써 프레임에서의 데이터를 인코딩한다. 현재의 영역과 최상의 매칭 예측 영역 사이의 차이는 잔류 에러 (또는 예측 에러) 로서 공지되어 있다. 레퍼런스 프레임에서의 최상의 매칭 예측 영역의 상대적 위치는 모션 벡터로서 인코딩될 수도 있다.
프레임은 그것을 하나 이상의 슬라이스로서 파티셔닝함으로써 더 압축될 수 있다. 슬라이스는 하나 이상의 매크로블록의 그룹일 수도 있다. 슬라이스는 라스터-스캔 순서에서 연속적일 수도 있거나 프레임 데이터의 임의의 서브세트에 대응할 수도 있다. 슬라이스는 동일한 프레임 및 상이한 프레임에서의 다른 슬라이스와 독립적으로 코딩 및/또는 독립적으로 디코딩될 수 있다. 따라서, 슬라이스는 독립적으로 디코딩 가능한 매크로블록의 그룹을 칭할 수도 있으며, 시스템에 따라서, 헤더 정보를 포함할 수도 있거나 포함하지 않을 수도 있다. 매크로블록은 관련된 픽셀의 그룹, 예를 들어, 채용된 크로마 서브샘플링 패턴에 기초하는 휘도 채널 및 대응하는 크로마 채널 픽셀 집합에서의 16x16 픽셀 영역이다. 각 매크로블록은 서브-매크로블록 파티션 - 16x8, 8x16, 8x8, 4x8, 8x4, 4x4 로 더 분할될 수도 있다. 본 명세서에서는 4x4 서브-매크로블록을 블록으로서 칭한다.
도 1은 수신된 멀티미디어 데이터 스트림에서의 가능한 슬라이스의 타입의 예시적인 리스트를 도시한다. 이 리스트는 또한, 각각이 상이한 타입의 슬라이스를 나타내는 사전-할당된 슬라이스 타입 번호의 리스트를 포함한다. 이 리스트는 예이며, 도 1에 도시된 것 보다 많거나 적은 슬라이스의 타입을 포함할 수도 있다. 또한, 이 슬라이스 타입은 번호 이외의 다른 수단에 의해 식별될 수도 있다.
이러한 예를 위해서, 3개의 슬라이스 타입을 논의한다. 예측된 슬라이스 (P-슬라이스) 는 동일한 프레임내의 다른 데이터로부터의 레퍼런스 및 다른 프레임에 대한 레퍼런스를 가질 수도 있는 슬라이스를 칭한다. 양방향 또는 보간된 슬라이스 (B-슬라이스) 는 과거 뿐만 아니라 장래로부터의 데이터에 대한 레퍼런스를 포함할 수도 있는 슬라이스를 칭한다. 인트라 슬라이스 (I 슬라이스) 는 다른 슬라이스에 대한 레퍼런스를 갖지 않은 슬라이스이다.
또한, 본 명세서에서 "액세스 유닛" 으로서 칭하는 프리젠테이션 유닛이 균 일 또는 비균일하게 코딩될 수도 있다. 데이터 소스에 따라, 액세스 유닛은 화상, 프레임, 필드, 슬라이스, 슬라이스의 그룹, 또는 다른 독립적으로 디코딩 가능한 유닛일 수도 있다. 액세스 유닛은 액세스 유닛내의 모든 슬라이스가 동일한 타입일 때 균일하게 코딩된다. 액세스 유닛은, 액세스 유닛내의 슬라이스가 상이한 타입인 가능성이 존재하는 경우에 잠재적인 비균일 액세스 유닛이다. 상술된 3개의 슬라이스 타입은, 문제의 슬라이스가 균일하게 또는 잠재적으로 비균일하게 코딩되는 액세스 유닛에 속하는지를 고려한 이후에 6개의 카테고리로 더 분할될 수 있다.
또한, 본 명세서에서, 슬라이스는 슬라이스 타입이 미공지인 경우에 타입 x로서 칭한다. 슬라이스 타입은 예를 들어, 전체 슬라이스가 에러이거나 슬라이스 헤더가 에러인 경우에 미공지로서 고려될 수도 있다. 액세스 유닛이 균일하게 코딩되는 경우에, 타입 x의 슬라이스에는 슬라이스가 속하는 액세스 유닛의 코딩 타입에 따라 5, 6, 또는 7의 슬라이스 타입이 할당되기 때문에, 타입 x의 슬라이스가 비균일 액세스 유닛에서 슬라이스를 표현하기 위해 대부분 사용된다. 이들 상이한 타입의 슬라이스는 에러 은폐 방법의 논의 전반적으로 사용될 것이다.
도 2는 에러 은폐의 방법의 일 예를 도시하는 플로우차트이다. 이러한 예에서, 특정한 은폐 작업에 양호하게 적합한 에러 은폐 방식을 복수의 에러 은폐 방식으로부터 선택하여 이를 적용하는 방법을 설명한다.
이 선택 동작은 인커밍 멀티미디어 비트스트림의 에러 분포 정보에 기초할 수도 있다. 인커밍 멀티미디어 비트스트림은 에러 분포 정보를 포함할 수도 있 다. 예를 들어, 에러 분포 정보는 에러 은폐 동작을 보조하기 위해 이전의 프로세스에서 디코더에 의해 프로세싱되고 상이한 형태에서 비트스트림으로 잠재적으로 재삽입될 수도 있다. 특정 실시형태에서, 에러 분포 정보는 디코더가 수행하도록 구성되는 다중 층 프로토콜로부터 생성된다.
또 다른 방법으로는, 인커밍 멀티미디어 비트스트림은 에러 분포 정보를 포함하지 않을 수도 있다. 이러한 경우에서, 본 명세서에 설명한 에러 은폐 방법은 멀티미디어 비트스트림의 에러 분포 정보를 획득하는 단계를 더 포함할 수도 있다. 또한, 일부 경우에서, 에러 은폐 방법은 인커밍 멀티미디어 비트스트림의 엘리먼트에 대한 신택스 (syntax) 및 시맨틱 (semantic) 체크, 동적-범위 체크에 기초하는 에러 검출 제공을 더 포함할 수도 있다.
예를 들어, 에러 분포 정보의 획득은 프로세싱하에서 현재의 프레임의 매크로블록 타입 및 슬라이스-타입을 트랙킹하는 매크로블록-타입 및 슬라이스-타입 맵의 생성을 포함할 수도 있다. 또 다른 예에서, 에러 분포 정보의 획득은 프로세싱하에서 현재의 프레임에 대한 정확하게 디코딩된 에러 매크로블록의 위치를 포함하는 맵의 생성을 포함할 수도 있다. 에러 매크로블록이 검출될 때, 인커밍 멀티미디어 비트스트림에서의 에러 매크로블록으로부터 다음의 재동기화 포인트까지의 매크로블록은 에러 매크로블록으로서 마킹된다.
도 2의 예시적인 방법에서 사용된 에러 은폐 방식은, 공간 에러 은폐 (SEC), 시간 에러 은폐 (TEC), 또는 프레임 레이트 업 컨버전 (FRUC) 로서 분류될 수도 있다. FRUC는 이미 디코딩된 이상이 없는 시간적으로 이웃하는 레퍼런스 프레임 으로부터의 모션 정보를 사용하고 에러 프레임을 은폐하기 위해 보간된 프레임을 구성하는 모션 보상된 보간 기술이다. FRUC는, 전체 프레임이 에러 (프레임 헤더가 복구할 수 없을 정도로 손상되거나, 프레임 페이로드 비트스트림 모두가 분실됨) 이거나, 프레임내의 에러 영역이 소정의 임계치를 넘을 때 적용될 수도 있다. 이러한 환경하에서, 유용한 공간 상관이 존재하지 않고, 즉, 공간적으로 상관된 데이터가 없거나 상관된 데이터는 너무 적어서 공간 상관은 대부분의 에러 영역상의 에러 은폐 목적을 위해 신뢰할 수 없다. 따라서, 시간 상관이 더욱 신뢰가능할 수도 있다. FRUC는 프레임-레벨 시간 상관을 활용할 수도 있기 때문에 이러한 경우에 대해 선택된다.
공간 에러 은폐 (SEC) 는 인트라, 예측 및 보간된 슬라이스를 은폐하기 위해 동일한 프레임에서의 이상이 없는 공간적 이웃 (neighbor) 으로부터의 정보 (예를 들어, 휘도, 컬러 및 방향성) 를 사용한다. SEC는, 공간 상관이 이러한 경우에 가장 신뢰가능하며 최상으로 적합하기 때문에, 에러 슬라이스 또는 매크로블록이 신 (scene) 변화 (또는 샷 (shot) 경계) 프레임 또는 순간 디코딩 리프레시 (IDR) 프레임에 있을 때 적용될 수도 있다. SEC는 또한, P-프레임 또는 B-프레임에서도, 신규한 컨텐츠를 갖는 신규한 오브젝트 또는 세그먼트가 프레임내에서 검출되고 에러 매크로블록 또는 슬라이스가 신규한 컨텐츠를 갖는 신규한 오브젝트 또는 세그먼트내에 있거나 이와 오버랩하는 경우에 적용된다. SEC는 신규한 오브젝트 또는 컨텐츠가 없는 경우에 적용될 수도 있지만, 회전 모션, 오브젝트의 변형, 연식 (non-rigid) 바디, 줌인 및 줌아웃과 같은 복잡한 로컬 또는 글로벌 모션으로 인해, 병진 모션 보상된 예측이 실패한다. 디코더는, 에러 매크로블록의 이웃이 다른 경우에서는 인터-코딩된 슬라이스 (P-슬라이스 또는 B-슬라이스) 또는 인터-프레임 (P-프레임 또는 B-프레임) 에서 모든 I-타입 매크로블록일 때 에러 매크로블록 또는 슬라이스가 신규한 컨텐츠를 갖는 신규한 오브젝트 또는 세그먼트내에 있거나 이와 오버래핑한다는 것을 결정할 수도 있다.
시간 에러 은폐 (TEC) 는 에러 매크로블록을 은폐하기 위해 동일한 프레임 및 이미 디코딩된 이웃하는 레퍼런스 프레임에서의 이상이 없는 공간적 이웃으로부터의 모션 정보를 사용한다. TEC는 P-프레임용 TEC (TEC_P) 및 B-프레임용 TEC (TEC_B) 로 더 파티셔닝될 수도 있다.
인터-프레임 (P-프레임 및 B-프레임) 또는 넌-신 (non-scene) 변화, 넌-IDR I-프레임에서의 에러 매크로블록에 대해, 에러 은폐 목적을 위해 이용가능한 시간 및 공간 상관 모두가 존재한다. TEC_P, TEC_B 또는 SEC는 이웃하는 시간 상관 및 공간 상관의 지배적 요인 (domination factor) 에 따라 은폐 툴로서 동적으로 선택될 수도 있다. 예를 들어, 넌-신 변화 I-프레임에 대해, 그것의 시간 상관은 그것의 이전의 P-프레임 또는 B-프레임의 모션 필드로부터 유도될 수도 있다. 유도된 시간 상관이 I-프레임내의 이용가능한 이상이 없는 이웃하는 I-매크로블록의 공간 상관 보다 더욱 신뢰가능한 것으로 고려되거나 에러 데이터의 범위가 대부분의 로스트 영역에 걸쳐 매우 약한 공간 상관을 초래하는 임계값 보다 큰 경우에, 은폐 툴로서 TEC_P가 SEC 에 우선하여 선택된다. 예를 들어, 이전의 P-레퍼런스 프레임이 정확하게 디코딩되며, P-프레임과 현재의 I-프레임 사이의 모션 필드 는 평활하면, 시간 상관이 공간 상관 보다 더욱 신뢰가능한 것으로 고려된다.
따라서, 에러 은폐 방식의 선택 기준이 도 2의 예시적인 방법에서 설명된다. 이 방법은 블록 204로 시작하고, 여기서, 디코더는 초 당 프레임 (FPS) 으로 측정된 현재의 프레임 레이트가 수반하는 신 변화없이 변화하는지 여부 또는 에러 물리층 패킷 (PLP) 레이트가 임계 (TH) 값 이상인지 여부를 결정한다. 이러한 정보는 인커밍 멀티미디어 비트스트림, 예를 들어, 거기에 수록된 에러 분포 정보로부터 이용가능할 수도 있다. 현재의 프레임 레이트는, 낮은 프레임 레이트에서 렌더링을 충족시키기 위해 컨텐츠가 정정가능할 때 프레임 레이트 변화가 대역폭 제어를 위해 도입될 때 수반하는 신 변화없이 변화한다. 이 경우에서, FRUC가 적용된다. 따라서, FPS가 수반하는 신 변화없이 변화하거나 에러 PLP 레이트가 TH 이상인 경우에, FRUC가 선택되고 (206), 에러 매크로블록 또는 에러 슬라이스에 적용된다. FRUC는, 프레임 갭이 검출되는 경우, 예를 들어, 전체 프레임이 로스트되는 경우에, 현재의 프레임 레이트가 변화하지 않아도 선택될 수도 있다 (206).
그렇지 않으면, 디코더는 현재의 슬라이스, 즉, 에러 매크로블록이 속하는 슬라이스의 타입이 타입 7인지를 체크한다 (208). 도 1에 도시한 바와 같이, 슬라이스 타입 7은 신 변화 프레임에서의 슬라이스일 수도 있는, 균일한 액세스 유닛에서의 I-슬라이스를 나타낸다. 슬라이스가 균일한 액세스 유닛에서의 I-슬라이스인 경우에, SEC가 선택되고 (210), 에러 매크로블록 또는 에러 슬라이스에 적용된다.
그렇지 않으면, 디코더는 현재의 슬라이스의 타입이 타입 5인지를 체크한다 (212). 도 1에 도시한 바와 같이, 슬라이스 타입 5는 균일한 액세스 유닛에서의 P-슬라이스를 나타낸다. 슬라이스가 균일한 액세스 유닛에서의 P-슬라이스인 경우에, TEC_P가 선택되고 (214), 에러 매크로블록 또는 에러 슬라이스에 적용된다.
그렇지 않으면, 디코더는 현재의 슬라이스의 타입이 타입 6인지를 체크한다 (216). 도 1에 도시한 바와 같이, 슬라이스 타입 번호 6은 균일한 액세스 유닛에서의 B-슬라이스를 나타낸다. 슬라이스가 균일한 액세스 유닛에서의 B-슬라이스인 경우에, TEC_B가 선택되고 (218), 에러 매크로블록 또는 에러 슬라이스에 적용된다.
그렇지 않으면, 디코더는 비균일하게 코딩된 비디오 액세스 유닛에서의 슬라이스에 대한 에러 은폐를 수행한다. 비균일하게 코딩된 비디오 액세스 유닛에 대한 에러 은폐의 상세는 도 3에 더욱 상세히 설명될 것이다.
이러한 플로우차트에 예시된 블록들중 어느 하나가 생략되고, 순서가 재배열되거나, 하나 이상의 다른 블록과 결합될 수도 있다. 예를 들어, 디코더는 현재의 슬라이스의 타입을 동시에 체크 및 결정할 수도 있다. 디코더는 또한 현재의 슬라이스가 예를 들어, 타입 7 이전에 타입 5인지를 체크할 수도 있다.
도 3은 도 2의 블록 220에서 사용될 수도 있는 비균일하게 코딩된 비디오 액세스 유닛에 대한 예시적인 에러 은폐 방법을 도시하는 플로우차트이다. 이 방법은 블록 2202에서 시작하고, 여기서, 디코더는, 에러 매크로블록이 속하는 현재 의 슬라이스의 타입이 2 (잠재적 비균일 액세스 유닛에서의 I-슬라이스) 또는 x (잠재적 비균일 액세스 유닛에서의 슬라이스의 미공지 타입) 인지를 체크한다. 슬라이스가 잠재적 비균일 액세스 유닛에서의 I-슬라이스 또는 슬라이스의 미공지 타입 둘 다 아닌 경우에, 이 방법은 후술하는 블록 2220으로 이동한다.
그렇지 않으면, 디코더는 현재의 슬라이스의 타입이 x인지를 체크한다 (2204). 슬라이스가 타입 x인 경우에, 디코더는 현재의 슬라이스의 타입을 결정한다 (2206). 슬라이스 타입 결정은, 인과 (causal) 및 비인과 (non-causal) 모두인, 시간적으로 이웃하는 프레임으로부터 공동 위치된 슬라이스를 포함하는, 이용가능한 공간적 및/또는 시간적 이웃하는 슬라이스 타입에 기초한다. 상부 및 저부의 공간적으로 이웃하는 슬라이스 모두가 존재하고 모두가 타입 2 (잠재적으로 비균일하게 코딩된 액세스 유닛에서의 I-슬라이스) 인 경우 또는 이들 공간적으로 이웃하는 슬라이스들 중 하나만이 존재하고 이것이 타입 2인 경우에, 현재의 슬라이스에는 타입 2가 할당된다. 상부 및 저부의 공간적으로 이웃하는 슬라이스 모두가 존재하고 이들 슬라이스들 중 하나만이 타입 2인 경우, 또는 이들 공간적으로 이웃하는 슬라이스들 중 하나만이 존재하고 이것이 타입 2가 아닌 경우에, 현재의 슬라이스의 타입 결정은 또 다른 정보에 기초하여 이루어진다.
일 실시형태에서, 또 다른 정보가 모션 벡터 필드 및 시간적으로 이웃하는 액세스 유닛의 슬라이스 타입 및 현재의 비디오 액세스 유닛의 모션 벡터 필드의 구조 및 값을 포함한다. 일 실시형태에서, 이러한 정보에 기초하여, 디코더는 스크롤 또는 팬과 같은 글로벌 균일 모션을 추정하고 현재의 슬라이스에 2의 슬라 이스 타입을 할당한다.
이웃하는 슬라이스가 모두 존재하고 모두가 타입 0인 경우에, 현재의 슬라이스 타입에는 타입 0 (잠재적으로 비균일하게 코딩된 액세스 유닛에서의 P-슬라이스) 이 할당되고, 그렇지 않으면, 현재의 슬라이스에는 타입 1 (잠재적으로 비균일하게 코딩된 액세스 유닛에서의 B-슬라이스) 이 할당된다.
디코더가 현재의 슬라이스의 타입이 2가 아니다는 것을 체크 (2208) 하여 결정한 경우에, 이 방법은 후술하는 블록 2220으로 이동한다.
현재의 슬라이스의 타입이 2 또는 x인 경우에, 디코더는 현재의 프레임에서 실질적인 채널 스위치 이벤트가 존재하는지, 즉, 에러 매크로블록이 속하는 프레임이 신규하게 동조된 채널로부터 획득된 첫번째 프레임이거나 처음의 수개의 프레임들중에 있는지를 결정한다 (2210). 채널 스위치는 예를 들어, 사용자가 채널의 스위치를 선택할 때 트리거링된다. 디코더는 예를 들어, 채널 스위치 플래그가 설정되었는지를 알기 위해 인커밍 멀티미디어 비트스트림을 체크함으로써 실질적인 채널 스위치가 존재하는지를 결정할 수도 있다. 또 다른 방법으로는, 디코더는 사용자의 선택에 응답하여 '실질적 채널 스위치' 신호를 수신할 수도 있다.
채널 스위치가 존재하면, 디코더는 현재의 프레임이 화상의 획득 그룹 (또는 획득 GOP) 이라 칭하는 프레임의 시리즈에 속하는지를 결정한다 (2212). 획득 GOP 는 각각이 인트라-코딩된 영역을 더 포함할 수도 있는 시간적으로 예측된 프레임 (P-프레임 및 B-프레임) 을 포함한다. 획득 GOP내의 인트라-코딩된 영역은 전체 I-프레임을 형성하기 위해 누적 및 결합될 수도 있다. 획득 GOP는 멀티미 디어 비트스트림에 대한 랜덤 액세스 포인트로서 사용될 수도 있다. 디코더는 예를 들어, 획득 GOP 플래그가 설정되었는지를 알기 위해 인커밍 멀티미디어 비트스트림을 체크함으로써 현재의 프레임이 획득 GOP에 속하는지를 결정할 수도 있다. 현재의 프레임이 획득 GOP에 속하는 경우에, SEC가 선택되고 (2214), 에러 매크로블록 또는 에러 슬라이스에 적용된다.
채널 스위치가 존재하지 않거나 현재의 프레임이 획득 GOP에 속하지 않는 경우에, 디코더는 신규한 오브젝트 또는 신규한 컨텐츠가 현재의 슬라이스내에서 검출되는지를 결정한다 (2216). 현재의 매크로블록은, 신규한 오브젝트 또는 신규한 컨텐츠가 현재의 슬라이스내에서 검출되는 경우에 신규한 오브젝트 또는 신규한 컨텐츠내에 위치되거나 그와 오버래핑할 수도 있다. 이 경우에서, SEC가 선택될 수도 있다. 디코더는, 이웃하는 슬라이스내의 이웃하는 매크로블록 타입 뿐만 아니라 이웃하는 슬라이스의 슬라이스 타입을 검사함으로써, 신규한 오브젝트 또는 신규한 컨텐츠가 현재의 슬라이스내에 존재하는지를 결정한다. 상부 및 저부의 이웃하는 슬라이스 모두가 I-슬라이스인 경우에, 신규한 오브젝트 또는 신규한 컨텐츠가 현재의 슬라이스내에서 선언된다. 상부 및 저부의 이웃하는 슬라이스중 하나 또는 둘 모두가 I-슬라이스가 아닌 경우에, 신규한 오브젝트 또는 신규한 컨텐츠는 현재의 슬라이스내에서 선언되지 않는다. 다른 실시형태에서, 상부 또는 저부의 이웃하는 슬라이스중 하나가 I-슬라이스인 경우에, 신규한 오브젝트 또는 신규한 컨텐츠가 선언되는지의 결정은, 슬라이스 및 매크로블록 코딩 타입 뿐만 아니라 현재 및 이웃하는 프레임의 모션 벡터 필드의 분석과 같은 추가 정 보에 기초할 수도 있다. 신규한 오브젝트 또는 신규한 컨텐츠가 검출되는 경우에, SEC가 선택되고 (2218), 에러 매크로블록 또는 에러 슬라이스에 적용된다.
그렇지 않으면, 슬라이스 타입이 2 또는 x가 아니거나, 신규한 오브젝트 또는 신규한 컨텐츠가 검출되지 않는 경우에, 에러 매크로블록 또는 에러 슬라이스의 은폐에 가능한 사용에 이용가능한 시간 및 공간 상관 모두가 존재한다. 이 경우에서, 디코더는 멀티미디어 비트스트림에 수록된 에러 분포 정보에 기초하여 시간적 이웃의 상관이 공간적 상관 보다 더욱 신뢰가능한지를 결정한다 (2220). 시간적 상관이 더욱 신뢰가능한 경우에, TEC가 선택되고 (2224), 에러 매크로블록 또는 에러 슬라이스에 적용된다. 그렇지 않으면, SEC가 선택되고 (2222), 에러 매크로블록 또는 에러 슬라이스에 적용된다.
이러한 플로우차트에 도시된 블록중 어느 하나가 생략되고, 순서가 재배열되거나, 하나 이상의 다른 블록과 결합될 수도 있다.
도 4는 에러를 가지고 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법의 또 다른 예를 예시하는 플로우차트이다. 이 방법은 블록 402로 시작하고, 여기서, 제 1 섹션에 대응하는 에러 분포 정보가 획득된다. 다음으로 블록 404에서, 복수의 에러 복구 방식중 하나가 에러 분포 정보에 기초하여 멀티미디어 데이터의 제 1 섹션에 적용된다. 적용 (404) 은 특정한 은폐 작업에 대해 더욱 적합한 복수의 에러 복구 방식중 하나를 선택하고, 그 후 그에 따라 에러 섹션을 프로세싱하는 것을 포함할 수도 있다. 이들 블록의 동작은 도 2-3에서의 상기 논의와 유사하다.
도 5는 에러를 가지고 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하도록 구성된 디코더의 예를 예시하는 블록도를 도시한다. 디코더는 획득 (또는 에러 검출) 모듈 (502) 및 적용 (또는 에러 처리) 모듈 (504) 을 포함한다. 획득 모듈 (502) 은 수신된 제 1 섹션에 대응하는 에러 분포 정보를 획득하도록 구성된다. 적용 모듈 (504) 은 에러 분포 정보에 기초하여 멀티미디어 데이터의 수신된 제 1 섹션에 복수의 에러 복구 방식중 하나를 적용하도록 구성된다. 적용 모듈 (504) 은 또한, 특정한 은폐 방식을 선택하고 그에 따라 수신된 에러 섹션을 프로세싱할 수도 있다.
도 6은 인커밍 멀티미디어 데이터 스트림 (미도시) 을 디코딩하도록 구성된 디코더의 예를 예시하는 블록도를 도시한다. 디코더 디바이스 (600) 는 수신기 (602) 및 에러 은폐기 (604) 를 포함할 수도 있다. 디코더 디바이스 (600) 는 예시적이고, 저장 매체 (606) 및 프로세서 (608) 와 같은 추가 엘리먼트를 포함할 수도 있다.
저장 매체 (606) 는 고체 상태 또는 디스크 기반 저장부중 하나 이상을 포함하는 메모리일 수도 있다. 프로세서 (608) 는 범용 프로세서 또는 디지털 신호 프로세서 중 하나 이상을 포함할 수도 있다. 프로세서 (608) 는 임의의 적합한 범용의 단일 또는 멀티-칩 마이크로프로세서이거나, 디지털 신호 프로세서, 마이크로제어기, 또는 프로그램가능한 게이트 어레이와 같은 임의의 적합한 특수 목적 마이크로프로세서일 수도 있다. 프로세서 (608) 는 디코더 (600) 의 다른 구성요소의 동작을 제어하기 위해 하나 이상의 소프트웨어 애플리케이션을 실행하도록 구 성된다. 프로세서 (608) 는 또한, 데이터를 판독 및 세이브하기 위해 메모리 (606) 에 액세스하도록 구성된다.
수신기 (602) 는 멀티미디어 데이터를 수신하도록 구성된다. 멀티미디어 데이터는 에러상태의 섹션을 가질 수도 있다. 따라서, 수신기 (602) 는 에러상태의 제 1 섹션을 갖는 멀티미디어 데이터를 수신할 수도 있다. 에러 은폐기 (604) 는 제 1 섹션에 대응하는 에러 분포 정보에 기초하여 멀티미디어 데이터의 제 1 섹션에 복수의 에러 복구 방식중 하나를 적용하도록 구성된다.
디코더 디바이스 (600) 는 제 1 섹션에 대응하는 에러 분포 정보를 획득하도록 구성된 획득 모듈 (610) 을 선택적으로 포함할 수도 있다. 또 다른 방법으로는, 에러 은폐기 (604) 는 제 1 섹션에 대응하는 에러 분포 정보를 획득하도록 더 구성될 수도 있다.
에러 은폐기 (604) 는, 제 1 섹션을 포함하는 제 1 액세스 유닛이 균일하게 코딩되는지에 적어도 기초하고, 채널 스위치가 검출되는지에 적어도 기초하고, 신규한 오브젝트가 검출되는지에 적어도 기초하거나, 그리고 제 1 섹션이 균일하게 코딩된 슬라이스 또는 비균일하게 코딩된 슬라이스를 포함하는지에 적어도 기초하여 복수의 에러 복구 방식중 하나를 적용할 수도 있다. 에러 은폐기 (604) 는, 제 1 섹션을 포함하는 액세스 유닛내의 모든 데이터에 대한 에러 데이터의 비율이 소정의 임계값 이상인 경우에 제 1 섹션에 대핸 프레임 레이트 업 컨버전을 적용할 수도 있다. 에러 은폐기 (604) 는, 제 1 섹션이 신규한 오브젝트 내부에 있는 경우에 제 1 섹션에 대해 공간 에러 은폐를 적용할 수도 있다. 에러 은폐기 (604) 는, 제 1 섹션을 포함하는 액세스 유닛이 I-프레임이고, 이 I-프레임이 신-변화 프레임이 아닌 경우에, 제 1 섹션에 대해 시간 에러 은폐를 적용할 수도 있다.
또한, 일부 실시형태에서, 에러 은폐기는 도 7에 도시되어 있는 바와 같이, 선택 모듈 (705) 및 프로세싱 모듈 (710) 을 포함할 수도 있다. 선택 모듈은 제 1 섹션에 대한 에러 분포 정보에 기초하여 복수의 에러 복구 방식중 하나를 선택하도록 구성되며, 프로세싱 모듈 (710) 은 선택된 에러 복구 방식에 기초하여 제 1 섹션을 프로세싱하도록 구성된다. 상술한 바와 같이, 복수의 에러 복구 방식은 공간 에러 은폐, 프레임 레이트 업 컨버전, P-프레임에 대한 시간 에러 은폐, 및 B-프레임에 대한 시간 에러 은폐중 하나 또는 그 조합을 포함할 수도 있다.
선택 모듈 (705) 이 구현되는 경우에, 선택 모듈 (705) 은 제 1 섹션을 포함하는 제 1 액세스 유닛이 균일하게 코딩되었는지 여부, 채널 스위치가 검출되었는지 여부, 신규한 오브젝트가 검출되었는지 여부 및/또는 제 1 섹션이 균일하게 코딩된 슬라이스 또는 비균일하게 코딩된 슬라이스를 포함하는지 여부에 적어도 기초하여 복수의 에러 복구 방식중 하나를 선택하도록 구성될 수도 있다. 유사하게는, 선택 모듈 (705) 은, 제 1 섹션을 포함하는 액세스 유닛내의 모든 데이터에 대한 에러 데이터의 비율이 소정의 임계값 이상인 경우에는 제 1 섹션에 대한 프레임 레이트 업 컨버전을 선택하고, 제 1 섹션이 신규한 오브젝트 내부에 있는 경우에는 제 1 섹션에 대한 공간 에러 은폐를 선택하고, 제 1 섹션을 포함하는 액세스 유닛이 I-프레임이고 그 I-프레임이 신-변화 프레임이 아닌 경우에는 제 1 섹션에 대한 시간 에러 은폐를 선택하도록 구성될 수도 있다.
따라서, 에러 은폐기 (604) 는 인커밍 멀티미디어 데이터의 에러 은폐를 수행하도록 구성된다. 에러 은폐기 (604) 는 도 2-4와 관련하여 상술한 바와 같은 적절한 에러 은폐 방식을 선택하는 방법에 기초하여 에러 은폐를 수행하도록 구성될 수도 있다. 일부 실시형태에서, 에러 은폐기 (604) 의 일부 또는 전부는 프로세서 (608) 에 의해 수행될 수도 있다.
도 6에 예시된 바와 같은 기능 블록중 어느 하나가 디코더의 기능을 변화시키지 않고 재배열, 제거, 또는 하나 이상의 다른 블록과 결합될 수도 있다. 예를 들어, 에러 은폐기 (604) 는 프로세서 (608) 와 결합될 수도 있다.
일부 실시형태에서, 에러를 가지고 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 장치가 제공된다. 이 장치는 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 수단 및 에러 분포 정보에 기초하여 멀티미디어 데이터의 제 1 섹션에 복수의 에러 복구 방식중 하나를 적용하는 수단을 포함한다. 에러 분포 정보를 획득하는 수단은 획득 모듈 (502) 을 포함할 수도 있다. 에러 복구 기술을 적용하는 수단은 적용 모듈 (504) 을 포함할 수도 있다. 일 예에서, 적용 수단은 제 1 섹션에 대한 에러 분포 정보에 기초하여 복수의 에러 복구 방식중 하나를 선택하는 수단 및 선택된 에러 복구 방식에 기초하여 제 1 섹션을 프로세싱하는 수단을 더 포함할 수도 있다. 제 1 섹션에 대한 에러 분포 정보에 기초하여 복수의 에러 복구 방식중 하나를 선택하는 수단 및 선택된 에러 복구 방식에 기초하여 제 1 섹션을 프로세싱하는 수단은 적용 모듈 (504) 을 포함할 수도 있 다.
당업자는, 정보 및 신호가 임의의 다양한 상이한 기술용어 및 기술을 사용하여 표현될 수도 있다는 것을 이해할 것이다. 예를 들어, 상기 설명 전반적으로 참조될 수도 있는 데이터, 명령, 커맨드, 정보, 신호, 비트, 심볼, 및 칩이 전압, 전류, 전자기파, 자계 또는 파티클, 광학계 또는 파티클, 또는 이들의 임의의 조합으로 표현될 수도 있다.
당업자는 또한, 본 명세서에 개시된 예들과 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 및 알고리즘 단계가 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합으로서 구현될 수도 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호교환성을 명백하게 예시하기 위해, 다양한 예시적인 구성요소, 블록, 모듈, 회로, 및 단계가 그들의 기능성과 관련하여 일반적으로 상술되었다. 이러한 기능성이 하드웨어 또는 소프트웨어로서 구현될지는 특정 애플리케이션 및 전체 시스템상에 부과된 설계 제약에 의존한다. 당업자는 설명된 기능성을 각각의 특정 애플리케이션에 대한 변화 방식으로 구현할 수도 있지만, 이러한 구현 결정이 개시된 방법의 범위를 벗어나게 하는 것으로 해석되어서는 안된다.
본 명세서에 개시된 예들과 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 및 회로는, 범용 프로세스 디지털 신호 프로세서 (DSP), 응용 주문형 집적 회로 (ASIC), 필드 프로그램가능한 게이트 어레이 (FPGA), 또는 다른 프로그램가능한 로직 디바이스, 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 구성요소, 또는 본 명세서에 설명한 기능을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 또 다른 방법으로는, 이 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스의 조합, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합된 하나 이상의 마이크로프로세서, 또는 임의의 다른 이러한 구성으로서 구현될 수도 있다.
본 명세서에 개시된 예들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어, 프로세서에 의해 실행된 소프트웨어 모듈, 또는 이들의 조합에 직접 수록될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈식 디스크, CD-ROM, 또는 당업계에 공지된 저장 매체의 임의의 다른 형태에 상주할 수도 있다. 저장 매체가 프로세서에 커플링되어서, 이 프로세서는 저장 매체로부터 정보를 판독할 수도 있고, 저장 매체에 정보를 기록할 수도 있다. 또 다른 방법으로는, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 응용 주문형 집적 회로 (ASIC) 에 상주할 수도 있다. ASIC는 무선 모뎀에 상주할 수도 있다. 또 다른 방법으로는, 프로세서 및 저장 매체는 무선 모뎀의 개별 구성요소로서 상주할 수도 있다.
개시된 예들의 이전의 설명은 당업자가 개시된 방법 및 장치를 제조 또는 사용할 수 있게 하도록 제공된다. 이들 예들에 대한 다양한 변형이 당업자에게는 쉽게 명백할 것이며, 본 명세서에 개시된 원리가 다른 예들에 적용될 수도 있다.

Claims (65)

  1. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법으로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 선택 단계는, 상기 제 1 섹션을 포함하는 제 1 액세스 유닛이 균일하게 코딩되었는지 여부에 적어도 기초하는, 멀티미디어 데이터 프로세싱 방법.
  2. 제 1 항에 있어서,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 프레임을 포함하며,
    상기 획득 단계는, 정확하게 디코딩된 에러 섹션의 위치를 포함하는 맵을 생성하는 단계를 포함하는, 멀티미디어 데이터 프로세싱 방법.
  3. 제 1 항에 있어서,
    상기 복수의 에러 복구 방식은 공간 에러 은폐, 프레임 레이트 업 컨버전, P-프레임에 대한 시간 에러 은폐, 및 B-프레임에 대한 시간 에러 은폐를 포함하는, 멀티미디어 데이터 프로세싱 방법.
  4. 제 1 항에 있어서,
    상기 멀티미디어 데이터는 다중 층 프로토콜로부터 생성된 정보를 포함하는, 멀티미디어 데이터 프로세싱 방법.
  5. 삭제
  6. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법으로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 복수의 에러 복구 방식중 하나를 선택하는 단계는,
    프레임 레이트 변화가 신 (scene) 변화를 수반하지 않고 검출되거나, 에러 물리층 패키지의 퍼센티지가 임계값 보다 큰 경우에, 상기 제 1 섹션에 대해 프레임 레이트 업 컨버전을 선택하는 단계를 포함하는, 멀티미디어 데이터 프로세싱 방법.
  7. 삭제
  8. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법으로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 선택 단계는, 채널 스위치가 검출되었는지 여부에 적어도 기초하는, 멀티미디어 데이터 프로세싱 방법.
  9. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법으로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 선택 단계는, 신규한 오브젝트가 검출되었는지 여부에 적어도 기초하는, 멀티미디어 데이터 프로세싱 방법.
  10. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법으로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 복수의 에러 복구 방식중 하나를 선택하는 단계는,
    상기 제 1 섹션을 포함하는 액세스 유닛내의 모든 데이터에 대한 에러 데이터의 비율이 소정의 임계값 보다 큰 경우에, 상기 제 1 섹션에 대한 프레임 레이트 업 컨버전을 선택하는 단계를 포함하는, 멀티미디어 데이터 프로세싱 방법.
  11. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법으로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 복수의 에러 복구 방식중 하나를 선택하는 단계는,
    상기 제 1 섹션이 신규한 오브젝트 내부에 있는 경우에, 상기 제 1 섹션에 대해 공간 에러 은폐를 선택하는 단계를 포함하는, 멀티미디어 데이터 프로세싱 방법.
  12. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법으로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 복수의 에러 복구 방식중 하나를 선택하는 단계는,
    상기 제 1 섹션을 포함하는 액세스 유닛이 I-프레임이며, 상기 I-프레임이 신-변화 (scene-change) 프레임이 아닌 경우에, 상기 제 1 섹션에 대해 시간 에러 은폐를 선택하는 단계를 포함하는, 멀티미디어 데이터 프로세싱 방법.
  13. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법으로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 선택 단계는, 상기 제 1 섹션이 균일하게 코딩된 슬라이스 또는 비균일하게 코딩된 슬라이스를 포함하는지 여부에 적어도 기초하는, 멀티미디어 데이터 프로세싱 방법.
  14. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 장치로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 수단;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 수단; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 수단을 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 선택은, 상기 제 1 섹션을 포함하는 제 1 액세스 유닛이 균일하게 코딩되었는지 여부에 적어도 기초하는, 멀티미디어 데이터 프로세싱 장치.
  15. 제 14 항에 있어서,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 프레임을 포함하며,
    상기 획득 수단은 정확하게 디코딩된 에러 섹션의 위치를 포함하는 맵을 생성하는 수단을 포함하는, 멀티미디어 데이터 프로세싱 장치.
  16. 제 14 항에 있어서,
    상기 복수의 에러 복구 방식은 공간 에러 은폐, 프레임 레이트 업 컨버전, P-프레임에 대한 시간 에러 은폐, 및 B-프레임에 대한 시간 에러 은폐를 포함하는, 멀티미디어 데이터 프로세싱 장치.
  17. 제 14 항에 있어서,
    상기 멀티미디어 데이터는 다중 층 프로토콜로부터 생성된 정보를 포함하는, 멀티미디어 데이터 프로세싱 장치.
  18. 삭제
  19. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 장치로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 수단;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 수단; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 수단을 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 슬라이스를 포함하는 복수의 액세스 유닛을 더 포함하고, 상기 슬라이스 각각은 복수의 섹션을 포함하며,
    상기 선택은, 상기 제 1 섹션을 포함하는 제 1 액세스 유닛이 균일하게 코딩되었는지 여부에 적어도 기초하는, 멀티미디어 데이터 프로세싱 장치.
  20. 삭제
  21. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 장치로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 수단;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 수단; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 수단을 포함하고,
    상기 선택은, 채널 스위치가 검출되었는지 여부에 적어도 기초하는, 멀티미디어 데이터 프로세싱 장치.
  22. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 장치로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 수단;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 수단; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 수단을 포함하고,
    상기 선택은, 신규한 오브젝트가 검출되었는지 여부에 적어도 기초하는, 멀티미디어 데이터 프로세싱 장치.
  23. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 장치로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 수단;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 수단; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 수단을 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 제 1 섹션을 포함하는 액세스 유닛내의 모든 데이터에 대한 에러 데이터의 비율이 소정의 임계값 보다 큰 경우에, 레이트 업 컨버전이 상기 제 1 섹션에 대해 선택되는, 멀티미디어 데이터 프로세싱 장치.
  24. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 장치로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 수단;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 수단; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 수단을 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 제 1 섹션이 신규한 오브젝트 내부에 있는 경우에, 공간 에러 은폐가 상기 제 1 섹션에 대해 선택되는, 멀티미디어 데이터 프로세싱 장치.
  25. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 장치로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 수단;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 수단; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 수단을 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 제 1 섹션을 포함하는 액세스 유닛이 I-프레임이고, 상기 I-프레임이 신-변화 (scene-change) 프레임이 아닌 경우에, 시간 에러 은폐가 상기 제 1 섹션에 대해 선택되는, 멀티미디어 데이터 프로세싱 장치.
  26. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 장치로서,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 수단;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 수단; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 수단을 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 선택은, 상기 제 1 섹션이 균일하게 코딩된 슬라이스 또는 비균일하게 코딩된 슬라이스를 포함하는지 여부에 적어도 기초하는, 멀티미디어 데이터 프로세싱 장치.
  27. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법을 수행하도록 구성된 프로세서로서, 상기 방법은,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 선택 단계는, 상기 제 1 섹션을 포함하는 제 1 액세스 유닛이 균일하게 코딩되었는지 여부에 적어도 기초하는, 프로세서.
  28. 제 27 항에 있어서,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 프레임을 포함하며,
    상기 획득 단계는, 정확하게 디코딩된 에러 섹션의 위치를 포함하는 맵을 생성하는 단계를 포함하는, 프로세서.
  29. 제 27 항에 있어서,
    상기 복수의 에러 복구 방식은 공간 에러 은폐, 프레임 레이트 업 컨버전, P-프레임에 대한 시간 에러 은폐, 및 B-프레임에 대한 시간 에러 은폐를 포함하는, 프로세서.
  30. 제 27 항에 있어서,
    상기 멀티미디어 데이터는 다중 층 프로토콜로부터 생성된 정보를 포함하는, 프로세서.
  31. 삭제
  32. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법을 수행하도록 구성된 프로세서로서, 상기 방법은,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 복수의 에러 복구 방식중 하나를 선택하는 단계는,
    프레임 레이트 변화가 신 (scene) 변화를 수반하지 않고 검출되거나, 에러 물리층 패키지의 퍼센티지가 임계값 보다 큰 경우에, 상기 제 1 섹션에 대해 프레임 레이트 업 컨버전을 선택하는 단계를 포함하는, 프로세서.
  33. 삭제
  34. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법을 수행하도록 구성된 프로세서로서, 상기 방법은,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 선택 단계는, 채널 스위치가 검출되었는지 여부에 적어도 기초하는, 프로세서.
  35. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법을 수행하도록 구성된 프로세서로서, 상기 방법은,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 선택 단계는, 신규한 오브젝트가 검출되었는지 여부에 적어도 기초하는, 프로세서.
  36. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법을 수행하도록 구성된 프로세서로서, 상기 방법은,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 복수의 에러 복구 방식중 하나를 선택하는 단계는,
    상기 제 1 섹션을 포함하는 액세스 유닛내의 모든 데이터에 대한 에러 데이터의 비율이 소정의 임계값 보다 큰 경우에, 상기 제 1 섹션에 대해 프레임 레이트 업 컨버전을 선택하는 단계를 포함하는, 프로세서.
  37. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법을 수행하도록 구성된 프로세서로서, 상기 방법은,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 복수의 에러 복구 방식중 하나를 선택하는 단계는,
    상기 제 1 섹션이 신규한 오브젝트 내부에 있는 경우에, 상기 제 1 섹션에 대해 공간 에러 은폐를 선택하는 단계를 포함하는, 프로세서.
  38. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법을 수행하도록 구성된 프로세서로서, 상기 방법은,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 복수의 에러 복구 방식중 하나를 선택하는 단계는,
    상기 제 1 섹션을 포함하는 액세스 유닛이 I-프레임이고, 상기 I-프레임이 신-변화 (scene-change) 프레임이 아닌 경우에, 상기 제 1 섹션에 대해 시간 에러 은폐를 선택하는 단계를 포함하는, 프로세서.
  39. 에러상태로 수신된 제 1 섹션을 포함하는 멀티미디어 데이터를 프로세싱하는 방법을 수행하도록 구성된 프로세서로서, 상기 방법은,
    상기 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 선택 단계는, 상기 제 1 섹션이 균일하게 코딩된 슬라이스 또는 비균일하게 코딩된 슬라이스를 포함하는지 여부에 적어도 기초하는, 프로세서.
  40. 컴퓨터로 하여금 방법을 수행하게 하는 수단을 수록한 컴퓨터-판독가능 매체로서, 상기 방법은,
    멀티미디어 데이터의 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보를 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 선택 단계는, 상기 제 1 섹션을 포함하는 제 1 액세스 유닛이 균일하게 코딩되었는지 여부에 적어도 기초하는, 컴퓨터-판독가능 매체.
  41. 제 40 항에 있어서,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 프레임을 포함하며,
    상기 획득 단계는, 정확하게 디코딩된 에러 섹션의 위치를 포함하는 맵을 생성하는 단계를 포함하는, 컴퓨터-판독가능 매체.
  42. 제 40 항에 있어서,
    상기 복수의 에러 복구 방식은 공간 에러 은폐, 프레임 레이트 업 컨버전, P-프레임에 대한 시간 에러 은폐, 및 B-프레임에 대한 시간 에러 은폐를 포함하는, 컴퓨터-판독가능 매체.
  43. 제 40 항에 있어서,
    상기 멀티미디어 데이터는 다중 층 프로토콜로부터 생성된 정보를 포함하는, 컴퓨터-판독가능 매체.
  44. 삭제
  45. 컴퓨터로 하여금 방법을 수행하게 하는 수단을 수록한 컴퓨터-판독가능 매체로서, 상기 방법은,
    제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보를 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 복수의 에러 복구 방식중 하나를 선택하는 단계는,
    프레임 레이트 변화가 신 (scene) 변화를 수반하지 않고 검출되거나, 에러 물리층 패키지의 퍼센티지가 임계값 보다 큰 경우에, 상기 제 1 섹션에 대해 프레임 레이트 업 컨버전을 선택하는 단계를 포함하는, 컴퓨터-판독가능 매체.
  46. 삭제
  47. 컴퓨터로 하여금 방법을 수행하게 하는 수단을 수록한 컴퓨터-판독가능 매체로서, 상기 방법은,
    제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보를 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 선택 단계는, 채널 스위치가 검출되었는지 여부에 적어도 기초하는, 컴퓨터-판독가능 매체.
  48. 컴퓨터로 하여금 방법을 수행하게 하는 수단을 수록한 컴퓨터-판독가능 매체로서, 상기 방법은,
    제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보를 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 선택 단계는, 신규한 오브젝트가 검출되었는지 여부에 적어도 기초하는, 컴퓨터-판독가능 매체.
  49. 컴퓨터로 하여금 방법을 수행하게 하는 수단을 수록한 컴퓨터-판독가능 매체로서, 상기 방법은,
    멀티미디어 데이터의 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보를 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 복수의 에러 복구 방식중 하나를 선택하는 단계는,
    상기 제 1 섹션을 포함하는 액세스 유닛내의 모든 데이터에 대한 에러 데이터의 비율이 소정의 임계값 보다 큰 경우에, 상기 제 1 섹션에 대해 프레임 레이트 업 컨버전을 선택하는 단계를 포함하는, 컴퓨터-판독가능 매체.
  50. 컴퓨터로 하여금 방법을 수행하게 하는 수단을 수록한 컴퓨터-판독가능 매체로서, 상기 방법은,
    멀티미디어 데이터의 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보를 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 복수의 에러 복구 방식중 하나를 선택하는 단계는,
    상기 제 1 섹션이 신규한 오브젝트 내부에 있는 경우에, 상기 제 1 섹션에 대해 공간 에러 은폐를 선택하는 단계를 포함하는, 컴퓨터-판독가능 매체.
  51. 컴퓨터로 하여금 방법을 수행하게 하는 수단을 수록한 컴퓨터-판독가능 매체로서, 상기 방법은,
    멀티미디어 데이터의 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보를 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 복수의 에러 복구 방식중 하나를 선택하는 단계는,
    상기 제 1 섹션을 포함하는 액세스 유닛이 I-프레임이고, 상기 I-프레임이 신-변화 (scene-change) 프레임이 아닌 경우에, 상기 제 1 섹션에 대해 시간 에러 은폐를 선택하는 단계를 포함하는, 컴퓨터-판독가능 매체.
  52. 컴퓨터로 하여금 방법을 수행하게 하는 수단을 수록한 컴퓨터-판독가능 매체로서, 상기 방법은,
    멀티미디어 데이터의 제 1 섹션에 대응하는 에러 분포 정보를 획득하는 단계;
    상기 제 1 섹션에 대한 상기 에러 분포 정보를 기초하여 복수의 에러 복구 방식 중 하나를 선택하는 단계; 및
    상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하는 단계를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 선택 단계는, 상기 제 1 섹션이 균일하게 코딩된 슬라이스 또는 비균일하게 코딩된 슬라이스를 포함하는지 여부에 적어도 기초하는, 컴퓨터-판독가능 매체.
  53. 에러상태로 수신된 제 1 섹션을 갖는 멀티미디어 데이터를 수신하도록 구성된 수신기; 및
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 방식 중 하나를 선택하도록 구성된 선택 모듈, 및 상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하도록 구성된 프로세싱 모듈을 포함하는, 에러 은폐기를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 슬라이스를 포함하는 복수의 액세스 유닛을 더 포함하고, 상기 슬라이스 각각은 복수의 섹션을 포함하며,
    상기 에러 은폐기는, 상기 제 1 섹션을 포함하는 제 1 액세스 유닛이 균일하게 코딩되었는지 여부에 적어도 기초하여 상기 복수의 에러 복구 방식 중 하나를 적용하도록 구성되는, 멀티미디어 데이터 프로세싱 장치.
  54. 제 53 항에 있어서,
    상기 제 1 섹션에 대응하는 상기 에러 분포 정보를 획득하도록 구성된 획득 모듈을 더 포함하는, 멀티미디어 데이터 프로세싱 장치.
  55. 제 53 항에 있어서,
    상기 에러 은폐기는 또한, 상기 제 1 섹션에 대응하는 상기 에러 분포 정보를 획득하도록 구성되는, 멀티미디어 데이터 프로세싱 장치.
  56. 제 53 항에 있어서,
    상기 멀티미디어 데이터는 다중 층 프로토콜로부터 생성된 정보를 포함하는, 멀티미디어 데이터 프로세싱 장치.
  57. 삭제
  58. 삭제
  59. 에러상태로 수신된 제 1 섹션을 갖는 멀티미디어 데이터를 수신하도록 구성된 수신기; 및
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 방식 중 하나를 선택하도록 구성된 선택 모듈, 및 상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하도록 구성된 프로세싱 모듈을 포함하는, 에러 은폐기를 포함하고,
    상기 에러 은폐기는, 채널 스위치가 검출되었는지 여부에 적어도 기초하여 상기 복수의 에러 복구 방식중 하나를 적용하도록 구성되는, 멀티미디어 데이터 프로세싱 장치.
  60. 에러상태로 수신된 제 1 섹션을 갖는 멀티미디어 데이터를 수신하도록 구성된 수신기; 및
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 방식 중 하나를 선택하도록 구성된 선택 모듈, 및 상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하도록 구성된 프로세싱 모듈을 포함하는, 에러 은폐기를 포함하고,
    상기 에러 은폐기는, 신규한 오브젝트가 검출되었는지 여부에 적어도 기초하여 상기 복수의 에러 복구 방식중 하나를 적용하도록 구성되는, 멀티미디어 데이터 프로세싱 장치.
  61. 에러상태로 수신된 제 1 섹션을 갖는 멀티미디어 데이터를 수신하도록 구성된 수신기; 및
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 방식 중 하나를 선택하도록 구성된 선택 모듈, 및 상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하도록 구성된 프로세싱 모듈을 포함하는, 에러 은폐기를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 에러 은폐기는, 상기 제 1 섹션을 포함하는 액세스 유닛내의 모든 데이터에 대한 에러 데이터의 비율이 소정의 임계값 보다 큰 경우에, 상기 제 1 섹션에 대해 프레임 레이트 업 컨버전을 적용하도록 구성되는, 멀티미디어 데이터 프로세싱 장치.
  62. 에러상태로 수신된 제 1 섹션을 갖는 멀티미디어 데이터를 수신하도록 구성된 수신기; 및
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 방식 중 하나를 선택하도록 구성된 선택 모듈, 및 상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하도록 구성된 프로세싱 모듈을 포함하는, 에러 은폐기를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 에러 은폐기는, 상기 제 1 섹션이 신규한 오브젝트 내부에 있는 경우에, 상기 제 1 섹션에 대해 공간 에러 은폐를 적용하도록 구성되는, 멀티미디어 데이터 프로세싱 장치.
  63. 에러상태로 수신된 제 1 섹션을 갖는 멀티미디어 데이터를 수신하도록 구성된 수신기; 및
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 방식 중 하나를 선택하도록 구성된 선택 모듈, 및 상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하도록 구성된 프로세싱 모듈을 포함하는, 에러 은폐기를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 에러 은폐기는, 상기 제 1 섹션을 포함하는 액세스 유닛이 I-프레임이고, 상기 I-프레임이 신-변화 (scene-change) 프레임이 아닌 경우에, 상기 제 1 섹션에 대해 시간 에러 은폐를 적용하도록 구성되는, 멀티미디어 데이터 프로세싱 장치.
  64. 에러상태로 수신된 제 1 섹션을 갖는 멀티미디어 데이터를 수신하도록 구성된 수신기; 및
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 방식 중 하나를 선택하도록 구성된 선택 모듈, 및 상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하도록 구성된 프로세싱 모듈을 포함하는, 에러 은폐기를 포함하고,
    상기 멀티미디어 데이터는, 각각이 복수의 섹션을 포함하는 복수의 슬라이스를 더 포함하며,
    상기 에러 은폐기는, 상기 제 1 섹션이 균일하게 코딩된 슬라이스 또는 비균일하게 코딩된 슬라이스를 포함하는지 여부에 적어도 기초하여 에러 복구 방식을 적용하도록 구성되는, 멀티미디어 데이터 프로세싱 장치.
  65. 에러상태로 수신된 제 1 섹션을 갖는 멀티미디어 데이터를 수신하도록 구성된 수신기; 및
    상기 제 1 섹션에 대한 상기 에러 분포 정보에 기초하여 복수의 에러 복구 방식 방식 중 하나를 선택하도록 구성된 선택 모듈, 및 상기 선택된 에러 복구 방식에 기초하여 상기 제 1 섹션을 프로세싱하도록 구성된 프로세싱 모듈을 포함하는, 에러 은폐기를 포함하고,
    상기 에러 은폐기는, 프레임 레이트 변화가 신 (scene) 변화를 수반하지 않고 검출되거나, 에러 물리층 패키지의 퍼센티지가 임계값 보다 큰 경우에, 상기 제 1 섹션에 대해 프레임 레이트 업 컨버전을 선택하도록 더 구성되는, 멀티미디어 데이터 프로세싱 장치.
KR1020077028977A 2005-05-11 2006-05-11 통합 에러 은폐 프레임워크를 위한 방법 및 장치 KR101012624B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US68021305P 2005-05-11 2005-05-11
US60/680,213 2005-05-11
US68119505P 2005-05-13 2005-05-13
US60/681,195 2005-05-13

Publications (2)

Publication Number Publication Date
KR20080026540A KR20080026540A (ko) 2008-03-25
KR101012624B1 true KR101012624B1 (ko) 2011-02-09

Family

ID=37397343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077028977A KR101012624B1 (ko) 2005-05-11 2006-05-11 통합 에러 은폐 프레임워크를 위한 방법 및 장치

Country Status (7)

Country Link
US (2) US9749655B2 (ko)
EP (1) EP1884028A2 (ko)
JP (1) JP2008545297A (ko)
KR (1) KR101012624B1 (ko)
CN (1) CN101485202B (ko)
TW (1) TW200709580A (ko)
WO (1) WO2006122313A2 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1884028A2 (en) 2005-05-11 2008-02-06 QUALCOMM Incorporated A method and apparatus for unified error concealment framework
JP5275810B2 (ja) * 2005-12-07 2013-08-28 トムソン ライセンシング 基準フレームの選択ルールを使用したビデオエラー隠蔽の方法及び装置
US8509313B2 (en) * 2006-10-10 2013-08-13 Texas Instruments Incorporated Video error concealment
KR101292771B1 (ko) * 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
KR101291193B1 (ko) * 2006-11-30 2013-07-31 삼성전자주식회사 프레임 오류은닉방법
CN100586193C (zh) * 2006-12-12 2010-01-27 华为技术有限公司 误码掩盖方法和系统
US8340183B2 (en) * 2007-05-04 2012-12-25 Qualcomm Incorporated Digital multimedia channel switching
EP2028866A1 (en) * 2007-08-20 2009-02-25 Alcatel Lucent A device and associated method for concealing errors in decoded media units
US8542748B2 (en) 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
JP5344541B2 (ja) 2008-06-03 2013-11-20 キヤノン株式会社 データ送信装置、送信方法及びプログラム
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
FR2934453B1 (fr) * 2008-07-22 2010-10-15 Canon Kk Procede et dispositif de masquage d'erreurs
FR2944938B1 (fr) * 2009-04-28 2011-10-21 Canon Kk Procede et dispositif de correction d'erreurs.
US20120195573A1 (en) * 2011-01-28 2012-08-02 Apple Inc. Video Defect Replacement
JP5811061B2 (ja) * 2012-07-24 2015-11-11 三菱電機株式会社 復号装置、エラーコンシールメント処理装置および復号方法
JP5921469B2 (ja) * 2013-03-11 2016-05-24 株式会社東芝 情報処理装置、クラウドプラットフォーム、情報処理方法およびそのプログラム
JP6518254B2 (ja) * 2014-01-09 2019-05-22 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ・コンテンツの空間的誤差メトリック
US10784988B2 (en) 2018-12-21 2020-09-22 Microsoft Technology Licensing, Llc Conditional forward error correction for network data
US10803876B2 (en) * 2018-12-21 2020-10-13 Microsoft Technology Licensing, Llc Combined forward and backward extrapolation of lost network data
US10945029B2 (en) * 2019-05-31 2021-03-09 Qualcomm Incorporated Video frame rendering criteria for video telephony service

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000050599A (ko) * 1999-01-12 2000-08-05 구자홍 오류 은폐방법
US20010025239A1 (en) 2000-03-02 2001-09-27 Rolf Hakenberg Data transmission in non-reliable networks
KR20020075897A (ko) * 2000-11-29 2002-10-07 소니 가부시끼 가이샤 스트림 처리 장치
KR20040027982A (ko) * 2001-08-23 2004-04-01 폴리콤 인코포레이티드 비디오 에러 은닉을 위한 시스템 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0477080B1 (en) * 1990-09-17 1998-06-03 Canon Kabushiki Kaisha Data communication apparatus
US5742599A (en) * 1996-02-26 1998-04-21 Apple Computer, Inc. Method and system for supporting constant bit rate encoded MPEG-2 transport over local ATM networks
JP3895414B2 (ja) * 1996-12-16 2007-03-22 松下電器産業株式会社 映像復号化装置
US6947398B1 (en) * 1998-11-13 2005-09-20 Lucent Technologies Inc. Addressing scheme for a multimedia mobile network
US6160804A (en) * 1998-11-13 2000-12-12 Lucent Technologies Inc. Mobility management for a multimedia mobile network
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
CN1134174C (zh) * 2001-06-08 2004-01-07 清华大学 地面数字电视广播中的视频差错隐藏方法
CN100446560C (zh) 2003-01-10 2008-12-24 汤姆森特许公司 用于平滑在误差掩蔽期间产生的人为产物的解码器装置和方法
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
JP4020883B2 (ja) 2004-04-20 2007-12-12 株式会社東芝 動画像復号装置
US7436571B2 (en) * 2004-10-20 2008-10-14 Hewlett-Packard Development Company, L.P. Micro-displays
AU2006223287C1 (en) * 2005-03-10 2010-10-21 Qualcomm Incorporated A decoder architecture for optimized error management in streaming multimedia
EP1884028A2 (en) 2005-05-11 2008-02-06 QUALCOMM Incorporated A method and apparatus for unified error concealment framework
US9113147B2 (en) * 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000050599A (ko) * 1999-01-12 2000-08-05 구자홍 오류 은폐방법
US20010025239A1 (en) 2000-03-02 2001-09-27 Rolf Hakenberg Data transmission in non-reliable networks
KR20020075897A (ko) * 2000-11-29 2002-10-07 소니 가부시끼 가이샤 스트림 처리 장치
KR20040027982A (ko) * 2001-08-23 2004-04-01 폴리콤 인코포레이티드 비디오 에러 은닉을 위한 시스템 및 방법

Also Published As

Publication number Publication date
US9749655B2 (en) 2017-08-29
US10944988B2 (en) 2021-03-09
US20170324980A1 (en) 2017-11-09
CN101485202A (zh) 2009-07-15
TW200709580A (en) 2007-03-01
JP2008545297A (ja) 2008-12-11
CN101485202B (zh) 2013-10-30
WO2006122313A2 (en) 2006-11-16
KR20080026540A (ko) 2008-03-25
EP1884028A2 (en) 2008-02-06
WO2006122313A3 (en) 2009-04-09
US20060262864A1 (en) 2006-11-23

Similar Documents

Publication Publication Date Title
US10944988B2 (en) Method and apparatus for unified error concealment framework
KR100881037B1 (ko) 시간적 확장성을 위한 양방향 예측 프레임을 구성하는 방법 및 장치
EP1856918B1 (en) Method and apparatus of temporal error concealment for p-frame
JP5069099B2 (ja) 時間スケーラビリティを可能にするハイブリッド映像圧縮におけるフレーム予測のための方法および装置
KR100977490B1 (ko) 스트리밍 애플리케이션들에서 미디어 포착을 인에이블하는방법 및 장치
KR100930850B1 (ko) 양방향 예측 프레임에 대한 시간적 에러 은닉 방법, 장치, 프로세서, 및 컴퓨터 판독가능 매체
US7693219B2 (en) System and method for fast motion estimation
US7324595B2 (en) Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
US9467659B2 (en) Method and apparatus for progressive channel switching
JP2010515305A (ja) 他のコーディングモードの情報を使用したコーディングモードの選択
KR20080015831A (ko) 다층 비디오 설계를 위한 레이트 제어
KR20160007564A (ko) 높은 프레임 레이트 및 가변 프레임 레이트 캡처를 위한 비디오 압축 튜닝
US20180352240A1 (en) Generalized Temporal Sub-Layering Frame Work
Gang et al. Error resilient multiple reference selection for wireless video transmission
TWI416962B (zh) 在併合視訊壓縮中用於框架預測以致動暫時可擴充性之方法、裝置、及電腦可讀取媒體
Mishra et al. Video Compression Using MPEG
Nasiopoulos et al. A Fast Video Motion Estimation Algorithm for the H. 264 Standard
KR20110095708A (ko) 조합된 확장성 구조에서의 모드결정방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee