KR20080098042A - 에러 은닉과 관련된 왜곡값에 기초한 인코딩 방법을 결정하는 방법 및 장치 - Google Patents

에러 은닉과 관련된 왜곡값에 기초한 인코딩 방법을 결정하는 방법 및 장치 Download PDF

Info

Publication number
KR20080098042A
KR20080098042A KR1020087020394A KR20087020394A KR20080098042A KR 20080098042 A KR20080098042 A KR 20080098042A KR 1020087020394 A KR1020087020394 A KR 1020087020394A KR 20087020394 A KR20087020394 A KR 20087020394A KR 20080098042 A KR20080098042 A KR 20080098042A
Authority
KR
South Korea
Prior art keywords
distortion
frame
encoding
frame including
value
Prior art date
Application number
KR1020087020394A
Other languages
English (en)
Inventor
시타라만 자나파티 수브라마니아
고든 켄트 워커
비자얄라크시미 알 라빈드란
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20080098042A publication Critical patent/KR20080098042A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

특히, 예를 들어, 향상된 디코딩되는 비디오 품질, 향상된 에러 복구 능력 및/또는 향상된 디코딩 효율을 인에이블하는 멀티미디어 데이터를 인코딩하는 방법 및 장치를 설명한다. 인코더 디바이스는, 하나 이상의 부분이 에러로 수신되었으면, 하나 이상의 부분을 은닉하는 것과 관련된 하나 이상의 은닉 방법에 적어도 부분적으로 기초하여 하나 이상의 부분에 대한 하나 이상의 왜곡값을 결정한다. 인코더 디바이스는 하나 이상의 추정된 왜곡값에 적어도 부분적으로 기초하여 하나 이상의 부분에 대한 하나 이상의 인코딩 방법을 결정한다. 일 양태에서, 하나 이상의 인코딩 방법을 결정하는 것은 하나 이상의 추정된 왜곡값과 하나 이상의 임계값과의 비교에 적어도 부분적으로 기초하여 하나 이상의 부분을 리프레시하도록 하나 이상의 인코딩 방법을 결정하는 것을 포함한다.
멀티미디어 데이터, 은닉, 왜곡값, 인코더 디바이스, 인트라-코딩

Description

에러 은닉과 관련된 왜곡값에 기초한 인코딩 방법을 결정하는 방법 및 장치{METHOD AND APPARATUS FOR DETERMINING AN ENCODING METHOD BASED ON A DISTORTION VALUE RELATED TO ERROR CONCEALMENT}
관련 출원의 교차 참조
35 U.S.C.§119 하의 우선권 주장
본 특허출원은 2006년 1월 20일 출원되고, 발명의 명칭이 "Method and Apparatus for Adaptive Intra Refresh Based on Prediction Hierarchy for Wireless Video Communications"인 가출원 일련번호 제 60/760,678호에 대해 우선권 주장하며, 본 출원의 양수인에게 양도되고, 여기에 모든 목적을 위한 참조로서 명백히 포함된다.
배경기술
기술분야
본 출원은 멀티미디어 신호 프로세싱에 관한 것으로, 더 상세하게는 비디오 인코딩에 관한 것이다.
관련 기술의 설명
비디오 인코더와 같은 멀티미디어 프로세싱 시스템은 MPEG (Moving Picture Experts Group)-1, -2, 및 -4 표준, ITU (International Telecommunication Union)-T H.263 표준, 및 ITU-T H.264 표준과 같은 국제 표준과 그 대응부, ISO/IEC MPEG-4, 파트 10, 즉, AVC (Advanced Video Coding) 에 기초한 인코딩 방법을 이용하여 멀티미디어 데이터를 인코딩한다. 이러한 인코딩 방법은 일반적으로 송신 및/또는 저장을 위해 멀티미디어 데이터를 압축하는 것에 관한 것이다. 압축은 광범위하게 데이터로부터 러던던시를 제거하는 프로세스이다.
비디오 신호는 프레임 (전체 픽처) 을 포함하는 픽처의 시퀀스, 또는 필드 (예를 들어, 인터레이스 비디오 스트림은 픽처의 교차하는 홀수 또는 짝수 라인의 필드를 포함한다) 의 관점에서 설명될 수도 있다. 여기서 사용되는 바와 같이, 용어 "프레임"은 픽처, 프레임 또는 필드를 지칭한다. 비디오 인코딩 방법은 각 프레임을 압축하기 위한 손실 없는 또는 손실 있는 압축 알고리즘을 이용하여 비디오 신호를 압축한다. 인트라-프레임 코딩 (여기서 인트라-코딩으로 지칭) 은 오직 그 프레임만을 이용하여 프레임을 인코딩하는 것을 지칭한다. 인터-프레임 코딩 (여기서 인터-코딩으로 지칭) 은 다른 "참조" 프레임에 기초하여 프레임을 인코딩하는 것을 지칭한다. 예를 들어, 비디오 신호는 종종 시간 리던던시를 나타내며, 여기서 프레임의 시간 시퀀스에서 서로 가까이에 있는 프레임은 서로 매치하거나 적어도 부분적으로 매치하는 최소한의 부분을 가진다.
비디오 인코더와 같은 멀티미디어 프로세서는 블록 또는 예를 들어, 16×16 픽셀의 "매크로블록 (MB)"으로 프레임을 분할함으로써 프레임을 인코딩할 수도 있다. 인코더는 각 매크로블록을 서브블록으로 더 분할할 수도 있다. 각 서브블록은 추가적인 서브블록을 더 포함할 수도 있다. 예를 들어, 매크로블록의 서브블록은 16×8 및 8×16 서브블록을 포함할 수도 있다. 8×16 서브블록 의 서브블록은 8×8 서브블록 등을 포함할 수도 있다. 여기서 사용된 바와 같이, 용어 "블록"은 매크로블록 또는 서브블록 중 하나를 지칭한다.
인코더는 인터-코딩 모션 보상 기반 알고리즘을 이용하여 이 시간 리던던시의 장점을 취한다. 모션 보상 알고리즘은 블록과 적어도 부분적으로 매치하는 참조 프레임의 부분을 식별한다. 블록은 참조 프레임의 매칭 부분에 대하여 프레임 내에서 시프트될 수도 있다. 이 시프트는 모션 벡터를 특징으로 한다. 참조 프레임의 부분 매칭 부분과 블록 사이의 임의의 차이는 잔류물의 관점에서 특징을 가질 수도 있다. 인코더는 모션 벡터 중 하나 이상을 포함하는 데이터 및 프레임의 특정 분할에 대한 잔류물로서 프레임을 인코딩할 수도 있다. 프레임을 인코딩하기 위한 블록의 특정 분할은, 예를 들어, 인코딩으로부터 야기되는 컨텐츠의 왜곡으로 인코딩 사이즈를 밸런싱하는 비용 기능을 대략적으로 최소화함으로써 선택될 수도 있다.
인터-코딩은 인트라-코딩보다 더 많은 압축 효율을 허용한다. 그러나, 인터-코딩은 채널 에러 등으로 인해 참조 데이터 (예를 들어, 참조 프레임 또는 참조 필드) 가 손실되는 경우에 문제를 초래할 수 있다. 이들 경우에, 인터-코딩된 데이터의 디코딩이 가능하지 않을 수도 있거나 또는 바람직하지 않은 에러 및 에러 전파를 야기할 수도 있다. 디코더는 이웃하는 블록으로부터 또는 다른 프레임의 데이터로부터 도출된 데이터로 에러 있는 데이터를 은닉 또는 커버-업하려고 시도하는 은닉 방식을 채용할 수도 있다. 은닉 알고리즘의 향상은 에러 있는 비디오 데이터의 은닉된 부분의 품질에 있어 임의의 향상을 제공할 수도 있다. 그러나, 시공간 정보에 대한 은닉 알고리즘의 심한 의존성으로 인해 은닉된 이미지가 얼마나 높은 품질을 나타내는지에 대한 제한이 있다. 은닉된 데이터는 높은 품질이 아닐 수도 있고 뷰잉 경험은 저하될 수도 있다. 또한, 신호의 디코딩은 불가능하게 될 수도 있고 재동기화가 필요할 수도 있다. 비디오를 리프레시하는 인코딩 방법에 의해, 에러 전파가 제한될 수도 있고, 재동기화 (또는 초기 획득) 가 인에이블될 수도 있다. 리프레시된 비디오 신호는 참조 또는 다른 프레임의 지식 없이 디코딩될 수 있다.
독립적으로 디코딩가능한 인트라-코딩된 프레임은 비디오 신호의 리프레시를 인에이블하는 가장 흔한 형태의 프레임이다. MPEG-x 및 H.26x 표준은 GOP (group of pictures) 내의 I-프레임 및/또는 P 및/또는 B 프레임을 참조하는 인트라-코딩된 프레임 (I-프레임으로도 불림) 및 시간상 예측된 P-프레임 또는 양방향 예측된 B 프레임을 포함하는 GOP로 알려져 있는 것을 이용한다. 더 긴 GOP는 증가된 압축에 바람직하지만, 더 짧은 GOP는 더 신속한 획득 및 재동기화를 허용한다. I-프레임의 수를 증가시키면, 더 자주 비디오 신호를 리프레시함으로써, 더 낮은 압축 비용으로 에러 전파를 더욱 제한하고 더 신속한 획득 및 재동기화를 제공한다. 압축 효율을 유지하면서 디코더에서의 비디오 스트림의 에러 전파를 제한하는 비디오 데이터를 인코딩하는 방법이 필요하다.
개요
출원의 시스템, 방법, 및 디바이스는 각각 수개의 양태를 가지며, 이들 중 어떤 것도 바람직한 속성을 단독으로 책임지지 않는다. 다음의 청구의 범위에 의해 표현되는 것으로 본 출원의 범위를 제한하지 않고, 이하 보다 현저한 특징을 간단히 설명한다. 이 논의를 고려한 후, 특히 "일정 실시형태의 상세한 설명"의 섹션을 읽은 후에, 특히, 예를 들어, 향상된 디코딩되는 비디오 품질, 향상된 에러 복구 및/또는 향상된 효율을 포함하는 임의의 향상된 사항을 본 출원의 표본 특징이 제공할 수 있다는 것을 이해한다.
멀티미디어 데이터를 인코딩하는 방법이 제공된다. 방법은 멀티미디어 데이터의 하나 이상의 부분이 에러로 수신되었으면 하나 이상의 부분을 은닉하는 것과 관련된 하나 이상의 은닉 방법에 적어도 부분적으로 기초하여 하나 이상의 부분의 하나 이상의 왜곡값을 추정하는 단계, 및 추정된 하나 이상의 왜곡값에 적어도 부분적으로 기초하여 제 1 부분에 대한 적어도 하나의 인코딩 방법을 결정하는 단계를 포함한다.
멀티미디어 데이터 프로세서가 제공된다. 프로세서는 멀티미디어 데이터의 하나 이상의 부분이 에러로 수신되었으면 하나 이상의 부분을 은닉하는 것과 관련된 하나 이상의 은닉 방법에 적어도 부분적으로 기초하여 하나 이상의 부분의 하나 이상의 왜곡값을 추정하고, 추정된 하나 이상의 왜곡값에 적어도 부분적으로 기초하여 하나 이상의 부분에 대한 적어도 하나의 인코딩 방법을 결정하도록 구성된다.
멀티미디어 데이터를 인코딩하는 장치가 제공된다. 장치는 멀티미디어 데이터의 하나 이상의 부분이 에러로 수신되었으면 하나 이상의 부분을 은닉하는 것과 관련된 하나 이상의 은닉 방법에 적어도 부분적으로 기초하여 하나 이상의 부 분의 하나 이상의 왜곡값을 추정하기 위한 추정기, 및 추정된 왜곡값에 적어도 부분적으로 기초하여 하나 이상의 부분에 대한 적어도 하나의 인코딩 방법을 결정하기 위한 결정기를 포함한다.
실행 시에 머신으로 하여금 멀티미디어 데이터를 인코딩하게 하는 명령들을 포함하는 머신 판독가능 매체가 제공된다. 명령들은 머신으로 하여금, 멀티미디어 데이터의 하나 이상의 부분이 에러로 수신되었으면 하나 이상의 부분을 은닉하는 것과 관련된 하나 이상의 은닉 방법에 적어도 부분적으로 기초하여 하나 이상의 부분의 하나 이상의 왜곡값을 추정하게 하고, 추정된 왜곡값에 적어도 부분적으로 기초하여 제 1 부분에 대한 적어도 하나의 인코딩 방법을 결정하게 한다.
도면의 간단한 설명
도 1은 일 양태에 따른 멀티미디어 통신 시스템을 도시한 블록도이다.
도 2는 도 1에 도시된 것과 같은 시스템에 이용될 수도 있는 인코더 디바이스의 실시형태를 도시한 블록도이다.
도 3은 도 1에 도시된 것과 같은 시스템에 이용될 수도 있는 디코더 디바이스의 실시형태를 도시한 블록도이다.
도 4a는 도 1에 도시된 것과 같은 시스템에서 비디오 스트림의 부분을 인코딩하는 방법의 실시예를 도시한 흐름도이다.
도 4b는 도 1에 도시된 것과 같은 시스템에서 비디오 스트림의 부분을 인코딩하는 방법의 실시예를 도시한 흐름도이다.
도 5는 도 4a 및 도 4b의 방법에 의해 발생할 수도 있는 왜곡 맵을 그래픽으 로 도시한 것이다.
도 6은 모션 보상 예측 방법에서 이용되는 것과 같은 비디오의 부분을 추정하는데 이용되는 예측 영역을 그래픽으로 도시한 것이다.
도 7은 도 1에 도시된 것과 같은 시스템에 이용될 수도 있는 인코더 디바이스의 실시형태를 도시한 기능 블록도이다.
도 8은 도 1에 도시된 것과 같은 시스템에 이용될 수도 있는 인코더 디바이스의 실시형태를 도시한 기능 블록도이다.
일정 실시형태의 상세한 설명
다음의 상세할 설명은 출원의 일정한 표본 실시형태에 관한 것이다. 그러나, 본 출원은 청구범위에 의해 정의 및 포함되는 다수의 상이한 방식으로 구현될 수 있다. 이 설명에서, 동일한 부분은 전체에 걸쳐 동일한 부호로 지시되는 도면을 참조한다.
비디오 신호는 일련의 픽처, 프레임, 필드 또는 슬라이스의 관점에서 특징을 가질 수도 있다. 여기서 사용된 바와 같이, 용어 "프레임"은 순차 비디오 신호의 프레임, 인터레이스 비디오 신호의 필드, 또는 둘 중 하나의 슬라이스 중 하나를 포함할 수도 있는 광의의 용어이다.
실시형태는 멀티미디어 송신 시스템에서 인코더에서의 프로세싱을 향상시키는 시스템 및 방법을 포함한다. 멀티미디어 데이터는 모션 비디오, 오디오, 스틸 이미지, 또는 임의의 다른 유형의 오디오-비주얼 데이터 중 하나 이상을 포함할 수도 있다. 실시형태는 비디오 데이터를 인코딩하는 장치 및 방법을 포함한다. 예를 들어, 일 양태는 디코딩 중에 에러 전파의 효과를 제한하고 에러 은닉의 성능을 향상시키는 비디오 데이터를 인코딩하는 방법을 포함한다. 특히, 멀티미디어 데이터의 부분이 에러로 수신되었으면 그 부분을 은닉하는데 이용될 수도 있는 하나 이상의 은닉 방법에 기초하여 멀티미디어 데이터의 부분의 왜곡값을 추정하고, 추정된 왜곡값에 기초하여 멀티미디어 데이터에 대한 인코딩 방법을 결정함으로써, 디코딩된 비디오 품질, 에러 복구 능력 및/또는 디코딩 효율이 향상될 수도 있다는 것이 발견되었다.
도 1은 일 양태에 따른 멀티미디어 통신 시스템 (100) 을 도시한 블록도이다. 시스템 (100) 은 네트워크 (140) 를 통해 디코더 디바이스 (150) 와 통신하는 인코더 디바이스 (110) 를 포함한다. 일 실시예에서, 인코더 디바이스는 외부 소스 (102) 로부터 멀티미디어 신호를 수신하고 네트워크 (140) 를 통한 송신을 위해 그 신호를 인코딩한다.
이 실시예에서, 인코더 디바이스 (110) 는 메모리 (114) 및 송수신기 (116) 에 커플링된 프로세서 (112) 를 포함한다. 프로세서 (112) 는 범용 프로세서 및/또는 디지털 신호 프로세서 중 하나 이상을 포함할 수도 있다. 메모리 (114) 는 고체 상태 및/또는 디스크 기반 저장소 중 하나 이상을 포함할 수도 있다. 프로세서 (112) 는 멀티미디어 데이터 소스로부터 데이터를 인코딩하고, 이를 네트워크 (140) 를 통한 통신을 위해 송수신기 (116) 에 제공한다.
이 실시예에서, 디코더 디바이스 (150) 는 메모리 (154) 및 송수신기 (156) 에 커플링된 프로세서 (152) 를 포함한다. 프로세서 (152) 는 범용 프로세서 및/또는 디지털 신호 프로세서 중 하나 이상을 포함할 수도 있다. 메모리 (154) 는 고체 상태 및/또는 디스크 기반 저장소 중 하나 이상을 포함할 수도 있다. 송수신기 (156) 는 네트워크 (140) 를 통해 멀티미디어 데이터를 수신하고 이를 디코딩을 위해 프로세서 (152) 에 제공하도록 구성된다. 일 실시예에서, 송수신기 (156) 는 무선 송수신기를 포함한다. 네트워크 (140) 는, 이더넷, 전화 (예를 들어, POTS), 케이블, 파워-라인, 및 광섬유 시스템 중 하나 이상을 포함하는 유선 또는 무선 통신 시스템, 및/또는 코드 분할 다중 접속 (CDMA 또는 CDMA2000) 통신 시스템, 주파수 분할 다중 접속 (FDMA) 시스템, 직교 주파수 분할 다중 (OFDM) 접속 시스템, GSM/GPRS (General Packet Radio Service)/EDGE (enhanced data GSM environment) 와 같은 시분할 다중 접속 (TDMA) 시스템, TETRA (Terrestrial Trunked Radio) 이동 전화 시스템, 광대역 코드 분할 다중 접속 (WCDMA) 시스템, 하이 데이터 레이트 (1xEV-DO 또는 1xEV-DO 골드 멀티캐스트) 시스템, IEEE 802.11 시스템, 미디아플로 시스템, DMB 시스템, 또는 DVB-H 시스템 중 하나 이상을 포함하는 무선 시스템 중 하나 이상을 포함할 수도 있다.
도 2는 도 1에 도시된 시스템 (100) 과 같은 시스템에 이용될 수도 있는 인코더 디바이스 (110) 의 실시형태를 도시한 블록도이다. 이 실시형태에서, 인코더 (110) 는 왜곡값 추정기 엘리먼트 (202), 인코딩 방법 결정기 (204), 및 멀티미디어 인코더 엘리먼트 (206) 를 포함한다. 왜곡값 추정기 (202) 는 인코딩되는 멀티미디어 데이터의 부분의 왜곡값을 추정한다. 왜곡값은 현재 부분이 예측되는 비디오의 다른 부분으로부터의 에러 전파 및 다른 부분이 에러로 수신되는 가능성에 부분적으로 기초한다. 왜곡값은 또한 비디오 데이터의 부분이 에러로 수신되었으면 이를 은닉하는 동안에, 디코더에 도입된 에러로 인한 왜곡 성분을 포함한다. 왜곡값 추정기는 다수의 인코딩 방법을 고려하고 인코딩 방법의 각각의 왜곡값을 계산한다.
인코딩 방법 결정기 (204) 는 추정된 왜곡값에 기초하여 비디오의 부분을 인코딩하는데 이용되는 인코딩 방법을 결정한다. 인코딩 방법 결정기 (204) 및 왜곡값 추정기 (202) 는 다수의 인코딩 방법 (예를 들어, 다수의 인터-코딩 방법) 에 대한 다수의 왜곡값을 계산하고 최소한의 왜곡을 야기하는 인코딩 방법을 선택하기 위해 함께 작동한다. 인코딩 방법 결정기는 임계값과 왜곡값을 비교하고, 그 비교에 기초하여, 다른 인코딩 방법이 필요하다고 결정한다. 다른 인코딩 방법은 인트라-코딩과 같이, 비디오 스트림을 리프레시하는 것과 관련된 인코딩 방법일 수도 있다. 다른 인코딩 방법은 또한 왜곡값 추정기 (202) 에 의해 추정된 왜곡값을 더 낮추는 인터-코딩의 다른 형태일 수도 있다. 인코딩 방법 결정기는 또한 허용가능한 왜곡을 제공하고 계산 복잡도 레벨을 초과하지 않는 인코딩 방법을 결정하는데 있어 왜곡값과 함께 계산 복잡도를 고려할 수도 있다.
멀티미디어 인코더 (206) 는 왜곡값에 기초하여 결정된 인코딩 방법을 수행한다. 멀티미디어 인코더 (206) 에 의해 수행된 인코딩 방법은, 다른 시간 프레임에 위치한 비디오 데이터의 다른 부분과 관련하여 (예를 들어, 모션 보상 예측을 이용하여) 비디오의 부분이 시간상 예측된 인터-코딩을 포함한다. 다른 인코딩 방법은 인트라-인코딩을 포함하며, 여기서 다른 시간상 위치한 비디오 데이터 와 무관하게 독립적으로 디코딩될 수 있도록 비디오의 부분이 인코딩된다. 몇몇 실시형태에서, 인트라-코딩은 동일한 시간 프레임에 위치한 다른 비디오 데이터의 리던던시를 이용하기 위해 공간 예측을 이용할 수도 있다.
몇몇 실시형태에서, 도 2의 인코더 (110) 의 엘리먼트의 하나 이상이 재배열 및/또는 결합될 수도 있다. 엘리먼트는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드 또는 임의의 그 조합에 의해 구현될 수도 있다. 인코더 (110) 의 엘리먼트들에 의해 수행된 동작에 관한 상세한 설명은 이하 도 4에 도시된 방법을 참조하여 검토한다.
도 3은 도 1에 도시된 시스템 (100) 과 같은 시스템에 이용될 수도 있는 디코더 디바이스 (150) 의 실시형태를 도시한 블록도이다. 이 실시형태에서, 디코더 디바이스 (150) 는 멀티미디어 디코더 엘리먼트 (302) 및 에러 은닉 엘리먼트 (304) 를 포함한다. 멀티미디어 디코더 (302) 는 도 2의 인코더 디바이스를 이용하여 인코딩되는 것과 같이 인코딩된 멀티미디어 비트스트림을 디코딩한다. 멀티미디어 디코더는 데이터를 인코딩하는데 이용된 인코딩 동작에 대응하는 반대 동작을 수행한다. 인코딩된 데이터는 인터-코딩된 데이터 (예를 들어, 시간상 예측된 데이터) 및/또는 인트라-코딩된 데이터일 수도 있다.
에러 은닉 엘리먼트 (304) 는 에러로 수신되거나 그렇지 않으면 (예를 들어, 동기화 손실로 인해) 디코딩가능하지 않은 비디오의 부분을 은닉 또는 커버-업하는데 이용되는 다양한 형태의 에러 은닉을 수행한다. 은닉 방법은 공간 에러 은닉, 시간 에러 은닉 및 다른 방법을 포함할 수도 있다. 이용되는 은닉 방법은, 도 2의 인코더 디바이스의 왜곡값 추정기 (202) 에서 왜곡값을 추정하는 경우에 모델링되는 에러 은닉 방법과 동일 또는 유사할 수도 있다. 본 양태가 동일 또는 유사한 은닉 방법을 요구하지 않더라도, 인코더 디바이스에서 모델링된 것과 같은 디코더 디바이스 (150) 에서의 이러한 동일 또는 유사한 은닉 방법의 사용은 디코딩된 비디오 품질을 향상시킬 수도 있다. 에러 은닉을 수행하는 것에 더해, 에러 은닉 엘리먼트 (304) 는 에러 복구 기능을 수행할 수도 있다. 사용가능한 (예를 들어, 에러 없는) 부분을 파싱 (parse) 하려고 시도함에 있어 에러 있다고 결정되는 데이터의 섹션에 대해 에러 복구가 수행될 수도 있다. 이들 파싱된 부분은 또한 에러 은닉 엘리먼트 (304) 에 의해 에러 은닉에 이용될 수도 있다.
몇몇 실시형태에서, 도 3의 디코더 (150) 의 엘리먼트들 중 하나 이상이 재배열 및/또는 결합될 수도 있다. 엘리먼트는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드 또는 임의의 그 조합에 의해 구현될 수도 있다. 디코더 (150) 의 엘리먼트들에 의해 수행된 동작에 관한 상세한 설명은 본 논의 범위 밖에 있다.
도 4a는 도 1에 도시된 것과 같은 시스템에서 비디오 스트림의 부분을 인코딩하는 방법의 실시예를 도시한 흐름도이다. 이 실시예에서, 방법은 인코딩되는 비디오의 부분의 왜곡값을 추정한다. 왜곡값은 디코더에서 에러로 수신되는 인코딩된 부분의 확률 및 에러 있는 부분을 은닉하는데 이용되는 은닉 방법에 의해 야기되는 에러에 기초한다. 왜곡값을 디코더 은닉 방법에 기초함으로써, 인코딩된 비디오 비트스트림은 디코더에서의 에러 전파의 효과보다 더 강력할 수도 있 으며, 이는 디코딩된 비디오 품질을 향상시킬 수도 있다. 이 실시예에서의 방법은 또한 추정된 왜곡값에 기초하여 인코딩 방법을 결정할 수 있다. 인코딩 방법은 복수의 인코딩 방법 중에서 왜곡값을 최소로 하도록 결정될 수도 있다. 인코딩 방법은 디코더에서의 비디오의 부분의 복구가능성을 향상시키는 것에 기초하여 결정될 수도 있다. 인코딩 방법은 디코더에서의 에러 전파를 제한하도록 비디오 부분을 리프레시하도록 결정될 수도 있다.
도 4a를 참조하면, 방법 (400) 은, 인코딩 디바이스가 멀티미디어 데이터의 부분의 왜곡값을 추정하는 블록 (402) 에서 시작한다. 멀티미디어 데이터의 부분은 픽셀 (예를 들어, 루마 및 크로마, 또는 레드, 그린 및 블루 등), 픽셀의 블록 또는 하나 이상의 픽셀의 임의의 형상 및 사이즈 영역일 수도 있다. 왜곡값은 비디오 부분이 에러로 수신되면 이를 은닉하는데 이용될 수도 있는 에러 은닉 방법과 관련된 왜곡 성분에 적어도 부분적으로 기초한다. 왜곡값은 다수의 은닉 방법으로부터의 성분을 포함할 수도 있다. 예를 들어, 하나의 성분은 인코딩되는 부분만이 에러로 수신되면 이용된 제 1 은닉 방법에 의해 도입된 왜곡을 나타낼 수도 있다. 즉, 은닉 부분을 예측하기 위해 디코더 디바이스가 이용할 수 있는 모든 다른 비디오 데이터 (예측 데이터로 지칭됨) 는 에러 없이 수신된다고 가정된다. 왜곡값의 다른 성분은 제 2 은닉 방법 또는 제 3 은닉 방법에 의해 도입된 왜곡을 포함할 수도 있으며, 여기서 이들 은닉 방법은 하나 이상의 예측 부분이 에러로 수신되면 디코더에 의해 이용될 수도 있다. 은닉 방법은 공간 은닉, 시간 은닉 및 다른 형태의 은닉을 포함할 수도 있다. 시간 은닉을 포함 하는 왜곡값을 추정하는 방법에 관한 상세한 설명은 후술한다. 도 2의 인코더 디바이스 (110) 의 왜곡값 추정기 (202) 는 블록 (402) 에서의 동작을 수행할 수도 있다.
몇몇 실시형태에서, 왜곡값은 데이터의 프레임에서의 각 블록에 대한 블록 (402) 에서 계산된다. 블록은 매크로블록 (예를 들어, 16×16 픽셀 매크로블록), 또는 임의의 사이즈의 서브-매크로블록일 수도 있다. 프레임에서의 각 블록의 왜곡값은 왜곡 맵에 저장될 수도 있다. 도 5는 블록 (402) 에서 발생될 수도 있는 왜곡 맵을 그래픽으로 도시한다. 왜곡 맵 (500) 은 프레임에서의 각 블록에 대해 하나씩, 다수의 왜곡값 변수 (505)(dv1-dv16으로 라벨링됨) 를 포함한다. 이전 프레임의 왜곡 맵 (500) 은 새로운 프레임에서 왜곡값을 계산하는데 이용될 수도 있다. 이러한 방식으로, 누적 왜곡이 용이하게 계산될 수도 있다. 임의의 블록이 리프레시된다고, 예를 들어, 인트라-코딩된다고 결정되면, 그 블록의 왜곡값은 0으로 설정, 또는 양자화 또는 몇몇 다른 팩터로 인한 왜곡값으로 설정될 수도 있다.
블록 (404) 에서, 인코더 디바이스는 추정된 왜곡값에 기초하여 멀티미디어 데이터의 부분에 이용되는 인코딩 방법을 결정한다. 몇몇 실시예에서, 다수의 방법 중 어떤 인코딩 방법이 이용될지를 선택하기 위해 이용되는 레이트 왜곡 계산의 일부로서 다수의 인코딩 방법에 대해 블록 (402) 에서 왜곡값이 계산된다. 예를 들어, 최소 왜곡값을 발생시키는 인코딩 방법은 멀티미디어 데이터의 부분을 인코딩하기 위해 이용되도록 (블록 404에서) 결정될 수도 있다. 다른 실시예에 서, 왜곡값은 제 1 인코딩 방법 (인터-코딩 또는 인트라-코딩 중 하나) 에 기초하여 계산되고, 왜곡값은 AIR (Adaptive Intra-Refresh) 에서 행해지는 것과 같이, 인트라-코딩되어야 하는 블록을 결정하는데 이용된다. 예를 들어, 부분에 대응하는 왜곡값은, 부분을 인코딩하기 위해 레이트 왜곡 기반 결정이 최적 모션 벡터(들) 및 모드를 발견한 후에 산정될 수도 있다. 그렇게 획득된 왜곡값이 임계값보다 크면, 인트라-코딩 모드 중 하나, 예를 들어, 4×4 픽셀 인트라-코딩 또는 16×16 픽셀 인트라-코딩을 이용하여 부분을 인트라-코딩하도록 결정될 수도 있다. 이러한 방식으로, 멀티미디어의 부분이 리프레시된다. 인트라-코딩 모드와 별개로, 일정 인터-코딩 모드 (P8×8, P16×16, P16×8, P8×16 등) 가 리프레시된 비디오를 발생시키지 않을 수 있더라도, 이들은 또한 몇몇 경우에 왜곡값에 기초하여 결정될 수도 있다. 방법 (400) 의 블록의 일부는 결합, 생략, 재배열되거나 또는 그 임의의 조합일 수도 있다는 것을 인식하여야 한다. 블록 (404) 에서 인코딩 방법을 결정하는 몇몇 실시형태에 관한 상세한 설명은 도 4b를 참조하여 후술한다.
이하, 블록 (402) 에서 왜곡값을 추정하는 실시예 알고리즘에 관한 상세한 설명을 검토한다. 이 실시예에서 왜곡값은 2 개의 다른 프레임, 예를 들어, 이전 프레임과 후속 프레임으로부터의 부분을 이용하여 멀티미디어의 에러 있는 부분을 은닉하는 시간 은닉 방법에 관한 것이다. 그러나, 다른 은닉 방법은 유사한방법을 이용하여 나타낼 수도 있다.
실시예 알고리즘은 비디오의 (P 프레임에서와 같은) 단방향으로 예측된 부분 예상된 왜곡값 (즉, 통계 예상치) 의 귀납적 왜곡값을 산정한다. 인트라-코딩된 부분과 같은 다른 부분 및 양방향으로 예측된 부분은 또한 유사한 알고리즘에 의해 나타낼 수도 있다. 알고리즘은 현재 MB가 손실되는 가정된 확률 (확률 "P"로 정의) 및 은닉 방법에 의해 이용된 예측변수 (predictor) 가 손실될 확률 (확률 "Q"로 정의) 에 부분적으로 기초한다. 가정된 확률 P 및 Q 중 적어도 하나가 증가하면서, 알고리즘은 압축 효율을 트레이드-오프하면서 우수한 에러 레질런스 (error resilience)/은닉을 더욱 양상하는 경향이 있다. 확률 P 및 Q 중 적어도 하나를 감소시키는 경우에는 반대 현상이 발생한다.
알고리즘은 멀티미디어 데이터의 부분의 예상된 왜곡값을 산정한다. 멀티미디어 데이터의 부분은 임의의 수의 픽셀 및 임의의 형상일 수도 있다. 실시예는 16×16 픽셀 매크로블록 (MB) 인 부분을 참조하여 설명하지만, 다른 부분도 나타낼 수 있다는 것을 인식하여야 한다. 일 실시형태에서, 알고리즘은 도 5를 참조하여 상술한 바와 같은 왜곡 맵을 형성하기 위해 프레임의 각 MB의 예상된 왜곡값을 추정하는데 이용된다. 이 실시예에서 예상된 왜곡값은 귀납적 및 모션-적응 방식으로 산정된다. 이 예상된 왜곡 맵이 정확히 MSE 또는 L1-놈 (norm) 왜곡 측정치가 아니더라도, 이들 측정치와 상당히 잘 상관하는 것이 예상된다.
다음의 기호는 왜곡값 알고리즘의 논의에 사용된다.
Figure 112008059406602-PCT00001
= 't'번째 프레임에서 (i,j) 번째 매크로블록의 누적 왜곡값
P = 현재 MB가 손실될 확률
Q = 관련된 은닉 방법에 의해 이용된 예측변수가 손실될 확률
이들 가정이 주어지면, 현재 MB는 (1-P) 와 동일한 확률에서 임의의 에러 없이 수신된다. 단방향 예측에 있어서, 현재 MB는 다른 프레임, 이 실시예에서는 이전 프레임의 MB 사이즈의 부분과 관련하여 인코딩된다. 모션 벡터 MV는 현재 MB의 상대 포지션, 즉 위치 및 MB 사이즈의 참조 부분을 제공한다. 참조 부분은 일반적으로 MB의 경계와 일직선에 있지 않지만, 4 개의 MB의 4 개 영역까지 오버랩한다. 도 6은 모션 보상 예측 방법을 이용하여 비디오의 부분을 추정하는데 이용되는 예측 영역을 그래픽으로 도시한다. 모션 벡터 (605) 는 a1, a2, a3 및 a4로 라벨링된 4 개의 영역 부분으로 구성된 MB 사이즈의 예측 영역 (610) 을 가리킨다. 영역 부분 (a1 - a4) 은 각각 4 개의 MB (615, 620, 625 및 630) 내에 있다. MB (615-630) 의 왜곡값은 이전 프레임의 왜곡 맵의 저장된 버전으로부터 획득될 수도 있다. 이 실시예에서, 예측 영역 (610) 에서의 4 개의 영역 부분 (a1-a4) 의 누적 왜곡값은 (예를 들어, 각 영역 부분에서의 픽셀의 수에 기초하여) 가중 평균되어, 현재 MB의 왜곡값을 계산한다. 따라서, 누적 에러 전파로 인한 현재 매크로블록의 추정되고 예상된 왜곡값은
[수학식 (1)]
Figure 112008059406602-PCT00002
로 주어지며, 여기서 a1, a2, a3, a4는 도 6에 도시된 4 개의 영역 부분이다. 수학식 (1) 에 의해 주어진 왜곡값은 16×16 픽셀 영역의 가중 평균치를 256으 로 나누어서 정규화한다.
이전 프레임의 예측 영역으로부터의 누적 왜곡에 더해, 현재 MB가 에러로 수신되면, 알고리즘은 현재 MB의 은닉으로 인해 왜곡값 성분을 추정한다. 상술한 바와 같이, 현재 MB는 P의 확률로 에러로 수신된다고 가정한다. 은닉 방법으로 인해 현재 매크로블록에 의해 초래되는 왜곡은 은닉 에러 (은닉 방법에 의해 도입되고 용어 Conceal_Error로 표시되는 에러) 와 은닉 방법에 의해 이용된 예측 영역으로부터의 에러 전파로 인한 효과의 합계로 근사될 수도 있다. 상기에서 검토한 바와 같이, (예를 들어, 현재 및/또는 과거 프레임으로부터의) 예측변수가 확률 1-Q로 이용가능하다고 가정한다. 이 실시예에서, 은닉 방법(들)은 현재 프레임 및 이전 프레임에서의 데이터의 이용가능성에 따른다고 가정한다. 예측 영역은 누적 왜곡 용어
Figure 112008059406602-PCT00003
로 표시된 바와 같이, 이전 프레임에 있다고 가정된다. 그러나, 이는 단지 실시예일 뿐이고, 예측 영역은 현재 프레임 또는 이용가능한 임의의 다른 프레임에 있을 수도 있다. 따라서, 이전 프레임으로부터 예측 영역을 이용한 시간 에러 은닉 방법으로 인해 왜곡이 초래되며, 여기서 은닉되는 부분은 P의 확률로 에러가 있으며, 현재 프레임 및 이전 프레임 (둘 다 1-Q의 확률로 이용가능) 에서의 예측 데이터의 이용가능성에 따르는 것은
[수학식 (2)]
Figure 112008059406602-PCT00004
와 같이 산정될 수도 있다.
은닉 에러 산정은 계산상 복잡할 수도 있다. 그러나, 일부 합리적인 가정 하에, 이들은 다음의 SAD (픽셀 값의 누적 차이의 합계) 값에서의 차이로서 근사될 수도 있다.
SADopt: 최적 MV 및 최적 인코딩 모드가 이용되는 경우에 오리지널 이미지와 압축된 이미지 사이에서 획득된 SAD
SADest: 추정된 (시간 은닉 알고리즘에 의해 추정된) MV 가 이용되는 경우에 오리지널 이미지와 은닉된 이미지 사이에서 획득된 SAD
이러한 근사는 다음과 같이 기재될 수도 있으며,
[수학식 (3)]
Figure 112008059406602-PCT00005
여기서, a1', a2', a3', a4'는 은닉 부분 예측으로서 이용되고 누적 왜곡을 가중 평균하는데 이용되는 (도 6에 도시된) 이전 프레임에서의 4 개의 영역 부분이다. 수학식 (3) 에 의해 주어진 왜곡값이 또한 16×16 픽셀 영역의 가중 평균치를 256으로 나누어서 정규화된다는 것을 인지한다.
수학식 (3) 을 이용하는 경우, SADest는 (예를 들어, 모션 보상 부정확성으로 인해) 몇몇 경우에 SADopt 미만이라고 발견될 수도 있지만, 차이는 무시할 수 있을 정도로 작을 수도 있으며, 이러한 경우에 Conceal_Error 성분이 0으로 근사될 수도 있다는 것을 인지한다.
수학식 (3) 은 현재 프레임 및 이전 프레임 둘 다가 이용가능한 경우에 (여기서 각각은 1-Q의 확률로 발생한다) 이용되는 은닉 방법에 대응하는 왜곡값 성분을 나타낸다. 그러나, 상이한 은닉 에러는 현재 프레임 및/또는 과거 프레임의 일부 또는 전부가 에러 있게 수신되면 존재할 수 있으며, 여기서 각각은 Q의 확률로 발생한다. 4 개의 상이한 은닉 추정치에 대응하는 왜곡값 성분이 고려될 수도 있으며, 4 개의 은닉 추정치는 4 개의 시나리오, 1) 이용가능한 현재 프레임 및 이용가능한 이전 프레임, 2) 이용가능한 현재 프레임과 에러 있는 이전 프레임, 3) 에러 있는 현재 프레임과 이용가능한 이전 프레임 및 4) 둘다 에러 있는 현재 프레임 및 이전 프레임에 대응한다. 4 개의 은닉 추정치의 계산에 관한 상세한 설명은 왜곡값 계산의 이해에 중요하지 않으므로, 여기서 설명하지 않는다. 4 개의 왜곡값 성분을 포함하는 누적 왜곡은
[수학식 (4)]
Figure 112008059406602-PCT00006
와 같이 산정될 수도 있으며, 여기서, 제 1 은닉 추정치는
Figure 112008059406602-PCT00007
의 왜곡을 야기하고, 제 2 은닉 추정치는
Figure 112008059406602-PCT00008
의 왜곡을 야기하는 등이다. 또한, 누적 왜곡은 4 개의 은닉 추정치의 각각에 이용되는 예측 영역의 영역 (a', a'', a''' 및 a'''') 에 기초하여 가중 평균된다. 은닉 추정치는 공간 은닉, 양방향 은닉 등과 같은 상이한 유형의 은닉 방법에 기초할 수도 있다. 예를 들어, 은닉 알고리즘은 결정적/확률적 기준에 따라, 때로는 시간상 그리고 때로는 공간상 은닉할 수도 있다. 왜곡값 계산을 수행하고 왜곡값에 기초하여 어떤 인코딩 방법을 사용할지를 결정하는 인코더 디바이스는, 디코더가 에러 있는 데이터를 수신하는 경우에 에러 복구 및/또는 에러 은닉 성능을 향상시키기 위해 디코더에서 이용된 동일 또는 유사한 은닉 방법을 모델링할 수도 있다.
다른 은닉 추정치가 고려될 수도 있고, 다른 예측 영역이 이용가능하지 않을 확률에 기초하여 수학식 (4) 에 포함될 수도 있다. 수학식 (4) 는 도 5에서 설명한 바와 같이 왜곡 맵을 형성하기 위해 프레임에서 각 MB에 이용될 수도 있다. 따라서, 수학식 (4) 를 이용하여 계산된 왜곡값은 은닉의 다수의 옵션을 선택함으로써 초래되는 왜곡의 가중 합계를 포함하며, 여기서 가중은 선택되는 각 은닉 옵션의 확률이다.
도 4b는 도 1에 도시된 바와 같이 시스템에서 비디오 스트림의 부분을 인코딩하는 방법의 실시예를 더 상세히 설명한 흐름도이다. 방법 (420) 은 블록 402에서 왜곡값을 추정하는 경우에 고려될 수도 있는 다양한 은닉 방법 및 블록 404에서 인코딩 방법을 결정하는 다양한 방법을 포함하는, 도 4a를 참조하여 상술한 블록 402 및 404를 포함한다.
블록 402에서, 왜곡값은 수학식 (4) 를 참조하여 상술한 것과 유사한 알고리즘을 이용하여 추정될 수도 있다. 이용된 정확한 왜곡값 수학식은 기술한 은닉 방법의 유형에 따른다. 기술한 은닉 방법은 공간 은닉 방법을 포함할 수도 있으며, 여기서 동일한 프레임에 위치한 예측 부분은 에러로 수신된 부분을 은닉하는데 이용된다. 프레임 내의 공간 은닉의 경우에, 현재 프레임에서 MB의 누적 왜곡값은 이전 프레임으로부터의 왜곡값 대신에 이용된다. 시간 은닉 방법은 상술하고 수학식 (4) 에 의해 나타낸 단방향 예측을 포함할 수도 있고, 또한 후속 프레임의 이용가능성도 고려될 수도 있는 양방향 예측을 포함할 수도 있다.
시간 은닉 방법의 일 실시예는 모션 벡터 크기조정이다. 모션 벡터 크기조정은 현재 프레임에서 에러 있는 멀티미디어 데이터의 부분에 대한 모션 벡터를 도출하기 위해 다른 프레임으로부터의 모션 벡터를 보간 (interpolate) 및/또는 보외 (extrapolate) 하는 방법이다. 시간 은닉 방법의 다른 실시예는 프레임 레이트 전환이다. 프레임 레이트 전환은 모션 벡터 크기조정과 유사할 수도 있지만, 통상적으로, 2 개의 둘러싼 프레임에 기초한 전체 프레임의 구성을 포함한다. 시간 에러 은닉 방법의 다른 실시예는 광흐름 방법에 기초할 수도 있다. 블록 402에서 추정된 왜곡값에 의해 나타낼 수도 있는 은닉의 다른 형태는 공간 및 주파수 도메인 보간, 최대 평활 복구, 및 컨벡스 세트로의 프로젝션을 포함한다. 숙련된 기술자는 방법 400의 블록 402에서 왜곡값을 추정하는 경우에 나타낼 수 도 있는 에러 은닉의 다른 형태를 인식할 것이다.
상술한 바와 같이, 블록 404에서, 인코더 디바이스는 블록 402에서 추정된 왜곡값에 기초하여 인코딩 방법을 결정한다. 몇몇 실시형태에서, 추정된 왜곡값은 임계값과 비교되고 인코딩 방법은 그 비교에 기초하여 결정된다. 임계값은 멀티미디어 데이터의 모든 부분에 대한 단일 값일 수도 있다. 그러나, 임계값은 또한 방법 (420) 의 블록 404에서 열거된 것과 같은 방법에 따라 달라질 수도 있다. 이들 방법은 임계값을 초과하는 것에 기초하여 인코딩 방법을 결정하는 것과 관련하여 설명하고, 여기서 임계값이 초과되면 선택된 인코딩 방법은 일반적으로 부분을 리프레시하는 역할을 한다 (또는 부분의 추정된 왜곡값을 적어도 감소시킨다). 그러나, 인코딩 방법은 또한 임계값 미만인 왜곡값에 기초하여 결정될 수도 있다는 것을 인식하여야 한다.
몇몇 실시예에서, 임계값은 인코딩되는 멀티미디어 부분이 위치한 영역의 텍스처의 함수로서 변한다. 광범위하게 변하는 텍스처가 있는 영역 (예를 들어, 픽셀에서 픽셀까지의 큰 변화) 은 덜 변하는 텍스처가 있는 영역만큼 많은 에러를 나타내지 않을 수도 있고, 따라서, (예를 들어, 인트라-코딩을 이용하여) 부분을 리프레시하도록 인코딩 방법이 결정될 수도 있는 더 높은 임계값이 허용될 수도 있다. 그러나, 평활하거나 약간 변하는 텍스처가 있는 영역은 에러를 더 보일 수도 있고 더 낮은 임계값이 할당할 수도 있다.
몇몇 실시예에서, 임계값은 프레임 내에서 인코딩되는 부분의 포지션, 즉, 위치의 함수로서 변할 수도 있다. 예를 들어, 에지 상의 부분은 중간 부분보다 더 높은 임계값이 할당될 수도 있다. 이러한 방식으로, 관찰자가 더 자주 보는 영역 (예를 들어, 프레임의 중앙) 은 관찰자가 종종 관찰할 수도 있는 에지 상의 영역보다 더 자주 리프레시될 수도 있다.
몇몇 실시예에서, 임계값은 GOP (group of pictures) 또는 다수의 프레임의 슈퍼프레임 내에서 인코딩되는 현재 프레임의 포지션에 관한 함수일 수도 있다. GOP는 일반적으로 인트라-코딩된 프레임, 또는 (적응 인트라 리프레시 또는 AIR로 알려진) 적어도 한번 인트라-코딩되는 프레임 내의 모든 MB를 실질적으로 포함하는 프레임 세트로 시작하며, 여기서 GOP (또는 슈퍼프레임) 에서의 다른 프레임은 GOP 외부의 프레임을 참조하지 않는다. MB가 GOP의 시작 시에 인트라-코딩될 기회가 더 많도록 보증하기 위해, GOP의 시작 가까이의 프레임에서의 임계값은 GOP의 끝 가까이의 MB보다 더 낮은 임계값을 가질 수도 있다.
몇몇 실시예에서, 임계값은, 예를 들어, 프레임 내의 왜곡 맵에서 왜곡값의 분포에 관한 함수일 수도 있다. 예를 들어, 임계값은 프레임 내의 MB의 퍼센트가 왜곡값의 분포에 기초하여 인트라-코딩되도록 보증하기 위해 적응성 있게 설정될 수도 있다. 이는 송신에 필요한 데이터를 제한하기 위해 인트라-코딩된 MB의 수를 제한하는데 이용될 수도 있다. (왜곡값의 높은 분포로 인해) 몇몇 프레임에 대해 품질이 저하될 수 있더라도, 데이터 레이트는 원하는 레벨로 유지될 수도 있다.
몇몇 실시예에서, 임계값은 인코딩되는 부분을 포함하는 프레임의 영역에서의 모션 활동에 관한 함수일 수도 있다. 높은 모션 활동을 특징으로 하는 비디 오의 영역에서 발생하는 에러는 적은 모션을 특징으로 하는 영역에서 발생하는 에러보다 덜 인지가능한 경향이 있다. 임계값은 더 낮은 모션 활동을 경험하는 영역보다 더 큰 모션 활동을 경험하는 영역에서 더 높은 값으로 설정될 수도 있다. 모션 활동은 많은 방식으로 측정될 수도 있다. 예를 들어, 모션 벡터 크기는 더 높은 크기 모션 벡터가 더 높은 모션 활동을 나타내는 모션 활동 지표로서 이용될 수도 있다. 모션 벡터 방향의 변화는 또한 모션 활동 지표로서 이용될 수 있다. 영역에서의 모션 벡터 대부분이 실질적으로 동일한 방향에서 가리키면, 이는 낮은 모션 활동의 표시일 수도 있다. 영역의 이웃하는 블록에서의 모션 벡터가 상이한 방향에서 가리키면, 이는 높은 모션 활동의 표시일 수도 있다. 유사한 모션 활동 측정치는 광흐름과 같은 다른 모션 보상 기술을 이용하여 획득될 수도 있다.
몇몇 실시예에서, 임계값은 인코딩되는 비디오의 부분의 인코딩 모드에 관한 함수일 수도 있다. 예를 들어, 비디오의 일부 부분은 통상적으로 비디오의 다른 예측된 부분에 대한 참조로서 이용되지 않는다. 예를 들어, B 프레임은 많은 시스템에서 참조 프레임에 이용되지 않는다. 따라서, 이런 유형의 시스템에서 B 프레임의 왜곡값은 다른 비디오가 이를 참조하지 않기 때문에 더 높게 허용될 수 있다. 다른 비디오가 B 프레임을 참조하지 않기 때문에, 에러는 단지 일 프레임 지속시간 (예를 들어, 1 초 비디오 시퀀스당 30 프레임에서 1초의 1/30) 동안 지속된다. 따라서, 임계값은 다른 예측된 부분에 의해 참조할 수도 있는 비디오의 부분보다 비디오의 참조하지 않은 부분에 대해 더 높을 수 있다.
블록 404에서, 인코딩 방법이 결정된 후에, 블록 402에서 추정된 왜곡값에 기초하여, 프로세스 (420) 는 블록 (406) 에서 계속되며, 인코딩되는 멀티미디어 데이터의 부분은 결정된 인코딩 방법으로 인코딩된다. 블록 406에서의 인코딩 방법은 이웃의 공간 예측 있는 인트라-코딩 또는 공간 예측 없는 인트라-코딩을 포함할 수도 있다. 이웃하는 픽셀의 공간 예측 없는 인트라-코딩은 블록 402에서 계산된 왜곡값을 감소시키기 위해 선택될 수도 있다. 블록 406에서의 인코딩 방법은 모션 보상 예측을 이용하는 단방향 또는 양방향 예측을 포함할 수도 있다. 상이한 형태의 모션 보상 예측은 블록 402에서 추정된 왜곡값을 감소시키기 위해 다른 것보다 우선하여 선택될 수도 있다. 모션 보상 예측은 블록 매칭, 광흐름 및 상술한 모션 벡터를 계산하기 위한 다른 방법을 포함할 수도 있다. 방법 (420) 의 블록들 중 일부는 결합, 생략, 재배열되거나 또는 임의의 그 조합일 수도 있다는 것을 인지하여야 한다.
도 7은 도 1 에 도시된 것과 같은 시스템에 이용될 수도 있는 인코더 디바이스 (110) 의 실시예를 도시한 기능 블록도이다. 이 양태는, 멀티미디어 데이터의 제 1 부분이 에러로 수신되었으면 제 1 부분을 은닉하는 것과 관련된 하나 이상의 은닉 방법에 적어도 부분적으로 기초하여 제 1 부분의 왜곡값을 추정하는 수단, 및 추정된 왜곡값에 부분적으로 기초하여 제 1 부분에 대한 인코딩 방법을 결정하는 수단을 포함한다. 이 양태의 몇몇 실시예는, 추정 수단이 왜곡값 추정기 (702) 를 포함하는 것과 결정 수단이 인코딩 방법 결정기 (704) 를 포함하는 것을 포함한다.
도 8은 도 1에 도시된 것과 같은 시스템에 이용될 수도 있는 인코더 디바이스 (110) 의 실시예를 도시한 기능 블록도이다. 이 양태는, 멀티미디어 데이터의 제 1 부분이 에러로 수신되었으면 제 1 부분을 은닉하는 것과 관련된 하나 이상의 은닉 방법에 적어도 부분적으로 기초하여 제 1 부분의 왜곡값을 추정하는 수단, 및 추정된 왜곡값에 적어도 부분적으로 기초하여 제 1 부분에 대한 인코딩 방법을 결정하는 수단을 포함한다. 이 양태의 몇몇 실시예에서, 추정 수단은 왜곡값을 추정하는 모듈 (802) 을 포함하고, 결정 수단은 인코딩 방법을 결정하는 모듈 (804) 을 포함한다.
당업자는 정보 및 신호가 다양하고 상이한 기술 및 테크닉을 이용하여 나타낼 수도 있다는 것을 이해한다. 예를 들어, 상기 설명에서 참조될 수도 있는 데이터, 명령, 커맨드, 정보, 신호, 비트, 심볼, 및 칩은 전압, 전류, 전자기파, 자기장, 자기 입자, 광학 필드, 광입자, 또는 임의의 그 조합에 의해 나타낼 수도 있다.
당업자는 또한 여기에 개시된 실시예와 관련하여 설명한 다양한 예시적인 논리 블록, 모듈, 및 알고리즘 단계가 전자 하드웨어, 펌웨어, 컴퓨터 소프트웨어, 미들웨어, 마이크로코드, 또는 그 조합으로서 구현될 수도 있다는 것을 인식한다. 이러한 하드웨어와 소프트웨어의 호환성을 명확히 설명하기 위해, 다양한 예시적인 컴포넌트, 블록, 모듈, 회로, 및 단계가 일반적으로 그 기능성의 관점에서 상술되었다. 이러한 기능성이 하드웨어 또는 소프트웨어로서 구현될지 여부는 전체 시스템에 부과되는 특정 애플리케이션 및 설계 제약에 따른다. 기술자는 각 특정 애플리케이션에 대한 방식을 변화시키면서 설명한 기능성을 구현할 수도 있지만, 이러한 구현 결정은 개시된 방법의 범주를 벗어나는 것으로 해석되어서는 안된다.
여기에 개시된 실시예와 관련하여 설명한 다양하고 예시적인 논리 블록, 컴포넌트, 모듈, 및 회로는 범용 프로세서, DSP (digital signal processor), ASIC (application specific integrated circuit), FPGA (field programmable gate array) 또는 다른 프로그램가능 로직 디바이스, 디스크리트 게이트 또는 트랜지스터 로직, 디스크리트 하드웨어 컴포넌트, 또는 여기서 설명한 기능을 수행하도록 설계된 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다른 방법으로, 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 스테이트 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스의 조합, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어 또는 ASIC 코어와 결합된 하나 이상의 마이크로프로세서, 또는 임의의 다른 이러한 구성으로 구현될 수도 있다.
여기에 개시된 실시예와 관련하여 설명한 방법 또는 알고리즘의 단계는 하드웨어에서 직접, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이 둘의 조합으로 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈식 디스크, CD-ROM, 광저장 매체, 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보 를 기록할 수 있도록 실시예인 저장 매체가 프로세서에 커플링된다. 다른 방법으로는, 저장 매체는 프로세스와 일체형일 수도 있다. 프로세서 및 저장 매체는 ASIC (Application Specific Integrated Circuit) 에 상주할 수도 있다. ASIC는 무선 모뎀에 상주할 수도 있다. 다른 방법으로는, 프로세서 및 저장 매체는 무선 모뎀에서 디스크리트 컴포넌트로서 상주할 수도 있다.
개시된 실시예에 관한 전술한 설명은 당업자로 하여금 개시된 방법 및 장치를 제작 또는 이용할 수 있게 제공된다. 이들 실시예에 대한 다양한 변형은 당업자에게 자명하며, 여기에 정의된 원리는 다른 실시예에 적용될 수도 있고, 추가적인 요소가 추가될 수도 있다.
이로써, 효율적인 디코딩 품질 및 에러 은닉을 제공하는 멀티미디어 데이터의 매우 효율적인 인코딩을 수행하기 위한 방법 및 장치를 설명하였다.

Claims (65)

  1. 멀티미디어 데이터의 제 1 부분이 에러로 수신되었으면, 상기 제 1 부분을 은닉하는 것과 관련된 하나 이상의 은닉 방법에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하는 단계; 및
    상기 추정된 왜곡값에 적어도 부분적으로 기초하여, 상기 제 1 부분에 대한 인코딩 방법을 결정하는 단계를 포함하는, 멀티미디어 데이터의 인코딩 방법.
  2. 제 1 항에 있어서,
    상기 결정된 인코딩 방법을 이용하여 상기 제 1 부분을 인코딩하는 단계를 더 포함하는, 멀티미디어 데이터의 인코딩 방법.
  3. 제 1 항에 있어서,
    상기 인코딩 방법을 결정하는 단계는,
    상기 추정된 왜곡값과 임계값과의 비교에 기초하여 상기 제 1 부분을 리프레시하도록 상기 인코딩 방법을 결정하는 단계를 더 포함하는, 멀티미디어 데이터의 인코딩 방법.
  4. 제 3 항에 있어서,
    상기 임계값은 팩터의 리스트로부터 선택된 하나 이상의 팩터에 관한 함수로 서 변하며,
    상기 팩터의 리스트는,
    상기 제 1 부분을 포함하는 프레임에서의 상기 제 1 부분의 위치,
    상기 제 1 부분을 포함하는 상기 프레임의 영역의 텍스처,
    상기 프레임을 포함하는 GOP (group of pictures) 내에서의 상기 제 1 부분을 포함하는 상기 프레임의 포지션,
    상기 제 1 부분을 포함하는 상기 프레임에서의 왜곡값의 분포,
    상기 제 1 부분을 포함하는 상기 프레임의 상기 영역의 모션 활동, 및
    상기 제 1 부분을 포함하는 상기 프레임의 인코딩 모드를 포함하는, 멀티미디어 데이터의 인코딩 방법.
  5. 제 1 항에 있어서,
    상기 추정된 왜곡값과 임계값과의 비교에 기초하여 상기 제 1 부분을 리프레시하도록 상기 제 1 부분을 인트라-코딩하는 단계를 더 포함하는, 멀티미디어 데이터의 인코딩 방법.
  6. 제 1 항에 있어서,
    상기 하나 이상의 은닉 방법에 의해 이용된 예측 데이터의 에러의 확률에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하는 단계를 더 포함하는, 멀티미디어 데이터의 인코딩 방법.
  7. 제 1 항에 있어서,
    상기 하나 이상의 은닉 방법에 의해 구성된 상기 제 1 부분의 버전과 상기 제 1 부분의 에러 없는 버전 사이의 픽셀값 차이에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하는 단계를 더 포함하는, 멀티미디어 데이터의 인코딩 방법.
  8. 제 1 항에 있어서,
    상기 제 1 부분의 왜곡값을 추정하는 단계는,
    상기 하나 이상의 은닉 방법의 각각에 대한 상기 왜곡값의 왜곡 성분들을 추정하는 단계를 더 포함하는, 멀티미디어 데이터의 인코딩 방법.
  9. 제 1 항에 있어서,
    상기 제 1 부분의 왜곡값을 추정하는 단계는,
    상기 제 1 부분이 에러로 수신되었으면, 상기 제 1 부분을 은닉하는 것과 관련된 상기 하나 이상의 은닉 방법에 의해 이용되는 다수의 예측 영역으로부터의 누적 왜곡값의 가중 평균치를 구하는 단계를 더 포함하며,
    상기 가중 평균치를 구하는 단계는 상기 예측 영역의 사이즈에 적어도 부분적으로 기초하는, 멀티미디어 데이터의 인코딩 방법.
  10. 제 1 항에 있어서,
    상기 제 1 부분은 프레임에 포함되고,
    상기 멀티미디어 데이터의 인코딩 방법은,
    상기 프레임에 포함된 멀티미디어 데이터의 하나 이상의 제 2 부분에 대한 하나 이상의 제 2 왜곡값을 추정하는 단계; 및
    상기 프레임에 포함된 멀티미디어 데이터의 상기 제 1 부분 및 상기 제 2 부분의 상기 추정된 왜곡값들을 포함하는 왜곡 맵을 형성하는 단계를 더 포함하는, 멀티미디어 데이터의 인코딩 방법.
  11. 제 10 항에 있어서,
    상기 인코딩 방법을 결정하는 단계는,
    상기 왜곡 맵에 적어도 부분적으로 기초하여 상기 제 1 부분 및 상기 제 2 부분에 대한 하나 이상의 인코딩 방법을 결정하는 단계를 더 포함하는, 멀티미디어 데이터의 인코딩 방법.
  12. 제 11 항에 있어서,
    상기 하나 이상의 인코딩 방법을 결정하는 단계는,
    상기 왜곡 맵에서의 상기 왜곡값과 하나 이상의 임계값과의 비교에 기초하여 상기 제 1 부분 및 상기 제 2 부분을 리프레시하도록, 상기 하나 이상의 인코딩 방법을 결정하는 단계를 더 포함하는, 멀티미디어 데이터의 인코딩 방법.
  13. 제 12 항에 있어서,
    상기 하나 이상의 임계값은 팩터의 리스트로부터 선택된 하나 이상의 팩터에 관한 함수로서 변하며,
    상기 팩터의 리스트는,
    상기 프레임에서의 상기 제 1 부분 및 상기 제 2 부분의 위치,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 영역들의 텍스처,
    상기 프레임을 포함하는 GOP (group of pictures) 내에서의 상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 포지션,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임에 대한 상기 왜곡 맵에서의 왜곡값의 분포,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 영역들의 모션 활동, 및
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 인코딩 모드를 포함하는, 멀티미디어 데이터의 인코딩 방법.
  14. 멀티미디어 데이터의 제 1 부분이 에러로 수신되었으면, 상기 제 1 부분을 은닉하는 것과 관련된 하나 이상의 은닉 방법에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하고;
    상기 추정된 왜곡값에 적어도 부분적으로 기초하여 상기 제 1 부분에 대한 인코딩 방법을 결정하도록 구성된, 멀티미디어 데이터 프로세서.
  15. 제 14 항에 있어서,
    상기 멀티미디어 데이터 프로세서는, 또한, 상기 결정된 인코딩 방법을 이용하여 상기 제 1 부분을 인코딩하도록 구성된, 멀티미디어 데이터 프로세서.
  16. 제 14 항에 있어서,
    상기 멀티미디어 데이터 프로세서는, 또한, 상기 추정된 왜곡값과 임계값과의 비교에 기초하여 상기 제 1 부분을 리프레시하도록 상기 인코딩 방법을 결정하도록 구성된, 멀티미디어 데이터 프로세서.
  17. 제 16 항에 있어서,
    상기 임계값은 팩터의 리스트로부터 선택된 하나 이상의 팩터에 관한 함수로서 변하며,
    상기 팩터의 리스트는,
    상기 제 1 부분을 포함하는 프레임에서의 상기 제 1 부분의 위치,
    상기 제 1 부분을 포함하는 상기 프레임의 영역의 텍스처,
    상기 프레임을 포함하는 GOP (group of pictures) 내에서의 상기 제 1 부분을 포함하는 상기 프레임의 포지션,
    상기 제 1 부분을 포함하는 상기 프레임에서의 왜곡값의 분포,
    상기 제 1 부분을 포함하는 상기 프레임의 상기 영역의 모션 활동, 및
    상기 제 1 부분을 포함하는 상기 프레임의 인코딩 모드를 포함하는, 멀티미디어 데이터 프로세서.
  18. 제 14 항에 있어서,
    상기 멀티미디어 데이터 프로세서는, 또한, 상기 추정된 왜곡값과 임계값과의 비교에 기초하여 상기 제 1 부분을 리프레시하도록 상기 제 1 부분을 인트라-코딩하도록 구성된, 멀티미디어 데이터 프로세서.
  19. 제 14 항에 있어서,
    상기 멀티미디어 데이터 프로세서는, 또한, 상기 하나 이상의 은닉 방법에 의해 이용된 예측 데이터의 에러의 확률에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하도록 구성된, 멀티미디어 데이터 프로세서.
  20. 제 14 항에 있어서,
    상기 멀티미디어 데이터 프로세서는, 또한, 상기 하나 이상의 은닉 방법에 의해 구성된 상기 제 1 부분의 버전과 상기 제 1 부분의 에러 없는 버전 사이의 픽셀값 차이에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하도록 구성된, 멀티미디어 데이터 프로세서.
  21. 제 14 항에 있어서,
    상기 멀티미디어 데이터 프로세서는, 또한, 상기 하나 이상의 은닉 방법의 각각에 대한 상기 왜곡값의 왜곡 성분들을 추정하도록 구성된, 멀티미디어 데이터 프로세서.
  22. 제 14 항에 있어서,
    상기 멀티미디어 데이터 프로세서는, 또한, 상기 제 1 부분이 에러로 수신되었으면, 상기 제 1 부분을 은닉하는 것과 관련된 상기 하나 이상의 은닉 방법에 의해 이용되는 다수의 예측 영역으로부터의 누적 왜곡값을 가중 평균하도록 구성되며,
    상기 가중 평균은 상기 예측 영역의 사이즈에 적어도 부분적으로 기초하는, 멀티미디어 데이터 프로세서.
  23. 제 14 항에 있어서,
    상기 제 1 부분은 프레임에 포함되고,
    상기 멀티미디어 데이터 프로세서는, 또한,
    상기 프레임에 포함된 멀티미디어 데이터의 하나 이상의 제 2 부분에 대한 하나 이상의 제 2 왜곡값을 추정하고;
    상기 프레임에 포함된 멀티미디어 데이터의 상기 제 1 부분 및 상기 제 2 부 분의 상기 추정된 왜곡값을 포함하는 왜곡 맵을 형성하도록 구성되는, 멀티미디어 데이터 프로세서.
  24. 제 23 항에 있어서,
    상기 멀티미디어 데이터 프로세서는, 또한, 상기 왜곡 맵에 적어도 부분적으로 기초하여 상기 제 1 부분 및 상기 제 2 부분에 대한 하나 이상의 인코딩 방법을 결정하도록 구성된, 멀티미디어 데이터 프로세서.
  25. 제 24 항에 있어서,
    상기 멀티미디어 데이터 프로세서는, 또한, 상기 왜곡 맵에서의 상기 왜곡값과 하나 이상의 임계값과의 비교에 기초하여 상기 제 1 부분 및 상기 제 2 부분을 리프레시하도록, 상기 하나 이상의 인코딩 방법을 결정하도록 구성된, 멀티미디어 데이터 프로세서.
  26. 제 25 항에 있어서,
    상기 하나 이상의 임계값은 팩터의 리스트로부터 선택된 하나 이상의 팩터에 관한 함수로서 변하며,
    상기 팩터의 리스트는,
    상기 프레임에서의 상기 제 1 부분 및 상기 제 2 부분의 위치,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 영역들 의 텍스처,
    상기 프레임을 포함하는 GOP (group of pictures) 내에서의 상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 포지션,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임에 대한 상기 왜곡 맵에서의 왜곡값의 분포,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 영역들의 모션 활동, 및
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 인코딩 모드를 포함하는, 멀티미디어 데이터 프로세서.
  27. 멀티미디어 데이터의 제 1 부분이 에러로 수신되었으면, 상기 제 1 부분을 은닉하는 것과 관련된 하나 이상의 은닉 방법에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하기 위한 추정기; 및
    상기 추정된 왜곡값에 적어도 부분적으로 기초하여, 상기 제 1 부분에 대한 인코딩 방법을 결정하기 위한 결정기를 포함하는, 멀티미디어 데이터의 인코딩 장치.
  28. 제 27 항에 있어서,
    상기 결정된 인코딩 방법을 이용하여 상기 제 1 부분을 인코딩하기 위한 인코더를 더 포함하는, 멀티미디어 데이터의 인코딩 장치.
  29. 제 27 항에 있어서,
    상기 결정기는, 상기 추정된 왜곡값과 임계값과의 비교에 기초하여 상기 제 1 부분을 리프레시하도록 상기 인코딩 방법을 결정하는, 멀티미디어 데이터의 인코딩 장치.
  30. 제 29 항에 있어서,
    상기 임계값은 팩터의 리스트로부터 선택된 하나 이상의 팩터에 관한 함수로서 변하며,
    상기 팩터의 리스트는,
    상기 제 1 부분을 포함하는 프레임에서의 상기 제 1 부분의 위치,
    상기 제 1 부분을 포함하는 상기 프레임의 영역의 텍스처,
    상기 프레임을 포함하는 GOP (group of pictures) 내에서의 상기 제 1 부분을 포함하는 상기 프레임의 포지션,
    상기 제 1 부분을 포함하는 상기 프레임에서의 왜곡값의 분포,
    상기 제 1 부분을 포함하는 상기 프레임의 상기 영역의 모션 활동, 및
    상기 제 1 부분을 포함하는 상기 프레임의 인코딩 모드를 포함하는, 멀티미디어 데이터의 인코딩 장치.
  31. 제 27 항에 있어서,
    상기 추정된 왜곡값과 임계값과의 비교에 기초하여 상기 제 1 부분을 리프레시하도록 상기 제 1 부분을 인트라-코딩하기 위한 인코더를 더 포함하는, 멀티미디어 데이터의 인코딩 장치.
  32. 제 27 항에 있어서,
    상기 추정기는, 상기 하나 이상의 은닉 방법에 의해 이용된 예측 데이터의 에러의 확률에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하는, 멀티미디어 데이터의 인코딩 장치.
  33. 제 27 항에 있어서,
    상기 추정기는, 상기 하나 이상의 은닉 방법에 의해 구성된 상기 제 1 부분의 버전과 상기 제 1 부분의 에러 없는 버전 사이의 픽셀값 차이에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하는, 멀티미디어 데이터의 인코딩 장치.
  34. 제 27 항에 있어서,
    상기 추정기는, 상기 하나 이상의 은닉 방법의 각각에 대한 상기 왜곡값의 왜곡 성분들을 추정하는, 멀티미디어 데이터의 인코딩 장치.
  35. 제 27 항에 있어서,
    상기 추정기는, 상기 제 1 부분이 에러로 수신되었으면, 상기 제 1 부분을 은닉하는 것과 관련된 상기 하나 이상의 은닉 방법에 의해 이용되는 다수의 예측 영역으로부터 누적 왜곡값의 가중 평균치를 구함으로써 상기 왜곡값을 추정하며,
    상기 가중 평균치를 구하는 것은 상기 예측 영역의 사이즈에 적어도 부분적으로 기초하는, 멀티미디어 데이터의 인코딩 장치.
  36. 제 27 항에 있어서,
    상기 제 1 부분은 프레임에 포함되고,
    상기 추정기는, 상기 프레임에 포함된 멀티미디어 데이터의 하나 이상의 제 2 부분에 대한 하나 이상의 제 2 왜곡값을 추정하고, 상기 프레임에 포함된 멀티미디어 데이터의 상기 제 1 부분 및 상기 제 2 부분의 상기 추정된 왜곡값들을 포함하는 왜곡 맵을 형성하는, 멀티미디어 데이터의 인코딩 장치.
  37. 제 36 항에 있어서,
    상기 결정기는, 상기 왜곡 맵에 적어도 부분적으로 기초하여 상기 제 1 부분 및 상기 제 2 부분에 대한 하나 이상의 인코딩 방법을 결정하는, 멀티미디어 데이터의 인코딩 장치.
  38. 제 37 항에 있어서,
    상기 결정기는, 상기 왜곡 맵에서의 상기 왜곡값과 하나 이상의 임계값과의 비교에 기초하여 상기 제 1 부분 및 상기 제 2 부분을 리프레시하도록, 상기 하나 이상의 인코딩 방법을 결정하는, 멀티미디어 데이터의 인코딩 장치.
  39. 제 38 항에 있어서,
    상기 하나 이상의 임계값은 팩터의 리스트로부터 선택된 하나 이상의 팩터에 관한 함수로서 변하며,
    상기 팩터의 리스트는,
    상기 프레임에서의 상기 제 1 부분 및 상기 제 2 부분의 위치,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 영역들의 텍스처,
    상기 프레임을 포함하는 GOP (group of pictures) 내에서의 상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 포지션,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임에 대한 상기 왜곡 맵에서의 왜곡값의 분포,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 영역들의 모션 활동, 및
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 인코딩 모드를 포함하는, 멀티미디어 데이터의 인코딩 장치.
  40. 멀티미디어 데이터의 제 1 부분이 에러로 수신되었으면, 상기 제 1 부분을 은닉하는 것과 관련된 하나 이상의 은닉 방법에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하는 수단; 및
    상기 추정된 왜곡값에 적어도 부분적으로 기초하여, 상기 제 1 부분에 대한 인코딩 방법을 결정하는 수단을 포함하는, 멀티미디어 데이터의 인코딩 장치.
  41. 제 40 항에 있어서,
    상기 결정된 인코딩 방법을 이용하여 상기 제 1 부분을 인코딩하는 수단을 더 포함하는, 멀티미디어 데이터의 인코딩 장치.
  42. 제 40 항에 있어서,
    상기 인코딩 방법을 결정하는 수단은, 상기 추정된 왜곡값과 임계값과의 비교에 기초하여 상기 제 1 부분을 리프레시하도록 상기 인코딩 방법을 결정하는, 멀티미디어 데이터의 인코딩 장치.
  43. 제 42 항에 있어서,
    상기 임계값은 팩터의 리스트로부터 선택된 하나 이상의 팩터에 관한 함수로서 변하며,
    상기 팩터의 리스트는,
    상기 제 1 부분을 포함하는 프레임에서의 상기 제 1 부분의 위치,
    상기 제 1 부분을 포함하는 상기 프레임의 영역의 텍스처,
    상기 프레임을 포함하는 GOP (group of pictures) 내에서의 상기 제 1 부분을 포함하는 상기 프레임의 포지션,
    상기 제 1 부분을 포함하는 상기 프레임에서의 왜곡값의 분포,
    상기 제 1 부분을 포함하는 상기 프레임의 상기 영역의 모션 활동, 및
    상기 제 1 부분을 포함하는 상기 프레임의 인코딩 모드를 포함하는, 멀티미디어 데이터의 인코딩 장치.
  44. 제 40 항에 있어서,
    상기 추정된 왜곡값과 임계값과의 비교에 기초하여 상기 제 1 부분을 리프레시하도록 상기 제 1 부분을 인트라-코딩하는 수단을 더 포함하는, 멀티미디어 데이터의 인코딩 장치.
  45. 제 40 항에 있어서,
    상기 추정하는 수단은, 상기 하나 이상의 은닉 방법에 의해 이용된 예측 데이터의 에러의 확률에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하는, 멀티미디어 데이터의 인코딩 장치.
  46. 제 40 항에 있어서,
    상기 추정하는 수단은, 상기 하나 이상의 은닉 방법에 의해 구성된 상기 제 1 부분의 버전과 상기 제 1 부분의 에러 없는 버전 사이의 픽셀값 차이에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하는, 멀티미디어 데이터의 인코딩 장치.
  47. 제 40 항에 있어서,
    상기 추정하는 수단은, 상기 하나 이상의 은닉 방법의 각각에 대한 상기 왜곡값의 왜곡 성분들을 추정함으로써, 상기 제 1 부분의 왜곡값을 추정하는, 멀티미디어 데이터의 인코딩 장치.
  48. 제 40 항에 있어서,
    상기 추정하는 수단은, 상기 제 1 부분이 에러로 수신되었으면, 상기 제 1 부분을 은닉하는 것과 관련된 상기 하나 이상의 은닉 방법에 의해 이용되는 다수의 예측 영역으로부터의 누적 왜곡값의 가중 평균치를 구함으로써 상기 왜곡값을 추정하며,
    상기 가중 평균치를 구하는 것은 상기 예측 영역의 사이즈에 적어도 부분적으로 기초하는, 멀티미디어 데이터의 인코딩 장치.
  49. 제 40 항에 있어서,
    상기 제 1 부분은 프레임에 포함되고,
    상기 추정하는 수단은, 상기 프레임에 포함된 멀티미디어 데이터의 하나 이상의 제 2 부분에 대한 하나 이상의 제 2 왜곡값을 추정하고, 상기 프레임에 포함 된 멀티미디어 데이터의 상기 제 1 부분 및 상기 제 2 부분의 상기 추정된 왜곡값들을 포함하는 왜곡 맵을 형성하는, 멀티미디어 데이터의 인코딩 장치.
  50. 제 49 항에 있어서,
    상기 결정하는 수단은, 상기 왜곡 맵에 적어도 부분적으로 기초하여 상기 제 1 부분 및 상기 제 2 부분에 대한 하나 이상의 인코딩 방법을 결정하는, 멀티미디어 데이터의 인코딩 장치.
  51. 제 50 항에 있어서,
    상기 결정하는 수단은, 상기 왜곡 맵에서의 상기 왜곡값과 하나 이상의 임계값과의 비교에 기초하여 상기 제 1 부분 및 상기 제 2 부분을 리프레시하도록, 상기 하나 이상의 인코딩 방법을 결정하는, 멀티미디어 데이터의 인코딩 장치.
  52. 제 51 항에 있어서,
    상기 하나 이상의 임계값은 팩터의 리스트로부터 선택된 하나 이상의 팩터에 관한 함수로서 변하며,
    상기 팩터의 리스트는,
    상기 프레임에서의 상기 제 1 부분 및 상기 제 2 부분의 위치,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 영역들의 텍스처,
    상기 프레임을 포함하는 GOP (group of pictures) 내에서의 상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 포지션,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임에 대한 상기 왜곡 맵에서의 왜곡값의 분포,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 영역들의 모션 활동, 및
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 인코딩 모드를 포함하는, 멀티미디어 데이터의 인코딩 장치.
  53. 실행 시에 머신으로 하여금,
    멀티미디어 데이터의 제 1 부분이 에러로 수신되었으면, 상기 제 1 부분을 은닉하는 것과 관련된 하나 이상의 은닉 방법에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하게 하고;
    상기 추정된 왜곡값에 적어도 부분적으로 기초하여, 상기 제 1 부분에 대한 인코딩 방법을 결정하게 하는 명령들을 포함하는, 머신 판독가능 매체.
  54. 제 53 항에 있어서,
    실행 시에 상기 머신으로 하여금, 상기 결정된 인코딩 방법을 이용하여 상기 제 1 부분을 인코딩하게 하는 명령들을 더 포함하는, 머신 판독가능 매체.
  55. 제 53 항에 있어서,
    실행 시에 상기 머신으로 하여금, 상기 추정된 왜곡값과 임계값과의 비교에 기초하여 상기 제 1 부분을 리프레시하도록 상기 인코딩 방법을 결정하게 하는 명령들을 더 포함하는, 머신 판독가능 매체.
  56. 제 55 항에 있어서,
    상기 임계값은 팩터의 리스트로부터 선택된 하나 이상의 팩터에 관한 함수로서 변하며,
    상기 팩터의 리스트는,
    상기 제 1 부분을 포함하는 프레임에서의 상기 제 1 부분의 위치,
    상기 제 1 부분을 포함하는 상기 프레임의 영역의 텍스처,
    상기 프레임을 포함하는 GOP (group of pictures) 내에서의 상기 제 1 부분을 포함하는 상기 프레임의 포지션,
    상기 제 1 부분을 포함하는 상기 프레임에서의 왜곡값의 분포,
    상기 제 1 부분을 포함하는 상기 프레임의 상기 영역의 모션 활동, 및
    상기 제 1 부분을 포함하는 상기 프레임의 인코딩 모드를 포함하는, 머신 판독가능 매체.
  57. 제 53 항에 있어서,
    실행 시에 상기 머신으로 하여금, 상기 추정된 왜곡값과 임계값과의 비교에 기초하여 상기 제 1 부분을 리프레시하도록 상기 제 1 부분을 인트라-코딩하게 하는 명령들을 더 포함하는, 머신 판독가능 매체.
  58. 제 53 항에 있어서,
    실행 시에 상기 머신으로 하여금, 상기 하나 이상의 은닉 방법에 의해 이용된 예측 데이터의 에러의 확률에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하게 하는 명령들을 더 포함하는, 머신 판독가능 매체.
  59. 제 53 항에 있어서,
    실행 시에 상기 머신으로 하여금, 상기 하나 이상의 은닉 방법에 의해 구성된 상기 제 1 부분의 버전과 상기 제 1 부분의 에러 없는 버전 사이의 픽셀값 차이에 적어도 부분적으로 기초하여, 상기 제 1 부분의 왜곡값을 추정하게 하는 명령들을 더 포함하는, 머신 판독가능 매체.
  60. 제 53 항에 있어서,
    실행 시에 상기 머신으로 하여금, 상기 하나 이상의 은닉 방법의 각각에 대한 상기 왜곡값의 왜곡 성분들을 추정하게 하는 명령들을 더 포함하는, 머신 판독가능 매체.
  61. 제 53 항에 있어서,
    실행 시에 상기 머신으로 하여금, 상기 제 1 부분이 에러로 수신되었으면, 상기 제 1 부분을 은닉하는 것과 관련된 상기 하나 이상의 은닉 방법에 의해 이용되는 다수의 예측 영역으로부터의 누적 왜곡값의 가중 평균치를 구하게 하는 명령들을 더 포함하며,
    상기 가중 평균치를 구하는 것은 상기 예측 영역의 사이즈에 적어도 부분적으로 기초하는, 머신 판독가능 매체.
  62. 제 53 항에 있어서,
    상기 제 1 부분은 프레임에 포함되고,
    상기 머신 판독가능 매체는, 실행 시에 상기 머신으로 하여금,
    상기 프레임에 포함된 멀티미디어 데이터의 하나 이상의 제 2 부분에 대한 하나 이상의 제 2 왜곡값을 추정하게 하고;
    상기 프레임에 포함된 멀티미디어 데이터의 상기 제 1 부분 및 상기 제 2 부분의 상기 추정된 왜곡값들을 포함하는 왜곡 맵을 형성하게 하는 명령들을 더 포함하는, 머신 판독가능 매체.
  63. 제 62 항에 있어서,
    실행 시에 상기 머신으로 하여금, 상기 왜곡 맵에 적어도 부분적으로 기초하여 상기 제 1 부분 및 상기 제 2 부분에 대한 하나 이상의 인코딩 방법을 결정하게 하는 명령들을 더 포함하는, 머신 판독가능 매체.
  64. 제 63 항에 있어서,
    상기 왜곡 맵에서의 상기 왜곡값과 하나 이상의 임계값과의 비교에 기초하여 상기 제 1 부분 및 상기 제 2 부분을 리프레시하도록, 상기 하나 이상의 인코딩 방법을 결정하게 하는 명령들을 더 포함하는, 머신 판독가능 매체.
  65. 제 64 항에 있어서,
    상기 하나 이상의 임계값은 팩터의 리스트로부터 선택된 하나 이상의 팩터에 관한 함수로서 변하며,
    상기 팩터의 리스트는,
    상기 프레임에서의 상기 제 1 부분 및 상기 제 2 부분의 위치,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 영역들의 텍스처,
    상기 프레임을 포함하는 GOP (group of pictures) 내에서의 상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 포지션,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임에 대한 상기 왜곡 맵에서의 왜곡값의 분포,
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 영역들의 모션 활동, 및
    상기 제 1 부분 및 상기 제 2 부분을 포함하는 상기 프레임의 인코딩 모드를 포함하는, 머신 판독가능 매체.
KR1020087020394A 2006-01-20 2007-01-19 에러 은닉과 관련된 왜곡값에 기초한 인코딩 방법을 결정하는 방법 및 장치 KR20080098042A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US76067806P 2006-01-20 2006-01-20
US60/760,678 2006-01-20

Publications (1)

Publication Number Publication Date
KR20080098042A true KR20080098042A (ko) 2008-11-06

Family

ID=38169856

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087020394A KR20080098042A (ko) 2006-01-20 2007-01-19 에러 은닉과 관련된 왜곡값에 기초한 인코딩 방법을 결정하는 방법 및 장치

Country Status (11)

Country Link
US (1) US8325822B2 (ko)
EP (1) EP1980115B1 (ko)
JP (1) JP4908522B2 (ko)
KR (1) KR20080098042A (ko)
CN (1) CN101375602B (ko)
AR (1) AR059105A1 (ko)
AT (1) ATE450118T1 (ko)
DE (1) DE602007003441D1 (ko)
ES (1) ES2336039T3 (ko)
TW (1) TW200737995A (ko)
WO (1) WO2007084994A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210074360A (ko) * 2019-03-06 2021-06-21 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 처리 방법, 디바이스 및 장치, 그리고 저장 매체

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
US8325822B2 (en) 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
US8121189B2 (en) * 2007-09-20 2012-02-21 Microsoft Corporation Video decoding using created reference pictures
EP2051525A1 (en) 2007-10-15 2009-04-22 Mitsubishi Electric Information Technology Centre Europe B.V. Bandwidth and content dependent transmission of scalable video layers
US9848209B2 (en) * 2008-04-02 2017-12-19 Microsoft Technology Licensing, Llc Adaptive error detection for MPEG-2 error concealment
US9788018B2 (en) * 2008-06-30 2017-10-10 Microsoft Technology Licensing, Llc Error concealment techniques in video decoding
US9924184B2 (en) * 2008-06-30 2018-03-20 Microsoft Technology Licensing, Llc Error detection, protection and recovery for video decoding
US9131241B2 (en) 2008-11-25 2015-09-08 Microsoft Technology Licensing, Llc Adjusting hardware acceleration for video playback based on error detection
JP5554831B2 (ja) * 2009-04-28 2014-07-23 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 歪みの重み付け
US8340510B2 (en) 2009-07-17 2012-12-25 Microsoft Corporation Implementing channel start and file seek for decoder
TWI412282B (zh) * 2009-11-17 2013-10-11 Univ Nat Cheng Kung 可隱藏傳輸錯誤之視訊解碼裝置與相關方法
US9219925B2 (en) 2010-01-14 2015-12-22 Sumitomo Electric Industries, Ltd. Video image coded data display method, device, and communications system
US20110249127A1 (en) * 2010-04-07 2011-10-13 Cisco Technology, Inc. Estimating Video Quality Corruption in Lossy Networks
US8463677B2 (en) 2010-08-12 2013-06-11 Net Power And Light, Inc. System architecture and methods for experimental computing
US9172979B2 (en) * 2010-08-12 2015-10-27 Net Power And Light, Inc. Experience or “sentio” codecs, and methods and systems for improving QoE and encoding based on QoE experiences
US9557817B2 (en) 2010-08-13 2017-01-31 Wickr Inc. Recognizing gesture inputs using distributed processing of sensor data from multiple sensors
US8429704B2 (en) 2010-10-21 2013-04-23 Net Power And Light, Inc. System architecture and method for composing and directing participant experiences
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
GB2491589B (en) 2011-06-06 2015-12-16 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of image
US9667942B2 (en) * 2012-11-20 2017-05-30 Qualcomm Incorporated Adaptive luminance compensation in three dimensional video coding
FR3000350A1 (fr) * 2012-12-21 2014-06-27 France Telecom Procede et dispositif de transmission d'une sequence d'images, procede et dispositif de reception, programme d'ordinateur et support d'enregistrement correspondants.
US9756356B2 (en) * 2013-06-24 2017-09-05 Dialogic Corporation Application-assisted spatio-temporal error concealment for RTP video
CN116437104A (zh) * 2017-05-19 2023-07-14 松下电器（美国）知识产权公司 解码方法和编码方法
KR102574175B1 (ko) * 2017-06-05 2023-09-04 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
EP3829169B1 (en) * 2019-11-29 2021-10-13 Axis AB Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions
CN111935545B (zh) * 2020-08-03 2023-03-24 腾讯音乐娱乐科技（深圳）有限公司 转码视频数据的方法、装置、设备及存储介质
CN113709479B (zh) * 2021-03-19 2022-12-06 杭州海康威视数字技术股份有限公司 基于自适应帧内刷新机制的解码、编码方法及相关设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613015A (en) 1992-11-12 1997-03-18 Fuji Xerox Co., Ltd. Image signal analyzing system and coding system
US5627935A (en) 1994-11-11 1997-05-06 Samsung Electronics Co., Ltd. Error-correction-code coding & decoding procedures for the recording & reproduction of digital video data
US5793895A (en) 1996-08-28 1998-08-11 International Business Machines Corporation Intelligent error resilient video encoder
US6037985A (en) 1996-10-31 2000-03-14 Texas Instruments Incorporated Video compression
JP3223962B2 (ja) 1997-01-24 2001-10-29 松下電器産業株式会社 画像復号化方法
RU2217882C2 (ru) 1997-08-12 2003-11-27 Томсон Конзьюмер Электроникс, Инк. Устройство для сжатия блоков пикселов в системе обработки изображений
US6025888A (en) 1997-11-03 2000-02-15 Lucent Technologies Inc. Method and apparatus for improved error recovery in video transmission over wireless channels
JPH11331839A (ja) 1998-05-13 1999-11-30 Matsushita Electric Ind Co Ltd 映像伝送再送の装置及び方法
JP3748717B2 (ja) 1998-08-31 2006-02-22 シャープ株式会社 動画像符号化装置
US6466624B1 (en) 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
JP3166736B2 (ja) 1998-11-25 2001-05-14 日本電気株式会社 動画像符号化装置および動画像符号化方法
GB2347038A (en) 1999-02-18 2000-08-23 Nokia Mobile Phones Ltd A video codec using re-transmission
JP2002016913A (ja) 2000-06-28 2002-01-18 Yamaha Corp トランスコーディング方法およびトランスコーディング装置
JP4644939B2 (ja) * 2001-01-17 2011-03-09 日本電気株式会社 動画像符号化装置および動画像符号化方法
JP2004531925A (ja) * 2001-03-05 2004-10-14 インタービデオインコーポレイテッド 圧縮されたビデオビットストリームにおける冗長な動きベクトルを符号化し復号するシステム及び方法
US6795076B2 (en) 2001-06-28 2004-09-21 Sun Microsystems, Inc. Graphics system with real-time convolved pixel readback
JP2003032689A (ja) 2001-07-18 2003-01-31 Sharp Corp 画像符号化装置、画像復号化装置及び動画像伝送システム
US20030235249A1 (en) 2002-06-25 2003-12-25 Chengji Zhao Video encoder and method for encoding video frames
US7034888B2 (en) 2003-03-26 2006-04-25 Silicon Integrated Systems Corp. Method for motion pixel detection
GB0314161D0 (en) 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment
KR100787655B1 (ko) 2003-12-22 2007-12-21 닛본 덴끼 가부시끼가이샤 동화상을 부호화하는 방법 및 장치
US7738561B2 (en) * 2004-11-16 2010-06-15 Industrial Technology Research Institute MPEG-4 streaming system with adaptive error concealment
US20070030894A1 (en) * 2005-08-03 2007-02-08 Nokia Corporation Method, device, and module for improved encoding mode control in video encoding
NZ566935A (en) 2005-09-27 2010-02-26 Qualcomm Inc Methods and apparatus for service acquisition
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
US20070086971A1 (en) * 2005-10-19 2007-04-19 Patrick Diet Acidic Cleaning Compositions
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
US8325822B2 (en) 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210074360A (ko) * 2019-03-06 2021-06-21 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 처리 방법, 디바이스 및 장치, 그리고 저장 매체

Also Published As

Publication number Publication date
ATE450118T1 (de) 2009-12-15
JP4908522B2 (ja) 2012-04-04
EP1980115B1 (en) 2009-11-25
ES2336039T3 (es) 2010-04-07
US8325822B2 (en) 2012-12-04
CN101375602B (zh) 2012-03-21
JP2009524364A (ja) 2009-06-25
WO2007084994A3 (en) 2007-10-04
CN101375602A (zh) 2009-02-25
DE602007003441D1 (de) 2010-01-07
US20070177678A1 (en) 2007-08-02
TW200737995A (en) 2007-10-01
AR059105A1 (es) 2008-03-12
WO2007084994A2 (en) 2007-07-26
EP1980115A2 (en) 2008-10-15

Similar Documents

Publication Publication Date Title
JP4908522B2 (ja) 誤り隠蔽に関連する歪み値に基づいてエンコード方法を決定する方法および装置
KR101032017B1 (ko) 무선 비디오 통신에서 에러 리질리언스 알고리즘의 방법 및장치
US8509313B2 (en) Video error concealment
US8428136B2 (en) Dynamic image encoding method and device and program using the same
US20060002466A1 (en) Prediction encoder/decoder and prediction encoding/decoding method
US20050265447A1 (en) Prediction encoder/decoder, prediction encoding/decoding method, and computer readable recording medium having recorded thereon program for implementing the prediction encoding/decoding method
KR101373896B1 (ko) 전처리기 방법 및 장치
US8743970B2 (en) Video decoding with error detection and concealment
US20100232506A1 (en) Method for handling local brightness variations in video
JP2006519565A (ja) ビデオ符号化
KR20000050599A (ko) 오류 은폐방법
JP2009532741A6 (ja) プリプロセッサ方法および装置
US9438925B2 (en) Video encoder with block merging and methods for use therewith
US11871034B2 (en) Intra block copy for screen content coding
EP4268460A1 (en) Temporal filter
Kale et al. Real time error concealment in H. 264 video decoder for embedded devices
Andrews et al. Test model 11 Purpose: Information
Andrews et al. Test model 12/Appendix II of H. 263 Version 3 Purpose: Information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20110519

Effective date: 20121130