KR20050098242A - 에러 은폐 중 생성되는 아티팩트들을 평활화하기 위한디코더 장치 및 방법 - Google Patents

에러 은폐 중 생성되는 아티팩트들을 평활화하기 위한디코더 장치 및 방법 Download PDF

Info

Publication number
KR20050098242A
KR20050098242A KR1020057012798A KR20057012798A KR20050098242A KR 20050098242 A KR20050098242 A KR 20050098242A KR 1020057012798 A KR1020057012798 A KR 1020057012798A KR 20057012798 A KR20057012798 A KR 20057012798A KR 20050098242 A KR20050098242 A KR 20050098242A
Authority
KR
South Korea
Prior art keywords
macroblocks
deblocking filter
error concealment
concealed
error
Prior art date
Application number
KR1020057012798A
Other languages
English (en)
Other versions
KR100970089B1 (ko
Inventor
크리스티나 고밀라
Original Assignee
톰슨 라이센싱 에스.에이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 에스.에이. filed Critical 톰슨 라이센싱 에스.에이.
Publication of KR20050098242A publication Critical patent/KR20050098242A/ko
Application granted granted Critical
Publication of KR100970089B1 publication Critical patent/KR100970089B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

코딩된 매크로블록들에 있는 에러들은 디코딩 중 디코더(10)에 있는 에러 은폐 스테이지(20)에 의해 은폐된다. 에러 은폐 스테이지에 의해 제공되는 에러 은폐된 매크로블록들은 디코더에 의해 출력되기 이전에 디블로킹 필터(22)에 의해 디블로킹되어 에러가 있는 픽셀 값들의 확산을 회피한다. 에러 은폐 스테이지(20)는 에러 은폐 기술에 따라 디블로킹 필터(22)를 제어하여 디코딩 필터의 강도를 조절하므로써 손실된 매크로블록들의 복구에 의해 인위적으로 생성되는 천이들에 대한 최대 강도를 강요한다.

Description

에러 은폐 중 생성되는 아티팩트들을 평활화하기 위한 디코더 장치 및 방법{DECODER APPARATUS AND METHOD FOR SMOOTHING ARTIFACTS CREATED DURING ERROR CONCEALMENT}
본 발명은 누락 데이터 또는 손상 데이터에 의해 초래되는 에러들을 완화하기 위해 에러 은폐를 수행하는 비디오 디코더에 관한 것이다.
많은 경우에, 비디오 스트림들은 저장과 전송을 촉진하기 위해 압축(코딩)되곤 한다. 드물지 않게, 이러한 코딩된 비디오 스트림들은 채널 에러들 및/또는 네트워크 혼잡으로 인해 전송중에 데이터 손실을 겪게 되거나 또는 손상된다. 디코딩시, 데이터의 손실/손상은 픽셀 값들의 누락으로서 드러난다. 이러한 누락/손상된 픽셀 값들의 원인이 될 수 있는 아티팩트들(artifacts)을 감소시키기 위해, 디코더는 동일 화상에서의 다른 매크로블록들로부터의 또는 다른 화상으로부터의 값들을 추정함으로써 이러한 누락/손상된 픽셀 값들을 "은폐(conceal)"할 것이다. '은폐'라는 용어는 디코더가 누락 또는 손상된 픽셀 값들을 실제로는 숨기지 않기 때문에 다소 틀린 것으로 이해될 수도 있다.
에러 은폐의 중요성에도 불구하고, 대부분의 디코더들은 실시간 애플리케이션을 위해 가장 간단하고 가장 빠른 은폐 알고리즘들만을 일반적으로 구현한다. 대부분의 실시간 애플리케이션에 대해, 에러 은폐를 달성하기 위한 2가지 상이한 어프로치가 존재한다. 그 중 하나의 어프로치는 올바르게 디코드된 이웃 매크로블록 중 하나를 복사하여, 누락된 매크로 블록을 대체하는 것을 제안한다. 이러한 어프로치는 재구성된 화상에 나타나는 블로킹 아티팩트들이 매우 가시적인 저품질 시스템 상에서의 애플리케이션을 발견한다. 두번째 어프로치는 올바르게 디코드된 이웃 매크로블록들의 경계 상의 픽셀 값들에 기초하여 누락된 매크로블록의 콘텐츠를 보간함으로써 블로킹 아티팩트들을 평활화한다. 후자의 카테고리에는 다음과 같은 2개의 서로 다른 스킴들이 채택된다: 즉, (1) 매크로블록/블록 내의 모든 픽셀들을 공통 평균값으로 대체하는 것; 및 매크로블록/블록 경계들까지의 픽셀 거리에 기초하여 가중된 예상치로 각 픽셀 값을 대체하는 것. 균일한 영역들과 기복이 있는 영역들 사이의 구별 기준 없이, 이러한 은폐 어프로치는 반대측 아티팩트를 생성하는 재구성된 화상을 흐리게 하는 경향이 있다.
따라서, 누락/손상된 픽셀 값들의 유도 프로세스에 의해 생성되는 블록킹 아티팩트들을 감소시킬 때 간편하고도 고성능을 달성할 수 있는 은폐 어프로치가 필요하다.
<발명의 개요>
간략히, 본 발명의 원리들의 바람직한 실시예에 따르면, ISO/ITU H.264 비디오 압축 표준에 따르는 비디오 디코더는, 누락/손상된 픽셀 값들을 갖는 디코드된 매크로블록들에서의 에러들을 은폐하기 위한 에러 은폐 스테이지를 포함한다. 에러 은폐 스테이지는 이전에 전송된 것으로 에러가 없었던 매크로블록들로부터 누락/손상된 픽셀 값들을 추정함으로써 이러한 은폐를 수행한다. 에러 은폐 스테이지에 의해 제공되는 매크로블록들은, 에러 은폐 프로세스의 부정확성에 의해 인위적으로 생성되는 천이들을 블록 해제(deblock)하는 디코더 내의 디블로킹 필터에 입력된다. 환언하면, 에러 은폐 스테이지는 디블로킹 필터에 의한 필터링 이전에 에러 은폐를 수행한다. 이러한 어프로치의 장점들은 2 요소로 볼 수 있다. 첫째는, 디블로킹 필터를 이용하여 에러 은폐 방법의 결과들을 확장시키는 것에 의해, 낮은 복잡도 요건으로 고품질이 달성될 수 있다. 둘째는, 디블로킹 이전의 에러 정정은 에러가 있는 블록들과 올바르게 디코드된 블록들간 천이들을 평활화 할 때 에러가 있는 픽셀 값들의 확산을 회피한다.
본 발명의 원리의 다른 면에 따르면, 에러 은폐 스테이지는 디블로킹 필터의 파라미터들을 변화시킨다. 특히, 에러 은폐 스테이지는 손실된 매크로블록들의 복구에 의해 인위적으로 생성되는 천이들 상에 최대 필터 강도를 강요하기 위해 디블로킹 필터의 파라미터들을 변화시킨다.
도 1은 본 발명의 원리에 따라 에러 은폐를 제공하는 디코더의 개략 블록도이다.
도 2는 도 1의 디코더가 에러 은폐를 달성하도록 동작하는 프로세스를 나타내는 플로우 챠트이다.
도 1은 본 발명의 원리에 따라 에러 은폐를 달성하기 위해 ISO/ITU H.264 표준을 따르는 비디오 디코더(10)의 개략 블록도를 나타낸다. 디코더(10)는 H.264 압축 표준에 따라 업스트림 인코더(도시되지 않음)에 의해 압축된(인코드된) 비디오 신호를 나타내는 입력 비트 스트림을 수신하는 엔트로피 디코딩 스테이지(12)를 포함한다. 엔트로피 디코딩 스테이지(12)는 입력 스트림을 디코드하여: (a) 변환된 계수들, (b) 모션 벡터들 및 기준 프레임 인덱스들, 및 (c) 제어 데이터를 산출한다. 스케일링/역 변환 스테이지(14)는 역 변환 및 스케일링을 위해 변환된 계수들을 수신하여 예측 에러를 재생성한다. 예측 에러는 인코더에서의 본래 화상과 디코더가 이전 전송된 데이터에 기초하여 얻을 수 있는 추정 화상 사이의 차이점을 반영한다. 스케일링/역 변환 스테이지(14)에 의해 제공되는 예측 에러는 인터-예측(inter-prediction) 또는 인트라-예측(intra-predicition) 중 어느 하나에 의해 취득되는 추정 화상과의 합산을 위해 합산 블록(18)에 전달된다.
인터 예측 모드에서 인코드되는 입력 매크로블록에 대해, 모션 보상 스테이지(16)는, 입력 비트-스트림에 보내져 온 모션 벡터들과 기준 프레임 인덱스들을 포함하는 입력 정보 및 디코더 버퍼에 이전에 저장된 대응 기준 프레임들로부터, 추정 화상을 제공하는 기능을 한다. 모션 보상 스테이지(16)로부터의 출력은 재구성된 화상을 제공하기 위해, 스케일링/역 변환 스테이지(14)에 의해 제공되는 에러 예측과의 합산을 위한 합산 블록(18)에 전달된다. 합산 블록(18)으로부터 출력되는 재구성된 화상에서의 각 매크로블록은 에러 은폐 스테이지(20)에 전달되며, 이는 매크로블록이 누락 또는 손상된 픽셀 값들을 갖고 있는지 여부를 검출한다. 그렇다면, 에러 은폐 스테이지(20)는 손실된 또는 손상된 픽셀 값들을 추정 픽셀 값들로 대체할 것이다. 에러 은폐 스테이지(20)에 의해 출력되는 에러-은폐된 매크로블록은 디블로킹 필터(22)에서 디블로킹을 경험한다. 본 발명의 원리에 따르면, 디블로킹 필터(22)는 은폐되는 화상 상에 수행되는 필터링의 강도를 변화시킬 수 있도록 조정가능한 파라미터들을 갖는다. 디블로킹 필터(22)는 디코더(10)의 출력 화상을 제공한다. 이 때, 비트-스트림에 기준 화상들로서 표시되는 화상들은 모션 보상 블록(16)에 대한 입력들 중 하나로서 기능하는 기준 프레임 버퍼에 저장된다.
인트라 예측 모드에서 인코드되는 입력 매크로블록들에 대해, 인트라-예측 스테이지(24)는 코딩된 입력 비트-스트림 상에 보내져 온 인트라-예측 모드들에 따라 추정 화상을 제공할 것이다. 인트라-예측 스테이지(24)에 의해 제공되는 추정 화상은 재구성된 화상을 제공하기 위해, 스케일링/역 변환 스테이지(14)에 의해 제공되는 에러 예측과의 합산을 위한 합산 블록(18)에 전달된다. 합산 블록18)에 의해 출력되는 각각의 인터-예측된 매크로블록은, 합산 블록에 의해 출력되는 각각의 인트라-예측된 매크로블록과 같이, 에러 은폐 스테이지(20)에서 에러 은폐 및 그 후 디블로킹 필터(22)에 의한 디블로킹을 경험한다.
도 2는, 에러 은폐를 달성하고, 디블로킹 필터(22)의 파라미터들을 조절하여 에러 은폐로부터 초래되는 천이들 상에 최대 필터링을 얻기 위해, 도 1의 디코더(10) 내에서의 에러 은폐 스테이지(20)에 의해 수행되는 단계들을 나타내는 플로우 챠트이다. 도 2의 단계 100에서는, 에러 은폐 스테이지(20)가 도 1의 합산 블록(18)으로부터 수신되는 각각의 연속적인 입력 매크로블록에 대해 에러 검출을 수행함으로써 에러 은폐를 개시한다. 단계 120에서는, 에러를 검출하지 못하면, 에러 은폐 스테이지가 에러 은폐 프로세스를 종료하고(도 2의 단계 125), 수신된 매크로블록을 정정하지 않고 디블로킹 필터(22)에 출력한다. 수신된 매크로블록에 에러 은폐를 전혀 행하지 않으면, 에러 은폐 스테이지는 도 1의 디블로킹 필터(22)의 파라미터들에 대한 조정을 전혀 행하지 않는다.
단계 120에서 에러가 존재한다고 판정되면, 도 2의 단계 140에서, 도 1의 에러 은폐 스테이지(20)는 도 1의 합산 블록(18)로부터 수신되는 매크로블록이 인트라-코딩되었는지 여부에 대한 판정을 행한다. 에러들을 갖는 인트라-코딩된 블록은 단계 160에서 공간 에러 은폐를 경험하게 되는 한편, 인터-코딩된 블록은 단계 180에서 시간 은폐를 경험하게 된다.
공간 에러 은폐에 대한 다양한 기술이 존재하며 이는 다음의 것을 포함할 수 있다:
. 블록 복사(Block copy; BC)
이러한 어프로치에 의하면, 누락/손상된 매크로블록에 대한 대체는 올바르게 디코드된 이웃 매크로블록들 중 하나로부터 얻어진다.
. 픽셀 도메인 보간(Pixel domain interpolation; PDI):
누락/손상된 매크로블록 데이터는 올바르게 디코드된 이웃 매크로블록들의 경계에서의 픽셀 값들로부터 보간된다. PID를 달성하기 위한 2가지 서로 다른 어프로치가 존재한다. 예를 들어, 매크로블록 내의 모든 픽셀들이 공통 평균값으로 보간될 수 있다. 대안적으로는, 각 픽셀 값은 매크로블록 경계까지의 픽셀 거리에 기초하여 가중된 예측에 의해 얻어진다.
. 다중-방향성 보간(MDI; Multi-directional interpolation)
MDI 기술은 엣지 방향들을 따라 보간을 제공하기 때문에 PDI 기술의 개선된 버전을 이룬다. MDI를 달성하는 것은 방향성 보간 이전에 누락/손상된 픽셀 값 근처의 주요 외곽들의 방향성을 추정할 것을 요구한다.
. 최대 평활 복구(MSR; Maximally smooth recovery)
이산 코사인 변환(DCT; Discrete Cosine Transformation) 도메인에서는, 저주파 성분들이 에러 은폐를 위해 이용되어 인접 픽셀들과의 원활한 접속을 제공한다. 데이터 구획화 인코딩이 사용되는 경우, MSR 기술은 손상된 매크로블록/블록 내의 모든 데이터를 폐기하는 대신에 올바르게 수신된 DCT 계수들을 활용한다.
. 볼록 렌즈 세트들 상으로의 투사(POCS; Projection on convex sets)
본 기술에 따르면, 누락/손상된 픽셀 값들로 매크로블록을 둘러싸는 보다 큰 영역의 분류에 기초하여, 고속 푸리에 변환(FFT; Fast Fourier Transform) 도메인에서 적응성 필터링이 수행된다. 이러한 적응성 필터링은 평활한 영역들에 대해 저역 통과 필터링을 적용하는 한편 날카로운 영역들에 대해 엣지 필터를 적용하는 것을 포함한다. 이러한 프로시져는 필터링 반복을 포함하고, 취급되는 화상에 선험적 제약이 적용될 것이다.
상술한 기술들 이외에, 공간 에러 은폐는 이하의 방식으로 유리하게 달성될 수 있다. 각각의 식별된 매크로블록에 대해, 이웃 매크로블록들로부터 적어도 하나의 인트라-예측 모드가 유도된다. ISO/ITU H.264 비디오 화상 표준에 따라 화상이 코딩되는 경우, 각 매크로블록의 코딩에 2개의 인트라-코딩 타입들이 사용될 수 있다: (1) Intra_16x16 타입에 대해서는, 전체 매크로블록에 대해 단일 인트라 예측 모드가 유도되고; Intra_4x4 타입에 대해서는, 매크로블록 내의 4x4 픽셀들로 구성되는 각 서브-매크로블록에 대해 인트라 예측 모드가 유도된다(이 경우, 코딩된 매크로블록 당 16개의 인트라 예측 모드가 존재한다). 유도된 인트라-예측 모드들은 그 후 누락 픽셀 값들을 생성하는데 적용된다. 유도된 인트라 예측 모드가 누락 또는 손상된 픽셀 값들을 추정하는데 적용되는 프로세스는, 코딩 노력을 감소하도록 코딩되지 않은 값들을 추정(예측)하기 위해 디코딩 중에 채택되는 유도 프로세스에 대응한다. 환언하면, 본 기술은 공간 에러 은폐 목적으로 코딩에 일반적으로 사용되는 인트라 예측 모드 정보를 활용한다. 특정 매크로블록을 참조하는 코딩된 데이터가 손실 또는 손상되는 경우, 이웃 매크로블록들로부터 유도된 인트라 예측 모드는 공간 에러 은폐를 위해 어느 것이 최상의 보간 방향인지에 대한 중요 정보를 제공할 수 있다. 공간 에러 은폐를 위해 이러한 인트라 예측 모드를 이용하는 것은 유사한 복잡도를 갖는 종래의 공간 에러 은폐에 비하여 상당히 우수한 성능을 제공한다.
공간 에러 은폐와는 대조적으로, 시간 은폐는, 이미 전송된 매크로블록으로부터 누락 픽셀 값들을 추정하기 위해, 코딩된 모션 정보, 즉 기준 화면 인덱스들 및 모션 벡터들을 복구하려 한다. 동일 매크로블록으로부터 예측 에러를 복구하는 것은 이러한 정보가 리던던시 없이 코딩되기 때문에 곤란하다. 공간 은폐와는 달리, 시간 은폐의 기본은 대부분의 공개된 알고리즘과 거의 유사하다. 하나 이상의 기준 프레임들에서 누락 매크로블록의 누락 모션 벡터를 검색하는 것은 계산이 복잡하게 되므로, 제한된 세트의 후보만이 통상 고려된다. 고려 대상으로 가능한 모션 벡터들은 이하의 것을 포함한다:
. 제로 모션(Zero motion): 손실 블록이 2개의 연속적인 프레임들간 그 위치를 변경하지 않았다고 가정하고, 나란히 배열된 블록을 이전 프레임 상에 간단하게 복사함으로써 시간 은폐를 수행함.
. 글로벌 모션(Global motion): 손실 블록이 글로벌 모션을 경험하고, 카메라 모션 파라미터들을 추정함으로써 대부분의 경우에 올바르게 근사화될 수 있다고 가정함.
. 로컬 모션(Local motion): 공간적으로 이웃하는 블록들의 모션이 밀접하게 상관되고, 따라서 누락 블록의 모션이 그 이웃에 대해 사용될 수 있는 로컬 모션 정보로부터 복구될 수 있다고 가정함.
단계 160에서의 공간 에러 은폐 또는 단계 180에서의 시간 은폐 중 어느 하나에 후속해서, 도 1의 에러 은폐 스테이지(20)는 도 1의 디블로킹 필터(22)의 파라미터들을 조정하여, 손실 매크로블록들의 복구에 의해 인위적으로 생성되는 천이들 상에 최대 강도 필터링을 강요한다. H.264 표준에 의해 정의되는 바와 같이, 디블로킹 필터(22)의 강도는 4x4 픽셀의 블록들간 각 엣지의 특성들에 적응된다. 이러한 적응은 이하의 파라미터들에 의존하여 수행된다:
. 디코더(10)에서 계산되는 경계 강도 값(Bs; Boundary strength value)
. 디코더(10)에서 계산되며, 디블로킹 필터(22)에 의해 영향을 받는 임의 쌍의 블록들간 정량화 파라미터(QP; Quantization Parameter) 평균.
. 슬라이스 헤더에 전송되는 필터 오프셋 A 및 B
0 내지 4 범위의 경계 강도 값은 4x4 픽셀 블록들간 엣지에 적용되는 필터링의 강도를 지정한다. Bs = 0 일 때, 엣지는 필터링되지 않고 유지된다. Bs = 4 일 때, 엣지는 가장 강한 필터 강도에 의해 평활하게 된다. 나머지 파라미터들, 즉 QP 평균과 필터 오프셋 A 및 B가 함께 사용되어, 인위적 천이들로부터 실제 윤곽들을 구별하는 임계치를 결정한다. 이들 파라미터가 높은 값이면 필터링되는 천이들의 갯수가 증가한다.
본 발명의 원리에 따르면, 선택된 에러 은폐 알고리즘은, 경계 강도 값, 또는 계산 후 원하는 경계 강도 값을 리턴하는 임의의 입력 파라미터들을 변경시킬 것이다. 경계 강도 값의 변경은 은폐된 블록들의 쌍들간 엣지에 대해 및/또는 은폐된 블록들과 올바르게 수신된 블록들간 엣지에 대해 수행될 수 있다. 결국, 디블로킹 필터의 강도를 증가시키는 것이 적절하거나 또는 그렇치 않을 수 있고, 어떠한 값으로 해야 하는지는 에러 은폐에 대해 선택된 특정 기술에 의존한다.
예시적인 실시예에서, 독립적으로 은폐된 블록 쌍들간 엣지에 대해 최대 경계 강도 값은 "4"가 선택되었다. 특정 에러 은폐 기술은 또한 임의 쌍의 블록들간 QP 평균 및/또는 손상된 슬라이스의 헤더에 전송된 오프셋 값들을 변경할 수 있다. QP 평균값을 변경하는 것은 필터링된 천이들의 갯수를 증가시킬 것이다. 예시적인 실시예에서, 모든 파라미터들은 그 최대값, 예를 들어 QP 평균에 대해서는 "51" 및 오프셋 A 및 B에 대해서는 "6"으로 강요된다.
지금까지는 H.264 호환형 디코더에서 에러 은폐를 달성하고, 수행되는 에러 은폐의 타입에 따라 디블로킹의 강도를 변경하는 기술을 설명하였다.
<관련 출원의 상호 참조>
본 출원은 2003년 1월 10일 출원된 미국 가출원 60/439,312호에 대하여 우선권을 주장하며, 그 내용은 본 명세서에 참조된다.

Claims (24)

  1. ISO/ITU H.264 호환형 비디오 디코더에 있어서,
    디블로킹(deblocking) 필터, 및
    디코드된 매크로블록들을 수신하고, 누락/손상된 데이터를 갖는 매크로블록들 내의 에러들을, 이들 매크로블록의 픽셀 값들을 이전에 전송된 매크로블록들로부터 추정함으로써 은폐하여, 상기 디블로킹 필터로 입력하기 위한 에러 은폐 매크로블록들을 생성하는 에러 은폐 스테이지- 상기 디블로킹 필터는 상기 에러 은폐 매크로블록들을 디블로킹함으로써 에러 픽셀 값들의 확산을 방지함 -
    를 포함하는 디코더.
  2. 제1항에 있어서,
    상기 에러 은폐 스테이지는 에러 은폐에 따라 상기 디블로킹 필터에 의해 수행되는 디블로킹의 강도를 조절하는 디코더.
  3. 제2항에 있어서,
    상기 에러 은폐 스테이지는 은폐된 매크로블록들 및 에러가 없는(올바르게 수신된) 매크로블록들 사이의 천이들에 대한 경계 강도 값을 조절하는 것에 의해 상기 디블로킹 필터의 강도를 조절하는 디코더.
  4. 제2항에 있어서,
    상기 에러 은폐 스테이지는 은폐된 매크로블록들 쌍들간 천이들에 대한 경계 강도 값을 조절하는 것에 의해 상기 디블로킹 필터의 강도를 조절하는 디코더.
  5. 제2항에 있어서,
    상기 에러 은폐 스테이지는 은폐된 매크로블록들 및 올바르게 수신된 매크로블록들 사이에 상기 디블로킹 필터에 대한 양자화 파라미터(QP; Quantization Parameter) 평균을 조절하는 디코더.
  6. 제2항에 있어서,
    상기 에러 은폐 스테이지는 은폐된 매크로블록들 쌍들간 상기 디블로킹 필터에 대한 양자화 파라미터(QP) 평균을 조절하는 디코더.
  7. 제3항에 있어서,
    상기 에러 은폐 스테이지는 은폐된 매크로블록들 및 올바르게 수신된 매크로블록들 사이에 상기 디블로킹 필터에 대한 양자화 파라미터(QP) 평균을 조절하는 디코더.
  8. 제4항에 있어서,
    상기 에러 은폐 스테이지는 은폐된 매크로블록들 쌍들간 상기 디블로킹 필터에 대한 양자화 파라미터(QP) 평균을 조절하는 디코더.
  9. 제2항에 있어서,
    상기 에러 은폐 스테이지는 상기 디블로킹 필터에 대한 한 쌍의 오프셋 값 A 및 B 각각을 변경하는 디코더.
  10. 제9항에 있어서,
    상기 에러 은폐 스테이지는 은폐된 매크로블록들 및 에러가 없는(올바르게 수신된) 매크로블록들 사이의 천이들에 대한 경계 강도 값을 조절하는 것에 의해 상기 디블로킹 필터의 강도를 조절하는 디코더.
  11. 제9항에 있어서,
    상기 에러 은폐 스테이지는 은폐된 매크로블록들 쌍들간 천이에 대한 경계 강도 값을 조절하는 것에 의해 상기 디블로킹 필터의 강도를 조절하는 디코더.
  12. 제9항에 있어서,
    상기 에러 은폐 스테이지는 은폐된 매크로블록들 및 올바르게 수신된 매크로블록들 사이에 상기 디블로킹 필터에 대한 양자화 파라미터(QP) 평균을 조절하는 디코더.
  13. 제9항에 있어서,
    상기 에러 은폐 스테이지는 은폐된 매크로블록들 쌍들간 상기 디블로킹 필터에 대한 양자화 파라미터(QP) 평균을 조절하는 디코더.
  14. 제10항에 있어서,
    상기 에러 은폐 스테이지는 은폐된 매크로블록들 및 올바르게 수신된 매크로블록들 사이에 상기 디블로킹 필터에 대한 양자화 파라미터(QP) 평균을 조절하는 디코더.
  15. 제10항에 있어서,
    상기 에러 은폐 스테이지는 은폐된 매크로블록들 쌍들간 상기 디블로킹 필터에 대한 양자화 파라미터(QP) 평균을 조절하는 디코더.
  16. 디코드된 매크로블록들에서의 천이를 평활화하는 방법에 있어서,
    디코드된 매크로블록이 누락/손상된 픽셀 값들의 원인이 될 수 있는 에러들을 갖고 있는지 여부를 검출하는 단계,
    만일 그렇다면,
    이전에 전송된 매크로블록들로부터 상기 누락/손상된 픽셀 값들을 추정하는 것에 의해 에러-은폐된 매크로블록을 제공하기 위해 에러를 은폐하는 단계; 및
    에러 은폐 알고리즘에 의해 인위적으로 생성되는 천이들을 평활화하기 위해 디블로킹 필터에 의해 상기 에러 은폐된 매크로블록을 필터링하는 단계
    를 포함하는 방법.
  17. 제16항에 있어서,
    에러 은폐에 따라 디블로킹 필터에 의해 수행되는 디블로킹의 강도를 조절하는 단계를 더 포함하는 방법.
  18. 제17항에 있어서,
    디블로킹 필터의 강도를 조절하는 상기 단계는, 은폐된 매크로블록들 및 에러가 없는(올바르게 수신된) 매크로블록들 사이의 천이에 대한 경계 강도 값을 조절하는 단계를 포함하는 방법.
  19. 제17항에 있어서,
    상기 디블로킹 필터의 강도를 조절하는 상기 단계는, 은폐된 매크로블록들의 쌍들간 천이에 대한 경계 강도 값을 조절하는 단계를 포함하는 방법.
  20. 제17항에 있어서,
    은폐된 매크로블록들 및 올바르게 수신된 매크로블록들 사이에 디블로킹 필터에 대한 양자화 파라미터(QP) 평균을 조절하는 단계를 더 포함하는 방법.
  21. 제17항에 있어서,
    은폐된 매크로블록들 쌍들간 디블로킹 필터에 대한 양자화 파라미터(QP) 평균을 조절하는 단계를 더 포함하는 방법.
  22. 제18항에 있어서,
    상기 은폐 단계는 은폐된 매크로블록들 및 올바르게 수신된 매크로블록들 사이에 디블로킹 필터에 대한 양자화 파라미터(QP) 평균을 조절하는 방법.
  23. 제18항에 있어서,
    은폐된 매크로블록들 쌍들간 디블로킹 필터에 대한 양자화 파라미터(QP) 평균을 조절하는 단계를 더 포함하는 방법.
  24. 제17항에 있어서,
    디블로킹 필터에 대한 한 쌍의 오프셋 값 A 및 B 각각을 조절하는 단계를 더 포함하는 방법.
KR1020057012798A 2003-01-10 2003-07-09 에러 은폐 중 생성되는 아티팩트들을 평활화하기 위한디코더 장치 및 방법 KR100970089B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US43931203P 2003-01-10 2003-01-10
US60/439,312 2003-01-10

Publications (2)

Publication Number Publication Date
KR20050098242A true KR20050098242A (ko) 2005-10-11
KR100970089B1 KR100970089B1 (ko) 2010-07-16

Family

ID=32713462

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057012798A KR100970089B1 (ko) 2003-01-10 2003-07-09 에러 은폐 중 생성되는 아티팩트들을 평활화하기 위한디코더 장치 및 방법

Country Status (9)

Country Link
US (1) US20060051068A1 (ko)
EP (1) EP1582061A4 (ko)
JP (1) JP2006513633A (ko)
KR (1) KR100970089B1 (ko)
CN (1) CN100446560C (ko)
AU (1) AU2003248858A1 (ko)
BR (1) BR0317962A (ko)
MX (1) MXPA05007447A (ko)
WO (1) WO2004064396A1 (ko)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003282462A1 (en) * 2003-10-09 2005-05-26 Thomson Licensing Direct mode derivation process for error concealment
KR100531895B1 (ko) * 2004-02-26 2005-11-29 엘지전자 주식회사 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법
KR100679035B1 (ko) 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
JP4570081B2 (ja) * 2005-01-11 2010-10-27 Ｋｄｄｉ株式会社 動画像エラー隠蔽方法および装置
US20060233253A1 (en) * 2005-03-10 2006-10-19 Qualcomm Incorporated Interpolated frame deblocking operation for frame rate up conversion applications
CN101133650B (zh) 2005-04-01 2010-05-19 松下电器产业株式会社 图像解码装置以及图像解码方法
US9749655B2 (en) 2005-05-11 2017-08-29 Qualcomm Incorporated Method and apparatus for unified error concealment framework
JP4672431B2 (ja) * 2005-05-13 2011-04-20 パナソニック株式会社 フィルタ特性異常隠蔽処理装置
WO2006134525A1 (en) * 2005-06-17 2006-12-21 Koninklijke Philips Electronics N.V. Coding and decoding method and device for improving video error concealment
US7916796B2 (en) * 2005-10-19 2011-03-29 Freescale Semiconductor, Inc. Region clustering based error concealment for video data
JP4949010B2 (ja) * 2006-02-06 2012-06-06 パナソニック株式会社 画像復号化方法及び画像復号化装置
US8213495B2 (en) 2006-02-06 2012-07-03 Panasonic Corporation Picture decoding method and picture decoding apparatus
JP5032344B2 (ja) * 2006-02-06 2012-09-26 パナソニック株式会社 画像復号装置および画像復号方法
JP2008005197A (ja) * 2006-06-22 2008-01-10 Toshiba Corp デコード装置およびデコード方法
JP4747975B2 (ja) * 2006-07-14 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US8238442B2 (en) * 2006-08-25 2012-08-07 Sony Computer Entertainment Inc. Methods and apparatus for concealing corrupted blocks of video data
US8509313B2 (en) * 2006-10-10 2013-08-13 Texas Instruments Incorporated Video error concealment
KR101291193B1 (ko) 2006-11-30 2013-07-31 삼성전자주식회사 프레임 오류은닉방법
US8315466B2 (en) * 2006-12-22 2012-11-20 Qualcomm Incorporated Decoder-side region of interest video processing
US8315709B2 (en) * 2007-03-26 2012-11-20 Medtronic, Inc. System and method for smoothing sampled digital signals
KR101086435B1 (ko) 2007-03-29 2011-11-25 삼성전자주식회사 영상 데이터 스트림의 에러 검출 방법 및 그 장치
JP2008263529A (ja) * 2007-04-13 2008-10-30 Sony Corp 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
KR101420098B1 (ko) * 2007-06-19 2014-07-17 삼성전자주식회사 영상의 공간적 에러 은닉 방법 및 장치
US8913670B2 (en) * 2007-08-21 2014-12-16 Blackberry Limited System and method for providing dynamic deblocking filtering on a mobile device
JP4410277B2 (ja) * 2007-08-28 2010-02-03 富士通株式会社 半導体装置、および半導体装置の制御方法
US8532199B2 (en) * 2008-01-24 2013-09-10 Panasonic Corporation Dynamic image compression device
KR101394209B1 (ko) * 2008-02-13 2014-05-15 삼성전자주식회사 영상의 인트라 예측 부호화 방법
BRPI0915971A2 (pt) * 2008-07-25 2019-02-26 Sony Corp aparelho e método de processamento de imagem
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
CA2684678A1 (en) * 2009-11-03 2011-05-03 Research In Motion Limited System and method for dynamic post-processing on a mobile device
FR2952497B1 (fr) * 2009-11-09 2012-11-16 Canon Kk Procede de codage et de decodage d'un flux d'images; dispositifs associes
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US9270993B2 (en) 2012-09-10 2016-02-23 Apple Inc. Video deblocking filter strength derivation
KR102257269B1 (ko) 2013-10-14 2021-05-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
JP6355744B2 (ja) 2014-01-03 2018-07-11 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像符号化／デコーディングにおけるブロックベクトル予測
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
BR112016018814A8 (pt) 2014-03-04 2020-06-23 Microsoft Technology Licensing Llc dispositivo de computação, método em dispositivo de computação com decodificador de vídeo ou decodificador de imagem e meio legível por computador
EP3158734A4 (en) 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
JP6392572B2 (ja) * 2014-07-22 2018-09-19 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
CA2959682C (en) 2014-09-30 2022-12-06 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
KR102379196B1 (ko) * 2017-05-31 2022-03-28 삼성전자주식회사 처리 장치들 및 그 제어 방법들
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US10803876B2 (en) * 2018-12-21 2020-10-13 Microsoft Technology Licensing, Llc Combined forward and backward extrapolation of lost network data
US10784988B2 (en) 2018-12-21 2020-09-22 Microsoft Technology Licensing, Llc Conditional forward error correction for network data
CN109859126B (zh) * 2019-01-17 2021-02-02 浙江大华技术股份有限公司 一种视频降噪方法、装置、电子设备及存储介质
CN113906763B (zh) 2019-05-05 2024-01-12 北京字节跳动网络技术有限公司 用于视频编解码的色度去方块协调
CN114342369A (zh) * 2019-09-02 2022-04-12 北京字节跳动网络技术有限公司 用于视频编解码的色度去方块调谐

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5337088A (en) * 1991-04-18 1994-08-09 Matsushita Electric Industrial Co. Ltd. Method of correcting an image signal decoded in block units
GB2316570B (en) * 1993-04-30 1998-04-08 Samsung Electronics Co Ltd Digital signal processing system
US5621467A (en) * 1995-02-16 1997-04-15 Thomson Multimedia S.A. Temporal-spatial error concealment apparatus and method for video signal processors
JP4054391B2 (ja) * 1995-12-28 2008-02-27 キヤノン株式会社 映像復号化装置及び映像伝送システム
JP3297293B2 (ja) 1996-03-07 2002-07-02 三菱電機株式会社 動画像復号方法および動画像復号装置
JPH10271331A (ja) * 1997-03-26 1998-10-09 Oki Data:Kk 画像処理方法及びその装置
FI117534B (fi) * 2000-01-21 2006-11-15 Nokia Corp Menetelmä digitaalisten kuvien suodattamiseksi ja suodatin
CN1318904A (zh) * 2001-03-13 2001-10-24 北京阜国数字技术有限公司 一种实用的基于小波变换的声音编解码器
JP2003032686A (ja) * 2001-07-17 2003-01-31 Lsi Systems:Kk 復号装置、復号方法およびその方法をコンピュータに実行させるプログラム
US6963613B2 (en) 2002-04-01 2005-11-08 Broadcom Corporation Method of communicating between modules in a decoding system
US6907079B2 (en) * 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness

Also Published As

Publication number Publication date
US20060051068A1 (en) 2006-03-09
JP2006513633A (ja) 2006-04-20
CN1720729A (zh) 2006-01-11
KR100970089B1 (ko) 2010-07-16
MXPA05007447A (es) 2005-09-12
BR0317962A (pt) 2005-11-29
AU2003248858A1 (en) 2004-08-10
WO2004064396A1 (en) 2004-07-29
EP1582061A1 (en) 2005-10-05
EP1582061A4 (en) 2010-09-22
CN100446560C (zh) 2008-12-24

Similar Documents

Publication Publication Date Title
KR100970089B1 (ko) 에러 은폐 중 생성되는 아티팩트들을 평활화하기 위한디코더 장치 및 방법
US7450641B2 (en) Adaptive filtering based upon boundary strength
KR100948153B1 (ko) 코딩된 스트림으로 전송되는 인트라-예측 모드에 기반하는 공간 에러 은폐 방법
JP5174958B2 (ja) ビデオのコーダとデコーダとの同時最適化のための方法およびシステム
EP3363198B1 (en) Method and apparatus of adaptive filtering of samples for video coding
KR101045199B1 (ko) 화소 데이터의 적응형 잡음 필터링을 위한 방법 및 장치
US20070086527A1 (en) Region clustering based error concealment for video data
WO2008083296A2 (en) System and method for in-loop deblocking in scalable video coding
US20160073135A1 (en) Method and apparatus for video error concealment using reference frame selection rules
RU2305377C2 (ru) Способ уменьшения искажения сжатого видеоизображения и устройство для его реализации
Miyazawa et al. Complexity reduction of in-loop filtering for compressed image restoration in HEVC
JP4570081B2 (ja) 動画像エラー隠蔽方法および装置
Tang Combined and iterative form of spatial and temporal error concealment for video signals
US20220174283A1 (en) Image decoding device, image decoding method, and program
Tang et al. Error concealment with error level tracking and backward frame update

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130618

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140630

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150617

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160616

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170616

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190716

Year of fee payment: 10