KR20030020423A - 에러 은폐 방법 및 장치 - Google Patents

에러 은폐 방법 및 장치 Download PDF

Info

Publication number
KR20030020423A
KR20030020423A KR10-2003-7001327A KR20037001327A KR20030020423A KR 20030020423 A KR20030020423 A KR 20030020423A KR 20037001327 A KR20037001327 A KR 20037001327A KR 20030020423 A KR20030020423 A KR 20030020423A
Authority
KR
South Korea
Prior art keywords
macroblock
class
algorithm
wrong
gradient
Prior art date
Application number
KR10-2003-7001327A
Other languages
English (en)
Other versions
KR100873317B1 (ko
Inventor
발렌트스테판이.
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030020423A publication Critical patent/KR20030020423A/ko
Application granted granted Critical
Publication of KR100873317B1 publication Critical patent/KR100873317B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Abstract

본 발명은 매크로블록 압축 형태로 전송된 이미지 신호(101)에서 에러들을 은폐하는 방법에 관한 것이다. 상기 방법은 디코딩 단계(102), 잘못된 매크로블록 검출 단계(103), 분류 단계, 및 상기 잘못된 매크로블록을 그것의 클래스에 따라 정정하는 정정 단계(109)를 포함한다. 본 발명은 비용 효율적인 분류 단계를 제공한다. 이러한 목적을 위해, 분류 단계는 단계(104)에서 각각의 유효한 서라운딩 매크로블록에 대해 잘못된 매크로블록에 인접한 라인 또는 컬럼의 각 픽셀마다 그래디언트를 계산하는 단계, 단계(107)에서 그래디언트의 방향 변화들 Cdir의 수를 평가하는 단계, 단계들(105, 106)에서 제 1 및 제 2 문턱값과 그래디언트들을 비교하는 단계, 및 단계들(104, 107)의 결과들에 따라 단계(108)에서 잘못된 매크로블록을 분류하는 단계로 구성된다. 본 발명은 특히, MPEG 압축 비디오 신호들, 예를 들어, 특히 이동 전화기들에 리소스 문제들이 발생하는 시스템들에서의 MPEG 압축 비디오 신호들을 정정하는 것에 관한 것이다.

Description

에러 은폐 방법 및 장치{Error concealment method and device}
비디오 신호 압축의 목적들 중 하나는 라디오 채널들 또는 인터넷과 같은, 네트워크들을 통한 전송을 위한 것이다. 전송 에러들은 인코딩된 스트림의 시각적 품질에 손상을 줄 수 있으므로, 어떠한 효율적 에러 은폐 테크닉들이 요구된다. 에러 은폐는 인코딩된 스트림에서 발견된 공간 리던던시로부터 분실한 데이터를 보간하는 단계, 즉 매크로블록을 그것 주위의 일부 픽셀들로부터 보간하는 단계로 구성될 수 있다. 서로 다른 성질들을 갖는 여러 공간 은폐 알고리즘들이 발견될 수 있다. 서로 다른 은폐 알고리즘들이 인코더에서 사용가능할 때, 평활 편차들의 재구성에 특별한 에지 정보 및 또다른 정보를 보전할 수 있는 알고리즘을 갖는다는 것은 양호한 생각이다. 유럽 특허 EP 0782347에는 단조적 클래스, 에지 또는 텍스쳐 클래스에서 잘못된 매크로블록을 분류하고 그러한 분류에 따라 잘못된 매크로블록을 수정하는 방법에 대해 개시되어 있다. 상기 분류는 미리 규정된 수의 유효한 서라운딩 매크로블록들, 즉 그에 에러를 포함하지 않는 매크로블록들을 고려한다. 그것은 다음과 같이 구성된다:
-단조적 클래스, 에지 또는 텍스쳐 클래스에서 상기 유효한 서라운딩 매크로블록들의 각각을 분류하는 단계로서, 상기 단조적 클래스는 그에 에지를 포함하지 않는 매크로블록을 표현하고, 상기 에지 클래스는 그에 하나의 에지를 포함하는 매크로블록을 표현하며, 상기 텍스쳐 클래스는 그에 하나의 에지 이상을 포함하는 매크로블록을 표현하는, 상기 분류 단계, 및
-상기 잘못된 매크로블록에 대해 서로 반대로 위치된 상기 유효한 서라운딩 매크로블록들의 하나의 쌍만이 상기 에지 클래스의 것이고 동일한 에지 방향을 갖는 경우, 상기 에지 클래스로서 상기 잘못된 매크로블록을 분류하는 단계; 및 그렇지 않고 다른 경우, 상기 단조적 클래스 또는 상기 텍스쳐 클래스를 갖는 상기 서라운딩 매크로블록들의 수에 의존하는 상기 단조적 클래스 또는 상기 텍스쳐 클래스로서 상기 잘못된 매크로블록을 분류하는 단계.
각각의 서라운딩 매크로블록들을 분류하는 제시된 방법은 분산 계산 및 비교적 큰 수의 방향 프로젝션(directional projection)들을 포함하는 많은 단계들을 포함한다. 그러므로, 이러한 방법은 고가이고, 예를 들어 이동 전화에서와 같은 소형 리소스들을 갖는 프로세서들상에서 실시간 애플리케이션들에 대해 구현될 수 없다. 또한, 유효한 서라운딩 매크로블록들의 클래스들에 따라 잘못된 매크로블록을 분류하는 방법은 잘못된 매크로블록이, 한편으로 버스트 에러들이 매크로블록들의 여러 열들을 스팬(span)할 수 있고, 다른 한편으로 잘못된 매크로블록이 이미지의 경계에 있을 수도 있기 때문에 상기 경우가 아닐 수 있는 미리 규정된 수의 서라운딩 매크로블록들을 갖는다고 가정한다.
본 발명은 매크로블록 압축 형태로 전송된 이미지 신호에 에러들을 은폐하는 방법으로서, 각각의 매크로블록은 픽셀들의 컬럼들 및 라인들을 포함하고, 적어도,
a)상기 전송된 이미지 신호를 디코딩하는 단계,
b) 잘못된 매크로블록을 검출하는 단계,
c) 상기 잘못된 매크로블록이 속하는 클래스를 획득하도록 상기 잘못된 매크로블록을 분류하는 단계, 및
d) 상기 잘못된 매크로블록을 그것의 클래스에 따라 정정하는 단계를 포함하는, 상기 에러 은폐 방법에 관한 것이다.
본 발명은 또한, 그러한 은폐 방법을 수행하기 위한 대응하는 장치에 관한 것이다.
본 발명은 특히, MPEG 압축 비디오 신호들의 정정에 관한 것이다.
도 1은 본 발명에 따른 방법을 도시하는 블록도.
도 2a는 그래디언트들의 계산을 예시하는 도면.
도 2b는 계산된 그래디언트들에 기초한 분류를 예시하는 도면.
도 3a는 에지 클래스의 매크로블록상에 적용된, 본 발명에 따른 방법을 예시하는 도면.
도 3b는 텍스쳐 클래스의 매크로블록상에 적용된, 본 발명에 따른 방법을 예시하는 도면.
도 4a는 노이즈 클래스의 매크로블록상에 적용된, 본 발명에 따른 방법을 예시하는 도면.
도 4b는 단조적 클래스의 매크로블록상에 적용된, 본 발명에 따른 방법을 예시하는 도면.
도 5는 각각의 클래스에 대해 선택 순서 및 알고리즘들의 세트를 표시하는 도표.
본 발명의 목적은 에러들을 은폐하는 비용 효율적인 방법 및 대응하는 장치를 제공하는 것이다.
이러한 목적을 위해서, 서두에서 기술된 바와 같이, 본 발명에 따라 에러들을 은폐하는 방법은:
i)상기 잘못된 매크로블록이 에러를 포함하지 않는 적어도 하나의 유효한 서라운딩 매크로블록을 갖고,
ii)상기 분류 단계는 적어도 하위 단계들로,
-각각의 유효한 서라운딩 매크로블록에 대해 상기 잘못된 매크로블록에 인접한 라인 또는 컬럼의 각 픽셀마다 상기 라인 또는 컬럼의 2개의 연속적인 픽셀들의 값들을 감산함으로써 그래디언트를 계산하는 단계, 및
-상기 그래디언트의 방향 변화들의 수 Cdir을 평가하는 단계를 포함하며,
iii)상기 잘못된 매크로 블록은, 적어도 하나의 그래디언트의 절대값이 제 1 미리 규정된 문턱값 위인 경우, 에지 클래스로서, Cdir이 정확하게 포지티브이고 제 2 미리 규정된 문턱값 위의 그래디언트들의 절대값의 수가 Cdir에 의해 곱해진 α보다 크며 α는 프로그램 가능한 양인 경우, 텍스쳐 클래스로서, 그렇지 않고 다른 경우, 노이즈 또는 단조적 클래스로서 분류되는 것을 특징으로 한다.
본 발명에 따라, 잘못된 매크로블록의 클래스는 매우 비용 효율적인 방식으로 결정된다. 실제로, 잘못된 매크로블록에 직접적으로 인접한 픽셀들만이 그러한 결정에 대해 고려된다. 즉, 16x16 픽셀들의 매크로블록들을 사용하는 MPEG-4 표준을 고려하면, 잘못된 매크로블록들 주위의 4개의 매크로블록들이 유효한 경우, 즉 그에 에러를 포함하지 않는 경우, 60개의 그래디언트들만이 잘못된 매크로블록의 클래스를 결정하도록 두개의 문턱값들과 계산되어 비교되어야한다. 또한, 분류 단계는, 이러한 잘못된 매크로블록이 적어도 하나의 유효한 서라운딩 매크로블록을 갖는 순간, 유효한 서라운딩 매크로블록들의 수에 관계없이 어떠한 잘못된 매크로블록에도 적용될 수 있다. 그러므로, 하나의 유효한 매크로블록이 이미지에 존재하는 순간, 다른 매크로블록들이 이러한 은폐 방법을 귀납적으로 사용하여 은폐될 수 있다.
양호한 실시예에서, 정정 단계는 미리 결정된 선택 순서를 갖는 알고리즘들의 세트로부터 선택된 알고리즘을 사용하고, 상기 세트 및/또는 선택 순서는 잘못된 매크로블록의 클래스에 따라 바뀐다. 이러한 양호한 실시예에 따라, 최상의 사용가능한 알고리즘이 주어진 클래스의 매크로블록을 정정하도록 선택된다. 어떠한 이유로, 이러한 알고리즘이 잘못된 매크로블록을 은폐하지 않는 못하는 경우, 또다른 알고리즘이 시도된다.
또다른 양호한 실시예에 있어서, 선택 순서에 대한 제 1 알고리즘은 잘못된 매크로블록이 에지 클래스 또는 텍스쳐 클래스에 속하는 경우 에지 정보를 보전할 수 있는 알고리즘 Medge이고, 잘못된 매크로블록이 노이즈 클래스 또는 단조적 클래스에 속하는 경우 평활 편차들의 재구성에 특별한 알고리즘 Msmooth이다.
일 실시예에서, Medge는 쿼드러리니어 보간(quadrilinear interpolation)이다.
또다른 실시예에서, Msmooth는 최대 평활 보간이다.
본 발명은 또한, 프로세서 또는 컴퓨터에 로딩될 때 프로세서 또는 컴퓨터가 이전 기술된 은폐 방법을 수행하도록 하는 명령어들의 세트를 포함하는 컴퓨터 프로그램에 관한 것이다.
본 발명에 따른 이러한 측면들과 다른 측면들은 후술될 실시예들을 참조로 설명되고 명백해질 것이다.
본 발명은 첨부 도면을 참조로하여 예를 통해 상세히 기술된다.
본 발명에 따른 은폐 방법은 도 1에 도시되어 있다. 그러한 방법은 전송된 이미지 신호(101)에 적용되는 적어도 하나의 디코딩 단계(102), 검출 단계(103), 그래디언트 계산 단계(104), 제 1 비교 단계(105), 제 2 비교 단계(106), 평가 단계(107), 분류 단계(108), 및 정정 단계(109)를 포함한다.
다음에 있어서, 전송된 이미지 신호(101)는, 각각이 크로미넌스 또는 휘도값 또는 둘 모두(다음에 있어서, 용어 "값"은 크로미넌스 또는 휘도를 나타내는 것으로 한다)를 갖는 픽셀들을 포함하는 16x16 매크로블록들을 사용하여 인코딩된MPEG-4 비디오 신호이다. 본 기술의 숙련자에게는 본 발명에 따른 은폐 방법이 블록 단위 프로세싱을 사용하여 인코딩된 임의의 신호와 함께 사용되도록 의도되어 있다는 것이 명백할 것이다.
검출 단계(103)에서, 매크로블록은 그것이 잘못된 것인지 아닌지를 결정하도록 분석된다. 그러한 결정은 본 기술의 숙련자에게 공지되어 있고, 예를 들어 발명의 명칭이 "디지털 비디오 프로세싱 시스템에서의 은폐 에러들에 대한 장치"이고, 1993년 2월 12일 출원된 미국 특허 제 5,455,629호에 개시되어 있다. 이러한 매크로블록이 잘못된 경우, 모든 유효한 서라운딩 매크로블록들의 인접한 라인들 및 컬럼들의 2개의 연속적인 픽셀들 사이의 그래디언트들이 그래디언트 계산 단계(104)에서 계산된다. 그러한 계산은 도 2에 상세히 도시되어 있다. 제 1 비교 단계(105)에서, 계산된 그래디언트들의 절대값들은 제 1 문턱값과 비교되고, 제 1 문턱값 위 절대값에서 그래디언트들의 수 N1이 결정된다. 제 2 비교 단계(106)에서, 계산된 그래디언트들의 절대값들은 제 2 문턱값과 비교되고, 제 2 문턱값 위 절대값에서 그래디언트들의 수 N2가 결정된다. 평가 단계(107)에서, 그래디언트의 방향 변화들의 수 Cdir가 결정된다. 분류 단계(108)에서, 잘못된 매크로블록의 클래스가 N1, N2의 값들에 따라서 결정된다. 정정 단계(109)에서, 잘못된 매크로블록이 그것의 클래스에 따라서 정정된다.
도 2a는 그래디언트들의 계산을 예시하는 도면이다. 이 도면은 4개의 유효한 서라운딩 매크로블록들을 갖는 8x8 잘못된 매크로블록을 도시한다. 잘못된 매크로블록의 픽셀들은 파선들로 표현된다. 오직 최상위 및 최하위 서라운딩 매크로블록들의 2개의 인접한 라인들과 왼쪽 및 오른 서라운딩 매크로블록들의 2개의 컬럼들이 그래디언트들의 계산을 위해 고려된다. 다음에 따르는 도표는 그래디언트가 계산되는 방법과 그래디언트의 방향 변화가 결정되는 방법을 나타낸다. 이 예에서는 4개의 픽셀들(201 내지 204)이 고려된다; 계산은 2개의 인접한 라인들 및 컬럼들의 모든 픽셀들, 특히 픽셀들(205 내지 207)에 대해 동일하다.
-Grad xxx는 픽셀 xxx에 대한 그래디언트를 표시한다
-Val xxx는 픽셀 xxx의 값을 표시한다.
픽셀 위치가 라인 수 i 및 컬럼 수 j에 의해 표현되는 경우:
-위치(i,j)에서 인접한 라인의 픽셀에 대해, Grad(i,j)=Val(i,j+1)-Val(i,j)
-위치(i,j)에서 인접한 컬럼의 픽셀에 대해, Grad(i,j)=Val(i+1,j)-Val(i,j)
Grad 201 Grad 202 Grad 203 Cdir
값 Val 202-Val 201 Val 203-Val 202 Val 204-Val 203
부호 >0 >0 >0 0
부호 >0 >0 <0 1
부호 >0 0 <0 1
부호 >0 <0 >0 2
도 2b는 계산된 그래디언트들에 기초한 분류를 예시하는 도면이다. 단계(208)에서, 분류 단계(108)는 N1이 정확하게 포지티브인지 아닌지를 결정한다. 제 1 문턱값이 상대적으로 높은 경우, N1이 정확하게 포지티브라는 사실은 유효한 서라운딩 매크로블록들에 적어도 하나의 강한 에지가 있다는 것을 표시한다. 그러므로, N1이 정확하게 포지티브인 경우, 잘못된 매크로블록은 단계(209)에서 에지 클래스로서 분류된다. N1이 0과 같은 경우, 분류 단계(108)는 N2가 수량 αx Cdir과같거나 높은지를 결정하고 α는 프로그램 가능한 양이다. 제 2 문턱값이 상대적으로 높지만 제 1 문턱값보다는 작을 때, 제 2 문턱값 위 그래디언트는 현저한 에지를 나타낸다. 주어진 픽셀에 대해, 그래디언트의 방향 변화가 어떤 강한 또는 현저한 에지없이 발생할 때, 그것은 일반적으로 노이즈를 표시한다. 그러므로, Cdir이 정확하게 포지티브이고 N2가 수량 αx Cdir과 같거나 높은 경우, 잘못된 매크로블록은, 이러한 매크로블록이 시각적으로 검출가능한 현저한 에지들을 갖는 구조화된 텍스쳐라는 것을 의미하는 단계(211)에서의 텍스쳐 클래스로서 분류된다. Cdir이 0과 같거나 N2가 수량 αx Cdir보다 작은 경우, 잘못된 매크로블록 주위의 그래디언트들이 단조롭거나 잘못된 매크로블록에서의 현저한 에지들보다 훨씬 더 많은 노이즈가 있다는 것을 의미하고, 잘못된 매크로블록은 단계(212)에서 노이즈 클래스 또는 단조적 클래스로 분류된다.
도 3a 내지 도 4b에서, 잘못된 매크로블록들이 유효한 서라운딩 매크로블록들의 그들의 2개의 인접한 라인들 및 컬럼들과 함께 도시되어 있다. 주위의 픽셀들의 휘도값들은 0과 255사이에서 표시된다. 이러한 예들에서, 제 1 문턱값은 40과 같고, 제 2 문턱값은 10과 같으며, 프로그램 가능한 양 α은 1.2와 같다. 이러한 값들이 최상의 가능한 결과들을 획득하도록 쉽게 수정될 수 있다는 것은 본 기술의 숙련자에게 명백하다.
도 3a는 에지 클래스의 매크로블록에 적용된, 본 발명에 따른 방법을 예시하는 도면이다. 그래디언트들의 계산은 강한 에지에 대응하는, 제 1 문턱값 위 절대값에서 2개의 그래디언트들이 존재한다는 것을 나타낸다. 그러므로, 이러한 잘못된 매크로블록은 에지 클래스로서 분류된다.
도 3b는 텍스쳐 클래스의 매크로블록에 적용된, 본 발명에 따른 방법을 예시하는 도면이다. 그래디언트들의 계산은 다음을 나타낸다:
-N1 = 0N2 = 28Cdir= 21
그러므로, 현저한 에지들의 수 N2는 방향 변화들 Cdir의 수의 프로그램 가능한 양 α보다 크고, 잘못된 매크로블록이 텍스쳐 클래스로서 분류된다.
도 4a는 노이즈 클래스의 매크로블록에 적용된, 본 발명에 따른 방법을 예시하는 도면이다. 그래디언트들의 계산은 다음을 나타낸다:
-N1 = 0N2 = 1Cdir= 25
그러므로, 현저한 에지들의 수 N2는 방향 변화들 Cdir의 수의 프로그램 가능한 양 α보다 작고, 잘못된 매크로블록이 노이즈 클래스로서 분류된다.
도 4b는 단조적 클래스의 매크로블록에 적용된, 본 발명에 따른 방법을 예시하는 도면이다. 그래디언트들의 계산은 다음을 표시한다:
-N1 = 0N2 = 0Cdir= 0
그러므로, 잘못된 매크로블록이 단조적 클래스로서 분류된다.
도 5는 각각의 클래스에 대한 선택 순서 및 알고리즘들의 세트를 표시하는 도표이다. 주어진 시스템에서, 주어진 알고리즘이 예를 들어, 다음과 같은 이유로잘못된 매크로블록을 은폐하기 위해 사용되지 않을 수 있다:
-잘못된 매크로블록이 유효한 서라운딩 매크로블록들을 충분히 갖지 않는다;
-주어진 알고리즘을 사용하기 위한 시스템에 메모리 리소스들이 충분하지 않다;
-시간 제약들이 주어진 알고리즘 사용을 불가능하게 한다.
그러므로, 잘못된 매크로블록들의 각각의 클래스에 대해, 알고리즘의 세트가 선택 순서와 함께 시스템에서 사용가능하다. 시스템은 우선적으로, 선택 순서에서의 제 1 알고리즘에 의해 주어진 잘못된 매크로블록을 은폐하려 한다. 이러한 잘못된 매크로블록에 대해, 이 알고리즘이 사용될 수 없는 경우, 시스템은 선택 순서에서의 제 2 알고리즘에 의해 매크로블록을 은폐하려 한다. 은폐의 품질이 제 1 알고리즘에서 보다 제 2 알고리즘에서 덜 양호한 경우에서 조차, 알고리즘들의 그러한 세트를 사용하는 이점은 그것이 거의 항상 잘못된 매크로블록을 은폐하도록 한다는 것이다.
에지 또는 텍스쳐 클래스의 잘못된 매크로블록에 대해, 선택 순서에서의 제 1 알고리즘은 쿼드러리니어 보간이다. 이 알고리즘은 잘못된 픽셀의 값을 그것 주위의 가장 가까운 유효한 최상위, 왼쪽, 최하위, 오른쪽 픽셀들로부터 보간하는 단계로 구성된다. 쿼드러리니어 보간의 예는, Proc. Globelcom'95, 페이지 1778-1783에 발표된, Susanna Aign 및 Khaled Fazel의 명칭이 "계층적 MPEG-2 비디오 코덱을 위한 시간 및 공간 에러 은폐 테크닉들"인 문서에 개시되어 있다. 이 알고리즘은 잘못된 매크로블록에서 에지 정보를 보전하는 것에 대해 양호한 것으로 공지되어있다. 선택 순서에서의 제 2 알고리즘은 최대 평활 보간이다. 최대 평활 보간의 예는, 'IEEE Transactions on Communications, vol. 41, No. 10, 1993년 10월'에 발표된, Yao Wang, QuinFan Zhu 및 Leonard Shaw의 명칭이 "변환 코딩에서의 최대 평활 이미지 복구"인 문서에 개시되어 있다. 이 알고리즘은 평활 편차들을 재구성하는 것에 대해 양호한 것으로 공지되어 있다. 선택 순서에서의 제 3 알고리즘은 예를 들어, 유효한 서라운딩 매크로블록들의 평균값들에 의해 잘못된 매크로블록을 대체하는 단계로 구성된 단순한 보간이다. 그러한 단순 보간은 은폐의 품질이 가능한 최상이 아닌 경우에서 조차, 대부분의 잘못된 매크로블록들을 은폐할 수 있도록 의도된다.
노이즈 또는 단조적 클래스의 잘못된 매크로블록에 대해, 선택 순서에서의 제 1 알고리즘은 최대 평활 보간이고, 제 2 알고리즘은 쿼드러리니어 보간이며, 제 3 알고리즘은 단순 보간이다.
상기 설명 및 도면들은 본 발명을 제한하기 보다는 예시하는 것이다. 다음의 맺음말은 이러한 관점을 나타낸다.
잘못된 매크로블록이 분류되면, 그것을 은폐하는 다양한 방법들이 존재한다. 도 5는 각각의 클래스에 대해 이러한 클래스의 잘못된 매크로블록을 은폐하도록 사용될 수 있는 알고리즘들의 세트를 제공한다. 다른 알고리즘들이 본 발명의 관점에서 벗어나지 않고 사용될 수 있다는 것은 본 기술의 숙련자에게 명백하다.
본 발명에 따른 은폐 방법은 셋탑 박스 또는 텔레비전 수신기에 집적되도록의도되는 집적회로에서 구현될 수 있다. 프로그램 메모리로 로딩되는 명령어들의 세트는 집적회로가 은폐 방법을 수행하도록 한다. 명령어들의 세트는 예를 들어, 디스크와 같은 데이터 캐리어상에 저장될 수 있다. 명령어들의 세트는 자신의 역할을 이어서 성취할 집적회로의 프로그램 메모리로 명령어들의 세트를 로딩하도록 데이터 캐리어로부터 독출될 수 있다.

Claims (11)

  1. 매크로블록 압축 형태로 전송된 이미지 신호에 에러들을 은폐하는 방법으로서, 각각의 매크로블록은 픽셀들의 라인들 및 컬럼들을 포함하고, 적어도,
    a) 상기 전송된 이미지 신호를 디코딩하는 단계,
    b) 잘못된 매크로블록을 검출하는 단계,
    c) 상기 잘못된 매크로블록이 속하는 클래스를 획득하도록 상기 잘못된 매크로블록을 분류하는 단계, 및
    d) 상기 잘못된 매크로블록을 그것의 클래스에 따라 정정하는 단계를 포함하는, 상기 에러 은폐 방법에 있어서,
    i)상기 잘못된 매크로블록은 에러를 포함하지 않는 적어도 하나의 유효한 서라운딩 매크로블록을 갖고,
    ii)상기 분류 단계는 적어도 하위 단계들로,
    -각각의 유효한 서라운딩 매크로블록에 대해 상기 잘못된 매크로블록에 인접한 라인 또는 컬럼의 각 픽셀마다 상기 라인 또는 컬럼의 2개의 연속적인 픽셀들의 값들을 감산함으로써 그래디언트를 계산하는 단계, 및
    -상기 그래디언트의 방향 변화들의 수 Cdir을 평가하는 단계를 포함하며,
    iii)상기 잘못된 매크로 블록은, 적어도 하나의 그래디언트의 절대값이 제1 미리 규정된 문턱값 위인 경우, 에지 클래스로서, Cdir이 정확하게 포지티브이고 제 2 미리 규정된 문턱값 위의 그래디언트들의 절대값들의 수가 Cdir에 의해 곱해진 α보다 크며 α는 프로그램 가능한 양인 경우, 텍스쳐 클래스로서, 그렇지 않고 다른 경우에는, 노이즈 또는 단조적 클래스로서 분류되는 것을 더 특징으로 하는 에러 은폐 방법.
  2. 제 1 항에 있어서,
    상기 정정 단계는 미리 결정된 선택 순서를 갖는 알고리즘들의 세트로부터 선택된 알고리즘을 사용하고, 상기 세트 및/또는 선택 순서는 상기 잘못된 매크로블록의 클래스에 따라 바뀌는, 에러 은폐 방법.
  3. 제 2 항에 있어서,
    상기 선택 순서에서의 상기 제 1 알고리즘은 상기 잘못된 매크로블록이 상기 에지 클래스 또는 상기 텍스쳐 클래스에 속하는 경우 에지 정보를 보전할 수 있는 알고리즘 Medge이고, 상기 잘못된 매크로블록이 상기 노이즈 클래스 또는 상기 단조적 클래스에 속하는 경우 평활 편차들의 재구성에 특별한 알고리즘 Msmooth인, 에러 은폐 방법.
  4. 제 3 항에 있어서,
    상기 알고리즘 Medge는 쿼드러리니어 보간(quadrilinear interpolation)인, 에러 은폐 방법.
  5. 제 3 항에 있어서,
    상기 알고리즘 Msmooth는 최대 평활 보간인, 에러 은폐 방법.
  6. 매크로블록 압축 형태로 전송된 이미지 신호에 에러들을 은폐하는 장치로서, 각각의 매크로블록은 픽셀들의 라인들 및 컬럼들을 포함하고, 적어도,
    a) 상기 전송된 이미지 신호를 디코딩하는 수단,
    b) 잘못된 매크로블록을 검출하는 수단,
    c) 상기 잘못된 매크로블록이 속하는 클래스를 획득하고 상기 잘못된 매크로블록을 분류하는 수단, 및
    d) 상기 잘못된 매크로블록을 그것의 클래스에 따라 정정하는 수단을 포함하는, 상기 에러 은폐 장치에 있어서,
    i)상기 잘못된 매크로블록은 에러를 포함하지 않는 적어도 하나의 유효한 서라운딩 매크로블록을 갖고,
    ii)상기 분류 수단은 적어도,
    -각각의 유효한 서라운딩 매크로블록에 대해 상기 잘못된 매크로블록에 인접한 라인 또는 컬럼의 각 픽셀마다 상기 라인 또는 컬럼의 2개의 연속적인 픽셀들의 값들을 감산함으로써 그래디언트를 계산하는 수단, 및
    -상기 그래디언트의 방향 변화들의 수 Cdir을 평가하는 수단을 포함하며,
    iii)상기 잘못된 매크로 블록은, 적어도 하나의 그래디언트의 절대값이 제 1 미리 규정된 문턱값 위인 경우, 에지 클래스로서, Cdir이 정확하게 포지티브이고 제 2 미리 규정된 문턱값 위의 그래디언트들의 절대값의 수가 Cdir에 의해 곱해진 α보다 크며 α는 프로그램 가능한 양인 경우, 텍스쳐 클래스로서, 그렇지 않고 다른 경우에는, 노이즈 또는 단조적 클래스로서 분류되는 것을 더 특징으로 하는 에러 은폐 장치.
  7. 제 6 항에 있어서,
    상기 정정 수단은 미리 결정된 선택 순서를 갖는 알고리즘들의 세트로부터 선택된 알고리즘을 사용하고, 상기 세트 및/또는 선택 순서는 상기 잘못된 매크로블록의 클래스에 따라 바뀌는, 에러 은폐 장치.
  8. 제 7 항에 있어서,
    상기 선택 순서에서의 상기 제 1 알고리즘은 상기 잘못된 매크로블록이 상기 에지 클래스 또는 상기 텍스쳐 클래스에 속하는 경우 에지 정보를 보전할 수 있는 알고리즘 Medge이고, 상기 잘못된 매크로블록이 상기 노이즈 클래스 또는 상기 단조적 클래스에 속하는 경우 평활 편차들의 재구성에 특별한 알고리즘 Msmooth인,에러 은폐 장치.
  9. 제 8 항에 있어서,
    상기 알고리즘 Medge는 쿼드러리니어 보간인, 에러 은폐 장치.
  10. 제 8 항에 있어서,
    상기 알고리즘 Msmooth는 최대 평활 보간인, 에러 은폐 방법.
  11. 프로세서 또는 컴퓨터에 로딩될 때, 상기 프로세서 또는 상기 컴퓨터가 청구항 1에 청구된 바와 같은 상기 은폐 방법을 수행하도록 하는 명령어들의 세트를 포함하는 컴퓨터 프로그램.
KR1020037001327A 2001-05-29 2002-05-28 에러 은폐 방법 및 장치 KR100873317B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP01401406.2 2001-05-29
EP01401406 2001-05-29
PCT/IB2002/001887 WO2002098139A1 (en) 2001-05-29 2002-05-28 Error concealment method and device

Publications (2)

Publication Number Publication Date
KR20030020423A true KR20030020423A (ko) 2003-03-08
KR100873317B1 KR100873317B1 (ko) 2008-12-10

Family

ID=8182751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020037001327A KR100873317B1 (ko) 2001-05-29 2002-05-28 에러 은폐 방법 및 장치

Country Status (8)

Country Link
US (1) US20040146113A1 (ko)
EP (1) EP1396154B1 (ko)
JP (1) JP4340532B2 (ko)
KR (1) KR100873317B1 (ko)
CN (1) CN1224274C (ko)
AT (1) ATE362275T1 (ko)
DE (1) DE60220047T2 (ko)
WO (1) WO2002098139A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394855B2 (en) * 2003-11-20 2008-07-01 Mitsubishi Electric Research Laboratories, Inc. Error concealing decoding method of intra-frames of compressed videos
JP4165428B2 (ja) * 2004-03-30 2008-10-15 セイコーエプソン株式会社 画像処理装置、画像処理方法、画像処理を行うコンピュータプログラム、コンピュータプログラムを記録する記録媒体、およびプロジェクタ。
US20060285598A1 (en) * 2005-06-17 2006-12-21 Jarno Tulkki Apparatuses, computer program product and method for digital image quality improvement
US8155189B2 (en) * 2005-10-19 2012-04-10 Freescale Semiconductor, Inc. System and method of coding mode decision for video encoding
US7916796B2 (en) * 2005-10-19 2011-03-29 Freescale Semiconductor, Inc. Region clustering based error concealment for video data
US7693219B2 (en) * 2006-01-04 2010-04-06 Freescale Semiconductor, Inc. System and method for fast motion estimation
US7577246B2 (en) * 2006-12-20 2009-08-18 Nice Systems Ltd. Method and system for automatic quality evaluation
WO2008082762A1 (en) * 2006-12-29 2008-07-10 Motorola, Inc. Method and system for processing encoded video data
EP2302845B1 (en) 2009-09-23 2012-06-20 Google, Inc. Method and device for determining a jitter buffer level
CN101770646B (zh) * 2010-02-25 2012-07-04 昆山锐芯微电子有限公司 基于Bayer RGB图像的边缘检测方法
US8630412B2 (en) 2010-08-25 2014-01-14 Motorola Mobility Llc Transport of partially encrypted media
US8477050B1 (en) 2010-09-16 2013-07-02 Google Inc. Apparatus and method for encoding using signal fragments for redundant transmission of data
US8838680B1 (en) 2011-02-08 2014-09-16 Google Inc. Buffer objects for web-based configurable pipeline media processing
CN109120943B (zh) * 2018-10-10 2021-02-23 鲍金龙 视频数据恢复方法及装置
CN111182313B (zh) * 2019-12-20 2021-11-02 东华大学 一种面向通用空域错误隐藏的自适应混合填充方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455629A (en) * 1991-02-27 1995-10-03 Rca Thomson Licensing Corporation Apparatus for concealing errors in a digital video processing system
JP3399486B2 (ja) * 1993-06-30 2003-04-21 富士ゼロックス株式会社 カラー画像処理装置及び方法
KR960012931B1 (ko) * 1993-08-31 1996-09-25 대우전자 주식회사 분류 벡터 양자화된 영상의 채널 오류 은폐 방법
US5621467A (en) * 1995-02-16 1997-04-15 Thomson Multimedia S.A. Temporal-spatial error concealment apparatus and method for video signal processors
KR100196872B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 복화화 시스템의 영상 에러 복구 장치
KR100220678B1 (ko) * 1995-12-29 1999-09-15 전주범 블록 단위 부호화 장치로부터 전송된 영상신호에서의 채널 에러 정정 방법
US6185340B1 (en) * 1997-02-18 2001-02-06 Thomson Licensing S.A Adaptive motion vector control
FI107108B (fi) * 1998-11-05 2001-05-31 Nokia Mobile Phones Ltd Virheen ilmaiseminen alhaisen bittinopeuden videolähetyksessä
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi

Also Published As

Publication number Publication date
DE60220047D1 (de) 2007-06-21
JP4340532B2 (ja) 2009-10-07
DE60220047T2 (de) 2008-01-10
JP2004529585A (ja) 2004-09-24
KR100873317B1 (ko) 2008-12-10
EP1396154B1 (en) 2007-05-09
WO2002098139A1 (en) 2002-12-05
EP1396154A1 (en) 2004-03-10
CN1224274C (zh) 2005-10-19
CN1463555A (zh) 2003-12-24
ATE362275T1 (de) 2007-06-15
US20040146113A1 (en) 2004-07-29

Similar Documents

Publication Publication Date Title
US6061400A (en) Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information
US6314209B1 (en) Video information coding method using object boundary block merging/splitting technique
KR100873317B1 (ko) 에러 은폐 방법 및 장치
KR100301833B1 (ko) 오류은폐방법
Yin et al. Error concealment using data hiding
KR20010021410A (ko) 노이즈 검출방법과 노이즈 검출장치 및 화상 복호화장치
US20030123747A1 (en) System for and method of sharpness enhancement using coding information and local spatial features
KR20000050599A (ko) 오류 은폐방법
JP2000041258A (ja) 低解像度ビデオ・デコーダで画質を改善するための方法及び装置
GB2320836A (en) Error concealing in video signal decoding system
KR20010081009A (ko) 디지털 비디오 화상들에서 블록화 현상들을 식별하는 방법및 디바이스
US8311127B2 (en) Method and apparatus to check for wrongly decoded macroblocks in streaming multimedia applications
EP1506525A1 (en) System for and method of sharpness enhancement for coded digital video
US8199817B2 (en) Method for error concealment in decoding of moving picture and decoding apparatus using the same
JP3519441B2 (ja) 動画像伝送装置
US5787207A (en) Method and apparatus for minimizing blockiness in reconstructed images
US6046784A (en) Method and apparatus for concealing errors in a bit stream
CN100373951C (zh) 检测块假象的方法
JPWO2009048112A1 (ja) 動画像復号器、動画像復号方法及び動画像復号プログラム
US7995653B2 (en) Method for finding the prediction direction in intraframe video coding
Kirenko Reduction of coding artifacts using chrominance and luminance spatial analysis
EP1570678B1 (en) Method of measuring blocking artefacts
Shabtay et al. Video packet loss concealment detection based on image content
Tsai et al. Video error concealment techniques using progressive interpolation and boundary matching algorithm
KR100388802B1 (ko) 오류은폐장치및방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee