KR100772402B1

KR100772402B1 - 공간 영역에서의 내용 적응성 블로킹 아티팩트 제거기

Info

Publication number: KR100772402B1
Application number: KR1020060024759A
Authority: KR
Inventors: 김영택; 빅터 형석 하
Original assignee: 삼성전자주식회사
Priority date: 2005-09-15
Filing date: 2006-03-17
Publication date: 2007-11-01
Also published as: KR20070031780A

Abstract

이미지(image) 처리 방법과 시스템은 압축된 이미지/비디오에서의 블로킹 아티팩트(Block artifacts)를 제거한다. 블로킹 아티팩트는 이미지/비디오의 컨텐트에 대한 정보를 기초로 하여 수행되는 컨텐트 분석을 기반으로 하여 검출된다. 그 후 블록 경계에서의 각 픽셀에 대한 검출 결정(detection decision)을 행하기 위한 우선 조건들의 집합이 평가되어 진다. 보다 높은 우선권이 단기 시간적 처리 결과와 공간적 처리 결과에 주어진다. 장기 시간적 처리 결과와 양자화 정보(quantization information)들은 필터링의 강도를 조정하기 위한 부수적인 정보로 취급된다. 블로킹 아티팩트를 제거하기 위하여 검출 결정(detection decision)의 결과에 의존하여 적절한 필터링이 픽셀에 적용된다.

블로킹 아티팩트 블록 아티팩트 블로킹 아티팩츠 블록 아티팩츠 제거기

Description

공간 영역에서의 내용 적응성 블로킹 아티팩트 제거기{CONTENT-ADAPTIVE BLOCKING ARTIFACT REMOVAL IN SPATIAL DOMAIN}

도 1은 본 발명의 실시예에 따라 내용 적응적인 블로킹 아티팩트 제거 시스템의 기능적인 블록 다이어그램을 도시한다.

도 2는 도 1의 시스템 내에서의 컨텐트 분석기(content analyzer)의 일실시예에 대한 기능적인 블록 다이어그램을 도시한다.

도 3은 도 1의 시스템 내에서의 블로킹 아티팩트 검출기(block artifacts detector)의 일실시예에 대한 기능적인 블록 다이어그램을 도시한다.

도 4는 도 1의 시스템 내에서의 블로킹 아티팩트 제거기(block artifacts remover)의 일실시예에 대한 기능적인 블록 다이어그램을 도시한다.

도 5는 도2에서의 컨텐트 분석기(content analyzer)에 의한 단기 시간적 처리의(temporal processing) 예를 도시한다.

비디오통신 시스템과 어플리케이션(application)은 화면은 더 커지고 해상도는 더 높아져가는 경향에 있다. 이와 같은 경향은 예를 들면 TV분야에서의 더 큰 CRT, LCD, PDP, Projector, 고해상도 표시 시스템 (High-Definition display systems)의 등장과 더 커져가는 MPEG, DVD, DV 등의 형식에 있어서의 디지털로 처리되고 저장된 비디오 정보에 의해 증폭되었다. 그와 같은 것들이 고해상도의 큰 화면에 표시되는 이미지와 비디오의 질을 향상시키는데 중요하다.

TV sets는 종종 디스플레이(display)되는 이미지/비디오 신호를 향상시키고 강화시키는 비디오 후처리기(post-processor)를 구현해낸다. 이러한 TV sets에 있는 후처리기는 기능에 있어 신호의 향상과 강화를 위한 이미지 크기 조정, 이미지 잡음의 축소, 표시되는 이미지/비디오 이미지의 세부적 강화, 이미지 색상의 강화 등으로 제한되는 것은 아니지만 이와 같은 것들을 포함하여 많은 기능을 수행한다.

디지털 비디오 컨텐트는 아마도 원래 통신 네트워크에서의 데이터 대역폭의 제한 문제를 극복하기 위한 다양한 디지털 압축 기술에 의해 처리되고 암호화 될 것이다. 미국에서 방송되는 현재의 디지털 TV는 디지털 비디오 컨텐츠를 압축하기 위하여 MPEG-2 국제 비디오 압축 규격을 사용한다. DVD 비디오 컨텐츠도 또한 MPEG-2에 의해 처리된다. 고해상도 컨텐츠도 아마도 MPEG-2 또는 MPEG-4에 의해 처리될 것이다. 이러한 MPEG로 처리된 디지털 비디오는 표시되는 비디오의 질을 저하시키는 다양한 정도의 아티팩트(artifacts)를 포함한다.

여기서는 MPEG로 처리된 디지털 비디오의 아티팩트는 "MPEG 잡음", "압축 잡음"이라고 불린다. MPEG 잡음의 축소와 같은 압축 잡음의 축소가 TV 세트(set) 내의 후처리기가 수행하는 주요한 기능 중 하나이다. 압축 잡음의 축소란 디스플레이 시스템의 화면에 표시되기 전의 디지털 비디오로부터의 성가신 MPEG 잡음을 발견하 고 제거하는 처리절차를 말한다.

다양한 유형의 MPEG 압축 잡음이 있다. MPEG 잡음의 한 종류로는 블록을 기반으로 한 이미지 압축 방식(image compressing scheme)에 의해 발생하는 블로킹 아티팩트로 알려진 것이 있다. 블로킹 아티팩트는 JPEG, MPEG, H.26X와 같은 블록을 기반으로 한 코딩 방식(coding scheme)에 의해 압축된 이미지/비디오에서 일어난다. 이와 같은 코딩 방식에서 비디오 이미지(video image)는 매크로블록(macroblock)이라고 불리는 N x N 사각 블록의 배열로 나뉘어 진다( 예) N=16). 각각의 매크로블록은 다시 M x M 서브블록(sub-block)으로 나뉘어 진다.( 예) M=8) 각각의 서브블록은 다른 서브블록과 상관 없이 전형적으로 M x M( 예)8 x 8) 이산 여현 변환(Discrete Cosine Transform), 양자화(quantization), 지그재그 스캐닝(zig-zag scanning) 그리고 엔트로피 부호화(Entropy Coding)에 의해 처리된다. 각각의 서브블록(그리고 각각의 매크로블록)이 독립적으로 처리되기 때문에 이웃하는 블록과 연결된 이미지/비디오에서 극초단파부분(Critical highfrequency portion)은 종종 분실되고 잉여의 에지가 나타나며 블록의 경계에 불연속이 나타난다. 블로킹 아티팩트란 이와 같이 원하지 않는 잉여의 에지 또는 블록 경계에서의 불연속이 나타나는 것을 말한다.

블로킹 아티팩트는 이미지/비디오가 보다 압축 될 때 즉, 고 압축 비율(High compression rates)에서 더 심각하게 나타난다. 또한 보다 움직임이 큰 컨텐츠가 있는 장면(scene)에서는 더 많은 블로킹 아티팩트가 나타난다. 인간의 시각 시스템 은 블로킹 아티팩트를 인식하는데 매우 효율적이다. 이것은 인간은 실제 세상(사물과 장면)이 어떻게 생겼는지에 대한 시각적인 지식과 경험을 매우 많이 가지고 있기 때문이다. 따라서 인간이 일정한 간격을 두고 화면에 나타나는 인공적으로 만들어진 불연속과 에지를 검출하는 것은 쉽다. 매우 작은 모순일지라도 인간의 시각에 의해서는 큰 노력 없이 발견된다. 반면에 기계는 인간이 가진 정도의 풍부한 시각적 지식이 결핍되어 있다. 특히 블로킹 아티팩트를 검출하고 제거하기 위하여 만들어진 전통적인 전기 장치 또는 소프트웨어 프로그램은 극히 제한 된 픽셀, 블록, 프레임(inter-pixel,inter-block,inter-frame) 상호간의 관계에만 의존한다. 따라서 그와 같은 장치와 프로그램에 의하여 블로킹 아티팩트를 완벽하고 정확하게 제거하는 것은 매우 어렵다. 많은 전통적인 장치/프로그램은 부적절한 처리 메카니즘의 결과인 번짐(Blurring)과 같은 블로킹 아티팩트를 방치하거나 원하지 않는 부작용(side effect)이 생기는 것을 놓아둔다.

따라서 이미지/비디오의 컨텐츠에 대한 정보를 효율적이고 뛰어난 방법으로 모으고 조합하며 압축화/코드화 된 이미지/비디오에 있어서의 블로킹 아티팩트를 줄이기/제거하기 위한 정보를 효율적으로 이용하는 이미지 처리 방법과 시스템이 필요하다.

일실시예로서 본 발명은 이미지/비디오의 컨텐츠에 대한 정보를 효율적이고 뛰어난 방법으로 모으고 조합하며 압축화/코드화 된 이미지/비디오에 있어서의 블 로킹 아티팩트를 줄이기/제거하기 위한 정보를 효율적으로 이용하는 이미지 처리 방법과 시스템이 필요하다.

본 발명의 다른 실시예, 특징, 장점은 이하의 도면과 결합된 이하의 명세서로부터 명백하여 질 것이다.

본 발명의 일실시예에 따르면 블로킹 아티팩트를 줄이기/제거하기 위한 효과적이고 능률적인 방법에 있어서 하기 사항을 포함하는 이미지/비디오 컨텐츠에 대한 지식이 이득을 줄 수 있다.

(1) 로우 레벨(Low level)의 움직임(motion) vs 하이 레벨(High level)의 움직임(motion)

(2) 적은 활동 (평평한 지역 - Flat region) vs 많은 활동 (패턴화된 지역 - patterned region)

(3) 저압축비율 vs 고압축비율.

움직임이 있는 컨텐츠(motion content)의 측정은 시간영역(temporal dimension)에서의 이미지의 순서를 분석하는 것에 의하여 달성된다. 움직임(motion)의 평가와 MPEG 보상 절차에 사용되는 움직임 벡터는(motion vector) 이러한 점에서 유용한 정보를 제공하여 준다. 예를 들면 공간 영역(spatial regions)의 활동 레벨(activity levels)은 현재와 이웃하는 블록의 평균과 분산을 계산함으로써 측정된다. 고활동 영역(High activity region)에서는 중요한 이미지의 특징 (feature)이 버려지는 것과 날카로운 양식(sharp patterns)이 흐릿하게 되는 것(blurring)을 피하기 위하여 블로킹 아티팩트의 검출과 처리를 조심스럽게 하는데 반하여 저활동 영역(Low activity region)에서의 블로킹 아티팩트는 심각한 부작용 없이 보다 왕성하게 제거된다. 압축 비율(compression rate) 또는 양자화 파라미터(quantization parameter)에 대한 정보는 블로킹 아티팩트에 의하여 전체적으로 시각적인 완결성이 오염된 정도를 표시하는데 있어 도움을 준다. 압축비율이 높을때 더 많은 블로킹 아티팩트가 예상되지만 그 반대의 경우에는 상반된 결과가 예상된다.

본 발명과 같은 내용 적응적인(Content-adaptive) 블로킹 아티팩트(Block artifacts) 제거 방법과 시스템은 압축된 이미지/비디오에서의 블로킹 아티팩트를 제거한다. 블로킹 아티팩트는 실행된 컨텐트 분석을 기반으로 하여 검출된다. 그 후 블록의 경계에서의 각 픽셀에 대한 검출 결정(detection decision)을 만들기 위하여 우선 조건들의 집합(a set of priority conditions)이 평가되어 진다. 더 높은 우선권은 단기 시간적 처리 결과(temporal processing result)와 공간적 처리 결과(spatial processing result)에게 주어진다. 장기 시간적 처리 결과와 양자화 정보는 필터링(filtering)의 강도를 조정하는데 있어 보조적인 정보로 취급된다. 블로킹 아티팩트를 제거하기 위하여 검출 결정(detection decision)의 결과에 의존하여 각 픽셀에 적절한 필터링(filtering)이 적용된다.

비디오 압축(Video compression)은 비디오 신호내에서 시공간적이고 통계적인 중복성(redundancy)을 이용하여 비디오 신호를 나타내는 자료의 양(예를 들어 초당 비트수)을 줄이는 것이다. 그와 같은 압축 기술의 예로써 모션-JPEG(Motion-JPEG), MPEG, H.26x, AVI, 기타 등등이 있으며 거기서 디지털 비디오의 압축의 정도는 압축 비율과 같이 측정 가능한 파라미터의 범위에 의해 표시된다. 디지털 비디오는 이미지의 순서(sequence)와 비디오를 포함하고, 아날로그 비디오 신호에 적용되는 샘플링과 양자화(quantization)에 의해 생성된다.

블록 기반형(block-based) 압축 기술(JPEG, MPEG, H.26x)에 의해 압축된 디지털 이미지와 비디오는 블로킹 아티팩트를 포함하여 다양한 MPEG 잡음을 겪게 된다.

블로킹 아티팩트는 블록 경계에서의 원하지 않는 잉여의 에지를 말한다. 이러한 에지들은 실제 이미지의 특징의 한 부분이 아니고 시각적 화면의 질을 향상시키기 위해서 제거되어야만 한다. 다양한 이미지/비디오 컨텐트의 범위와 다양한 질(quality), 다양한 조건을 다루기 위한 간단하고 저렴한 장치/방법을 제공하는 것이 바람직하다.

본 발명의 일실시예에 따르면 블로킹 아티팩트를 줄이기/제거하기 위한 효과적이고 능률적인 방법에 있어 하기 사항을 포함하는 이미지/비디오 컨텐츠에 대한 지식이 이득을 줄 수 있다.

(1) 로우 레벨의 움직임 vs 하이 레벨의 움직임

(2) 적은 활동 - 평평한 지역(Flat region) vs 많은 활동 - 패턴화된 지역

(patterned region)

(3) 저압축비율 vs 고압축비율.

움직임이 있는 컨텐츠(motion content)의 측정은 시간 영역 (temporal dimension)에서의 이미지의 순서를 분석하는 것에 의하여 달성된다. 움직임의 평가와 MPEG 디코더 보상 절차에 사용되는 움직임 벡터는 이러한 점에서 유용한 정보를 제공하여 준다. 예를 들면 공간 영역(spatial regions)의 활동 레벨(activity levels)은 현재와 이웃하는 블록의 평균과 분산을 계산함으로써 측정된다. 고활동 영역(High activity region)에서는 중요한 이미지의 특징(feature)이 버려지는 것과 날카로운 양식(sharp patterns)이 흐릿하게 되는 것(blurring)을 피하기 위하여 블로킹 아티팩트의 검출과 처리를 조심스럽게 하는데 반하여 저활동 영역(Low activity region)에서의 블로킹 아티팩트는 심각한 부작용 없이 보다 왕성하게 제거된다. 압축 비율 또는 양자화 파라미터에 대한 정보는 블로킹 아티팩트에 의하여 전체적으로 시각적인 완결성이 오염된 정도를 표시하는데 있어 도움을 준다. 압축비율이 높을 때 더 많은 블로킹 아티팩트가 예상되지만 그 반대의 경우에는 상반된 결과가 예상된다.

그러므로 블로킹 아티팩트는 상기의 각각 3 개의 범주(category)에서 실행된 컨텐트 분석을 기반으로 하여 검출된다. 그 후 블록의 경계에서의 각 픽셀에 대한 검출 결정(detection decision)을 만들기 위하여 우선 조건들의 집합(a set of priority conditons)이 평가되어 진다. 블로킹 아티팩트를 제거하기 위하여 검출 결정의 결과에 의존하여 각 픽셀에 적절한 필터링이 적용된다. 블로킹 아티팩트는 이미지/비디오의 컨텐트를 분석함으로써 검출될 수 있다.

따라서 일실시예로서 본 발명은 압축화/코드화된 이미지/비디오에서의 블로킹 아티팩트를 줄이고/거나 제거하기 위한 효율적이고 뛰어난 이미지 처리 방법과 시스템을 제공한다. 도 1은 본 발명의 실시예에 따른 그러한 이미지 처리 시스템(100)의 블록 다이어그램을 보여준다. 시스템 (100)은 컨텐트 분석기(Content analyzer)(102), 블로킹 아티팩트 검출기(Block artifacts detector) (104), 블로킹 아티팩트 제거기(Block artifacts remover)(106)을 포함한다.

블로킹 아티팩트 제거 절차는 컨텐트 분석기(Content analyzer)(102)에 의한 이미지/비디오 입력의 컨텐트 분석을 기반으로 해 시스템(100)에 의해 구현된다. 이미지/비디오의 컨텐트를 분석하기 위한 3 개의 본보기적인 범주는 다음과 같다.

(1) 로우 레벨의 움직임 vs 하이 레벨의 움직임

(patterned region)

(3) 저압축비율 vs 고압축비율.

블로킹 아티팩트는 상기에 나열된 3 개의 카테고리에 따른 이미지/비디오 컨텐트의 분석을 통하여 검출된다. 각각의 입력 이미지에서의 픽셀의 M x M 서브블록은 상기 3개의 카테고리에 따라 분류된다. 그 후 분류 결과에 따라서 블로킹 아티팩트가 블로킹 아티팩트 검출기(104)에 의해 검출되고 블로킹 아티팩트 제거기(106)에 의해 제거된다.

도 2는 본 발명의 일실시예에 따른 컨텐트 분석기(102) 의 기능적인 블록 다이어그램을 보여준다. 컨텐트 분석기 102는 시간적 처리기(temporal processor)(108), 공간적 처리기(spatial processor)(110), 양자화 정보 유닛(112)을 포함한다.

시간 t에서의 현재의 이미지 프레임(frame)의 현재의 블록

에서의 블로킹 아티팩트를 검출하기 위해서는, k = 1 ... R까지 일때 시간적 처리기(temporal processor) 108이 과거 프레임 f(t-k)에 대응하는 블록

를 분석한다. ( i는 프레임에서의 블록

의 가로지표, j는 프레임에서의 블록

의 세로지표, 여기에서 i= 1...P, j=1...Q이고 그러한 프레임은 P x Q의 숫자만큼의 서브블록을 포함한다. 그리고 R은 비디오 디코딩/프로세싱 시스템에 의하여 저장되는 과거 참조 프레임의 전체 숫자이다. )

도 5의 예를 살펴보면, 현재의 프레임(예컨대 f(t))(200)과 과거의 프레임 (예컨대 f(t-1))(202)가 도시되어 있다. 이때 각 프레임은 다수의 블록(204)를 포함한다.

단기 시간적 분석에 있어서 움직임 추정 기술(motion estimation technique), 예를 들어 MPEG 디코더로부터 또는 움직임 추정 알고리즘(motion estimation algorithm)을 적용함으로써 얻게 되는 움직임 벡터를 사용하여 대응하 는 블록

가 과거 프레임( f(t-1) )에 위치한다. 블록

와

가 비교되고 만일 현재의 블록

의 블록 경계에서 나타나는 에지가 과거 프레임에서의

의 대응되는 경계에서 나타나지 않는다면 이러한 에지는 블로킹 아티팩트 제거기(106)에 의하여 제거되어야 할 블로킹 아티팩트로 간주된다.

도 5에서 프레임 f(t)에서의

의 블록 경계는 과거 프레임 f(t-1)의 블록 경계로 더 이상 떨어지지 않는다. 그러므로 이미지의 특징은

와

에서 동시에 나타날 것이지만 블로킹 아티팩트는 오직

의 블록 경계에서만 나타날 것이다. 시간적 처리기(108)(도2)의 단기 시간적 처리 결과는 각 경계 픽셀에서의 블로킹 아티팩트의 존재를 지시하는 바이너리 결정(binary decision)이다. 시간적 처리기(108)의 두번째 결과는 아마도 현재의 블록

에서의 본래 픽셀 값인

를 대체하여 새로운 픽셀값

를 제공하는 것이다. 새로운 픽셀값인

는 예를 들어

의 대응되는 픽셀 값인

로부터 계산될 수 있다. 그러나 움직임 추정(motion estimation) 동안 완벽한 짝(Perfect match)를 발견하였다고 하더라도 그 정확한 픽셀값은 아직 다를 수 있다. 그러므로 직접

의 픽셀값인

를 사용하는 대신

와

에 속해 있는 그 이웃들과의 관계가 고려되어지고 그 후

에 속해 있는 현재 픽셀값은 그 이웃들과 비슷한 관계를 유지하기 위하여 변경된다.

단기 시간 분석(temporal analysis)은 모든 유형의 이미지/비디오 컨텐츠에서의 블로킹 아티팩트에 적용 가능하다. 단기 시간적 처리의 효율성은 움직임 추정 알고리즘의 성능에 달려있다.

장기 시간 분석(temporal analysis)에서는 시간적 정보가 보다 긴 시간동안 수집된다. 예를 들면 모든 GOP(Group of picture)는 분석에 필요한 적절한 데이터의 계산에 포함된다. 장기 시간적 정보는 k가 1부터 G까지이고 G가 GOP의 크기(예컨대 G=15)일 때 과거 프레임인 f(t-k) 걸쳐서 블로킹 아티팩트의 평균적인 레벨을 지시한다.

이것은 예를 들어, 큰 움직임이 있는 컨텐츠(High motion contents)에서 기인하는 블로킹 아티팩트의 갑작스런 증가를 검출하는데 도움을 준다. 그러한 것으로서 단기 시간적 처리는 모든 유형의 컨텐트에 적합하고 장기 시간적 처리는 장면들(scenes) 또는 움직임이 있는 컨텐츠(motion contents)에 갑작스러운 변화가 있을 때 보다 효과적이다. 블로킹 아티팩트의 평균적인 레벨은 각 프레임에서의 모든 블록의 경계에 걸친 평균적인 픽셀 값의 차이로써 계산된다. 모션 컨텐츠에서 갑작스러운 증가가 있을 때 평균적인 픽셀값의 차이가 증가되면서 움직임이 있는 영역(motion region)에 보다 강한 블로킹 아티팩트가 나타나는 경향이 있다. 이와 같은 평균 픽셀값의 차이의 변화는 블로킹 아티팩트 검출기(104)에 의해 검출된다. 이 경우 시간적 처리기(108)로부터의 장기 처리의 주요한 출력은 블로킹 아티팩트의 레벨에 있어서의 갑작스러운 증가의 존재를 지시하는 바이너리 결정(binary decision)이다. 시간적 처리기(108)의 부차적인 출력은 아마도 적용되어야 할 필터링의 강도, 즉 블로킹 아티팩트의 레벨이 증가한 정도를 포함할 것이다.

다른 구현에 있어서 블로킹 아티팩트의 평균적인 레벨은 저활동(예컨대 평평한)영역과 고활동(예컨대 패턴화된)영역으로부터 각각 개별적으로 계산된다. 움직임이 많은 컨텐츠는 평평한 영역(flat region)보다는 패턴화된 영역(patterned region)에 더 많은 영향을 주기 때문에 이것은 보다 효율적이다.

만약에 움짐임 컨텐트(motion content)를 무시할만 하다면 (예를 들어 적은 움직임) 장기 시간적 처리는 아마도 효율적이지 않을 것이다. 이 경우 공간적 처리기 (110)이 이용된다. 여기서 블록은 저활동(예컨대 평평한) 영역과 고활동(예컨대 패턴화된)영역으로 나뉘어 진다. 인간의 시각은 저활동 영역에서의 블로킹 아티팩트에 보다 예민하며 저활동 영역은 종종 평평한 배경 영역(falt background areas)을 의미한다. 그러므로 블록의 경계를 부드럽게 하고 블로킹 아티팩트를 제거하기 위하여 저활동 영역에 강력한 저역통과 필터가 적용된다. 고활동 영역에서 이미지의 특징과 실제 에지는 블로킹 아티팩트와 뒤섞이는데 이때 블로킹 아티팩트의 세심한 식별이 필요하다. 실제의 이미지의 특징을 흐리게 하거나 제거하는 것을 피하기 위하여 알맞은 방향성 필터가 고활동 영역에 적용되어야 한다.

활동 수준(activity level)은 예를 들어 블록의 경계의 각각의 면에서의 블록의 평균과 편차에 의해 계산되어진다. 한 개의 블록 내에서의 편차가 작을 때 그 블록은 저활동(low activity) 블록으로 간주된다. 한개의 블록 내에서의 편차가 클 때 그 블록은 고활동(high activity) 블록으로 간주된다. 경계에 걸쳐 양쪽의 블록이 저활동(low activity)인 때에는 그들의 평균값의 차이가 적용되어야 할 필터의 강도를 나타낸다. 그런점에서 평균 값의 차이가 큰 경우 그 차이를(gap) 줄이기 위하여 보다 강한 저역 통과 필터가 적용된다. 양 블록이 고활동 블록으로 밝혀진 경우 그 대신에 방향성 필터(Directional filter)가 적용되어야 한다.

공간적 처리기(110)으로부터의 공간적 처리의 주요한 출력은 각 경계의 픽셀이 고활동 영역 또는 저활동 영역에 속하는지에 대한 바이너리 결정(Binary decision)이다. 주요한 출력이 저활동 영역을 나타낼때 부차적인(secondary) 출력은 저역통과 필터를 위한 필터의 강도를 제공한다. 주요한 출력이 고활동 영역을 나타낼때 부차적인 출력은 방향성 필터(directional filter)를 위한 필터의 강도를 제공한다.

MPEG 디코더로부터 제공되거나 픽쳐 내에서 평가되는 양자화 파라미터는 블로킹 아티팩트 검출기(104)에 유용한 정보를 제공한다. 양자화 정보 유닛 112는 화면을 통하여 예상되는 아티팩트(artifacts)의 양을 나타내는 그러한 양자화 정보를 제공한다. 고압축 비율(예컨대 큰 양자화 스텝(step)의 크기)에서 더 큰 블로킹 아 티팩트가 예상되고 반면에 저압축 비율(예컨대 작은 양자화 스텝(step)의 크기)에서는 보다 적은 블로킹 아티팩트가 예상된다. 블로킹 아티팩트 검출기(104)와 블로킹 아티팩트 제거기(106)는 블록 경계를 처리할 때 그러한 정보를 이용한다.

도 3은 블로킹 아티팩트 검출기(104)의 예를 보여준다. 블로킹 아티팩트 검출기(104)는 컨텐트 분석기에서의 시간적 처리기(108), 공간적 처리기(110), 양자화 정보 유닛(112) 등으로부터의 컨텐트 분석 결과를 이용하여 블로킹 아티팩트를 검출한다. 검출기(104)는 블록 경계에서의 각각의 픽셀이 블로킹 아티팩트로서 분류되는지 아닌지에 대하여 결정하기 위해 분석결과에 우선 조건의 집합(a set of priority conditions)을 부과한다. 검출기(104)의 주요한 출력은 예를 들어 '1'은 블로킹 아티팩트를 나타내고 '0'은 블로킹 아티팩트가 아닌 경우를 나타내는 것과 같은 바이너리 결정(binary decision)이다. 검출기(104)의 부차적인 출력은 픽셀이 어떻게 더 처리되어야 할 것인가에 대한 보조적인 정보를 제공하는 것이다(예컨대 약한 필터링(weak filtering) vs 강한 필터링(strong filtering)). 검출기(104)에 의해 픽셀이 블로킹 아티팩트라고 결정되면 블로킹 아티팩트 제거기(106)이 검출기(104)의 부차적인 출력으로부터 제공된 정보에 따라 픽셀 값에 블로킹 아티팩트 제거 절차를 적용한다.

일실시예로서 블로킹 아티팩트 제거기(104)는 다음과 같은 우선적인 조건들의 집합을 구현한다. 보다 높은 우선권이 단기 시간적 처리와 공간적 처리 결과에 주어진다. 장기 시간적 처리 결과와 양자화 정보는 필터링(filtering)의 강도를 조정하는 부차적인 정보로써 취급된다.

일단 블로킹 아티팩트 검출기(104)에 의해 검출되면 블로킹 아티팩트는 블로킹 아티팩트 제거기(106)에 의해 감소되거나 제거된다. 도 4는 픽셀값 변경기(pixel value modifier)(112) ,저역 통과필터(114), 방향성 필터(116), 바이패스(bypass)(118), 다중화기(multiplexer)(120)을 포함하는 블로킹 아티팩트 제거기 (106)의 예를 보여준다. 블로킹 아티팩트 제거기(106)는 3 개의 분리된 필터링 기술(filtering technique)을 채용하고 있다.

첫 번째 필터링 테크닉은 픽셀값 변경기(pixel-value modifier)(112)에 의하여 구현되는데 블록의 경계에 있는 픽셀 값은 지정된 값으로 변경된다. 새로운 값인

는 예를 들어 컨텐트 분석의 결과로부터 또는 과거 프레임 f(t-1)의 대응하는 블록

로부터의 픽셀값으로부터 계산된다 그 후 블록 경계에서의 원래의 픽셀 값

는

으로 대체된다. 만약 더 강한 필터링이 필요하다면 변경기(modifier)(112)는 이웃하는 픽셀값을 체크하고 현재의 픽셀 값을 조정해서 픽셀 값의 전이(transition)를 보다 부드럽게 한다.

두번째 필터링 테크닉은 저역 통과 필터(114)에 의해 구현되는데 저활동 영 역(low-activity region)에 대한 블록의 경계를 펴기 위하여(smooth out) 저역 통과필터를 적용함으로써 블로킹 아티팩트를 제거한다. 저역통과 필터의 강도(strength)와 범위(extent)는 아마도 특정한 필요와 구현(implementation)에 의존하여 조정되어질 것이다. 예를 들어 검출기로부터 부차적인 출력이 공급됨에 따라서 저역통과 필터의 강도와 범위(extent)가 아마도 특정한 필요와 구현(implementation)에 의존하여 조정되어질 것이다.

하나의 본보기적인 구현예로써 다음과 같은 저역통과 필터링 h[n]이 수직 블록 경계의 왼쪽 경계에 있는 픽셀에 적용된다.

h[n] = [h(-3) h(-2) h(-1) h(0) h(1) h(2) ]

n은 공간적인 지표이다. ( 예컨대 -3....2). 저역통과 필터링 h는 이웃하는 픽셀값의 가중 평균치(weighted average)를 계산한다.

수직 블록 경계의 오른쪽 경계에 있는 픽셀에는 미러 대칭 필터(mirror symmetrical filter)가 적용된다. 수직 경계에 걸친 픽셀을 부드럽게 하는 것에 의해서 뿐만 아니라 동일한 필터 계수가 수평 경계에 적용된다. 필터의 강도가 약할 때는 블로킹 아티팩트 각 면에서 오직 한개의 픽셀만이 필터링될 것이다. 필터의 강도가 강할 때는 블로킹 아티팩트 각 면에서 3,4개의 픽셀들이 필터링 될 것이다.

블록 경계에서 블로킹 아티팩트가 실제 에지와 이미지 특징과 뒤섞이는 때에는 강력한 저역통과 필터가 적용 될 수 없다. 그러한 점에서 방향성 필터(directional filter)(116)에 의해 구현되는 3번째 필터링 기술이 적용된다. 방향성 필터의 가장 간단한 형식에서는 방향을 따라서 둘러싼 픽셀들의 픽셀 차이가 검사되고 픽셀의 차이가 가장 작은 방향이 식별된다. 그 후 픽셀 값은 오직 이 방향을 따라서 부드러워 진다.

보다 뛰어난 구현에 있어서는 픽셀의 패턴이 검사되고 분석되어 오직 패턴화 되지 않은 픽셀만이 처리된다. (즉, 블록 경계에 있는 이미지의 패턴이 검사되고 분석되어 이러한 이미지 패턴에 영향을 주지 않고 블록 경계의 픽셀이 처리된다.

바이패스(bypass)(118) 역시 원래의 픽셀값을 기본값으로 유지하기 위하여 제공된다. 다중화기(120)는 필요에 따라 유닛( 112,114,116,118)중 하나로부터 나오는 출력의 구역을 허용한다. 유닛 (112,114,116,118) 중 오직 하나만이 정해진 시간에 활성화 되고 다중화기(MUX)(120)은 활성화된 유닛의 출력을 전달한다.

방향성 필터(directional filter)(116)의 일실시예로서, 예를 들어 블록의 경계의 중앙 픽셀에 이웃하는 3 x 3 픽셀 집합(pixel set) 내에서 에지의 방향을 알게 된다. 아래의 도표 1에서 아래의 'X'로 표시된 중앙 픽셀은 경계 픽셀이다. 'a'부터 'h'까지 표시된 픽셀은 이웃하는 픽셀이다.

이어지는 픽셀 값 차이의 집합은 4가지 방향에 따라 계산된다.

수평 방향: [ h - f ]

수직 방향: [ e - g ]

대각선 아래 방향: [ a - c ]

대각선 위 방향 : [ d - b ]

그 후 가장 작은 픽셀 값 차이가 에지의 방향으로써 위치되고 표시된다. 도표 1 위의 블록 경계에서의 픽셀값 'X'는 에지의 방향에 따라 부드럽게 전이(transition)될 수 있도록 변경된다. 약한 필터링은 단조로운 평균(plain avergaing)이 이용된다. 강한 필터링은 전이(transition)가 보다 부드럽게 되도록 만들어진다.

방향성 필터(116)의 보다 뛰어난 구현에서는 4 개의 픽셀 값 차이가 비교되어 오직 다른 것들에 비해 에지의 방향에 따른 차이가 현저히 작은 경우에만 에지의 방향이 선언된다.(실제로 에지가 존재하는 지를 보장하기 위해)

방향성 필터(116)의 보다 소모적인 구현에 있어서는 많은 이웃하는 영역이 검사되고 더 많은 에지 방향( 예컨대 4개보다 많은)이 고려된다. 이와 같은 방향성 필터의 복잡성은 특정한 구현 비용에 의하여 제한된다.

따라서, 블로킹 아티팩트 제거기(artifacts remover)(106)에 있어, 만일 단기 시간적 처리의 주요한 결과가 블로킹 아티팩트가 있는 것으로 나타난다면 그 후 블록 경계에서의 현재의 픽셀 값은 픽셀값 변경기(pixel-value modifier)(112)에 의하여 단기 시간적 처리의 부차적인 결과에 의하여 제공되는 새로운 값으로 변경된다. 뿐만 아니라 장기 시간적 처리와/또는 양자화 정보가 더 강한 필터링이 필요하다고 나타난다면 이 사실은 픽셀값 변경기(pixel-value modifier)(112)에 있어 필터링 강도를 조정해야한다는 것을 반영하고 그 역도 성립한다.

반면에 만일 공간적 처리(spatial process)의 주요한 결과가 저활동 영역(low-activity region)을 나타낸다면 저역 통과 필터(114)가 현재의 픽셀 값에 적용된다. 뿐만 아니라 만일 장기 시간적 처리와/또는 양자화 정보가 강하거나 약한 필터링이 필요하다고 나타난다면 이 사실은 저역 통과 필터(114)에서 필터링 강도를 조정하기 위해 반영된다. 예를 들어 필터링이 약할때에는 블로킹 아티팩트각 면의 오직 한 개의 픽셀만이 변경된다. 필터링이 강할때에는 예를 들어 블로킹 아티팩트 각 면의 3개 이상의 픽셀이 변경된다.

반면에 공간적 처리의 주요한 결과가 고활동 영역으로 나타난다면 방향성 필터(116)은 현재의 픽셀 값에 적용된다. 뿐만 아니라 만일 장기 시간적 처리와/또는 양자화 정보가 강하거나 약한 필터링이 필요하다고 나타난다면 이 사실은 방향성 필터(116)에서 필터링 강도를 조정하기 위해 반영된다.

필터링이 약할때 에지의 방향에 따라 계산된 간단한 평균이 경계에서의 픽셀값을 대체한다. 필터링이 강할 때는 에지의 방향에 따른 픽셀 값의 변이가 보다 부드럽게 만들어 진다.

반면에 원래의 픽셀 값은 바이패스(bypass)(118)에 의해 마지막 결과로 바이패스 된다.

그러한 점에서 본 발명은 효율적이고 뛰어난 방법으로 이미지/비디오 컨텐츠에 대한 정보를 모으고 조합하며 압축화/코드화 된 이미지/비디오에 있어서의 블로킹 아티팩트를 줄이기/제거하기 위해 정보를 효율적으로 이용하는 이미지 처리 방법과 시스템을 제공한다. .

다만 본 발명은 다른 유형의 실시예가 가능하며 도면과 여기의 상세한 설명에 나타난 발명의 최적의 실시예는 발명의 원리에 대한 예시로서 간주되고 나열된 실시예로 발명의 광범위한 측면을 제한하려는 의도가 아니라는 것을 이해해야 한다.

본 발명에 따라 상기 전술한 예시적인 구조는 예컨대 당업자에게 알려진대로 처리장치의 실행을 위한 프로그램 지침, 논리회로, ASIC, 펌웨어 등과 같이 많은 방법으로 구현될 수 있다. 그러므로 본 발명은 여기에 기술된 예시적인 실시예로 제한되지 않는다. 본발명은 그것의 최적의 특정한 버전을 참조하여 매우 상세하게 기술되어졌다. 그러나 다른 버전도 가능하다. 따라서 첨부된 청구항들의 사상과 범위는 여기에 포함된 최적의 버전의 설명으로 제한되지 않는다.

발명은 이미지/비디오의 컨텐츠에 대한 정보를 효율적이고 뛰어난 방법으로 모으고 조합하며 압축화/코드화 된 이미지/비디오에 있어서의 블로킹 아티팩트를 줄이기/제거하기 위한 정보를 효율적으로 이용하는 이미지 처리 방법과 시스템을 제공한다.

Claims

픽셀로 이루어진 다중 블록(multiple blocks of pixels)을 포함하는 압축된 이미지(image)의 블로킹 아티팩트(block artifacts)를 제거하기 위한 이미지 처리 시스템에 있어서,

디지털 이미지의 컨텐츠를 분석하고 이미지의 컨텐트 유형을 나타내기 위한 컨텐트 분석기(content analyzer);

상기 컨텐트 분석기의 컨텐트 분석 결과에 기초하여 디지털 이미지에서의 블로킹 아티팩트를 검출해내는 아티팩트 검출기(artifact detector);

상기 이미지로부터 상기 아티팩트 검출기에 의하여 검출된 아티팩트를 상기 컨텐트 유형에 따라 제거하는 아티팩트 제거기(artifact remover)를 포함하는 것을 특징으로 하는 이미지 처리 시스템.
제 1항에 있어서,

상기 컨텐트 분석기(content analyzer)는 일련의 이미지에 있어서의 움직임의 레벨(level of motion)을 분석하는 것을 특징으로 하는 이미지 처리 시스템.
제 1항에 있어서,

상기 컨텐트 분석기는 이미지의 활동 비율(activity rate)을 분석하는 것을 특징으로 하는 이미지 처리 시스템.
제 1항에 있어서,

상기 컨텐트 분석기(content analyzer)는 이미지 압축 비율을 분석하는 것을 특징으로 하는 이미지 처리 시스템.
제 1항에 있어서,

상기 아티팩트 검출기는 상기 컨텐트 분석기의 컨텐트 분석에 기초하여 디지털 이미지에서의 블로킹 아티팩트를 검출며 블록 경계에서의 각 픽셀에 대한 아티팩트 검출 결정(artifact detection decision)을 생성하기 위해 컨텐트 분석 결과를 사용할 때 우선 조건들의 집합(a set of priority conditions)을 평가하는 것을 특징으로 하는 이미지 처리 시스템.
제 1항에 있어서,

상기 컨텐트 분석기는 현재의 이미지에서의 현재의 블록과, 시퀀스(sequence)의 다른 이미지의 대응하는 블록을 비교하여, 만일 현재 블록의 경계에서의 에지가 대응되는 블록에 나타나지 않는다면 상기 에지는 현재 블록의 블로킹 아티팩트라고 간주하는 시퀀스 이미지에 대한 단기 시간적 컨텐트 분석을 수행하는 시간적 처리기(temporal process)를 포함하는 것을 특징으로 하는 이미지 처리 시스템.
제 6항에 있어서,

상기 아티팩트 검출기(artifact detector)는 상기 컨텐트 분석기의 컨텐트 분석에 기초하여 디지털 이미지에서의 블로킹 아티팩트를 검출하며 블록 경계에서의 각각의 픽셀에 대한 아티팩트 검출 결정(artifact detection decision)을 생성하기 위해 컨텐트 분석 결과를 사용할 때 우선 조건들의 집합을 평가하여 컨텐트 분석기로부터의 단기 시간적 컨텐트 분석의 결과에 보다 높은 우선권을 부여하는 것을 특징으로 하는 이미지 처리 시스템.
제 1항에 있어서,

상기 아티팩트 검출기는 아티팩트 검출 결정을 생성하고 상기 아티팩트 제거기는 아티팩트 검출 결정에 기초하여 블로킹 아티팩트를 제거하기 위한 필터링을 선택하는 것을 특징으로 하는 이미지 처리 시스템.
제 1항에 있어서,

상기 컨텐트 분석기(content analyzer)는 이미지에서의 블록을 저활동 영역(Low activity region)과 고활동 영역(High activity region)으로 분리하는 공간적 처리기(spatial processor)를 포함하는 것을 특징으로 하는 이미지 처리 시스템.
제 9항에 있어서,

상기 아티팩트 검출기는 상기 컨텐트 분석기의 컨텐트 분석에 기초하여 디지털 이미지에서의 블로킹 아티팩트를 검출하고 블록 경계에서의 각각의 픽셀에 대한 아티 팩트 검출 결정을 생성하기 위해 컨텐트 분석 결과를 사용할 때 우선 조건들의 집합을 평가하여 컨텐트 분석기로부터의 단기 시간적 컨텐트 분석기의 공간적 처리 결과(spatial processor results)에 보다 높은 우선권을 부여하는 것을 특징으로 하는 이미지 처리 시스템.
제 1항에 있어서,

상기 컨텐트 분석기(content analyzer)는 k가 1에서 P까지이고 P가 이미지(images)의 그룹의 크기일 때, 과거 프레임 f(t-k)에 걸친 블로킹 아티팩트의 평균적인 레벨을 나타내는 장기 시간적 정보(long-term temporal information)를 수집하여 영상시퀀스에 대한 장기 시간적 컨텐트 분석을 수행하는 시간적 처리기(temporal processor)를 포함하는 것을 특징으로 하는 이미지 처리 시스템.
제 11항에 있어서,

상기 아티팩트 검출기(artifact detector)는 블로킹 아티팩트를 나타내는 갑작스러운 이미지의 변화를 결정하기 위하여 상기 컨텐트 분석기로부터의 장기 시간적 정보를 이용하는 것을 특징으로 하는 이미지 처리 시스템.
제 11항에 있어서,

상기 컨텐트 분석기는 각각의 프레임의 모든 블록 경계에 걸친 평균적인 픽셀값의 차이와 같은 블로킹 아티팩트의 평균적인 레벨을 계산하는 것을 특징으로 하는 이 미지 처리 시스템.
제 11항에 있어서,

상기 아티팩트 검출기는 블로킹 아티팩트에서의 변화를 나타내는 평균적인 픽셀의 차이의 변화를 검출하는 것을 특징으로 하는 이미지 처리 시스템.
제 11항에 있어서,

상기 컨텐트 분석기는 블로킹 아티팩트에서의 갑작스러운 증가의 존재를 나타내는 바이너리 결정(binary decision)을 생성하는 것을 특징으로 하는 이미지 처리 시스템.
제 11항에 있어서,

상기 아티팩트 검출기는 아티팩트 검출 결정(artifact detection decisioin)을 생성하고 상기 아티팩트 제거기는 아티팩트 검출 결정을 기초로 하여 블로킹 아티팩트를 제거하기 위한 필터링을 선택하는 것을 특징으로 하는 이미지 처리 시스템.
픽셀로 이루어진 다중 블록(multiple blocks of pixels)을 포함하는 압축된 이미지(image)의 블로킹 아티팩트를 내용 적응적(content-adaptive)으로 제거하는 이미지 처리 방법에 있어서,

디지털 이미지(digital image)의 컨텐츠를 분석하고 이미지에서의 컨텐트 유형을 나타내는 단계;

컨텐트 분석 결과에 기초하여 디지털 이미지에 있어서의 블로킹 아티팩트를 검출하는 단계;

상기 이미지로부터 검출된 아티팩트를 상기 컨텐트 유형에 따라 제거하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법을 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 17항에 있어서,

상기 분석(analyzing)하는 단계는 일련의 이미지에 있어서의 움직임의 레벨을 결정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 17항에 있어서,

상기 분석하는 단계는 이미지의 활동 비율(activity rate)을 결정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 17항에 있어서,

분석하는 단계는 이미지의 압축 비율(image compression rate)을 결정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 17항에 있어서,

상기 검출(detecting)하는 단계는 블록 경계에서의 각 픽셀에 대한 아티팩트 검출 결정(artifact detection decision)을 생성하기 위한 컨텐트 분석 결과를 사용할 때 우선 조건들의 집합(a set of priority conditions)을 평가하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 17항에 있어서,

현재의 이미지에서의 현재의 블록과, 시퀀스(sequence)의 다른 이미지의 대응하는 블록을 비교하여, 만일 현재 블록의 경계에서의 에지가 대응되는 블록에 나타나지 않는다면 상기 에지는 현재 블록의 블로킹 아티팩트라고 간주하는 시퀀스 이미지에 대한 단기 시간적 컨텐트 분석을 수행 하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 22항에 있어서,

상기 검출하는 단계는 단기 시간적 컨텐트 분석 결과에 보다 높은 우선권을 할당함으로써, 블록 경계에서의 각 픽셀에 대한 아티팩트 검출 결정을 행하기 위한 컨텐트 분석 결과를 사용할 때 우선 조건들의 집합(a set of priority conditions)을 평가하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 17항에 있어서,

상기 검출하는 단계는 아티팩트 검출 결정을 행하는 단계를 더 포함하고

상기 제거하는 단계는 아티팩트 검출 결정을 기초로 하여 블로킹 아티팩트를 제거 하기 위한 필터링을 선택하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 17항에 있어서,

상기 분석하는 단계는 이미지에 있어서의 블록을 저활동 영역(low activity)과 고활동 영역(high activity)으로 분리하기 위한 공간적 처리(spatial processing)를 수행하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 25항에 있어서,

상기 검출하는 단계는 공간적 처리 결과(spatial processor results)에 보다 높은 우선권을 할당함으로써, 블록 경계에서의 각 픽셀에 대한 아티팩트 검출 결정을 생성하기 위한 컨텐트 분석 결과를 사용할 때 우선 조건들의 집합(a set of priority conditions)을 평가하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 17항에 있어서,

상기 분석하는 단계는 k가 1에서 P까지이고, P가 이미지(images)의 그룹의 크기일 때, 과거 프레임 f(t-k)에 걸친 블로킹 아티팩트의 평균적인 레벨을 나타내는 장기 시간적 정보를 수집하여 영상 시퀀스에 대한 장기 시간적 컨텐트 분석을 수행하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 27항에 있어서,

상기 검출하는 단계는 블로킹 아티팩트를 나타내는 갑작스러운 이미지의 변화를 결정하기 위해 장기 시간적 정보를 사용하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 27항에 있어서,

상기 분석하는 단계는 각 프레임의 모든 경계에 걸친 평균적인 픽셀 값의 차이로써 블로킹 아티팩트의 평균적인 레벨을 계산하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 27항에 있어서,

상기 검출하는 단계는 블로킹 아티팩트에서의 변화를 나타내는 평균적인 픽셀의 차이의 변화를 검출하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 27항에 있어서,

상기 분석하는 단계는 블로킹 아티팩트에서의 갑작스러운 증가의 존재를 나타내는 바이너리 결정(binary decision)을 행하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 27항에 있어서,

상기 검출하는 단계는 아티팩트 검출 결정을 수행하는 단계를 더 포함하고

상기 제거하는 단계는 아티팩트 검출 결정에 기초하여 블로킹 아티팩트를 제거하기 위한 필터링을 선택하는 단계를 더 포함하는 것을 특징으로 하는 이미지처리 방법.