KR20060058703A - 블럭 아티팩트 검출 - Google Patents

Abstract

비디오 신호에서 블럭 아티팩트들을 검출하기 위한 블럭 아티팩트들 검출 디바이스(100)가 개시된다. 블럭 아티팩트들 검출 디바이스(100)는 비디오 신호에 기초하여 계산하기 위한 계산 수단(102); 기울기 신호의 각각의 로컬 최대 값들에 대응하는 샘플들의 리스트를 형성하기 위한 형성 수단(104); 샘플간 거리들의 히스토그램을 결정하기 위한 히스토그램 결정 수단(106)을 포함하는데, 샘플간 거리들중 제 1 거리는 샘플들의 제 1 샘플과 샘플들의 제 1 샘플에 연속되는 샘플들의 제 2 샘플 사이의 제 1 거리에 대응하고, 샘플간 거리들 중 제 2 거리는 샘플들의 제 1 샘플과 상기 샘플들의 제 2 샘플에 연속되는 샘플들의 제 3 샘플에 대응하고; 및 샘플간 거리의 히스토그램을 분석하고 히스토그램에 기초하여 블럭 아티팩트 지시기를 생성하기 위한 분석 수단(108)을 포함한다.

히스토그램, 블럭 아티팩트들 검출 디바이스, 기울기 신호

Description

블럭 아티팩트 검출{Block artifacts detection}

본 발명은 비디오 신호에서 블럭 아티팩트들을 검출하기 위한 블럭 아티팩트들 검출 디바이스에 관한 것이다.

본 발명은 또한 이미지 처리 장치에 관한 것이고, 상기 이미지 처리 장치는,

입력 이미지들의 시퀀스에 대응하는 비디오 신호를 수신하기 위한 수신 수단;

블럭 아티팩트들 검출 디바이스; 및

입력 이미지들의 시퀀스에 기초하여 출력 이미지들의 시퀀스를 계산하기 위한 이미지 처리 유닛을 포함하고, 상기 이미지 처리 유닛은 블럭 아티팩트들 검출 디바이스에 의해 제어된다.

본 발명은 또한 비디오 신호의 블럭 아티팩트들을 검출하기 위한 방법에 관한 것이다.

본 발명은 비디오 신호에서 블럭 아티팩트들을 검출하기 위한 명령들을 포함하고, 처리 수단 및 메모리를 포함하는 컴퓨터 장치에 의해 로딩될 컴퓨터 프로그램 제품에 관한 것이다.

디지털 블럭-기반 인코딩 방법들, 예를 들어 MPEG2 또는 H.264에 의해 발생 되는 비디오 프레임들에서의 소위 블럭킹 아티팩트들(blocking artifacts) 또는 블럭 아티팩트들의 출현은 비디오 처리 분야에서 증가하는 문제가 되었다. 특히 고품질 디스플레이 디바이스들에서, 지각된 이미지 품질은 이들 아티팩트들에 의해 실질적으로 품질이 떨어질 수 있다. 설상가상으로, 이미지 강조 유닛들(image enhancement units)은 소스 재료의 에지들(edges)을 강조하고, 이들 블럭 에지 아티팩트들을 부스팅(boost)하여, 이미지 품질을 한층 더 악화시킨다.

블럭 아티팩트들은 소비자 디바이스, 예를 들어 텔레비젼에 의한 수신 전에 전송 체인에 도입된다. 블럭 아티팩트들의 출현은 화소들의 개별 블럭들을 독립적으로 처리하는 불완전하고 손실이 많은 압축 방법에 의해 발생된다. 이들 디지털 코딩 아티팩트들은 예를 들어 위성 전송 전에 손실이 많은 압축에서 출현하고, 그 후 비디오 신호는 아날로그 수단에 의해 또한 방송될 수 있다. 상기 통상적인 경우, 디지털 압축으로부터의 블럭들의 위치 및 크기 또는 임의의 다른 파라미터에 대한 정보는 아날로그 비디오 신호에서 직접적으로 이용할 수 없다. 블럭 아티팩트들의 존재 및 가시도(visibility)를 평가하기 위하여, 디바이스 및 방법은 비디오 신호로부터 이러한 정보를 추출하고, 즉 아티팩트들의 위치를 찾아내고, 가시도를 측정할 필요가 있다.

블럭 아티팩트 지시기들은 이런 종류의 정보를 나타낸다. 블럭 아티팩트 지시기들은 추가 이미지 처리를 제어하기 위하여, 예를 들어 비교적 많은 아티팩트들을 가진 비디오 신호를 만나는 경우에, 샤프닝 유닛(sharpening unit)을 제어(또는 턴 오프)하기 위하여 적용될 수 있다. 대안으로, 처리 예컨데 평활화(smoothing)가 이들 블럭 아티팩트들을 감소시키기 위해 적용될 수 있다.

서두에 기술된 종류의 방법의 실시예는 제WO 01/20912호로부터 알려져 있다. 알려진 방법은 필터링된 신호를 제공하기 위하여 기울기 필터로 입력 신호를 필터링하는 하는 단계 및 그리드에서의 위치 함수로서 블럭킹 아티팩트들을 식별 및 카운팅하기 위하여 필터링된 신호를 처리하기 위한 블럭 레벨 메트릭(block level metric), 즉 블럭 아티팩트 지시기를 계산하는 단계를 포함한다. 알려진 방법은 미리 결정된 블럭 그리드 크기들의 제한 세트에 대해 적당하게 작동한다. 불행하게도, 수신된 비디오 신호에서 블럭 아티팩트들의 공간적 크기는 전송으로부터 수신으로의 체인 어디선가, 비디오 신호에 의해 제공되는 이미지 데이터의 공간적 스케일링으로 인해 종종 미리 결정된 블럭 그리드 크기들의 제한된 세트의 크기들과 다르다.

본 발명의 목적은 비교적 견고한(robust), 상기 단락에 기술된 종류의 블럭 아티팩트들 검출 디바이스를 제공하는 것이다.

본 발명의 이런 목적은 블럭 아티팩트들 검출 디바이스가,

비디오 신호에 기초하여 기울기 신호를 계산하기 위한 계산 수단;

기울기 신호의 각각의 로컬 최대 값들에 대응하는 샘플들 리스트를 형성하기 위한 형성 수단;

샘플간 거리들의 히스토그램을 결정하기 위한 히스토그램 결정 수단으로서, 샘플간 거리들 중 제 1 거리는 샘플들의 제 1 샘플과 샘플들의 상기 제 1 샘플에 연속되는 샘플들의 제 2 샘플 사이의 제 1 거리에 대응하고, 샘플간 거리들 중 제 2 거리는 샘플들의 제 1 샘플과 샘플들의 제 2 샘플에 연속되는 샘플들의 제 3 샘플 사이의 제 2 거리에 대응하는, 상기 히스토그램 결정 수단; 및

샘플간 거리들의 히스토그램을 분석하고 히스토그램에 기초하여 블럭 아티팩트 지시를 형성하기 위한 분석 수단을 포함하여 달성된다.

본 발명의 중요한 특징은 슬라이딩 윈도우 내에서 기울기 신호의 각각의 로컬 최대 값들에 대응하는 샘플들의 그룹의 샘플들 사이의 모든 거리들에 기초하여 샘플간 거리들의 히스토그램이 형성되는 것이다. 이것은 샘플들의 리스트의 일부상에 위치되는 이동하는 틈(aperture) 내의 샘플들 사이의 모든 거리를 의미한다. 따라서, 인접한 샘플들 사이의 거리들뿐만 아니라 공간적인 이웃한(spatial neighborhood) 샘플들 사이의 모든 상호 거리들도 고려된다. 상기 외에, 적용된 프라이오리 거리(priori distance)가 없고, 즉, 거리 고려된 미리 결정된 수의 픽셀들이 없다. 이것은 예를 들어 8 화소들의 샘플들 사이의 거리뿐만 아니라 화소들의 정수로 표현되는 틈의 범위(extent of aperture) 내의 샘플들 사이의 모든 거리들이 카운팅되는 것을 의미한다. 모든 거리들의 정보를 포함하는 히스토그램을 적당히 분석함으로써, 블럭 아티팩트 처리기는 제공된다. 분석은 히스토그램으로부터 특정 샘플간 거리에 대응하고 이웃하는 빈들(bins)의 값들과 빈의 값을 선택적으로 결합하는 주 빈(dominant bin)의 선택을 포함한다.

본 발명에 따른 블럭 아티팩트들 검출 디바이스의 실시예에서, 블럭 아티팩트 지시기는 블럭 아티팩트들의 공간 크기와 대응하고, 블럭 아티팩트 지시기는 특정 샘플간 거리에 관련된다. 블럭 아티팩트들의 공간 크기는 선택된 빈, 즉 샘플간 거리를 직접 적용함으로써 비교적 쉽게 결정될 수 있다. 바람직하게 블럭 아티팩트 지시기는 이웃하는 빈들의 값들과 상기 빈의 값에 기초하여 결정된다. 이것은 서브 화소 정확도로 블럭 아티팩트들의 공간 크기를 계산하게 한다. 비디오 데이터의 공간 스케일링으로 인해, 블럭크기는 10 2/3 화소일 수 있다.

본 발명에 따른 블럭 아티팩트들 검출 디바이스의 실시예에서, 블럭 아티팩트 지시기는 블럭 아티팩트들의 가시도 측정치에 대응하고, 상기 블럭 아티팩트 지시기는 특정 샘플간 거리의 발생 빈도와 관련된다. 특정 샘플간 거리의 발생 빈도 또는 상대적 발생 빈도가 블럭 아티팩트들의 가시도에 대한 우수한 지시기인 것이 증명되었다. 선택적으로, 선택된 빈의 2개의 이웃하는 빈들의 값들은 블럭 아티팩트들의 가시도 측정치에 대응하는 블럭 아티팩트 지시기의 계산을 위하여 고려된다.

본 발명에 따른 블럭 아티팩트들 검출 디바이스의 실시예에서, 샘플간 거리들의 히스토그램은 가중된 히스토그램이다. 이것은 상기 거리들이 단지 카운팅되는 것이 아니라 히스토그램에 대한 각각의 거리의 기여가 각각의 가중치에 기초하는 것을 의미한다. 예를 들어, 제 1 거리의 가중(weighting)은 샘플들의 제 1 샘플의 로컬 최대 값에 기초한다. 선택적으로 제 1 거리의 가중은 샘플들의 제 1 샘플의 로컬 최대 값에 기초한다. 바람직하게는, 제 1 거리의 가중은 샘플들의 제 1 샘플에 대응하는 서브 부분을 포함하는 기울기 신호의 일부에 기초한다. 다른 말로, 로컬 최대 값 주변의 기울기 신호의 값들은 가중을 위하여 고려된다. 가중된 히스토그램을 제공하는 것의 장점은 노이즈 로버스트니스(noise robustness)가 더 증가되는 것이다.

본 발명에 따른 블럭 아티팩트들 검출 디바이스의 실시예에서, 기울기 신호는 제 1 중간 신호가 비디오 신호의 다수의 비디오 라인들의 각각의 화소 값들의 합에 의해 계산되는 것에 기초하여 계산된다. 이 합은 저역 통과 필터링의 종류이다. 이 실시예의 장점은 노이즈 로버스트니스가 더 증가되는 것이다.

본 발명에 따른 블럭 아티팩트들 검출 디바이스의 실시예에서, 기울기 신호는 비디오 신호의 후속 화소 값들 사이의 절대 차이들을 계산하는 것에 기초한 제 1 중간 신호의 고역 통과 필터링에 의해 계산된다. 이런 고역 통과 필터링은 관련 로컬 최대 값들의 리스트를 형성하기 위하여 견고한 임계치를 적용할 수 있다. 이것은 미리 결정된 임계치 이하의 값을 가진 무관한 로컬 최대 값들이 무시되는 것을 의미한다.

본 발명의 다른 목적은 비교적 견고한 블럭 아티팩트들 검출 디바이스를 포함하는 서두에서 기술된 종류의 이미지 처리 장치를 제공하는 것이다.

본 발명의 이런 목적은 블럭 아티팩트들 검출 디바이스가,

비디오 신호에 기초하여 기울기 신호를 계산하기 위한 계산 수단;

기울기 신호의 각각의 로컬 최대 값들에 대응하는 샘플들의 리스트를 형성하기 위한 형성 수단;

샘플간 거리들의 히스토그램을 결정하기 위한 히스토그램 결정 수단으로서, 샘플간 거리들의 제 1 거리는 샘플들의 제 1 샘플 및 상기 샘플들의 제 1 샘플에 연속되는 샘플들의 제 2 샘플 사이의 제 1 거리에 대응하고, 샘플간 거리들중 제 2 거리는 샘플들의 제 1 거리와 샘플들의 제 2 샘플에 연속되는 샘플들의 제 3 샘플 사이의 제 2 거리에 대응하는, 상기 히스토그램 결정 수단; 및

샘플간 거리의 히스토그램을 분석하고 히스토그램에 기초하여 블럭 아티팩트 지시기를 형성하기 위한 분석 수단을 포함하여 달성된다.

상기 이미지 처리 장치는 부가적인 구성요소들, 예를 들어, 출력 이미지들을 디스플레이하기 위한 디스플레이 디바이스를 포함할 수 있다. 이미지 처리 유닛은 하나 이상의 다음 종류의 이미지 처리;

비디오 압축, 즉 MPEG 표준에 따른 인코딩 또는 디코딩;

디인터레이싱: 인터레이싱은 교대로 홀수 또는 짝수 이미지 라인을 전송하기 위한 일반 비디오 방송 과정이고, 디인터레이싱은 풀 수직 해상도를 복구하고, 즉 홀수 및 짝수 라인들을 각각의 이미지에 대하여 동시에 이용할 수 있게 함;

이미지 속도 전환: 일련의 본래 입력 이미지들로부터, 출력 이미지들의 보다 큰 시리즈가 계산되고, 출력 이미지들은 2개의 본래 입력 이미지들 사이에 일시적으로 배치됨; 및

일시적 노이즈 감소: 이것은 공간 처리를 포함할 수 있고, 그 결과로, 공간 시간적 노이즈 감소를 유발함

을 지원할 수 있다.

이미지 처리 장치는 TV, 셋톱 박스, VCR(비디오 카세트 레코더) 플레이어, 위성 튜너, DVD(Digital Versatile Disk) 플레이어 또는 레코더.

본 발명의 다른 목적은 비교적 견고한, 상기 단락에서 기술된 종류의 방법을 제공하는 것이다.

본 발명의 이런 목적은 상기 방법이 :

비디오 신호에 기초하여 기울기 신호를 계산하는 단계;

기울기 신호의 각각의 로컬 최대 값들에 대응하는 샘플들의 리스트를 형성하는 단계;

샘플간 거리들의 히스토그램을 결정하는 단계를 포함하는데, 샘플간 거리들중 제 1 거리는 샘플들의 제 1 샘플 및 상기 샘플들의 제 1 샘플에 연속되는 샘플들의 제 2 샘플 사이의 제 1 거리에 대응하고, 샘플간 거리들중 제 2 거리는 샘플들의 제 1 샘플 및 상기샘플들의 제 2 샘플에 연속되는 샘플들의 제 3 샘플 사이의 제 2 거리에 대응하고; 및

샘플간 거리들의 히스토그램을 분석하고 히스토그램에 기초하여 블럭 아티팩트 지시기를 형성하는 단계를 포함하여 달성된다.

본 발명의 다른 목적은 비교적 견고한, 상기 단락에서 기술된 종류의 컴퓨터 프로그램 제품을 제공하는 것이다.

본 발명의 목적은 로딩된 후 컴퓨터 프로그램 제품이,

비디오 신호에 기초하여 기울기 신호를 계산하는 단계;

기울기 신호의 각각의 로컬 최대 값들에 대응하는 샘플들의 리스트를 형성하는 단계;

샘플간 거리들의 히스토그램을 결정하는 단계로서, 샘플간 거리들의 제 1 거리는 샘플들의 제 1 샘플과 샘플들의 제 1 샘플에 연속되는 샘플들의 제 2 샘플 사이의 제 1 거리에 대응하고, 샘플간 거리들의 제 2 거리는 샘플들의 제 1 샘플 및 샘플들의 제 2 샘플에 연속되는 샘플들의 제 3 샘플 사이의 제 2 거리에 대응하는, 상기 히스토그램을 결정하는 단계; 및

샘플간 거리들의 히스토그램을 분석하고 히스토그램에 기초하여 블럭 아티팩트 지시기를 형성하는 단계를 수행하기 위한 능력을 가진 상기 처리 수단을 제공하여 달성된다.

블럭 아티팩트들 검출 디바이스 및 그것의 변형들은 상기된 이미지 처리 장치, 상기 방법 및 컴퓨터 프로그램 제품의 변형들 및 변화들에 대응할 수 있다.

본 발명에 따른 이미지 처리 장치, 방법 및 컴퓨터 프로그램 제품의 블럭 아티팩트들 검출 디바이스의 이들 및 다른 특징들은 이후에 기술되는 구현예들 및 실시예들 및 첨부 도면들을 참조하여 명백하고 설명될 것이다.

도 1은 블럭 아티팩트들 검출 디바이스의 실시예를 개략적으로 도시한 도면.

도 2는 입력 이미지를 도시한 도면.

도 3은 도 2의 이미지에 기초하여 기울기 신호

를 도시한 도면.

도 4는 도 3의 기울기 신호

에 기초하여 디트렌딩된(detrended) 기울기 신호

를 도시한 도면.

도 5는 도 4에 도시된 바와 같은 디트렌딩된 기울기 신호

의 일부를 도시 한 도면.

도 6은 가중된 피크간 거리 히스토그램

을 도시한 도면.

도 7은 g(d)의 예를 도시한 도면.

도 8은 본 발명에 따른 이미지 처리 장치(400)의 실시예를 개략적으로 도시한 도면.

동일한 참조 번호들은 도면들 전체에 걸쳐 유사한 부분들을 나타내기 위하여 사용된다.

도 1은 본 발명에 따른 블럭 아티팩트들 검출 디바이스(100)의 실시예를 개략적으로 도시한다. 블럭 아티팩트들 검출 디바이스(100)는 입력 접속기(110)에서 비디오 신호가 제공되고 그 출력 접속기(112)에, 검출된 블럭 아티팩트들을 나타내는 제어 신호를 제공하도록 구성된다. 제어 신호는 검출된 블럭 아티팩트들에 관련된다. 블럭 아티팩트들 검출 디바이스(100)는,

비디오 신호에 기초하여 기울기 신호

를 계산하기 위한 계산 유닛(102);

기울기 신호의 각각의 로컬 최대 값들(402-408)에 대응하는 샘플들의 리스트를 형성하기 위한 최대 검출 유닛(104);

샘플간 거리들의 히스토그램을 결정하기 위한 히스토그램 결정 유닛(106)으로서, 샘플간 거리들의 제 1 거리는 샘플들의 제 1 샘플과 샘플들의 제 1 샘플에 연속되는 샘플들의 제 2 샘플 사이의 제 1 거리에 대응하는, 상기 히스토그램 결정 유닛; 및

샘플간 거리들의 히스토그램을 분석하고 히스토그램에 기초하여 블럭 아티팩트 지시기를 생성하기 위한 분석 유닛(108)을 포함한다.

바람직하게, 히스토그램 결정 유닛(106)은 도 5와 관련하여 기술된 바와 같은 가중된 히스토그램을 형성하도록 구성된다. 이런 방법은 독립된 발명으로서 도시될 수 있다. 바람직하게 슬라이딩 윈도우 내의 모든 샘플간 거리들이 결정된다. 블럭 아티팩트들 검출 디바이스(100)의 작업은 도 2-7과 관련하여 기술된다.

계산 유닛(102), 최대 검출 유닛(104), 히스토그램 결정 유닛(106) 및 분석 유닛(108)은 하나의 처리기를 사용하여 실행될 수 있다. 일반적으로, 이들 기능들은 소프트웨어 프로그램 제품의 제어하에서 수행된다. 실행 동안, 일반적으로 소프트웨어 프로그램 제품은 RAM 처럼 메모리에 로딩되고, 이로부터 실행된다. 프로그램은 ROM, 하드 디스크, 또는 자기 및/또는 광 저장 장치와 같은 백그라운드 메모리로부터 로딩되거나, 인터넷 같은 네트워크를 통하여 로딩될 수 있다. 선택적으로 주문형 집적 회로(application specific integrated circuit)는 개시된 기능을 제공한다.

도 2는 입력 이미지, 특히 내셔널 지오그래픽 채널로부터 입수된 휘도 분야를 도시한다. 높은 압축율로 인한 정규 블럭들의 외관을 주목하라. 이 실시예에서, 블럭 아티팩트들은 10 2/3 화소의 기간 나타난다.

이미지 포맷은 표준 해상도(SD): 각각 720 화소들의 288 라인들. 이하에는 블록 아티팩트 지시기들이 계산되는 방법이 설명될 것이다. 이것은 수직 에지들의 검출에 기초한다. 유사한 방법은 수평 에지들을 소유한다.

i 및 j가 정수 그리드 위치들인 엘리먼트들(I_ij)를 가진 M×N 이미지

를 정의한다. 제 1 단계는 기울기 신호의 계산이다. 이것은 엘리먼트들이 방정식 1에 의해 정의되는 절대 수평 기울기 벡터

의 계산을 포함한다.

다음, 모든 관련 전이부들(transitions)은 카운터되거나, 다른 말로, 에지 상에 배치된 임의의 화소들은 카운팅된다. 따라서, 상기 발생들은 절대 기울기가 제 1 미리 결정된 임계치(θ)를 초과하는 것이 y 방향을 따라 카운팅된다. θ의 통상적인 값은 0-255 범위의

의 값들을 가진 2와 동일하다. 이것은 엘리먼트들(S_j)을 가진 벡터

를 형성한다 :

여기서 j = 1,2,...,N이고 T(x)는 방정식 3에서 지정된 바와 같은 스텝 함수(step function)이다.

도 2의 이미지에 기초하는

의 예가 도 3에 도시된다.

이미지

가 두드러진 MPEG 블럭 아티팩트들을 포함하는 경우,

가 정규적 인 간격들에서 피크들, 즉 로컬 최대 값들을 포함하는 신호인 것이 예상된다. 다음 단계는 이들 피크들의 반복 기간을 검출하는 것이다. 방정식 2가 원 이미지 에지들의 영향에 보다 견고한, 즉 MPEG 블럭 아티팩트들이 아닌 절대 기울기

의 로우합(row-sum)인 다중 피크 신호를 제공하는 것을 알았다. 이것은 비교적 작은 기울기처럼 큰 기울기가 간단히 카운팅되는 생각으로부터 이해될 수 있다. 이것은 평균 S에 대해 비교적 큰 기울기의 상대적 기여도를 감소시킨다. 통상적인 MPEG 블럭 아티팩트들은 매우 큰 기울기들을 형성하는 것이 아니라, 명확하게 보여질 수 있을 만큼 충분히 큰 것으로 예상된다. 그러므로 상기 목표는 평균 에지 크기를 발견하기보다 얼마나 자주 에지가 수직 이미지 컬럼 상에서 발견되는 가를 보다 잘 발견하는 것이다. 후자의 경우, 소스 재료의 큰 에지들은 보다 평균적인 MPEG 블럭 에지들보다 오히려,

에서 보다 우세한 피크들을 유발한다.

의 임의의 중요 피크는 의심되는 블럭 에지, 즉 블럭 아티팩트의 결과인 것으로 고려된다. 의심되는 블럭 에지들을 발견하기 위하여,

의 피크들의 검출은 요구된다. 어느 피크가 제 2 미리 결정된 임계치 α를 초과하고, 관련 피크로서 고려될 수 있는 가를 결정하기 전에,

의 낮은 빈도의 트렌드(low frequent trend)가

로부터 감산된다. 이것은 효과적으로 고역 통과 필터링하고 각각의 값 S_j로부터 이웃하는 직접적인 2n+1 크기(j-n, j-n+1,..., j+n)의 평균을 감산함으로써 달성된다. 전형적인 값은 n=4이다. 디트렌딩된 에지 카운트 s_j는 방정식 4에서 지정된다.

도 4는 도 3의 에지 카운트 신호

에 기초하여 디트렌딩된 에지 카운트

를 도시한다. 점선(400)은 제 2 미리 결정된 임계치 α에 대응한다. 점선(402-408)은 제 2 미리 결정된 임계치 α 이상의 검출된 피크들을 가리킨다.

를 디트렌딩하는 것은 직접적인 이웃들에 대하여 각각의 S_j를 효과적으로 정규화하거나, 다른 말로 j 다음에서 발견된 에지 양과 j에서 발견된 에지 양을 비교함으로써 감소한다. 이것은 상세한 영역들에서, 상세한 텍스처들로, 평균하여 많은 에지들이 검출될 것을 고려할 때 이해할 수 있다. 따라서, 에지는 만약 절대적인 면에서 높을 뿐 아니라, 상대적 면에서도 높으면 고려될 수 있다.

다음 단계는 관련 피크들, 즉 로컬 최대 값들의 검출이다. 제 2 미리 결정된 임계값 α을 초과하는

의 N_edge 부분들이 있다는 것을 가정한다. 이것은 기울기 신호의 각각의 로컬 최대 값들에 대응하는 샘플들의 리스트가 N_edge 샘플들을 포함하는 것을 의미한다. k번째 피크(504)의 시작 및 끝의 위치들은 다음과 같도록 정의된다.

m_k≤j≤n_k이면, s_j≥α이고, k=1,2,...N_edge (5)

k 번재 피크(504)의 위치(p_k)는

의 로컬 최대 값이

m_k≤p_k≤n_k, s_pk≥s_{pk ±1} (6)

을 발생시키는 인덱스(j)이다.

이런 피크 검출은 도 4에 도시된 바와 같이 디트렌딩된 에지 카운트

의 일부를 위하여 도 5에 도시된다. m_k(502)는 점선(400)에 의해 도시된 바와 같은 제 2 미리 결정된 임계치 α 이상의 제 1 화소에 있고 n_k(506)는 제 2 미리 결정된 임계 α 이상의 최후 화소이다. k번째 피크의 볼륨(V_k)은 하기와 같이 정의된다.

(7)

바람직하게, 이런 볼륨(V_k)은 피크간 히스토그램, 즉 샘플간 거리들의 히스토그램의 가중치로서 사용된다.

디트렌딩된 에지 카운트

가 각각의 피크들, 즉 관련 샘플간 거리들을 포함하는지를 결정하기 위하여, 사람은 한정된 부근,즉 윈도우 또는 틈 내의 피크들 사이의 거리들의 히스토그램을 계산함으로써 분석을 시작할 수 있다. 이런 이웃(N_hist)의 제한은 스케일링 인자를 고려한 최대 예상 블럭 크기에 의해 결정된다. 통상적인 값 N_hist = 38 화소들이다. 피크간 거리 히스토그램

은 C 코드의 다음 부분에 의해 계산된다 :

for(k=1; k<Nedge; k++){

i=1;

while(((d=p[k+i]-p[k])<Nhist)&&(k+i<=Nedge)){

H[d]+=1;/*add 1 to histogram*/

i+=1;

}

}

상기 계산에서,

는 임의의 에지 가시도를 명확하게 고려하지 않고; 단순히 피크간 거리들을 고려한다. 따라서 블럭 에지들의 범위에 무관하게 반복적으로 나타나는 에지들을 카운팅한다. 바람직하게 가중된 피크간 거리 히스토그램

이 계산된다. 도 6은 가중된 피크간 거리 히스토그램

을 나타낸다. 베이스기간, 즉 블럭 아티팩트 그리드 크기는 정수가 아닌, 10 2/3인 것이 주의된다. 이것은 히스토그램 볼륨이 단일 빈들에 집중되는 것이 아니라 쌍의 빈들로, 예를 들어 빈 d=10 및 d=11, 및 빈 d=21 및 d=22인 사실로부터 유도된다. 히스토그램

에서 에지 가시도를 고려하기 위하여, 가중치로서, 방정식 7에 정의된 바와 같은 에지들의 볼륨 측정치들 V_k은 가중치로서 사용된다. 현재 방법에서, 2개의 샘플들 사이의 거리는 양쪽 샘플들의 볼륨들로 가중된다. 가중된 피크간 거리 히스토그램 은 C 코드의 다음 부분에 의해 계산될 수 있다 :

for(k=1; k<Nedge; k++){

i=1;

while(((d=p[k+i]-p[k])<Nhist)&&(k+i<=Nedge)){

H[d]+=(V[k]+V[k+1])/2; /*add volumes as weigh to histogram*/

i+=1;

}

}

여기서 V(k)는 방정식 7에서 정의된 바와 같이 V_k에 대응한다.

다음, 반복 피크들을 결정하기 위하여, 가중된 피크간 거리 히스토그램

은 각각의 가능한 베이스 기간(d)의 정수 배들(k)에서, 따라서 k·d에서 샘플되고 k·d는 다음과 같다 :

만약 근원 베이스 기간이 d이면, 히스토그램은 정수배(k·d)에서의 피크일 수 있다. 그러므로, g(d)는 실제 근원 기간(d)에 대하여 최대를 달성한다. g(d)의 명확한 제 1 최대값의 위치는 근원 베이스 기간의 지시기로서 얻어진다. g(d)에서 제 1 피크를 발견하는 것이 제 1 주 히스토그램 빈(H_d)의 검출보다 근원 베이스 기간(d)의 보다 안정한 평가를 낳는다는 것을 알았다. 그 이유는 실제적인 경우들에서, 1×d의 히스토그램이 항상 중요한 것만은 아니라는 것을 나타내기 때문이다. 예를 들어, 베이스 기간이 실제로 d=8이라고 가정하면, 몇몇 경우들에서 (H₈)이 중요하지 않고, 반면 H₁₆ 및 H₂₄이 명확하게 중요한 것으로 보인다. 상기 경우는 만약 제 1 피크가 H_d보다 g(d)에서 검색되면 문제를 필수적으로 가지지 않는다. 예를 들어 g(d)의 실시예에 대한 도 7을 참조하자. 이 도 7에서, 피크간 거리(d)는 0.2 간격들에서 샘플링된다.

본 발명의 특징은 처리 체인에서 앞서 사용된 코딩 파라미터들에 대한 정보의 추가 요구없이, 블럭킹 아티팩트들의 가시도를 나타내는 제어 신호를 생성하도록 구성된다는 것이다. 텔레비젼 세트들 및 비디오 레코딩 디바이스들, 예를 들어 DVD+RW 및 하드 디스크 레코더들에서의 처리는 상당 양의 블럭킹 에지들이 검출되는 경우들에 적용될 수 있다. 제 1 블럭 아티팩트 지시기는 블럭 아티팩트들의 가시도 측정치에 대응한다. 제 1 블럭 아티팩트 지시기는 특정 샘플간 거리의 발생 빈도에 관련되고 바람직하게 특정 샘플간 거리의 상대 발생 빈도를 포함하는, 다수의 값들의 평균과 같다.

본 발명의 다른 특징은 블럭 아티팩트들 검출 디바이스가 아날로그 비디오 신호에 명확하게 존재하지 않는 정보 요구 없이 블럭킹 그리드의 하나 이상의 크기들을 가리키는 제어 신호를 제공하도록 구성된다는 것이다. 이 정보는 제공된 코딩 방법이 8개의 화소들의 높이 및 폭을 가진 블럭들을 사용하는 것을 가정하면, 스케일링 동작이 적용되었는지를 가리킬 때 처리에 의해 사용된다. 블럭 아티팩트들의 공간 크기에 대응하는 제 2 블럭 아티팩트 지시기(d)는 특정 샘플간 거리에 관련된다. 그러나, 제 2 블럭 아티팩트 지시기(d)는 정수 값을 가진 특정 샘플간 거리에 필수적으로 똑같을 필요는 없다.

도 8은 본 발명에 따른 이미지 처리 장치(400)의 실시예를 개략적으로 도시하고, 상기 이미지 처리 장치는,

입력 이미지들의 시퀀스에 대응하는 비디오 신호를 수신하기 위한 수신 수단(802);

도 1에 관련하여 기술된 바와 같은 비디오 신호의 블럭 아티팩트들을 검출하기 위한 블럭 아티팩트들 검출 디바이스(100);

입력 이미지들의 시퀀스에 기초하여 출력 이미지들의 시퀀스를 계산하기 위한 이미지 처리 유닛(804)으로서, 블럭 아티팩트들 검출 디바이스에 의해 제어되는, 상기 처리 유닛; 및

이미지 처리 유닛(804)의 출력 이미지들을 디스플레이하기 위한 디스플레이 디바이스(806)를 포함한다.

상기 신호는 안테나 또는 케이블을 통하여 수신된 방송 신호이지만 VCR(Video Cassette Recorder) 또는 디지털 다기능 디스크(DVD) 같은 저장 장치로부터 신호일 수 있다. 신호는 입력 접속기(810)에 제공된다. 이미지 처리 장치(800)는 예를 들어, TV일 수 있다. 선택적으로 이미지 처리 장치(800)는 선택적 디스플레이 디바이스를 포함하지 않지만 디스플레이 디바이스(806)를 포함하는 장치에 출력 이미지들을 제공한다. 이때 이미지 처리 장치(800)는 예를 들어 셋톱 박스, 위성 튜너, VCR 플레이어, DVD 플레이어 또는 레코더일 수 있다. 선택적으로 이미지 처리 장치(800)는 하드 디스크와 같은 저장 수단 또는 제거 가능한 매 체, 예를 들어 광 디스크들 상에 저장하기 위한 수단을 포함한다. 이미지 처리 장치(800)는 필름 스튜디오 또는 방송 회사(broadcaster)에 의해 적용되는 시스템일 수도 있다.

상기된 실시예들은 본 발명을 제한하기보다는 오히려 예시한 것이며 당업자는 첨부된 청구항들의 범위로부터 벗어나지 않고 다른 실시예들을 설계할 수 있다는 것이 주의된다. 청구항들에서, 괄호들 사이에 배치된 임의의 참조 부호들은 청구항을 제한하는 것으로 생각하지 않아야 한다.

단어 "포함하는"은 청구항에 기재되지 않은 요소들 또는 단계들의 존재를 배제하지 않는다. 요소 앞에 선행하는 단수표현은 다수의 상기 요소들의 존재를 배제하지 않는다. 본 발명은 몇몇 구별되는 요소들을 포함하는 하드웨어 및 적당히 프로그램된 컴퓨터에 의해 실행될 수 있다. 몇몇 수단을 열거하는 장치 청구항들에서, 몇몇의 이들 수단들은 하나 및 동일한 하드웨어 아이템에 의해 구현될 수 있다.

Claims (12)

1. 비디오 신호에서 블럭 아티팩트들을 검출하기 위한 블럭 아티팩트들 검출 디바이스(100)에 있어서,

   상기 비디오 신호에 기초하여 기울기 신호(gradient signal)를 계산하기 위한 계산 수단(102);

   상기 기울기 신호의 각각의 로컬 최대 값들에 대응하는 샘플들의 리스트를 형성하기 위한 형성 수단(establishing means; 104);

   샘플간 거리들의 히스토그램을 결정하기 위한 히스토그램 결정 수단(106)으로서, 상기 샘플간 거리들 중 제 1 거리는 상기 샘플들의 제 1 샘플과 상기 샘플들의 상기 제 1 샘플에 연속되는 상기 샘플들의 제 2 샘플 사이의 제 1 거리에 대응하고, 샘플간 거리들 중 제 2 거리는 상기 샘플들의 상기 제 1 샘플과 상기 샘플들의 상기 제 2 샘플에 연속되는 상기 샘플들의 제 3 샘플 사이의 제 2 거리에 대응하는, 상기 샘플간 거리들의 히스토그램 결정 수단(106); 및

   상기 샘플간 거리들의 히스토그램을 분석하고 상기 히스토그램에 기초하여 블럭 아티팩트 지시기를 생성하기 위한 분석 수단(108)을 포함하는, 블럭 아티팩트들 검출 디바이스.
2. 제 1 항에 있어서, 상기 블럭 아티팩트 지시기는 상기 블럭 아티팩트들의 공간 크기와 대응하고, 상기 블럭 아티팩트 지시기는 특정 샘플간 거리에 관련되는, 블럭 아티팩트들 검출 디바이스.
3. 제 1 항에 있어서, 상기 블럭 아티팩트 지시기는 상기 블럭 아티팩트들의 가시도의 측정치와 대응하고, 상기 블럭 아티팩트 지시기는 특정 샘플간 거리의 발생 빈도에 관련되는, 블럭 아티팩트들 검출 디바이스.
4. 제 1 항에 있어서, 상기 샘플간 거리들의 히스토그램은 가중된 히스토그램인, 블럭 아티팩트들 검출 디바이스.
5. 제 4 항에 있어서, 상기 제 1 거리의 가중은 상기 샘플들의 상기 제 1 샘플의 상기 로컬 최대 값에 기초하는, 블럭 아티팩트들 검출 디바이스.
6. 제 5 항에 있어서, 상기 제 1 거리의 가중은 상기 샘플들의 상기 제 1 샘플에 대응하는 서브 부분을 포함하는 상기 기울기 신호의 부분에 기초하는, 블럭 아티팩트들 검출 디바이스.
7. 제 1 항에 있어서, 상기 기울기 신호는 상기 비디오 신호의 다수의 비디오 라인들의 각각의 화소 값들의 합에 의해 계산된 제 1 중간 신호에 기초하여 계산되는, 블럭 아티팩트들 검출 디바이스.
8. 제 1 항에 있어서, 상기 기울기 신호는 비디오 신호의 후속 화소 값들 사이의 절대 차이들 계산에 기초하는 제 1 중간 신호의 고역 통과 필터링에 의해 계산되는, 블럭 아티팩트들 검출 디바이스.
9. 이미지 처리 장치(800)에 있어서,

   입력 이미지들의 시퀀스에 대응하는 비디오 신호를 수신하기 위한 수신 수단(802);

   제 1 항에서 청구된 바와 같은 비디오 신호에서 블럭 아티팩트들을 검출하기 위한 블럭 아티팩트들 검출 디바이스(100); 및

   상기 입력 이미지들의 시퀀스에 기초하여 출력 이미지들의 시퀀스를 계산하기 위한 이미지 처리 유닛(804)을 포함하고, 상기 이미지 처리 유닛은 블럭 아티팩트들 검출 디바이스(100)에 의해 제어되는, 이미지 처리 장치.
10. 제 9 항에 있어서, 상기 출력 이미지들을 디스플레이하기 위한 디스플레이 디바이스(806)를 더 포함하는 것을 특징으로 하는, 이미지 처리 장치.
11. 비디오 신호에서 블럭 아티팩트들을 검출하기 위한 방법에 있어서,

    상기 비디오 신호에 기초하여 기울기 신호를 계산하는 단계;

    상기 기울기 신호의 각각의 로컬 최대 값들에 대응하는 샘플들의 리스트를 형성하는 단계;

    샘플간 거리들의 히스토그램을 결정하는 단계로서, 상기 샘플간 거리들 중 제 1 거리는 상기 샘플들의 제 1 샘플과 상기 샘플들의 상기 제 1 샘플에 연속되는 상기 샘플들의 제 2 샘플 사이의 제 1 거리에 대응하고, 상기 샘플간 거리들 중 제 2 거리는 상기 샘플들의 상기 제 1 샘플과 상기 샘플들의 상기 제 2 샘플에 연속되는 상기 샘플들의 제 3 샘플 사이의 제 2 거리에 대응하는, 상기 샘플간 거리들의 히스토그램을 결정하는 단계; 및

    샘플간 거리들의 상기 히스토그램을 분석하고 상기 히스토그램에 기초하여 블럭 아티팩트 지시기를 생성하는 단계를 포함하는, 블럭 아티팩트 검출 방법.
12. 비디오 신호에서 블럭 아티팩트들을 검출하기 위한 명령들을 포함하는, 컴퓨터 장치에 의해 로딩될 컴퓨터 프로그램 제품에 있어서,

    상기 컴퓨터 장치는 처리 수단 및 메모리를 포함하고,

    상기 컴퓨터 프로그램 제품은, 로딩된 후,

    상기 비디오 신호에 기초하여 기울기 신호를 계산하는 단계;

    상기 기울기 신호의 각각의 로컬 최대 값들에 대응하는 샘플들의 리스트를 형성하는 단계;

    샘플간 거리들의 히스토그램을 결정하는 단계로서, 샘플간 거리들 중 제 1 거리는 상기 샘플들의 제 1 샘플과 상기 샘플들의 상기 제 1 샘플에 연속되는 상기 샘플들의 제 2 샘플 사이의 제 1 거리에 대응하고, 상기 샘플간 거리들 중 제 2 거리는 상기 샘플들의 상기 제 1 샘플과 상기 샘플들의 상기 제 2 샘플에 연속되는 상기 샘플들의 제 3 샘플 사이의 제 2 거리에 대응하는, 상기 샘플간 거리들의 히스토그램 결정 단계; 및

    샘플간 거리들의 상기 히스토그램을 분석하고 상기 히스토그램에 기초하여 블럭 아티팩트 지시기를 생성하는 단계를 수행하기 위한 능력을 상기 처리 수단에 제공하는, 컴퓨터 프로그램 제품.

Images