KR20070029176A

KR20070029176A - 비디오 신호의 선명도를 향상하는 방법 및 시스템

Info

Publication number: KR20070029176A
Application number: KR1020067024669A
Authority: KR
Inventors: 폴 호프만; 제론 테젠보쉬
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2004-05-25
Filing date: 2005-05-17
Publication date: 2007-03-13
Also published as: CN100473111C; US20080266307A1; JP2008500757A; EP1754369A1; TW200608775A; WO2005117414A1; CN101019414A

Abstract

본 발명은, 출력 영상들(102)을 생성하기 위해 입력 영상들을 수정하는 방법 및 시스템에 관한 것으로서, 상기 방법은: 상기 입력 영상들(101)을 거친 영상들(coarse image; 104) 및 미세 영상들(fine images; 105)로 분리하는 단계(103); 중간 선명도-향상 영상들(intermediate sharpness-enhanced images; 107)을 생성하기 위해 상기 거친 영상들(104)의 선명도를 향상하는 단계(106); 상기 출력 영상들(102)을 생성하기 위해 상기 중간 선명도-향상 영상들(107)과 상기 미세 영상들(105)을 조합하는 단계(108)를 포함한다.

거친 영상, 미세 영상, 선명도, 저역 통과 필터, 잡음 레벨

Description

비디오 신호의 선명도를 향상하는 방법 및 시스템{Method and system for enhancing the sharpness of a video signal}

본 발명은 비디오 신호의 선명도를 향상하는 방법 및 시스템에 관한 것이다.

본 발명은 예를 들어 비디오 처리 분야에 이용될 수 있다.

영상 품질 향상은 텔레비전 세트들과 같은 비디오 제품들에서 중요한 문제가 된다. 상기 비디오를 규정하는 입력 영상들의 선명도가 증가되면, 영상 품질은 특히 지각적으로 향상된다. 비디오 신호의 선명도를 증가시키기 위한 공지된 해결책들이 존재한다.

제 1 해결책은, 모든 연속적인 영상들에 적용되는 필터에 의해 입력 영상들의 선명도를 향상하는 것이다. 입력 영상들이 또한 예를 들어, 이전 블록-인코딩 및 디코딩 동작들로부터 발생되는 아날로그 백색 잡음 또는 디지털 아티팩트들과 같은 잡음 성분을 포함할 수 있기 때문에, 잡음 성분이 또한 강화되어 최종 출력 영상들의 전체 영상 품질을 손상을 초래한다.

제 2 해결책은, 모든 연속적인 영상들에 적용되는 필터에 의해 입력 영상들의 선명도를 향상할 뿐만 아니라 상기 입력 영상들에서 검출된 잡음 성분의 레벨에 따라서 향상 레벨을 적응시키는 것을 포함한다. 잡음 성분이 저레벨이면, 결과적인 출력 영상들의 선명도는 매우 증가된다. 대조적으로, 잡음 성분이 고레벨이면, 필터는 잡음 성분의 강화를 피하기 위해 스위치 오프(또는 턴 다운) 되지만, 이 경우에 결과적인 출력 영상들의 선명도는 불행하게도 입력 영상들의 선명도에 가깝다. 따라서, 제 2 방법은 잡음이 너무 많은 입력 영상들을 취급할 때 효율적이지 않다는 점에서 제한적이다.

본 발명의 목적은 잡음에 강인한, 비디오 신호의 선명도를 향상하는 방법을 제안하는 것이다.

이를 위해, 본 발명에 따른 방법은 출력 영상들을 생성하기 위해 입력 영상들을 수정하는 것을 제안한다. 상기 방법은:

-상기 입력 영상들을 거친 영상들(coarse image) 및 미세 영상들(fine images)로 분리하는 단계;

-중간 선명도-향상 영상들(intermediate sharpness-enhanced images)을 생성하기 위해 상기 거친 영상들의 선명도를 향상하는 단계;

-상기 출력 영상들을 생성하기 위해 상기 중간 선명도-향상 영상들 및 상기 미세 영상들을 조합하는 단계를 포함한다.

상기 방법은, 입력 영상들이 신호 성분 및 잡음 성분의 합으로서 규정된다는 가정에 기초하며, 상기 신호 성분은 저 주파수 스펙트럼을 갖고, 잡음 성분은 고 주파수 스펙트럼을 갖는다. 따라서, 입력 영상들에서 향상될 주파수 스펙트럼의 부분은 저 주파수들에서 위치되는 반면에, 입력 영상들에서 향상되지 않는 주파수 스펙트럼의 부분은 고 주파수들에서 위치된다.

상기 분리 단계는 2가지 유형들의 영상들, 즉, 저 주파수 스펙트럼을 갖는 거친 영상들 및 고주파수 스펙트럼을 갖는 미세 영상들을 생성한다. 상기 분리 단계는 주로 신호 성분을 포함하는 거친 영상들의 선택적인 향상을 허용한다. 저 주파수 스펙트럼을 갖는 영상들에 대한 선명도 향상을 수행하면, 고 주파수 스펙트럼을 갖는 영상들에 대한 것보다 더 좋은 결과들을 발생시킨다.

상기 방법은 잡음에 대해 강인한데, 왜냐하면 입력 영상들에서 잡음 레벨에 관계없이 잡음 성분이 결과적인 입력 영상들에서 강화되지 않기 때문이다. 조합 단계 후에, 결과적인 출력 영상들은 입력 영상들의 잡음 성분에 가까운 잡음 성분을 여전히 갖지만, 전체 영상 품질이 향상되는데, 왜냐하면 신호 성분의 선명도가 향상되기 때문이다.

상기 분리 단계는:

- 상기 거친 영상들을 생성하기 위해 상기 입력 영상들을 저역 통과 필터링하는 단계;

- 상기 미세 영상들을 생성하기 위해 상기 입력 영상들로부터 상기 거친 영상들을 감산하는 단계를 포함하는 것이 바람직하다.

감산 단계의 사용은, 임의의 데이터 정보의 손실 없이 입력 영상들의 완전한 분리를 허용한다. 또한, 이는 비용-효율적인 솔루션을 발생시킨다.

저역 통과 필터링 단계는 상기 입력 영상들로부터 유도되는 제 1 잡음 신호에 적응되는 것이 바람직하다.

신호 성분에 대응하는 저 주파수 스펙트럼 및 잡음 성분에 대응하는 고 주파수 스펙트럼 간의 제한은 적응적으로 그리고 정확하게 규정된다. 이는, 입력 영상들에서 잡음 레벨과 관계없이 신호 성분의 전체 스펙트럼에 대한 선명도 향상을 적용하여, 증가된 선명도로 출력 영상들을 생성한다.

이 향상 단계는 상기 입력 영상들로부터 유도되는 제 2 잡음 신호에 적응되는 것이 바람직하다.

이는, 예를 들어 잡음 레벨이 높을 때보다 적극적인 선명도 향상을 사용하고 잡음 레벨이 낮을 때보다 약한 선명도 향상을 사용시 입력 영상들의 잡음 레벨에 대해 선명도 향상을 적응시킨다.

저역 통과 필터링 단계 및 향상 단계는 상기 입력 영상들로부터 유도되는 잡음 신호들에 적응되는 것이 바람직하다.

이는, 입력 영상들에서 잡음 레벨과 관계없이 신호 성분의 전체 주파수 스펙트럼에 대한 선명도 향상을 적용하고 입력 영상들의 잡음 레벨에 선명도 향상을 적응시켜, 증가된 선명도를 갖는 출력 영상들을 생성한다.

본 발명의 목적은 비디오 신호의 선명도를 향상하는 시스템을 제공하는데, 상기 시스템은 잡음에 대해 강인하며 본 발명에 따른 방법의 각종 단계들을 구현하는 처리 수단을 포함한다.

본 발명의 상세한 설명들 및 다른 특징들이 이하에 제공될 것이다.

본 발명의 특정 특징들은, 지금부터 서술되고 첨부한 도면에 관하여 고려되는 실시예들을 참조하여 이하에 설명될 것이며, 도면에서 동일한 부분들 또는 서브 단계들에는 동일한 방식으로 지정된다.

도 1은 본 발명에 따른 방법의 일반적인 구성을 도시한다.

도 2는 본 발명에 따른 방법의 상세한 구성을 도시한 도면.

도 3은 예로서 영상의 선명도를 예시한 도면.

도 4는 본 발명에 따른 방법의 바람직한 구성을 도시한 도면.

도 1은, 출력 영상들(102)을 생성하기 위해 입력 영상들(101)을 수정하는 본 발명에 따른 방법의 일반적인 구성을 도시한다.

상기 방법은 상기 입력 영상들(101)을 거친 영상들(104) 및 미세 영상들(105)로 분리하는 단계(103)를 포함한다. 거친 영상들(104)의 주파수 스펙트럼은 입력 영상들(101)의 저 주파수 스펙트럼에 대응하는 반면, 미세 영상들(105)의 주파수 스펙트럼은 입력 영상들(101)이 고 주파수 스펙트럼에 대응한다.

상기 방법은 또한 중간 선명도-향상 영상들(107)을 생성하기 위해 상기 거친 영상들(104)의 선명도를 향상하는 단계(106)를 포함한다.

상기 방법은 또한 상기 출력 영상들(102)을 생성하기 위해 상기 중간 선명도-향상 영상들(107) 및 상기 미세 영상들(105)을 조합하는 단계(108)를 포함한다. 이러한 단계(108)는 출력 영상들을 재구성한다.

도 2는 출력 영상들(202)을 생성하기 위해 입력 영상들(201)을 수정하는 본 발명에 따른 방법의 도 1에 기초한 상세한 구성을 도시한다. 분리 단계(203)는 상 기 거친 영상들(204)을 생성하기 위해 (컨볼루션 연산을 통해서) 상기 입력 영상들(201)을 저역 통과 필터링하는 단계(F)를 포함한다.

제 1 예에서, 저역 통과 필터링 단계(F)는, 상기 거친 영상들(204)을 구성하는 픽셀들 상에 적용되는 가우시안 필터(Gaussian filter)를 구현한다. 이 선형 필터는 다음 커널들(kernels) k1 또는 k2로 규정될 수 있다.

대안적으로, 저역 통과 필터링 단계(F)는 다음과 같은 필터를 구현할 수 있다.

- 비선형 FIR 필터(예를 들어, 영상들에서 픽셀 위치에 따른 커널 또는 픽셀들의 블록들의 에지들에 적용되는 커널을 가짐),

- 순서 통계 필터(order statistical filter)(가령, 메디안 필터, 랭크 순서 필터 또는 형태학적 필터(morphological filter)): 이는 다수의 픽셀 값들을 분류(또는 랭킹) 및 이의 랭크에 기초하여 제공된 분류된 픽셀 값들 선택에 기초한다.

분리 단계(103)는 또한 상기 미세 영상들(205)을 생성하기 위해 상기 입력 영상들(201)로부터 상기 거친 영상들(204)을 감산하는 단계(SUB)를 포함한다. 이 감산은 입력 영상(201)의 픽셀 및 거친 영상(204)의 픽셀 간에서 행해지는데, 이 픽셀들은 영상들에서 동일한 좌표들을 갖는 반면에, 이 감산은 두 영상들의 모든 픽셀들에 대해서 반복된다.

상기 거친 영상들(204)의 선명도를 향상하는 단계(206)는 거친 영상들(204)의 라인들 및/또는 칼럼들의 픽셀들에 대해 수행되는 비선형 처리(이하에서 설명됨)로 이루어질 수 있다. 선명도는 2개의 데이터 영역들 간의 레벨 전이(level transition)로서 볼 수 있는데, 이들 영역들은 플랫(flat)하거나 천천히 가변한다. 향상될 레벨 전이들은, 예를 들어 거친 영상들(204)에 그래디언트 필터(gradient filter)를 인가하고 이들 최종 필터링된 영상들에서 최고 레벨들을 갖는 영역들을 검출함으로써 검출된다.

조합 단계는 상기 출력 영상들(202)을 생성하기 위해 상기 중간 선명도-향상 영상들(207)을 상기 미세 영상들(205)에 부가하는 단계(208)를 포함한다.

도 3은 예로서 거친 영상(204)의 라인을 따라서 레벨 전이의 전이 신호(T1)를 도시한다. 이러한 전이 신호는, 레벨(S1)을 갖는 제 1 플랫 영역 및 레벨(S2)을 갖는 제 2 플랫 영역을 포함한다. 전이 신호(T1)를 향상하기 위해, 연속적인 처리 연산들의 세트가 수행될 수 있다.

제 1 처리 연산은, 다음과 같이 전이의 시작 또는 끝 중 어느 하나에서 오버슈트들을 갖는 제 1 중간 신호(y1)를 생성하기 위해 미분 필터(Derivative Filter; DF)의 커널로 전이 신호(T1)를 컨볼루팅하는 것으로 이루어진다.

여기서 ⓧ는 컨볼루션 연산을 나타내며, DF는 예를 들어 형태 [-0.25, 0.5, -0.25]의 필터 커널이다.

제 2 처리 연산은 다음과 같이 제 2 중간 신호 y2를 생성하기 위해 상기 제 1 중간 신호(y1)의 프랙션/곱(fraction/multi)에 전이 신호(T1)를 부가하는 것으로 이루어진다.

여기서 α는 예를 들어 1과 동일한 계수이다.

제 3 처리 연산은 다음과 같이 향상된 전이 신호(T2)를 생성하기 위해 제 2 중간 신호(y2)에서 나머지 오버슈트들을 억제하는 것으로 이루어진다.

T2 = med (S1, S2, y2)

여기서 med(S1, S2, y2)는 신호들 S1, S2 및 y2의 데이터 샘플들 중 메디안 연산을 나타낸다.

도 4는 출력 영상들(32)을 생성하기 위해 입력 영상들(201)을 수정하는 본 발명에 따른 방법의 도 2에 기초한 바람직한 구성을 도시한다.

이러한 구성은 저역 통과 필터링의 단계(F)가 상기 입력 영상들(201)로부터 유도된 잡음 신호(S1)에 적응적이라는 점에서 도 2와 다르다. 이는 입력 영상들(201)에 포함되는 잡음 레벨과 관계없이 신호 성분에 대응하는 거친 영상들(204)을 생성한다. 예를 들어, 필터 커널은 신호(S1)에 의해 반송되는 잡음 레벨에 따라 변할 수 있다.

입력 영상들(201)에서 잡음 레벨(σ)이 높으면 높을수록, 저역 통과 필터의 컷오프 주파수는 낮아야만 된다. 이는 미리 규정된 제 1 커널(k1)이 저 잡음 레벨(σ1)에 대해 사용되는 반면에, 미리 규정된 제 2 커널(k2)이 더 높은 잡음 레벨(σ)에 대해 사용된다고 결정될 수 있다.

대안적으로, 필터 계수들은 다음과 같은 잡음 레벨(σ)에 따라서 함수 (f1, f2,...)에 의해 커널(k)의 각 계수를 규정시 입력 영상들(201)에서 규정되는 잡음 레벨(σ)에 적응적이 될 수 있다.

함수들(f1, f2,.., f9)은 예를 들어 기본적인 실험으로부터 유도된다.

이러한 구성은 또한 향상 단계(206)가 또한 상기 입력 영상들(201)로부터 유도되는 잡음 신호(S2)에 적응적이 된다는 점에서 도 2와 다르다. 이는 입력 영상들(201)에 포함되는 잡음 레벨과 관계없이 최적화된 선명도를 갖는 중간 선명도-향상 영상들(207)을 생성한다. 예를 들어, 관계식(2)은 다음과 같이 잡음 레벨(σ)에 따라서 계수(α)를 발생시 수정될 수 있다.

입력 영상들(201)에서 잡음 레벨(σ)이 높으면 높을수록 α는 커야만 한다. 예를 들어, α 및 σ 간의 선형 관계가 설정될 수 있다.

필터링 단계(F) 및 향상 단계(206)가 잡음 레벨(σ)에 반드시 동시에 적응될 필요는 없으며, 잡음 레벨(σ)에 대한 적응은 이들 2 단계들 중 단지 한 단계에 관련될 수 있다는 점에 유의하라.

입력 영상들(201)에서 잡음 레벨(σ)은 단계(DET)에 의해 측정된다. 이 단계는 상기 잡음 레벨(σ)에 비례하여 제 1 및 제 2 신호(S1 및 S2)(이는 동일할 수 있다)를 생성한다. 예를 들어, 잡음 레벨(σ)은 당업자에게 공지된 임의의 알고리즘으로부터 유도될 수 있다. 예를 들어, 이와 같은 신호들은 (예를 들어, 주파수 스펙트럼-기반의 알고리즘을 이용시) 아날로그 잡음 측정 및 (예를 들어, 8*8 픽셀들 또는 16*16 픽셀들의 블록들의 주변에서 활동도(activity)를 측정하는 블로킹-효과 검출기를 이용시) 디지털-잡음 측정을 반영할 수 있다.

본 발명에 따른 방법은 출력 영상들(102)을 생성하기 위해 입력 영상들(101)을 수정하는 시스템에서 구현될 수 있다. 이 시스템은 앞서 설명된 발명에 따른 방법의 각종 단계들을 구현하는 처리 수단을 구비한다. 특히, 상기 시스템은; 상기 입력 영상들(101)을 거친 영상들(104) 및 미세 영상들(105)로 분리하는 수단(103); -중간 선명도-향상 영상들(107)을 생성하기 위해 상기 거친 영상들(104)의 선명도를 향상하는 수단(106); 상기 출력 영상들(102)을 생성하기 위해 상기 중간 선명도-향상 영상들(107) 및 상기 미세 영상들(105)을 조합하는 수단(108)을 포함한다.

- 상기 입력 영상들(101)을 거친 영상들(104) 및 미세 영상들(105)로 분리하는 수단(103). 상기 수단(103)은, 상기 거친 영상들(104)을 생성하기 위해 상기 입력 영상들(101)을 수신하도록 하는 저역 통과 필터 및 상기 미세 영상들(105)을 생성하기 위해 상기 입력 영상들(101)로부터 상기 거친 영상들(104)을 감산하는 감산 수단(SUB)을 포함한다. 상기 수단(103)은 예를 들어 메모리에 저장되고 신호 프로세서에 의해 실행되는 코드 명령들(즉, 컴퓨터 프로그램)에 대응한다. 저역 통과 필터 계수들은 상기 입력 영상들(101)로부터 유도되는 잡음 레벨을 반영하는 신호(S1)에 적응되는 이점이 있다.

- 중간 선명도-향상 영상들(107)을 생성하기 위해 상기 거친 영상들(104)의 선명도를 향상하는 수단(106). 상기 수단(106)은 예를 들어 도 3과 관련하여 서술된 선명도 향상 알고리즘을 코딩하기 위한 코드 명령들(즉, 컴퓨터 프로그램)에 대응하는데, 상기 코드 명령들은 메모리에 저장되고 실행 프로세서에 의해 실행된다. 향상은 상기 입력 영상들(101)로부터 유도되는 잡음 레벨을 반영하는 신호(S2)에 적응되는 이점이 있다.

- 상기 출력 영상들(102)을 생성하기 위해 상기 중간 선명도-향상 영상들(107) 및 상기 미세 영상들(105)을 조합하는 수단(108). 상기 수단(108)은 예를 들어 메모리에 저장되고 신호 프로세서에 의해 실행되는 코드 명령들(즉, 컴퓨터 프로그램)에 대응한다.

상기 시스템은 전자 카드로서 구현될 수 있고 비디오 장치(예를 들어, 텔레비전 세트, 비디오 브로드캐스트 장비, 등)에 구현될 수 있는데, 상기 비디오 장치는 상기 입력 영상들(101)을 수신하고 디스플레이 상에 또는 통신 채널 각각 상에 상기 출력 영상들(102)을 디스플레이하거나 브로드캐스팅한다.

본 발명은 또한 본 발명에 따른 방법의 각종 단계들을 구현하기 위한 코드 명령들을 포함하는 컴퓨터 프로그램에 관한 것이다.

단어 "포함하다" 및 이의 조합어들은 청구범위들에 상술된 것 이외의 소자들 또는 단계들의 존재를 배제하지 않는다는 점에 유의하라.

Claims

출력 영상들(102)을 생성하기 위해 입력 영상들(101)을 수정하는 방법에 있어서:

-상기 입력 영상들(101)을 거친 영상들(coarse image; 104) 및 미세 영상들(fine images; 105)로 분리하는 단계(103);

-중간 선명도-향상 영상들(intermediate sharpness-enhanced images; 107)을 생성하기 위해 상기 거친 영상들(104)의 선명도를 향상하는 단계(106);

-상기 출력 영상들(102)을 생성하기 위해 상기 중간 선명도-향상 영상들(107)과 상기 미세 영상들(105)을 조합하는 단계(108)를 포함하는, 입력 영상 수정 방법.
제 1 항에 있어서, 상기 분리 단계(103)는:

-상기 거친 영상들(104)을 생성하기 위해 상기 입력 영상들(101)을 저역 통과 필터링하는 단계(F);

- 상기 미세 영상들(105)을 생성하기 위해 상기 입력 영상들(101)로부터 상기 거친 영상들(104)을 감산하는 단계(SUB)를 포함하는, 입력 영상 수정 방법.
제 2 항에 있어서, 상기 저역 통과 필터링 단계(F)는 상기 입력 영상들(101)로부터 유도된 제 1 잡음 신호(S1)에 적응적인, 입력 영상 수정 방법.
제 2 항에 있어서, 상기 향상 단계(106)는 상기 입력 영상들(101)로부터 유도된 제 2 잡음 신호(S2)에 적응적인, 입력 영상 수정 방법.
제 2 항에 있어서, 상기 저역 통과 필터링 단계(F) 및 상기 향상 단계(106)는 상기 입력 영상들(101)로부터 유도된 잡음 신호들(S1, S2)에 적응적인, 입력 영상 수정 방법.
제 3 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 잡음 신호들(S1, S2)을 생성하기 위해 상기 입력 영상들(101)에서 잡음 레벨(σ)을 측정하는 단계(DET)를 더 포함하는, 입력 영상 수정 방법.
제 1 항 또는 제 2 항에 있어서, 상기 조합 단계(108)는 상기 출력 영상들(102)을 생성하기 위해 상기 중간 선명도-향상 영상들(107)을 상기 미세 영상들(105)에 부가하는 단계를 포함하는, 입력 영상 수정 방법.
출력 영상들(102)을 생성하기 위해 입력 영상들(101)을 수정하는 시스템에 있어서:

-상기 입력 영상들(101)을 거친 영상들(104) 및 미세 영상들(105)로 분리하는 수단(103);

-중간 선명도-향상 영상들(107)을 생성하기 위해 상기 거친 영상들(104)의 선명도를 향상하는 수단(106);

-상기 출력 영상들(102)을 생성하기 위해 상기 중간 선명도-향상 영상들(107)과 상기 미세 영상들(105)을 조합하는 수단(108)을 포함하는, 입력 영상 수정 시스템.
제 8 항에 있어서, 상기 분리 수단(103)은:

-상기 거친 영상들(104)을 생성하기 위해 상기 입력 영상들(101)을 필터링하는 저역 통과 필터(F);

- 상기 미세 영상들(105)을 생성하기 위해 상기 입력 영상들(101)로부터 상기 거친 영상들(104)을 감산하는 수단(SUB)을 포함하는, 입력 영상 수정 시스템.
제 9 항에 있어서, 상기 저역 통과 필터(F) 및/또는 상기 향상 수단(106)은 상기 입력 영상들(101)로부터 유도된 잡음 신호들(S1, S2)에 적응적인, 입력 영상 수정 시스템.
출력 영상들(102)을 생성하기 위해 입력 영상들(101)을 수정하는 비디오 장치에 있어서:

-상기 입력 영상들(101)을 거친 영상들(104) 및 미세 영상들(105)로 분리하는 수단(103);

-중간 선명도-향상 영상들(107)을 생성하기 위해 상기 거친 영상들(104)의 선명도를 향상하는 수단(106);

-상기 출력 영상들(102)을 생성하기 위해 상기 중간 선명도-향상 영상들(107)과 상기 미세 영상들(105)을 조합하는 수단(108)을 포함하는, 비디오 장치.
제 1 내지 제 7 항 중 어느 한 항에 청구된 방법의 각종 단계들을 구현하기 위한 코드 명령들을 포함하는 컴퓨터 프로그램.