KR20090013522A

KR20090013522A - 링잉 아티펙트없는 블러 제거 방법

Info

Publication number: KR20090013522A
Application number: KR1020070077751A
Authority: KR
Inventors: 박민규; 조성대
Original assignee: 삼성전자주식회사
Priority date: 2007-08-02
Filing date: 2007-08-02
Publication date: 2009-02-05
Also published as: US8411981B2; US20090034866A1; KR101362011B1

Abstract

본 발명은 화면의 블러(blur) 제거를 위한 영상 처리 방법에 있어서, 입력된 영상으로부터 블러를 검출하는 과정과, 상기 검출된 블러의 양의 따라 영상을 분할하는 과정과, 상기 분할된 영상의 가로 및 세로 방향에 고역 통과 필터링을 각각 수행하는 과정과, 상기 필터링을 통해 획득된 각 방향의 해당 계수를 이용하여 각 방향에 해당하는 가중치를 검출하는 과정과, 상기 검출된 가중치를 반복적(iterative) 형태 또는 제약적(closed) 형태의 영상 복원에 적용하여 영상을 복원하는 과정을 포함함을 특징으로 한다.

영상복원, 블러제거, 링잉 아티펙트

Description

링잉 아티펙트없는 블러 제거 방법{METHOD FOR BLUR REMOVING RINGING-ATIFACTLESS}

본 발명은 영상 처리 시스템에 관한 것으로 , 더욱 상세하게는 영상의 화질을 개선하기 위하여 영상 획득 과정에서 발생하는 블러(blur)를 제거하는 과정에서 흔히 발생하는 링잉 아티펙트(ringing-artifact)없이 영상을 복원하기 위한 링잉 아티펙트없는 블러 제거 방법 및 장치에 관한 것이다.

현재, 이동 통신 단말기는 소비자의 욕구에 따라 그 기능이 다양해 지고 있다. 상기 이동 통신 단말기는 기본적인 통화 기능 이외에, 게임이나 인터넷 검색, 이메일(E-mail) 수신 및 발신, 대금 결재 등 다양한 기능이 구비되고 있으며, 또한 카메라를 이용한 촬영 및 DMB 수신을 통한 TV시청도 가능하게 되었다.

이에 따라, 상기 카메라의 화질 개선 및 DMB 수신 영상의 화질에 대한 중요성이 부각되고 있으며, 특히 영상의 화질을 개선하기 위한 블러 제거 과정에서 흔히 발생하는 링잉 아티펙트(ringing artifact)없이 영상을 복원하는 기술을 필요로 한다.

상기 링잉(ringing)현상이란, TV와 같은 영상기기에서 영상이 재생될 때, 영 상에 포함된 에지주변에 하얀 그림자와 같은 진동성 무늬가 발생하는 현상 즉, 영상의 어긋남을 의미한다. 상기 링잉현상은 화질을 저하시키는 요인이 되므로, 영상 재생시에 이를 감쇄시킬 것이 요청된다.

그리고, 종래의 블러를 제거하는 방법은, 고주파 성분을 부스팅(boosting)하는 방법, 영상 복원을 이용한 방법 및 여러 장의 저해상도 영상을 이용하여 고해상도 영상을 복원하는 SR(superresolution)방법 등이 개시되어 있다.

상기한 종래의 블러 제거 방법 중에서, 고주파 성분을 부스팅하는 방법은 간단하고, 연산량이 적은 장점이 있지만, 화질을 근본적으로 개선시키지 못하는 단점이 있다. 또한, SR은 근본적인 해상도 향상이 가능하나, 여러 장의 저해상도 영상을 담을 메모리가 필요하고, 연산량이 실제로 적용되는 시스템에 적용하기에는 매우 크다는 단점이 있다. 이에 반해, 영상 복원을 이용한 방법은, 연산량이 비교적 크지 않고, 블러를 근본적으로 제거할 수 있기 때문에 실제적으로 가장 많이 사용되는 방법이다.

이와 같은, 영상 획득 모델링은 하기의 <수학식1>과 같이 행렬-벡터 모형으로 나타낼 수 있다.

y=Hx+n

(원 신호 : x, 획득되어 복원해야 할 신호 : y, 블러 : H, 잡음 : n)

상기 <수학식 1>을 이용하여 원 신호 x를 복원하기 위해서, 일반적인 복원기법을 사용하면 추정된 x 하기의 <수학식 2>와 <수학식 3>과 같이 획득된다.

x=inv(H'H+αC'C)H'y 　　

x(n+1)=x(n)+β(H'y-(H'H+αC'C)x(n)) ([inv (k) : k의 역행렬], α: 정규화값(regularization parameter),: 벡터의 transpose, β: 반복법의단계값(iterative step))

상기한 수학 식을 이용하여 원영상의 추정값을 획득하기 위해서는 상기 블러 H의 역행렬을 구해야 한다. 이때, H의 역행렬은 H와 곱이 항등(identity)행렬이 되어야 한다. 그러나, H가 저역 필터(low pass filter)이기 때문에, H 역행렬의 고주파 성분은 심하게 증폭된다. 즉, 상기 H와 H의 역행렬의 곱이 항등 행렬이 된다는 것은 이 값이 all pass filter라는 것을 의미한다. 그러나 H가 고주파 성분을 갖고 있기 때문에 H의 역행렬은 실질적으로 존재하지 않거나, 고주파 성분이 매우 큰 값으로 증폭하게 되고, 이러한 증폭은 링잉 아티펙트를 야기한다. 따라서, 불필요한 링잉 아티펙트를 줄이기 위해 α||Cx||^2, 와 같은 속박(constraint)을 사용한다.

따라서, 일반적인 영상 복원의 결과식은 상기한 수학식 <2>,<3>의 형태이다. 상기 수학 식 <2>,<3>의 결과는 정규화 값 α 에 의해 조절된다. 상기 α 가 상대적으로 작아지게 되면 블러는 잘 제거되지만, 링잉 아티펙트가 상대적으로 크게 발생한다. 그러나, 정규화 값 α 를 사용하는 것은 하기와 같은 문제가 있다.

첫째, 상기 α 는 자동으로 결정되는 것이 아니기 때문에, 최상의 결과를 갖는 α 를 추정하는 것은 어렵다.

둘째, α 는 영상 전체에 동일하게 적용되기 때문에, 영상의 부분적인 통계적 특성을 제대로 반영하지 못한다.

셋째, 실질적으로 하나의 정규화 값으로부터 블러 제거와 링잉 아티펙트 제거를 동시에 만족할만한 수준으로 이루기는 쉽지 않다.

따라서, 정규화 값만으로 블러 제거와 링잉 아티펙트 제거를 동시에 만족시키는 것은 어렵다.

본 발명의 목적은 영상의 화질을 개선하기 위하여 영상 획득 과정에서 발생하는 블러(blur)를 제거하는 과정에서 흔히 발생하는 링잉 아티펙트(ringing-artifact)없이 영상을 복원하기 위한 링잉 아티펙트없는 블러 제거 방법 및 장치에 관한 것이다.

상기한 목적을 달성하기 위해서 본 발명의 일 견지에 따르면, 화면의 블러(blur) 제거를 위한 영상 처리 방법에 있어서, 입력된 영상으로부터 블러를 검출하는 과정과, 상기 검출된 블러의 양의 따라 영상을 분할하는 과정과, 상기 분할된 영상의 가로 및 세로 방향에 고역 통과 필터링을 각각 수행하는 과정과, 상기 필터링을 통해 획득된 각 방향의 해당 계수를 이용하여 각 방향에 해당하는 가중치를 검출하는 과정과, 상기 검출된 가중치를 반복적(iterative) 형태 또는 제약적(closed) 형태의 영상 복원에 적용하여 영상을 복원하는 과정을 포함함을 특징으로 한다.

상기한 목적을 달성하기 위해서 본 발명의 다른 견지에 따르면, 화면의 블러 제거를 위한 영상 처리 장치에 있어서, 입력된 영상으로부터 블러의 양을 검출하여, 상기 제거할 블러의 양의 따라 영상을 분할하는 영상 분활부와, 상기 분할된 영상의 가로 및 세로 방향 각각을 필터링하여 각 방향의 해당 계수를 출력하는 고역 통과 필터와, 상기 필터링된 계수를 이용하여 해당 영상 각 방향의 가중값 β 을 계산하는 β 계산부와, 상기 계산된 β 를 이용하여 반복적 형태 또는 제약적 형태의 영상 복원에 적용하여 해당 영상을 복원하는 영상 복원부를 포함함을 특징으로 한다.

상술한 바와 같이 본 발명에 의한 링잉 아티펙트 없는 블러 제거 방법 및 장치는 프로세싱 파워(processing power)가 적은 알고리즘을 이용하여 영상을 처리하여 영상 처리 과정에서 흔히 발생하는 링잉 아티펙트를 감소시켜 효과적으로 영상의 블러 제거 가능한 효과가 있다.

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명은 입력된 영상 신호의 영상 복원 처리에 있어서, 프로세싱 파워(processing power) 감소를 위하여 통상의 반복적(iterative) 형태의 영상 복원 혹은 제약적(closed) 형태의 영상 복원 처리 연산에 고역 통과 필터링된 영상의 가중치를 적용함으로써 링잉 아티펙트 없는 영상을 출력하기 위한 것임을 밝혀두는 바이다.

도 1은 본 발명의 일실시예에 따른 링잉 아티펙트 없는 블러 제거 방법에 있 어서 전체적인 동작을 간략하게 보인 흐름도이다. 도 1을 참조하면, 입력된 영상의 블러를 제거하기 위하여, 상기 블러의 제거 양에 따라 상기 입력된 영상을 분할한다(110과정). 상기 분할된 영상의 가로 및 세로 방향을 각각 달리하여 고역 통과 필터링을 수행하고(112과정), 상기 필터링을 통해 획득된 각 방향의 계수를 이용하여 각 방향의 가중치 즉, β(h,v)를 검출하고(114과정), 상기 검출된 가중치 β(h,v)를 반복적(iterative) 형태의 영상 복원 혹은 제약적(closed) 형태의 영상 복원에 적용하여 영상을 복원함으로써 블러 제거 과정에서 발생할 수 있는 링잉 아티펙트를 효율적으로 제거한다.

한편, 본 발명을 실시함에 있어서, 상기 가중치 β(h,v)는 영상의 블러를 제거하여 영상을 복원하는데 있어서, 통상의 영상 복원 과정에서 원하는 해를 얻기 위해 수렴하기까지의 시간을 단축시키는 필수 요소로 이를 위해 상기 가중치 β(h,v)를 획득하는 과정을 하기의 도 2에서 자세히 설명할 것이다.

도 2는 본 발명의 일실시예에 따른 링잉 아티펙트 없는 블러 제거 방법에 있어서, 가중치 β(h,v)를 검출하기 위한 동작을 보인 흐름도이다. 도 2를 참조하면, 고역 통과 필터링을 통해 영상의 가로 및 세로 각 방향의 Chx와 Cvx계수를 획득한다(210과정). 상기 고역 통과 필터링을 통해 영상의 가로 및 세로 각 방향을 도 3의 예시도에 도시하였다. 그리고, 상기 과정210에서 획득된 영상의 가로 및 세로 각 방향의 Chx와 Cvx계수는 하기의 <수학식 4>에서처럼 classification을 통해 각각 정리된다(212과정).

여기서 th_up와 th_dw는 미리 설정된 문턱값들이고, 임의의 영상의 가로 방향 및 세로 방향의 절대값과 미리 설정된 문턱값들을 비교한다.

상기 classification을 통해 획득된 가로 및 세로 방향의 Chx와 Cvx는 하기의 <수학식 5>, <수학식 6>에 도시된 팽창(dilation) 및 침식(erosion) 연산에 순차적으로 적용된다.

상기 팽창(dilation) 및 침식(erosion) 연산과정을 통해 영상의 잡음(noise)을 제거하고, 문턱값들에 의해서 Chx와 Cvx이 연결되지 않던 것을 연결해 준다.

그리고, 상기 <수학식 5,6>을 통해 획득된 침식연산의 erosion_h와 erosion_v는 Chx와, Cvx와는 다른 영역에서 값을 갖을 수 있기 때문에 상기 침식연산에서만 존재하는 값은 보간(interpolation)이 필요하다. 따라서, 상기 침식연산이 적용된 영상 보간을 통해서 고역 통과 필터링된 영상의 가로 및 세로 방향성에 따라 선형 보간 방향도 결정된다. 상기의 과정을 통해 선형 보간된 영상은 하기의 <수학식 7>을 통해 각각 Chx i 및 Cvx_ i 를 획득 할 수 있다(222,224과정).

상기 <수학식 7>을 통해 획득된 영상의 결과로부터 가로와 세로 방향으로의 가중치 β_h와 β_v를 획득할 수 있다(226,228과정).

이때, 블러의 커널의 크기가 (2s+1)이라고 가정하면, 상기 블러의 커널 크기를 이용하여 상기 획득된 β_h와 β_v를 통해 하기의 알고리즘을 통해 획득할 수 있다.

여기서, 상기 CH, CM, 및 CL은 미리 설정된 상수값을 의미한다. 그리고, 최종적인 β [h][v]는 상기의 <수학식 8>을 이용하여 하기의 <수학식 8>을 이용하여 획득 가능하다(230과정).

상기의 <수학식 8>을 통해 획득된 고역 통과 필터링된 영상의 가중치 β 값을 반복적 형태 또는 제약적 형태의 영상 복원 처리 연산인 하기의 제약적 형태의 <수학식 9> 또는 반복적 형태의 <수학식 10>에 적용하여 링잉 아티펙트 없는 영상을 획득한다.

x =inv(H'H+αC'C)H'y*(1-β(h,v))+β(h,v)*y 　

x (n+1)= x (n)+βh,v)*(H'y-(H'H+aC'C) x (n))

여기서, 상기 h와 v는 각각 영상에서의 가로와 세로 방향의 영역을 의미한다.

이하, 전술한 본 발명의 동작 흐름도 및 도 5를 참조하여 본 발명의 바람직한 실시예에 따른 구성 요소를 설명한다.

도 4는 본 발명의 일실시예에 따른 링잉 아티펙트없는 블러 제거 장치에 있어서, 영상 처리부를 나타낸 블록도이다. 도4를 참조하면, 상기 영상 처리부는 영상분할부(410), HPF(412), β계산부(414) 및 영상복원부(416)를 포함하여 구성된다. 먼저, 상기 영상분할부(410)는 입력된 영상의 블러를 검출하여, 블러를 제거 할 양에 따라 영상을 분할하여 출력한다.

그리고, 상기 HPF(고역통과필터,412)는 상기 분할된 영상을 가로 및 세로 방향을 달리하여 고역 통과 필터링을 수행한다. 여기서, 임의의 영상이 가로 및 세로 방향으로 각각 필터링되어 가로 방향의 Chx와, 세로 방향의 Cvx가 획득된다.

상기 β계산부(414)는 상기 고역 통과 필터(412)에서 필터링된 임의의 영상의 가로 및 세로 방향의 Chx 와 Cvx를 이용하여 상기 영상의 가중치가 될 β를 계산한다.

더욱 상세하게는, 고역 통과 필터(412)로부터 획득된 Chx 와 Cvx의 절대값과 미리 설정된 임계값과 비교 판단하여 classification을 통해 다시 정리하고, 이로부터 팽창 및 침식 연산을 통해 상기 영상의 잡음을 제거하고, 잡음이 제거된 영상 의 각각의 방향에서의Chx 와 Cvx를 연결시킨다. 또한, 상기 침식 연산을 통해 획득된 erosion_v와 erosion_h는 Chx 와 Cvx와 다른 영역에서 값을 갖을 경우, 상기 침식연산에서만 존재하는 값에 선형보간을 적용하여, 상기 고역 통과 필터(412)에서 필터링된 Chx 와 Cvx의 방향성에 따라 선형 보간 방향을 결정한다. 상기 선형 보간은 팽창 및 축소 연산으로 인한 영상의 손실 방지를 위한 것으로, 상기 선형 보간된 결과값 Chx_I와 Cvx_i로부터 영상의 가로와 세로 방향으로의 각 β 값을 계산한다. 이때, 블러의 커널의 크기를 이용하여 본 발명의 실시예에 따른 소정의 알고리즘에 적용하여, 각 방향의 β_h와 β_v를 획득한다.

그리고, 상기 영상 복원부(416)에서는 획득된 β_h와 β_v를 반복적 형태 또는 제약적 형태의 영상 복원에 적용하여 링잉 아티펙트 없는 영상을 출력한다.

도1은 본 발명의 일실시예에 따른 링잉 아티펙트없는 블러 제거 방법의 전체적인 동작을 간략하게 보인 흐름도

도 2는 본 발명의 일실시예에 따른 링잉 아티펙트없는 블러 제거 방법에 있어서, 가중치 β를 검출하기 위한 동작의 흐름도

도 3 본 발명의 일실시예에 따른 링잉 아티펙트없는 블러 제거 방법에 있어서, 고역 통과 필터링된 영상의 가로 및 세로 방향을 나타낸 예시도

도 4는 본 발명의 일실시예에 따른 링잉 아티펙트없는 블러 제거 장치에 있어서, 영상 처리부를 나타낸 블록도

Claims

화면의 블러(blur) 제거를 위한 영상 처리 방법에 있어서,

입력된 영상으로부터 블러를 검출하는 과정과,

상기 검출된 블러의 양의 따라 영상을 분할하는 과정과,

상기 분할된 영상의 가로 및 세로 방향에 고역 통과 필터링을 각각 수행하는 과정과,

상기 필터링을 통해 획득된 각 방향의 해당 계수를 이용하여 각 방향에 해당하는 가중치를 검출하는 과정과,

상기 검출된 가중치를 반복적(iterative) 형태 또는 제약적(closed) 형태의 영상 복원에 적용하여 영상을 복원하는 과정을 포함함을 특징으로 하는 링잉 아티펙트(ringing-artifact)없는 블러 제거 방법.
제1항에 있어서, 상기 가중치를 계산하는 과정은,

상기 획득된 각 방향에 해당하는 계수들을 분류(classification)하는 과정과,

상기 분류된 계수들을 이용하여 팽창(dilation) 및 침식(erosion) 연산을 통해 상기 영상에 대한 노이즈를 제거 및 상기 각 방향의 계수들을 연결하는 과정과,

상기 연결된 계수들에 선형 보간을 수행하는 과정과,

상기 선형 보간을 통해 도출된 가로 및 세로 각 방향의 결과값에 블러의 커 널 크기를 이용하여 가로 및 세로 각 방향의 가중치 β를 획득하는 과정을 포함함을 특징으로 하는 링잉 아티펙트없는 블러 제거 방법.
제1항에 있어서, 상기 가중치 β 는 임의의 영상을 고역 통과 필터링하고, 팽창 및 침식 연산을 통해 발생하는 각 픽셀의 화소값임을 특징으로 하는 링잉 아티펙트 없는 블러 제거 방법.
제2항에 있어서, 상기 계수들을 분류하는 과정은,

상기 필터링된 영상의 가로 방향을 나타내는 계수(Chx) 및 세로 방향을 나타내는 계수(Cvx)들의 절대값과 미리 설정된 임계값을 비교, 판단하는 것임을 특징으로 하는 링잉 아티펙트 없는 블러 제거 방법.
제2항에 있어서, 상기 선형 보간을 수행하는 과정은,

임의의 영상의 크기를 확대, 축소 혹은 회전 시 영상의 해상도를 높이기 위함 것임을 특징으로 하는 링잉 아티펙트 없는 블러 제거 방법.
제2항 또는 4항 어느 한 항에 있어서, 상기 각 방향에 해당하는 계수들을 분류하는 과정은,

하기의 수학식을 이용함을 특징으로 하는 링잉 아티펙트 없는 블러 제거 방법.
제2항에 있어서, 상기 팽창(dilation) 및 침식(erosion) 연산은, 하기의 <수학식 5> 및 ,<수학식 6>에 순차적으로 적용하는 것임을 특징으로 하는 링잉 아티펙트없는 블러 제거 방법.
화면의 블러 제거를 위한 영상 처리 장치에 있어서,

입력된 영상으로부터 블러의 양을 검출하여, 상기 제거할 블러의 양의 따라 영상을 분할하는 영상 분활부와,

상기 분할된 영상의 가로 및 세로 방향 각각을 필터링하여 각 방향의 해당 계수를 출력하는 고역 통과 필터와,

상기 필터링된 계수를 이용하여 해당 영상 각 방향의 가중값 β 을 계산하는 β 계산부와,

상기 계산된 β 를 이용하여 반복적 형태 또는 제약적 형태의 영상 복원에 적용하여 해당 영상을 복원하는 영상 복원부를 포함함을 특징으로 링잉 아티펙트 없는 블러 제거 장치.
제8항에 있어서, 상기 β 계산부는,

상기 필터링된 영상의 가로 및 세로 각 방향을 분류하고, 영상의 팽창 및 침식 연산을 통해 분류된 각 방향의 노이즈를 제거 및 연결한 후 선형 보간을 수행함을 특징으로 하는 링잉 아티펙트없는 블러 제거 장치.
제8항에 있어서, 상기 β 계산부는,

블러의 커널크기를 이용하여 영상의 가로 및 세로 각 방향의 가중치 β를 획득함을 특징으로 하는 링잉 아티펙트없는 블러 제거 장치.