KR100311481B1

KR100311481B1 - 영상 처리 시스템의 정규화 복원방법과 장치

Info

Publication number: KR100311481B1
Application number: KR1019990045547A
Authority: KR
Inventors: 홍민철
Original assignee: 구자홍; 엘지전자주식회사
Priority date: 1999-10-20
Filing date: 1999-10-20
Publication date: 2001-10-18
Also published as: KR20010037829A

Abstract

본 발명은 영상처리 시스템에서 영상의 해상도 개선을 위한 정규화 복원방법과 그 장치에 관한 것이다.

동영상의 시,공간정보를 이용해서 저해상도 영상의 해상도를 증가시키기 위한 방법으로 기존의 고해상도 구현방식인 익스팬션(expansion)방식과 인핸스먼트(enhancement)방식이 제안되고 있으나, 계산량이 많기 때문에 실시간 처리가 어렵고, 고해상도 영상을 구할 때 설정해야 하는 파라미터가 적응적이지 못하였다.

본 발명은 저해상도 영상의 바이리니어(bilinear)보간된 영상을 이용해서 고해상도의 영상을 얻기 위하여, 시,공간 정보를 이용해서 다중 채널 형태의 부가함수를 설정하고, 이 정보를 이용해서 고해상도 영상의 각 화소에 따른 부가치를 적응적으로 설정하고, 반복 기법을 이용해서 계산량을 줄이고, 정규화 매개변수의 선택을 화소에 따라 적응적으로 수행할 수 있도록 한 영상처리 시스템의 정규화 복원방법과 그 장치를 제공한다.

Description

영상 처리 시스템의 정규화 복원방법과 장치{METHOD AND APPARATUS OF REGULARIZATION IMAGE RESTORATION}

본 발명은 저해상도 센서에 의해서 발생된 영상의 해상도 개선을 위한 후처리 기술에 관한 것으로서 특히 바이리니어(Bilinear) 보간된 영상의 화질 개선을 위한 정규화 복원방법과 그 장치에 관한 것이다.

정지영상 또는 동영상은 물리적으로 영상 해상도(Resolution)가 낮은 센서(Sensor)나 나이퀴스트 비(Nyquist Rate)를 충족시키지 못해서 해상도가 낮은 영상을 얻거나 전송하게 된다.

또는 압축 동영상의 비트율(Bit Rate) 문제 등으로 인해서 해상도가 낮은 영상을 얻거나 전송하게 된다.

그러므로, 고해상도의 영상을 저해상도의 영상으로부터 구하는 것은 중요한 문제가 된다.

기존의 고해상도를 얻기 위한 방식은 크게 나누어 영상 익스팬션(Expansion)방식과 영상 인핸스먼트(Enhancement)방식으로 대별된다.

영상 익스팬션 방식은 저해상도 영상을 원하는 영상 크기로 변환시키는 방식으로서, 바이리니어 보간(Bilinear Interpolation), 제로 오더 홀드 익스팬션(Zero Order Hold Expansion), 큐빅 스프라인(Cubic Spline) 방식 등이 있으나, 이러한 영상 익스팬션 방식은 처리된 영상이 오버블러드(Over Blurred)되어 보간 영상의 윤곽선 부분에서 지나치게 완화된 상태로 보간복원되기 때문에 시각적인 측면에서 영상의 선명도가 떨어지는 단점이 있다.

반면에, 영상 인핸스먼트로는 여러 방식이 제안되었으나, 계산량이 많고 많은 계산을 요하는데 따른 실시간 처리의 문제점과 고해상도 영상을 구할 때 각 파라미터들의 설정이 적응적이지 못한 단점이 있었다.

예를 들면 POCS(Projection Onto Convex Set) 기법을 사용하여 영상의 해상도를 증가시키고자 하는 기술이 있으나, 이 기술에서는 시간 영역의 정보 이용시 영상 사이의 상관 관계가 일률적으로 같다고 가정하였고(실질적으로는 영상 사이의 상관 관계가 일률적일 수 없다), 또한 나카자와(Nakazawa) 등은 영상을 움직임, 분류(Segmentation)정보를 사용하여 저해상도 영상의 비 유니폼 샘플(Non-uniform Sample)을 고해상도 영상의 유니폼 샘플로 맵핑(Mapping)시키는 방식을 제안하였으나, 이 방식은 계산량이 많은 단점이 있어서 영상처리 시스템의 실시간 영상 데이타 처리에 문제점이 있다.

또다른 방식으로는 MAP(Mayesian Maximum a posteriori) 예측기법을 사용하여 영상을 Huber-Markov Random Field 로 모델링 한 후, Gibbs-Markov 방식을 사용하여 고해상도를 얻고자 했다.

그러나 이 방식은 각 영상의 부가함수(functional)의 파라미터(parameter)값을 입력 변수값으로 처리했기 때문에 저해상도의 영상특성에 따라 적응적으로 처리할 수 없는 단점이 있다.

본 발명은 저해상도 영상의 바이리니어 보간된 영상을 이용해서 고해상도의 영상을 얻을 수 있도록 한 영상처리 시스템의 정규화 복원방법과 그 장치를 제공한다.

본 발명은 시,공간 정보를 이용해서 다중채널(multi-channel)형태의 부가함수를 설정하고, 이 부가함수 정보를 이용해서 고해상도 영상의 각 화소의 부가치를 다르게 결정하고, 반복기법을 이용해서 계산량의 문제점을 해결하고, 정규화 복원방식을 이용시에 정규화 매개변수의 선택을 효율적으로 할 수 있도록 한 영상처리 시스템의 정규화 복원방법 및 장치를 제공한다.

본 발명은 영상을 보간처리하여 이 보간된 영상들의 시,공간 정보를 구하고, 이로부터 정규화 매개변수를 구하여, 정규화 매개변수와 보간된 영상 및 시,공간 정보를 이용해서 복원화소값을 구하고, 이 때 현재 영상 처리를 위해서 입력 영상을 여러개(멀티채널) 이용해서 최종 복원화소값을 결정하며, 정규화 매개변수가 상기 정보들에 근거하여 매 반복시마다 적응적으로 업데이트(update)되도록 함으로써, 고화질의 영상으로 복원할 수 있도록 한, 영상 처리 시스템의 정규화 복원방법과 그 장치를 제공한다.

도1은 본 발명을 설명하기 위한 저해상도 센서에 의해 포착된 이미지의 예를 나타낸 도면

도2는 본 발명의 정규화 복원방법을 표현한 플로우차트

도3은 본 발명의 정규화 복원장치의 블럭 구성도

도1은 본 발명을 설명하기 위한 저해상도 센서에 의해 포착된 이미지의 예를 나타낸 도면으로서, M×N 크기의 고해상도 영상x, M/q×N/1 크기의 저해상도 영상을 보이고 있다.

도2는 본 발명의 정규화 복원방법을 표현한 플로우차트로서, 입력 영상신호에 대하여 바이리니어 보간을 수행하여 바이리니어 보간된 영상을 구하고, 예측된 PSF 및 움직임 정보로부터 부가완화함수 M을 정의하며 정규화 매개변수 α를 결정하고, 이로부터 고해상도 영상을 반복해를 통하여 구하는 일련의 과정을 도시하였다.

도2에서는 정규화 매개변수를 결정하고 또 반복해를 구하기 위해서 프레임 메모리(Frame Memory)와 움직임 보상정보를 이용해서 현재 영상을 포함하여 이전의 영상을 고려해서 매 반복시 마다 정규화 매개변수를 적응적으로 업데이트(Update)하는 것을 보이고 있다.

도3은 본 발명의 정규화 복원장치의 블럭 구성도로서, 영상입력부(301)로 입력되는 디지탈 영상 데이타에 대해서 보간 처리부(302)에서 바이리니어 보간을 수행하고, 바이리니어 보간된 영상과 현재를 포함하여 이전 영상을 프로세서(303)에서, 메모리(304) 및 움직임 보상부(305)의 정보를 다중채널(Multiple Channel)의형태로 이용해서 정규화 매개변수의 결정과 반복해를 구함으로써, 최종 복원된 화소값을 출력하는 것을 보이고 있다.

따라서, 본 발명의 영상처리 시스템에서 정규화 복원방법은;

(a). 정규화 복원기법을 기초로 하여, 저해상도 영상으로부터 보간 영상을 구하기 위한 필터계수를 구함에 있어서,

(b). 보간영상(y)은 m개의 이전 영상을 고려(multiple input)하여; 고해상도 영상(x), 고해상도 영상과 보간영상의 상관관계를 표현하는 PSF(D), 움직임 정보(G)를 고려하는 함수로 표현되고,

(c). 바이 리니어 보간된 영상의 예측 PSF를 구하기 위하여 노이즈와 원영상의 고역성분 및, 현재 바이리니어 보간된 영상의 신뢰도와 완화 정도의 상반되는 특성을 조절하는 정규화 매개변수(α), 현재 처리 영상의 부가 완화함수의 가중치 정보로 표현되는 다중 채널 형태의 부가 완화함수 M(x)를 정의하고,

(d). 상기 (b),(c)에서 기술되는 예측 PSF와 부가함수 M(x), 움직임 정보를 이전 영상을 함께 고려하는 정보들로부터 반복기법으로 현재 처리 영상에 대한 최종 복원 화소값(영상)을 복원하는 것을 특징으로 하는 정규화 복원방법이다.

또한, 본 발명의 정규화 복원장치는;

(a). 입력 영상의 바이리니어 보간을 수행하는 보간수단과;

(b). 상기 보간된 영상과, 현재 영상을 포함하는 소정의 이전 영상을 함께 고려하여 고해상도 영상과 보간영상의 상관관계를 표현하는 예측 PSF를 구하는 수단과;

(c). 상기 PSF를 구하기 위한 부가 완화함수로부터 정규화 매개변수를 상기 이전 영상을 함께 고려하여 원하는 화소값을 복원하는 수단과;

(d). 상기 처리되는 영상을 저장하고 움직임 보상정보를 추출하여 상기 화소값 복원을 위한 정보로 제공하는 수단;

을 포함하여 이루어진 것을 특징으로 하는 정규화 복원장치 이다.

본 발명에서, 상기 고해상도와 바이리니어 보간된 영상은;

로 표현하는 것을 특징으로 한다.

본 발명에서, 상기 고해상도와 바이리니어 보간된 영상은 현재 처리 영상과 함께 이전 영상을 고려하는 멀티 채널을 고려할 때;

로 표현하는 것을 특징으로 한다.

본 발명에서, 상기 부가 완화 함수는;

로 정의되는 것을 특징으로 한다.

본 발명에서, 상기 최종 복원 화소는;

로 복원되는 것을 특징으로 한다.

본 발명에서, 상기 반복해의 수렴조건은;

로 설정되는 것을 특징으로 한다.

본 발명에서, 상기 정규화 매개변수는;

로 결정하는 것을 특징으로 한다.

상기한 바와같이 이루어진 본 발명의 정규화 복원방법과 그 장치에 의한, 영상 처리 시스템의 정규화 복원에 대하여 상세히 설명하면 다음과 같다.

영상의 보간(interpolation)이나 해상도 개선(resolution enhancement)에 있어서, 저해상도 영상으로 부터 고해상도의 영상을 구하고자 할때 무수한 해가 존재하며, 영상 복원은 원영상에 존재하는 노이즈 성분에 민감한 특성을 갖게된다.

정규화 복원방식(reqularization image restoration)은 영상의 보간이나 해상도 개선의 문제를 보다 용이하게 해결하기 위하여 사용되어 왔다.

본 발명에서는 다중 채널 정규화 복원방식을 이용한 고해상도 영상을 얻는 방식을 제안한다.

도1에 도시한 바와같이 고해상도 영상 x에 대하여 저해상도 영상 z가 영상센서에 의해 포착된 경우를 고려해 본다면, 저해상도 영상과 고해상도 영상 사이의 관계를 다음의 수학식1과 같이 표현할 수 있다.

수학식1의 z는 저해상도 영상, x는 고해상도 영상, q는 수평, 수직 방향의 언더샘플(under-sample) 요소, (u,v)는 고해상도의 2차원 표현 좌표축, (m,n)은 저해상도의 2차원 표현 좌표축을 각각 의미한다.

바이리니어 기법에 의한 영상을 보간하는 기법은 계산량의 효율성으로 인해 많은 응용분야에 사용되어 왔다.

앞의 수학식1의 저해상도 영상 z의 바이리니어 보간된 영상을 y라고 하면, 동영상에서 고해상도와 바이리니어 보간된 영상 사이에는 다음의 수학식2와 같은 관계가 성립한다.

앞의 수학식2에서 i는 동영상의 i번째 프레임(frame)을 의미하며, D는 고해상도 영상과 바이리니어 보간된 영상의 상관 관계를 표현하는 예측된 PSF(Point Spread Function), n_i는 i번째 영상의 바이리니어 보간된 영상의 예측된 PSF에 의해 발생된 오차를 의미한다.

M×N 크기의 영상에 대해 y,x,n은 스캐닝(scanning) 순서로 재배열된 MN×1 크기의 열벡터를 의미하며, D는 MN×MN 크기의 행렬을 나타낸다.

바이리니어 보간 기법을 사용했을 때, D는 공간변화(spatially varying)의 PSF 형태를 갖게되지만, 본 발명에서는 공간 불변화(spatial invariant)의 PSF를 예측하여 사용하게 된다.

시간 영역상에서 영상들 사이에는 상관 관계가 존재하고, 이러한 상관 관계는 움직임 정보에 의해 i번째 영상과 j번째 영상 사이에 다음의 수학식3과 같이 표현될 수 있다.

수학식3에서 r=(u,v)를, d_i,j는 i번째,j번째 영상 사이의 움직임 정보를, G_i,j는 움직임 정보 연산자를 나타낸다.

m개의 이전 영상을 현재 영상을 처리하기 위해서 사용하면, 다음의 수학식4와 같이 표현 가능하다.

수학식4에서는 다중채널 입력을 고려하고 있으며, x=(x_i-m ^T, x_i-m+1 ^T, ... , x_i ^T)^T이고, T는 전치행렬(transpose)을 의미한다.

본 발명에서는 영상의 해상도를 증가시키기 위해 바이리니어 보간된 영상의 예측 PSF를 사용하고, 영상 사이의 움직임 정보를 이용하는 방식을 취하게 된다.

영상의 움직임 정보를 사용할 때, 움직임 보상된 영상의 움직임 오류를 제어할 수 변수가 설정되어 부가함수에 사용되어야 한다.

또한, 정규화 복원방식에서 중요 변수인 정규화 매개변수의 적응적인 결정도 고려되어야 한다.

위의 두 변수의 선택은 후에 설명하기로 한다.

앞의 수학식4를 이용해서 다음의 수학식5와 같은 부가 완화함수를 정의한다.

수학식5에서 C_i는 3차원 고주파 대역 통과 필터를 의미하는데, 주로 3차원 라플라시안 연산자(Laplacian Operator)를 사용한다.

또한 α_i는 현재 바이리니어 보간된 영상의 신뢰도와 완화 정도의 상반되는 특성을 조절하는 정규화 매개변수이며, A_i,B_i는 현재 처리 영상의 수학식5의 각 부가 완화함수의 가중치를 부가하는 행렬이다.

수학식5에서 우변의 첫번째 항은 노이즈 성분의 각 화소들의 가중치의 합(Weighted Sum)이고, 우변은 원영상의 고역성분을 표현하고 있다.

수학식5에서 현재 처리 영상의 부가 완화함수만을 고려하면 다음의 수학식6과 같이 표현된다.

앞에서 설명한 식들을 정리해 보면, 본 발명에서 제안되는 바는 저해상도 영상들을 바이리니어 보간시킨 후, 예측된 PSF와 움직임 정보로부터 수학식6을 정의하고, 이 식으로부터 고해상도 영상을 얻게되는 것이다.

수학식6은 컨벡스(convex)하기 때문에 수학식6의 지역(local) 최소값은 전체 최소값이 되어, 주어진 부가 완화함수에 대해 최적합 영상을 얻을 수 있다.

또한, 각 부가 완화 함수의 합의 형태를 갖는 수학식5도 컨벡스하게 된다.

최소값은 수학식5에 그래디언트(gradient)를 취해서 구할 수 있고, 이는 다음의 수학식7과 같이 쓸 수 있다.

이 수학식7은 다음의 수학식8과 같이 고쳐쓸 수 있다.

수학식8은 반복 해의 잉여오차(error residual)에 해당하기 때문에, 반복 해는 다음의 수학식9와 같이 표현될 수 있다.

수학식9의 β는 반복 해가 수렴하기 위한 특성을 만족시키는 반복 이완 변수를 나타내며, x^k+1은 k번째 반복 후의 최종 복원영상(화소값)을 의미한다.

앞의 반복 해가 수렴하기 위한 조건을 좀더 자세히 기술하면 다음과 같다.(수학식10 내지 수학식18).

수학식9의 연속 반복 해의 차를 다음의 수학식10과 같이 쓸 수 있다.

수학식10에서 W_Ai= A_i ^TA_i, W_Bi= B_i ^TB_i이다.

수학식10을 간단히 비선형 벡터의 형태로 다음의 수학식11과 같이 표현할 수 있다.

수학식11에서 비선형 벡터들은 다음의 수학식12와 같다.

수학식12의 비선형 벡터들의 m번째 원소는 다음의 수학식13과 같이 표현된다.

위 식에서, h_i,m,k ^T는 행렬 H_i ^T의 (m,k)번째 원소를 의미한다.

비선형 벡터들은 Jacobian 행렬에 의해 선형화 될 수 있고, 이 것은 다음의 수학식14와 같다.

위 식의 J_Fi(x^k),J_Ki(x^k),J_Li(x^k)는 Jacobian 행렬들을 의미하며, Jacobian 행렬들의 (m,n)번째 원소는 다음의 수학식15와 같다.

수학식15에서 δ_m,n는 m=n인 경우에만 1인 델타함수이다.

위의 Jacobian 행렬을 이용한 선형화 과정으로부터 수학식10의 반복해는 다음의 수학식16과 같이 정리될 수 있다.

콘트랙션 맵핑(Contraction Mapping) 이론을 이용해서 수학식16이 수렴하기 위한 조건은 다음의 수학식17과 같이 설정된다.

수학식17에서 대각 행렬 W_Ai, W_Bi의 원소들은 0과 1사이의 값들을 갖게 정의되므로 수학식17은 수학식18과 같이 표현될 수 있다.

수학식18에서 λ(Z)는 행렬 Z의 eigen-value를 의미한다.

본 발명에서 제안된 방식은 수학식18의 행렬을 알고 있으므로, 두 행렬의 최대 eigen-value가 1로 표준화되면 다음의 수학식19와 같은 부등식이 성립한다.

수학식19에서 β=l/m으로 선택하면, 정규화 매개변수는 1보다 작은 값을 갖게 설정되어야만 된다.

정규화 매개변수의 선택은 여러가지 방식으로 결정될 수 있으나, 본 발명에서는 매 반복 영상으로부터 계산되어 다음 반복시에 사용된다.

여기서 정규화 매개변수는 다음의 수학식20과 같이 결정된다.

수학식20에서 γ는 다음의 수학식21과 같이 결정된다.

본 발명에서 제안된, 고해상도 영상을 얻기 위한 방식에서 마지막으로 고려해야 할 사항은 대각 행렬의 결정이다.

이 대각 행렬은 여러가지 방식으로 결정될 수 있으나, 본 발명에서는 영상 사이의 상관관계를 이용하기 위해 움직임 보상된 정보를 사용했으므로 움직임 오류를 사용했다.

개념적으로, 움직임 오류가 많은 영역에서는 완화작용이 커야하며, 반면에 움직임 오류가 작은 영역에서는 완화작용이 작아야 한다.

이러한 성질을 이용해서 현재 처리된 영상과 이전 처리된 영상의 움직임 보상된 영상 사이의 영상 오차를 사용하는데 이는 다음의 수학식22와 같이 정의된다.

수학식22의 우변은 절대함수를 의미하며, f_i,j(u)는 i번째 영상과 j번째 영상으로 부터 i번째 영상으로의 움직임 보상된 영상을 나타낸다.

위의 영상 오차로부터 다음의 수학식23과 같이 표준화되어 대각 행렬의 원소로 사용되어 진다.

수학식23에서 b_i,u는 대각행렬 W_Bi의 (u,u)번째 원소를 의미한다.

대각행렬 W_Ai는 W_Bi의 상반된 성격을 갖고 있어야 하므로, W_Ai= I - W_Bi= A_i ^TA_i이다.

본 발명은 동영상의 시,공간 정보를 이용해서 저해상도 영상의 해상도를 증가시키는 방법을 제공한다.

본 발명에서 제안된 방법을 이용해서 저해상도 영상센서로부터 포착된 영상의 화질을 개선시킬 수 있는 효과가 있다.

Claims

(a). 정규화 복원기법을 기초로 하여, 저해상도 영상으로부터 보간 영상을 구하기 위한 필터계수를 구함에 있어서,

(b). 보간영상(y)은 m개의 이전 영상을 고려(multiple input)하여; 고해상도 영상(x), 고해상도 영상과 보간영상의 상관관계를 표현하는 PSF(D), 움직임 정보(G)를 고려하는 함수로 표현되고,

(c). 바이 리니어 보간된 영상의 예측 PSF를 구하기 위하여 노이즈와 원영상의 고역성분 및, 현재 바이리니어 보간된 영상의 신뢰도와 완화 정도의 상반되는 특성을 조절하는 정규화 매개변수(α), 현재 처리 영상의 부가 완화함수의 가중치 정보로 표현되는 다중 채널 형태의 부가 완화함수 M(x)를 정의하고,

(d). 상기 (b),(c)에서 기술되는 예측 PSF와 부가함수 M(x), 움직임 정보를 이전 영상을 함께 고려하는 정보들로부터 반복기법으로 현재 처리 영상에 대한 최종 복원 화소값(영상)을 복원하는 것을 특징으로 하는 영상 처리 시스템의 정규화 복원방법.
(a). 입력 영상의 바이리니어 보간을 수행하는 보간수단과;

(b). 상기 보간된 영상과, 현재 영상을 포함하는 소정의 이전 영상을 함께 고려하여 고해상도 영상과 보간영상의 상관관계를 표현하는 예측 PSF를 구하는 수단과;

(c). 상기 PSF를 구하기 위한 부가 완화함수로부터 정규화 매개변수를 상기 이전 영상을 함께 고려하여 원하는 화소값을 복원하는 수단과;

(d). 상기 처리되는 영상을 저장하고 움직임 보상정보를 추출하여 상기 화소값 복원을 위한 정보로 제공하는 수단;

을 포함하여 이루어진 것을 특징으로 하는 영상 처리 시스템의 정규화 복원장치.
제 1 항에 있어서, 상기 고해상도와 바이리니어 보간된 영상은;

로 표현하는 것을 특징으로 하는 영상 처리 시스템의 정규화 복원방법.
제 1 항에 있어서, 상기 고해상도와 바이리니어 보간된 영상은 현재 처리 영상과 함께 이전 영상을 고려하는 멀티 채널을 고려할 때;

로 표현하는 것을 특징으로 하는 영상 처리 시스템의 정규화 복원방법.
제 1 항에 있어서, 상기 부가 완화 함수는;

로 정의되는 것을 특징으로 하는 영상 처리 시스템의 정규화 복원방법.
제 1 항에 있어서, 상기 최종 복원 화소는;

로 복원되는 것을 특징으로 하는 영상 처리 시스템의 정규화 복원방법.
제 6 항에 있어서, 상기 반복해의 수렴조건은;

로 설정되는 것을 특징으로 하는 영상 처리 시스템의 정규화 복원방법.
제 1 항 또는 제 6 항에 있어서, 상기 정규화 매개변수는;

로 결정하는 것을 특징으로 하는 영상 처리 시스템의 정규화 복원방법.
제 7 항에 있어서, 상기 대각행렬(WBi,WAi)은;

( b_i,u는 대각행렬 W_Bi의 (u,u)번째 원소)

W_Ai= I - W_Bi= A_i ^TA_i로 결정되는 것을 특징으로 하는 영상 처리 시스템의 정규화 복원방법.