KR101715349B1 - 바이래터럴 보간법을 이용한 이미지 보정 방법 - Google Patents

Abstract

본 발명은 바이래터럴 보간법을 이용한 이미지 보정 방법에 관한 것으로, a) 촬영된 이미지를 정사각형 이미지로 변환하고, 변환된 정사각형 이미지에서 셀들을 분할하는 단계와, b) 분할된 셀들 각각에서 서브 픽셀을 산출하는 단계와, c) 상기 서브 픽셀의 주변 셀들의 색강도 가중치를 이용하여 서브 픽셀의 색강도를 결정하는 단계와, d) 바이래터럴 필터링을 통해 상기 주변 셀들의 휘도 가중치를 이용하여 서브 픽셀의 색강도를 조절하는 단계를 포함한다. 본 발명은 서브 픽셀의 색강도를 주변 픽셀들의 휘도 가중치를 고려하여 보정함으로써, 이미지의 에지부분에서 흐림 현상이 발생되는 것을 방지할 수 있는 효과가 있다.

Description

바이래터럴 보간법을 이용한 이미지 보정 방법{Image correction method using bilateral interpolation}

본 발명은 바이래터럴 보간법을 이용한 이미지 보정 방법에 관한 것으로, 더 상세하게는 에지부분에서의 흐림 현상의 발생을 현저하게 줄일 수 있는 바이래터럴 보간법을 이용한 이미지 보정 방법에 관한 것이다.

일반적으로, 영상의 보간법은 디지털 카메라의 응용, 영상의 압축, 디지털 TV, 보안 감시 분야 등에서 빈번하게 사용된다.

가장 간단한 보간법은 영차 보간(Zeroth order interpolation)이며, 이 영차 보간법은 구현이 간단하여 저 복잡도를 요구하는 응용 분야에서 사용이 가능하지만, 보간된 영상의 화질이 좋지 못한 단점이 있었다.

이와 같은 영차 보간의 문제점을 해결하기 위하여 제안된 보간법으로 선형 보간(linear interpolation)법이 있다. 선형 보간법은 비교적 구현이 간단하고, 화질을 개선하는 효과가 있지만 영상의 에지 부분에서 흐림 현상(blurring)이 발생하는 문제점이 있었다.

이와 같이 선형 보간법이 가지는 문제점을 보완하기 위하여 다양한 보간법이 제안되었다. 예를 들어 등록특허 10-1556625호(2015년 9월 23일 등록, 영상 확대 보간 방법)에서는 저해상도 영상에 대하여 s를 매개변수로 하는 선형보간법을 수행하고, 보간된 픽셀을 갖는 영상을 다운 샘플링하여 제1보간 데이터를 생성하고, 저해상도 영상과 제1보간 데이터에 대하여 다시 sk를 매개변수로 하는 선형 보간법을 수행하고, 다시 보간된 영상을 다운 샘플링하여 제2보간 데이터를 생성한 후, 상기 제1보간 데이터와 제2보간 데이터의 차이를 최소로 하는 최적화된 거리계수를 계산한 후, 거리계수를 매개 변수로 하는 왜곡 거리를 감안한 선형 보간법을 정의한 다음, 그 정의된 왜곡거리를 감안한 선형 보간법을 이용하여 상기 저해상도 영상에 대하여 보간을 수행하는 과정을 포함한다.

상기 종래의 보간 방법은 반복적인 선형 보간을 통해 저해상도의 영상을 확대하였을 때에도 적당한 영상을 표시할 수 있는 특징이 있지만, 앞서 설명한 선형 보간의 특징인 에지 부분의 흐림 현상은 더 심화될 수 있는 문제점이 있었다.

상기와 같은 문제점들을 해결하기 위한 본 발명의 과제는, 에지 부분의 흐림 또는 계단 현상의 발생을 방지할 수 있는 바이래터럴 보간법을 이용한 이미지 보정 방법을 제공함에 있다.

상기와 같은 과제를 해결하기 위한 본 발명 바이래터럴 보간법을 이용한 이미지 보정 방법은, a) 촬영된 이미지를 정사각형 이미지로 변환하고, 변환된 정사각형 이미지에서 셀들을 분할하는 단계와, b) 분할된 셀들 각각에서 서브 픽셀을 산출하는 단계와, c) 상기 서브 픽셀의 주변 셀들의 색강도 가중치를 이용하여 서브 픽셀의 색강도를 결정하는 단계와, d) 바이래터럴 필터링을 통해 상기 주변 셀들의 휘도 가중치를 이용하여 서브 픽셀의 색강도를 조절하는 단계를 포함할 수 있다.

상기 a) 단계는, 종횡비가 다른 어안 이미지에 동일 폭의 패딩부분 상하 또는 좌우에 삽입하여 정사각형 이미지를 형성할 수 있다.

상기 c) 단계는, 이중선형 보간법을 이용하여 상기 서브 픽셀의 색강도를 결정할 수 있다.

상기 d) 단계는, 바이래터럴 필터링을 통해 상기 주변 픽셀들의 휘도를 거리 및 강도 가중치를 감안하여 결정하고, 그 결정된 결과에 따라 상기 서브 픽셀의 색강도를 조정할 수 있다.

상기 주변 픽셀들의 휘도는 현재 프레임의 이미지뿐만 아니라 이전 프레임들의 이미지의 주변 픽셀들의 휘도를 포함할 수 있다.

이전 프레임들의 휘도 가중치는 현재 프레임으로부터 과거의 프레임들일수록 낮은 가중치로 적용될 수 있다.

본 발명 바이래터럴 보간법을 이용한 이미지 보정 방법은, 서브 픽셀의 색강도를 주변 픽셀들의 휘도 가중치를 고려하여 보정함으로써, 이미지의 에지부분에서 흐림 현상이 발생되는 것을 방지할 수 있는 효과가 있다.

도 1은 본 발명의 바람직한 실시예에 따른 바이래터럴 보간법을 이용한 이미지 보정 방법의 흐름도이다.
도 2는 어안 이미지를 사각형에 가까운 형상의 셀로 분할하는 과정의 설명도이다.
도 3에 주차장 영상에 대한 셀 분할의 예시도이다.
도 4는 서브 픽셀과 인접한 복수의 픽셀의 색강도를 산출하기 위한 설명도이다.
도 5는 상기 S30단계를 통해 얻어진 이미지와 인접 픽셀의 이미지를 서브 픽셀의 컬러값으로 사용하는 방법으로 얻어진 이미지의 비교사진이다.
도 6은 바이래터럴 필터링의 처리과정을 보인 설명도이다.
도 7은 바이래터럴 필터링된 이미지를 다른 이미지들과 비교도시한 사진이다.

본 발명 바이래터럴 보간법을 이용한 이미지 보정 방법에 대하여 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1은 본 발명의 바람직한 실시예에 따른 바이래터럴 보간법을 이용한 이미지 보정 방법의 흐름도이다.

도 1을 참조하면 본 발명의 바람직한 실시예에 따른 바이래터럴 보간법을 이용한 이미지 보정 방법은, 어안(fish eye) 이미지를 셀로 분할하는 단계(S10)와, 투영변환을 이용하여 서브 픽셀을 산출하는 단계(S20)와, 이중선형 보간법을 이용하여 서브 픽셀의 강도를 산출하는 단계(S30)와, 바이래터럴 필터를 사용하여 강도를 조정하여 보정된 이미지를 획득하는 단계(S40)를 포함하여 구성된다.

상기 어안 이미지는 촬영된 영상에서 한 프레임의 영상일 수 있다.

상기 S40단계에서는 어안 이미지들의 이전 프레임을 선택적으로 더 사용하여 강도를 조정할 수 있다.

이하, 상기와 같이 구성되는 본 발명 바이래터럴 보간법을 이용한 이미지 보정 방법을 각 단계별로 더 상세히 설명한다.

먼저, S10단계에서는 획득된 어안 이미지를 정사각형 이미지로 만들고, 이를 분할하여 정사각형 또는 직사각형에 가까운 셀들을 분할한다.

어안 이미지로 획득된 영상은 렌즈의 특성상 더 넓은 화각을 가지며, 원형을 따라 왜곡된 이미지이며, 하나의 카메라로 더 넓은 영역을 감시하기 위해 사용될 수 있다.

도 2는 어안 이미지를 사각형에 가까운 형상의 셀로 분할하는 과정의 설명도이다.

도 2를 참조하면 먼저 정사각형의 셀로 분할하기 위해서 종횡비에 차이가 있는 직사각형의 어안 이미지에 패딩부분(1)을 추가하여 정사각형의 어안 이미지를 만든다. 상기 패딩부분(1)은 어안 이미지의 상부와 하부측에 각각 동일한 폭으로 추가되는 것이 바람직하다.

그 다음, 상기 정사각형의 어안 이미지의 중심에 중심이 위치하며, 직경의 크기가 다른 다수의 동심원 분할선(C1,C2)으로 분할하고, 상기 동심원 분할선(C1,C2)들의 중심점을 지나며 각각 소정의 각도를 이루는 다수의 지름방향 분할선(L1~Ln)을 형성한다.

이처럼 동심원 분할선(C1,C2)과 지름방향 분할선(L1~Ln)의 수를 증가시켜 상기 패딩부분(1)이 추가된 정사각형 어안 이미지를 분할하면, 사각형에 가까운 형상의 셀(CELL)을 얻을 수 있다.

도 3에 주차장 영상에 대한 셀 분할의 예를 도시하였다.

도 3에서는 10개의 동심원 분할선과 64개의 지름방향 분할선을 이용하여 이미지를 분할한 예이며, 정사각형에 근접하는 셀(CELL)을 얻을 수 있게 된다.

그 다음, S20단계와 같이 상기 분할된 각 셀(CELL)마다 투영변환을 이용하여 서브 픽셀(Sub-Pixel)을 산출한다. 상기 서브 픽셀은 계산된 좌표가 정수가 아닌 좌표이다.

그 다음, S30단계에서는 이중선형 보간법을 이용하여 서브 픽셀의 강도를 산출한다. 이때 강도(Intensity)는 색강도를 뜻하는 것이며, 본 발명에서는 이중선형 보간법을 이용하여 서브 픽셀의 색강도를 산출하게 된다.

도 4는 서브 픽셀과 인접한 복수의 픽셀의 색강도를 산출하기 위한 설명도이다.

도 4에서 u_b는 서브 픽셀의 색강도로서 서브 픽셀과 인접한 4개의 픽셀좌표(a,b,c,d)의 거리를 가중치로 하여 인접 픽셀의 컬러값을 이용하여 산출하는 것을 나타낸다.

상기 u_b는 아래의 수학식1로 표현될 수 있다.

위에서 q와 p는 각각 위의 도 4에서 가로방향의 선형 가중치를 나타내며, α와 β는 각각 세로방향의 가중치를 나타낸다.

이러한 가중평균값을 서브 픽셀의 컬러값으로 결정하며, 서브 픽셀의 컬러값을 목표 영상 패치에 복사하고, 목표 영상 패치를 목표 영상의 적절한 위치에 배치한다.

이와 같이 이중선형 보간법을 이용하여 얻어지는 이미지는 상대적으로 연산은 느리지만 우수한 화질의 이미지를 얻을 수 있다.

도 5는 상기 S30단계를 통해 얻어진 이미지와 인접 픽셀의 이미지를 서브 픽셀의 컬러값으로 사용하는 방법으로 얻어진 이미지의 비교사진이다.

앞서 설명한 S30단계와 같이 픽셀의 색강도를 산출하는 방법의 다른 예는 정수가 아닌 서브 픽셀과 가장 인접한 픽셀의 컬러값을 서브 픽셀의 컬러값으로 결정하는 방법이 있으며, 처리된 이미지를 도 5의 a)에 도시하였다. 그러나 이와 같은 방법은 상기 S30단계와 같이 색강도를 연산하는 방법에 비하여 연산 속도는 빠르지만 에지 부분에 계단 현상이 발생하여 도 5의 윗쪽 이미지와 같이 화질이 열화되는 문제점이 있다.

상기 S30단계를 통해 얻어진 도 5의 b)에 도시한 이미지는 인접 픽셀들과의 가중 평균을 이용하기 때문에 계단 현상이 현저하게 감소하여 비교적 선명한 화질을 얻을 수 있다. 그러나 선형 보간의 특징상 에지부분에서의 흐림 현상의 발생은 그대로 나타나게 된다.

그 다음, S40단계에서는 바이래터럴 필터를 사용하여 상기 S30단계에서 얻어진 이미지를 처리한다. 바이래터럴 필터링은 상기 서브 픽셀의 결정된 색강도를 휘도를 고려하여 조정한다.

상기 서브 픽셀의 휘도는 주변 픽셀들의 휘도값의 거리 가중치를 고려하여 결정된다.

도 6은 S40단계의 처리과정을 도식화한 것으로, 마스크의 크기는 K, L 성분으로 결정되고, 서브 픽셀의 휘도(u(x,y))는 마스크 내의 주변 픽셀(u(x-k,y-l)의 휘도의 거리와 강도 가중치를 이용하여 계산되어, 이 결과를 이용하여 상기 S30단계에서 얻어진 서브 픽셀의 색강도를 조정하게 된다.

이러한 처리 과정을 아래의 수학식2에 기재하였다.

상기 수학식2는 S40단계의 처리를 수식화한 것으로 서브 픽셀의 휘도를 고려한 색강도 t(x,y)는 마스크 내에 위치하는 주변 픽셀의 휘도(u(x-k, y-1)값을 공간가중치(Ws)와 강도가중치(Wi)를 적용하여 계산하는 것이며, 상기 강도가중치는 아래의 수학식3으로 나타낼 수 있다.

상기 수학식3에서 diff는 서브 픽셀의 휘도값과 주변 픽셀의 휘도값의 절대갑이며, σ_i는 강도 시그마(intensity sigma)이다.

상기 diff의 값을 수학식으로 나타내면 아래의 수학식4와 같다.

또한 상기 수학식2에서 Ws는 아래의 수학식5로 표현될 수 있다.

상기 수학식5에서 m은 마스크의 크기를 나타내며, σ_s는 공간 시그마(spatial sigma)를 나타낸다.

이와 같이 본 발명에서는 이중선형 보간 처리된 이미지를 다시 바이래터럴 필터링하여, 색강도를 휘도(밝기) 값으로 보정하여 흐림 현상의 발생을 방지할 수 있게 된다.

도 7은 바이래터럴 필터링된 이미지를 다른 이미지들과 비교도시한 사진이다.

도 7의 a)의 사진은 인접한 픽셀의 색상만을 서브 픽셀의 색상으로 결정한 결과로서 에지 부분에서 계단현상이 발생됨을 확인할 수 있으며, b)는 본 발명의 S30단계의 이중선형 보간 처리된 이미지로서 화질은 a)의 이미지에 비하여 개선되었으나 에지 부분에서 흐림 현상이 발생하게 된다.

도 7의 c)는 b)의 이미지를 앞서 설명한 바이래터럴 필터링한 결과이며, 에지 부분에서 흐림 현상이 개선되어 보다 선명한 이미지를 얻을 수 있게 된다.

이는 도 7에 도시한 바와 같이 차량의 번호판의 인식을 보다 더 명확하게 할 수 있으며, 영상의 한 프레임인 이미지의 일부를 확대했을 때에도 에지부분의 흐림현상을 방지하여 더 선명한 확대 이미지를 얻을 수 있게 된다.

앞서 수학식2 내지 수학식5를 참조하여 설명한 바이래터럴 필터링 방법은 영상에서 현재 프레임인 현재 이미지의 휘도 성분만을 고려한 것이며, 필요에 따라서는 영상의 이전 프레임들 각각에서 주변 픽셀의 휘도 성분을 고려하여 이중선형 보간된 현재 프레임인 이미지를 조정할 수도 있다.

상기 수학식6은 이전 프레임들의 휘도 성분을 고려한 바이래터럴 필터링을 나타낸 것이며, Wf는 이전 프레임들의 휘도 가중치이며, 이 휘도 가중치는 현재 프레임과 시간 간격이 더 큰 프레임의 이미지일수록 가중치가 감소하여 적용되도록 한다.

본 발명은 상기 실시예에 한정되지 않고 본 발명의 기술적 요지를 벗어나지 아니하는 범위 내에서 다양하게 수정, 변형되어 실시될 수 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어서 자명한 것이다.

1:패딩부분 C1,C2:동심원 분할선
L1~Ln:지름방향 분할선 CELL:셀

Claims (6)

1. a) 종횡비가 다른 어안 이미지인 촬영된 이미지에 동일 폭을 가지는 한 쌍의 패딩부분을 상하 또는 좌우에 각각 삽입하여 정사각형 이미지로 변환하고, 변환된 정사각형 이미지에서 동심원 분할선들 및 동심원 분할선들의 지름방향 분할선들을 이용하여 셀들을 분할하는 단계;
   b) 분할된 셀들 각각에서 서브 픽셀을 산출하는 단계;
   c) 상기 서브 픽셀의 주변 셀들의 색강도 가중치를 이용하여 서브 픽셀의 색강도를 결정하는 단계; 및
   d) 바이래터럴 필터링을 통해 상기 주변 셀들의 휘도 가중치를 이용하여 서브 픽셀의 색강도를 조절하는 단계를 포함하여 된 것을 특징으로 하는 바이래터럴 보간법을 이용한 이미지 보정 방법.
   
2. 삭제
3. 제1항에 있어서,
   상기 c) 단계는,
   이중선형 보간법을 이용하여 상기 서브 픽셀의 색강도를 결정하는 것을 특징으로 하는 바이래터럴 보간법을 이용한 이미지 보정 방법.
   
4. 제1항에 있어서,
   상기 d) 단계는,
   바이래터럴 필터링을 통해 주변 픽셀들의 휘도를 거리 및 강도 가중치를 감안하여 결정하고, 그 결정된 결과에 따라 상기 서브 픽셀의 색강도를 조정하는 것을 특징으로 하는 바이래터럴 보간법을 이용한 이미지 보정 방법.
   
5. 제4항에 있어서,
   상기 주변 픽셀들의 휘도는 현재 프레임의 이미지뿐만 아니라 이전 프레임들의 이미지의 주변 픽셀들의 휘도를 포함하는 것을 특징으로 하는 바이래터럴 보간법을 이용한 이미지 보정 방법.
   
6. 제5항에 있어서,
   이전 프레임들의 휘도 가중치는 현재 프레임으로부터 과거의 프레임들일수록 낮은 가중치로 적용되는 것을 특징으로 하는 바이래터럴 보간법을 이용한 이미지 보정 방법.
   

Images