KR101877741B1 - 영상 블러를 고려한 윤곽선 검출 장치 - Google Patents

Abstract

본 발명은 영상 블러를 고려한 윤곽선 검출 장치에 관한 것으로서, 카메라로부터 전송받는 픽셀 데이터를 저장 공간에 저장하는 라인버퍼; 상기 라인버퍼로부터 받은 영상 신호로부터 노이즈를 제거하여 정규화시킨 제1 정규화값(G_val)을 출력하는 가우시안필터; 상기 가우시안필터로부터 노이즈가 제거된 제1 정규화값(G_val)을 수신하여 인접 픽셀들 간의 값을 합하여 평균값(M_val)을 도출하는 평균값필터; 상기 평균값필터 및 가우시안필터로부터 제1 정규화값(G_val) 및 평균값(M_val)을 수신하여 픽셀 간의 거리에 의해 흐트러진 픽셀값을 보정하여 거리 가중치(D_val) 및 제2 정규화값(P_val)을 구하는 거리가중치필터; 상기 거리가중치필터와 상기 광도측정필터 사이에 색상차에 의해 발생하는 부분을 이분화시켜 윤곽선을 보강시키는 공간색상가중치필터; 및 상기 공간색상가중치필터에 의해 윤곽선 정보로부터 윤곽선과 윤곽선이 아닌 부분을 판단하여 윤곽선에 해당하는 픽셀은 가중치가 적용된 색상 가중치(S_val)를 출력하고, 윤곽선에 해당하지 않는 픽셀은 노이즈가 제거된 제1 정규화값(G_val)을 출력으로 내보내도록 하는 광도측정필터;를 포함하여 구성되어 블러 발생 영상의 색상 가중치와 거리 가중치를 기반으로 한 객체 간 경계 보강 및 잡음을 제거하며 소수점 연산 대신에 정수 연산으로 변형시켜 레이턴시(latency)를 최소화하고 버퍼를 이용하여 처리속도를 향상시킨 효과가 있다.

Description

영상 블러를 고려한 윤곽선 검출 장치{APPARATUS FOR DETECTING EDGE WITH IMAGE BLUR}

본 발명은 영상 블러를 고려한 윤곽선 검출 장치에 관한 것으로서, 더욱 상세하게는 블러(blur) 발생 영상의 색상 가중치와 거리 가중치를 기반으로 한 객체 간 경계 보강 및 잡음을 제거하며 소수점 연산 대신에 정수 연산으로 변형시켜 레이턴시(latency)를 최소화하였으며 버퍼를 이용하여 처리속도를 향상시킨 영상 블러를 고려한 윤곽선 검출 장치에 관한 것이다.

최근 ADAS(Advanced Driver Assistance Systems)라는 안전 운전을 위한 운전자 보조 시스템에 대한 연구가 널리 진행되고 있다. ADAS는 충돌을 방지하고 잠재적 위험요인으로부터 운전자에게 경고를 주어 사고를 예방하는 것을 목적으로 조명 자동 조절 및 크루즈 컨트롤, 자동 제동, 교통량, 차선 유지 등의 기술을 이용한다. 특히 ADAS 기술은 외부 환경을 인지하기 위한 센서의 역할이 중요하다.

이에 따라 ADAS용 카메라, 레이더, 라이다 등의 센서 시장이 빠르게 성장하고 있다. 각 센서는 가격을 낮춰 보급을 확대하고, 신호처리 S/W 개발을 통해 성능을 향상시키는 방향으로 발전하고 있다. 또한 특정 센서가 단독으로 쓰이기보다는 센서별 취약점을 보완하고 안정성을 높이기 위해 여러 종류의 센서를 융합하는 방향으로 개aa발이 진행되고 있다. 현재 개발되고 있는 자율주행 자동차는 자동차 행위를 자동차 스스로 결정하여 독립적으로 동작한다. 구글(Google) 외의 많은 기업들이 현재 자율주행 자동자를 개발하고 있다.

자동차를 주행하기 위한 요소 기술은 상황인지, 조향, 가속/감속 기술 등이 있다. 즉 눈과 귀를 통해 주변 환경을 인지(감지)하고, 주행 경로를 결정하기 위해 조향 즉 방향을 결정하며, 속도를 조절하기 위해 가속 및 감속을 진행하는 기술을 필요로 한다. 자율주행 차량은 차량 스스로 주변 환경을 인지하고 방향을 결정하는 것은 물론 차량의 속도까지 스스로 통제할 수 있어야 한다. 자율주행 자동차가 현실화되기 위해선 이러한 것들이 현실화 될 수 있는 기술들이 개발되어야 한다.

이러한 요소 기술 중 가장 중요한 기술은 상황인지 기술이다. 주변 환경에 대한 정확한 인지가 불가능할 경우 아무리 차량을 통제하는 시스템이 발달한다 하여도 자동차의 자율주행은 불가능하다. 따라서 자율주행 기술 중 상황인지 기술을 적용시키기 위하여 현재 개발 중인 품목으로는 카메라(Camera), 라이다(Radar), 레이저스케너(Laser Scanner), 자외선센서(Ultrasonic Sensor) 등이 있다. 이와 같은 센서들은 센서간의 통신을 통하여 상호 보완됨으로써 인지의 정확성올 높이고 있다. 카메라(Camera)는 가장 일반적인 인지장치로써 사람의 눈과 같이 빛의 반사 작용을 이용해 사물을 인식하는 장치이다. 형태에 따라 단안카메라(Monocular Camera), 다안카메라(Multi-ocular Camera), 광각카메라(Wide Angle Camera)로 나뉠 수 있으며 다른 인지장치 대비 날씨에 가장 민감하지만 일반적으로 사용하고 있다.

카메라로 구현되는 자율주행기술이 늘어나면서 한 개의 카메라가 다양한 기능을 동시에 수행할 수 있는 기술이 개발되고 있다. 기존에는 한 개의 카메라가 한 기능을 수행하고 있었으나 최근 카메라는 5~7개의 기능을 동시에 수행할 수 있도록 개발되고 있다. 이처럼 여러 기능을 동시에 처리하기 위해서는 빠른 신호처리속도가 요구되므로, 부품업체들은 연산처리속도가 높은 ECU(Electronic Control Unit) 적용 및 효율적인 소프트웨어(software, S/W)를 개발하고 있다. 이와 같이 빠른 신호처리를 위하여 센서모듈이 개발되고 있으며 앞으로 IT(Infomation Technology)나 반도체 업체들의 카메라 센서모듈 진입이 확대될 전망이다.

카메라로부터 얻는 영상은 빛의 노출로 얻을 수 있고, 노출의 조절 방법은 조리개(aperture)와 ISO(필름 감도 기준), 셔터 속도에 관련되어 있다.

도 1은 일반적인 카메라 노출의 삼각 관계를 나타낸 도면이다.

도 1을 참조하면, 빛이 들어오는 양을 조절하는 조리개(apature)와 카메라 센서의 민감도를 나타내는 ISO, 그리고 빛을 받기 위하여 셔터가 열렸다 닫히는 시간을 의미하는 셔터 속도(shutter speed)는 노출의 삼각관계로 구성된다.

조리개의 수치를 크게 하거나 셔터의 속도를 빠르게 또는 ISO감도를 높게 하면 많은 노출을 얻을 수 있으며, 반대로 조리개 수치를 작게 하거나 셔터 속도를 낮출 때 또는 ISO감도를 낮출 경우에 적은 노출을 얻을 수 있다. 만약 이 노출 상호 관계가 환경에 맞지 않는 경우 과도한 노출 또는 필요 이하의 노출로 인하여 원치 않는 영상을 얻게 된다.

블러(blur)는 전술한 바와 같이 필요치 이하의 노출로 인하여 프레임의 영상이 저장되기 전에 피사체 또는 배경 부분에 움직임이 있을 경우에 발생한다. 특히 블러는 저조도의 환경에서 카메라 센서에 필요로 하는 빛을 받지 못할 경우 반응이 느려져 발생할 수 있으며 빠른 물체를 인식할 경우 움직임을 정확하게 포착하지 못하는 경우 화면이 흐릿해지는 현상에 의해 발생할 수 있다. 블러가 발생할 때 눈은 물체를 부정확하게 인식하며, 인식을 기반으로 한 시스템에서는 윤곽선 추출시 정확한 윤곽선을 찾지 못하여 데이터로서의 활용이 어렵게 된다. 이와 비슷하게 지능형 자동차에서 사용하는 ADAS와 같은 시스템에서 블러가 발생할 경우 정확한 인식이 불가능하여 오작동을 일으켜 불상사를 초래할 수 있다. 따라서 부정확한 인식으로 인한 오작동을 미연에 방지하기 위하여 기존에 블러 보정에 대한 많은 연구들이 지속되고 있다.

블러의 종류는 크게 노출이 길거나 움직임이 빠른 경우에, 또는 프레임 하나를 촬영하는 동안 영상이 변화할 때 나타나는 모션 블러(Motion blur)와 초점이 틀어져 발생하는 렌즈 블러(Lense blur)로 나누어지며 두 블러를 해결하기 위하여 간단하게 샤프니스 효과를 갖는 필터를 사용한다. 또한 정확한 보정을 위하여 주로 사용되는 알고리즘으로는 포리어 변환(Fourier transform)을 이용한 디콘볼루션(de-convolution)과 모션 벡터(Motion vector), 센서를 이용하여 블러 보정을 한다.

포리어 변환을 이용한 디콘볼루션 방법은 넌블라인드 디콘볼루션(non-blind de-convolution)과 블라이드 디콤볼루션(blind de-convolution)으로 나뉜다. 두 방법은 블러가 발생한 경로를 알고 있는 지의 여부를 판별하는 점상강도분포함수(Point Spread Function, PSF)를 기준으로 나눠지며 PSF에 의해 주어지는 넌블라이드 디콘볼루션은 주어진 PSF를 통해 영상을 정규화하고, 정규화된 영상을 이용하여 좀 더 상세한 PSF을 추출하여 이미지를 복원한다. 반면 PSF가 주어지지 않는 블라인드 디콘볼루션의 경우에는 흔들리지 않은 것으로 처음 PSF를 설정하고 반복을 통해 PSF를 찾아내고 복원한다. 실제 영상 촬영 시에는 블러 커널이 주어지지 않아 블라인드 디콘볼루션을 이용하여야 하며, 이 경우 영상처리를 프레임단위로 처리해야하고 모든 연산이 주파수 영역에서 이루어지기 때문에 큰 저장 공간과 빠른 연산을 필요로 한다. 따라서 차량의 ECU와 같은 작은 시스템에 올라가는 소프트웨어로는 실시간 처리가 불가능하며 하드웨어 처리 역시 큰 부하가 걸리는 문제점이 있다.

서브 윈도우를 이용하여 움직임이 발생한 방향을 찾아내고 모션 벡터를 이용한 보정 방법은 포리에변환을 이용한 방법에 비하여 적은 연산량을 갖는다. 하지만 모션 벡터를 이용한 보정 방법은 윈도우 별로 방향 탐색 및 복원에 다수의 프레임 또는 서브 윈도우를 저장할 수 있는 메모리가 필요하기 때문에 빠른 연산을 필요로 한다.

또한, 블러를 물리적 센서를 이용하여 각도와 흔들린 정도를 계산하는 방법의 경우 앞서 언급한 두 가지의 방법보다 빠르고 정확한 처리가 가능하지만 자이로센서, 나이트 비젼과 같은 여러 센서를 결합한 형태 및 이에 따른 복잡한 연산이 필요하므로 비용적 측면 및 복잡한 연산으로 인한 오류의 가능성이 큰 단점을 갖는다. 그러나, ADAS에서 발생하는 오류는 큰 사고로 이어질 수 있으므로 단순하게 처리될 수 있는 문제가 아니다.

대한민국 공개특허공보 제10-2011-0043630(발명의 명칭 : 복안 촬상 장치 및 상 블러 보정 방법)

따라서 본 발명은 전술한 종래기술의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 블러 발생 영상의 색상 가중치와 거리 가중치를 기반으로 한 객체 간 경계 보강 및 잡음을 제거하며 소수점 연산 대신에 정수 연산으로 변형시켜 레이턴시(latency)를 최소화하였으며 버퍼를 이용하여 처리속도를 향상시킨 영상 블러를 고려한 윤곽선 검출 장치를 제공하기 위한 것이다.

상술한 목적을 달성하기 위한 영상 블러를 고려한 윤곽선 검출 장치는, 카메라로부터 전송받는 픽셀 데이터를 저장 공간에 저장하는 라인버퍼; 상기 라인버퍼로부터 받은 영상 신호로부터 노이즈를 제거하여 정규화시킨 제1 정규화값(G_val)을 출력하는 가우시안필터; 상기 가우시안필터로부터 노이즈가 제거된 상기 제1 정규화값(G_val)을 수신하여 인접 픽셀들 간의 값을 합하여 평균값(M_val)을 도출하는 평균값필터; 상기 평균값필터 및 가우시안필터로부터 제1 정규화값(G_val) 및 평균값(M_val)을 수신하여 픽셀 간의 거리에 의해 흐트러진 픽셀값을 보정하여 거리 가중치(D_val) 및 제2 정규화값(P_val)을 구하는 거리가중치필터; 상기 거리가중치필터와 상기 광도측정필터 사이에 색상차에 의해 이분화시켜 윤곽선을 보강시키는 공간색상가중치필터; 및 상기 공간색상가중치필터에 의해 윤곽선 정보로부터 윤곽선과 윤곽선이 아닌 부분을 판단하여 윤곽선에 해당하는 픽셀은 가중치가 적용된 색상 가중치(S_val)가 적용된 화소를 출력하고, 윤곽선에 해당하지 않는 픽셀은 노이즈가 제거된 제1 정규화값(G_val)이 적용된 화소를 출력으로 내보내도록 하는 광도측정필터;를 포함하여 구성된다.

상기 라인버퍼는, 상기 카메라로부터 전송받는 픽셀 데이터를 다중화하는 멀티플렉서; 상기 카메라로부터 전송받는 픽셀 데이터를 상기 멀티플렉서에 의해 다중화하여 저장하는 다수의 라인; 상기 픽셀 테이터를 저장시킬 소정개의 단으로 구성된 다수의 라인의 주소를 선택하는 카운터; 상기 어드레스로부터 상기 픽셀을 상기 카운팅하는 카운터; 및 상기 가우시안필터로의 출력을 제어하는 출력제어부;를 포함하여 구성된다.

상기 멀티플렉서는 상기 필셀 데이터를 상기 소정 개의 라인으로 구성된 어드레스에 각 라인별로 저장한 후에 다음 라인에 저장하고 마지막 라인에 저장이 완료되면 다시 첫번째 라인에 덮어써 저장되도록 구성할 수 있다.

상기 가우시안필터는, 다음의 수학식에 의해 제1 가중치(G_val)를 출력시키며 다음의 수학식으로 표시될 수 있다.

(여기서,

값은 가우시안 블러를 이루는 가우시안 분포의 넓이를 조절하며 또한

값에 따라 연산할 마스크 크기가 변하고, G(x, y)는 제1 가중치를 나타내는 함수임)

상기 평균값필터는, 상기 소정개의 라인으로 구성된 상기 소정개의 클럭의 지연 후에 입력된 상기 어드레스의 데이터를 더하는 데이터썸(Data_sum)이 발생되고 다시 1클럭 뒤에 평균값을 나타내는 평균값(M_val)을 출력 할 수 있다.

거리가중치필터는, 상기 평균값필터의 평균값(M_val)과 상기 가우시안필터의 제1 정규화값(G_val)을 감산하여 감산값을 획득하는 감산기; 상기 감산처리부에 의해 획득한 감산값의 절대값을 구하는 절대값연산기; 상기 절대값연산기에 의해 연산된 절대값을 합산하여 거리 가중치(D_val)를 구하는 합산기; 및 상기 절대값연산기에 의해 연산된 절대값으로부터 제2 정규화값(P_val)을 구하는 정규화처리부;를 포함하여 구성된다.

상기 거리가중치필터는, 합산값을 D(x, y)값 상기 수치를 정규화시킨 제2 정규화값을 P(x, y)값으로 지정하여 출력 값을 얻어낼 수 있으며 이는 다음의 수학식으로 각각 나타낼 수 있다.

(여기서, M(x, y)는 평균값 필터에 의해 구해진 평균값(M_val)을 구하는 함수이며, G(i, j)는 가우시안필터에 의한 제1 정규화값(G_val)을 구하는 함수를 나타내고, abs는 절대값을 구하는 것을 나타내며, N은 영상 픽셀의 총 갯수를 나타냄)

상기 공간색상가중치필터는, 상기 거리가중치필터에 의해 도출된 거리 가중치(D_val)와 상기 정규화시킨 제1 임계치(Thr1)를 감산하는 제2 감산기; 상기 제2 감산기에 의해 구해진 값의 절대값을 구하는 제2 절대값연산기; 상기 평균값필터에 의해 구해진 평균값(M_val)과 상기 제2 절대값연산기에 의해 구해진 결과값을 곱하는 제1 멀티플렉서; 및 상기 제1 멀티플렉서의 결과값과 상기 평균값을 곱하여 색상 가중치(S_val)를 출력하는 제2 멀티플렉서;를 포함하여 구성된다.

상기 광도측정필터는, 상기 거리가중치필터에 의한 거리 가중치(D_val)와 제2 임계값(Thr2)을 비교하는 제1 비교기; 상기 거리가중치필터에 의한 제2 정규화값(P_val)과 제2 임계값(Thr2)을 비교하는 제2 비교기; 상기 제1 비교기의 결과값과 상기 제2 비교기의 결과값을 OR 연산하는 OR연산기; 및 상기 OR연산기의 결과값과 상기 색상 가중치(S_val) 및 가우시안필터에 의해 구해진 제1 정규화값(G_val)을 수신받아 윤곽선과 윤곽선이 아닌 부분을 판단하여 윤곽선에 해당하는 픽셀은 가중치가 적용된 색상 가중치(S_val)가 적용된 화소를 출력하고 윤곽선에 해당하지 않는 픽셀은 노이즈가 제거된 제1 정규화값(G_val)이 적용된 화소를 출력시키는 화소결정부;를 포함하여 구성된다.

따라서, 본 발명의 영상 블러를 고려한 윤곽선 검출 장치는 블러 발생 영상의 색상 가중치와 거리 가중치를 기반으로 한 객체 간 경계 보강 및 잡음을 제거하며 소수점 연산 대신에 정수 연산으로 변형시켜 레이턴시(latency)를 최소화하였으며 버퍼를 이용하여 처리속도를 향상시킨 효과가 있다.

도 1은 일반적인 카메라 노출의 삼각 관계를 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 영상 블러를 고려하여 윤곽선을 검출하는 장치의 구성을 나타낸 블록 구성도.
도 3은 본 발명의 일 실시예에 따른 도 2의 라인버퍼의 구성을 나타낸 블록 구성도.
도 4는 본 발명의 일 실시예에 따른 도 3의 라인버퍼 어드레스의 구성을 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 도 2의 가우시안필터에 사용되는 마스크를 나타낸 도면.
도 6은 본 발명의 일 실시예에 따른 도 2의 가우시안필터에서 픽셀을 처리하는 것을 나타낸 하드웨어 타이밍도.
도 7은 본 발명의 일 실시예에 따른 도 2의 평균값필터에서 픽셀을 처리하는 것을 나타낸 하드웨어 타이밍도.
도 8은 본 발명의 일 실시예에 따른 도 2의 거리가중치필터의 구성을 나타낸 블록 구성도.
도 9는 본 발명의 일 실시예에 따른 도 9의 거리가중치필터에서 신호를 처리하는 타이밍을 나타낸 타이밍도.
도 10은 본 발명의 일 실시예에 따른 공간색상가중치필터가 픽셀을 보정하는 원리를 나타낸 도면.
도 11은 본 발명의 일 실시예에 따른 도 2의 공간색상가중치필터의 구성을 나타낸 블록 구성도.
도 12는 본 발명의 일 실시예에 따른 도 9의 공간색상가중치필터가 처리하는 신호의 타이밍도.
도 13은 본 발명의 일 실시예에 따른 도 2의 광도측정필터의 구성을 나타낸 블록구성도.
도 14는 본 발명의 일 실시예에 따른 도 14의 광도측정필터가 신호를 처리하는 것을 나타낸 타이밍도.
도 15는 본 발명의 일 실시예에 따른 영상 블러를 고려하여 윤곽선을 검출하는 과정을 나타낸 순서도.
도 16은 본 발명의 일 실시예에 따라 블러가 발생한 영상을 처리한 결과를 나타낸 도면.

이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 영상 블러를 고려하여 윤곽선을 검출하는 장치의 구성을 나타낸 블록 구성도이다.

도 2를 참조하면, 본 발명은 라인버퍼(Line buffer)(100), 가우시안필터(200), 평균값필터(300), 거리가중치필터(400), 공간색가중치필터(500) 및 광도측정필터(600)를 포함하여 구성된다.

먼저, 라인버퍼(100)는 카메라로부터 전송받는 픽셀 데이터를 저장 공간에 저장한다.

도 3은 본 발명의 일 실시예에 따른 도 2의 라인버퍼의 구성을 나타낸 블록 구성도이며, 도 4는 본 발명의 일 실시예에 따른 도 3의 라인버퍼 어드레스의 구성을 나타낸 도면이다.

도 3 및 도 4를 참조하면, 카메라로부터 입력되는 픽셀은 영상의 첫 가로줄의 첫 픽셀부터 차례로 전송된다. 따라서 보정 블록에서 커널에 맞게 픽셀을 사용하기 위해서는 보정 블록의 마스크 순서에 맞게 픽셀을 재배열해야 한다. 픽셀을 재배치하기 위해서는 카메라로부터 전송받은 픽셀 데이터를 일종의 저장 공간에 임시로 저장해야한다. 이 임시 저장 공간을 최소화하기 위하여 러인버퍼(100)를 이용한다. 예컨대, 보정을 처리하는 마스크는 5x5의 필터마스크를 이용하여 구성하였다.

라인버퍼(100)는 멀티플렉서(110), 각각의 버퍼를 구성하는 라인(120), 카운터(130) 및 출력제어부(140)를 포함하여 구성된다.

멀티플렉서(110)는 카메라로부터 전송받는 픽셀 데이터를 다중화시킨다. 멀티플렉서(110)는 카메라로부터 수신한 필셀 데이터를 상기 소정개의 라인으로 구성된 각각의 라인(120)의 어드레스에 저장한 후에 다음 라인(120)에 저장하고 마지막 라인(120)에 저장이 완료되면, 첫번째 라인(120)에 덮어써 저장되도록 구성할 수 있다. 다수의 라인(120)은 카메라로부터 전송받는 픽셀 데이터를 상기 멀티플렉서에 의해 다중화하여 저장한다.

카운터(130)는 상기 픽셀 테이터를 저장시킬 소정개의 라인(120) 중 어느 하나를 선택한다. 예컨대, 라인(120)이 5개로 구성된 경우면 카운터(130)가 라인버퍼(100)에 기록될 픽셀의 개수를 카운트하여 카운팅 된 수가 라인(120)의 총 데이터 수와 같으면 그 때마다 라인(120)을 선택하는 선택신호(line_sel)를 0→1→2→3→4 순으로 변경시켜 각 라인(120)에 적절한 픽셀 값을 저장시킨다.

각 라인(120)에서의 출력은 출력 컨트롤 블록에서 필요로 하는 데이터의 주소를 요청하면 해당 주소의 데이터를 출력하는 방식이다. 라인버퍼(100)로부터 데이터를 받는 가우시안필터(200)와 평균값필터(300)는 라인버퍼(100)가 다섯 개의 라인(120)을 갖는 경우의 각 라인(120)에서 각각 한 픽셀의 데이터를 요구하므로 출력 역시 다섯 개의 라인(120)을 통해 이루어진다.

출력제어부(140)는 상기 가우시안필터(200)로의 출력을 제어한다. 즉, 출력제어부(140)는 각 라인(120)을 이용해 최소한의 픽셀을 이용하여 최대의 효율을 가지도록 출력시킬 수 있다. 출력제어부(140)에 의해 네 개의 라인(120)이 채워지는 초기 딜레이 이후 2번째 픽셀이 들어오는 순간부터 각 라인별로 요청된 주소의 데이터 즉, 하나의 세로 라인을 출력시킨다. 출력제어부(140)는 각 라인(120)에서 출력되는 5개의 데이터(하나의 세로 라인)를 5개의 클럭에 걸쳐 가우시안필터(200) 및 평균값필터(300)에 누적시키면 하나의 마스크 커널에 맞는 25개의 픽셀 데이터를 저장하게 되므로 이 후 매 클럭마다 마스크 필터링을 처리하게 된다.

예컨대, 라인버퍼(100)는 5x5 사이즈 필터마스크를 처리함에 있어서 최소 요구 길이인 영상 가로 사이즈 W의 길이(length)와 픽셀의 동적 영역(dynamic range)에 해당하는 8bit의 깊이(depth)로 이루어진다.

가우시안필터(200)는 라인버퍼(100)로부터 받은 영상 신호로부터 노이즈를 제거한다. 가우시안필터(200)는 라인버퍼(100)에 연결되어 구성된다.

가우시안필터(200)는 다음의 수학식 1에 의해 영상을 처리하여 노이즈를 제거한 제1 정규화값(G_val, 함수는 G(x, y))을 출력시킨다. 수학식 1은 다음과 같다.

상기 수학식 1에서

값은 가우시안 블러를 이루는 가우시안 분포의 넓이 변수이다. 따라서,

값에 따라 연산할 필터마스크의 크기가 변한다. 그리고, G(x, y)는 가우시안필터(200)의 함수이다.

다음의 표는 전술한

의 크기에 따른 마스크의 크기의 변화를 나타낸다. 표 1은 다음과 같다.

(시그마)	마스크의 크기
0.5	3x3
1	5x5
2	9x9
3	13x13
4	19x19

도 5는 본 발명의 일 실시예에 따른 도 2의 가우시안필터에 사용되는 마스크를 나타낸 도면이다.

도 5를 참조하면, 5x5 사이즈의 마스크가 도시되어 있다. 영상 처리 시 통상적으로 3x3 사이즈의 마스크를 커널로 하지만 5x5 사이즈를 기본 커널 사이즈로 하는 표 1에서와 같이

값을 1로 정한 마스크를 사용하였다.

제안된 가우시안필터(200)의 필터마스크는 양방향필터(Bilateral filter)의 기본 마스크 크기인 5x5 사이즈로 구성하였다. 가우시안 블러 처리는 매 클럭마다 세로 한 줄에 해당하는 5픽셀(pixel)씩 전송받아 초기에 총 5클럭에 걸쳐 마스크를 완성하고, 초기 5클럭의 딜레이 후에 이어지는 매 클럭마다 세로 5픽셀을 받아 실시간으로 마스크를 처리한다.

도 6은 본 발명의 일 실시예에 따른 도 2의 가우시안필터에서 픽셀을 처리하는 것을 나타낸 하드웨어 타이밍도이다.

도 6을 참조하면, 마스크 처리를 좀 더 직관적으로 확인할 수 있게 도식화한 하드웨어 타이밍도로 첫 번째 클럭이 들어오는 5픽셀의 데이터1(Data_1)부터 데이터5(Data_5)까지를 A라고 하며 두 번째 클럭에서는 기존의 데이터1(Data_1)부터 데이터5(Data_5)에 있던 픽셀값이 데이터6(Data_6)부터 데이터7(Data_7)로 넘어가고 새롭게 들어오는 5픽셀의 값들이 각각 데이터1(Data_1)부터 데이터(Data_5)까지 저장되는 병렬 구조(Parallel structure)로 데이터1(Data_1)부터 데이터25(Data_25)까지 진행된다. 데이터25(Data_25)가 채워지는 다섯 번째 클럭에서 데이터합산(Data_sum)이 이루어진다. 가우시안 블러의 정규화가 이루어지는 제1 정규화값(G_val)은 제1 데이터합산값(Data_sum)의 1클럭 후에 출력되어 이후 매 클럭마다 제1 정규화값(G_val)이 출력된다.

평균값??터(300)는 가우시안필터(200)로부터 노이즈가 제거된 픽셀신호를 수신하여 인접 픽셀들 간의 값을 합하여 평균값을 도출하여 영상을 보정한다. 즉, 평균값필터(300)는 인접 픽셀들의 값을 합쳐서 평균값을 도출해내는 필터로 픽셀 값이 흐트러진 블러 영상의 보정에 사용할 수 있는 기준 픽셀 값을 유추해 낼 수 있다.

도 7은 본 발명의 일 실시예에 따른 도 2의 평균값필터에서 픽셀을 처리하는 것을 나타낸 하드웨어 타이밍도이다.

도 7을 참조하면, 기본적인 커널의 크기로 3x3을 사용하지만, 전술한 바와 같이 가우시안 블러에서 5x5 크기의 마스크필터를 사용하므로 커널의 통일성을 위하여 평균값필터(300)도 5x5의 마스크필터를 사용한다. 하드웨어 구성 시 평균값을 나타내는 평균값(M_val)을 출력해 내며 동작은 가우시안필터(200)와 같다. 다섯 열의 데이터를 받는 5클럭의 초기 딜레이 후에 입력된 25개의 데이터를 더하는 데이터합산값(Data_sum)이 발생되고 1클럭 뒤에 평균값(M_val)을 출력시킨다.

도 8은 본 발명의 일 실시예에 따른 도 2의 거리가중치필터의 구성을 나타낸 블록 구성도이며, 도 9는 본 발명의 일 실시예에 따른 도 9의 거리가중치필터에서 신호를 처리하는 타이밍을 나타낸 타이밍도이다.

도 8 및 도 9를 참조하면, 거리가중치필터(400)는 제1 감산기(410), 제1 절대값연산기(420), 합산기(430) 및 정규화기(440)를 포함하여 구성된다.

제1 감산기(410)는 상기 평균값필터(300)로부터 구해진 평균값(M_val)과 상기 가우시안필터(200)의 노이즈가 제거된 제1 정규화값(G_val)을 감산하여 감산값을 획득한다.

제1 절대값연산기(420)는 제1 감산기(410)에 의해 의해 획득한 감산값이 마이너스(-)일 수 있으므로 감산값의 절대값을 구한다.

합산기(430)는 제1 절대값연산기(420)에서 구해진 절대값들의 합을 구하여 제1 가중치(D_val)를 출력시킨다.

정규화기(440)는 제1 절대값연산기(420)에 의해 구해진 절대값으로부터 정규화된 제1 정규치값(P_val)을 구한다.

이와 같은 과정에 의해 거리가중치필터(400)는 평균값필터(300) 및 가우시안필터(200)로부터 수신한 픽셀 신호 간의 거리에 의해 흐트러진 픽셀값을 보정한다.

거리가중치필터(400)는 양방향필터에서 유클리디안(Euclidean) 거리를 구하는 것에 착안하여 변형된 필터로 픽셀의 거리관계를 구한다. 인접 픽셀의 평균값과 각 픽셀의 차를 연산하여 블러(blur)로 인하여 흐트러진 픽셀 값을 보정할 수 있다.

한편, 거리가중치필터(400)에 의해 구해지는 제1 가중치(D_val)를 함수화한 D(x, y) 및 제2 정규화값(P_val)을 함수화한 P(x, y)로부터 각각 구할 수 있으며, 이는 다음의 수학식 2 및 수학식 3으로 각각 나타낼 수 있다.

상기 수학식 2 및 수학식 3에서 M(x, y)는 평균값필터(300)의 평균값을 함수로 나타낸 것며, G(i, j)는 가우시안필터(200)에 의해 노이즈가 제거된 제1 정규화값(G_val)을 함수로 나타낸 것이고, abs는 절대값을 구하는 것을 나타내며, N은 영상 픽셀의 총 갯수를 나타낸다.

도 10은 본 발명의 일 실시예에 따른 공간색상가중치필터가 픽셀을 보정하는 원리를 나타낸 도면이다.

도 10을 참조하면, 부드러움 효과로 노이즈를 제거하는 것에 비하여 윤곽선이 보존되지만 가우시안 분포에 따라 색상의 변화가 일어나는 부분에 값이 이어져 색상차가 원본에 비하여 뚜렷하지 못한 결과를 갖는다. 따라서 상황에 따라 윤곽선 추출시 원하는 결과를 얻을 수 없다. 따라서, 공간색상가중치필터(500)는 임계치hreshold value, Thr)를 두어 색상차가 발생하는 부분을 이분화시켜 뚜렷한 결과값을 나타내도록 보정한다. 즉, 공간색상가중치필터(500)는 임계치에 따라 윤곽선을 보강시킨다.

도 11은 본 발명의 일 실시예에 따른 도 2의 공간색상가중치필터의 구성을 나타낸 블록 구성도이며, 도 12는 본 발명의 일 실시예에 따른 도 9의 공간색상가중치필터가 처리하는 신호의 타이밍도이다.

도 11 및 도 12를 참조하면, 공간색상가중치필터(500)는 제2 감산기(510), 제2 절대값연산기(520) 및 2개의 멀티플렉서(530, 540)로 구성된다.

제2 감산기(510)는 거리가중치필터(400)에 의해 구해진 제1 가중치(D_val)와 소정의 제1 임계치(threshold value, thr)를 감산시킨 결과값을 얻는다.

제2 절대값연산기(520)는 감산기(510)에 의해 구해진 결과값이 마이너스(-) 값을 가질수도 있으므로 감산기(510)에 의한 결과값의 절대값(absolute value, abs)을 구한다.

제1 멀티플렉서(530)는 평균값필터(300)에 의해 구해진 평균값(M_val)과 제2 절대값연산기(520)에 의해 구해진 결과값을 곱하여 출력시킨다.

제2 멀티플렉서(540)는 제1 멀티플렉서(530)에 의해 구해진 결과값과 상기 평균값(M_val)을 이용하여 색상 가중치(S_val)를 출력시킨다. 공간색상가중치필터(500)는 출력값이 저장되는 플리플롭(Flip-flop)으로 1클럭 내에서 연산이 가능하다.

도 13은 본 발명의 일 실시예에 따른 도 2의 광도측정필터의 구성을 나타낸 블록구성도이며, 도 14는 본 발명의 일 실시예에 따른 도 14의 광도측정필터가 신호를 처리하는 것을 나타낸 타이밍도이다.

도 13 및 도 14를 참조하면, 광도측정필터(600)는 상기 보정된 영상으로부터 광도를 측정하여 광도에 따른 윤곽선과 윤곽선이 아닌 부분을 판단하여 윤곽선에 해당하는 픽셀은 가중치가 적용된 색상 가중치(S_val)를 적용시킨 화소를 출력하고, 윤곽선에 해당하지 않는 픽셀은 노이즈가 제거된 제1 정규화값(G_val)을 적용시켜 출력으로 내보내도록 한다. 광도측정필터(600)도 1클럭 내에서 처리가 가능하다.

광도측정필터(600)는 2개의 비교기(610, 620), OR연산기(630) 및 화소결정부(640)로 구성된다.

먼저, 제1 비교기(610)는 상기 거리가중치필터(500)에 의한 거리 가중치(D_val)과 제2 임계치(Thr2)를 비교한다.

제2 비교기(620)는 거리가중치필터(500)에 의해 구해진 한 제2 정규화값(P_val)과 제2 임계치(Thr2)를 비교한다.

OR연산기(630)는 제1 비교기(610)의 결과값과 상기 제2 비교기(620)의 결과값을 OR 연산한다.

화소결정부(640)는 상기 OR연산기(630)의 결과값과 상기 색상 가중치(S_val) 및 가우시안필터의 결과값인 제1 정규화값(G_val)을 수신받아 윤곽선과 윤곽선이 아닌 부분을 판단하여 윤곽선에 해당하는 픽셀은 색상 가중치(S_val)가 적용된 화소를 출력시키고, 윤곽선에 해당하지 않는 픽셀은 노이즈가 제거된 가우시안필터의 제1 정규화값(G_val)이 적용된 화소를 출력시킨다. 즉, 화소결정부(640)는 거리 가중치(D_val)가 제2 임계치(Thr2)를 넘으면 제1 가중치(D_val)와 노이즈가 제거된 값을 연산한 색상 가중치(S_val)를 출력하고, 제2 정규화값(P_val)이 제2 임계치(Thr2)를 넘지 않으면 노이즈가 제거된 결과값(G_val)을 출력한다.

도 15는 본 발명의 일 실시예에 따른 영상 블러를 고려하여 윤곽선을 검출하는 과정을 나타낸 순서도이다.

도 15를 참조하면, 먼저, S202단계에서 카메라가 획득한 이미지를 전송받는다. 카메라에 의해 촬상되는 이미지는 연속적인 이미지 또는 동영상 이미지일 수 있다.

S204단계에서 블러가 발생한 원본 이미지의 노이즈를 제거한다.

S206단계에서 노이즈가 제거된 이미지의 주변 픽셀로부터 평균값(M_val)을 구한다.

S208단계에서 거리에 따른 거리 가중치(D_val) 및 제2 정규화값(P_val)을 구한다.

S210단계에서 색상에 따른 색상 가중치(S_val)를 구한다.

S212단계에서 거리 가중치(D_val)와 제2 임계치(Thr2)를 비교하고, 제2 정규화값(P_val)과 제2 임계치(Thr2)를 비교한다.

S212단계에서의 비교결과 거리 가중치(D_val)가 제2 임계치(Thr2)를 넘으면 색상 가중치(S_val)를 출력한다(S214단계).

S212단계에서의 제2 정규화값(P_val)이 제2 임계치를 넘지 않으면 노이즈가 제거된 제1 정규화값(G_val)을 출력한다(S216단계).

S218단계에서 픽셀과 S214단계에서의 색상가중치(S_val) 또는 제1 정규화값(G_val)과 화소를 결합하여 출력시킨다.

도 16은 본 발명의 일 실시예에 따라 블러가 발생한 영상을 처리한 결과를 나타낸 도면이다.

도 16의 (a)는 블러가 발생한 원본 영상(위)과 윤곽선을 추출한 결과 영상(아래)을 나타낸다. 윤곽선 추출 결과 많은 부분에서 윤곽선이 뚜렷하지 않거나 사라진 것을 확인할 수 있다.

도 16의 (b)는 도 16의 (a)에 나타난 영상을 가우시안필터(200)를 통해 각각 노이즈를 제거시킨 영상을 나타낸다.

도 16의 (c)는 도 16의 (b)에 나타난 영상을 평균값필터(300)를 통해 각각 기준값을 추출해 낸 영상을 나타낸다.

도 16의 (d)는 도 16의 (b)와 (c)의 결과를 이용하여 얻어낸 거리 가중치를 적용한 결과 영상을 나타낸다.

도 16의 (e)는 도 16의 (d)의 결과값에 공간색상가중치필터(500)를 통해 색상 가중치를 적용한 결과 영상을 나타낸다.

도 16의 (f)는 도 16의 (b)의 노이즈를 제거한 영상과 도 16의 (e)의 색상 가중치를 적용한 결과 영상을 결합한 영상을 나타낸다. 블러가 발생했을 때의 도 16의 (a)와 윤곽선을 보강시킨 도 16의 (f)의 영상을 비교해보면 많은 윤곽선이 보강되어 추출된 것을 확인할 수 있다.

상기 본 발명의 내용은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100 : 라인버퍼 200 : 가우시안필터
300 : 평균값필터 400 : 거리가중치필터
500 : 공간색가중치필터 600 : 광도측정필터

Claims (9)

1. 카메라로부터 전송받는 픽셀 데이터를 저장 공간에 저장하는 라인버퍼;
   상기 라인버퍼로부터 받은 영상 신호로부터 노이즈를 제거하여 정규화시킨 제1 정규화값(G_val)을 출력하는 가우시안필터;
   상기 가우시안필터로부터 노이즈가 제거된 상기 제1 정규화값(G_val)을 수신하여 인접 픽셀들 간의 값을 합하여 평균값(M_val)을 도출하는 평균값필터;
   상기 평균값필터 및 가우시안필터로부터 제1 정규화값(G_val) 및 평균값(M_val)을 수신하여 픽셀 간의 거리에 의해 흐트러진 픽셀값을 보정하여 거리 가중치(D_val) 및 제2 정규화값(P_val)을 구하는 거리가중치필터;
   상기 거리가중치필터와 광도측정필터 사이에 색상차에 의해 이분화시켜 윤곽선을 보강시키는 공간색상가중치필터; 및
   상기 공간색상가중치필터에 의해 윤곽선 정보로부터 윤곽선과 윤곽선이 아닌 부분을 판단하여 윤곽선에 해당하는 픽셀은 가중치가 적용된 색상 가중치(S_val)가 적용된 화소를 출력하고, 윤곽선에 해당하지 않는 픽셀은 노이즈가 제거된 제1 정규화값(G_val)이 적용된 화소를 출력으로 내보내도록 하는 광도측정필터;를 포함하고,
   상기 라인버퍼는,
   상기 카메라로부터 전송받는 픽셀 데이터를 다중화하는 멀티플렉서;
   상기 카메라로부터 전송받는 픽셀 데이터를 상기 멀티플렉서에 의해 다중화하여 저장하는 다수의 라인;
   상기 픽셀 테이터를 저장시킬 상기 픽셀 테이터를 저장시킬 상기 라인 중 어느 하나를 선택하고 상기 선택된 라인에 기록될 픽셀의 개수를 카운트하는 카운터; 및
   상기 가우시안필터로의 출력을 제어하는 출력제어부;를 포함하는 영상 블러를 고려한 윤곽선 검출 장치.
2. 삭제
3. 제1항에 있어서, 상기 멀티플렉서는,
   상기 픽셀 데이터를 상기 다수의 라인으로 구성된 어드레스에 각 라인별로 저장한 후에 다음 라인에 저장하고 마지막 라인에 저장이 완료되면 다시 첫번째 라인에 덮어써 저장되도록 구성하는 것인 영상 블러를 고려한 윤곽선 검출 장치.
4. 제1항에 있어서, 상기 가우시안필터는,
   수학식에 의해 제1 정규화값(G_val)을 출력시키는 것인 영상 블러를 고려한 윤곽선 검출 장치.
   

   

   
   (여기서,

   

   값은 가우시안 블러를 이루는 가우시안 분포의 넓이를 조절하며 또한

   

   값에 따라 연산할 마스크 크기가 변하고, G(x, y)는 제1 정규화값을 나타내는 함수임)
5. 제1항에 있어서, 상기 평균값필터는,
   상기 다수의 라인으로 구성된 소정개의 클럭의 지연 후에 입력된 어드레스의 데이터를 더하는 데이터썸(Data_sum)이 발생되고 다시 1클럭 뒤에 평균값을 나타내는 평균값(M_val)을 출력하는 것인 영상 블러를 고려한 윤곽선 검출 장치.
6. 제1항에 있어서, 상기 거리가중치필터는,
   상기 평균값필터의 평균값(M_val)과 상기 가우시안필터의 제1 정규화값(G_val)을 감산하여 감산값을 획득하는 제1 감산기;
   상기 제1 감산기에 의해 획득한 감산값의 절대값을 구하는 제1 절대값연산기;
   상기 제1 절대값연산기에 의해 연산된 절대값을 합산하여 거리 가중치(D_val)를 구하는 합산기; 및
   상기 제1 절대값연산기에 의해 연산된 절대값으로부터 제2 정규화값(P_val)을 구하는 정규화처리부;를 포함하여 구성되는 영상 블러를 고려한 윤곽선 검출 장치.
7. 제1항에 있어서, 상기 거리가중치필터는,
   거리 가중치인 D(x, y)값을 정규화시킨 제2 정규화값을 P(x, y)값으로 지정하여 출력 값을 얻어낼 수 있으며 이는 다음의 수학식으로 각각 나타내는 것인 영상 블러를 고려한 윤곽선 검출 장치.
   

   

   
   (여기서, M(x, y)는 평균값 필터에 의해 구해진 평균값(M_val)을 구하는 함수이며, G(i, j)는 가우시안필터에 의한 제1 정규화값(G_val)을 구하는 함수를 나타내고, abs는 절대값을 구하는 것을 나타내며, N은 영상 픽셀의 총 갯수를 나타냄)
8. 제1항에 있어서, 상기 공간색상가중치필터는, 상기 거리가중치필터에 의해 도출된 거리 가중치(D_val)와 제1 임계치(Thr1)를 감산하는 제2 감산기;
   상기 제2 감산기에 의해 구해진 값의 절대값을 구하는 제2 절대값연산기;
   상기 평균값필터에 의해 구해진 평균값(M_val)과 상기 제2 절대값연산기에 의해 구해진 결과값을 곱하는 제1 멀티플렉서; 및
   상기 제1 멀티플렉서의 결과값과 상기 평균값을 곱하여 색상 가중치(S_val)를 출력하는 제2 멀티플렉서;를 포함하는 영상 블러를 고려한 윤곽선 검출 장치.
9. 제7항에 있어서, 상기 광도측정필터는,
   상기 거리가중치필터에 의한 상기 거리 가중치(D_val)와 제2 임계치(Thr2)를 비교하는 제1 비교기;
   상기 거리가중치필터에 의한 제2 정규화값(P_val)과 제2 임계치(Thr2)를 비교하는 제2 비교기;
   상기 제1 비교기의 결과값과 상기 제2 비교기의 결과값을 OR 연산하는 OR연산기; 및
   상기 OR연산기의 결과값과 상기 색상 가중치(S_val) 및 가우시안필터에 의해 구해진 제1 정규화값(G_val)을 수신받아 윤곽선과 윤곽선이 아닌 부분을 판단하여 윤곽선에 해당하는 픽셀은 가중치가 적용된 상기 색상 가중치(S_val)가 적용된 화소를 출력하고 윤곽선에 해당하지 않는 픽셀은 노이즈가 제거된 제1 정규화값(G_val)이 적용된 화소를 출력시키는 화소결정부;를 포함하는 영상 블러를 고려한 윤곽선 검출 장치.

Images