KR101492772B1

KR101492772B1 - 영상처리장치 및 영상처리방법

Info

Publication number: KR101492772B1
Application number: KR20140082705A
Authority: KR
Inventors: 이상근; 정수웅; 백승인
Original assignee: 중앙대학교 산학협력단
Priority date: 2014-07-02
Filing date: 2014-07-02
Publication date: 2015-02-13

Abstract

실시 예에 따른 영상처리장치는, 입력영상의 다수의 화소 값을 검출하는 화소값 검출부; 상기 검출된 화소 값을 군집화하는 군집화부; 상기 군집화된 화소값을 이용하여 중간값을 산출하는 중간값 산출부; 및 상기 중간값을 이용하여 노이즈를 제거하는 노이즈 제거부를 포함한다.

Description

영상처리장치 및 영상처리방법{Image processing apparatus and image processing method}

실시 예는 영상처리장치에 관한 것이다.

실시 예는 영상처리방법에 관한 것이다.

최근의 영상 기술의 발전으로 고성능 카메라, 디지털 카메라, CCTV 및 영상 캡쳐 시스템 등 다양한 영상을 촬영, 저장가능한 영상 매체들이 개발되고 있다. 상기 영상 촬영 및 저장 매체들의 가장 중요한 문제는 촬영된 피사체에 관한 영상의 정확한 표현에 있다고 할 수 있다.

특히 영상에 부가될 수 있는 노이즈는 영상의 질을 저하시킬 뿐 아니라 압축 효율을 저하시키는 문제점이 있다. 따라서, 상기 노이즈를 빠르고 정확하게 제거하는 것은 영상의 본원에 가장 중요한 문제이다.

상기 영상의 촬영 및 저장하는 과정, 특히 영상을 획득하거나 전송하는 과정에서 노이즈가 발생할 수 있는데 상기 노이즈 중 임펄스 노이즈는 비연속적이고 불규칙적인 진폭을 가지며, 다소 큰세기로 발생하는 충격성 노이즈이다. 상기 임펄스 노이즈에 의해 상기 영상의 화질이 극히 저하되는 문제가 있다. 종래에는 중간값 필터를 사용하여 상기 임펄스 노이즈를 제거하는 방법이 있었다.

도 1은 종래의 중간값 필터를 통해 임펄스 노이즈 제거를 수행한 결과를 나타낸 도면이다.

도 1a와 같은 원본영상이 70%의 밀도의 임펄스 노이즈로 오염되면 도 1b와 같은 영상이 된다. 상기 중간값 필터를 이용하여 임펄스 노이즈를 제거하는 경우 도 1c와 같은 영상으로 복원된다. 상기 중간값 필터를 이용하여 임펄스 노이즈를 제거하는 경우에 상기 임펄스 노이즈의 밀도가 높으면, 효과적인 노이즈 제거가 되지 않고, 노이즈 검출단계를 필요로 하기 때문에 속도가 느린 문제점이 있다.

실시 예는 고밀도 임펄스 노이즈로 오염된 영상을 복구할 수 있는 영상처리장치를 제공한다.

실시 예는 노이즈로 오염된 영상의 복구속도를 향상시킬 수 있는 영상처리방법을 제공한다.

실시 예에 따른 영상처리방법은, 입력영상의 다수의 화소값을 검출하는 단계; 군집화부에서 상기 검출된 화소값을 군집화하는 단계; 상기 군집화된 화소값을 이용하여 중간값을 산출하는 단계; 및 상기 중간값을 이용하여 노이즈를 제거하는 단계를 포함한다.

상기 군집화부는 다수의 화소값 중 동일한 값을 묶어 군집화할 수 있다.

상기 화소값 검출부는 마스크를 이용하여 상기 마스크에 포함되는 화소의 화소값을 상기 군집화부로 전달할 수 있다.

상기 마스크는 기준화소를 포함하는 정사각형형상으로 형성될 수 있다.

상기 노이즈 제거부는 상기 중간값을 상기 기준화소에 입력하여 노이즈를 제거할 수 있다.

상기 군집화부는 상기 화소값의 누적분포함수를 이용하여 상기 화소값을 군집화할 수 있다.

상기 군집화부는 상기 누적분포함수의 기울기를 이용하여 상기 화소값을 군집화할 수 있다.

실시 예에 따른 영상처리장치는 마스크를 통해 검출되는 화소값을 군집화하여 군집화된 화소값 중 중간값을 사용하여 임펄스 노이즈를 제거함으로써 임펄스 노이즈가 중간값으로 산출되는 것을 방지할 수 있어 고밀도 노이즈에 의해 오염된 영상을 복구할 수 있다.

실시 예에 따른 영상처리방법은 노이즈 검출단계를 생략하고, 임펄스 노이즈를 제거할 수 있어 노이즈로 오염된 영상의 복구속도를 향상시킬 수 있다.

도 1은 종래의 중간값 필터를 통해 임펄스 노이즈 제거를 수행한 결과를 나타낸 도면이다.
도 2는 제1 실시 예에 따른 영상처리장치를 나타내는 블록도이다.
도 3은 제1 실시 예에 따른 마스크를 이용한 화소값을 검출과정을 나타낸 도면이다.
도 4는 제1 실시 예에 따라 복원된 영상을 나타낸 도면이다.
도 5는 제1 실시 예에 따른 영상처리장치를 통해 처리된 입력영상의 화질 개선 정도를 나타내는 그래프이다.
도 6은 제2 실시 예에 따른 영상처리장치를 나타내는 블록도이다.
도 7은 제2 실시 예에 따라 산출된 누적분포함수를 나타내는 도면이다.
도 8은 실시 예에 따른 영상처리방법을 나타내는 순서도이다.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.

또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.

도 2는 제1 실시 예에 따른 영상처리장치를 나타내는 블록도이다.

도 2를 참조하면, 제1 실시 예에 따른 영상처리장치(1)는 화소값 검출부(10)군집화부(20), 중간값 산출부(30) 및 노이즈 제어부(40)를 포함할 수 있다.

상기 영상처리장치(1)는 도 1b와 같이 임펄스 노이즈에 오염된 입력영상을 입력받고, 상기 임펄스 노이즈를 제거하여 출력영상을 출력한다. 상기 영상처리장치(1)는 마스크를 이용하여 입력영상의 임펄스 노이즈를 제거한다.

상기 화소값 검출부(10)는 상기 입력영상을 입력받아 상기 입력영상의 화소값을 검출한다. 상기 화소값 검출부(10)는 상기 입력영상의 각각의 화소의 화소값을 검출한다.

상기 화소값 검출부(10)는 상기 입력영상의 전체 화소의 화소값을 검출하여 도 3과 같은 마스크 (11)를 이용하여 상기 마스크(11)에 포함되는 화소의 화소값을 상기 군집화부(20)로 전달한다. 상기 화소값 검출부(10)는 상기 마스크(11)를 이동시켜가며 상기 마스크(11)에 포함되는 화소의 화소값을 순차적으로 상기 군집화부(20)로 전달한다. 상기 마스크(11)는 좌에서 우 방향으로 상방에서 하방으로 이동되며, 한 화소씩 이동될 수 있다.

상기 마스크(11)는 다수의 화소를 포함할 수 있다. 상기 마스크(11)는 정사각형상으로 형성될 수 있다. 상기 마스크(11)는 기준화소(13)를 포함하는 정사각형의 화소를 포함할 수 있다. 상기 마스크(11)는 상기 기준화소(13)를 중앙으로 가지는 영역을 의미하며, 3X3, 5X5, 7X7등의 영역을 가질 수 있다.

예를 들어, 상기 마스크(11)가 5X5의 영역을 가지는 경우 상기 화소값 검출부(10)는 수학식 1과 같은 매트릭스 형태의 화소값을 전달할 수 있다.

상기 수학식 1에서 영상에 대한 화소값은 95, 100, 110, 120 및 130이고, 임펄스 노이즈 값은 0과 255이다. 0과 255의 값이 비연속적이고 불규칙적인 진폭을 가지는 임펄스 노이즈 값일 수 있다.

상기 군집화부(20)는 상기 화소값 검출부(10)로부터 전달받은 다수의 화소값을 군집화(clustering)한다. 상기 군집화부(20)는 상기 다수의 화소값 중 동일한 값을 묶어 군집화할 수 있다.

상기 군집화부(20)는 상기 다수의 화소값을 크기에 따라 정렬하고, 동일한 값을 묶어 군집화할 수 있다. 예를 들어, 상기 수학식 1의 다수의 화소값을 전달받은 경우, 상기 군집화부(20)는 {0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 95, 100, 100, 100, 100, 110, 110, 120, 130, 255, 255, 255}으로 화소값을 크기에 따라 정렬한 후, 같은 값을 가지는 0, 100, 255를 묶어 {0, 95, 100, 110, 120, 130, 255}와 같이 군집화할 수 있다.

상기 군집화부(20)는 상기 군집화한 화소값을 상기 중간값 산출부(30)로 전달할 수 있다. 상기 중간값 산출부(30)는 상기 군집화한 화소값 중 중간값을 산출한다. 예를 들어, 상기 군집화부(20)로부터 {0, 95, 100, 110, 120, 130, 255}와 같은 군집화한 화소값을 전달받은 경우 상기 중간값 산출부(30)는 상기 군집화한 화소값의 중간값인 110을 중간값으로 산출한다.

상기 중간값 산출부(30)는 산출된 중간값을 상기 노이즈 제거부(40)로 전달한다. 상기 노이즈 제거부(40)는 상기 중간값을 상기 기준화소(13)에 입력하여 임펄스 노이즈를 제거한다.

상기 군집화부(20), 중간값 산출부(30) 및 노이즈 제어부(40)는 상기 화소값 검출부(10)에서 마스크(11)를 이동시켜가며 전달한 화소값을 통해 순차적으로 군집화, 중간값 산출 및 상기 기준화소(13)에 입력과정을 거쳐 입력영상의 모든 화소에 대해 노이즈 제거를 수행한다.

상기 군집화부(20)가 상기 화소값 검출부(10)로부터 전달받은 다수의 화소값을 군집화하여 상기 중간값 산출부(30)로 전달하고, 상기 중간값 산출부(30)가 상기 군집화된 화소값 중의 중간값을 선택함으로써 상기 기준화소(13)에 노이즈 값이 입력되는 것을 방지할 수 있다.

즉, 상기 군집화부(20)에 의한 화소값의 군집과정없이 상기 화소값 검출부(10)로부터 전달받은 다수의 화소값 중에 중간값을 검출하여, 상기 기준화소(13)에 입력하는 경우 상기 기준화소(13)에 노이즈가 입력되어 노이즈 제거의 목적을 달성할 수 없을 수 있다.

예를 들어, 군집화 전의 {0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 95, 100, 100, 100, 100, 110, 110, 120, 130, 255, 255, 255}와 같은 다수의 화소값 중에서의 중간값은 0이며, 상기 노이즈 제거부(40)가 상기 기준화소(13)에 0을 입력하는 경우, 노이즈가 입력되는 결과가되어 노이즈가 제거되지 않는다.

따라서, 상기 제1 실시 예에 따른 영상처리장치(1)는 다수의 화소값을 군집화하여 군집화한 화소값의 중간값을 산출하여 이를 기준화소(13)에 입력하여 노이즈를 제거함으로써 도 4와 같은 노이즈가 대부분 제거된 높은 화상 품질을 가지는 출력영상을 출력할 수 있다.

또한, 상기 제1 실시 예에 따른 영상처리장치(1)는 별도의 임펄스 노이즈를 검출하는 과정을 수행하지 않고 노이즈를 제거할 수 있어 처리속도를 향상시킬 수 있는 효과가 있다.

도 5는 제1 실시 예에 따른 영상처리장치를 통해 처리된 입력영상의 화질 개선 정도를 나타내는 그래프이다.

도 5의 가로축은 임펄스 노이즈의 노이즈 밀도를 의미하고, 세로축은 최대신호 대 노이즈 비(Peak Signal to Noise Ratio, PSNR)를 의미한다. 또한, 도 5의 A는 제1 실시 예에 따른 영상처리장치를 통해 처리된 영상의 노이즈 밀도에 대한 최대신호 대 노이즈 비를 나타내고, 도 5의 B는 종래의 중간값 필터를 이용하여 처리된 영상의 노이즈 밀도에 대한 최대신호 대 노이즈 비를 나타낸다.

상기 최대신호 대 노이즈 비(PSNR)값은 하기 수학식 2에 의해 산출될 수 있다.

상기 수학식 2에의해 최대신호 대 노이즈 비(PSNR)값은 데시벨(dB) 단위를 가진다.

상기 수학식 2에서 MSE는 평균제곱오차(Mean Square Error)를 의미하며, 하기의 수학식 3에 의해 산출될 수 있다.

상기 수학식 3에서 M은 영상의 가로축 방향의 화소 개수를 의미하고, N은 영상의 세로축 방향의 화소개수를 의미한다. 또한, R(x,y)는 노이즈가 제거된 복원된 영상을 의미하고, I(x,y)는 노이즈에 오염되지 않은 원본영상을 의미한다.

상기 수학식 2 및 수학식3에 의해 상기 최대신호 대 노이즈 비(PSNR)값이 큰 값을 가지는 경우 효율적인 노이즈 제거가 수행되어 복원영상이 노이즈에 오염되기 전의 기존영상과 유사하도록 복원된 것을 의미하고, 상기 최대신호 대 노이즈 비(PSNR)값이 작은 값을 가지는 경우 복원된 영상이 노이즈를 많이 포함하여 상기 복원영상이 기존영상과 다른 것을 의미한다.

다시 도 5를 참조하면, 임펄스 노이즈의 밀도가 50%미만에서는 종래의 중간값 필터에 의해 복원된 영상의 화질이 제1 실시 예에 의한 영상처리장치(1)에 의해 복원된 영상의 화질보다 좋은 화질을 가짐을 확인할 수 있다. 다만, 상기 임펄스 노이즈의 밀도가 50% 미만에서 그래프의 차이는 작아, 복원된 영상의 화질의 차이가 크지 않다.

이에 반해, 임펄스 노이즈의 밀도가 50%초과인 경우에 A그래프와 B그래프는 상대적으로 큰 차이를 보이는 것을 확인할 수 있다. 상기 A그래프와 B그래프의 차이에 의해 상기 종래의 중간값 필터에 의해 복원된 영상의 화질이 상기 제1 실시 예에 의한 영상처리장치(1)에 의해 복원된 영상의 화질과 상대적으로 큰 차이가 나는 것을 확인할 수 있고, A가 B에 비해 큰 값을 가지므로, 상기 제1 실시 예에 의한 영상처리장치(1)에 의해 복원된 영상의 화질이 기존영상과 유사성이 크다고 할 수 있다. 즉, 상기 제1 실시 예에 의한 영상처리장치(1)에 의해 복원된 영상의 화질이 종래의 중간값 필터에 의해 복원된 영상의 화질보다 상대적으로 좋은 화질을 가짐을 확인할 수 있다.

또한, 상기 제1 실시 예에 따른 영상처리장치(1)는 노이즈 밀도에 관계없이 일정한 최대신호 대 노이즈 비(PSNR)값을 가지므로, 노이즈에 오염된 영상의 복원에 있어서 상대적으로 좋은 화질을 가지는 복원영상을 출력할 수 있는 효과가 있다.

도 6은 제2 실시 예에 따른 영상처리장치를 나타내는 블록도이다.

제2 실시 예는 제1 실시 예와 비교하여 군집화부가 누적분포함수 산출부를 포함하는 것 이외에는 동일하다. 따라서, 제2 실시 예를 설명함에 있어서 제1 실시 예와 공통되는 구성에 대해서는 동일한 도면번호를 부여하고 상세한 설명을 생략한다.

도 6을 참조하면, 제2 실시 예에 따른 영상처리장치(1)는 화소값 검출부(10)군집화부(20), 중간값 산출부(30) 및 노이즈 제어부(40)를 포함할 수 있다.

상기 화소값 검출부(10)는 상기 입력영상을 입력받아 상기 입력영상의 다수의 화소값을 검출하여 상기 군집화부(20)로 전달한다.

상기 군집화부(20)는 상기 화소값 검출부(10)로부터 전달받은 다수의 화소값을 군집화(clustering)한다. 상기 군집화부(20)는 상기 다수의 화소값의 누적분포함수(cumulative distribution function, CDF)를 이용하여 상기 다수의 화소값을 군집화 할 수 있다.

상기 군집화부(20)는 상기 다수의 화소값을 이용하여 누적분포함수를 산출하는 누적분포함수 산출부(21)를 포함할 수 있다.

상기 누적분포함수 산출부(21)는 상기 다수의 화소값마다 화소값에 대한 도수분포를 누적하여 도 7과 같은 누적분포함수를 산출할 수 있다.

상기 군집화부(20)는 상기 누적분포함수의 기울기를 이용하여 상기 화소값을 군집화 할 수 있다. 상기 군집화부(20)는 상기 누적분포함수에서 기울기가 0이 아닌 값들로 군집화할 수 있다. 상기 누적분포함수에서 기울기가 0인 경우는 해당 화소값에 해당하는 화소가 존재하지 않는 것이므로, 상기 기울기가 0이 아닌 값들로 군집화를 수행하는 경우 도수를 가지는 모든 화소값을 추출할 수 있다.

상기 군집화부(20)는 상기와 같이 간이한 누적분포함수의 기울기를 통해 군집화를 수행하여 영상처리장치의 처리 속도를 향상시킬 수 있다.

도 8은 실시 예에 따른 영상처리방법을 나타내는 순서도이다.

도 8을 참조하면, 실시 예에 따른 영상처리방법은 도 1b와 같이 임펄스 노이즈에 오염된 입력영상을 입력받는다.

상기 화소값 검출부(10)는 상기 입력영상의 다수의 화소의 화소값을 검출한다. (S110)

상기 화소값 검출부(10)는 상기 입력영상의 다수의 화소의 화소값을 검출하여 도 3과 같은 마스크(11)를 이용하여 상기 마스크(11)에 포함되는 화소의 화소값을 상기 군집화부(20)로 전달한다.

상기 군집화부(20)는 상기 화소값 검출부(10)로부터 전달받은 다수의 화소값을 군집화한다.(S120)

상기 군집화부(20)는 상기 다수의 화소값 중 동일한 값을 묶어 군집화 할 수 있다.

상기 군집화부(20)는 상기 다수의 화소값의 누적분포함수를 이용하여 상기 다수의 화소값을 군집화할 수 있다. 상기 군집화부(20)는 상기 다수의 화소값마다 화소값에 대한 도수분포를 누적하여 누적분포함수를 산출하고, 상기 누적분포함수의 기울기를 이용하여 상기 화소값을 군집화할 수 있다.

실시 예에서는 상기 다수의 화소값의 군집화 방법을 누적분포함수를 예로 들어 설명하였으나, 이에 한정하지 않는다.

상기 군집화부(20)는 군집화한 화소값을 상기 중간값 산출부(30)로 전달할 수 있다.

상기 중간값 산출부(30)는 상기 군집화한 화소값중 중간값을 산출한다. (S130)

상기 중간값 산출부(30)는 산출한 중간값을 상기 노이즈 제거부(40)로 전달한다.

상기 노이즈 제거부(40)는 상기 중간값을 상기 기준화소(13)에 입력하여 임펄스 노이즈를 제거한다. (S140)

상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.

1: 영상처리장치
10: 화소값 검출부
20: 군집화부
30: 중간값 산출부
40: 노이즈 제어부

Claims

입력영상의 다수의 화소 값을 검출하는 화소값 검출부;
상기 검출된 화소 값을 군집화하는 군집화부;
상기 군집화된 화소값을 이용하여 중간값을 산출하는 중간값 산출부; 및
상기 중간값을 이용하여 노이즈를 제거하는 노이즈 제거부를 포함하고,
상기 화소값 검출부는 기준화소를 포함하는 정사각형 형상의 마스크를 이용하여 상기 마스크에 포함되는 화소의 화소값을 상기 군집화부로 전달하고,
상기 군집화부는 상기 마스크에 포함되는 화소의 화소값 중 동일한 값을 묶어 군집화하는 영상처리장치.
삭제
삭제
삭제
제1항에 있어서,
상기 노이즈 제거부는 상기 중간값을 상기 기준화소에 입력하여 노이즈를 제거하는 영상처리장치.
제1항에 있어서,
상기 군집화부는 상기 화소값의 누적분포함수를 이용하여 상기 화소값을 군집화하는 영상처리장치.
제6항에 있어서,
상기 군집화부는 상기 누적분포함수의 기울기를 이용하여 상기 화소값을 군집화하는 영상처리장치.
입력영상의 다수의 화소값을 검출하는 단계;
군집화부에서 상기 검출된 화소값을 군집화하는 단계;
상기 군집화된 화소값을 이용하여 중간값을 산출하는 단계; 및
상기 중간값을 이용하여 노이즈를 제거하는 단계를 포함하고,
상기 화소값을 검출하는 단계는 기준화소를 포함하는 정사각형 형상의 마스크를 이용하여 상기 마스크에 포함되는 화소의 화소값을 상기 군집화부로 전달하고,
상기 군집화하는 단계는 상기 마스크에 포함되는 다수의 화소의 화소값 중 동일한 값을 묶어 군집화를 수행하는 영상처리방법.
삭제
삭제
삭제
제8항에 있어서,
상기 노이즈를 제거하는 단계는 상기 중간값을 상기 기준화소에 입력하여 노이즈를 제거하는 영상처리방법.
제8항에 있어서,
상기 군집화하는 단계는 상기 화소값의 누적분포함수를 이용하여 상기 화소값을 군집화하는 영상처리방법.
제13항에 있어서,
상기 군집화하는 단계는 상기 누적분포함수의 기울기를 이용하여 상기 화소값을 군집화하는 영상처리방법.