KR101748074B1

KR101748074B1 - 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법

Info

Publication number: KR101748074B1
Application number: KR1020160034416A
Authority: KR
Inventors: 김완진; 배호석; 신지환; 김우식
Original assignee: 국방과학연구소
Priority date: 2016-03-23
Filing date: 2016-03-23
Publication date: 2017-06-27

Abstract

본 발명의 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법은 이산 웨이블렛 변환(discrete wavelet transform) 후 베이지안 추정(bayesian estimation)된 다음, 상기 소나 영상의 상기 수중물체의 윤곽선을 결정한 후 웨이블릿 계수에 대한 보상을 수행하는 적응적 윤곽선 향상(advanced edge enhancement)기법이 수행되는 전처리 단계가 포함됨으로써 수중물체의 특징을 나타내는 주요 정보인 윤곽선(Edge)와 관계된 계수가 국부적으로 제거되는 현상을 해소하여 수중 물체의 인식 성능이 향상되는 특징을 구현한다.

Description

소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법{Selective Contour Preservation Method for Performance Improvement of Noise Reduce Technique in Sonar Images}

본 발명은 소나영상용 잡음제거기법에 관한 것으로, 특히 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법에 관한 것이다.

일반적으로 수중에서 빛의 광학 특성과 현탁 입자(suspended particle)의 존재로 인하여 소나 영상은 많은 잡음이 포함되어 있고 조명 불균일, 색상 소거, 명암 대비(contrast)가 낮은 문제점을 가지고 있다. 이로 인하여 소나 영상은 공간 영역(spatial domain)보다 잡음 특성을 효과적으로 분석할 수 있는 변환 영역(transformed domain)에서 필터링(filtering) 기법으로 소나 영상 내에 잡음을 줄여준다.

일례로, 소나 영상 내 잡음 제거 기법은 퓨리에(Fourier) 변환 기반의 가우시안(Gaussian)필터에서 시간-주파수 분해(time-frequency decomposition) 능력이 탁월한 웨이블릿 영역(wavelet domain) 기반으로 발전되고 있다. 특히, 이산 웨이블렛 변환(discrete wavelet transform, DWT)은 필터 뱅크(filter bank) 개념으로 실행되는데, 이 필터 뱅크는 원 영상을 4개의 부대역(수평, 수직, 대각, 그리고 기본대역)부대역으로 분해하며, 각 부대역은 원 영상의 1/4 크기로 된다. 그리고 기본대역은 4개의 부대역으로 재분해할 수 있다.

더 나아가, 최근에는 maximum likelihood, quasi likelihood과 local polynomial approximation(LPA)이 결합된 방법과 maximum a posteriori(MAP) 또는 선형 최소 평균 제곱 오차(linear minimum mean square error) 필터링 기법과 같은 비선형 필터를 이용한 기법을 적용한 방법들이 고안되었으며, 은닉 마르코프 모델(hidden Markov model, HMM)을 이용해 웨이블릿 계수의 천이 특성을 고려하여 잡음과 관계된 웨이블릿 계수를 효과적으로 제거함으로써 방법도 적용되고 있다.

도 5는 HMM을 이용한 종래의 잡음제거 방법을 나타낸 것으로, DWT를 통해 이미지를 부대역으로 분해하고 기댓값 최대화(expectation maximization, EM) 알고리즘을 이용하여 각 부대역의 웨이블릿 계수가 잡음일 확률, 잡음의 분산, 그리고 잡음의 평균을 구하고, 이 결과를 베이지안 추정(bayesian estimation)에 사용하여 잡음에 해당하는 웨이블릿 계수와 잡음이 아닌 웨이블릿 계수를 판별한다. 잡음으로 판단된 웨이블릿 계수들의 값은 0이 되므로 IDWT된 영상은 잡음이 제거된 이미지가 된다.

국내특개 10-2015-0059191(2015년06월01일)

하지만, 웨이블릿 영역(wavelet domain)을 기반으로 하는 필터 뱅크(filter bank), 비선형 필터, 특히 HMM은 잡음을 제거하는데 우수한 성능을 보이나, 잡음성분으로 판단된 웨이블릿 계수는 무조건 배제하므로 윤곽선(edge) 정보와 같이 물체 인식 및 탐지과정에서 중요한 정보가 국부적으로 손실되는 문제가 발생하게 된다.

이에 상기와 같은 점을 감안한 본 발명은 웨이블릿 기반 잡음제거 기법 중 HMM을 이용한 잡음 제거 기법에서 웨이블릿 계수에서 수중 물체의 윤곽선 계수를 적응적으로 향상시킴으로써 수중 물체의 특징을 나타내는 주요 정보인 윤곽선(Edge)와 관계된 계수가 국부적으로 제거되는 현상을 해소하여 수중 물체의 인식 성능이 향상된 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법의 제공에 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 소나 영상을 이용하여 수중물체를 인식하기 위하여 HMM(hidden Markov model)을 이용한 웨이블릿 기반 잡음제거 방법은, 이산 웨이블렛 변환(discrete wavelet transform) 후 베이지안 추정(bayesian estimation)된 다음, 상기 소나 영상의 상기 수중물체의 윤곽선을 결정한 후 웨이블릿 계수에 대한 보상을 수행하는 적응적 윤곽선 향상(advanced edge enhancement)기법이 수행되고, 이어 역이산 웨이블렛 변환(inverse discrete wavelet transform)을 수행하는 전처리 단계; 가 포함된 것을 특징으로 한다.

바람직한 실시예로서, 상기 적응적 윤곽선 향상기법은 원대역과 부대역간의 웨이블릿 계수간의 크기 비를 이용하여 윤곽선을 결정하는 윤곽선 결정(edge determination)단계, 상기 윤곽선 결정단계후 블러링된 윤곽선을 포함한 웨이블릿 계수에 대한 보상을 수행하는 선택적 샤프닝(selective sharpening)단계로 구분된다.

바람직한 실시예로서, 상기 윤곽선 결정 단계는 상기 소나 영상에서 원대역과 부대역간에 웨이블릿 계수의 크기가 연속성을 갖는 성질을 이용하여 웨이블릿 계수의 크기 비를 구하고, 잡음으로 분류된 웨이블릿 계수에 대하여 상기 웨이블릿 계수의 크기 비가 0인 경우 윤곽선을 포함하지 않는 것으로 판단하고, 0보다 큰 경우 윤곽선을 포함하는 것으로 판단한다. 상기 선택적 샤프닝 단계는 상기 윤곽선을 포함한다고 판단된 웨이블릿 계수에 대해서만 고역통과필터를 적용하여 블러링을 보상한다.

바람직한 실시예로서, 상기 전처리 단계 후, 상기 소나영상으로부터 물체 검출(object detection)이 이루어지는 단계, 검출된 물체에서 물체분류(object classification)가 이루어지는 단계, 분류된 물체에서 물체인식(object recognition)이 판별되는 단계가 순차적으로 수행된다.

이러한 본 발명은 HMM을 이용한 웨이블릿 영역 기반 잡음제거 기법에서 기존의 HMM이 웨이블릿 영역의 윤곽선관련 계수를 국부적으로 제거하던 현상을 해결함으로써 PSNR(Peak Signal-to-Noise Ratio) 측면에서 2.4dB 정도의 성능 향상이 이루어진다.

또한, 본 발명의 윤곽선 추출 기법과 선택적 샤프닝 기법은 웨이블릿 영역에서 윤곽선 계수를 가능한 보존함으로써 소나 영상을 이용한 물체인식의 성능향상에 기여할 수 있다.

도 1은 본 발명에 따른 윤곽선 계수의 국부적 손실을 방지하도록 윤곽선 추출 기법과 선택적 샤프닝 기법이 적용된 선택적 윤곽선 보존 방법의 모식도이고, 도 2는 본 발명에 따른 선택적 윤곽선 보존 방법이 적용되는 영상 소나로부터 획득된 고선의 영상(원영상)이며, 도 3은 본 발명에 따른 웨이블릿 변환을 통해 영상이 부대역으로 분해되는 것을 나타낸 모식도이고, 도 4는 본 발명에 따른 선택적 윤곽선 보존 방법을 원영상에 적용하여 얻은 결과 영상이며, 도 5는 종래에 따른 웨이블릿 영역에서 HMM을 이용한 잡음 제거 방법을 나타낸 모식도이다.

이하 본 발명의 실시예를 첨부된 예시도면을 참조로 상세히 설명하며, 이러한 실시예는 일례로서 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 상이한 형태로 구현될 수 있으므로, 여기에서 설명하는 실시예에 한정되지 않는다.

도 1은 본 실시예에 따른 윤곽선 계수의 국부적 손실을 방지하도록 윤곽선 추출 기법과 선택적 샤프닝 기법이 적용된 선택적 윤곽선 보존 방법의 모식도를 나타낸다.

도시된 바와 같이, 선택적 윤곽선 보존 방법은 처리전 소나영상(1)과 처리후 소나영상(10)으로 전환하는 S1내지 S5의 처리를 거침으로써 처리전 물체인식상태(1-1)가 처리후 물체인식상태(10-1)와 같이 웨이블릿 영역에서 윤곽선 계수를 가능한 보존함으로써, 소나 영상을 이용한 물체인식의 성능을 향상한다.

이하, 선택적 윤곽선 보존 방법을 도 2 및 도 4를 참조로 상세히 설명한다. 이를 위한 윤곽선 추출 기법과 선택적 샤프닝 기법의 수행주체는 소나영상용 잡음제거 시스템이고, 상기 시스템은 웨이블릿(wavelet transform) 기반 잡음제거 기법 중 은닉 마르코프 모델(hidden Markov model)(이하, HMM)을 이용한 잡음 제거를 수행하는 시스템이다.

S1은 소나영상용 잡음제거 시스템의 HHM처리기에 소나영상이 잡음과 함께 입력되는 단계이다. 이 경우, 소나영상은 수중에서 빛의 광학 특성과 현탁 입자(suspended particle)의 존재로 인하여 소나 많은 잡음이 포함되어 있고 조명 불균일, 색상 소거, 명암 대비(contrast)가 낮을 수밖에 없다. 그 결과 도 2를 참조하면, 입력된 처리전 소나영상(1)(즉, 원영상)에서는 표적 물체가 불명확하게 표현된 처리전 물체인식상태(1-1)를 포함할 수밖에 없다.

S2는 전처리 단계이고, S21의 이산 웨이블렛 변환(discrete wavelet transform), S22의 베이지안 추정(bayesian estimation), S23의 기댓값 최대화(expectation maximization) 알고리즘, S24의 적응적 윤곽선 향상(advanced edge enhancement), S25의 역이산 웨이블렛 변환(inverse discrete wavelet transform)으로 구현된다,

S21은 필터 뱅크(filter bank) 개념으로 실행되는 이산 웨이블렛 변환이 이루어진다. 도 3을 참조하면, 상기 필터 뱅크는 처리전 소나영상(1)을 4개의 부대역(수평, 수직, 대각, 그리고 기본대역)부대역으로 분해하며, 각 부대역은 처리전 소나영상(1)의 1/4 크기로 되고, 기본대역은 4개의 부대역으로 재분해 한다. 그결과, 상기 이산 웨이블렛 변환은 처리전 소나영상(1)을 대역으로 분해한다.

S22는 상기 이산 웨이블렛 변환 후 베이지안 추정(bayesian estimation)에 사용하여 잡음에 해당하는 웨이블릿 계수와 잡음이 아닌 웨이블릿 계수를 판별하는 단계이다. 반면, S23은 상기 이산 웨이블렛 변환 후 기댓값 최대화(expectation maximization) 알고리즘을 적용함으로써 처리전 소나영상(1)을 각 부대역의 웨이블릿 계수가 잡음일 확률, 잡음의 분산, 그리고 잡음의 평균을 구하고, 그 결과를 S22의 베이지안 추정(bayesian estimation) 단계로 제공하는 단계이다. 그러므로, S22 또는 S23과 S22를 수행한 처리전 소나영상(1)은 잡음에 해당하는 웨이블릿 계수와 잡음이 아닌 웨이블릿 계수가 판별된다.

S24는 잡음에 해당하는 웨이블릿 계수와 잡음이 아닌 웨이블릿 계수가 판별된 처리전 소나영상(1)에 대해 적응적 윤곽선 향상기법을 적용하는 단계이다. 상기 적응적 윤곽선 향상기법은 S241의 윤곽선 결정(edge determination)단계와 S242의 선택적 샤프닝(selective sharpening) 단계로 세분된다.

구체적으로, S241의 윤곽선 결정 단계는 HMM을 이용한 잡음제거 기법에서 계산된 확률 값을 이용해 문턱 값보다 작은 값을 잡음으로 판단해 제거하는 경우 발생하는 윤곽선이 손실을 방지하기 위한 것이다. 도 3을 참조하면, 상기 윤곽선 결정 단계는 HH3 대역에 있는 계수 '1'이 하위 대역 HH2에 4개, HH1에 16개의 후손 계수를 가지며, 일반적으로 부모 계수에서 후손 계수로 갈수록 계수의 값이 작아지고, 부모 계수의 값이 크면 후손 계수의 값도 클 확률이 높고, 부모 계수의 값이 작으면 후손 계수들의 값도 작을 확률이 높다는 웨이블릿 영역에서 고주파 부대역간의 통계적 상관성을 이용한다.

일례로, 웨이블릿 계수간의 의존관계는 부대역 대 상위대역 간의 계수의 크기 비로 하기의 수학식 1로 표현된다.

- 수학식 1

여기서,

는 웨이블릿 계수의 크기비(부대역 대 상위대역 간의 계수의 크기 비)이며,

는 HMM을 이용한 잡음제거 방법을 통해 구해진 웨이블릿 계수이고,

는 웨이블릿 계수의 스케일,

는 공간 좌표를 나타낸다.

그러므로, 윤곽선과 같이 정보량이 큰 경우 픽셀의 경우 웨이블릿 도메인에서 큰 값을 갖는 반면 반대의 경우 0에 가까운 작은 값을 갖는다. 그리고, 윤곽선을 나타내는 계수의 크기는 원대역 (

)뿐만 아니라 부대역(

)에서도 유지되므로 부대역 대 상위대역 간의 계수의 크기 비인

구함으로써 윤곽선이 아닌 경우는 0으로 윤곽선을 포함하는 경우는 0보다 큰 값을 갖는다. 그 결과, 부대역에서

값을 보고 윤곽선에 해당하는지 여부를 판단할 수 있다. 즉, S241의 윤곽선 결정 단계가 적용되지 않는 기존방법(도 5 참조)에서는 확률적으로 잡음으로 판단되는 반면 S241의 윤곽선 결정 단계가 적용됨으로써 웨이블릿 계수에 대해

값이 0인 아닌지를 관찰하면 윤곽선 정보를 포함한 웨이블릿 계수를 보존할 수 있다.

구체적으로, S242의 선택적 샤프닝 단계는 기존 잡음 제거 기법에 의해 블러링(blurring)된 웨이블릿 영역 윤곽선 계수에 대한 보상을 수행한다.

이 경우, 상기 선택적 샤프닝 단계는 하기와 같은 로직이 적용된다.

여기서

는 선택적 샤프닝 후의 웨이블릿 계수 값을 의미하며,

는 영상처리에서 통상적으로 사용되는 고역 통과 필터를 의미한다.

그러므로, 상기 선택적 샤프닝 단계는 전체 계수에 대해 일관적으로 샤프닝을 수행하는 것이 아니라 윤곽선으로 결정된 계수의 영역에만 선택적으로 샤프닝 마스크(Sharpening Mask)가 수행된다. 그 결과, 윤곽선은 강화되고 나머지 영역은 블러링된 상태가 유지되어 일관적 샤프닝에 비해 인공물(artifact)을 줄일 수 있다.

S25은 역이산 웨이블렛 변환으로 잡음이 제거된 이미지를 획득한다.

다시 도 1을 참조하면, S3은 윤곽선 결정과 선택적 샤프닝이 적용된 S2의 전처리에서 획득한 처리후 소나영상(10)으로부터 물체 검출(object detection)이 이루어지는 단계이고, S4는 검출된 물체에서 물체분류(object classification)가 이루어지는 단계이며, S5는 분류된 물체에서 물체인식(object recognition)이 판별되는 단계이다.

도 4를 참조하면, 상기 역이산 웨이블렛 변환 결과로 처리전 소나영상(1)은 처리후 소나영상(10)으로 전환됨으로써 처리전 물체인식상태(1-1)는 처리후 물체인식상태(10-1)로 전환된다. 그러므로, 상기 처리후 물체인식상태(10-1)는 PSNR(Peak Signal-to-Noise Ratio) 측면에서 2.4dB 정도의 성능 향상을 가짐으로써 윤곽선 결정과 선택적 샤프닝은 웨이블릿 영역에서 윤곽선 계수를 가능한 보존하고, 그 결과 처리전 소나영상(1)의 처리전 물체인식상태(1-1)가 처리후 소나영상(10)의 처리후 물체인식상태(10-1)로 변환됨으로써 소나 영상을 이용한 물체인식의 성능을 향상한다.

전술된 바와 같이, 본 실시예에 따른 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법은 이산 웨이블렛 변환(discrete wavelet transform) 후 베이지안 추정(bayesian estimation)된 다음, 상기 소나 영상의 상기 수중물체의 윤곽선을 결정한 후 웨이블릿 계수에 대한 보상을 수행하는 적응적 윤곽선 향상(advanced edge enhancement)기법이 수행되는 전처리 단계가 포함됨으로써 수중물체의 특징을 나타내는 주요 정보인 윤곽선(Edge)와 관계된 계수가 국부적으로 제거되는 현상을 해소하여 수중 물체의 인식 성능이 향상된다.

1 : 처리전 소나영상 1-1 : 처리전 물체인식상태
10 : 처리후 소나영상 10-1 : 처리후 물체인식상태

Claims

소나 영상을 이용하여 수중물체를 인식하기 위하여 HMM(hidden Markov model)을 이용한 웨이블릿 기반 잡음제거가 적용된 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법에 있어서,
잡음과 함께 입력된 상기 소나영상에 대한 이산 웨이블렛 변환(discrete wavelet transform) 후 베이지안 추정(bayesian estimation)된 다음, 상기 소나 영상의 상기 수중물체의 윤곽선을 결정한 후 웨이블릿 계수에 대한 보상을 수행하는 적응적 윤곽선 향상(advanced edge enhancement)기법이 수행되는 전처리 단계;가 포함되고,
상기 적응적 윤곽선 향상기법은 원대역과 부대역간의 웨이블릿 계수간의 크기 비를 이용하여 윤곽선을 결정하는 윤곽선 결정(edge determination)단계, 상기 윤곽선 결정단계후 블러링된 윤곽선을 포함한 웨이블릿 계수에 대한 보상을 수행하는 선택적 샤프닝(selective sharpening)단계로 구분되며;
상기 윤곽선 결정 단계는 상기 소나 영상에서 원대역(
)과 부대역(
)간에 웨이블릿 계수의 크기가 연속성을 갖는 성질을 이용하여 웨이블릿 계수의 크기 비를 구하고, 잡음으로 분류된 웨이블릿 계수에 대하여 상기 웨이블릿 계수의 크기 비가 0인 경우 윤곽선을 포함하지 않는 것으로 판단하고, 0보다 큰 경우 윤곽선을 포함하는 것으로 판단하며, 상기 웨이블릿 계수의 크기 비는
로 구하고, 상기
는 웨이블릿 계수의 크기 비, 상기
는 웨이블릿 계수, 상기
는 웨이블릿 계수의 스케일, 상기
는 공간 좌표인
것을 특징으로 하는 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법.
삭제
삭제
청구항 1에 있어서, 상기 선택적 샤프닝 단계는 상기 윤곽선을 포함한다고 판단된 웨이블릿 계수에 대해서만 고역통과필터를 적용하여 블러링을 보상하는 것을 특징으로 하는 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법.
청구항 1에 있어서, 상기 전처리 단계에는 상기 적응적 윤곽선 향상기법에 이어 역이산 웨이블렛 변환(inverse discrete wavelet transform)을 수행하는 것을 특징으로 하는 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법.
청구항 1에 있어서, 상기 전처리 단계 후, 상기 소나영상으로부터 물체 검출(object detection)이 이루어지는 단계, 검출된 물체에서 물체분류(object classification)가 이루어지는 단계, 분류된 물체에서 물체인식(object recognition)이 판별되는 단계가 순차적으로 수행되는 것을 특징으로 하는 소나영상용 잡음제거 기법의 성능 향상을 위한 선택적 윤곽선 보존 방법.