KR20210094914A - 소나 영상에서 표적식별을 위한 전단변형을 고려한 특징점 추출 방법 및 장치 - Google Patents

Abstract

실시 예는 소나 영상에서 표적식별을 위한 전단변형을 고려한 특징점 추출 방법 및 장치에 관한 것으로, 기하학적 불변 특징량을 사용하여 전단에 대한 인식정확도를 향상시킬 수 있다.

Description

소나 영상에서 표적식별을 위한 전단변형을 고려한 특징점 추출 방법 및 장치{Shearing robust based on keypoint descriptor extraction method for object recognition in sonar image}

본 발명은 소나 영상에서 표적식별을 위한 전단변형을 고려한 특징점 추출 방법 및 장치에 관한 것이다.

표적식별장치는 소나 장치로부터 얻어지는 영상을 활용하여 표적인식(Object Recognition)을 수행하는 것이며 전처리부(Pre-processing), 표적 검출부(Object Detection), 표적 분류부(Object Classification)로 구성된다. 수중영상은 자연에서 발생되는 다양한 환경적인 요소와 인간적인 요인에서 획득되는 인공적인 현상으로 인하여 장비로부터 영상을 획득 시 정보가 오염 또는 손상되므로 영상의 잡음제거 및 보정을 위하여 전처리부를 수행한다. 이후 표적 검출 및 분류부 과정을 수행하여 표적에 대한 인식을 진행한다. 이때 표적 검출부로부터 특징점을 추출하게 되며 추출된 특징점을 기반으로 특징량 검출부를 수행하여 특징량을 검출한다. 특징점 활용으로 표적인식을 수행하는 대표적인 방법으로 SIFT(비특허문헌1), SURF(비특허문헌2), BRIEF(비특허문헌3), BRISK(비특허문헌4) 등이 있다.

디지털 영상인식에서 가장 널리 사용되는 알고리즘으로 SIFT가 있으며 스케일과 회전에 대하여 불변한 형상정보를 추출하는 알고리즘으로서 특징점을 기반으로 표적인식 정밀도에 대한 고성능을 가지고 있다. SIFT 알고리즘을 개선하기 위한 다양한 연구가 수행되었으며 기존 SIFT 알고리즘의 특징량 검출기법에서 다중 해상도로 특징량을 검출하여 표적인식 정확도를 향상한 p-SIFT 알고리즘(비특허문헌5)과 ASIFT(비특허문헌6) 같은 광학 영상에서 획득 가능한 모든 영상의 관점을 시뮬레이션하여 왜곡에 완전 불변한 특징점 검출 기반 표적인식을 수행하는 기법이 연구되었다.

[선행기술문헌번호]

선행기술 1: 한국등록특허 10-1917282호

선행기술 2: 한국등록특허 10-1527876호

[비특허문헌]

비특허문헌1: Lowe, David G. "Object recognition from local scale-invariant features." Computer vision, 1999. The proceedings of the seventh IEEE international conference on. Vol. 2. Ieee, 1999.

비특허문헌2: Bay, Herbert, Tinne Tuytelaars, and Luc Van Gool. "Surf: Speeded up robust features." European conference on computer vision. Springer, Berlin, Heidelberg, 2006.

비특허문헌3: Calonder, Michael, et al. "Brief: Binary robust independent elementary features." European conference on computer vision. Springer, Berlin, Heidelberg, 2010.

비특허문헌4: Leutenegger, Stefan, Margarita Chli, and Roland Y. Siegwart. "BRISK: Binary robust invariant scalable keypoints." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.

비특허문헌5: Seidenari, L., Serra, G., Bagdanov, A. D., & Del Bimbo, A. (2014). Local pyramidal descriptors for image recognition. IEEE transactions on pattern analysis and machine intelligence, 36(5), 1033-1040. Conference on. IEEE, 2011.

비특허문헌6: Morel, Jean-Michel, and Guoshen Yu. "ASIFT: A new framework for fully affine invariant image comparison." SIAM journal on imaging sciences 2.2 (2009)

실시 예들은 기하학적 불변 특징량을 사용하여 전단변형(shearing)을 포함한 소나 영상의 표적 식별(target classification)을 수행할 경우 정확도가 저하되는 문제를 해소하기 위해, 전단변형을 고려한 특징점 추출 방법 및 장치를 제공하는 것이다.

일 실시 예에 따른 소나 영상으로부터 표적식별을 위한 전단변형을 고려한 특징점 추출 방법에 있어서, 상기 소나 영상에 대해 선박의 속도, 펄스반복주기(Pulse Repetition Interval) 및 펄스주기(Pulse Length)에 기초한 어파인 변환(affine transform)을 수행하는 단계; 상기 어파인 변환된 소나 영상에 대해 제1 후보 특징점을 추출하는 단계; 상기 소나 영상에 대해 결정된 제2 후보 특징점과, 상기 추출된 제1 후보 특징점을 비교하는 단계; 및 상기 비교 결과에 따라 상기 소나 영상에 대한 특징점을 추출하는 단계를 포함한다.

상기 방법은 상기 제1 후보 특징점과 상기 제2 후보 특징점 사이의 유클리디언 거리값이 소정의 임계값 이하인 경우, 상기 특징점으로 추출하는 것을 특징으로 한다.

상기 소나 영상에 대한 해상도는 Along 트랙 해상도(

) 및 Across 트랙 해상도(

)를 포함하고, 다음 수학식 2로 표현되는 것을 특징으로 한다.

[수학식 2]

(여기서, P는 상기 펄스반복주기(PRI), v는 상기 선박의 속도, T는 펄스주기임)

상기 전단변형에 상응하는 행렬은 다음 수학식 7로 표현되는 것을 특징으로 한다.

[수학식 7]

상기 어파인 변환 행렬은 다음 수학식 8로 표현되는 것을 특징으로 한다.

[수학식 8]

(여기서, Hs는 어파인 변환 행렬,

과

는 각각 회전행렬임)

상기 제1 후보 특징점 및 상기 제2 후보 특징점은 SIFT(Scale Invariant Features Transform), pyramid-SIFT 또는 이들의 조합을 이용하여 추출하는 것을 특징으로 한다.

상기 특징점을 추출하는 것은, 상기 소나 영상 및 상기 어파인 변환된 소나 영상 각각에 대해 동일한 영역에 대해 디스크립터 윈도우에 대한 후보 특징점들 간의 유클리디안 거리를 다음 수학식 9와 같이 계산하고, 상기 계산된 값이 0.3이하인 경우 상기 특징점으로 추출하는 것을 특징으로 한다.

[수학식 9]

(여기서, M과 N은 영상의 크기를 나타내고, i,j는 픽셀의 위치를 나타냄)

다른 실시 예에 따른 표적 식별 방법은 입력된 소나 영상에 대한 전처리를 수행하는 단계; 상기 전처리된 소나 영상을 비전단 왜곡 발생 영상과 전단 왜곡 발생 영상으로 각각 변환한 후 각각의 특징점을 검출하고, 상기 검출된 특징점들이 유사한 경우, 해당 특징점을 상기 소나 영상에 대한 특징점으로 추출하고, 상기 추출된 특징점을 기초로 표적을 검출하는 단계; 및 상기 검출된 표적을 분류하는 단계를 포함한다.

또 다른 실시 예에 따른 소나 영상으로부터 표적식별을 위한 전단변형을 고려한 특징점 추출 장치에 있어서, 소나 영상을 획득하는 영상획득부; 및 프로세서를 포함하고, 상기 프로세서는, 상기 소나 영상에 대해 선박의 속도, 펄스반복주기(Pulse Repetition Interval) 및 펄스주기(Pulse Length)에 기초한 어파인 변환을 수행하고, 상기 어파인 변환된 소나 영상에 대해 제1 후보 특징점을 추출하고, 상기 소나 영상에 대해 결정된 제2 후보 특징점과, 상기 추출된 제1 후보 특징점을 비교하고, 상기 비교 결과에 따라 상기 소나 영상에 대한 특징점을 추출한다.

상기 프로세서는, 상기 제1 후보 특징점과 상기 제2 후보 특징점 사이의 유클리디언 거리값이 소정의 임계값 이하인 경우, 상기 특징점으로 추출하는 것을 특징으로 한다.

또 다른 실시 예에 따른 표적 식별 장치는 입력된 소나 영상에 대한 전처리를 수행하는 전처리부; 상기 전처리된 소나 영상을 비전단 왜곡 발생 영상과 전단 왜곡 발생 영상으로 각각 변환한 후 각각의 특징점을 검출하고, 상기 검출된 특징점들이 유사한 경우, 해당 특징점을 상기 소나 영상에 대해 특징점으로 추출하고, 상기 추출된 특징점을 기초로 표적을 검출하는 표적 검출부; 및 상기 검출된 표적을 분류하는 표적 분류부를 포함한다.

또 다른 실시 예에 따른 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.

실시 예에 따른 윤곽선 향상 방법 및 장치는 커블렛 변환의 하위 단계인 리지렛 변환 계수의 정보를 이용하여 수중 영상에서 실제 윤곽선이라고 판단되는 중요한 부분만 선택적으로 향상시킬 수 있다.

도 1은 일 실시 예에 따른 표적식별장치(100)의 개략 도이다.
도 2는 도 1에 도시된 표적식별장치(100)의 구체적인 블록 도이다.
도 3은 ASIFT의 왜곡에 대한 카메라 동작해석과 관찰반구를 나타내는 예시 도이다.
도 4는 측면주사소나의 개략 도이다.
도 5는 일 실시 예에 따른 특징점 추출 방법의 흐름 도이다.
도 6 내지 9는 일 실시 예에 따른 특징점 추출 방법을 설명하기 위한 예시 도들이다.

본 실시 예들에서 사용되는 용어는 본 실시 예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시 예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다.

실시 예들에 대한 설명에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 실시 예들에 기재된 “부”의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

본 실시 예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계는 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

하기 실시 예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시 예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도들을 참조하면서 오로지 예시를 위한 실시 예들을 상세히 설명하기로 한다.

소나장치는 바닷속 물체의 탐지나 표정에 사용되는 음향표정장치를 의미한다. 소나장치는 수중청음기, 또는 음향탐신기를 의미하며, 레이더파와 같은 전자기파는 바다 속에서 감쇄가 커 멀리 전달되지 않으므로 음파를 써서 표정한다. 바다 속에 전달되는 소리의 빠르기는 바다의 상황에 따라 다르나 약 1,500 m/s이며, 물체에 닿으면 반사하여 되돌아오는 성질이 있어 각종 소나는 이것을 이용한다. 소나에는 크게 두 종류가 있는데 음향탐신기형과 같이 스스로 소리를 내어 물체를 표정하는 것(액티브소나, 또는 능동소나), 수중청음기형과 같이 음원으로부터의 소리를 측정하여 그것을 표정하는 것(패시브소나)이 있다. 전자에는 음향탐신기 음향측탐기가 있는데, 음향탐신기는 음파를 짧은 단속음으로서 발사하고 이것이 물체에 부딪쳐 반사하여 되돌아오는 데 걸리는 시간을 재어 물체까지의 거리를 측정한다. 또 송파기를 회전시켜 그 방향을 탐지한다. 실제로는 레이더의 PPI(Plan Position Indicator) 스코프 방식과 같으며, 브라운관 위에 거리, 주위에 방위를 눈금으로 새겨 주사선이 송파기의 회전과 함께 회전하도록 되어 있으며, 반향음이 되돌아오면 디스플레이 위에 광점으로서 물체가 나타나 거리 및 방위를 탐지하게 된다.

실시 예에서, 전술한 소나 장치로부터 획득된 신호를 영상화하여 표적을 식별하는 장치를 제공한다. 이러한 표적식별장치는 소나 장치로부터 얻어지는 영상을 활용하여 표적인식(Object Recognition)을 수행하는 것이며 전처리부(Pre-processing), 표적 검출부(Object Detection), 표적 분류부(Object Classification)로 구성된다. 표적식별장치와 관련하여서는 도 1 및 2를 참조하여 후술한다.

전단변형은 기계 장치류를 구성하는 구조부재에는 여러 가지 응력, 예를 들면 인장 응력이나 전단 응력, 압축 응력이 가해져, 그것들 응력에 따른 변형이 발생한다. 이들 변형 중에서, 부재의 어느 평행한 면을 서로 미끄러져 밀려지려고 하는 응력으로 발생한 변형 성분을 의미한다. 실시 예에서, 소나 장치에서 발생하는 전단변형은 소나 장치를 탑재한 선박의 운항 속도, PRI(Pulse Repetition Interval, 이하 PRI라 한다), PL(Pulse Length, 이하 PL이라 한다)가 주요한 요인이다. 실시 예에서는, 이러한 전단변형을 고려하여, 소나 장치에서 획득한 신호에 대한 영상화 과정에서 특징점을 효과적으로 추출하는 방법을 제공하는 것이다.

영상에서 물체를 추적하거나 인식할 때, 영상과 영상을 매칭할 때 가장 일반적인 방법은 영상에서 주요 특징점(keypoint)을 뽑아서 매칭하는 것으로, 특징점은 keypoint 또는 interesting point라 명명된다.

영상에서 특징점을 추출하는 일반적인 방법은 배경기술에서 언급된 참조문헌 1 내지 6을 포함한다. SIFT, SURF, BRIEF, ORB, FREAK 등과 같은 지역적 불변 특징량(local invariant feature descriptor) 방법들에서 사용하는 특징점(keypoint)은 다음과 같이 구분할 수 있다. 지역 불변 특징량(descriptor)과 특징점(keypoint)을 서로 구분할 필요가 있는데 keypoint는 특징이 되는 점의 영상좌표 (x,y)를 의미하고(scale space까지 고려한다면 (x,y,s)), descriptor는 해당 keypoint 위치에서 추출한 지역적 영상 특징 정보(ex. gradient 분포 히스토그램 등)를 의미한다.

실시 예에서 사용된 용어 특징점은 전술한 특징량을 포함하는 것으로 이해되어야 하며, 소나 장치에서 전단변형을 고려한, 또는 전단변형에 강인한 특징점 또는 특징량을 효과적으로 추출 내지 검출하는 것이다.

도 1은 일 실시 예에 따른 표적식별장치(100)의 개략 도이고, 도 2는 도 1에 도시된 표적식별장치(100)의 구체적인 블록 도이다.

도 1을 참조하면, 표적식별장치(100)는 입력된 소나 영상에서 표적을 인식한다. 표적식별장치(100)는 전처리부(110), 표적검출부(120) 및 표적분류부(130)를 포함한다.

전처리부(110)는 입력된 소나 영상에 대한 전처리를 수행한다. 여기서, 획득된 소나영상의 수중물체 인식의 향상을 위한 것으로, 전처리(Pre-processing) 단계는 수중 환경에서 발생하는 다양한 자연적, 인공적 잡음 데이터를 제거하여 객체의 주요 특징을 보정하기 위한 과정이다.

표적검출부(120)는 전처리부(110)에서 전처리된 소나 영상을 비전단 왜곡 발생 영상과 전단 왜곡 발생 영상으로 각각 변환한 후 각각의 특징점을 검출하고, 검출된 특징점들이 유사한 경우, 해당 특징점을 소나 영상에 대해 특징점으로 추출하고, 추출된 특징점을 기초로 표적을 검출한다. 여기서, 비전단 왜곡 발생 영상에 대해서는 종래의 특징점 추출 알고리즘, 예를 들면 SIFT 등을 이용할 수 있다. 여기서, 추출된 특징점을 제2 후보 특징점으로 정의할 수 있다. 전단 왜곡 발생 영상에 대해서는 소나 영상에 대해 선박의 속도, 펄스반복주기(Pulse Repetition Interval) 및 펄스주기(Pulse Length)에 기초한 어파인 변환을 수행하고, 어파인 변환된 소나 영상에 대해 제1 후보 특징점을 추출한다. 그리고, 제1 후보 특징점과 제2 후보 특징점을 비교하여, 유사한 경우, 추출된 제1 후보 특징점을 특징점으로서 추출한다. 여기서, 유사한지 여부는, 각각의 특징점 간의 유클리디언 거리가 소정의 임계값(예를 들면 0.3)이하인 경우 유사하다고 판단할 수 있다. 여기서, 이러한 임계값은 시스템 환경, 성능, 응용 등에 따라 다르게 설정할 수 있음은 물론이다. 표적검출부(120)는 이러한 소나 장치의 전단 변형을 고려하여 추출한 특징점을 이용하여 표적을 검출한다.

표적인식부(130)는 검출된 표적을 분류한다. 검출된 표적의 영상을 기초로 미리 저장된 표적 데이터베이스의 영상과 비교하여, 표적을 분류한다.

이하, 소나 장치에서의 전단 변형을 고려한 특징점 추출하는 과정을 상세히 설명한다.

ASIFT는 도 3과 같이 광학 영상에서 카메라의 특성을 사용하여 다음 수학식 1과 같이 정의된다.

[수학식 1]

여기서,

는 각각 줌(Zoom), 회전, 틸트(Tilt)이다. 광학 카메라에서 해상도 눈금인 λ를 고정하고 도 3과 같이 반구형으로 카메라의 틸트를 변형하여 발생되는 영상의 왜곡을 표현한다. 소나장치의 경우 피치(Pitch), 롤(Roll), 요(Yaw) 동작을 수행할 수 있고, 틸트의 경우 소나장치의 롤을 이용하여 표현할 수 있다. 빛으로부터 영상정보를 획득하는 광학영상과 달리 수중환경에서 음파를 이용하여 거리에 따라 영상화를 수행하므로 소나영상에서의 전체 트랙 해상도는 선박 속도, PRI(Pulse Repetition Interval) 그리고 PL(Pulse Length)에 의해 결정된다. 따라서 x축과 y축 해상도가 다른 특징을 가지는 문제점이 있으므로, 상기 수학식 1을 소나장치에 적용하기 위해서는 다른 고려가 필요하다.

도 4에 도시된 것처럼, 소나장치의 Along 트랙(

)과 Across 트랙(

)의 해상도 시스템이 다른 특성을 가지는 문제점을 고려하기 위해 수학식 2를 다음과 같이 정의한다.

[수학식 2]

여기서, P와 v는 PRI와 운항속도이고, T는 주기이다. 따라서 소나영상 획득에 있어 해상도가 상이한 특성을 가지는 문제에 대해 상기 수학식 2를 적용하여 고려한다면 영상처리 수행에 있어 개선의 여지가 있음을 알 수 있다.

기존의 고안된 방법, 예를 들면 SIFT는 x축과 y축의 차이 스케일링 및 전단(PRI, 선박 속도, PL 변화)과 같은 기하학적 불변성에 효과적이지 않기 때문에 소나 영상 분야에서 표적 인식을 위해서는 소나 영상에서 발생되는 특성을 고려하여 전단 왜곡을 고려해야한다. 여기서 전단 왜곡을 고려한 특징량을 결정하기 위해 도 3의 광학영상을 기반으로 영상왜곡을 분석하여 특징량을 결정하는 분석기법을 소나장치에 적용하고 배속도 및 PRI 변화와 PL 변화로부터 발생되는 수직 및 수평 해상도의 특성을 반영한다. 그리고 틸트의 변화로부터 획득되는 왜곡 현상을 소나장치의 롤을 활용하여 표현함으로써 기존 소나영상에서 고려되지 못한 전단변형에 대한 왜곡 특성을 도 3에 도시된 것과 같이 전단변형 기반의 특징량과 SIFT의 원래 특징량을 비교하여 효과적인 특징점을 추출하는 방법을 제안한다.

소나영상의 Along 트랙의 해상도는 PRI 및 선박 속도의 영향으로 인하여 생성 중에 왜곡이 발생되므로 소나 영상은 PRI와 속도의 변화로부터 영향을 받는다. 소나장치가 탐사를 일정한 속도로 수행할 때 획득 영상의 표적은 균일한 픽셀을 획득한다. 이때 획득픽셀과 속도는 반비례, PRI는 비례 관계를 가지므로 다음 수학식 3과 같이 정의된다.

[수학식 3]

여기서,

는 각각 운항속도 및 PRI 기반 획득픽셀과 운항속도, PRI이다. 그리고 다음 수학식 4와 같이 어파인 행렬이 모델링 된다.

[수학식 4]

그리고 소나영상에서 Across 트랙의 해상도는 PL의 영향으로 소나영상 획득 과정에서 왜곡이 발생된다. 따라서 획득되는 픽셀과 PL은 반비례 관계를 가지며 다음 수학식 5와 같이 정의된다.

[수학식 5]

여기서,

는 각각 PL 기반 획득픽셀과 주기이다. 그리고 다음 수학식 6과 같이 어파인 행렬이 모델링 된다.

[수학식 6]

상기 수학식 1에서,

는 어파인행렬에서 스케일의 변화를 표현하고, 회전변환과의 조합으로 전단변형에 사용될 수 있다. 그러므로 전단변형을 표현하기 위한 행렬의 곱은 다음 수학식 7과 같이 표현된다.

[수학식 7]

상기 수학식 7에서 유도된 결과를 기반으로 다음 수학식 8을 다음과 같이 표현할 수 있다.

[수학식 8]

도 5는 일 실시 예에 따른 특징점 추출 방법의 흐름 도이다.

도 5를 참조하면, 소나 영상에 대해, 비전단 왜곡 발생 영상 변환(좌측)과, 전단 왜곡 발생 영상 변환(우측)으로 각각 변환한 후 각각의 특징점을 검출하고, 검출된 특징점들이 유사한 경우, 해당 특징점을 소나 영상에 대해 특징점으로 추출한다. 실시 예에 따라, 어파인 변환된 영상과 원영상에 공통적으로 존재하는 특징점을 결정함으로써, 특징점에 따른 탐지 및 식별 결과의 편차를 최소화할 수 있다.

도 5에 도시된 것처럼, 전단 왜곡이 발생하는 소나영상의 표적인식에 성능 향상을 위해 비전단 왜곡 발생 영상과 전단 왜곡 발생 영상의 특징량을 각각 검출하여, 두 영상에서 특징량이 유사하게 유지되는 특징점을 결정하는 것이다.

수학식 1 내지 8을 참조하여 설명한 것처럼, 수중영상 운용조건인 펄스반복주기, 운항속도, 펄스 길이 변화(또는 펄스 주기) 등의 왜곡을 고려하여 어파인 변환을 수행한다. 그리고, SIFT를 이용하여 특징점을 추출한다.

그리고, SIFT를 이용하여 추출한 특징점(특징량)과, 어파인변환 후 SIFT를 이용하여 추출한 특징점(특징량)을 비교하여 특징량의 유클리디언 거리 차가 일정값 이하인 특징점을 전단 왜곡 및 비전단 왜곡 영상에 대한 불변 특징점으로 결정하는 것이다.

실시 예에서, SIFT를 특징점 또는 특징량을 추출하는 알고리즘으로 설명하였지만, 이에 한정되지 않고, pyramid-SIFT(p-SIFT)와 같은 SIFT기반 변형 알고리즘으로 대체 가능하며, SIFT와 p-SIFT를 조합과 같이 여러 알고리즘을 조합하여 사용하는 것도 가능함은 물론이다.

실시 예에서, 왜곡영상을 원영상으로 간주하고 수학식 7을 사용하여 도 6과 같은 또 다른 왜곡된 소나영상을 생성한다. 도 6a는 원영상이고, 도 6b는 PRI가 증가한 경우에 발생된 전단왜곡 영상, 도 6c는 운항속도가 감소한 경우에 발생된 전단왜곡 영상이고, 도 6d는 재지정한 경우의 영상이다. 이것은 다양한 소나장치의 운용 조건으로 특징량을 만들 수 있다. 여기서, 특징량은 특징점, 예를 들면 픽셀 위치에서 추출한 지역적 영상 특징 정보, 예를 들면 그래디언트 분포 히스토그램 등을 의미한다.

도 7a 내지 7d에 도시된 것처럼, 어파인 변환된 영상은 유사한 특징량을 갖지만 변형으로 인해 완전히 일치하지는 않는다. 결정과정에서 원영상과 어파인 영상의 특징량을 비교하여 수행된다. 도 8은 도 7a와 d에서 흰색 사각형 영역에 해당하는 특징량을 도 8c와 8f에 나타낸 강력한 특징량 결정과정이다.

도 8은 어파인 영상의 특징량 추출 결과를 도시한 것으로, 도 8a는 원영상, 도 8b는 원영상의 16개 특징량 윈도우를 나타내고, 도 8c는 도 8a의 결정 결과, 도 8d는 PRI증가된 왜곡 영상과, 도 8e는 도 8d의 영상의 16개 특징량 윈도우, 도 8f는 도 8d의 결정 결과이다. 도 8b와 도 8e는 영상의 특징점 기술자(keypoint descriptor)를 나타내고 있다. 원영상과 어파인 영상에서 불변 특징점을 찾기 위해 각 영상의 동일한 기술자 창(descriptor window)에 대해 특징점 기술자 간의 유클리디안 거리(Euclidean distance)를 다음 수학식 9와 같이 계산한 후, 그 값이 임계값 이하인 경우 어파인 불변 특징점으로 간주한다.

[수학식 9]

여기서 M과 N은 영상의 크기를 나타내며, i와 j는 픽셀 위치를 의미한다. 임계값은 적응적으로 결정하거나 상수 값이 사용될 수 있으며, 상수 값을 사용할 경우 0.3을 사용하는 것이 일반적이다.

도 8a와 도 8d에 도시된 특징점 중 상기 불변 특징점 결정 과정을 거친 결과는 도 8c와 도 8f에 도시하였으며, 도시된 바와 같이, 흰 점은 어파인 변환 불변 특징점을 나타낸다. 어파인 변환 불변 특징점은 어파인 변환 시에도 그 특성이 비교적 고유하게 유지되는 특징점을 의미하므로, 입력 영상이 어파인 변환 특성을 가지는 경우에도 기존 특징점 기반 표적인식 알고리즘보다 우수한 성능을 가지게 된다.

어파인 영상 민감도 분석과 속도의 정확성을 검증하기 위해 도 9와 같이 512x512 해상도의 3 가지 테스트 영상, 예를 들면 비행기, 바지선, 배 및 밧줄을 사용하였고, 표 1의 실험조건을 적용하여 4개의 실험영상을 만들었다.

[표 1]

스케일과 회전에 대하여 SIFT가 불변의 특성을 가지고 있기 때문에 특징량 검출 관련 민감도 측면에서 비슷한 패턴을 가지지만, 전단변형의 경우 PRI, 운항속도 및 선회가 고려되므로 검출 민감도 측면에서 차이를 보인다. 테스트 평가 측정은 인식률 정확도로 수행하였다. 실험에서는 정확도를 결정하기 위해 일반적으로 사용되는 2진 분류 방법을 채택했다. 검사 결과는 참긍정(TP), 거짓긍정(FP), 참부정(TN) 및 거짓부정(FN)의 4가지 경우로 분류되며 다음 수학식 10과 같이 정의된다.

[수학식 10]

TP 및 TN은 동일한 특징 정보가 결정될 때 선택되며 일치하는 특징이 다르면 FP가 나오고 기능이 일치하지 않으면 FN이 선택된다.

[표 2]

표 1에는 고안된 방법의 정확도와 4 가지 표적형태에 의한 기존 방법이 요약되어있다. 본 실시 예(표 2에 도시된 PM(SIFT))는 SIFT, P-SIFT 및 ASIFT보다 각각 평균 약 4 %, 3 % 및 1 % 우수하다.

ASIFT는 다른 방법들보다 크기와 회전이 뛰어나지만 ASIFT는 소나 특성을 고려하지 않으므로 본 실시 예보다 전단변형에서 성능이 저하된다. 본 실시 예는 대부분의 경우에서 표적인식 정확도가 향상되었으며, 기하학적 불변 특징량을 사용하여 전단에 대한 인식정확도의 차이를 가진다. 실험결과를 보았을 때 표적인식을 위한 표적 분류부에 본 발명 기술을 적용한다면 향후 소나영상 뿐만 아니라 다양한 영상에서도 인식정확도의 향상에 있어 다양하게 기여 가능할 것으로 예상된다.

일 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

1. 소나 영상으로부터 표적식별을 위한 전단변형을 고려한 특징점 추출 방법에 있어서,
   상기 소나 영상에 대해 선박의 속도, 펄스반복주기(Pulse Repetition Interval) 및 펄스주기(Pulse Length)에 기초한 어파인 변환을 수행하는 단계;
   상기 어파인 변환된 소나 영상에 대해 제1 후보 특징점을 추출하는 단계;
   상기 소나 영상에 대해 결정된 제2 후보 특징점과, 상기 추출된 제1 후보 특징점을 비교하는 단계; 및
   상기 비교 결과에 따라 상기 소나 영상에 대한 특징점을 추출하는 단계를 포함하는 전단변형을 고려한 특징점 추출 방법.
2. 제 1 항에 있어서,
   상기 제1 후보 특징점과 상기 제2 후보 특징점 사이의 유클리디언 거리값이 소정의 임계값 이하인 경우, 상기 특징점으로 추출하는 것을 특징으로 하는 전단변형을 고려한 특징점 추출 방법.
3. 제 1 항에 있어서,
   상기 소나 영상에 대한 해상도는 Along 트랙 해상도(

   

   ) 및 Across 트랙 해상도(

   

   )를 포함하고, 다음 수학식 2로 표현되는 것을 특징으로 하는 전단변형을 고려한 특징점 추출 방법.
   [수학식 2]
   

   

   
   (여기서, P는 상기 펄스반복주기(PRI), v는 상기 선박의 속도, T는 펄스주기임)
4. 제 3 항에 있어서,
   상기 전단변형에 상응하는 행렬은 다음 수학식 7로 표현되는 것을 특징으로 하는 전단변형을 고려한 특징점 추출 방법.
   [수학식 7]
   

   
5. 제 4 항에 있어서,
   상기 어파인 변환 행렬은 다음 수학식 8로 표현되는 것을 특징으로 하는 전단변형을 고려한 특징점 추출 방법.
   [수학식 8]
   

   

   
   (여기서, Hs는 어파인 변환 행렬,

   

   과

   

   는 각각 회전행렬임)
6. 제 1 항에 있어서,
   상기 제1 후보 특징점 및 상기 제2 후보 특징점은 SIFT(Scale Invariant Features Transform), pyramid-SIFT 또는 이들의 조합을 이용하여 추출하는 것을 특징으로 하는 전단변형을 고려한 특징점 추출 방법.
7. 제 2 항에 있어서,
   상기 특징점을 추출하는 것은,
   상기 소나 영상 및 상기 어파인 변환된 소나 영상 각각에 대해 동일한 영역에 대해 디스크립터 윈도우에 대한 후보 특징점들 간의 유클리디안 거리를 다음 수학식 9와 같이 계산하고, 상기 계산된 값이 0.3이하인 경우 상기 특징점으로 추출하는 것을 특징으로 하는 전단변형을 고려한 특징점 추출 방법.
   [수학식 9]
   

   

   
   (여기서, M과 N은 영상의 크기를 나타내고, i,j는 픽셀의 위치를 나타냄)
8. 입력된 소나 영상에 대한 전처리를 수행하는 단계;
   상기 전처리된 소나 영상을 비전단 왜곡 발생 영상과 전단 왜곡 발생 영상으로 각각 변환한 후 각각의 특징점을 검출하고, 상기 검출된 특징점들이 유사한 경우, 해당 특징점을 상기 소나 영상에 대해 특징점으로 추출하고, 상기 추출된 특징점을 기초로 표적을 검출하는 단계; 및
   상기 검출된 표적을 분류하는 단계를 포함하는 소나 영상을 이용한 표적 식별 방법.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
10. 소나 영상으로부터 표적식별을 위한 전단변형을 고려한 특징점 추출 장치에 있어서,
    소나 영상을 획득하는 영상획득부; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 소나 영상에 대해 선박의 속도, 펄스반복주기(Pulse Repetition Interval) 및 펄스주기(Pulse Length)에 기초한 어파인 변환을 수행하고,
    상기 어파인 변환된 소나 영상에 대해 제1 후보 특징점을 추출하고, 상기 소나 영상에 대해 결정된 제2 후보 특징점과, 상기 추출된 제1 후보 특징점을 비교하고,
    상기 비교 결과에 따라 상기 소나 영상에 대한 특징점을 추출하는 전단변형을 고려한 특징점 추출 장치.
11. 제 10 항에 있어서,
    상기 프로세서는,
    상기 제1 후보 특징점과 상기 제2 후보 특징점 사이의 유클리디언 거리값이 소정의 임계값 이하인 경우, 상기 특징점으로 추출하는 것을 특징으로 하는 전단변형을 고려한 특징점 추출 장치.
12. 입력된 소나 영상에 대한 전처리를 수행하는 전처리부;
    상기 전처리된 소나 영상을 비전단 왜곡 발생 영상과 전단 왜곡 발생 영상으로 각각 변환한 후 각각의 특징점을 검출하고, 상기 검출된 특징점들이 유사한 경우, 해당 특징점을 상기 소나 영상에 대해 특징점으로 추출하고, 상기 추출된 특징점을 기초로 표적을 검출하는 표적 검출부; 및
    상기 검출된 표적을 분류하는 표적 분류부를 포함하는 소나 영상을 이용한 표적 식별 장치.

Images