KR20180053091A - 소나 영상을 이용한 수중 물체 식별 방법 및 그 장치 - Google Patents

Abstract

본 발명은 소나 영상을 이용하여 수중 물체를 식별하는 방법에 관한 것으로서, 소나(sonar)를 이용하여 획득한 영상에서 잡음을 제거하는 단계, 기준영상과 상기 잡음을 제거한 영상을 정합(Image registration)하는 단계, 상기 정합한 영상에서 배경영상을 제거하여 차(difference image)영상을 구하고 상기 차 영상으로부터 물체 후보영역을 추출하는 단계 및 상기 물체 후보영역의 특징(feature)을 추출하고 상기 추출된 특징을 기초로 물체 후보영역에서 물체를 검출하는 단계를 포함하는 것을 특징으로 한다.
본 발명을 통해 정확하고 효율적으로 수중상의 물체를 인식할 수 있게 하고, 선박의 최단 소행 항로(Q-route)를 확보하게 하여 안전한 항해에 도움을 줄 수 있다.

Description

소나 영상을 이용한 수중 물체 식별 방법 및 그 장치{METHOD OF IDENTIFICATION FOR UNDERWATER OBJECT USING SONAR IMAGES AND APPARATUS THEREOF}

본 발명은 소나 영상을 이용한 수중 물체 식별 방법 및 그 장치에 관한 것으로서, 보다 구체적으로는 소나 영상 처리 기법을 이용하여 수중에서 물체를 효율적으로 식별하는 방법 및 그 장치에 관한 것이다.

종래, 해저상에서 수중 물체의 위치 인식에 필요한 정보를 얻기 위하여, 영상 정보를 활용하여 물체를 탐색하고 인식하는 방법에 관한 다양한 연구가 수행되어 왔다.

수중 물체 검출은 수중의 기뢰나 다른 물체들을 탐지하는 수중 탐사 분야에서 매우 중요한 기술이다. 특히 수중 기뢰는 선박의 안전 항해에 큰 위협물이며, 사람이 직접 수중으로 들어가 수작업을 통하여 기뢰를 찾는 일은 매우 어려운 작업으로 기뢰를 자동으로 탐지하고 식별하는 시스템의 개발이 필요하다. 해저에 존재하는 자연 구조물 및 사람에 의해 버려진 쓰레기, 폐선박과 같은 물체들 때문에 수중 기뢰와 같은 특정한 물체를 검출하고 식별하는 것은 매우 어려운 작업이 된다.

해저환경에서의 위치 인식에 필요한 정보를 얻기 위한 종래의 방법으로는, IMU(Inertial Measurement Unit), DVL(Doppler Velocity Logs), USBL(Ultra Short Base Line) 등과 같은 센서를 사용하여 정보를 얻는 방법이 있으나, IMU 및 DVL은 오차가 크거나 누적됨으로 인해 정확한 위치 정보를 얻기 어렵다는 단점이 있고, USBL은 오차가 누적되지는 않으나 매우 고가인데 더하여 사용방법이 매우 어렵고 제한적이라는 단점이 있었다.

일반적으로, 수중 물체를 인식하는 과정은 환경을 모니터링하고 수중 구조물을 설치하고 유지하는 일들에 대하여 큰 이점을 준다. 예를 들면, 수중 잠수정을 이용하여 기뢰(MLO) 추적에 적용할 수 있다. 이를 위한 수중 광학 비전(vision)은 최대-해상도 수중 이미지들을 제공하지만, 광학 비전에 비하여, 소나들은 대부분의 수중 환경들에서 높은 신뢰성을 갖기 때문에, 수중에서 물체 인식이 우수하므로 대안으로서 대두되고 있었다.

일반적으로, 소나는 수중에서 초음파를 이용하여 수중 환경을 감지하고 그것을 하나의 이미지로 나타내는 센서를 말한다. 그러나 소나-기반 인식은 실제 사용에 있어 극복해야 할 많은 해결과제를 가지고 있다. 그 중 하나는 소나가 가지고 있는 초음파 특성 때문에, 해저환경에서 소나 영상들은 저 해상도를 가진다는 점이다. 또한 크기와 모양을 잘 알고 있는 물체라 하더라도 소나 영상에서는 물체를 보는 방향에 따라 영상의 모양이 상당히 달라져, 예측되는 형상과 실제 형상이 다르게 나타날 수 있다. 이를 보완하기 위하여 수중에서 찾고자 하는 물체를 탐색하는 과정을 훨씬 수월하게 하기 위하여 소나 이미지를 알맞게 이용 하는 방법이 연구되고 있다.

수중상에서 소나를 사용하여 획득한 영상을 통해 수중의 물체를 식별하는 방법에 대해 최근에는, 소나 영상에 대한 후처리를 통하여 탁도에 의한 시야 확보의 어려움을 완화하고 수중 환경에 대한 영상을 관찰할 수 있도록 하는 기술내용이 제시된 바 있으나, 현존하는 성능의 소나로는 수중 물체의 인식이 매우 어려워, 현재 해당 분야에 대한 연구가 정체된 상태에 있다.

소나는 물체의 표면, 재질 등과 같은 환경의 영향을 많이 받는 특성으로 인해 수중의 물체를 명확히 표현하는데 한계가 있으나, 수중의 환경을 파악하는데 유용하게 사용되는 실정이다, 상기한 바와 같이, 소나 영상이 물체의 정보를 명확히 전달하지 못하는 한계가 있어, 소나 영상 자체만으로 물체의 탐색 및 인식에 어려움이 있다. 따라서 상기한 바와 같은 종래기술과 같이 영상 소나를 이용한 방법들의 문제점을 해결하기 위하여 수중 영상 소나를 통해 얻어진 영상을 알맞게 이용하여 수중물체를 인식하는 방법을 제공하는 것이 요구되었으나, 현재 그러한 요구를 모두 만족시키는 방법은 제공되지 못하고 있는 실정이다.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 영상처리와 패턴인식 기법을 이용하여 수중 물체를 검출하고 식별하는 방법을 제공하는데 있다.

상기한 과제를 해결하기 위해 본 발명은 수중물체를 식별하는 방법으로서 소나(sonar)를 이용하여 획득한 영상에서 잡음을 제거하는 단계, 기준영상과 상기 잡음을 제거한 영상을 정합(Image registration)하는 단계, 상기 정합한 영상에서 배경영상을 제거하여 차(difference image)영상을 구하고, 상기 차 영상으로부터 물체 후보영역을 추출하는 단계 및 상기 물체 후보영역의 특징(feature)을 추출하고 상기 추출된 특징을 기초로 상기 물체 후보영역에서 물체를 검출하는 단계를 포함하는 것을 특징으로 한다.

좀 더 바람직하게는, 상기 잡음 제거 단계는 평균 필터, 가우시안 필터, 중앙값 필터 중 적어도 하나를 사용하는 것을 특징으로 하는 수중물체 식별방법인 것을 특징으로 한다.

좀 더 바람직하게는, 상기 영상 정합단계는 상기 기준영상과 상기 잡음을 제거한 영상의 특징들을 추출하여, 유사도가 최대가 되는 특징들을 추출하고, 상기 특징들을 결합하여 상기 기준영상과 상기 잡음을 제거한 영상을 일치시키는 것을 특징으로 한다.

좀 더 바람직하게는, 상기 영상 정합단계에서의 특징들은, 모서리 검출(Edge Detection), 기울기 방향성 히스토그램(Histogram of Oriented Gradient), SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Feature) 중 어느 하나를 사용하여 추출되는 것을 특징으로 한다.

좀 더 바람직하게는, 상기 추출 단계에서의 배경영상은 상기 기준영상과 상기 잡음을 제거한 영상의 유사한 속성들의 집합으로 이루어진 영상으로, 상기 속성들은 밝기, 색상, 텍스쳐, 깊이, 모션 속성 중 적어도 하나를 포함하는 것을 특징으로 한다.

좀 더 바람직하게는, 상기 검출된 물체를 인식하고 목적 물체인지 여부를 판단하는 단계를 더 포함할 수 있다.

좀 더 바람직하게는, 상기 판단 단계는, 상기 검출된 물체를 고유 벡터(Eigenvector)로 분해하고, 상기 고유 벡터의 선형 조합을 통해서 인식하는 것을 특징으로 한다.

좀 더 바람직하게는, 상기 판단 단계에서의 고유 벡터는 공분산 행렬(Covariance matrix)을 이용하여 구한 것으로 상기 공분산 행렬은 수학식

로 도출된 것을 특징으로 할 수 있다.

또한, 본 발명은 수중물체를 식별하는 장치로서, 소나(sonar)를 이용하여 획득한 영상에서 잡음을 제거하는 잡음 제거부, 기준영상과 상기 잡음을 제거한 영상을 정합하는 영상 정합부, 상기 정합한 영상에서 배경영상을 제거하여 차(difference image)영상을 구하고 상기 차 영상으로부터 물체 후보영역을 추출하는 영상 분할부, 상기 물체 후보영역의 특징(feature)을 추출하고 상기 추출된 특징을 기초로 물체 후보영역에서 물체를 검출하는 물체 검출부 및 상기 검출된 물체를 인식하고 목적 물체인지 여부를 판단하는 물체 분류부를 포함하는 수중물체 식별 장치인 것을 특징으로 한다.

본 발명의 실시 예들에 따른 수중 물체 식별 방법 및 그 장치의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시 예들 중 적어도 하나에 의하면, 소나 영상 처리 기법을 이용하여 정확하고 효율적으로 수중상의 물체를 인식할 수 있게 하고, 선박의 최단 소행 항로(Q-route)를 확보하게 하여 안전한 항해에 도움을 줄 수 있다.

다만, 본 발명의 실시 예들에 따른 수중 물체 식별 방법 및 그 장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1의 (a)는 본 발명에 따른 수중 물체의 식별방법을 나타내는 순서도이고, (b)는 이를 실행하는 장치의 블록도이다.
도 2는 본 발명에 따른 소나 영상의 잡음을 다양한 가우시안 필터를 이용하여 제거한 결과를 도시한 것이다.
도 3은 본 발명에 따른 영상 정합 과정을 나타내는 순서도이다.
도 4의 본 발명에 따른 (a)는 해저영상의 원본 이미지이고, (b)는 원본 이미지의 SIFT 특징을 나타낸 이미지이며, (c)는 특징들을 정합하는 과정을 나타내는 이미지이다.
도 5는 본 발명에 따른 영상 정합 과정을 도시한 것이다.
도 6의 (a)는 본 발명에 따른 차 영상을 이용하여 물체를 검출하는 개념을 도시한 것이고, (b)는 해저 영상에서 차 영상을 구한 결과를 도시한 것이다.
도 7의 (a)는 본 발명에 따른 수중 물체의 차 영상을 도시한 것이고, (b)는 차 영상의 에지 영상을 도시한 것이며, (c)는 추출된 물체의 후보 영역을 도시한 것이다.
도 8의 (a)는 여러 방향의 물체 영상을 도시한 것이고, (b)는 클러터와 잡음을 고려하여 생성된 물체 영상을 도시한 것이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.

이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, “포함” 또는 “구비”와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명은 소나 영상을 이용하여 수중 물체를 검출하고 분류하는 방법에 관한 것으로, 소나 영상과 영상처리기법을 이용하여 해저의 물체를 식별하는 방법 및 시스템을 설명한다.

일반적으로 수중 물체의 식별 과정은 크게 수중 물체 후보 영역 검출과 물체 식별의 두 단계로 구성될 수 있는데, 이 때 수중 물체의 검출과 식별은 크게 두 가지 방법으로 수행될 수 있다.

첫 번째 방법은 수중 탐색 영역에 대한 사전 지식 없이 물체를 검출하고 식별하는 방법이다. 상기 첫번째 방법으로는 다양한 종류의 수중 물체와 다양한 모습의 수중 암석들의 영향으로 기뢰와 같은 특정 물체를 검출하고 식별하는 것이 현실적으로 거의 불가능하다.

두 번째 방법은 해저에 대한 사전 지식을 갖고 물체를 검출하고 식별하는 방법이다. 이는 이전에 스캔된 해저 모습과 현재의 해저의 모습의 차이를 구하여 물체를 검출하고, 검출된 물체를 식별하는 방법으로, 항로 탐사(route survey), 최단 소행 항로(Q-route)의 확보와 같은 응용에서 사용되고 있다.

본 발명은 탐색하고자 하는 해저의 사전 지식을 갖고 수중 물체를 검출하고 식별하는 시스템을 구현하며, 영상 정합(image registration) 기법을 이용하여 기준영상과 현재 영상의 공통된 특징을 검출하여 정합한 후, 차 영상(difference image)을 구하여 수중 물체의 후보 영역을 검출하고, 검출된 물체는 코사인 거리 (cosine distance)를 이용하여 데이터베이스 내의 패턴과 가장 가까운 패턴으로 분류함으로써 물체를 식별한다. 이하에서 본 발명에 따른 수중물체 식별 방법을 상세하게 설명한다.

sonar는 sound navigation and ranging의 줄인 말로 파의 감쇄가 심한 수중에서 멀리까지 전달될 수 있는 초음파를 이용하여 소나 영상을 형성함으로써 수중 물체를 탐색한다.

이 때, 빔의 개수에 따라 단일 빔 소나와 다중 빔소나로 나눌 수 있다. 단일 빔 소나는 음파를 해저바닥에 비스듬히 보내고 그 반사파를 수신하여 영상화하는 소나 시스템으로 측면 주사 소나(side scan sonar)라고도 한다. 육상 지형을 항공사진으로 촬영하듯이 해저면을 주사하는 데, TV 화면을 주사선으로 채우는 것과 비슷한 개념으로, 해저면을 얇고 긴 띠모양으로 탐사하여 연속적으로 모아 놓은 형태로 해저면은 영상화된다. 따라서 침선, 장애물, 해저전선, 해저 파이프라인, 어초 등 해저면에 놓여 있는 물체나 구조물의 확인이 가능하다. 또한 해저 지형과 지질구조, 해저 퇴적물의 분포 형태와 범위 등의 지질해양학 조사 분야에서 사용된다. 다중 빔 소나는 단일 빔 소나에 비하여 고해상도의 영상 분해능과 넓은 조사 영역(swath)를 가질 수 있기 때문에 해저 지형 탐사 장비로 최근 많이 활용되고 있다. 다중 빔 소나는 송수신 트랜스듀서는 배열 센서로 제작되며, 이러한 배열 센서는 구동시 위상차를 조절하여 지향각을 가지는 음향 빔을 생성할 수 있다.

도 1의 (a), (b)를 참조하여 본 발명에 따른 수중 물체의 식별방법 및 장치를 전체적으로 설명한다.

제1 단계는 전처리 과정으로 소나를 이용하여 획득된 데이터의 잡음을 제거하는 단계이다(S100).

소나 영상에는 잡음과 클러터가 존재하고 있으며, 이를 제거하기 위하여 잡음을 제거하는 과정이 필요하다. 잡음 제거 기법으로는 평균 필터, 가우시안 필터, 중앙값 필터 등이 사용된다. Mann, Agathoklis, Antoniou는 중앙값 필터를 사용하여 멀티빔 소나에서 획득된 특이값(outlier)을 검출하여 제거하였다. 수중 음파 탐지기를 통하여 획득된 데이터가 일반적으로 어둡고 낮은 콘트라스트를 가지게 되는데, Neumann은 nonlinear logarithmic spreading을 제안하여 콘트라스트를 개선하였다.

제2 단계는 영상을 정합하는 단계(S200)이다.

현실적으로 동일한 위치의 해저 영상을 획득하는 것은 배의 흔들림등과 같은 원인으로 불가능하여, 회전(rotation), 이동(translation), 스케일(scale)이 달라진 영상을 획득하게 된다. 따라서 이전에 스캔 된 해저의 모습과 현재 스캔영상과의 차 영상을 이용하여 수중 물체를 검출하기 위해서는 두 영상을 일치시키는 영상 정합(image registration) 과정이 필요하다. 이에 대한 자세한 내용은 후술한다.

제3 단계는 영상 분할(image segmentation)단계(S300)이다.

정합된 영상으로부터 기뢰와 같은 수중 물체의 후보 영역을 추출하는 과정이다. Stewart, Jiang, Marra는 텍스쳐(texture)와 영역의 평균 밝기를 이용하여 영상을 분할하고 해저 지형을 침전지, 경사면, 계곡으로 분류하였다. Castelleno, Gray는 임계 분할 기법(thresholding segments)을 제안하여 임계값을 이용하여 물체와 그림자, 그리고 배경영역을 분할하였다. Langner, Knauer, Jans, Ebert는 k-means와 통계학 기반의 분할을 사용하였다. Chew, Tong, Chia는 측면 주사 소나 영상을 적응 임계 분할 기법(adaptive threshold segmentation)을 사용하여 분할하였고, 전처리 단계에서 Self-adaptive power filtering 기법을 사용하였다. Dura, Bell, Lane은 비지도 마코프 분할(unsupervised Markovian segmentation) 알고리즘을 사용하여 이미지를 분할하였다.

분할한 이미지로부터 수중 물체의 후보 영역의 특징(feature)을 추출한다. 이 때, 특징을 기반으로 물체를 분류 또는 식별할 수 있으며, 암석, 화산 등 다양한 해저 물체와 기뢰와 같은 물체(mine-like object, MLO)를 구별하기 위한 정보로 사용한다. Tucker, Azimi-Sadjadi, Dobeck는 정규 상관 분석(canonical correlation analysis) 기반의 특징을 추출하였다. 정규 좌표 분해(canonical coordinate decompo-sition)를 별도로 수행하지 않고도 이후의 연속적 분류에 대한 유용한 특징을 추출하는데 해저 바닥에서 반사되어 획득된 데이터를 이용하여 물체의 크기, 모양, 강도들이 추출된다. 단계적 특징 선택 과정은 검출 및 분류의 확률을 최적화하기 위한 특징의 서브셋을 결정하는데 사용된다. Chandran, Elgar, Nguyen은 고차 스펙트럼(higher order spectra) 기반의 특징 선택을 제안하였다. 강도, 크기, 모양, 양수와 음수의 극값들은 블록이 기뢰를 포함하는지 안하는지 결정하는 데에 유용한 정보를 포함한다. 그러나 크기나, 위치, 방향 변화에 민감하다. Shang, Brown은 주성분 분석(principal component analysis)을 사용하여 특징을 추출하고, 다층 신경망(multi-layer feedforward neural network)을 이용하여 수중 물체를 분류하였다. Hoelscher-Hoebing,Kraus은 측면 주사 소나 영상에서 특징을 추출하기 위하여 Expectation Maximization(EM) 알고리즘을 사용하였다. Coiras, Mignotte, Petillot, Bell, Lebart은 특징 추출을 위하여 central filters를 사용하였다.

정리하면 수중 물체를 검출하는 과정은 이전에 획득한 해저 영상(=기준영상)과 현재 스캔한 해저 영상을 정합하고 배경영상을 제거하여 차 영상(difference image)을 계산하고, 수중 물체 후보 영역을 검출한다. 즉, 수중 물체 후보 영역은 잡음 제거, 영상 정합, 차 영상 추출의 과정을 거쳐서 검출한다.

제4 단계는 과정은 물체를 검출하는 단계(S400)이다.

이 과정에서는 추출된 특징 정보를 이용하여 수중 물체들을 검출한다. 수중 물체를 검출하는 간단한 방법은 수중 음파 탐지기로부터 획득된 데이터에서 배경보다 밝은 값을 추출한다는 전제하의 임계값을 할당하는 방식이다. 이 방법은 특징이 없는 배경에서는 검출율이 높지만, 잡음이나 텍스쳐가 많은 배경에서는 검출율이 낮다. Tucker, Azimi-Sadjadi, Dobeck는 정규 상관 분석을 이용한 최적의 Neyman Pearson 검출 방법을 제안하였다. 고해상도 소나 이미지에서의 물체 검출 및 인식은 정규 좌표 분해 최적의 Neyman Pearson 검출 방식과 특징 추출 방법인 정규 상관 분석을 이용하였다. 두 방식은 모두 정규 상관관계가 소나 이미지 내 관심영역에 형성된다. 이러한 정규 상관관계로부터 일관성 또는 비일관성을 측정할 수 있다. Langner, Knauer, Jans, Ebert는 자동 물체 감지 및 분류를 제안하였다. 스네이크 알고리즘을 이용하여 하이라이트 영역을 분할하는 반복적인 영상 분할을 사용하여 검출하였다. Saisan, Kadambe은 likelihood ratio를 사용하여 이진 검색을 하였다. 제안된 수중 기뢰 검출은 몇 가지 요소로 구성되어 있다. 제1 요소는 모양 정규화(shape normalization), 제2 요소는 모양 정규화된 기뢰 이미지를 부공간(subspace)에 투영, 마지막 제3 요소는 기뢰 검출의 이진 결정을 위하여 새로운 기뢰 이미지와 기뢰 부분 공간과의 거리를 측정하여 유사성을 측정하는 결정론적 분석(decision theoretic analysis)이다. Quintal, Kiernan, Byrne, Dysart는 물체를 검출하기 위하여 Automatic Contact Detection 알고리즘을 사용하였다.

제5 단계는 물체를 분류하는 단계(S500)이다.

본 발명의 일 실시예로 패턴 분류기(pattern classifier)나 신경 회로망(neural network) 등을 이용하여 검출된 물체가 MLO인지 아닌 지를 판단할 수 있다. 검출된 물체는 분류 과정을 통하여 MLO 인지 여부가 판단된다. Rao, Mukherjee, Gupta, Ray, Phoha는 symbolic pattern analysis를 이용하여 MLO를 검출하였고, Dobeck, Hyland, Smedley는 KNN (k-nearest neighbor) 분류기를 사용하여 분류하였다. Dura, Zhang, Liao, Dobeck, Carin[17]은 커널(kernel) 기반의 능동 학습(active learning)을 이용하여 MLO를 검출하였다.

상기 이러한 방법을 구현하는 장치는 제1 단계를 실행하는 잡음제거부(100), 제2 단계를 실행하는 영상접합부(200), 제3 단계를 실행하는 영상분할부(300), 제4 단계를 실행하는 물체검출부(400), 제5 단계를 실행하는 물체분류부(500)를 포함하여 구성되는 것을 특징으로 할 수 있다.

도 2는 본 발명에 따른 소나 영상의 잡음을 다양한 가우시안 필터를 이용하여 제거한 결과를 도시한 것이다.

소나 영상에는 클러터 등에 의하여 스펙클과 같은 잡음이 존재하게 되는데, 이를 제거하기 위하여 중앙값(median) 필터, 평균값(average) 필터, 가우시안(Gaussian) 필터등을 사용한다. 본 발명에서는 3*3에서 11*11까지의 5가지 크기의 가우시안 필터로 실험하였고, 그 중 잡음제거 효과가 가장 큰 9*9 필터를 사용하였다.

도 3은 본 발명에 따른 영상 정합 과정을 나타내는 순서도이다.

도 4의 (a)는 본 발명에 따른 해저영상의 원본 이미지, (b)는 원본 이미지의 SIFT 특징을 나타낸 이미지, (c)는 특징들을 대응시키는 과정을 나타낸 이미지이며, 도 5는 이에 따른 영상 정합 과정과 그 결과를 도시한 것이다.

현실적으로 동일한 위치의 해저 영상을 획득하는 것은 불가능하여, 회전(rotation), 이동(translation), 스케일(scale)이 다른 영상을 획득하게 된다. 따라서 이전에 스캔된 해저의 모습과 현재 스캔 영상과의 차 영상을 이용하여 수중 물체를 검출하기 위해서는 두 영상을 일치시키는 영상 정합(image registration)과정이 필요하다.

도 3을 참조하여 영상 정합과정을 설명한다. 먼저 각 영상의 특징을 추출하고(S210), 각 영상에 대하여 유사도가 최대가 되는 특징점을 추출한다(S220),

다음으로 불필요한 특징을 제거하고(S230), 특징점들의 결합을 통해서 두 영상의 회전, 이동, 스케일의 차이를 계산하고 하나의 영상을 그 차이만큼 회전, 이동, 스케일 변환을 하여 두 영상을 일치시킴으로써 영상을 정합한다(S240).

영상 정합에 사용하는 특징은 회전, 이동, 스케일 변환에 강인한 특성을 가지는 것이 바람직하여, 모서리 검출(edge detection), Histogram of Oriented Gradient(HoG), Scale Invariant Feature Transform(SIFT) 특징과 Speeded Up Robust Feature(SURF) 특징등이 사용될 수 있다.

SIFT 특징은 밝기의 변화가 지역적으로 극값인 key point 부근의 이웃들의 밝기의 변화율 방향과 크기를 나타내는 히스토그램으로 key point를 묘사한다. SIFT 특징은 회전, 이동, 크기 배율 변환에 불변이며, 투시 변환(perspective transform)과 조명 변화에 강인하여 물체 인식, 파노라마 영상 합성, 다시점 영상 합성, 제스춰 인식 등에 응용되고 있다.

SIFT에서 중요점(key point)는 규모 공간(scale space)에서의 극값으로 추출되는데, 규모 공간은 식(1)과 같이 Difference of Gaussian (DoG)로 구성한다.

여기서

는 식(2)와 같이 스케일

에서의 가우시안(Gaussian) 필터와 원 영상의 컨벌루션으로 구하며, DoG는 연속된 규모 공간

와

에서의 가우시안 평활화된 영상의 차이로 구한다.

가우시안 커널의 분산이 클수록 스케일이 작은 영상을 만드는 효과를 얻을 수 있다. 이러한 방식으로 선택된 중요점은 스케일 변화에 불변인 특성을 가지게 되며, 중요점 부근의 이웃들에 대하여 스케일

에서의 평활화 영상

의 밝기 변화율의 크기

와 방향

를 식(3)을 통해 구할 수 있다.

각 방향에 대하여 이웃 점들의 가중치를 구하고 가장 큰 값을 갖는 방향이 대표 방향이 된다. 그리고 중요점 부근의 4 x 4 영역에 대한 방향 히스토그램으로 중요점을 표현한다. 도 4의 (b)에는 원본 이미지인 도 4의 (a)에 SIFT 특징을 표시하여 나타낸 것이며, 도 4의 (c)는 특징들을 대응시키는 과정을 나타낸 이미지이다.

실제로 상기 대응 쌍들로부터 이동량, 회전량, 스케일 등을 계산하고 어파인(affine) 변환을 적용하여 하나의 영상을 변환하여 두 영상을 일치시키는 과정과 그 결과를 도 5에 도시하였다.

도 6의 (a)는 본 발명에 따른 차 영상을 이용하여 물체를 검출하는 개념을 도시한 것이고, (b)는 해저 영상에서 차 영상을 구한 결과를 도시한 것이다.

차 영상(difference image)은 다른 시간대에서 동일한 위치의 두 영상에서의 물체 이동을 검출하거나 배경 제거, 조명 균일화 등에 사용된다. 도 6의 (a)에 도시된 바와 같이 물체와 배경이 함께 있는 영상에서 배경만 있는 영상(=배경 영상)을 빼서 차 영상을 구하면 물체 후보 영역을 검출할 수 있다.

도 6의 (b)는 해저 영상에서 영상 정합 후 차 영상을 구한 결과이며, 이를 통해 물체의 후보 영역을 검출할 수 있다. 그러나, 소나 영상의 차 영상에는 사람의 눈으로는 잘 구별되지 않는 많은 잡음 성분들이 포함되어 있기 때문에 차 영상에서 직접 물체 후보 영역을 추출하기가 용이하지 않다. 영상에서 배경 영역을 제거하고 물체를 추출하는 과정을 영상 분할(image segmentation)이라 하는데, 영상에서 유사한 속성을 갖는 화소들의 집합으로 나누는 것을 의미하며, 밝기(gray level), 컬러, 텍스쳐, 깊이 정보, 모션 정보 등을 이용한다.

영상에서 밝기의 변화가 심한 부분을 에지(edge)라고 하는데, 에지를 기반으로 물체의 윤곽선을 추출할 수 있으며, 밝기의 1차 미분 또는 2차 미분을 사용한 에지 검출기(edge detector)로 구할 수 있다.

도 7의 (a)는 본 발명에 따른 수중 물체의 차 영상을 도시한 것이고, (b)는 차 영상의 에지 영상을 도시한 것이며, (c)는 추출된 물체의 후보 영역을 도시한 것이다.

에지 영상은 미분 연산자를 취하여 에지 성분을 검출하고 에지 히스토그램을 구한 후 적절한 임계치를 적용하여 이진화하여 구할 수 있다. 에지 영상에는 잡음 등으로 인한 미세한 변화까지 검출되어 물체 외에도 의미 없는 작은 영역이 많이 포함되어 있다. 각 영역의 에지 밀도를 계산하여 일정한 밀도 이상의 영역만 후보 영역으로 추출한다. 추출된 후보 영역에서 물체 인식을 시도하여 최종적으로 MLO를 검출한다.

물체 인식은 미지의 입력 패턴을 이미 알고 있는 패턴 클래스로 하나로 할당하는 과정으로 물체로부터 특징을 추출하고 이를 기반으로 물체를 인식한다. 실시간성을 고려하고 이동에 따른 변형을 흡수하기 위하여 선형 변환 방식을 이용하여 물체의 특징을 표현한다. 선형 변환 방식은 고차원의 데이터를 저차원의 데이터로 줄임으로서 빠른 수행 속도를 보장한다. 대표적인 선형 변환 방식으로는 데이터의 상관행렬(covariance matrix)에서 분산이 큰 방향을 찾아내는 주성분 분석(principal component analysis), 학습 단계에서 클래스의 구분에 중점을 두는 선형 판별식 분석(linear discriminant analysis), 통계적 독립성을 이용하여 독립적인 성분만을 추출하는 독립성분 분석(independent component analysis) 등이 있다. 본 발명에서는 선형 변환 기법의 하나인 주성분 분석 기법을 이용하여 물체의 특징을 추출하였다. 주성분 분석은 영상의 통계적 특성을 이용하여 학습영상의 전체적 특성을 표현하는 고유 벡터(eigenvector)로 분해한다, 그리고 이 고유 벡터의 선형 조합으로 임의의 물체 영상을 표현한다. 고유 벡터는 공분산 행렬(covariance matrix)를 계산하여 구할 수 있는 데, 학습 집합 내의 공분산 행렬은 각 화소들의 상관관계를 나타내는 행렬로 식 (4)와 같이 평균 영상과 각 개인 영상의 차 벡터와 차 벡터의 전치 벡터의 내적으로 계산된다.

(4)

여기서

은 학습 집합 내의 영상의 개수이고

는 각 물체의 영상 벡터와 평균 영상 벡터의 차 벡터이다.

도 8의 (a)는 여러 방향의 물체 영상을 도시한 것이고, (b)는 클러터와 잡음을 고려하여 생성된 물체 영상을 도시한 것이다. 인식기로는 LVQ (linear vector quantization) 신경망을 변형한 신경망을 사용하였으며, 사각형의 경우 약 80% 정도, 타원형의 경우 약 70% 정도의 인식율을 보였다.

해상실험의 제약으로 인하여 인식 과정은 모의 실험으로 진행하였으며 해저의 상황을 최대한 반영하기 위하여 클러터와 같은 잡음을 갖는 기뢰 영상을 생성하였으며, 기뢰 영상을 고유 공간으로 투영하여 특징을 추출하고 이를 신경망 기법을 이용하여 인식하였다. 제안하는 시스템은 최단 소행 항로(Q-route) 확보 등과 같은 선박의 안전한 항해에 도움을 줄 수 있을 것으로 예상된다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100 : 잡음제거부 200 : 영상정합부
300 : 영상분할부 400 : 물체검출부
500 : 물체분류부

Claims (9)

1. 소나(sonar)를 이용하여 획득한 영상에서 잡음을 제거하는 단계;
   기준영상과 상기 잡음을 제거한 영상을 정합(Image registration)하는 단계;
   상기 정합한 영상에서 배경영상을 제거하여 차(difference image)영상을 구하고, 상기 차 영상으로부터 물체 후보영역을 추출하는 단계; 및
   상기 물체 후보영역의 특징(feature)을 추출하고, 상기 추출된 특징을 기초로 상기 물체 후보영역에서 물체를 검출하는 단계;
   를 포함하는 수중물체 식별방법.
   
2. 제1항에 있어서,
   상기 잡음 제거 단계는, 평균 필터, 가우시안 필터, 중앙값 필터 중 적어도 하나를 사용하는 것을 특징으로 하는 수중물체 식별방법.
   
3. 제1항에 있어서,
   상기 영상 정합단계는, 상기 기준영상과 상기 잡음을 제거한 영상의 특징들을 추출하여, 유사도가 최대가 되는 특징들을 추출하고, 상기 특징들을 결합하여 상기 기준영상과 상기 잡음을 제거한 영상을 일치시키는 것을 특징으로 하는 수중물체 식별방법.
   
4. 제3항에 있어서,
   상기 특징들은, 모서리 검출(Edge Detection), 기울기 방향성 히스토그램(Histogram of Oriented Gradient), SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Feature) 중 어느 하나를 사용하여 추출되는 것을 특징으로 하는 수중물체 식별방법.
   
5. 제1항에 있어서,
   상기 배경영상은 상기 기준영상과 상기 잡음을 제거한 영상의 유사한 속성들의 집합으로 이루어진 영상으로, 상기 속성들은 밝기, 색상, 텍스쳐, 깊이, 모션 속성 중 적어도 하나를 포함하는 것을 특징으로 하는 수중물체 식별방법.
   
6. 제1항에 있어서,
   상기 검출된 물체를 인식하고 목적 물체인지 여부를 판단하는 단계를 더 포함하는 수중물체 식별방법.
   
7. 제6항에 있어서,
   상기 판단 단계는, 상기 검출된 물체를 고유 벡터(Eigenvector)로 분해하고, 상기 고유 벡터의 선형 조합을 통해서 인식하는 것을 특징으로 하는 수중물체 식별방법.
   
8. 제7항에 있어서,
   상기 고유 벡터는 공분산 행렬(Covariance matrix)을 이용하여 구한 것으로 상기 공분산 행렬은 하기 수학식으로 도출된 것을 특징으로 하는 수중물체 식별방법.
   <수학식>
   

   

   
   (여기서,

   

   은 학습 집합 내의 영상의 개수,

   

   는 각 물체의 영상 벡터와 평균 영상벡터의 차 벡터,

   

   는

   

   의 전치 벡터임.)
   
9. 소나(sonar)를 이용하여 획득한 영상에서 잡음을 제거하는 잡음 제거부;
   기준영상과 상기 잡음을 제거한 영상을 정합하는 영상 정합부;
   상기 정합한 영상에서 배경영상을 제거하여 차(difference image)영상을 구하고 상기 차 영상으로부터 물체 후보영역을 추출하는 영상 분할부;
   상기 물체 후보영역의 특징(feature)을 추출하고 상기 추출된 특징을 기초로 물체 후보영역에서 물체를 검출하는 물체 검출부; 및
   상기 검출된 물체를 인식하고 목적 물체인지 여부를 판단하는 물체 분류부;
   를 포함하는 수중물체 식별 장치.

Images