KR101662292B1 - 영상 처리를 통한 쇄파지역 연안류 측정 장치 및 방법 - Google Patents

Abstract

본 발명에 따른 영상 처리를 통한 쇄파지역 연안류 측정 장치는, 일정 기간동안 해안선을 촬영하여 복수의 시계열적 이미지를 생성하는 촬영부; 상기 복수의 이미지 프레임 각각을 실제 지형좌표로 기하보정 하는 기하보정부; 상기 기하보정 된 각각의 이미지 프레임 상에서 SIFT(Scale-Invariant Feature Transform) 기법을 사용하여, 쇄파대 포말(foam)의 영역을 추출하는 불변특징량 추출부; 및 상기 각각의 이미지 프레임에서 추출된 쇄파대 포말 영역의 이동에 따라 유속장(velocity field)을 계산하는 유속장 계산부를 포함한다.

Description

영상 처리를 통한 쇄파지역 연안류 측정 장치 및 방법 {APPARATUS AND METHOD FOR MEASUREING NEARSHORE CURRENT USING IMAGE PROCESSING}

본 발명은 쇄파지역 연안류 측정 장치 및 방법에 관한 것으로서, 보다 상세하게는 연안에서 처리된 영상에 대한 영상 처리를 통해 쇄파지역의 연안류를 측정할 수 있는 장치 및 방법에 관한 것이다.

육지 인근의 천해지역 쇄파대(surf zone)에서 발생하는 연안류(nearshore current)는 모래이동 및 연안지형 변화에 영향을 미치는 중요한 외력인자 중에 하나다. 연안류는 파랑, 조석 등 주로 수리동력학적 물리인자들에 의해서 발생하지만, 또한 연안에서 나타나는 수평적 및 수직적인 지형특성에 의해서도 유도되기도 한다.

특히, 쇄파대에서는 파랑, 연안류 및 해저지형은 상호작용을 통하여 상당 부분 서로 영향을 주고 받으며 변화한다. 쇄파대에서 이러한 수리동력학적 상호작용 메커니즘은 현대의 연구에서도 명확하게 정의하기 힘든 부분이 있다. 따라서, 쇄파대에서 수리동력학적 특성에 대한 이해도를 향상시키기 위해서는, 쇄파대의 전 영역에 걸쳐서 공간적으로 보다 세밀하게 수리동력학적 물리인자들에 대한 관측자료를 수집할 필요가 있다.

연안침식에 대한 연안관리정책을 수립하고 시행하는 데에는 막대한 비용이 소요되고 있는데, 이러한 연안관리정책의 시행효과를 높이기 위해서는, 연안침식량 정확하게 산정할 수 있는 관측자료의 수집과 연안지형의 변화를 예측할 수 있는 기술의 개발이 요구되며, 연안에서 해사침식에 따른 모래이송량을 산정하기 위해서는 연안류의 측정이 필수적이다. 쇄파대에서 해안선 방향의 연안류는 연안 모래이송에 중요한 역할을 하고 있고, 단위면적당 연간 수십만 입방미터 규모의 모래량을 수송할 수 있는 것으로 알려져 있다.

연안지형변화의 예측을 위해서는 수리동력학적 메커니즘에 대한 수치예측모델의 개발이 선행되어야 하는데, 쇄파대에서 연안류의 측정자료는 수치예측모델의 검증에 중요하게 사용될 수 있다.

종래에는 연안류의 관측을 위해 현장에 유속계측기기를 설치하거나, 원격탐사기술을 이용하는 방법 및 시계열 비디오 광학영상으로부터 해안선 방향의 연안류(alongshore currents)를 측정하는 OCM(optical current meter) 기술 등이 소개 되었다.

유속계측기기를 사용하는 방식에 대해 설명하면, 오래전부터는 한쪽방향(x축방향 또는 y축방향 등)에 대해서만 유속을 측정할 수 있는 전자기 유속계(electromagnetic current meter)를 사용해 왔으며, 근래에 들어서는 세가지 방향(x-y-z)에 대해서 유속을 측정할 수 있는 음파식 유속계(acoustic sensor)도 사용하고 있다. 하지만, 현장에 직접 관측장비를 설치하여 유속을 측정하는 방법은 쇄파대 전체 영역에 걸쳐 설치하고 유지관리하는데 많은 인력과 비용이 소요된다. 특히, 폭풍시 포함하는 장기간의 모니터링이 요구되는 때에는 고가 관측장비의 파손 및 손실 우려가 있어, 실제적으로 장기간 운영하기가 쉽지 않다.

또한, 원격탐사기술을 이용하여 연안류를 관측하는 방법은, 앞서 설명한 현장 관측장비 설치를 통한 유속관측 방법의 단점을 보완해 줄 수 있다. CCTV영상, 레이다영상 등을 이용한 원격관측방법은 한 번의 설치로 쇄파대 전역을 장기간 모니터링할 수 있어, 설치 및 유지관리 비용을 크게 절감할 수 있다. 원격탐사기술을 이용한 예로써, 연안 쇄파대를 촬영한 시계열 광학영상에 PIV(particle image velocimetry) 기술을 적용하여 연안류를 측정하는 기술이 소개 되었는데, 이 PIV 기술은 연속되는 두 장의 영상프레임(image frame)으로부터 쇄파대 포말(foam) 패턴의 움직임을 2차원 교차-상호상관 분석 방법(2D cross-correlation analysis method)으로 유속장을 계산하는 것을 요지로 한다. 하지만, 이 기술은 많은 계산이 걸린다는 단점이 존재하며, 쇄파가 되는 순간, 유속이 급변하는 쇄파점 주변에서의 유속 측정값이 부정확하다는 단점이 있다.

또한, OCM(Optical Current Meter) 기술의 사용을 위해서는 우선 연안류를 측정하고자 하는 쇄파대의 한 위치에서 해안선과 평행하게 특정관측거리(transect)를 설정하고, 시계열 광학영상 자료로부터 해안선방향 이미지 타임스택(alongshore image timestack), I(t,y;x)를 생성하는 것이 필요하다. 여기서, t는 시간, x는 해안선 평행방향으로 거리, y는 해안선 수직방향으로 거리이다. OCM 기술은 이렇게 생성된 해안선방향 이미지타임스택에 2차원 푸리에 변환과 자코비얀(Jacobian) 변환을 거쳐 해안선 방향의 유속을 구할 수 있다. 하지만, 이 기술은 해안선 방향의 유속만을 측정할 수 있으며, 해안선 방향과 수직 방향에서의 연안류를 측정하는 것이 불가능한 제약이 따른다.

이에, 본 발명에서는 종래의 연안류 측정 방법의 단점을 보완하기 위해, 해안을 촬영한 영상으로부터 쇄파대 연안류의 공간적 유속장을 측정할 수 있는 방안을 제안한다.

한편, 상기의 발명의 배경이 되는 기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.

본 발명의 목적은 해안선을 촬영한 시계열적 이미지에서 불변특징량 추출기법(Scale Invariant Feature Transform, 이하 SIFT 기법)을 사용하여 쇄파대 포말의 불변특징점들을 시간에 따라 추적함으로써, 쇄파대 유속장을 계산할 수 있는 쇄파지역 연안류 측정 장치 및 방법을 제공함에 있다.

상기 목적은 본 발명에 따라, 영상 처리를 통한 쇄파지역 연안류 측정 장치에 있어서, 일정 기간동안 해안선을 촬영하여 복수의 시계열적 이미지를 생성하는 촬영부; 상기 복수의 이미지 프레임 각각을 실제 지형좌표로 기하보정 하는 기하보정부; 상기 기하보정 된 각각의 이미지 프레임 상에서 SIFT(Scale-Invariant Feature Transform) 기법을 사용하여, 쇄파대 포말(foam)의 영역을 추출하는 불변특징량 추출부; 및 상기 각각의 이미지 프레임에서 추출된 쇄파대 포말 영역의 이동에 따라 유속장(velocity field)을 계산하는 유속장 계산부를 포함하는 장치에 의해서 달성될 수 있다.

여기서, 상기 불변특징량 추출부는, 상기 기하보정 된 각각의 이미지 프레임에 대해 가우시안 함수(Gaussian Function)를 적용하여 필터링된 이미지를 생성하고, 생성된 필터링 이미지에 차영상 함수를 적용하여 차영상 이미지를 생성한 후, 상기 차영상 이미지에서 주변 픽셀과의 강도(intensity) 값이 소정 이상 또는 이하인 국부 특징점을 추출하는 국부 특징점 추출부를 포함할 수 있다.

여기서, 상기 불변특징량 추출부는, 상기 차영상 이미지로부터 추출된 국부 특징점들에 대해 픽셀내삽을 통하여 새로운 특징점들을 추출하는 픽셀내삽 처리부를 더 포함할 수 있다.

여기서, 상기 불변특징량 추출부는, 상기 추출된 특징점을 중심으로 특징점 주변의 경사도의 크기 및 경사의 방향을 결정하는 경사 결정부를 더 포함할 수 있다.

여기서, 상기 불변특징량 추출부는, 상기 특징점을 중심으로 주변에 위치한 기 설정된 복수의 픽셀들을 포함하여 지역영역으로 샘플링 하고, 상기 지역영역에 포함된 복수의 픽셀 위치에서 산출된 경사크기의 분포를 구한 후, 상기 지역영역의 특징점에 대한 복수의 벡터요소를 포함하는 지역 특징량을 부여하는 지역특징량 부여부를 더 포함할 수 있다.

여기서, 상기 불변특징량 추출부는, 상기 복수의 이미지 프레임 중 연속되는 2개의 이미지 프레임에 대해 동일한 지역 특징량을 갖는 특징점을 인식하고, 상기 인식된 특징점을 매칭 시키는 특징점 매칭부를 더 포함할 수 있다.

여기서, 상기 유속장 계산부는, 상기 2개의 이미지 프레임에서 매칭되는 특징점의 이동 거리를 계산하고, 상기 계산된 이동 거리를 바탕으로 유속장을 계산할 수 있다.

또한, 상기 목적은 본 발명에 따라, 영상 처리를 통한 쇄파지역 연안류 측정 방법에 있어서, 일정 기간동안 해안선을 촬영하여 복수의 시계열적 이미지를 생성하는 촬영 단계; 상기 복수의 이미지 프레임 각각을 실제 지형좌표로 기하보정 하는 기하보정 단계; 상기 기하보정 된 각각의 이미지 프레임 상에서 SIFT(Scale-Invariant Feature Transform) 기법을 사용하여, 쇄파대 포말(foam)의 영역을 추출하는 불변특징량 추출 단계; 및 상기 각각의 이미지 프레임에서 추출된 쇄파대 포말 영역의 이동에 따라 유속장(velocity field)을 계산하는 유속장 계산 단계를 포함하는 방법에 의해서 달성될 수도 있다.

여기서, 상기 불변특징량 추출 단계는, 상기 기하보정 된 각각의 이미지 프레임에 대해 가우시안 함수(Gaussian Function)를 적용하여 필터링된 이미지를 생성하고, 생성된 필터링 이미지에 차영상 함수를 적용하여 차영상 이미지를 생성한 후, 상기 차영상 이미지에서 주변 픽셀과의 강도(intensity) 값이 소정 이상 또는 이하인 국부 특징점을 추출하는 국부 특징점 추출 단계를 포함할 수 있다.

여기서, 상기 불변특징량 추출 단계는, 상기 차영상 이미지로부터 추출된 국부 특징점들에 대해 픽셀내삽을 통하여 새로운 특징점들을 추출하는 픽셀내삽 처리 단계를 더 포함할 수 있다.

여기서, 상기 불변특징량 추출 단계는, 상기 추출된 특징점을 중심으로 특징점 주변의 경사도의 크기 및 경사의 방향을 결정하는 경사 결정 단계를 더 포함할 수 있다.

여기서, 상기 불변특징량 추출 단계는, 상기 특징점을 중심으로 주변에 위치한 기 설정된 복수의 픽셀들을 포함하여 지역영역으로 샘플링 하고, 상기 지역영역에 포함된 복수의 픽셀 위치에서 산출된 경사크기의 분포를 구한 후, 상기 지역영역의 특징점에 대한 복수의 벡터요소를 포함하는 지역 특징량을 부여하는 지역특징량 부여 단계를 더 포함할 수 있다.

여기서, 상기 불변특징량 추출 단계는, 상기 복수의 이미지 프레임 중 연속되는 2개의 이미지 프레임에 대해 동일한 지역 특징량을 갖는 특징점을 인식하고, 상기 인식된 특징점을 매칭 시키는 특징점 매칭 단계를 더 포함할 수 있다.

여기서, 상기 유속장 계산 단계는, 상기 2개의 이미지 프레임에서 매칭되는 특징점의 이동 거리를 계산하고, 상기 계산된 이동 거리를 바탕으로 유속장을 계산할 수 있다.

상술한 본 발명에 따르면, 해안선을 촬영한 시계열적 이미지에서 불변특징량 추출기법(Scale Invariant Feature Transform, 이하 SIFT 기법)을 사용하여 쇄파대 포말의 불변특징점들을 시간에 따라 추적함으로써, 쇄파대 유속장을 계산할 수 있는 쇄파지역 연안류 측정 장치 및 방법을 제공할 수 있다.

도 1는 본 발명의 일 실시예에 따른 연안류 측정 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따라 촬영된 이미지 프레임의 일 예를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따라 생성된 차영상 이미지의 일 예를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 픽셀내삽 과정의 개념도이다.
도 5는 본 발명의 일 실시예에 따라 두 장의 이미지 프레임으로부터 추출한 특징점들을 매칭시킨 결과를 예시한 것이다.
도 6은 본 발명의 일 실시예에 따라 특징점들이 근소시간 동안 움직인 거리차이를 이용하여 계산한 유속장을 결과를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따라 공간적 및 시간적으로 평균한 연안류 유속장의 결과를 예시한 것이다.
도 8은 본 발명의 일 실시예에 따른 연안류 측정 방법의 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 연안류 측정 방법에서 불변특징량 추출 단계를 보다 상세히 도시한 것이다.

본 발명은 한국해양과학기술원의 지원(PE9918D: 동해사빈의 지형역학적 특성 연구)과 해양수산부의 재원으로 한국해양과학기술진흥원의 지원(“연안침식 대응기술 개발”연구과제)을 받아 수행된 연구결과임.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.

도 1은 본 발명의 일 실시예에 따른 연안류 측정 장치(100)의 블록도이다.

도시된 바와 같이, 본 발명의 일 실시예에 따른 연안류 측정 장치(100)는 촬영부(110), 기하보정부(140), 불변특징량 추출부(120) 및 유속장 계산부(130)를 포함한다. 또한, 불변특징량 추출부(120)는 국부특징점 추출부(122), 픽셀내삽 처리부(122), 경사 결정부(123), 지역특징량 부여부(124) 및 특징점 매칭부(125)를 포함할 수 있다. 여기서, 도시된 각 구성은 일련의 소프트웨어 모듈로 구성될 수 있으며, 도시된 구성 중 일부가 생략 또는 치환되더라도 본 발명의 사상을 구현함에는 아무런 지장이 없을 것이다.

촬영부(110)는 일정 기간동안 해안선을 촬영하여 복수의 시계열적 이미지를 생성한다. 촬영부(110)는 해안선 인근에 고정 설치되어 해안선을 포함하는 이미지를 촬영할 수 있는 공지의 캠코더(Camcoder), CCTV(Closed Circuit Television) 등의 장치로 구현될 수 있으며, 후술할 불변특징량 추출부(120) 및 유속장 계산부(130)와는 원거리에 위치하여 유/무선 통신을 통해 촬영한 이미지를 전송할 수도 있다. 촬영된 이미지는 소정의 프레임 레이트를 갖는 이미지 프레임들로 구성될 수 있다.

도 2는 촬영부(110)를 통해 촬영한 이미지 프레임의 일 예를 도시한 것이다. 도시된 이미지 프레임은 한 대의 CCTV를 해안 중앙부의 고층에 설치하여 해안선과 평행한 방향으로 쇄파대를 포함하는 연안지역을 촬영한 것이며, 해상도는 1920*1080 화소에 해당한다. 촬영된 이미지에 나타나는 거리범위는 해안선 방향 및 외해 방향으로 약 500m 정도이다.

도 2에서 해안선 근처에 사각지역으로 표시된 부분은 연안류 측정 장치(100)를 통해 연안류를 측정하는 데 사용된 이미지 영역에 해당한다.

한편, 연안류 측정 장치(100)는 해변 및 쇄파지역의 지형자료와 비디오 이미지의 영상보정을 위한 지상기준점 (GCPs: ground control points)의 위치자료를 수집하기 위해서 RTK(real time kinematic) DGPS(differential GPS) 지형계측 장비를 사용할 수 있다.

기하보정부(140)는 복수의 이미지 프레임 각각을 실제 지형좌표로 기하보정 한다. 촬영부(110)에 의해 획득된 각각의 이미지 프레임은 실제와 달리 2차원적으로 구성되는 바 실제 공간좌표에서의 모양과는 달리 왜곡이 될 수 있다. 이미지 내에 존재하는 왜곡에는 카메라 렌즈에 의한 굴절왜곡 및 좌표 변형에 의한 기하왜곡을 들 수 있으며, DLT(Direct Linear Transformation) 기법 등 공지의 방법에 의해 상기와 같은 이미지의 기하학적 왜곡을 보정할 수 있다.

기하보정부(140)의 기하보정 결과 각각의 2차원 이미지 내의 픽셀좌표 (i, j)는 3차원 기하좌표(x, y, z)로 변환될 수 있다.

불변특징량 추출부(120)는 기하보정 된 각각의 이미지 프레임 상에서 쇄파대 포말(foam)의 영역을 추출한다. 이를 위해, 불변특징량 추출부(120)는 SIFT(Scale-Invariant Feature Transform) 기법을 사용할 수 있는데, SIFT 기법은 서로 다른 거리와 각도로 촬영한 여러 장의 영상에서 크기와 회전에 불변하는 물체의 특징을 추출하여 물체인식이나 물체추적 등에 사용하는 기술로써, Lowe (2004)의 논문에 상세히 기재된 공지 기술이므로 그 상세한 설명을 생략하기로 한다.

불변특징량 추출부(120)에서 수행하는 프로세스의 최종 목표는 시계열적으로 구성된 각각의 이미지 프레임 상에서 쇄파대 포말(foam) 영역을 추출하고, 각 이미지 프레임에서의 쇄파대 포말 영역의 이동을 계산하여, 연안류의 유속장을 계산함에 있다. 이를 위해, 불변특징량 추출부(120)는 SIFT 알고리즘에 근거한 여러 프로세스를 수행하는데, 각 프로세스를 수행하기 위한 세부 구성으로써, 국부특징점 추출부(122), 픽셀내삽 처리부(122), 경사 결정부(123), 지역특징량 부여부(124) 및 특징점 매칭부(125)를 포함할 수 있다. 이하에서는, 불변특징량 추출부(120)의 각 세부 구성에서 수행하는 기능에 대해 설명하기로 한다.

국부특징점 추출부(122)는 기하보정 된 각각의 이미지 프레임에 대해 가우시안 함수(Gaussian Function)를 적용하여 필터링된 이미지를 생성하고, 생성된 필터링 이미지에 차영상 함수를 적용하여 차영상 이미지를 생성한 후, 상기 차영상 이미지에서 주변 픽셀과의 강도(intensity) 값이 소정 이상 또는 이하인 국부 특징점을 추출한다.

연안에서 발생하는 쇄파대 포말(foam)은 해수면에 떠서 연안류를 따라 움직인다. 이 때, 이미지 프레임에 나타나는 포말 조각(foam patch)은 흰 색을 띄므로, 이미지 픽셀강도(image pixel intensity)값이 쇄파대가 아닌 지역 보다 일반적으로 높은 픽셀강도 값(high intensity)을 갖지만 동일하지 않고 불규칙적인 배열 특성을 보인다.

포말 조각에 나타나는 이미지 픽셀강도 값이 불규칙적인 배열 특성을 갖는 바, 국부특징점 추출부(122)는 불규칙적인 배열 특성으로부터 각 부분마다 국부적인 특징점을 추출하기 위해 가우시안 함수(Gaussian function)와 가우시안-라플라시안 함수 형식인 차영상(또는, 가우시안-디퍼런스(DoG): Difference-of-Gaussian) 함수를 적용한다.

우선, 각 이미지 프레임 I(x, y)에 가우시안 함수 G(x, y, σ)의 적용은 다음 식 1과 같이 함수간 변수 x와 y에 대한 컨볼루션 연산(convolution: *)으로 표현된다.

[식 1]

여기서, σ은 이미지 스무딩 인자(smoothing factor)이다. 이 가우시안 함수는 이미지의 로패스(low-pass) 필터의 한 종류로, 각 이미지 프레임에서 나타날 수 있는 작은 크기의 노이즈를 제거하기 위하여 사용된다.

또한, 알려진 바와 같이, 가우시안 함수 G(x, y, σ)는 다음의 식 2와 같이 정의될 수 있다.

[식 2]

하나의 이미지 프레임에 대해 가우시안 함수를 적용한 결과 필터링 된 이미지가 생성되며, 국부특징점 추출부(122)는 필터링된 이미지에 다시 차영상 함수를 적용하여 차영상 이미지를 생성한다.

이미지 I(x, y)에 대한 차영상 함수 D(x, y, σ)의 적용은 멀티스케일 인자(multiplicative factor) k를 사용하여, 식 1로부터 아래의 식 3과 같이 계산된다.

[식 3]

이에 따라 생성된 차영상 이미지는 국부적으로 각 픽셀들에서의 강도(intensity) 값이 주변 픽셀들과 비교하여 소정 이상(또는 최대점이나 최소점)이 되는 국부 특징점을 찾는데 사용된다. 보통, 국부 특징점을 찾을 때, 스케일이 다른 여러 장의 차영상 이미지를 사용할수록 검출된 국부 특징점의 인식률도 높게 나타난다.

불변특징량 추출기법(SIFT)을 제안한 Lowe (2004)은 스무딩 인자 σ값, 멀티스케일 인자 k값, 그리고 차영상 이미지의 수(#)에 대해서, 반복적인 실험을 통하여 계산시간 대비 특징점 인식률을 고려했을 때, σ = 1.6, k = 20.5, # = 3이 효과적임을 제시하였다. 본 발명에 따른 연안류 측정 장치(100)는 σ = 1.6 값과 k = 20.5, 2, 21.5 세가지 값을 사용하여, 하나의 이미지 프레임으로부터 세 개의 차영상 이미지를 구하도록 하였으며, 이에 따라 생성된 차영상 이미지는 도 3에 도시된 바와 같다.

도 3을 참고하면, σ=1.6, k = 2 값을 사용하여 생성된 차영상 이미지에서 각 픽셀의 강도 값이, 주변의 8개의 픽셀들과 σ=1.6, k = 20.5 값 및 σ=1.6, k = 21.5 값으로 생성된 차영상 이미지에서 같은 위치의 주변 18개 픽셀들과 비교하여 국부 최대이거나 국부 최소일 경우, 국부 특징점으로 추출할 수 있다.

픽셀내삽 처리부(122)는 국부특징점 추출부(122)에서 추출된, 차영상 이미지로부터 추출된 국부 특징점들에 대해 픽셀내삽(pixel interpolation)을 통하여 새로운 특징점들을 추출한다.

픽셀내삽 처리부(122)의 처리 과정은 추출된 특징점들 중에서 국부적 특징이 강한 점들을 선별하고, 한 픽셀크기 단위의 특징점의 위치를 보다 상세하게 내삽(interpolation)하는 과정이다.

디지털 이미지 상에서 추출된 특징점은 픽셀 크기단위로 그 위치가 추출된다. 도 4는 픽셀내삽 과정을 통하여 픽셀 단위의 국부 특징점의 위치를 연속되는 평면 상에서 보다 실제 위치에 가깝게 내삽해 주는 개념도를 보여준다.

픽셀내삽 처리부(122)는 차영상 이미지의 픽셀좌표 (x, y) 및 강도 값 D(x, y, σ)에 대해서 테일러 급수의 이차항까지를 사용하여 아래 식 4과 같이 계산하여 픽셀내삽을 수행할 수 있다.

[식 4]

여기서, X = (x, y)를 나타내며, X′은 픽셀내삽을 통하여 계산된 새로운 특징점의 위치를 나타낸다.

차영상 이미지로부터 추출된 특징점은 주변 픽셀들에 비해서 상대적으로 크거나 작은 강도 값을 갖는다. 하지만, 특징점의 강도 값이 주변 픽셀들에 비해서 큰 차이가 없을 때, 국부적 대표성이 떨어지므로 쇄파대의 포말 인식의 오류를 줄이기 위해서는 그 특징점은 제거될 필요가 있다.

이에, 본 발명에 따른 연안류 측정 장치(100)는 차영상 이미지에서 픽셀강도 값이 [0 1] 범위에 분포하도록 정규화한 다음, 추출되고 내삽된 특징점의 픽셀강도 값이 일정한 값(예컨대, 0.03)보다 작으면 그 특징점을 제거할 수 있다.

경사 결정부(123)는 추출된 특징점을 중심으로 특징점 주변의 경사도의 크기 및 경사의 방향을 결정한다.

특징점은 국부적인 이미지 영역을 대표하는 점이다. 이 과정에서는, 추출된 특징점에 추가적으로 고유한 특성을 부여하기 위하여, 특징점을 중심으로 특징점 주변의 경사도 크기와 경사의 방향을 결정한다.

특징점은 국부 최대점이나 최소점으로 주변 픽셀들과 비교하여 경사도를 갖으며, 경사도가 큰 방향으로 방향성을 갖는다. 경사 결정부(123)는 어떤 특징점 (x, y)에서 경사도의 크기 m(x, y) 및 경사의 방향 θ(x, y)을 가우시안 로패스 필터 이미지 L(x, y, σ)로부터 아래의 식 5 및 식 6를 사용하여 계산할 수 있다.

[식 5]

[식 6]

따라서, 어떤 한 특징점이 갖는 고유 특성은 위치, 경사도의 크기 (또는 경사크기) 및 경사도의 방향(또는 주경사방향), 이 세가지로 축약된다. 여기서, 주경사방향 θm은 0 ~ 360°범위를 10°간격으로 나눈 36개의 방향성분에 대해서만 고려된다.

지역특징량 부여부(124)는 특징점을 중심으로 주변에 위치한 기 설정된 복수의 픽셀들을 포함하여 지역영역으로 샘플링 하고, 지역영역에 포함된 복수의 픽셀 위치에서 산출된 경사크기의 분포를 구한 후, 지역영역의 특징점에 대한 복수의 벡터요소를 포함하는 지역 특징량을 부여한다.

이전 과정들에서 특징점을 추출하고 고유특성을 계산할 때는, 특징점 위치 주변의 8개 픽셀들과의 비교를 통하여 이루어졌다. 따라서, 위 과정들을 통하여 부여된 특징점의 고유특성은 매우 국소적이다. 지역특징량 부여부(124)에서 수행하는 과정에서는, 영상으로부터 특징점을 추출할 때 특징점의 추출 오류를 줄이고 보다 안정적으로 특징점을 인식하기 위해서, 특징점을 중심으로 보다 확대된 영역에서 지역 특징량을 추가적으로 산정한다.

지역특징량 부여부(124)는 가우시안 로패스 필터 이미지 L(x, y, σ)로부터 각 특징점의 지역 특징량을 계산할 때, 특징점을 중심으로 16 ? 16 픽셀 배역을 지역영역(local region)으로 샘플링하고, 이를 다시 4 ? 4 픽셀 배열인 소영역(subregion)으로 재분할하여 총 16개의 소영역을 사용할 수 있다. 이는 SIFT 기술은 제안한 Lowe (2004)의 연구 결과 최적으로 결정된 것이다.

한편, 한 특징점의 지역 특징량은, 그 지역영역을 이루고 있는 16개의 소영역이 각각 지니고 있는 고유특성의 조합으로 계산된다. 4 ? 4 픽셀크기의 소영역이 가지는 고유특성은, 소영역 내의 각 픽셀위치 (xi, yi)에서 식 5와 6을 사용하여 계산한 경사크기 mi와 경사방향 θi을 사용하여 산정될 수 있다. 각 픽셀위치에서 경사방향을 계산할 때, 경사 결정부(123)에서 계산된 특징점의 주경사방향 θm 값을 기준으로(즉, 0°)하여 경사방향 θi을 계산한다. 각 픽셀위치에서 산정된 경사방향 θi은 다시 0 ~ 360°범위를 45°간격으로 나눈 8개의 대표 방향성분(8 orientation bins) 중 해당 방향성분을 찾는데 사용될 수 있다.

지역특징량 부여부(124)는 소영역 내의 모든 16개 픽셀위치에서 8개의 대표 방향성분에 대해서 산출된 경사크기의 분포를 구한다. 이렇게 산출된 8개 대표 방향성분에 대한 경사크기의 분포(또는 히스토그램: 8개의 벡터요소로 구성된 어레이벡터)가 소영역의 고유특성이다. 한 지역영역은 다시 16개의 소영역으로 구성되어 있으므로, 한 특징점이 가지는 지역 특징량은 128(= 8?16)개의 벡터요소로 어레이벡터로 부여될 수 있다.

특징점 매칭부(125)는 복수의 이미지 프레임 중 연속되는 2개의 이미지 프레임에 대해 동일한 지역 특징량을 갖는 특징점을 인식하고, 상기 인식된 특징점을 매칭 시킨다.

쇄파대 포말이 천조각처럼 연안류를 따라 이동할 때, 각 이미지 프레임으로부터 추출된 포말조각 특징점의 지역 특징량 또한 근소 시간(dt)에는 크게 변하지 않는다. 따라서, 근소시간 동안 연속되는 두 장의 시계열 이미지(two sequential image frames in time-series)로부터 움직이고 있는 포말조각의 추적은, 동일한(또는 매우 유사한) 지역 특징량을 갖는 특징점을 이 두 장의 이미지에서 각각 인식해내는 작업이라고 볼 수 있다.

앞서 설명한 바와 같이, 지역특징량 부여부(124)에 의해 부여된 각 특징점의 지역 특징량은 128개의 벡터요소로 어레이벡터로 표현될 수 있다. 특징점 매칭부(125)는 두 장의 이미지에서 동일한(또는 매우 유사한) 어레이벡터를 인식하는 방법으로 인접이웃(nearest neighbor) 기법을 사용할 수 있다. 인접이웃 기법은 두 장의 어레이벡터 사이에 내적을 구하고, 그 결과 값이 다른 어레이벡터들과의 내적 값들에 비해서 최소가 되었을 때, 그 두 장의 특징점은 동일한 특징점으로 매칭시키는 방법이다.

도 5는 상기와 같은 방법에 따라 근소 시간(dt) 차이로 촬영한 두 장의 이미지 프레임으로부터 추출한 특징점들과 동일 특징점들을 매칭시킨 결과를 예시한 것이다.

유속장 계산부(130)는 각각의 이미지 프레임에서 추출된 쇄파대 포말 영역의 이동에 따라 유속장(velocity field)을 계산한다. 이 때, 불변특징량 추출부(120)의 추출 결과에 따라 2개의 이미지 프레임에서 매칭되는 특징점의 이동 거리를 계산하고, 상기 계산된 이동 거리를 바탕으로 유속장을 계산할 수 있다.

불변특징량 추출부(120)의 수행 결과 두 장의 연속 이미지로부터 쇄파대 포말의 움직임을 나타나는 동일 특징점들의 위치를 각각 추출하게 되며, 유속장 계산부(130)는 추출된 동일 특징점들이 근소시간 동안 움직인 위치의 이동거리로부터 유속장을 계산할 수 있다.

근소시간(dt) 동안 동일 특징점이 x축 방향(해안선 방향)으로 움직인 이동거리를 dlx, y축 방향(해안선의 법선방향)으로 움직인 이동거리를 dly 라고 할 때, 그 특징점 위치에서의 유속벡터 (vx, vy)는 vx = dlx/dt, vy = dly/dt 으로 계산될 수 있다.

도 6은 앞서 도 5에 도시된 동일 특징점들이 근소시간 동안 움직인 거리차이를 이용하여 계산한 유속장을 결과를 도시한 것이다.

유속장 계산부(130)의 계산 결과에서 실제 연안류에 의해 발생하지 않은 오류 유속벡터들이 존재할 수 있다. 따라서, 유속장 계산부(130)는 이러한 오류를 필터링 하기 위해 해안선 방향의 유속벡터 성분(vx) 값이 -

이상이거나

이하일 때, 그 유속벡터는 제거한다. 여기서, g는 중력가속도, h는 그 지점에서 수심을 의미한다.

이와 더불어, 유속장의 에러를 공간적 및 시간적으로 줄이기 위하여, 일정한 공간적 및 시간적 간격으로 평균값을 취할 수 있다. 공간적으로 유속장의 평균값을 취하기 위하여 Fig. 6과 같이 x축 방향으로는 10m 간격으로 y축 방향으로는 2m 간격으로 격자를 두어, 각 격자 내에서 추출된 모든 유속벡터들에 대해서 평균값을 취할 수 있다. 또한, 각 격자 내에서 시간적으로는 15분 동안에 대해서 측정된 유속벡터의 시계열자료를 평균할 수 있다.

도 7은 이와 같이 공간적 및 시간적으로 평균한 연안류 유속장의 한 결과를 도시한 것이다.

상술한 본 발명에 따른 연안류 측정 장치에 따르면, 해안선을 촬영한 시계열적 이미지에서 불변특징량 추출기법을 사용하여 쇄파대 포말의 불변특징점들을 시간에 따라 추적함으로써, 쇄파대 유속장을 계산할 수 있다.

도 8은 본 발명의 일 실시예에 따른 연안류 측정 방법의 흐름도이다.

도시된 방법은 앞서 도 1을 통해 설명한 연안류 측정 장치에 의해 수행될 수 있으며, 이미 설명한 바 있는 기술적 특징에 대해서는 이하에서 그 설명을 생략하기로 한다.

연안류 측정 장치는 촬영 단계(S100)에서 일정 기간동안 해안선을 촬영하여 복수의 시계열적 이미지를 생성한다.

이 후, 기하보정 단계(S200)에서 복수의 이미지 프레임 각각을 실제 지형좌표로 기하보정 한다. 기하보정 결과 각각의 2차원 이미지 내의 픽셀좌표 (i, j)는 3차원 기하좌표(x, y, z)로 변환될 수 있다.

불변특징량 추출 단계(S300)에서는 기하보정 된 각각의 이미지 프레임 상에서 쇄파대 포말(foam)의 영역을 추출한다. 이를 위해, 연안류 측정 장치는 SIFT(Scale-Invariant Feature Transform) 기법을 사용할 수 있는데, SIFT 기법은 서로 다른 거리와 각도로 촬영한 여러 장의 영상에서 크기와 회전에 불변하는 물체의 특징을 추출하여 물체인식이나 물체추적 등에 사용하는 기술에 해당한다.

불변특징량 추출 단계는 SIFT 알고리즘에 근거한 여러 단계들을 포함하며, 도 9에 도시된 바와 같다.

먼저, 국부특징점 추출 단계(S310)에서는 기하보정 된 각각의 이미지 프레임에 대해 가우시안 함수(Gaussian Function)를 적용하여 필터링된 이미지를 생성하고, 생성된 필터링 이미지에 차영상 함수를 적용하여 차영상 이미지를 생성한 후, 상기 차영상 이미지에서 주변 픽셀과의 강도(intensity) 값이 소정 이상 또는 이하인 국부 특징점을 추출한다.

다음으로, 픽셀내삽 처리 단계(S320)에서는 상기 차영상 이미지로부터 추출된 국부 특징점들에 대해 픽셀내삽을 통하여 새로운 특징점들을 추출한다.

다음으로, 경사 결정 단계(S330)에서는 상기 추출된 특징점을 중심으로 특징점 주변의 경사도의 크기 및 경사의 방향을 결정한다.

다음으로, 지역특징량 부여 단계(S340)에서는 상기 특징점을 중심으로 주변에 위치한 기 설정된 복수의 픽셀들을 포함하여 지역영역으로 샘플링 하고, 상기 지역영역에 포함된 복수의 픽셀 위치에서 산출된 경사크기의 분포를 구한 후, 상기 지역영역의 특징점에 대한 복수의 벡터요소를 포함하는 지역 특징량을 부여한다.

다음으로, 특징점 매칭 단계(S350)에서는 상기 복수의 이미지 프레임 중 연속되는 2개의 이미지 프레임에 대해 동일한 지역 특징량을 갖는 특징점을 인식하고, 상기 인식된 특징점을 매칭 시킨다.

상술한 불변특징량 추출 단계에 포함되는 각 세부 단계에서 수행되는 구체적인 기술 내용은 앞서 도 1 내지 7을 통해 설명한 바와 같다.

불변특징량 추출이 완료되면, 각각의 이미지 프레임에서 추출된 쇄파대 포말 영역의 이동에 따라 유속장(velocity field)을 계산한다(S400). 이 때, 추출 결과에 따라 2개의 이미지 프레임에서 매칭되는 특징점의 이동 거리를 계산하고, 상기 계산된 이동 거리를 바탕으로 유속장을 계산할 수 있다.

불변특징량 추출 단계의 수행 결과 두 장의 연속 이미지로부터 쇄파대 포말의 움직임을 나타나는 동일 특징점들의 위치를 각각 추출하게 되며, 유속장 계산부는 추출된 동일 특징점들이 근소시간 동안 움직인 위치의 이동거리로부터 유속장을 계산할 수 있다.

상술한 본 발명에 따른 연안류 측정 방법에 따르면, 해안선을 촬영한 시계열적 이미지에서 불변특징량 추출기법을 사용하여 쇄파대 포말의 불변특징점들을 시간에 따라 추적함으로써, 쇄파대 유속장을 계산할 수 있다.

한편, 상술한 본 발명의 일 실시예에 따른 연안류 측정 방법은, 각종 연산 처리 장치를 통해 실행될 수 있는 컴퓨터 프로그램을 통해 구현될 수 있다. 해당 컴퓨터 프로그램은 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며, 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 또한, 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다.

또한, 상기 방법을 실행하는 컴퓨터 프로그램은 컴퓨터로써 판독 가능한 기록 매체에 수록될 수 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상, 본 발명의 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.

100: 연안류 측정 장치
110: 촬영부
120: 불변특징량 추출부
121: 국부특징점 추출부
122: 픽셀내삽 처리부
123: 경사 결정부
124: 지역특징량 부여부
125: 특징점 매칭부
130: 유속장 계산부
140: 기하보정부

Claims (14)

1. 영상 처리를 통한 쇄파지역 연안류 측정 장치에 있어서,
   일정 기간동안 해안선을 촬영하여 복수의 시계열적 이미지를 생성하는 촬영부;
   상기 복수의 이미지 프레임 각각을 실제 지형좌표로 기하보정 하는 기하보정부;
   상기 기하보정 된 각각의 이미지 프레임 상에서 SIFT(Scale-Invariant Feature Transform) 기법을 사용하여, 쇄파대 포말(foam)의 영역을 추출하는 불변특징량 추출부; 및
   상기 각각의 이미지 프레임에서 추출된 쇄파대 포말 영역의 이동에 따라 유속장(velocity field)을 계산하는 유속장 계산부를 포함하며,
   상기 불변특징량 추출부는,
   상기 기하보정 된 각각의 이미지 프레임에 대해 가우시안 함수(Gaussian Function)를 적용하여 필터링된 이미지를 생성하고, 생성된 필터링 이미지에 차영상 함수를 적용하여 차영상 이미지를 생성한 후, 상기 차영상 이미지에서 주변 픽셀과의 강도(intensity) 값이 소정 이상 또는 이하인 국부 특징점을 추출하는 국부 특징점 추출부;
   상기 차영상 이미지로부터 추출된 국부 특징점들에 대해 픽셀내삽을 통하여 새로운 특징점들을 추출하는 픽셀내삽 처리부,
   상기 추출된 특징점을 중심으로 특징점 주변의 경사도의 크기 및 경사의 방향을 결정하는 경사 결정부
   상기 특징점을 중심으로 주변에 위치한 기 설정된 복수의 픽셀들을 포함하여 지역영역으로 샘플링 하고, 상기 지역영역에 포함된 복수의 픽셀 위치에서 산출된 경사크기의 분포를 구한 후, 상기 지역영역의 특징점에 대한 복수의 벡터요소를 포함하는 지역 특징량을 부여하는 지역특징량 부여부를 포함하는 것을 특징으로 하는 장치.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제 1항에 있어서,
   상기 불변특징량 추출부는,
   상기 복수의 이미지 프레임 중 연속되는 2개의 이미지 프레임에 대해 동일한 지역 특징량을 갖는 특징점을 인식하고, 상기 인식된 특징점을 매칭 시키는 특징점 매칭부를 더 포함하는 장치.
   
7. 제 6항에 있어서,
   상기 유속장 계산부는,
   상기 2개의 이미지 프레임에서 매칭되는 특징점의 이동 거리를 계산하고, 상기 계산된 이동 거리를 바탕으로 유속장을 계산하는 것을 특징으로 하는 장치.
   
8. 영상 처리를 통한 쇄파지역 연안류 측정 방법에 있어서,
   일정 기간동안 해안선을 촬영하여 복수의 시계열적 이미지를 생성하는 촬영 단계;
   상기 복수의 이미지 프레임 각각을 실제 지형좌표로 기하보정 하는 기하보정 단계;
   상기 기하보정 된 각각의 이미지 프레임 상에서 SIFT(Scale-Invariant Feature Transform) 기법을 사용하여, 쇄파대 포말(foam)의 영역을 추출하는 불변특징량 추출 단계; 및
   상기 각각의 이미지 프레임에서 추출된 쇄파대 포말 영역의 이동에 따라 유속장(velocity field)을 계산하는 유속장 계산 단계를 포함하며,
   상기 불변특징량 추출 단계는,
   상기 기하보정 된 각각의 이미지 프레임에 대해 가우시안 함수(Gaussian Function)를 적용하여 필터링된 이미지를 생성하고, 생성된 필터링 이미지에 차영상 함수를 적용하여 차영상 이미지를 생성한 후, 상기 차영상 이미지에서 주변 픽셀과의 강도(intensity) 값이 소정 이상 또는 이하인 국부 특징점을 추출하는 국부 특징점 추출 단계;
   상기 차영상 이미지로부터 추출된 국부 특징점들에 대해 픽셀내삽을 통하여 새로운 특징점들을 추출하는 픽셀내삽 처리 단계;
   상기 추출된 특징점을 중심으로 특징점 주변의 경사도의 크기 및 경사의 방향을 결정하는 경사 결정 단계; 및
   상기 특징점을 중심으로 주변에 위치한 기 설정된 복수의 픽셀들을 포함하여 지역영역으로 샘플링 하고, 상기 지역영역에 포함된 복수의 픽셀 위치에서 산출된 경사크기의 분포를 구한 후, 상기 지역영역의 특징점에 대한 복수의 벡터요소를 포함하는 지역 특징량을 부여하는 지역특징량 부여 단계를 포함하는 방법.
   
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 제 8항에 있어서,
    상기 불변특징량 추출 단계는,
    상기 복수의 이미지 프레임 중 연속되는 2개의 이미지 프레임에 대해 동일한 지역 특징량을 갖는 특징점을 인식하고, 상기 인식된 특징점을 매칭 시키는 특징점 매칭 단계를 더 포함하는 방법.
    
14. 제 13항에 있어서,
    상기 유속장 계산 단계는,
    상기 2개의 이미지 프레임에서 매칭되는 특징점의 이동 거리를 계산하고, 상기 계산된 이동 거리를 바탕으로 유속장을 계산하는 것을 특징으로 하는 방법.
    

Images