KR101934317B1 - 선형정보의 연관분석을 이용한 영상의 자동등록 시스템 - Google Patents

Abstract

본 발명은 드론에서 촬영한 입력영상과 포털 사이트 등에서 서비스되고 있는 정사영상인 기준영상의 선형정보의 분석을 토대로 동일지역에 대한 입력영상을 자동으로 등록함으로써, 촬영시기가 서로 다른 입력영상과 기준영상의 상호 비교를 통해 변화지역을 탐지하거나 재난 발생 시 피해지역의 범위나 피해정도를 손쉽게 파악할 수 있도록 하는 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템에 관한 것이다.

Description

선형정보의 연관분석을 이용한 영상의 자동등록 시스템{SYSTEM FOR AUTOMATIC REGISTRATION OF IMAGES USING ASSOCIATION ANALYSIS OF LINEAR FEATURES}

본 발명은 선형정보의 연관분석을 이용한 영상의 자동등록 시스템에 관한 것으로, 더욱 상세하게는 드론에서 촬영한 입력영상과 포털 사이트 등에서 서비스되고 있는 정사영상인 기준영상의 선형정보의 분석을 토대로 동일지역에 대한 입력영상을 자동으로 등록함으로써, 촬영시기가 서로 다른 입력영상과 기준영상의 상호 비교를 통해 변화지역을 탐지하거나 재난 발생 시 피해지역의 범위나 피해정도를 손쉽게 파악할 수 있도록 하는 입력영상의 자동등록 시스템에 관한 것이다.

일반적으로 현재 시점에서 촬영한 입력영상을 기준영상과 비교하여 저장하고자 할 경우, 입력영상과 기준영상 간에 동일한 지역을 찾은 후 그 관계를 수학적으로 모델링하고, 모델링 정보를 토대로 기준영상에 입력영상을 맞추는 형태로 저장한다.

또한 입력영상과 기준영상을 정합하는 기술은 입력영상과 기준영상에서 특징점(key points)을 추출하고, 추출된 특징점 중에서 서로 동일한 특징점을 찾아 두 영상의 관계를 나타내는 변환계수를 계산한 다음, 변환계수를 토대로 입력영상과 기준영상을 정합한다.

그러나 상술한 바와 같은 영상정합 기술은 대부분 특징점을 이용하는 방식으로서 상기 특징점을 이용하는 방식은 입력영상과 기준영상 간에 해상도의 차이가 있거나 촬영시기가 다를 경우에는 두 영상간의 동일한 점을 찾기가 쉽지 않은 문제점이 있었다.

따라서 본 발명에서는 드론에서 촬영한 입력영상과 기존에 포털 사이트 등에서 서비스되고 있는 정사영상인 기준영상의 선형정보 분석을 토대로 동일지역에 대한 입력영상을 자동으로 등록함으로써, 촬영시기가 서로 다른 입력영상과 기준영상의 상호 비교를 통해 변화지역을 탐지하거나 재난 발생 시 피해지역의 범위나 피해정도를 손쉽게 파악할 수 있는 방안을 제시하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 정보과학회논문지 제43권 제9호(2016.09.)에 게재된 ConvNet을 활용한 영역기반 신속/범용 영상정합 기술은, 유사한 두 영상을 대상으로 딥러닝 기술과 영역기반인 패치를 이용하고 두 영상간의 영상정합을 수행하는 것을 기술적 특징으로 하고 있다.

상기 선행기술은 두 패치의 관련도 뿐만 아니라 두 패치가 어느 정도 공간 상 떨어져 있는지에 대한 정보를 기반으로 효율적으로 패치 쌍 탐색공간을 줄일 수 있도록 하는 것으로서, 두 영상간의 영상정합을 용이하게 수행하는 점에서 본 발명의 시공간해상도가 서로 다른 동일지역에 대한 입력영상을 자동으로 등록하는 구성과 일부 유사성이 있다.

하지만 본 발명은 드론에서 촬영한 입력영상과 기준영상의 선형정보 분석을 토대로 동일지역에 대한 입력영상을 자동으로 등록하는 기술적 구성을 제시하고 있기 때문에, 유사한 두 영상을 대상으로 딥러닝 기술과 영역기반인 패치를 이용하여 영상정합을 수행하는 상기 선행기술의 구성과 비교해 볼 때 기술적 특징의 차이점이 분명하다.

또한 한국지형공간정보학회지 제25권 제1호(통권 제79호)(2017.03.)에 게재된 UAV 영상정합을 통합 구조물 형상변화 측정 정확도 연구는, 형상 변화 전후의 드론 영상을 대상으로 특징점을 이용하고 두 영상간의 영상정합을 수행하고 변화된 형상을 측정하는 것을 기술적 특징으로 하고 있다.

상기 선행기술은 영상정합(image matching) 기술을 이용하여 3차원 형상을 재현하고, 형상 변화가 있을 경우 이를 탐지하여 면적 및 부피를 계산하는 방법론을 제시하는 것으로서, 본 발명의 촬영시기가 서로 다른 입력영상과 기준영상의 상호 비교를 통해 변화지역을 탐지하는 구성과 일부 유사성이 있다.

하지만 본 발명은 드론에서 촬영한 입력영상과 기준영상에서 선형정보를 분석하고, 분석결과를 토대로 동일지역에 대한 입력영상을 자동으로 등록하는 기술적 구성을 제시하고 있기 때문에, 유사한 공간해상도를 갖는 드론 영상에서 특징점을 이용하여 영상정합을 수행하는 상기 선행기술의 구성과 비교해 볼 때 기술적 특징의 차이점이 분명하다.

또한 한국측량학회지 제28권 제3호(2010.06.)에 게재된 지역적 매칭쌍 특성에 기반한 고해사도영상의 자동기하보정은, 다른 해상도를 가진 위성영상을 대상으로 특징점을 이용하고 두 영상간의 영상정합을 수행하는 것을 기술적 특징으로 하고 있다.

상기 선행기술은 SIFT(Scale Invariant Feature Transform) 기술자를 이용한 매칭 방법을 개선하여 고해상도영상에서 보다 많은 매칭쌍(tie points)을 추출함으로써 고해상도영상 자동기하보정의 결과향상을 수행하는 것으로서, 다른 해상도를 가진 두 영상간의 영상정합을 수행하는 점에서 본 발명의 시공간해상도가 서로 다른 입력영상과 기준영상의 상호 비교를 통해 영상정합을 수행하는 구성과 일부 유사성이 있다.

하지만 본 발명은 입력영상과 기준영상의 선형정보를 분석한 정보를 토대로 동일지역에 대한 입력영상을 자동으로 등록하여 촬영시기가 서로 다른 입력영상과 기준영상을 비교하여 변화지역을 탐지하거나 재난 발생 시의 피해지역을 용이하게 파악할 수 있는 기술적 구성을 제시하고 있기 때문에, 상기 선행기술의 다른 해상도를 가진 위성영상에서 특징점을 이용한 영상정합을 수행하는 구성과 비교해 볼 때 기술적 구성의 차이점이 있다.

즉 상기 선행기술들은 주로 특징점, 영상 밝기값 등의 상관관계 방법을 이용한 영상정합 기법을 사용하는 구성을 제시하고 있지만, 본 발명의 기술적 특징인 입력영상과 기준영상의 선형정보 분석을 토대로 동일지역에 대한 영상의 등록을 자동으로 처리하는 구성, 촬영시기가 서로 다른 입력영상과 기준영상의 비교를 토대로 도시 지역에서의 변화를 손쉽게 탐지할 수 있고, 재난 발생 시 기준영상과 동일한 위치에서 촬영한 입력영상과의 비교를 통해 피해지역의 범위나 피해정도의 파악이 용이한 기술적 특징에 대해서는 아무런 기재나 암시가 되어 있지 않기 때문에 기술적 차이점이 분명한 것이다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 드론에서 촬영한 입력영상과 포털 사이트 등에서 서비스되고 있는 정사영상인 기준영상의 동일지역에 대한 영상의 등록을 자동으로 처리할 수 있는 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템을 제공하는 것을 목적으로 한다.

또한 본 발명은 입력영상과 기준영상의 선형정보의 분석을 토대로 촬영거리, 촬영시기 등으로 인한 공간해상도와 시간해상도의 차이를 해소하면서 동일지역에 대한 입력영상을 자동으로 등록할 수 있는 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템을 제공하는 것을 다른 목적으로 한다.

또한 본 발명은 입력영상과 기준영상에서 각각 선형쌍의 유사성이 높은 지역을 찾아 초기 영상변환을 수행하고, 초기 영상변환한 입력영상과 기준영상에서 각각 선형의 유사성이 높은 지역을 찾아 최종적으로 영상을 등록하도록 하는 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템을 제공하는 것을 또 다른 목적으로 한다.

본 발명의 일 실시예에 따른 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템은, 입력영상 및 상기 입력영상에 대응하는 기준영상에서 선형쌍 간의 정합을 수행하기 위해서 연관행렬을 구성하여 분석하는 선형쌍 연관성 분석부; 및 유사성 범위를 감소시키면서 최종 변환계수를 결정하는 유사 선형 분석부;를 포함하며, 상기 입력영상을 상기 기준영상에 자동등록하는 것을 특징으로 한다.

또한 상기 선형쌍 연관성 분석부는, 시공간해상도가 다른 상기 입력영상 및 기준영상에서 선형정보를 추출하고, 상기 추출한 선형정보를 토대로 유사한 선형쌍을 찾기 위한 연관성 분석을 수행하여 초기 변환계수를 결정하는 것으로서, 상기 입력영상의 공간해상도를 상기 기준영상의 공간해상도에 맞추어 저하시키는 해상도 조절부, 공간해상도가 저하된 상기 입력영상과 상기 기준영상 각각에서 선형을 추출하고, 상기 추출한 선형에서 선형쌍 연관성 분석에 방해되는 선형을 제거하고, 상기 선형의 방향을 정의하여 벡터로 처리하는 선형 처리부, 상기 선형 처리부에서 처리한 선형을 토대로 선형의 중심점, 선형쌍의 거리, 선형쌍의 내적과 외적 또는 이들의 조합을 토대로 유사한 선형쌍을 판별하는 유사 선형쌍 판별부 및 상기 판별한 유사한 선형쌍을 연관행렬에 누적하고, 상기 누적한 연관행렬에서 상위 값을 가진 선형쌍을 분석하여 유사한 선형을 선정하고, 상기 선정한 유사한 선형에서 특이한 선형을 제거한 다음 초기 변환계수를 산출하는 초기 변환계수 산출부를 포함하는 것을 특징으로 한다.

또한 상기 선형 처리부는, 경계선 추출연산자를 이용하여 상기 입력영상과 상기 기준영상에서 선형을 추출하는 선형 추출부, 상기 추출한 선형에서 동일한 지역에 위치한 유사한 선형을 제거하여 하나의 선형으로 필터링하는 선형 필터링부 및 상기 필터링한 각 선형의 두 점에서 중심점과 거리가 먼 곳을 벡터의 종점으로 설정하는 선형의 방향성을 정의하는 선형 방향 정의부를 포함하는 것을 특징으로 한다.

또한 상기 유사 선형쌍 판별부는, 상기 입력영상의 선형쌍과 상기 기준영상의 선형쌍의 유사도를 판별할 때, 상기 선형 처리부에서 처리한 선형을 토대로 각 선형쌍의 내적을 계산하여 동일 사잇각의 선형쌍을 판별한 다음 동일 사잇각의 선형쌍인 경우 선형의 중심점과의 거리가 기 설정된 유사범위 이내인지를 확인하여 사잇각이 유사한 선형쌍을 판별하고, 각 선형쌍의 외적을 계산하여 선형쌍의 내적값이 유사하고 중간점과의 거리가 유사하나 방향성이 다른 선형쌍을 판별하고, 상기 판별한 방향성이 다른 선형쌍 중 방향의 구별이 어려운 선형쌍의 중심점간의 내적을 계산하여 선형쌍의 방향을 판별하는 것을 특징으로 한다.

또한 상기 유사 선형 분석부는, 상기 입력영상과 상기 기준영상 간의 유사한 선형을 확인하고, 상기 확인한 유사한 선형을 토대로 동일한 선형을 선정한 후 영상변환을 위한 최종 변환계수를 결정한 다음, 상기 최종 변환계수를 토대로 상기 입력영상을 상기 기준영상에 자동등록하는 것으로서, 상기 입력영상과 상기 기준영상에 나타난 선형의 유사도를 판별하기 위하여 유사한 정도의 기준이 되는 유사성 범위를 설정하는 유사성 범위설정부, 상기 선형쌍 연관성 분석부에서 변환한 상기 입력영상과 상기 기준영상의 선형 간에 법선벡터, 중복유무, 선형주변의 밝기값 또는 이들의 조합을 토대로 유사한 선형을 판별하는 유사 선형 판별부, 상기 판별한 유사한 선형을 토대로 동일한 선형을 선정하고, 상기 선정한 동일한 선형에서 특이한 선형을 제거한 다음 영상변환을 위한 투영변환 계수를 결정하고, 상기 유사성 범위설정부에서 설정한 유사성 범위만큼 감소시키면서 상기 입력영상과 상기 기준영상의 선형 간의 유사한 선형 판별을 반복하여 상기 결정한 투영변환 계수를 갱신하고, 상기 유사성 범위가 음수가 될 때의 투영변환 계수를 최종 변환계수로 산출하는 최종 변환계수 산출부 및 상기 산출한 최종 변환계수를 토대로 상기 입력영상을 상기 기준영상에 자동등록하는 영상등록부를 포함하는 것을 특징으로 한다.

또한 상기 유사 선형 판별부는, 상기 입력영상과 상기 기준영상의 선형 간에 유사한 선형을 판별할 때, 상기 입력영상의 선형을 초기 변환계수를 이용하여 변환한 선형과 상기 기준영상의 선형과의 법선벡터를 계산하여, 상기 계산한 법선벡터가 유사성 범위를 벗어나지 않은 경우 유사한 선형으로 판별하고, 상기 입력영상의 선형과 상기 기준영상의 선형 간의 중복유무를 확인하여 중복되는 경우 유사한 선형으로 판별하고, 상기 입력영상의 선형과 상기 기준영상의 선형의 유사한 선형에 대한 판별결과 상기 입력영상과 상기 기준영상이 일대다 형태의 선형 관계이면 선형 주변의 밝기값의 가장 유사한 선형을 유사한 선형으로 판별하는 것을 특징으로 한다.

아울러, 본 발명의 일 실시예에 따른 선형정보의 연관분석을 이용한 입력영상의 자동등록 방법은, 영상등록장치에서, 입력영상 및 상기 입력영상에 대응하는 기준영상에서 선형쌍 간의 정합을 수행하기 위해서 연관행렬을 구성하여 분석하는 선형쌍 연관성 분석 단계 및 유사성 범위를 감소시키면서 최종 변환계수를 결정하는 유사 선형 분석 단계;를 포함하며, 상기 입력영상을 상기 기준영상에 자동등록하는 것을 특징으로 한다.

또한 상기 선형쌍 연관성 분석 단계는, 시공간해상도가 다른 상기 입력영상 및 기준영상에서 선형정보를 추출하고, 상기 추출한 선형정보를 토대로 유사한 선형쌍을 찾기 위한 연관성 분석을 수행하여 초기 변환계수를 결정하는 것으로서, 상기 입력영상의 공간해상도를 상기 기준영상의 공간해상도에 맞추어 저하시키는 해상도 조절 단계, 공간해상도가 저하된 상기 입력영상과 상기 기준영상 각각에서 선형을 추출하고, 상기 추출한 선형에서 선형쌍 연관성 분석에 방해되는 선형을 제거하고, 상기 선형의 방향을 정의하여 벡터로 처리하는 선형 처리 단계, 상기 처리한 선형을 토대로 선형의 중심점, 선형쌍의 거리, 선형쌍의 내적과 외적 또는 이들의 조합을 토대로 유사한 선형쌍을 판별하는 유사 선형쌍 판별 단계 및 상기 판별한 유사한 선형쌍을 연관행렬에 누적하고, 상기 누적한 연관행렬에서 상위 값을 가진 선형쌍을 분석하여 유사한 선형을 선정하고, 상기 선정한 유사한 선형에서 특이한 선형을 제거한 다음 초기 변환계수를 산출하는 초기 변환계수 산출 단계를 포함하는 것을 특징으로 한다.

또한 상기 선형 처리 단계는, 경계선 추출연산자를 이용하여 상기 입력영상과 상기 기준영상에서 선형을 추출하는 선형 추출 단계, 상기 추출한 선형에서 동일한 지역에 위치한 유사한 선형을 제거하여 하나의 선형으로 필터링하는 선형 필터링 단계 및 상기 필터링한 각 선형의 두 점에서 중심점과 거리가 먼 곳을 벡터의 종점으로 설정하는 선형의 방향성을 정의하는 선형 방향 정의 단계를 포함하는 것을 특징으로 한다.

또한 상기 유사 선형쌍 판별 단계는, 상기 입력영상의 선형쌍과 상기 기준영상의 선형쌍의 유사도를 판별할 때, 상기 선형 처리 단계에서 처리한 선형을 토대로 각 선형쌍의 내적을 계산하여 동일 사잇각의 선형쌍을 판별한 다음 동일 사잇각의 선형쌍인 경우 선형의 중심점과의 거리가 기 설정된 유사범위 이내인지를 확인하여 사잇각이 유사한 선형쌍을 판별하는 단계, 각 선형쌍의 외적을 계산하여 선형쌍의 내적값이 유사하고 중간점과의 거리가 유사하나 방향성이 다른 선형쌍을 판별하는 단계 및 상기 판별한 방향성이 다른 선형쌍 중 방향의 구별이 어려운 선형쌍의 중심점간의 내적을 계산하여 선형쌍의 방향을 판별하는 단계를 포함하는 것을 특징으로 한다.

또한 상기 유사 선형 분석 단계는, 상기 입력영상과 상기 기준영상 간의 유사한 선형을 확인하고, 상기 확인한 유사한 선형을 토대로 동일한 선형을 선정한 후 영상변환을 위한 최종 변환계수를 결정한 다음, 상기 최종 변환계수를 토대로 상기 입력영상을 상기 기준영상에 자동등록하는 것으로서, 상기 입력영상과 상기 기준영상에 나타난 선형의 유사도를 판별하기 위하여 유사한 정도의 기준이 되는 유사성 범위를 설정하는 유사성 범위설정 단계, 상기 선형쌍 연관성 분석 단계에서 변환한 상기 입력영상과 상기 기준영상의 선형 간에 법선벡터, 중복유무, 선형주변의 밝기값 또는 이들의 조합을 토대로 유사한 선형을 판별하는 유사 선형 판별 단계, 상기 판별한 유사한 선형을 토대로 동일한 선형을 선정하고, 상기 선정한 동일한 선형에서 특이한 선형을 제거한 다음 영상변환을 위한 투영변환 계수를 결정하고, 상기 유사성 범위설정 단계에서 설정한 유사성 범위만큼 감소시키면서 상기 입력영상과 상기 기준영상의 선형 간의 유사한 선형 판별을 반복하여 상기 결정한 투영변환 계수를 갱신하고, 상기 유사성 범위가 음수가 될 때의 투영변환 계수를 최종 변환계수로 산출하는 최종 변환계수 산출 단계 및 상기 산출한 최종 변환계수를 토대로 상기 입력영상을 상기 기준영상에 자동등록하는 영상등록 단계를 포함하는 것을 특징으로 한다.

또한 상기 유사 선형 판별 단계는, 상기 입력영상과 상기 기준영상의 선형 간에 유사한 선형을 판별할 때, 상기 입력영상의 선형을 초기 변환계수를 이용하여 변환한 선형과 상기 기준영상의 선형과의 법선벡터를 계산하여, 상기 계산한 법선벡터가 유사성 범위를 벗어나지 않은 경우 유사한 선형으로 판별하는 단계, 상기 입력영상의 선형과 상기 기준영상의 선형 간의 중복유무를 확인하여 중복되는 경우 유사한 선형으로 판별하는 단계 및 상기 입력영상의 선형과 상기 기준영상의 선형의 유사한 선형에 대한 판별결과 상기 입력영상과 상기 기준영상이 일대다 형태의 선형 관계이면 선형 주변의 밝기값의 가장 유사한 선형을 유사한 선형으로 판별하는 단계를 포함하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템에 따르면, 드론에서 촬영한 입력영상과 기존의 포털 사이트 등에서 서비스되고 있는 정사영상인 기준영상의 동일지역에 대한 영상의 등록을 자동으로 처리할 때 영상에서 손쉽게 추출할 수 있는 선형정보를 이용하기 때문에 선형정보를 추출할 수 있는 영상이라면 시공간해상도가 다른 어떠한 영상이라도 처리가 가능한 효과가 있다.

또한 데이터베이스에 등록한 촬영시기가 서로 다른 입력영상과 기준영상의 상호 비교를 토대로 도시지역에서 변화된 지역을 파악하는데 활용이 가능하며, 특히 재난이 발생한 경우 기준영상과 동일한 위치에서 입력영상과의 비교를 손쉽게 수행할 수 있기 때문에 피해지역의 범위나 피해정도를 신속하게 파악할 수 있는 효과가 있다.

도 1은 본 발명이 적용된 선형정보의 연관분석을 이용한 입력영상의 자동등록과정을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템의 구성을 개략적으로 나타낸 도면이다.
도 3은 도 2의 영상등록장치의 구성을 상세하게 나타낸 도면이다.
도 4는 본 발명의 선형쌍 연관성 분석에 적용되는 선형의 방향성 정의를 설명하기 위한 도면이다.
도 5는 본 발명의 선형쌍 연관성 분석에 적용되는 선형쌍의 내적(사잇각)과 거리계산을 설명하기 위한 도면이다.
도 6은 본 발명의 선형쌍 연관성 분석에 적용되는 4가지의 서로 다른 방향성을 나타내는 선형을 설명하기 위한 도면이다.
도 7은 본 발명의 선형쌍 연관성 분석에 적용되는 4가지의 서로 다른 방향성을 나타내는 선형의 외적 계산을 설명하기 위한 도면이다.
도 8은 본 발명의 선형쌍 연관성 분석에 적용되는 유사 선형쌍 판별 시 내적을 통한 방향성 판단을 설명하기 위한 도면이다.
도 9는 본 발명의 선형쌍 연관성 분석에 적용되는 입력영상과 기준영상에 나타난 선형의 일 예를 나타낸 도면이다.
도 10은 본 발명의 선형쌍 연관성 분석에 적용되는 유사 선형쌍 판별에 사용되는 연관행렬을 설명하기 위한 도면이다.
도 11은 본 발명의 유사 선형 분석에 적용되는 선형 유사성 탐색을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 선형정보의 연관분석을 이용한 입력영상의 자동등록의 결과를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 선형정보의 연관분석을 이용한 입력영상의 자동등록 방법의 동작과정을 상세하게 나타낸 순서도이다.

이하, 첨부한 도면을 참조하여 본 발명의 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명이 적용된 선형정보의 연관분석을 이용한 입력영상의 자동등록과정을 설명하기 위한 개념도이며, 도 2는 본 발명의 일 실시예에 따른 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템의 구성을 개략적으로 나타낸 도면이다.

도 1 및 도 2에 도시된 바와 같이 본 발명의 입력영상 자동등록 시스템은, 영상등록장치(100), 적어도 하나 이상의 드론(200) 및 기준영상 제공자 단말(300), 데이터베이스(400) 등으로 구성된다.

상기 영상등록장치(100)는 변화된 지역을 탐지하거나 재난 발생 시 피해범위를 신속하게 파악하기 위하여, 적어도 하나 이상의 드론(200)에서 촬영한 입력영상과 기존의 포털 사이트, 지도제공업체 등에서 서비스되고 있는 정사영상인 기준영상에서 손쉽게 추출할 수 있는 선형정보를 분석하고, 선형정보의 분석결과를 토대로 입력영상과 기준영상의 동일지역에 대한 영상의 등록을 자동으로 처리하도록 지원한다. 이때 상기 입력영상과 기준영상은 시공간해상도의 차이가 있으므로 본 발명에서는 기존의 방식인 특징점을 이용하지 않고 특징정보들이 더 많은 선형정보를 이용한다.

이와 같은 영상의 자동등록을 위하여, 상기 영상등록장치(100)는 네트워크를 통해 적어도 하나 이상의 드론(200)으로부터 특정 지역을 촬영한 입력영상을 수집하며, 포털 사이트, 지도제공업체 등의 기준영상 제공자 단말(300)로부터 기준영상을 수집한다(①). 이때 상기 드론(200)은 영상등록장치(100) 운영자 측에서 직접 운행을 관리하거나 다른 전문업체와 제휴관계 설정을 통해 운행을 관리할 수 있다. 그리고 상기 기준영상 제공자 단말(300)은 지도정보를 서비스하는 각종 포털 사이트, 지도제공업체 등에서 운영하는 서버, 관리자가 운용하는 유무선 컴퓨터 및 통신기기일 수 있다.

상기 입력영상은 일반 항공기와 비교하여 낮은 고도에서 촬영한 영상이기 때문에 일반 항공기에서 촬영한 영상에 비하여 해상도가 매우 높다. 이와는 달리, 포털 사이트, 지도제공업체 등에서 제공하고 있는 정사영상인 기준영상은 상기 입력영상에 비하여 공간해상도가 낮으며, 촬영시기의 차이로 인하여 시간해상도가 서로 다르다.

그러므로 상기 입력영상과 기준영상을 등록하기 위해서는 우선 동일한 지역을 찾아야 한다. 동일한 지역을 찾기 위하여 상기 영상등록장치(100)는 상기 입력영상과 기준영상에서 선형정보를 추출한다. 이때 선형은 대체적으로 도로, 건물경계선 등과 같은 인공지물에서 추출하는데, 본 발명에서 선형정보를 사용하는 이유는 상기 입력영상과 기준영상의 시공간해상도가 다른 경우에는 특징점을 이용하여 영상정합을 수행하기가 매우 어렵거나 거의 불가능하기 때문이다.

또한 상기 영상등록장치(100)는 상기 입력영상과 기준영상에서 선형정보를 추출한 경우라도 시공간해상도의 차이로 인하여 동일한 지역을 찾기 어렵기 때문에 상기 입력영상과 기준영상에서 각각 선형쌍의 유사성이 높은 지역을 찾아서 1차적으로 초기 영상변환을 수행하고, 2차적으로 상기 입력영상과 기준영상에서 각각 선형의 유사성이 높은 지역을 찾아서 최종적으로 데이터베이스(400)에 영상등록을 수행한다.

즉 상기 영상등록장치(100)는 상기 입력영상을 기존의 기준영상에 자동으로 등록하기 위하여 1차적으로 상기 입력영상과 기준영상에서 각각 선형쌍의 연관성을 분석하여 영상변환을 수행한 다음 2차적으로 유사한 선형을 분석하고(②), 선형정보의 분석결과 정보를 토대로 최종적으로 입력영상을 기준영상에 자동등록하는 것이다(③).

이때 상기 입력영상과 기준영상에서 각각 선형쌍의 유사성이 높은 지역을 찾는 선형쌍의 연관성 분석은 다음과 같은 과정을 토대로 수행된다.

상기 영상등록장치(100)는 동일한 지역에서 선형이 추출될 수 있도록 상기 입력영상의 공간해상도를 기존의 기준영상에 맞추어 저하시킨다.

또한 상기 영상등록장치(100)는 공간해상도가 저하된 입력영상과 기준영상에서 각각 선형을 추출하고, 선형쌍 연관성 분석에 방해요인이 될 수 있는 선형을 제거하기 위한 선형필터링을 수행한 다음, 선형쌍 연관성 분석에 사용할 각각의 선형의 방향을 정의하여 벡터로 처리한다.

또한 상기 영상등록장치(100)는 벡터로 처리된 각각의 선형을 토대로 유사한 선형쌍을 판별한다. 이때 유사한 선형쌍의 판별은 선형의 중심점, 선형쌍의 거리, 선형쌍의 내적과 외적 또는 이들의 조합을 이용한 3 단계의 방식으로 처리한다.

또한 상기 영상등록장치(100)는 유사한 선형쌍이 판별되면 유사한 선형쌍을 연관행렬에 누적하고, 누적된 연관행렬을 기반으로 동일한 선형을 선정한 후, 초기 변환계수를 계산한다.

한편 선형쌍의 연관성 분석을 수행한 이후, 상기 입력영상과 기준영상 간의 유사한 선형의 분석은 다음과 같은 과정을 토대로 수행된다.

상기 영상등록장치(100)는 상기 설명에서와 같이 선형쌍의 연관성 분석에 의하여 1차적으로 초기 영상변환을 수행한 후, 2차적으로 선형쌍이 아닌 각 선형의 유사성이 높은 지역을 찾아서 영상등록을 수행한다. 영상등록은 선형과 선형의 연관성을 분석하는 반복적인 과정을 거치는데, 이때 더 많은 유사한 선형을 찾기 위하여 선형필터링을 수행하기 이전에 추출한 선형을 이용한다.

이를 위하여, 상기 영상등록장치(100)는 유사한 선형을 판별할 수 있는 유사성 범위와 반복될 때마다 유사성 범위가 줄어드는 감소 범위를 설정한 후, 유사한 선형의 판별을 수행한다. 이때 유사한 선형의 판별은 상기 입력영상과 상기 기준영상의 선형 간에 법선벡터, 중복유무, 선형주변의 밝기값 또는 이들의 조합을 이용한 3 단계의 방식으로 처리한다.

또한 상기 영상등록장치(100)는 판별된 유사한 선형을 기반으로 동일한 선형을 선정하고, 이를 토대로 영상변환을 위한 투영변환 계수를 계산하며, 상기 설정한 유사성 범위를 감소시키면서 유사한 선형의 판별과정을 반복적으로 수행하여 상기 투영변환 계수를 정제한다.

또한 상기 영상등록장치(100)는 유사한 선형의 판별과정을 반복하여 수행하는 과정에서 유사성 범위가 음수가 되는 시점에 정제된 투영변환 계수를 최종 변환계수로 산출하고, 이를 토대로 상기 입력영상을 기존의 정사영상인 기준영상에 자동으로 등록한다.

이에 따라 본 발명은 비교 대상이 되는 두 영상(즉 입력영상과 기준영상)의 해상도 차이나 촬영시기 등이 다를 경우 동일한 특징점을 찾기 어려운 기존의 특징점을 이용한 방식의 문제를 해결하면서 선형정보를 추출할 수 있는 영상이라면 시공간해상도가 다른 어떠한 영상이라도 처리가 가능하다. 또한 촬영시기가 서로 다른 입력영상과 기준영상의 상호 비교를 토대로 도시지역에서 변화된 지역을 파악하는데 활용이 가능하며, 재난이 발생한 경우 기준영상과 동일한 위치에서 입력영상과의 비교를 통해 피해지역의 범위나 피해정도를 손쉽게 파악할 수 있다(④).

다음에는, 상기에서 설명한 선형쌍의 연관성 분석과 유사한 선형의 분석에 대한 구체적인 내용을 도 3 내지 도 11을 참조하여 상세하게 설명한다.

도 3은 상기 도 2의 영상등록장치(100)의 구성을 상세하게 나타낸 도면이고, 도 4 내지 도 9는 본 발명의 선형쌍 연관성 분석에 적용되는 선형의 방향성 정의, 선형쌍의 내적(사잇각)과 거리계산, 4가지의 서로 다른 방향성을 나타내는 선형, 유사 선형쌍 판별 시 내적을 통한 방향성 판단, 입력영상과 기준영상에 나타난 선형의 일 예, 유사 선형쌍 판별에 사용되는 연관행렬을 각각 설명하기 위한 도면이고, 도 10은 본 발명의 유사 선형 분석에 적용되는 선형 유사성 탐색을 설명하기 위한 도면이며, 도 11은 본 발명의 일 실시예에 따른 선형정보의 연관분석을 이용한 입력영상의 자동등록 결과를 나타낸 도면이다.

먼저 도 3에 도시된 바와 같이, 상기 영상등록장치(100)는 선형쌍 연관성 분석부(110)와 유사 선형 분석부(120)로 구성된다.

상기 선형쌍 연관성 분석부(110)는 네트워크를 통해 적어도 하나 이상의 드론(200)으로부터 입력영상을 수집함과 동시에 기준영상 제공자 단말(300)로부터 정사영상인 기준영상을 수집하고, 상기 수집한 입력영상과 기준영상에서 선형정보를 추출한다. 그리고 상기 추출한 선형정보를 토대로 유사한 선형쌍을 찾기 위한 연관성 분석을 수행하여 초기 변환계수를 결정하는 기능을 수행한다.

이때 상기 선형쌍 연관성 분석부(110)는 영상 수집부(111), 해상도 조절부(112), 선형 처리부(113), 유사 선형쌍 판별부(114), 초기 변환계수 산출부(115), 초기 영상변환부(116) 등으로 구성된다.

상기 영상 수집부(111)는 기준영상 수집부(111a)와 입력영상 수집부(111b)로 구성되며, 네트워크를 통해 적어도 하나 이상의 드론(200)과 기준영상 제공자 단말(300)로부터 입력영상과 기준영상을 수집한다. 이때 상기 입력영상은 적어도 하나 이상의 드론(200)에서 촬영한 영상이고, 상기 기준영상은 적어도 하나 이상의 기준영상 제공자 단말(300)로부터 제공받은 정사영상이다.

상기 해상도 조절부(112)는 상기 입력영상 수집부(111b)를 통해 수집한 입력영상의 공간해상도를 상기 기준영상의 공간해상도에 맞추어 저하시킨 다음 선형 처리부(113)로 출력한다. 즉 상기 입력영상과 기준영상은 공간해상도가 달라 선형을 추출할 때 다른 지역에서 추출될 수 있으므로 이를 방지하면서 동일한 지역에서 선형이 추출될 확률을 높이기 위하여 상기 입력영상의 공간해상도를 기준영상의 공간해상도에 맞추어 저하시키는 것이다.

이를 위하여 상기 해상도 조절부(112)는 상기 입력영상과 기준영상의 공간해상도를 각각 계산하는데, 상기 입력영상의 공간해상도 계산은 드론(200)으로 촬영할 때 확보할 수 있는 카메라의 3차원 위치값과 비행고도, 픽셀크기를 토대로 계산하며, 상기 기준영상의 공간해상도 계산은 하나의 픽셀거리를 토대로 계산한다.

그리고 상기 해상도 조절부(112)는 상기 입력영상과 기준영산 간의 공간해상도 차이를 계산하고, 상기 입력영상을 기준영상에 알맞게 공간해상도를 저하시킨다. 이때 상기 해상도 조절부(112)는 가우시안필터와 다운샘플링을 사용하여 공간해상도를 저하시킨다.

상기 선형 처리부(113)는 선형 추출부(113a), 선형 필터링부(113b), 선형 방향 정의부(113c)로 구성되고, 상기 해상도 조절부(112)를 통해 공간해상도가 저하된 상기 입력영상과 상기 기준영상 각각에서 선형을 추출하고, 상기 추출한 선형에서 선형쌍 연관성 분석에 방해되는 선형을 제거하고, 상기 선형의 방향을 정의하여 벡터로 처리하는 기능을 수행한다.

상기 선형 추출부(113a)는 기준영상 수집부(111a)에서 수집한 기준영상과 상기 해상도 조절부(112)에서 공간해상도가 저하된 입력영상에서 경계선 추출연산자인 하프변환(Hough Transform)을 이용하여 선형을 추출한다.

이때 선형은 건물의 윤곽선, 도로 등의 인공지물에서 추출되고, 상기 인공지물은 시공간해상도의 차이가 있어도 차이가 크지 않으므로 동일한 선형이 추출될 수 있다.

상기 선형 필터링부(113b)는 상기 선형 추출부(113a)에서 추출한 선형에서 동일한 지역에 위치한 유사한 선형을 제거하여 하나의 선형으로 필터링하는 기능을 수행한다.

상기 입력영상과 기준영상에서 추출되는 선형은 동일한 지역에서 기울기가 유사하고 선형 간의 거리가 가까운 선형이 추출된다. 그리고 상기 선형쌍 연관성 분석은 동일한 지역에서 유사한 선형이 많을수록 정확한 분석이 어렵고 오차를 발생시킬 수 있기 때문에 이를 해결하기 위하여 선형필터링을 수행함으로써, 동일한 지역에서 유사한 선형들을 하나의 선형으로 표현한다. 이때 선형필터링은 선형의 기울기와 중심점과의 거리가 유사한 선형들을 하나의 그룹으로 만들고, 그룹에서 선형들의 기울기와 중심점과의 거리의 평균에 가까운 선형을 대표 선형으로 선정하는 것으로서, 이러한 선형필터링을 통해 동일한 지역에서 유사한 선형이 하나만 나타나게 된다.

상기 선형 방향 정의부(113c)는 상기 선형 필터링부(113b)에서 필터링한 각 선형의 두 점에서 중심점과 거리가 먼 곳을 벡터의 종점으로 설정하는 선형의 방향성을 정의하는 기능을 수행한다.

이때 본 발명에서 수행하는 상기 선형쌍 연관성 분석은 거리와 방향성을 이용한다. 방향성을 이용하기 위해서 선형은 일종의 벡터와 같이 방향이 정의되어야 한다. 방향의 정의는 도 4에 도시된 바와 같이 각 선형의 두 점에서 중심점과 거리가 먼 곳을 벡터의 종점으로 설정한 후 정규화를 수행한다. 상기 입력영상과 기준영상의 중심점은 유사하다고 가정하는데, 그 이유는 상기 입력영상에서 얻을 수 있는 대략적인 카메라의 3차원 위치값을 사용하기 때문이다.

상기 유사 선형쌍 판별부(114)는 상기 선형 처리부(113)에서 처리한 선형을 토대로 선형의 중심점, 선형쌍의 거리, 선형쌍의 내적과 외적 또는 이들의 조합을 토대로 유사한 선형쌍을 판별한다.

이때 상기 입력영상과 상기 기준영상 간의 유사한 선형을 찾기 위해서는 먼저 유사한 선형쌍을 판별해야 한다. 이는 상기 입력영상과 상기 기준영상이 시공간해상도의 차이가 있어서 선형 주변의 밝기값을 이용하지 않고 두 영상 간의 선형패턴을 분석하기 위함이다. 상기 유사 선형쌍 판별부(114)에서 유사한 선형쌍을 판단하는 방법은 선형쌍의 거리와 방향을 이용하고, 다음의 3 단계를 통해 상기 입력영상과 상기 기준영상 간의 유사한 선형쌍을 판단한다.

첫 번째 단계는 도 5의 (a)에 도시된 바와 같이 사잇각이 유사한 선형쌍을 구별하기 위하여 내적을 계산하여 같은 사잇각의 선형쌍인지 아닌지를 판별한다. 이때 상기 사잇각은 예를 들어 6도 내외를 기준범위로 설정(물론, 유사한 선형쌍의 구별을 위한 사잇각의 기준범위는 변경 가능함)되며, 내적 계산 결과 기준범위에 속하는 6도 내외인 경우 같은 사잇각의 선형쌍으로 판별한다. 그리고 같은 사잇각의 선형쌍인 경우에는 도 5의 (b)에 도시된 바와 같이 선형의 중심점과의 거리가 유사한지를 판단한다. 즉 상기 선형 처리부(113)에서 처리한 선형을 토대로 각 선형쌍의 내적을 계산하여 동일 사잇각의 선형쌍을 확인한 다음, 동일 사잇각의 선형쌍인 경우 선형쌍의 중심점과의 거리를 계산하여 선형의 중심점과의 거리가 기 설정된 유사범위 이내인지를 확인하여 사잇각이 유사한 선형쌍을 판별하는 것이다.

두 번째 단계는 선형쌍의 내적값이 유사하고 중심점간의 거리가 유사하지만, 방향성이 다른 선형쌍을 탐지하기 위해 두 벡터의 외적을 이용한 것으로서, 도 6에 도시된 바와 같이 외적(

)을 각각 수행하여 다른 방향을 가지고 있는 선형을 검출한다. 이때

는

의 중심점에서

의 중심점으로,

는

의 중심점에서

의 중심점으로 한 벡터이다. 여기서 어떤 선형이

,

인지 모르기 때문에 양방향으로 외적을 수행한다. 도 7에 도시된 바와 같이 각 케이스마다 2가지의 값이 나오는데 이를 구별하기 위하여 외적을 수행한다. 그러면 외적의 결과값이 도 7의 1case에서는 모두 음수가 나오므로 구별하기 어려운데, 2case에서는 Acase의 경우 음수, Bcase의 경우 양수, Ccase의 경우 양수, Dcase의 경우 음수가 나오게 된다. 이러한 결과로 Acase와 Dcase는 음수값으로 동일하고, Bcase와 Ccase는 양수값으로 동일하게 나타나므로 서로 구별이 가능하다. 또한 Bcase와 Ccase는 양수로만 이루어지거나 음수로만 이루어져 서로 구별이 가능하지만, Acase와 Dcase는 양수, 음수의 외적이기 때문에 구별하기 어렵다.

즉 상기 두 번째 단계는 상기 첫 번째 단계를 통해 사잇각이 유사한 선형쌍을 판별한 다음, 각 선형쌍의 외적을 계산하여 선형쌍의 내적값이 유사하고 중간점과의 거리가 유사하나 방향성이 다른 선형쌍을 판별하는 것이다.

세 번째 단계는 상기 두 번째 단계에서 방향이 다른 선형쌍을 구별하기 어려운 Acase와 Dcase의 판단을 위하여 두 선형벡터의 내용을 이용한다. 여기서의 내적은 선형쌍의 사잇각 계산이 아닌 도 8에서와 같이 선형 중심점과 연결된 벡터와 내적(

)을 수행한다. 이때

는

의 중심점에서

의 중심점으로,

는

의 중심점에서

의 중심점으로 한 벡터이다. 이를 통해 두 선형쌍의 내적값이 다르게 나타나므로 도 8에서와 같이 Acase와 Dcase를 구별할 수 있다. 즉 상기 세 번째 단계는 상기 두 번째 단계에서 판별한 방향성이 다른 선형쌍 중 방향의 구별이 어려운 선형쌍의 중심점간의 내적을 계산하여 선형쌍의 방향을 판별하는 것이다.

상기 초기 변환계수 산출부(115)는 상기 유사 선형쌍 판별부(114)에서 판별한 유사한 선형쌍을 연관행렬에 누적하고, 상기 누적한 연관행렬에서 상위 값을 가진 선형쌍을 분석하여 유사한 선형을 선정하고, 상기 선정한 유사한 선형에서 특이한 선형을 제거한 다음 초기 변환계수를 산출하는 기능을 수행한다.

이때 상기 초기 변환계수 산출부(115)는 상기 유사 선형쌍 판별부(114)에서 판별한 유사한 선형쌍에서 연관성을 판별하기 위해 연관행렬에 값을 누적한다. 연관행렬에 누적하는 방법을 설명하기 위하여 도 9에서와 같이 상기 입력영상이 상기 기준영상을 기준으로 반시계방향으로 90도 회전되었다고 가정한다.

누적될 연관행렬은 도 9와 도 10의 (a)에 나타낸 것과 같이 선형에 대응되도록 가로축은 입력영상의 선형번호를 나타내고 세로축은 기준영상의 선형번호를 나타내도록 행렬을 구성한다. 그리고 유사한 선형쌍 판별을 위한 3 단계를 거쳐서 입력영상의 선형쌍(a1,a2)과 기준영상의 선형쌍(b1,b3)이 유사하다고 식별되었다면 도 10의 (b)에서와 같이 해당되는 행렬 위치에 1을 더해준다. 이러한 방법으로 입력영상과 기준영상에서 선형쌍이 나타날 모든 경우의 수인 선형쌍을 비교하고, 유사한 선형쌍에 해당되는 행렬 위치에 1을 더하여 누적하면 도 10의 (c)에서와 같은 연관행렬 결과를 값을 얻을 수 있다. 도 10의 (c)에 나타낸 최종 연관행렬을 보면 가장 높은 수를 가지고 있는 (a2,b1), (a4,b2), (a1,b3), (a3,b4)의 선형이 도 9에 나타난 것과 같이 일치되는 선형임을 알 수 있다. 따라서 유사한 선형쌍 식별을 통해 유사한 선형을 판별할 수 있다.

또한 상기 초기 변환계수 산출부(115)는 누적된 연관행렬에서 높은 값을 가지고 있는 행렬의 위치를 확인하면 유사한 선형을 찾을 수 있다. 하지만 실제의 입력영상과 기준영상을 자료처리하면 높은 값을 가지고 있더라도 유사하지 않은 선형이 존재할 수 있다. 이러한 문제를 해결하기 위하여 RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 불일치하는 선형을 제거하고, 유사한 선형간의 관계를 계산하여 초기 변환계수를 구한다. 이때 일반적인 RANSAC 알고리즘은 임의로 데이터를 선정하지만 본 발명의 RANSAC 알고리즘은 누적된 연관행렬에서 나타난 수를 내림차순으로 정렬하고 상위범위에 해당되는 값들의 행렬의 위치를 선정한다. 높은 값을 갖는 연관행렬의 위치는 유사한 선형을 나타내기 때문에 임의로 데이터를 선정하는 것보다 유사한 선형이 나타날 수 있는 선형들만 선정하기 위해서이다. 상위 범위의 계산은 다음의 수학식 1과 같다.

[수학식 1]

여기서,

은 입력영상에서 필터링된 선형개수이고,

은 기준영상에서 필터링된 선형의 개수이다.

본 발명에서는 선정된 행렬의 위치 중 3개의 위치를 선정한다. 이는 입력영상과 기준영상에서 각각 유사할 수 있는 선형 3개를 선정한 것이다. 유사할 수 있는 3개의 선형을 통해 등각사상변환 또는 부등각사상변환계수를 구하고, 변환계수를 입력영상의 필터링된 선형에 적용한다.

등각사상변환(conformal transformation)은 기준영상과 입력영상 좌표축간의 직교성이 유지되는 선형쌍간의 평행이동, 축척계수, 회전요소를 이용한 변환을 나타내는 4개(

)의 요소로 구성된다. 여기서 기준영상의 좌표는 (x,y)이고, 입력영상의 좌표는 (

)이다. 상기 입력영상의 좌표는 다음의 수학식 2와 같이 구해진다.

[수학식 2]

부등각사상변환(affine transformation)은 기준영상과 입력영상 좌표축간의 직교성의 유지가 보장되지 않는 선형쌍간의 평행이동, 축척계수, 회전요소를 이용한 변환을 나타내는 6개(

)의 요소로 구성되며, 입력영상의 좌표 (

)는 다음의 수학식 3과 같이 구해진다.

[수학식 3]

등각사상변환의 경우 변환계수가 4개이고, 부등각사상변환의 경우 변환계수가 6개이므로 선정된 행렬의 위치 중 3개의 위치인 3개의 선형값은 각각 2개의 수식을 생성하기 때문에 이러한 변환계수를 추정할 수 있다.

변환계수의 계산을 통해서 입력영상의 필터링된 선형과 기준영상의 필터링된 선형 간의 기울기와 거리가 유사한 선형의 개수를 파악한다. 이러한 방법은 선정된 범위 이내에서 반복적으로 수행하여 유사한 선형의 개수가 가장 많은 변환계수를 초기 변환계수로 선정한다. 초기 변환계수는 등각사상변환 계수 또는 부등각사상변환 계수를 이용할 수 있으며, 이러한 변환계수를 이용하여 입력영상과 정사영상간의 대응관계를 파악할 수 있다.

상기 초기 영상변환부(116)는 상기 초기 변환계수 산출부(115)에서 산출한 초기 변환계수를 토대로 상기 입력영상을 변환하는 기능을 수행한다. 이때 상기 입력영상이 상기 기준영상에 대략적으로 변환되어 비슷한 위치와 방향에 있기 때문에 두 영상에서 나타난 선형의 기울기나 거리가 유사하게 나타난다. 이러한 특징을 토대로 다음 단계는 선형쌍이 아닌 유사한 선형을 판별하여 최종 변환계수를 구한다.

한편 도 3을 다시 참조하여, 상기 유사 선형 분석부(120)는 상기 선형쌍 연관성 분석부(110)에서 초기 변환계수를 토대로 변환한 입력영상과 상기 기준영상 간의 유사한 선형을 확인하고, 상기 확인한 유사한 선형을 토대로 동일한 선형을 선정한 후 영상변환을 위한 최종 변환계수를 결정한 다음, 상기 최종 변환계수를 토대로 상기 입력영상을 변환하여 등록하는 기능을 수행한다.

이때 상기 유사 선형 분석부(120)는 유사성 범위설정부(121), 유사 선형 판별부(122), 최종 변환계수 산출부(123), 영상등록부(124) 등으로 구성된다.

상기 유사성 범위설정부(121)는 상기 입력영상에 나타난 선형과 상기 기준영상에 나타난 선형의 유사도를 판별하기 위하여 유사한 정도의 기준이 되는 유사성 범위를 설정한다. 이때 유사성 범위를 설정하는 이유는 유사한 정도를 계산한 후 그 값이 유사성 범위를 벗어나는 경우 유사하지 않은 선형으로 판별하기 위해서이며, 그 값이 0에 가까울수록 유사도가 높은 선형이다.

상기 유사 선형 판별부(122)는 상기 선형쌍 연관성 분석부(110)에서 변환한 상기 입력영상과 상기 기준영상의 선형 간에 법선벡터, 중복유무, 선형주변의 밝기값 또는 이들의 조합을 토대로 유사한 선형을 판별하는 기능을 수행한다.

이때 유사 선형 판별부(122)는 상기 입력영상이 초기 변환계수를 사용하여 기준영상에 대략적으로 변환되었기 때문에 거리와 중복도에 따라 유사한 선형을 판별할 수 있으며, 다음의 3 단계를 통해 상기 입력영상과 상기 기준영상 간의 유사한 선형을 판별한다.

첫 번째 단계는 도 11의 거리 탐색 부분에 나타낸 바와 같이 입력영상의 선형(1-2)을 초기 변환계수를 이용하여 변환한 선형(1′-2′)과 기준영상의 선형(3-4)과의 법선벡터(n)를 계산한다. 법선벡터가 0에 가까울수록 기울기와 거리가 유사한 선형임을 나타내고, 본 발명에서 법선벡터가 유사성 범위를 벗어날 경우 유사하지 않은 선형으로 판단한다. 두 선형간의 유사성을 판단하는 법선벡터의 계산은 다음의 수학식 4를 사용한다. 즉 상기 입력영상의 선형을 초기 변환계수를 이용하여 변환한 선형과 상기 기준영상의 선형과의 법선벡터를 계산하여, 상기 계산한 법선벡터가 유사성 범위를 벗어나지 않은 경우 유사한 선형으로 판별하는 것이다.

[수학식 4]

여기서

은 선형의 기울기와 거리의 유사도를 나타내는 법선벡터이고,

은 입력영상의 선형에서 초기 변환계수에 의해 변환된 선형이고, θ, ρ는 기준영상에서 나타난 선형에서 극좌표계의 각도와 거리를 나타낸다.

두 번째 단계는 법선벡터를 통해 유사도를 판별한 후 입력영상의 선형과 기준영상의 선형 간의 중복이 되는지를 판별해야 한다. 두 선형이 중복되는지를 판별하는 방법은 도 11의 중복도 탐색 부분에 나타낸 바와 같이 두 벡터의 정사영(Orthogonal projection)을 통해 알 수 있고 다음의 수학식 5와 같이 계산할 수 있다. 도 11을 보면

를

에 정사영을 하면

가 계산되고

의 위치를 알 수 있다. 따라서

의 위치가

선형 위에 있다면 선형이 중복된 것으로 판단한다. 즉 상기 입력영상의 선형과 상기 기준영상의 선형 간의 중복유무를 확인하여 중복되는 경우 유사한 선형으로 판별하는 것이다.

[수학식 5]

여기서,

는 입력영상인 점 a1부터 기준영상인 점 b2까지의 벡터이고,

는 입력영상에 나타난 선형인 벡터이다.

이러한 첫 번째 및 두 번째 단계를 통해 입력영상의 선형을 기준으로 기준영상의 선형과 유사한 선형을 판단하게 되는데 기준영상의 선형에서 유사한 선형이 많을 경우 선형이 일대일로 대응되지 않고, 일대다로 나타날 수 있다.

세 번째 단계는 이처럼 일대다 형태로 선형의 관계가 설정되면 오차를 발생시키기 때문에 최종적으로 일대다로 선정된 선형 중 선형 주변의 밝기값이 가장 유사한 선형을 서로 유사한 선형으로 선택한다. 선형 주변의 밝기값에 대한 유사도의 평가는 두 선형간의 밝기값의 평균과 표준편차를 이용한다.

즉 상기 세 번째 단계는 상기 입력영상의 선형과 상기 기준영상의 선형의 유사한 선형에 대한 판별결과 상기 입력영상과 상기 기준영상이 일대다 형태의 선형 관계이면 선형 주변의 밝기값의 가장 유사한 선형을 유사한 선형으로 판별하는 것이다.

상기 최종 변환계수 산출부(123)는 상기 유사 선형 판별부(122)에서 판별한 유사한 선형을 토대로 동일한 선형을 선정하고, 상기 선정한 동일한 선형에서 특이한 선형을 제거한 다음 영상변환을 위한 투영변환(Projective transformation) 계수를 결정한다. 그리고 상기 유사성 범위설정부(121)에서 설정한 유사성 범위만큼 감소시키면서 상기 입력영상과 상기 기준영상의 선형 간의 유사한 선형 판별을 반복하여 상기 결정한 투영변환 계수를 갱신하고, 상기 유사성 범위가 음수가 될 때의 투영변환 계수를 최종 변환계수로 산출한다.

보다 구체적으로 설명하면, 상기 최종 변환계수 산출부(123)는 입력영상과 기준영상간의 선형관계가 일대일로 설정된 경우, 오차를 크게 발생시킬 수 있는 선형을 제거하기 위해 RANSAC 알고리즘을 수행하여 특이한 선형을 제거한다. 여기서 RANSAC 알고리즘의 수행은 오차가 최소화 되는 투영변환 계수를 계산하면서 특이 선형을 제거한다. 이를 통해 최적의 유사한 선형을 선정하고 선정된 선형을 통해 입력영상과 기준영상간의 변환을 위한 투영변환 계수를 결정한다.

입력영상과 기준영상간의 투영변환 식은 다음의 수학식 6과 같다.

여기서, 기준영상의 좌표는 (x,y)이고, 입력영상의 좌표는 (

)이며,

는 투영변환 계수를 나타낸다.

[수학식 6]

그리고 상기 최종 변환계수 산출부(123)는 상기 유사성 범위설정부(121)에서 설정한 유사성 범위만큼 감소시키고, 유사성 범위가 음수가 될 때까지 입력영상과 기준영상 간의 유사한 선형 판별을 반복하여 투영변환 계수를 갱신한다. 그러면 유사성 범위를 감소시킴에 따라 유사도가 정밀한 선형만 선정되기 때문에 이를 통해 최적의 최종 변환계수를 결정할 수 있다.

상기 영상등록부(124)는 상기 최종 변환계수 산출부(123)에서 산출한 최종 변환계수를 토대로 상기 입력영상을 상기 기준영상에 자동등록하는 기능을 수행한다. 도 12는 이러한 과정을 통해 입력영상을 기준영상에 자동으로 등록한 결과를 나타낸 것으로서, 입력영상과 기준영상의 해상도 차이가 큰 것을 알 수 있으며, 동일한 지역으로 입력영상이 등록된 것을 알 수 있다.

다음에는, 이와 같이 구성된 본 발명에 따른 선형정보의 연관분석을 이용한 입력영상의 자동등록 방법의 일 실시예를 도 13을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.

도 13은 본 발명의 일 실시예에 따른 선형정보의 연관분석을 이용한 입력영상의 자동등록 방법의 동작과정을 상세하게 나타낸 순서도이다.

우선, 영상등록장치(100)는 변화된 지역을 탐지하거나 재난 발생 시 기준영상과 동일한 위치에서 비교하여 피해범위를 파악하기 위하여 네트워크를 통해 적어도 하나 이상의 드론(200) 및 기준영상 제공자 단말(300)로부터 입력영상과 기준영상을 각각 수집한다(S10).

상기 S10 단계를 통해 입력영상과 기준영상이 수집되면, 상기 영상등록장치(100)는 공간해상도가 높은 상기 입력영상을 상기 기준영상의 공간해상도에 맞추어 저하시키는 해상도 조절을 수행한다(S20).

또한 상기 영상등록장치(100)는 상기 S20 단계에서 해상도를 조절한 입력영상과 상기 기준영상 각각에서 선형 추출, 선형 필터링, 선형의 방향성 정의를 순차적으로 수행한다(S30). 즉 경계선 추출연산자를 이용하여 상기 입력영상과 상기 기준영상에서 선형을 추출하고, 상기 추출한 선형에서 동일한 지역에 위치한 유사한 선형을 제거하여 하나의 선형으로 필터링하며, 상기 필터링한 각 선형의 두 점에서 중심점과 거리가 먼 곳을 벡터의 종점으로 설정하여 선형의 방향성을 정의하는 과정을 순차적으로 수행하는 것이다.

상기 S30 단계를 통해 상기 입력영상과 상기 기준영상 각각의 선형정보가 확인되면, 상기 영상등록장치(100)는 상기 처리한 선형을 토대로 선형의 중심점, 선형쌍의 거리, 선형쌍의 내적과 외적 또는 이들의 조합을 토대로 유사한 선형쌍의 판별을 수행한다(S40).

이때 상기 S40 단계의 유사 선형쌍 판별은, S30 단계에서 처리한 선형을 토대로 각 선형쌍의 내적을 계산하여 동일 사잇각의 선형쌍을 판별한 다음 동일 사잇각의 선형쌍인 경우 선형의 중심점과의 거리가 유사한지를 확인하여 사잇각이 유사한 선형쌍을 판별하는 제1 단계, 상기 제1 단계에서 사잇각이 유사한 선형쌍을 판별한 다음 각 선형쌍의 외적을 계산하여 선형쌍의 내적값이 유사하고 중간점과의 거리가 유사하나 방향성이 다른 선형쌍을 판별하는 제2 단계, 상기 제2 단계에서 판별한 방향성이 다른 선형쌍 중 방향의 구별이 어려운 선형쌍의 내적을 계산하여 선형쌍의 방향을 판별하는 제3 단계를 토대로 유사 선형쌍의 판별을 진행한다. 여기서 상기 제1 단계에서 동일 사잇각의 선형쌍인 경우 선형의 중심점과의 거리가 유사한지를 확인하는 것은, 선형의 중심점과의 거리가 기 설정된 유사범위 이내인지를 확인하는 것을 의미한다.

이처럼 상기 S40 단계를 통해 유사 선형쌍이 판별되면, 상기 영상등록장치(100)는 상기 판별한 유사한 선형쌍을 연관행렬에 누적하고, 상기 누적한 연관행렬에서 상위 값을 가진 선형쌍을 분석하여 유사한 선형을 선정하며, RANSAC 알고리즘을 이용하여 상기 선정한 유사한 선형에서 특이한 선형을 제거한 다음 초기 변환계수를 산출한다(S50).

이후 상기 영상등록장치(100)는 상기 S50 단계에서 상기 산출한 초기 변환계수를 토대로 상기 입력영상을 변환하는 작업을 수행한다(S60).

이제, 상기 영상등록장치(100)는 상기 S60 단계에서 초기 변환계수를 토대로 변환된 등록영상과 기준영상 간의 유사한 선형을 찾기 위한 과정을 수행한다. 이때 상기 영상등록장치(100)는 더 많은 유사한 선형을 찾기 위해 선형 필터링을 수행하기 이전에 추출된 모든 선형을 이용한다.

이를 위하여 상기 영상등록장치(100)는 먼저 상기 입력영상과 상기 기준영상에 나타난 선형의 유사도를 판별하기 위하여 유사한 정도의 기준이 되는 유사성 범위를 설정한다(S70).

그리고 상기 영상등록장치(100)는 상기 S60 단계에서 변환한 입력영상과 상기 기준영상의 선형 간에 법선벡터, 중복유무, 선형주변의 밝기값 또는 이들의 조합을 토대로 유사한 선형을 판별하는 작업을 수행한다(S80).

이때 상기 S80 단계의 상기 입력영상과 상기 기준영상의 선형 간의 유사한 선형의 판별은, 상기 입력영상의 선형을 초기 변환계수를 이용하여 변환한 선형과 상기 기준영상의 선형과의 법선벡터를 계산하여 상기 계산한 법선벡터가 유사성 범위를 벗어나지 않은 경우 유사한 선형으로 판별하는 제1 단계, 상기 입력영상의 선형과 상기 기준영상의 선형 간의 중복유무를 확인하여 중복되는 경우 유사한 선형으로 판별하는 제2 단계, 상기 입력영상의 선형과 상기 기준영상의 선형의 유사한 선형에 대한 판별결과 상기 입력영상과 상기 기준영상이 일대다 형태의 선형 관계이면 선형 주변의 밝기값의 가장 유사한 선형을 유사한 선형으로 판별하는 제3 단계를 를 토대로 유사한 선형의 판별을 진행한다.

이처럼 상기 S80 단계를 통해 유사한 선형이 판별되면, 상기 영상등록장치(100)는 상기 S80 단계에서 판별한 유사한 선형을 토대로 동일한 선형을 선정하고, RANSAC 알고리즘을 이용하여 상기 선정한 동일한 선형에서 특이한 선형을 제거한 다음 영상변환을 위한 투영변환 계수를 결정한다(S90).

이후 상기 영상등록장치(100)는 현재의 유사성 범위를 상기 S70 단계에서 설정한 유사성 범위만큼 감소시키고(S100), 조정된 유사성 범위가 음수인지를 판단하여(S110), 상기 유사성 범위가 음수가 될 때까지 상기 입력영상과 상기 기준영상의 선형 간의 유사한 선형을 판별하는 상기 S80 단계 이후를 반복하여 수행함으로써, 투영변환 계수를 정제한다. 즉 최종 변환계수를 결정하기 위하여, 유사성 범위를 감소시키면서 상기 입력영상과 상기 기준영상의 선형 간에 유사도가 정밀한 선형이 선정되도록 하는 것이다.

그리고 상기 S110 단계의 판단결과 유사성 범위가 음수가 되면, 상기 영상등록장치(100)는 현재의 유사성 범위에서 정제된 투영변환 계수를 최종 변환계수로 결정하고, 상기 결정한 최종 변환계수를 토대로 상기 입력영상을 상기 기준영상에 자동등록한다(S120).

이처럼 본 발명은 영상에서 손쉽게 추출할 수 있는 선형정보를 이용하여 드론에서 촬영한 입력영상과 기존의 포털 사이트 등에서 서비스되고 있는 정사영상인 기준영상의 동일지역에 대한 영상을 자동으로 등록하기 때문에 선형정보를 추출할 수 있는 영상이라면 시공간해상도가 다른 어떠한 영상이라도 처리가 가능하다.

또한 본 발명은 촬영시기가 서로 다른 입력영상과 기준영상의 상호 비교를 토대로 도시지역에서 변화된 지역을 파악하는데 활용이 가능하며, 특히 재난이 발생한 경우 기준영상과 동일한 위치에서 입력영상과의 비교를 손쉽게 수행할 수 있으므로 피해지역의 범위나 피해정도의 파악이 용이하다.

이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

100 : 영상등록장치 110 : 선형쌍 연관성 분석부
111 : 영상 수집부 111a : 기준영상 수집부
111b : 입력영상 수집부 112 : 해상도 조절부
113 : 선형 처리부 113a : 선형 추출부
113b : 선형 필터링부 113c : 선형 방향 정의부
114 : 유사 선형쌍 판별부 115 : 초기 변환계수 산출부
116 : 초기 영상변환부 120 : 유사 선형 분석부
121 : 유사성 범위설정부 122 : 유사 선형 판별부
123 : 최종 변환계수 산출부 124 : 영상등록부
200 : 드론 300 : 기준영상 제공자 단말
400 : 데이터베이스

Claims (12)

1. 입력영상 및 상기 입력영상에 대응하는 기준영상에서, 선형쌍 간의 정합을 수행하기 위해서 연관행렬을 구성하여 분석하는 선형쌍 연관성 분석부; 및
   유사성 범위를 감소시키면서 최종 변환계수를 결정하고, 상기 입력영상을 상기 기준영상에 자동등록하는 유사 선형 분석부;를 포함하며,
   상기 선형쌍 연관성 분석부는,
   시공간해상도가 다른 상기 입력영상 및 기준영상에서 선형정보를 추출하고, 상기 추출한 선형정보를 토대로 유사한 선형쌍을 찾기 위한 연관성 분석을 수행하여 초기 변환계수를 결정하는 것으로,
   상기 입력영상의 공간해상도를 상기 기준영상의 공간해상도에 맞추어 저하시키는 해상도 조절부;
   공간해상도가 저하된 상기 입력영상과 상기 기준영상 각각에서 선형을 추출하고, 상기 추출한 선형에서 선형쌍 연관성 분석에 방해되는 선형을 제거하고, 상기 선형의 방향을 정의하여 벡터로 처리하는 선형 처리부;
   상기 선형 처리부에서 처리한 선형을 토대로 선형의 중심점, 선형쌍의 거리, 선형쌍의 내적과 외적 또는 이들의 조합을 토대로 유사한 선형쌍을 판별하는 유사 선형쌍 판별부; 및
   상기 판별한 유사한 선형쌍을 연관행렬에 누적하고, 상기 누적한 연관행렬에서 상위 값을 가진 선형쌍을 분석하여 유사한 선형을 선정하고, 상기 선정한 유사한 선형에서 특이한 선형을 제거한 다음 초기 변환계수를 산출하는 초기 변환계수 산출부;를 포함하는 것을 특징으로 하는 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템.
2. 삭제
3. 청구항 1에 있어서,
   상기 선형 처리부는,
   경계선 추출연산자를 이용하여 상기 입력영상과 상기 기준영상에서 선형을 추출하는 선형 추출부;
   상기 추출한 선형에서 동일한 지역에 위치한 유사한 선형을 제거하여 하나의 선형으로 필터링하는 선형 필터링부; 및
   상기 필터링한 각 선형의 두 점에서 중심점과 거리가 먼 곳을 벡터의 종점으로 설정하는 선형의 방향성을 정의하는 선형 방향 정의부;를 포함하는 것을 특징으로 하는 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템.
4. 청구항 1에 있어서,
   상기 유사 선형쌍 판별부는,
   상기 입력영상의 선형쌍과 상기 기준영상의 선형쌍의 유사도를 판별할 때,
   상기 선형 처리부에서 처리한 선형을 토대로 각 선형쌍의 내적을 계산하여 동일 사잇각의 선형쌍을 판별한 다음 동일 사잇각의 선형쌍인 경우 선형의 중심점과의 거리가 기 설정된 유사범위 이내인지를 확인하여 사잇각이 유사한 선형쌍을 판별하고,
   각 선형쌍의 외적을 계산하여 선형쌍의 내적값이 유사하고 중간점과의 거리가 유사하나 방향성이 다른 선형쌍을 판별하고,
   상기 판별한 방향성이 다른 선형쌍 중 방향의 구별이 어려운 선형쌍의 중심점간의 내적을 계산하여 선형쌍의 방향을 판별하는 것을 특징으로 하는 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템.
5. 청구항 1에 있어서,
   상기 유사 선형 분석부는,
   상기 입력영상과 상기 기준영상 간의 유사한 선형을 확인하고, 상기 확인한 유사한 선형을 토대로 동일한 선형을 선정한 후 영상변환을 위한 최종 변환계수를 결정하고, 상기 최종 변환계수를 토대로 상기 입력영상을 상기 기준영상에 자동등록하는 것으로,
   상기 입력영상과 상기 기준영상에 나타난 선형의 유사도를 판별하기 위하여 유사한 정도의 기준이 되는 유사성 범위를 설정하는 유사성 범위설정부;
   상기 선형쌍 연관성 분석부에서 변환한 상기 입력영상과 상기 기준영상의 선형 간에 법선벡터, 중복유무, 선형주변의 밝기값 또는 이들의 조합을 토대로 유사한 선형을 판별하는 유사 선형 판별부;
   상기 판별한 유사한 선형을 토대로 동일한 선형을 선정하고, 상기 선정한 동일한 선형에서 특이한 선형을 제거한 다음 영상변환을 위한 투영변환 계수를 결정하고, 상기 유사성 범위설정부에서 설정한 유사성 범위만큼 감소시키면서 상기 입력영상과 상기 기준영상의 선형 간의 유사한 선형 판별을 반복하여 상기 결정한 투영변환 계수를 갱신하고, 상기 유사성 범위가 음수가 될 때의 투영변환 계수를 최종 변환계수로 산출하는 최종 변환계수 산출부; 및
   상기 산출한 최종 변환계수를 토대로 상기 입력영상을 상기 기준영상에 자동등록하는 영상등록부;를 포함하는 것을 특징으로 하는 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템.
6. 청구항 5에 있어서,
   상기 유사 선형 판별부는,
   상기 입력영상과 상기 기준영상의 선형 간에 유사한 선형을 판별할 때,
   상기 입력영상의 선형을 초기 변환계수를 이용하여 변환한 선형과 상기 기준영상의 선형과의 법선벡터를 계산하여, 상기 계산한 법선벡터가 유사성 범위를 벗어나지 않으면 유사한 선형으로 판별하고,
   상기 입력영상의 선형과 상기 기준영상의 선형 간의 중복유무를 확인하여 중복되면 유사한 선형으로 판별하고,
   상기 입력영상의 선형과 상기 기준영상의 선형의 유사한 선형에 대한 판별결과 상기 입력영상과 상기 기준영상이 일대다 형태의 선형 관계이면 선형 주변의 밝기값의 가장 유사한 선형을 유사한 선형으로 판별하는 것을 더 포함하는 것을 특징으로 하는 선형정보의 연관분석을 이용한 입력영상의 자동등록 시스템.
7. 입력영상 및 상기 입력영상에 대응하는 기준영상에서, 선형쌍 간의 정합을 수행하기 위해서 연관행렬을 구성하여 분석하는 선형쌍 연관성 분석 단계; 및
   유사성 범위를 감소시키면서 최종 변환계수를 결정하고, 상기 입력영상을 상기 기준영상에 자동등록하는 유사 선형 분석 단계;를 포함하며,
   상기 선형쌍 연관성 분석 단계는,
   시공간해상도가 다른 상기 입력영상 및 기준영상에서 선형정보를 추출하고, 상기 추출한 선형정보를 토대로 유사한 선형쌍을 찾기 위한 연관성 분석을 수행하여 초기 변환계수를 결정하는 것으로,
   상기 입력영상의 공간해상도를 상기 기준영상의 공간해상도에 맞추어 저하시키는 해상도 조절 단계;
   공간해상도가 저하된 상기 입력영상과 상기 기준영상 각각에서 선형을 추출하고, 상기 추출한 선형에서 선형쌍 연관성 분석에 방해되는 선형을 제거하고, 상기 선형의 방향을 정의하여 벡터로 처리하는 선형 처리 단계;
   상기 처리한 선형을 토대로 선형의 중심점, 선형쌍의 거리, 선형쌍의 내적과 외적 또는 이들의 조합을 토대로 유사한 선형쌍을 판별하는 유사 선형쌍 판별 단계; 및
   상기 판별한 유사한 선형쌍을 연관행렬에 누적하고, 상기 누적한 연관행렬에서 상위 값을 가진 선형쌍을 분석하여 유사한 선형을 선정하고, 상기 선정한 유사한 선형에서 특이한 선형을 제거한 다음 초기 변환계수를 산출하는 초기 변환계수 산출 단계;를 포함하는 것을 특징으로 하는 선형정보의 연관분석을 이용한 입력영상의 자동등록 방법.
8. 삭제
9. 청구항 7에 있어서,
   상기 선형 처리 단계는,
   경계선 추출연산자를 이용하여 상기 입력영상과 상기 기준영상에서 선형을 추출하는 선형 추출 단계;
   상기 추출한 선형에서 동일한 지역에 위치한 유사한 선형을 제거하여 하나의 선형으로 필터링하는 선형 필터링 단계; 및
   상기 필터링한 각 선형의 두 점에서 중심점과 거리가 먼 곳을 벡터의 종점으로 설정하는 선형의 방향성을 정의하는 선형 방향 정의 단계;를 포함하는 것을 특징으로 하는 선형정보의 연관분석을 이용한 입력영상의 자동등록 방법.
10. 청구항 7에 있어서,
    상기 유사 선형쌍 판별 단계는,
    상기 입력영상의 선형쌍과 상기 기준영상의 선형쌍의 유사도를 판별할 때,
    상기 선형 처리 단계에서 처리한 선형을 토대로 각 선형쌍의 내적을 계산하여 동일 사잇각의 선형쌍을 판별한 다음 동일 사잇각의 선형쌍인 경우 선형의 중심점과의 거리가 기 설정된 유사범위 이내인지를 확인하여 사잇각이 유사한 선형쌍을 판별하는 단계;
    각 선형쌍의 외적을 계산하여 선형쌍의 내적값이 유사하고 중간점과의 거리가 유사하나 방향성이 다른 선형쌍을 판별하는 단계; 및
    상기 판별한 방향성이 다른 선형쌍 중 방향의 구별이 어려운 선형쌍의 중심점간의 내적을 계산하여 선형쌍의 방향을 판별하는 단계;를 포함하는 것을 특징으로 하는 선형정보의 연관분석을 이용한 입력영상의 자동등록 방법.
11. 청구항 7에 있어서,
    상기 유사 선형 분석 단계는,
    상기 입력영상과 상기 기준영상 간의 유사한 선형을 확인하고, 상기 확인한 유사한 선형을 토대로 동일한 선형을 선정한 후 영상변환을 위한 최종 변환계수를 결정하고, 상기 최종 변환계수를 토대로 상기 입력영상을 상기 기준영상에 자동등록하는 것으로,
    상기 입력영상과 상기 기준영상에 나타난 선형의 유사도를 판별하기 위하여 유사한 정도의 기준이 되는 유사성 범위를 설정하는 유사성 범위설정 단계;
    상기 선형쌍 연관성 분석 단계에서 변환한 상기 입력영상과 상기 기준영상의 선형 간에 법선벡터, 중복유무, 선형주변의 밝기값 또는 이들의 조합을 토대로 유사한 선형을 판별하는 유사 선형 판별 단계;
    상기 판별한 유사한 선형을 토대로 동일한 선형을 선정하고, 상기 선정한 동일한 선형에서 특이한 선형을 제거한 다음 영상변환을 위한 투영변환 계수를 결정하고, 상기 유사성 범위설정 단계에서 설정한 유사성 범위만큼 감소시키면서 상기 입력영상과 상기 기준영상의 선형 간의 유사한 선형 판별을 반복하여 상기 결정한 투영변환 계수를 갱신하고, 상기 유사성 범위가 음수가 될 때의 투영변환 계수를 최종 변환계수로 산출하는 최종 변환계수 산출 단계; 및
    상기 산출한 최종 변환계수를 토대로 상기 입력영상을 상기 기준영상에 자동등록하는 영상등록 단계;를 포함하는 것을 특징으로 하는 선형정보의 연관분석을 이용한 입력영상의 자동등록 방법.
12. 청구항 11에 있어서,
    상기 유사 선형 판별 단계는,
    상기 입력영상과 상기 기준영상의 선형 간에 유사한 선형을 판별할 때,
    상기 입력영상의 선형을 초기 변환계수를 이용하여 변환한 선형과 상기 기준영상의 선형과의 법선벡터를 계산하여, 상기 계산한 법선벡터가 유사성 범위를 벗어나지 않으면 유사한 선형으로 판별하는 단계;
    상기 입력영상의 선형과 상기 기준영상의 선형 간의 중복유무를 확인하여 중복되면 유사한 선형으로 판별하는 단계; 및
    상기 입력영상의 선형과 상기 기준영상의 선형의 유사한 선형에 대한 판별결과 상기 입력영상과 상기 기준영상이 일대다 형태의 선형 관계이면 선형 주변의 밝기값의 가장 유사한 선형을 유사한 선형으로 판별하는 단계;를 더 포함하는 것을 특징으로 하는 선형정보의 연관분석을 이용한 입력영상의 자동등록 방법.

Images