KR20040009317A - 템플릿 정합을 이용한 영상에서 도로 추출방법 - Google Patents

Abstract

본 발명은 인공위성 또는 항공기에서 촬영한 영상으로부터 지도를 제작하기 위해 도로를 추출하는 방법에 관한 것으로, 더욱 자세하게는 촬영된 영상으로부터 도로를 추출함에 있어, 영상의 템플릿(template) 정합(matching)을 이용해 도로를 추출하는 방법에 관한 것이다.

본 발명은, 인공위성이나 항공기를 통해 촬영된 영상으로부터 도로를 추출하는 방법에 있어서, 초기 입력 좌표가 선택되면, 상기 선택된 초기 입력 좌표의 방위를 계산하는 제1 단계; 상기 초기 입력 좌표를 중심으로 상기 계산된 방위만큼 기울어진 템플릿 윈도우를 생성하는 제2 단계; 상기 생성된 템플릿 윈도우로부터 입력 좌표의 방위 방향으로 이동한 초기 목적 윈도우를 생성하는 제3 단계; 상기 생성된 초기 목적 윈도우를 중심으로 템플릿 정합을 수행하여 윈도우의 중심점 좌표와 새로운 방위를 계산하는 제4 단계; 상기 계산된 중심점 좌표로부터 상기 계산된 새로운 방위 방향으로 이동한 새로운 목적 윈도우를 생성하여 모든 영상에 대한 처리가 완료될 때까지 상기 제4 단계를 반복 수행하는 제5 단계; 및 상기 영상으로부터 얻어진 중심점들을 연결하여 도로를 생성하는 제6 단계를 포함한다.

Description

템플릿 정합을 이용한 영상에서 도로 추출방법{Road Extraction from images using Template Matching}

본 발명은 인공위성 또는 항공기에서 촬영한 영상으로부터 지도를 제작하기 위해 도로를 추출하는 방법에 관한 것으로, 더욱 자세하게는 촬영된 영상으로부터 도로를 추출함에 있어, 영상의 템플릿(template) 정합(matching)을 이용해 도로를 추출하는 방법에 관한 것이다.

지도를 제작하는 방법들 중에 최근에는 인공위성이나 항공기를 이용해 촬영한 영상을 이용해 지도를 제작하는 방법이 있다. 즉, 이는 항공기나 인공위성을 통해 촬영된 영상의 일그러짐을 보정하고, 보정된 영상을 이용해 지도를 제작하는방법이다. 그 예로서 대한민국 공개특허공보 2001-25089호가 있다. 상기 2001-25089호는 촬영 영상을 이용한 지도 제작 방법이 개시되어 있다. 상기 방법은 제1 고도에서 촬영한 지도 작성용 영상을 취득하는 단계와, 상기 제1 고도보다 높은 제2 고도에서 촬영한 일그러짐 보정용 영상을 취득하는 단계와, 상기 일그러짐 보정용 영상을 사용하여 지도 작성용 영상의 일그러짐을 보정하는 단계와, 상기 보정된 지도 작성용 영상을 기초로 지도를 작성하는 단계를 포함한다.

이와 같은 지도 제작 방법에 있어서, 영상으로부터 도로와 같은 지형물을 추출하는 방법의 예로는 "스낵(Snake)"이라 불리는 방법이 있다. 상기 "스낵"은 사용자가 수작업을 통해 영상에 나타난 도로 윤곽을 따라 점선으로 표시하고, 상기 표시된 점선을 보정하여 도로를 추출하는 방법이다. 따라서, 상기와 같은 종래의 도로 추출방법은 사용자의 수작업에 의지하기 때문에, 최종 작성된 도로의 정확성이 떨어질 수 있고, 많은 시간이 요구되는 문제점이 있었다.

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 영상으로부터 지도 제작을 위한 도로를 추출함에 있어, 영상의 템플릿 정합을 이용해 도로를 연속적으로 추출하는 방법을 제공하는데 있다.

도1은 본 발명에 따른 영상에서 도로를 추출하는 과정을 나타낸 흐름도.

도2는 본 발명을 이용해 영상에서 도로를 추출한 결과를 나타낸 도면.

상기 목적을 달성하기 위한 본 발명은, 항공기나 인공위성을 통해 촬영된 영상에서 사용자가 도로의 중앙선 부근의 한 점을 초기 입력 좌표로 선택하면, 상기 선택된 좌표의 방위(orientation)가 계산된다. 그리고, 상기 계산된 방위를 바탕으로 초기 템플릿이 생성되고, 상기 생성된 초기 템플릿에서 유사 변형(similarity transformation)을 기반으로 하는 적응적인 최소자승상관(least square correlation)이 수행된다. 이런 결과로, 초기 입력 좌표와 유사한 도로의 중앙선이 순차적으로 추출된다.

또한, 본 발명에서는 컴퓨터에서, 초기 입력 좌표가 선택되면, 상기 선택된 초기 입력 좌표의 방위를 계산하는 제1 단계; 상기 초기 입력 좌표를 중심으로 상기 계산된 방위만큼 기울어진 템플릿 윈도우를 생성하는 제2 단계; 상기 생성된 템플릿 윈도우로부터 입력 좌표의 방위 방향으로 이동한 초기 목적 윈도우를 생성하는 제3 단계; 상기 생성된 초기 목적 윈도우를 중심으로 템플릿 정합을 수행하여 윈도우의 중심점 좌표와 새로운 방위를 계산하는 제4 단계; 상기 계산된 중심점 좌표로부터 상기 계산된 새로운 방위 방향으로 이동한 새로운 목적 윈도우를 생성하여 모든 영상에 대한 처리가 완료될 때까지 상기 제4 단계를 반복 수행하는 제5 단계; 및 상기 영상으로부터 얻어진 중심점들을 연결하여 도로를 생성하는 제6 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이와 같은 본 발명에 의하면, 종래의 방법에 비해 간단한 사용자의 입력에 의해 도로가 추출되며, 영상의 템플릿 정합을 사용하기 때문에, 빠른 시간내에 매우 정확한 도로를 추출할 수 있는 잇점이 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명한다.

도1은 본 발명에 따른 영상에서 도로를 추출하는 과정을 나타낸 흐름도이고, 도2는 본 발명을 이용해 영상에서 도로를 추출한 결과를 나타낸 도면이다.

본 발명은 일정정도의 처리 속도를 갖는 통상의 컴퓨터에서 동작하는 것으로, 상기 컴퓨터에 대한 설명은 생략한다. 또한, 본 발명에서 이용되는 영상은 촬영된 영상을 보정한 영상인 것이 바람직하다. 더욱이, 영상에서 선택된 도로의 밝기 값은 일정하다고 가정한다. 이와 같은 전제 하에서 도면을 참조하여 본 발명에 따른 일 실시 예를 상세히 설명한다.

사용자가 인공위성이나 항공기를 통해 촬영된 영상에서 초기 입력 좌표로 도로의 중앙선 부분을 선택하면, 상기 선택된 부분의 초기 입력 좌표가 입력된다(101). 그러면, 상기 초기 입력 좌표의 방위가 계산된다(102). 상기 초기 입력 좌표의 방위를 계산하는 방법으로는 다음 두가지 방법이 있을 수 있다. 첫 번째 방법은 상기 초기 입력 좌표를 중심으로 일정 구역 내의 라인 정보를 추출해 내고, 상기 추출된 라인 정보의 방위를 상기 초기 입력 좌표의 방위로 결정하는 방법이다. 여기서, 일정 구역 내의 라인 정보 추출은, 영상에서 밝기 차이에 의해 에지를 추출하고, 상기 추출된 에지를 직선화 함으로써 달성되는데, 이는 일반적인 공지 기술이다. 두 번째 방법은 영상에서 라인 정보가 희미하거나 부재인 곳의 방위를 계산하기 위해 사용되는 방법으로, 사용자는 두 개의 초기 입력 좌표를 선택한다. 그러면, 상기 선택된 두 입력 좌표의 기울기 값이 계산되고, 상기 계산된 기울기 값을 상기 초기 입력 좌표의 방위로 결정하는 방법이다.

전술한 바와 같은 과정을 통해 입력 좌표의 방위가 계산되면, 상기 초기 입력 좌표를 중심으로 계산된 방위만큼 기울어진 템플릿 윈도우(window)를 생성한다(103). 여기서, 상기 템플릿 윈도우의 크기는 컴퓨터의 처리 속도 및 연산 과정을 고려하여 적절한 크기로 결정한다. 이와 같이 템플릿 윈도우가 생성되면, 생성된 템플릿 윈도우로부터 입력 좌표의 방위 방향으로 이동한 초기 목적 윈도우를 생성한다(104). 그리고, 상기 생성된 목적 윈도우를 중심으로 템플릿 정합(matching)을 수행하여 윈도우의 중심점 좌표와 새로운 방위를 계산한다(105). 그런 다음, 상기 계산된 중심점 좌표로부터 상기 계산된 방위 방향으로 이동한 새로운 목적 윈도우를 생성하여 상기 104 단계 이하를 반복 수행함으로써, 초기 템플릿 윈도우에 대응되는 도로의 중앙선을 추출한다(106,107,108).

이하에서 생성된 템플릿 윈도우를 기준으로 정합을 수행하는 과정을 상세히 설명한다.

먼저, 생성된 템플릿 윈도우를 기준으로 일정거리만큼 이동된 지점에 초기 목적(target) 윈도우를 생성한다(104). 상기 초기 목적 윈도우는 가정에 의한 목적 윈도우이며, 실제적인 목적 윈도우는 유사 변형(similarity transformation)을 기반으로 한 적응적인 최소자승상관(Least Square Correlation)을 통해 최적의 정합 결과를 갖는 목적 윈도우가 생성된다(105). 상기 목적 윈도우를 생성하는 과정을 두 가지 방법으로 나타낼 수 있으며, 각각의 수학식은 다음과 같다.

먼저, 첫 번째 방법은 템플릿 윈도우가 x와 y 축 방향으로 이동되어 초기 목적 윈도우가 생성되는 방법이다. 이를 수학식으로 나타내면 수학식1과 수학식2로 표현될 수 있다. 수학식1은 템플릿 윈도우와 목적 윈도우 사이의 유사 변형 과정을 나타낸 수학식이다. 즉, 수학식1에서 초기 θ, s₁, s₂는 임의적으로 가정한 값으로, 상기 수학식1을 통해 최적이 아닌 초기 목적 윈도우의 x, y 좌표값을 얻는다. 그런 다음, 상기 얻어진 좌표 값을 수학식2에 대입하여, 상기 수학식2를 통해 최적의 θ, s₁, s₂를 얻는다. 그리고, 상기 수학식2를 통해 얻어진 최적의 θ, s₁, s₂를 수학식1에 다시 대입하여 최적의 목적 윈도우의 중심 좌표값을 획득한다.

상기 수학식1에서 θ는 계산된 초기 입력 좌표의 방위이고, (s₁, s₂)는 x와 y축 방향으로 템플릿 윈도우가 이동된 경로를 나타낸다. 또한 (x_template, y_template)는 초기 입력 좌표를 중심으로 형성된 템플릿 윈도우의 중심 좌표이며, (x_target, y_target)는 유사 변형을 통해 일정 거리만큼 이동된 목적 윈도우의 중심 좌표이다.

수학식2는 유사 변형을 바탕으로 하는 적응적인 최소자승상관을 통해 최적의 θ와 (s₁, s₂)를 찾기 위한 식이다.

I = Ax

I = {f(x_target, y_target)-g(x_template, y_template)}

x^T= [Δθ Δs₁Δs₂r_s]

수학식2에서 δ_x와 δ_y는 (x_target, y_target)에서 x와 y 방향으로의 밝기 값의 변화율을 나타내고, 함수 f는 목적 윈도우의 밝기 함수이며, 함수 g는 템플릿 윈도우의 밝기 함수이다. 그리고 수학식2에서 r_s는 템플릿 윈도우와 목적 윈도우의 평균 밝기 값의 차이를 나타낸다. 상기와 같은 수학식1과 수학식2를 통해 목적 윈도우의 중심 좌표 값이 계산된다.

상기 목적 윈도우를 생성하는 두 번째 방법은 초기 목적 윈도우가 템플릿 윈도우로부터 입력 좌표의 방위 방향으로 수직 이동되어 생성되는 방법이다. 이를 수학식으로 나타내면 수학식3과 수학식4로 표현될 수 있다. 수학식3은 템플릿 윈도우와 목적 윈도우 사이의 유사 변형 과정을 나타낸 수학식이다. 즉, 수학식3에서 초기 θ, s₁는 임의적으로 가정한 값으로, 상기 수학식3을 통해 최적이 아닌 초기 목적 윈도우의 x, y 좌표값을 얻는다. 그런 다음, 상기 얻어진 좌표 값을 수학식4에 대입하여, 상기 수학식4를 통해 최적의 θ, s₁를 얻는다. 그리고, 상기 수학식4를통해 얻어진 최적의 θ, s₁를 수학식3에 다시 대입하여 최적의 목적 윈도우의 중심 좌표값을 획득한다.

수학식3은 상기 수학식1에서 초기 s₁, s₂의 설정 방식을 변경한 방식으로, 초기 목적 윈도우가 생성된 템플릿 윈도우로부터 입력 좌표의 방위 방향으로 수직 이동했음을 가정한 수학식이다. 상기 수학식3에서 θ는 계산된 초기 입력 좌표의 방위이고, θ₀는 목적 윈도우의 초기 방위이며, s₁은 y축 방향으로 템플릿 윈도우가 이동된 경로, (x_template, y_template)는 초기 입력 좌표를 중심으로 형성된 템플릿 윈도우의 중심 좌표, (x_target, y_target)는 유사 변형을 통해 일정 거리만큼 이동된 목적 윈도우의 중심 좌표를 나타낸다. 상기 수학식3을 통해 최적이 아닌 초기 목적 윈도우의 x, y 좌표 값을 얻은 다음, 위와 같은 방식으로 상기 얻어진 좌표 값을 수학식 4에 대입하여, 상기 수학식4를 통해 최적의 θ, s₁를 얻는다. 그리고, 상기 수학식4를 통해 얻어진 최적의 θ, s₁을 수학식3에 다시 대입하여 최적의 목적 윈도우의 중심 좌표 값을 획득한다.

수학식4는 유사 변형을 바탕으로 하는 적응적인 최소자승상관을 통해 최적의θ, s₁을 찾기 위한 식이다.

I = Ax

I = {f(x_target, y_target)-g(x_template, y_template)}

x^T= [Δθ Δs₁r_s]

상기와 같은 수학식3과 수학식4를 통해 목적 윈도우의 중심 좌표 값이 계산될 수 있다.

이와 같이 하나의 목적 윈도우에 대한 처리가 완료되면, 상기 계산된 목적 윈도우의 중심 좌표값을 초기 입력 좌표값으로 하여, 모든 영상에 대한 처리가 완료될 때까지 상기 104 단계 이하를 반복 수행한다(106, 107). 모든 영상에 대한 처리를 통해 중심 좌표 값이 얻어지면, 상기 중심 좌표들를 연결함으로써 도로가 추출된다(108). 한편, 템플릿 정합을 수행하는 과정에서 템플릿 정합 연산이 적어도 두번 이상 실패할 경우에는 본 발명의 처리 과정이 종료된다.

이상의 설명에서는 영상으로부터 도로를 추출하는 과정에 대해서만 설명하였지만, 본 발명의 방법을 이용해 영상으로부터 강이나 건물의 경계와 같은 것들을 추출하는 것도 가능하다. 또한, 전술한 바와 같은 템플릿 정합 방법 이외에도 일반적으로 공지된 템플릿 정합 방법이 적용될 수 있음은 자명하다 할 것이다.

이상에서 양호한 실시 예에 근거하여 본 발명을 설명하였지만, 이러한 실시 예는 본 발명을 제한하려는 것이 아니라 예시하려는 것이다. 본 발명이 속하는 분야의 숙련자에게는 본 발명의 기술사상을 벗어남이 없이 위 실시 예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 본 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화 예나 변경 예 또는 조절 예를 모두 포함하는 것으로 해석되어야 할 것이다.

상기와 같은 본 발명에 의하면, 사용자가 한번의 초기 좌표값을 입력하는 것에 의해 자동으로 도로를 영상으로부터 추출할 수 있어, 수작업에 따른 문제점을 해결할 수 있고, 정확하면서도 자연스러운 도로를 생성할 수 있는 잇점이 있다.

Claims (6)

1. 인공위성이나 항공기를 통해 촬영된 영상으로부터 도로를 추출하는 방법에 있어서,

   초기 입력 좌표가 선택되면, 상기 선택된 초기 입력 좌표의 방위를 계산하는 제1 단계;

   상기 초기 입력 좌표를 중심으로 상기 계산된 방위만큼 기울어진 템플릿 윈도우를 생성하는 제2 단계;

   상기 생성된 템플릿 윈도우로부터 입력 좌표의 방위 방향으로 이동한 초기 목적 윈도우를 생성하는 제3 단계;

   상기 생성된 초기 목적 윈도우를 중심으로 템플릿 정합을 수행하여 윈도우의 중심점 좌표와 새로운 방위를 계산하는 제4 단계;

   상기 계산된 중심점 좌표로부터 상기 계산된 새로운 방위 방향으로 이동한 새로운 목적 윈도우를 생성하여 모든 영상에 대한 처리가 완료될 때까지 상기 제4 단계를 반복 수행하는 제5 단계; 및

   상기 영상으로부터 얻어진 중심점들을 연결하여 도로를 생성하는 제6 단계를 포함하는 것을 특징으로 하는 영상에서 도로 추출방법.
2. 제 1 항에 있어서,

   상기 제1 단계에서 상기 방위 계산은, 상기 초기 입력 좌표를 중심으로 일정 구역 내의 라인 정보를 추출하고, 상기 추출된 라인 정보의 방위를 계산함으로써 달성되는 것을 특징으로 하는 영상에서 도로 추출방법.
3. 제 1 항에 있어서,

   상기 제1 단계에서 상기 방위 계산은, 사용자에 의해 두개의 초기 입력 좌표가 선택되면, 상기 선택된 두개의 초기 입력 좌표의 기울기를 계산함으로써 달성되는 것을 특징으로 하는 영상에서 도로 추출방법.
4. 제 1 항에 있어서,

   상기 제4 단계의 중심점 좌표와 방위는 다음 수학식5에 의해 계산되는 것을 특징으로 하는 영상에서 도로 추출방법.

   I = Ax

   I = {f(x_target, y_target)-g(x_template, y_template)}

   x^T= [Δθ Δs₁Δs₂r_s]

   여기서, θ는 방위, (s₁, s₂)는 x와 y축 방향으로 템플릿 윈도우가 이동된 경로, (x_template, y_template)는 초기 입력 좌표를 중심으로 형성된 템플릿 윈도우의 중심 좌표, (x_target, y_target)는 유사 변형을 통해 일정 거리만큼 이동된 목적 윈도우의 중심 좌표, δ_x와 δ_y는 (x_target, y_target)에서 x와 y 방향으로의 밝기 값의 변화율, 함수 f는 목적 윈도우의 밝기 함수, 함수 g는 템플릿 윈도우의 밝기 함수, r_s는 템플릿 윈도우와 목적 윈도우의 평균 밝기 값의 차이를 각각 나타낸다.
5. 제 1 항에 있어서,

   상기 제4 단계의 중심점 좌표와 방위는 다음 수학식6에 의해 계산되는 것을 특징으로 하는 영상에서 도로 추출방법.

   I = Ax

   I = {f(x_target, y_target)-g(x_template, y_template)}

   x^T= [Δθ Δs₁r_s]

   여기서, θ는 계산된 초기 입력 좌표의 방위이고, θ₀는 목적 윈도우의 초기 방위이며, s₁은 y축 방향으로 템플릿 윈도우가 이동된 경로, (x_template, y_template)는 초기 입력 좌표를 중심으로 형성된 템플릿 윈도우의 중심 좌표, (x_target, y_target)는 유사 변형을 통해 일정 거리만큼 이동된 목적 윈도우의 중심 좌표, δ_y는 (x_target, y_target)에서 y 방향으로의 밝기 값의 변화율, 함수 f는 목적 윈도우의 밝기 함수, 함수 g는 템플릿 윈도우의 밝기 함수, r_s는 템플릿 윈도우와 목적 윈도우의 평균 밝기 값의 차이를 각각 나타낸다.
6. 컴퓨터에서,

   초기 입력 좌표가 선택되면, 상기 선택된 초기 입력 좌표의 방위를 계산하는 제1 단계;

   상기 초기 입력 좌표를 중심으로 상기 계산된 방위만큼 기울어진 템플릿 윈도우를 생성하는 제2 단계;

   상기 생성된 템플릿 윈도우로부터 입력 좌표의 방위 방향으로 이동한 초기 목적 윈도우를 생성하는 제3 단계;

   상기 생성된 초기 목적 윈도우를 중심으로 템플릿 정합을 수행하여 윈도우의 중심점 좌표와 새로운 방위를 계산하는 제4 단계;

   상기 계산된 중심점 좌표로부터 상기 계산된 새로운 방위 방향으로 이동한 새로운 목적 윈도우를 생성하여 모든 영상에 대한 처리가 완료될 때까지 상기 제4 단계를 반복 수행하는 제5 단계; 및

   상기 영상으로부터 얻어진 중심점들을 연결하여 도로를 생성하는 제6 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.