KR20170083892A

KR20170083892A - 도시 거리 검색 서비스 제공 서버 및 방법

Info

Publication number: KR20170083892A
Application number: KR1020160003357A
Authority: KR
Inventors: 이승재; 이근동; 손형관; 오원근; 정다운; 서영호; 손욱호; 유원영; 이길행
Original assignee: 한국전자통신연구원
Priority date: 2016-01-11
Filing date: 2016-01-11
Publication date: 2017-07-19
Also published as: KR102565485B1; US20170199900A1; US10430459B2

Abstract

본 발명은 도시 거리 검색 서비스 제공 서버로, 등록용 도시 거리 이미지 및 그에 대해 매핑되는 특징 및 메타 정보를 저장하는 거리 정보 데이터베이스와, 사용자 단말로부터 검색용 도시 거리 이미지 및 그에 대한 둘 이상의 특징들을 수신함에 따라, 소정 기준에 의해 적어도 하나의 특징을 선별하는 특징 선별부와, 상기 거리 정보 데이터베이스로부터 상기 선별된 적어도 하나의 특징에 상응하는 등록용 도시 거리 이미지의 후보 리스트를 추출하는 후보 추출부와, 상기 추출된 후보 리스트에 포함된 등록용 도시 거리 이미지와 상기 선별된 적어도 하나의 특징을 정합하는 특징 정합부와, 상기 정합 결과를 상기 검색용 도시 거리 이미지에 대한 결과 정보로 상기 사용자 단말로 제공하는 검색 결과 제공부를 포함한다.

Description

도시 거리 검색 서비스 제공 서버 및 방법{Server and Method for Providing City Street Search Service}

본 발명은 도시 거리 검색 서비스에 관한 것으로, 특히 도시 거리 이미지로부터 추출된 특징을 이용하여 검색 서비스를 제공하는 장치 및 방법에 관한 것이다.

도시 거리 검색 서비스는 사용자가 궁금해하는 지역이나 건물에 대해 정보를 제공해 주는 것으로 주로 GPS 및 WiFi를 이용한 무선 측위 기술을 활용하여 서비스 하는 것이 일반적이다. 다른 방식으로, 이미지의 특징과 이를 활용한 검색도 가능하며, 이미지를 통한 도시 거리 검색의 경우 사용자가 정보를 원하는 대상을 직접 촬영하여 검색할 수 있다는 장점을 가진다.

그런데, 이미지 기반 검색 서비스의 경우, 도시 규모의 대규모 이미지 DB를 구축하여야 하고, 도시 환경에서의 나무, 도로, 자동차 등의 장애물들을 고려한 검색 기술이 필요하다.

선행 논문인 D. Chen, G. Baatz, K. Koeser, S. Tsai, R. Vedantham, T. Pylvanainen, K. Roimela, X. Chen, J. Bach, M. Pollefeys, B. Girod, and R. Grzeszczuk, "City-scale landmark identification on mobile devices", IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), June 2011에서는 3D 정보와 함께 촬영된 파노라마 영상을 기반으로 영상 왜곡을 보정하여 거리 검색을 위한 서비스용 DB를 구축하였다. 이 과정에서 3D 모델이 필수적이며, 깊이 정보를 위한 고가의 라이다(LIDAR:Light Detection And Ranging) 등의 장비가 필요하고, 이러한 접근 방식은 단말의 카메라를 활용하는 사용자의 검색 이미지에는 적용할 수 없다는 단점이 존재한다. 또한, 나무, 도로 및 자동차 등의 장애물에 대해 고려되지 못하였다.

이러한 장애물에 대한 문제를 해결하고자, 선행 논문 J. Knopp, J. Sivic and T. Pajdla "Avoiding confusing features in place recognition", In ECCV, Chersonissos, 2010 에서는 주변의 영상과 멀리 떨어진 영상이 시각적으로 다르다는 점에 기반하여 검색 영상과 멀리 떨어진 영상의 특징 간의 정합 관계를 활용하여, 이미지에서 나무와 같은 영역을 선별하는 방법을 제안하였다. 그런데, 이 방법의 경우, DB 구축을 위한 전체 데이터 N개가 확보된 상황에서 멀리 떨어진 영상 평균 M개와 비교하기 위해서 많은 연산 시간이 소요되는 문제점이 존재한다. 또한, 검색 영상의 위치 정보가 없는 경우는 멀리 떨어진 영상을 확보하는 방법에도 문제가 발생한다.

선행 특허 Scene Classification For Place Recognition(US 8,532,400 B1, 구글)에서는 장소 검색을 위해서 일차적으로 카메라 센서 정보를 활용하고, 이후 이미지 처리와 메타 정보를 활용해서 촬영된 이미지가 장소인지 아닌지를 판단하는 과정을 기술하고 있다. 이 과정에서 장소로 판별된 이미지에 대해서 검색하는 과정을 포함하나, 앞서 언급된 대용량 DB 구축 방안과 장애물 영역을 고려한 특징 추출 및 정합에 대해서는 기술되지 않고 있다.

본 발명은 도시 거리 검색을 위한 데이터베이스의 용량을 줄일 수 있는 도시 거리 검색 서비스 제공 서버 및 방법을 제공한다.

본 발명은 도시 거리 검색에 따른 연산 시간을 줄일 수 있는 도시 거리 검색 서비스 제공 서버 및 방법을 제공한다.

본 발명은 도시 거리에서 이미지를 통한 건물을 판별하기 위한 도시 거리 검색 서비스 제공 서버 및 방법을 제공한다.

본 발명은 이미지 내에서 정합에 좋은 특징만을 선별할 경우 가려짐 영역에 대한 고려를 할 수 없으며, 특정 영역만을 선별하는 방법으로는 특징의 중요도에 따른 선별이 어렵다는 것을 해결하기 위해 도시 거리 검색 서비스 제공 서버 및 방법을 제공한다.

본 발명은 도시 거리 검색 서비스 제공 방법으로, 사용자 단말로부터 검색용 도시 거리 이미지 및 그에 대한 둘 이상의 특징들을 수신함에 따라, 소정 기준에 의해 적어도 하나의 특징을 선별하는 단계와, 미리 구축된 거리 정보 데이터베이스로부터 상기 선별된 적어도 하나의 특징에 상응하는 등록용 도시 거리 이미지의 후보 리스트를 추출하는 단계와, 상기 추출된 후보 리스트에 포함된 등록용 도시 거리 이미지와 상기 선별된 적어도 하나의 특징을 정합하는 단계와, 상기 정합 결과를 상기 검색용 도시 거리 이미지에 대한 결과 정보로 상기 사용자 단말로 제공하는 단계를 포함한다.

본 발명에 따라, DB 구축 과정에서 다양한 영상에 대해서 불필요한 부분의 특징 추출을 제한할 수 있다. 또한, 정합쌍 및 비 정합쌍으로 다시 학습된 확률 모델에 기반하여, 정합 성능이 높은 특징으로만 선별할 수 있다. 또한, 기존 대비 적은 데이터량으로 정확한 성능 확보가 가능해진다.

도 1은 본 발명의 일 실시 예에 따른 도시 거리 검색 서비스 제공 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 검색 데이터 구축부의 상세 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 검색 서비스 제공부의 상세 구성도이다.
도 4는 본 발명의 일 실시 예에 따른 영역 분류 기반 특징 선별부의 상세 블록 구성도이다.
도 5a 내지 도 5e는 본 발명에 따른 영역 분류를 위한 분할 이미지들의 예시도이다.
도 6은 본 발명에 따른 영역 분류부를 학습하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 사전 확률 테이블 구성 과정을 설명하기 위한 도면이다.
도 8a는 영역 분류 결과의 일 예를 도시한 도면이다.
도 8b는 영역 분류 후 보정된 결과의 일 예를 도시한 도면이다.
도 9a는 정합쌍의 일 예를 도시한 도면이다.
도 9b는 비정합쌍의 일 예를 도시한 도면이다.
도 10a 및 도 10b는 특징 추출 파라미터에 따른 정합 확률 분포도이다.
도 11a 내지 도 11c는 특징 선별 단계별 특징의 변화의 일 예를 도시한 도면이다.
도 12a 및 도 12b는 특징 선별 전 정합과 특징 선별 후 정합의 예를 도시한 도면이다.
도 13은 본 발명의 일 실시 예에 따른 검색 데이터 구축 단계를 설명하기 위한 순서도이다.
도 14는 본 발명의 일 실시 예에 따른 검색 서비스 제공 단계를 설명하기 위한 순서도이다.
도 15는 본 발명의 일 실시 예에 따른 특징 선별 단계를 설명하기 위한 순서도이다.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시 예에 따른 도시 거리 검색 서비스 제공 시스템의 블록 구성도이다.

도 1을 참조하면, 도시 거리 검색 서비스를 위해서는 사용자 단말(10)을 통해서 촬영한 검색용 도시 거리 이미지로 검색을 시도함에 따라, 도시 거리 검색 서비스 제공 서버(이하 '서버'로 기재함)(100)는 그에 상응하는 도시 거리 검색 결과 정보를 사용자 단말(10)로 제공한다.

본 발명은 도심 거리에서 이미지를 통한 건물을 판별하고자 하는데, 영상에서 특징을 추출해서 정합에서 유리한 특징을 선별하고, 이미지에서 건물 영역을 선별한다. 즉, 이미지내의 건물 영역은 CNN 학습을 통해 영역 선정을 하고, 도시 거리 검색용 사진 데이터 베이스 구축시 활용되는 (파노라마 이미지등) 로드뷰 이미지 데이터와 건물 데이터를 기준으로 후보를 정하여 영역 선별하고, 이와 별도로 건물의 정합을 위해 정합쌍 및 비정합쌍 모델을 통해 학습된 특징 중요도에 따라서 특징을 선별하여 특징의 크기와 정합 성능을 효과적으로 향상시키고자 한다.

여기서, 사용자 단말(10)은 PDA(Personal digital assistants), 스마트 폰, 네비게이션 단말기 등의 이동 통신 단말기뿐만 아니라, 데스크 탑 컴퓨터, 노트북 등과 같은 개인용 컴퓨터와 같은 검색용 도시 거리 이미지를 서버(100)에 전달하여 검색 요청할 수 있는 모든 장치에 적용될 수 있는 것으로 해석된다.

사용자 단말(10)은 일 실시 예에 따라, 검색용 도시 거리 이미지를 획득하는 이미지 획득부(11)와, 획득된 검색용 도시 거리 이미지로부터 특징을 추출하는 특징 추출부(12)를 포함할 수 있다. 여기서, 이미지 획득부(11)는 미리 촬영된 도시 거리 이미지를 메모리(미도시)로부터 검출하거나, 통신부(미도시)를 통해 전달받을 수도 있고, 실시간으로 도시 거리 이미지를 촬영하여 획득할 수도 있다. 특징 추출부(120)는 획득한 검색용 도시 거리 이미지에서 소정 알고리즘에 따라 둘 이상의 특징들을 추출한다. 그리고 사용자 단말(10)은 통신부(미도시)를 통해 검색용 도시 거리 이미지, 추출된 둘 이상의 특징들 및 GPS 정보를 포함하는 메타 정보를 서버(100)로 전달하고, 서버(100)로부터 검색 결과를 제공받는다. 그런데 다른 실시 예에 따라, 사용자 단말(10)은 특징 추출부(12)를 구비하지 않을 경우, 검색용 도시 거리 이미지 및 GPS 정보를 포함하는 메타 정보만을 서버(100)로 전송할 수도 있다.

서버(100)는 검색 데이터 구축부(110), 검색 서비스 제공부(120), 선별 학습 모델 DB(130) 및 거리 정보 DB(140)를 포함한다.

검색 데이터 구축부(110)는 도시의 거리에 대한 검색을 위한 거리 정보 DB(130)를 구축한다. 이때, 거리 정보 DB(140)의 규모와 질이 매우 중요한데, 동일한 이미지 개수가 있더라도, 나무나 도로 등의 장애물 요소들이 적은 이미지를 확보하여 그 용량을 줄일 뿐만 아니라 중요한 정보만을 포함하여 그 질을 향상시켜야 한다. 따라서, 검색 데이터 구축부(110)는 도시 거리 이미지로부터 추출된 특징들로부터 나무나 도로 등의 장애물 요소에 해당하는 특징들을 제거하고 나머지를 선별하여 거리 정보 DB(140)에 저장하는 특징을 가진다. 이에 대한 상세한 설명은 도 2를 참조하여 후술하기로 한다.

검색 서비스 제공부(120)는 또한 사용자 단말(10)로부터 수신된 검색용 도시 거리 이미지에서 장애물 요소와 같이 불필요한 부분에서의 특징 추출을 줄여서 검색 시간 및 성능을 향상시킬 수 있다. 이에 대한 상세한 설명은 도 3을 참조하여 후술하기로 한다.

선별 학습 모델 DB(130)는 검색 데이터 구축부(110) 및 검색 서비스 제공부(120)에 의해 특징을 선별함에 있어, 사용되는 학습 모델들을 저장한다. 본 발명의 일 실시 예에 따라, 영역 분류를 위한 학습 모델 및 동일한 건물을 포함하는 사진들의 쌍인 영상 정합쌍과 동일한 건물을 포함하지 않는 사진들의 쌍인 비정합쌍으로 구성된 정합 모델을 포함할 수 있다.

거리 정보 DB(140)는 등록용 도시 거리 이미지 및 그에 대해 매핑되는 특징 및 메타 정보를 저장한다.

도 2는 본 발명의 일 실시 예에 따른 검색 데이터 구축부의 상세 구성도이다.

도 2를 참조하면, 검색 데이터 구축부(110)는 특징 추출부(111), 특징 선별부(112) 및 특징 인덱싱부(113)를 포함할 수 있다.

특징 추출부(110)는 수집된 다수의 등록용 도시 거리 이미지들 각각에 대한 둘 이상의 특징들을 추출한다.

특징 선별부(112)는 추출된 둘 이상의 특징들로부터 소정 기준에 의해 적어도 하나의 특징을 선별한다. 일 실시 예에 따라, 특징 선별부(112)는 영역 분류 기반 특징 선별부(112a) 및 정합 모델 기반 특징 선별부(112b)를 포함하여, 2차에 걸친 선별 과정을 수행할 수 있다. 영역 분류 기반 특징 선별부(112a)는 둘 이상의 특징들 중에서 장애 요소에 해당되는 영역을 제외시킨다. 즉, 장애 요소에 해당되는 도로, 하늘, 자동차 등의 영역을 판별하여, 해당 영역의 특징 추출을 제한한다. 이에 대한 상세한 설명은 도 4 내지 도 8을 참조하여 후술하기로 한다.

정합 모델 기반 선별부(112b)는 영역 분류 기반 특징 선별부(112a)에 의해 선별된 특징들을 정합 모델을 이용하여 재선별한다. 이에 대한 상세한 설명은 도 9a 및 도 9b를 참조하여 후술하기로 한다.

특징 인덱싱부(113)는 선별된 특징들을 인덱싱하여 거리 정보 DB(140)에 저장한다. 특징 인덱싱하는 방법은 인덱스 훈련용 DB를 이용하여, 대규모의 특징을 추출하고, K개의 대표값을 얻어 이 값과의 관계를 이용한다. 예컨대, 대표적인 클러스터링 방법인 K-means를 이용할 경우, 128개의 중심 대표값을 얻고, 이 대표값과 특징 값들의 분포(평균, 분산)을 활용하여 특징 인덱스를 구성할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 검색 서비스 제공부의 상세 구성도이다.

도 3을 참조하면, 검색 서비스 제공부(120)는 특징 선별부(121), 후보 추출부(122), 특징 정합부(123) 및 검색 결과 제공부(124)를 포함하고, 부가적으로 특징 추출부(125) 및 검증부(126)을 더 포함할 수 있다.

특징 추출부(125)는 사용자 단말(10)로부터 검색용 도시 거리 이미지만을 수신할 경우, 수신된 검색용 도시 거리 이미지에 대한 둘 이상의 특징들을 추출한다.

특징 선별부(121)는 사용자 단말(10)로부터 검색용 도시 거리 이미지 및 그에 대한 둘 이상의 특징들을 수신함에 따라, 소정 기준에 의해 적어도 하나의 특징을 선별한다. 여기서, 특징 선별부(121)는 2차에 걸쳐 특징을 선별할 수 있다.

우선, 영역 분류 기반 특징 선별부(121a)는 둘 이상의 특징들 중에서 장애 요소에 해당되는 영역을 제외시킨다. 이에 대한 상세한 설명은 도 4 내지 8을 참조하여 후술하기로 한다.

다음으로, 정합 모델 기반 선별부(121b)는 정합 모델을 이용하여 선별된 특징들 각각에 따른 영역 분류 기반 특징 선별부(121a)에 의해 선별된 특징들 각각에 대한 정합 확률 분포를 구성하여, 정합이 일어날 확률이 큰 순서대로 소정 개수의 특징을 선별한다. 이에 대한 상세한 설명은 도 9a 및 도 9b를 참조하여 후술하기로 한다.

후보 추출부(122)는 거리 정보 DB(140)로부터 선별된 적어도 하나의 특징에 상응하는 등록용 도시 거리 이미지의 후보 리스트를 추출한다. 이때, 전술한 특징인덱싱부(113)에서 사용한 특징 인덱스를 이용하여, 유사한 이미지 후보 리스트를 생성할 수 있다. 후보 리스트에 대해서 특징의 거리를 비교하여 문턱값 내의 이미지 리스트를 구성한다. 또한, 이 리스트에 대해서 특징점 간의 관계를 고려하여, RANSAC(Random sample consensus)와 같은 방법을 활용 기학학적 검증을 수행한다.

특징 정합부(123)는 추출된 후보 리스트에 포함된 등록용 도시 거리 이미지와 선별된 적어도 하나의 특징을 정합한다. 검증부(126)는 정합된 특징에 대한 검증을 수행한다. 검색 결과 제공부(125)는 정합 결과를 검색용 도시 거리 이미지에 대한 결과 정보로 사용자 단말(10)로 제공한다. 즉, 최종적으로 이미지 리스트와 부가적으로 확보 가능한 메타데이터(예, GPS)등과 결합하여 결과 및 정보 제공을 수행한다.

도 4는 본 발명의 일 실시 예에 따른 영역 분류 기반 특징 선별부의 상세 블록 구성도이다.

도 4를 참조하면, 영역 분류 기반 특징 선별부(121a, 122a)는 영역 분할부(410) 및 영역 분류부(420)를 포함한다. 부가적으로, 영역 보정부(430)를 더 포함한다.

영역 분할부(410)는 검색용 도시 거리 이미지를 소정 수의 영역들로 분할한다. 학습된 모델은 N*N으로 분할된 영역에 따라 영역을 도 5과 같이 분류하고, 이 분류기를 기반으로 입력 영상의 32*32 영역에 대해서 분류 결과를 출력한다.

영역 분류부(420)는 분할한 영역들을 영역 분류를 위한 학습 모델에 따라 분류하고, 장애 요소로 분류된 영역들에 포함되는 특징을 제외시킨다. 이를 위해 영역 분류부(420)는 도 5에 도시된 바와 같은 훈련용 이미지들을 가지도 도 6에 도시된 바와 같이 사전에 학습하여야 한다.

도 5a 내지 도 5e는 본 발명에 따른 영역 분류를 위한 분할 이미지들의 예시도이다.

도 5a는 하늘에 해당하는 영역의 이미지들을 도시하고, 도 5b는 나무에 해당하는 영역의 이미지들을 도시하고, 도 5c는 자동차에 해당하는 영역의 이미지들을 도시하고, 도 5d는 도로에 해당하는 영역의 이미지들을 도시하고, 도 5e는 건물에 해당하는 영역의 이미지들을 도시하고 있다.

도 6은 본 발명에 따른 영역 분류부를 학습하는 과정을 설명하기 위한 도면이다.

도 6을 참조하면, 도 5a 내지 도 5e에 도시된 바와 같은 훈련용 이미지 데이터(610)로부터 추출된 분류 특징을 영역 분류부(420)가 사전에 학습하여 영역 분류 학습 모델을 생성한다. 즉, 수집된 영상에 대해서 32*32영역으로 정규화를 한 후에 모델 생성을 위해 Convolutional Neural Network를 이용하여 학습한다. 이를 위해서 기존의 SVMs(Support Vector Machines)등의 학습 방법이 활용될 수 있다. 본 발명을 위해서는 3단계의 Convolution Layer와 2단계의 Fully connected Layer를 활용하였다. 이러한 구성은 여러 변형이 가능하며, 분류 영역의 크기도 응용에 따라 변형이 가능하다.

다시 도 4를 참조하면, 추가적으로, 영역 보정부(430)는 영역 분류된 결과를 사전 영역 정보 또는 주변 분류 결과에 따라 보정한다. 이때, 영역 보정부(430)는 사전 확률 테이블을 이용하여 보정할 수 있는데, 사전 확률 테이블은 도로, 하늘 영역을 미리 표시한 학습 데이터에 기반하여, 중첩 이미지를 구성하고, 확률값으로 정규화하여 구성된다.

도 7은 본 발명에 따른 사전 확률 테이블 구성 과정을 설명하기 위한 도면이다.

도 7을 참조하면, 좌측의 도로 영역을 학습하기 위한 이미지에 대해서 검정 영역을 1로 하고 나머지 영역을 0으로 해서 학습 데이터에 대해서 합을 구한 후 전체 합으로 정규화하여 우측의 사전 확률 테이블을 구할 수 있다. 마찬가지로, 도로 및 기타 영역에 대해서도 사전 확률 테이블을 구하게 된다. 이러한 사전 확률 테이블은 분류하고자 하는 대상에 따라 달라지며, 응용 서비스의 범위에 따라 달라질 수 있다. 예컨대, 나무, 빌딩, 자동차는 주변의 분류 결과를 평균하여 우선 보정을 하고, 도로와 하늘은 사전 확률에 기반하여 값이 다를 경우 주변 평균값으로 보정한다.

도 8a 및 도 8b는 영역 분류 결과의 일 예를 도시한 도면이다.

도 8a에는 1차적으로 영역 분류한 이미지로 나무와 건물 등이 일부 혼재되고 있다. 도 8b는 도 8a의 분류된 영역을 영역 보정한 결과이다. 즉, 도 8a에서 상단 중심에 표시된 도로는 사전 도로 확률에 배치되므로 도 8b와 같이 주변 값으로 보정되었으며, 도 8a에서 나무 주변과 건물의 결과는 도 8b와 같이 주변 값에 의해 보정되었음을 알 수 있다.

다음으로, 정합 모델 기반 특징 선별은 영상 정합쌍(Matching Pairs)와 비정합쌍(Non-Matching Pairs)를 구성하여, 특징 추출 결과 파라미터에 따른 정합 확률 분포를 구성하여, 정합이 일어날 확률이 큰 특징을 추천하는 과정을 포함한다.

도 9a는 정합쌍의 일 예를 도시한 도면이고, 도 9b는 비정합쌍의 일 예를 도시한 도면이다.

도 9a를 참조하면, 영상 정합쌍은 같은 건물을 포함하고 있는 사진들의 쌍을 의미하고, 도 9b를 참조하면, 비 정합쌍은 서로 다른 사진들의 쌍을 의미한다. 정합 확률은 특징 추출 결과 파라미터 값, 예를 들어 LoG(Laplacian of Gaussian)의 경우 Peak 혹은 Scale값에 대해서 각 Peak 값 및 Scale에 대해서 정합될 확률을 구해서 Pdf(Probability density function)을 구성하고, 이 값들을 이용하여 각 특징 값에 대한 정합 확률의 우선 순위에 따라 특징을 선별한다.

도 10a 및 도 10b는 특징 추출 파라미터에 따른 정합 확률 분포도이다.

도 10a 및 도 10b는 각각 정합쌍과 비정합쌍을 이용하여 LoG(Laplacian of Gaussian)을 이용한 특징 추출시에 얻어지는 Peak와 Scale의 값의 분포에 따른 정합이 일어날 확률 Pdf(Probability Densify funcation)이다. 이러한 특징 외에도 다양한 특징 추출 알고리즘에 따라 주어지는 파라미터 값에 따른 정합 확률 분포를 구성하여, 1차적으로 영역 선별에서 선택된 특징값 중에서 중요한 특징값을 선별할 수 있다. 선별 과정에는 각 파라미터의 확률 값을 더하거나 곱해서 확률을 정렬하여 높은 값을 우선해서 선별한다.

도 11a 내지 도 11c는 특징 선별 단계별 특징의 변화의 일 예를 도시한 도면이다.

도 11a는 특징을 선별하기 전의 이미지이고, 도 11b는 영역 기반 특징 선별 후의 이미지이고, 도 11c는 정합 모델 기반 선별 특징 선별 후의 이미지이다. 이와 같이, 특징을 선별할 경우, 나무, 자동차 등에 의해 정합 과정에서의 어려움을 상당 부분 줄이며, 특징 선별에 의해서 점의 개수가 줄어 들어서 정합을 위해서 수행되는 연산량을 줄이게 된다. 일반적으로 N개의 특징에 대해서 유사도를 계산하기 위해서는 N(N-1)/2의 연산이 수행되므로 점의 개수는 연산 수행에 매우 중요한 요소가 된다.

도 12a 및 도 12b는 특징 선별 전 정합과 특징 선별 후 정합의 예를 도시한 도면이다.

도 12a 및 도 12b를 참조하면, 특징 선별 전보다 후가 정합의 프로세싱이 대폭 감소됨을 알 수 있다.

다음으로, 본 발명의 일 실시 예에 따른 도시 거리 검색 서비스 제공 방법을 설명하기로 한다. 도시 거리 검색 서비스 제공 방법은 크게 검색 데이터 구축 단계와 검색 서비스 제공 단계를 포함한다.

도 13은 본 발명의 일 실시 예에 따른 검색 데이터 구축 단계를 설명하기 위한 순서도이다.

도 13을 참조하면, 장치(100)는 수집된 다수의 등록용 도시 거리 이미지들 각각에 대한 둘 이상의 특징들을 추출한다(S1310).

장치(100)는 추출된 둘 이상의 특징들로부터 소정 기준에 의해 적어도 하나의 특징을 선별한다(S1320). 일 실시 예에 따라, 특징 선별은 영역 분류 기반 특징 선별 및 정합 모델 기반 특징 선별을 포함하여, 2차에 걸친 선별 과정을 수행할 수 있다. 영역 분류 기반 특징 선별은 둘 이상의 특징들 중에서 장애 요소에 해당되는 영역을 제외시킨다. 즉, 장애 요소에 해당되는 도로, 하늘, 자동차 등의 영역을 판별하여, 해당 영역의 특징 추출을 제한한다. 정합 모델 기반 선별은 영역 분류 기반 특징 선별된 특징들을 정합 모델을 이용하여 재선별한다. 이에 대한 상세한 설명은 도 15를 참조하여 후술하기로 한다.

장치(100)는 선별된 특징들을 인덱싱하여 거리 정보 DB(140)에 저장한다(S1330). 특징 인덱싱하는 방법은 인덱스 훈련용 DB를 이용하여, 대규모의 특징을 추출하고, K개의 대표값을 얻어 이 값과의 관계를 이용한다. 예컨대, 대표적인 클러스터링 방법인 K-means를 이용할 경우, 128개의 중심 대표값을 얻고, 이 대표값과 특징 값들의 분포(평균, 분산)을 활용하여 특징 인덱스를 구성할 수 있다.

도 14는 본 발명의 일 실시 예에 따른 검색 서비스 제공 단계를 설명하기 위한 순서도이다.

도 14를 참조하면, 장치(100)는 사용자 단말(10)로부터 거리 검색이 요청(S1410)됨에 따라, 검색용 도시 거리 이미지와 함께 특징이 수신되는지를 확인한다(S1420).

S1420의 확인 결과 검색용 도시 거리 이미지만을 수신한 경우, 장치(100)는 수신된 검색용 도시 거리 이미지에 대한 둘 이상의 특징들을 추출하고(S1430), S1440으로 진행한다.

반면, S1430의 확인 결과 검색용 도시 거리 이미지에 대한 둘 이상의 특징들이 수신한 경우, 장치(100)는 소정 기준에 의해 적어도 하나의 특징을 선별한다(S1440). 여기서, 특징 선별부(121)는 2차에 걸쳐 특징을 선별할 수 있다. 즉, 장치(100)는 둘 이상의 특징들 중에서 장애 요소에 해당되는 영역을 제외시킨 후, 정합 모델을 이용하여 선별된 특징들 각각에 따른 선별된 특징들 각각에 대한 정합 확률 분포를 구성하여, 정합이 일어날 확률이 큰 순서대로 소정 개수의 특징을 선별한다. 이에 대한 상세한 설명은 도 15를 참조하여 후술하기로 한다.

장치(100)는 선별된 적어도 하나의 특징에 상응하는 등록용 도시 거리 이미지의 후보 리스트를 추출한다(S1450). 이때, 장치(100)는 특징 인덱스를 이용하여, 유사한 이미지 후보 리스트를 생성할 수 있다. 후보 리스트에 대해서 특징의 거리를 비교하여 문턱값 내의 이미지 리스트를 구성한다. 또한, 이 리스트에 대해서 특징점 간의 관계를 고려하여, RANSAC(Random sample consensus)와 같은 방법을 활용 기학학적 검증을 수행한다.

장치(100)는 추출된 후보 리스트에 포함된 등록용 도시 거리 이미지와 상기 선별된 적어도 하나의 특징을 정합하고(S1460), 정합된 특징에 대한 검증을 수행한다(S1470). 그런 후, 장치(100)는 정합 결과를 검색용 도시 거리 이미지에 대한 결과 정보로 사용자 단말(10)로 제공한다.

도 15는 본 발명의 일 실시 예에 따른 특징 선별 단계를 설명하기 위한 순서도이다.

도 15를 참조하면, 장치(100)는 검색용 도시 거리 이미지를 소정 수의 영역들로 분할한다(S1510). 장치(100)는 분할한 영역들을 영역 분류를 위한 학습 모델에 따라 분류하고, 장애 요소로 분류된 영역들에 포함되는 특징을 제외시킨다(S1520). 장치(100)는 부가적으로, 영역 분류된 결과를 사전 영역 정보 또는 주변 분류 결과에 따라 보정할 수 있다(S1530). 이때, 영역 보정부(430)는 사전 확률 테이블을 이용하여 보정할 수 있는데, 사전 확률 테이블은 도로, 하늘 영역을 미리 표시한 학습 데이터에 기반하여, 중첩 이미지를 구성하고, 확률값으로 정규화하여 구성한다.

본 발명의 구성과 같이 이미지 특징을 추출하고, 선별하는 경우 다음과 같은 효과를 기대할 수 있다.

거리 검색 서비스는 대규모의 DB 구축이 필수적이며, DB 구축은 수작업 혹은 구글 거리 뷰와 같이 파노라마 이미지 등을 활용하게 된다. 이 과정에서 같이 촬영된 장애물에 대한 고려가 없는 경우, DB의 사이즈가 커지며, 장애물에 의한 성능 저하를 피할 수 없다.

하지만, DB 구축 과정에서 본 발명이 제안한 방법을 적용할 경우 아래 도과 같이 다양한 영상에 대해서 불필요한 부분의 특징 추출을 제한할 수 있다. 또한, 정합쌍 및 비 정합쌍으로 다시 학습된 확률 모델에 기반하여, 정합 성능이 높은 특징으로만 선별할 수 있다. 제안 발명은 또한, 3D모델이나 기타 외부 장비의 데이터값에 의존하지 않는다.

이러한 특징 DB 구축이 이루어지고, 검색 단말 혹은 서버에서 특징 선별이 이루어지면, 기존 대비 적은 데이터량으로 정확한 성능 확보가 가능해 진다. 동일한 양의 사진 DB에 대한 비교 실험 결과는 하기의 <표 1>과 같다.

	평균	성능
전체 특징 개수	1475	60% (Top 1)
선별 적용 후 개수	834	67% (Top 1)

점의 개수는 기존 대비 56%로 줄었으며, 성능은 약 7% 개선됨을 확인할 수 있다. 점의 개수로 인해서 DB의 저장 효율성이 증가하며, 동시에 검색시에 특징 개수에 따라 거리 계산의 비율이 감소 크게 감소할 수 있다.

Claims

등록용 도시 거리 이미지 및 그에 대해 매핑되는 특징 및 메타 정보를 저장하는 거리 정보 데이터베이스와,
사용자 단말로부터 검색용 도시 거리 이미지 및 그에 대한 둘 이상의 특징들을 수신함에 따라, 소정 기준에 의해 적어도 하나의 특징을 선별하는 특징 선별부와,
상기 거리 정보 데이터베이스로부터 상기 선별된 적어도 하나의 특징에 상응하는 등록용 도시 거리 이미지의 후보 리스트를 추출하는 후보 추출부와,
상기 추출된 후보 리스트에 포함된 등록용 도시 거리 이미지와 상기 선별된 적어도 하나의 특징을 정합하는 특징 정합부와,
상기 정합 결과를 상기 검색용 도시 거리 이미지에 대한 결과 정보로 상기 사용자 단말로 제공하는 검색 결과 제공부를 포함함을 특징으로 하는 도시 거리 검색 서비스 제공 서버.
제 1항에 있어서,
사용자 단말로부터 검색용 도시 거리 이미지만을 수신할 경우, 상기 수신된 검색용 도시 거리 이미지에 대한 둘 이상의 특징들을 추출하여 상기 특징 선별부로 출력하는 특징 추출부를 더 포함함을 특징으로 하는 도시 거리 검색 서비스 제공 서버.
제1 항에 있어서, 상기 특징 선별부는
상기 둘 이상의 특징들 중에서 장애 요소에 해당되는 영역을 제외시키는 영역 분류 기반 특징 선별부와,
상기 영역 분류 기반 특징 선별부에 의해 선별된 특징들을 정합 모델을 이용하여 재선별하는 정합 모델 기반 선별부를 포함함을 특징으로 하는 도시 거리 검색 서비스 제공 서버.
제3 항에 있어서, 상기 특징 선별부는
영역 분류를 위한 학습 모델을 저장하는 영역 분류 데이터베이스를 더 포함하고,
상기 영역 분류 기반 특징 선별부는
상기 검색용 도시 거리 이미지를 소정 수의 영역들로 분할하고, 상기 분할한 영역들을 영역 분류를 위한 학습 모델에 따라 분류하고, 장애 요소로 분류된 영역들에 포함되는 특징을 제외시킴을 특징으로 하는 도시 거리 검색 서비스 제공 서버.
제 4항에 있어서, 상기 영역 분류 기반 특징 선별부는
상기 영역 분류된 결과를 사전 영역 정보 또는 주변 분류 결과에 따라 보정하는 영역 보정부를 더 포함함을 특징으로 하는 도시 거리 검색 서비스 제공 서버.
제 3항에 있어서,
동일한 건물을 포함하는 사진들의 쌍인 영상 정합쌍과 동일한 건물을 포함하지 않는 사진들의 쌍인 비정합쌍으로 구성된 정합 모델을 저장하는 정합 모델 데이터베이스를 더 포함하고,
상기 정합 모델 기반 선별부는
상기 정합 모델을 이용하여 상기 선별된 특징들 각각에 따른 정합 확률 분포를 구성하여, 정합이 일어날 확률이 큰 순서대로 소정 개수의 특징을 선별함을 특징으로 하는 도시 거리 검색 서비스 제공 서버.
제1 항에 있어서,
등록용 도시 거리 이미지들 각각에 대한 둘 이상의 특징들을 추출하고, 상기 추출된 둘 이상의 특징들로부터 소정 기준에 의해 적어도 하나의 특징을 선별하고, 상기 선별된 특징들을 인덱싱하여 상기 거리 정보 데이터베이스에 저장하는 검색 데이터 구축부를 더 포함함을 특징으로 하는 도시 거리 검색 서비스 제공 서버.
제7 항에 있어서, 상기 검색 데이터 구축부는
상기 둘 이상의 특징들 중에서 장애 요소에 해당되는 영역을 제외시키는 영역 분류 기반 특징 선별부와,
상기 영역 분류 기반 특징 선별부에 의해 선별된 특징들을 정합 모델을 이용하여 재선별하는 정합 모델 기반 선별부를 포함함을 특징으로 하는 도시 거리 검색 서비스 제공 서버.
사용자 단말로부터 검색용 도시 거리 이미지 및 그에 대한 둘 이상의 특징들을 수신함에 따라, 소정 기준에 의해 적어도 하나의 특징을 선별하는 단계와,
미리 구축된 거리 정보 데이터베이스로부터 상기 선별된 적어도 하나의 특징에 상응하는 등록용 도시 거리 이미지의 후보 리스트를 추출하는 단계와,
상기 추출된 후보 리스트에 포함된 등록용 도시 거리 이미지와 상기 선별된 적어도 하나의 특징을 정합하는 단계와,
상기 정합 결과를 상기 검색용 도시 거리 이미지에 대한 결과 정보로 상기 사용자 단말로 제공하는 단계를 포함함을 특징으로 하는 도시 거리 검색 서비스 제공 방법.
제9 항에 있어서,
사용자 단말로부터 검색용 도시 거리 이미지만을 수신할 경우, 상기 수신된 검색용 도시 거리 이미지에 대한 둘 이상의 특징들을 추출하는 단계를 더 포함함을 특징으로 하는 도시 거리 검색 서비스 제공 방법.
제9 항에 있어서, 상기 선별하는 단계는
상기 둘 이상의 특징들 중에서 장애 요소에 해당되는 영역을 제외시키도록 1차 선별하는 단계와,
상기 선별된 특징들을 정합 모델을 이용하여 2차 선별하는 단계를 포함함을 특징으로 하는 도시 거리 검색 서비스 제공 방법.
제11 항에 있어서, 상기 1차 선별하는 단계는
상기 검색용 도시 거리 이미지를 소정 수의 영역들로 분할하는 단계와,
상기 분할한 영역들을 영역 분류를 위한 학습 모델에 따라 분류하는 단계와,
장애 요소로 분류된 영역들에 포함되는 특징을 제외시키는 단계를 포함함을 특징으로 하는 도시 거리 검색 서비스 제공 방법.
제12 항에 있어서, 상기 1차 선별하는 단계는
상기 영역 분류된 결과를 사전 영역 정보 또는 주변 분류 결과에 따라 보정하는 단계를 더 포함함을 특징으로 하는 도시 거리 검색 서비스 제공 방법.
제9 항에 있어서,
등록용 도시 거리 이미지들 각각에 대한 둘 이상의 특징들을 추출하는 단계와,
상기 추출된 둘 이상의 특징들로부터 소정 기준에 의해 적어도 하나의 특징을 선별하는 단계와,
상기 선별된 특징들을 인덱싱하여 상기 거리 정보 데이터베이스에 저장하는 단계를 더 포함함을 특징으로 하는 도시 거리 검색 서비스 제공 방법.
제14 항에 있어서, 상기 선별하는 단계는
상기 둘 이상의 특징들 중에서 장애 요소에 해당되는 영역을 제외시키도록 1차 선별하는 단계와,
상기 선별된 특징들을 정합 모델을 이용하여 2차 선별하는 단계를 포함함을 특징으로 하는 도시 거리 검색 서비스 제공 방법.