KR102555668B1 - 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법 - Google Patents

Abstract

본 발명은 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법에 관한 것이다. 본 발명에 따른 이미지 기반 측위용 맵 생성 방법은, 이미지로부터 텍스트를 검출하는 단계와, 상기 검출된 텍스트를 근거로 상기 이미지에서 상기 텍스트에 대응되는 픽셀을 서술하는 서술자(descriptor)를 추출하는 단계, 및 상기 서술자를 이용하여 상기 텍스트에 대한 텍스트 특징점을 생성하고, 상기 텍스트 특징점을 가지는 특징점 맵을 구축하는 단계를 포함한다.

Description

맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법{METHOD OF GENERATING MAP AND VISUAL LOCALIZATION USING THE MAP}

본 발명은 이미지 기반 측위에 활용가능한 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법에 관한 것이다.

측위 기술은, GPS 기반, 관성 센서 기반, 이미지 기반, SLAM(Simultaneous localization and mapping), VLC(Visible light communication) 등 다양한 방식의 시스템이 서로 밀접한 관계를 가지고 발전해오고 있다.

이러한 측위 기술 중, 이미지 기반 측위(Visual Localization)는, 촬영한 사진을 통해 위치를 찾는 기술로서, GPS와 비교하였을 때, 오차가 적고, 사용자가 바라보는 방향까지도 정확하게 측정할 수 있는 장점이 있다. 이러한, 이미지 기반 측위를 위하여, 기 촬영한 이미지를 활용하여 맵을 구축하고, 구축된 맵을 사용자 등이 촬영한 사진(쿼리 이미지)의 특징점을 매칭하여 위치를 특정하는 방법이 주로 이용된다. 이 때에, 기 촬영한 이미지의 시점과 쿼리 이미지의 시점이 서로 다른 경우에는 특징점 매칭의 성능이 떨어지는 문제가 존재할 수 있다.

예를 들어, 최근에는 온라인 지도 제작 기술이 상당히 고도화되어, 많은 IT 기업들이 실외 공간에 대한 지도정보와 이에 따른 서비스를 제공하고 있다. 이러한, 예로서, 차도를 따라 차량이 이동하면서 촬영 이미지를 획득한 후, 사용자가 전자 지도 상의 특정 지점에 대한 거리뷰 이미지를 요청할 경우 촬영된 이미지를 제공하는 거리뷰 기능이 상용화되어 있다. 이러한 거리뷰 이미지를 이용하여 맵이 구축될 수 있으나, 이러한 맵은 사용자가 도보로 이동하면서 촬영한 쿼리 이미지와의 특징점 매칭에서 성능이 떨어질 수 있다.

따라서, 맵의 이미지와 사용자가 획득한 쿼리 이미지의 시점이 다른 경우에도 정밀한 측위가 가능한 맵 생성 방법 및 측위 방법이 고려될 수 있다.

본 발명은, 쿼리 이미지와 다른 시점의 이미지로 구축된 맵을 활용하여 정밀한 측위를 수행하는 맵 생성 방법 및 측위 방법을 제공하는 것이다.

보다 구체적으로, 본 발명은, 거리뷰 이미지를 활용하여 이미지 기반 측위용 맵을 생성하는 방법 및 이를 이용한 측위 방법을 제공한다.

또한, 본 발명은, 텍스트 특징점을 활용하여 이미지 한장만으로 도로나 보도에서 3차원 위치 및 포즈를 추정하는 이미지 기반 측위를 구현한다.

위에서 살펴본 과제를 해결하기 위하여, 본 발명에 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법은, 이미지로부터 검출한 텍스트를 기반으로 서술되는 텍스트 특징점을 가지는 맵을 이용한다.

구체적으로, 이미지 기반 측위용 맵 생성 방법은, 이미지로부터 텍스트를 검출하는 단계와, 상기 검출된 텍스트를 근거로 상기 이미지에서 상기 텍스트에 대응되는 픽셀을 서술하는 서술자(descriptor)를 추출하는 단계, 및 상기 서술자를 이용하여 상기 텍스트에 대한 텍스트 특징점을 생성하고, 상기 텍스트 특징점을 가지는 특징점 맵을 구축하는 단계를 포함한다.

본 발명의 일 실시예에 있어서, 상기 텍스트를 검출하는 단계는, 상기 이미지에서 상기 텍스트가 위치하는 텍스트 영역에 대한 신뢰도 이미지를 산출하는 단계, 및 상기 신뢰도 이미지를 기반으로 상기 텍스트의 기준점을 설정하는 단계를 포함한다.

상기 서술자를 추출하는 단계는, 상기 텍스트의 기준점의 주변 이미지를 이용하여 상기 텍스트에 대응되는 픽셀에서 상기 서술자를 추출할 수 있다. 상기 텍스트의 기준점을 설정하는 단계에서는, 상기 신뢰도 이미지를 표현하는 함수의 극대점(Local maxima point)이 상기 텍스트의 기준점으로 설정된다.

본 발명의 다른 일 실시예에 있어서, 상기 텍스트 특징점은 상기 텍스트의 위치 정보와 상기 서술자를 구비할 수 있다.

본 발명의 다른 일 실시예에 있어서, 상기 픽셀은 제1서술자와 제2서술자를 이용하여 서술되며, 상기 제1서술자는 상기 텍스트를 기반으로 추출된 상기 서술자이고, 상기 제2서술자는 상기 이미지로부터 텍스쳐(Texture)를 기반으로 추출되는 서술자가 될 수 있다. 상기 이미지로부터 상기 텍스쳐를 기반으로 특징점을 검출하고, 상기 픽셀에서 상기 특징점을 서술하는 1XN의 벡터를 생성함에 의하여 상기 제2서술자가 형성될 수 있다.

나아가, 본 발명은, 위치 인식의 대상이 되는 쿼리 이미지를 수신하는 단계와, 상기 쿼리 이미지를 글로벌 디스크립터(descriptor)와 비교하여 상기 쿼리 이미지에 대응되는 지역을 특정하는 단계, 및 상기 특정된 지역에 대한 특징점 맵의 로컬 디스크립터를 이용하여 상기 쿼리 이미지에 대응되는 위치를 검출하는 이미지 기반 측위를 수행하는 단계를 포함하고, 상기 로컬 디스크립터의 적어도 일부는 기 촬영된 이미지에 포함된 텍스트에 대한 특징점을 서술하는 것을 특징으로 하는 이미지 기반 측위 방법을 개시한다.

본 발명의 다른 일 실시예에 있어서, 상기 로컬 디스크립터는 제1서술자와 제2서술자를 구비하고, 상기 제1서술자는 상기 이미지에 포함된 상기 텍스트를 기반으로 추출되며, 상기 제2서술자는 상기 이미지로부터 텍스쳐를 기반으로 추출될 수 있다.

상기 제1서술자와 제2서술자는 서로 연관되어 하나의 서술자로 통합되며, 상기 이미지 기반 측위는 상기 쿼리 이미지와 상기 통합된 하나의 서술자를 이용하여 수행될 수 있다. 상기 이미지 기반 측위를 수행하는 단계에서는, 상기 쿼리 이미지로부터 상기 텍스트 및 텍스쳐 기반의 특징점을 각각 추출하여, 상기 제1서술자와 상기 텍스트 기반 특징점을 매칭하거나 상기 제2서술자와 상기 텍스쳐 기반의 특징점을 매칭할 수 있다.

또한, 본 발명은 이미지 기반 측위 시스템에 있어서, 특징점 맵을 저장하는 데이터 베이스, 및 상기 특징점 맵과 모바일 기기나 자율주행 기기에서 촬영한 쿼리 이미지 또는 쿼리 특징점 중 적어도 하나를 이용하여 이미지 기반 측위를 수행하는 제어부를 구비하고, 상기 제어부는 상기 쿼리 이미지를 상기 특징점 맵의 서술자와 비교하여 상기 쿼리 이미지에 대응되는 위치를 검출하며, 상기 서술자의 적어도 일부는 기 촬영된 이미지에 포함된 텍스트에 대한 특징점을 서술하는 것을 특징으로 하는 이미지 기반 측위 시스템을 개시한다.

본 발명에 따른 맵 생성 방법 및 이를 이용한 이미지 기반 측위(Visual Localization) 방법은, 텍스트를 기반으로 서술자를 추출하므로, 쿼리 이미지와 다른 시점의 이미지로 구축된 맵을 이용하는 경우에도 강건한 측위를 구현할 수 있다. 즉, 본 발명에서는 이미지 상의 텍스트를 이용한 특징점 및 서술자 추출을 통하여, 시점에 강인한 특징점 매칭을 수행한다.

또한, 본 발명은 시점에 강건한 매칭 쌍을 검출할 수 있으므로, 도로 시점의 이미지에서 검출한 특징점과 도보 시점의 이미지에서 검출한 특징점 간의 매칭을 가능하게 한다. 이러한 강건한 매칭 쌍을 통하여, 이미지 기반 측위의 성능이 향상될 수 있다.

또한, 본 발명의 텍스트 기반의 로컬 특징점 매칭(local feature matching)이 이미지 기반(구체적으로, 텍스쳐 기반)의 로컬 특징점 매칭과 병렬로 수행될 수 있으므로, 본 발명에서 제안하는 텍스트 기반의 로컬 특징점 매칭이 이미지 기반의 측위의 파이프 라인에 그대로 적용가능한 장점을 가진다.

또한, 본 발명은 텍스트 이미지를 기반으로 특징점을 서술하므로, 이미지의 시점 변화에 민감하게 대응할 수 있는 서술자의 생성을 구현할 수 있다. 나아가, 본 발명은 이미지 상의 텍스트를 이용한 특징점 및 서술자 추출을 통하여, 이미지 상의 텍스쳐를 이용한 특징점 및 서술자 추출과 혼합한 특징점 매칭을 구현할 수 있다.

이를 통하여, 본 발명은 도로나 보도에서 실제 이미지를 촬영하면, 거리뷰 이미지를 이용하여 생성한 맵을 기반으로 이미지 기반 측위를 제공할 수 있다. 이와 같이 본 발명은, 기 구축된 데이터인 거리뷰 이미지를 이용하여 맵을 생성하므로, 실외 환경에 대한 사전 스캔 프로세스가 없는 맵 생성을 구현한다. 이를 통하여, 시간 및 비용의 효율성이 제고될 수 있다.

도 1은 본 발명에 따른 이미지 기반 측위를 수행하는 동작을 설명하기 위한 개념도이다.
도 2는 도 1의 이미지 기반 측위를 구현하는 시스템의 일 예를 도시한 것이다.
도 3은 본 발명에 따른 거리뷰 이미지를 이용하여 이미지 기반 측위용 맵을 생성하는 방법을 설명하기 위한 개념도이다.
도 4a 및 도 4b는 각각 텍스트 중심의 특징점 매칭과 이미지 텍스쳐 중심의 특징점 매칭을 나타내는 개념도이다.
도 5는 본 발명에 따른 이미지 기반 측위용 맵 생성 방법을 설명하기 위한 흐름도이다.
도 6, 도 7 및 도 8은 도 5의 맵 생성 방법의 각 단계들의 수행 알고리즘을 나타내는 개념도들이다.
도 9는 도 5의 프로세스에 의하여 구현된 맵을 이용하여 이미지 기반 측위를 수행하는 일 예를 보여주는 예시도이다.
도 10은 도 9의 이미지 기반 측위에서 텍스쳐 기반 및 텍스트 기반의 특징점 매칭을 하이브리드로 적용하는 개념을 나타내는 개념도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명은 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법에 관한 것으로, 구체적으로 맵의 이미지와 사용자가 획득한 쿼리 이미지의 시점이 다른 경우에도 정밀한 측위가 가능한 맵 생성 방법 및 측위 방법을 제공한다. 다만, 본 발명은 반드시 시점이 다른 경우에 적용되는 것은 아니며, 보다 정밀하거나 신속한 이미지 기반 측위를 위하여 맵의 이미지와 쿼리 이미지의 시점이 동일한 경우에도 적용될 수 있다.

나아가, 본 발명에서는 쿼리 이미지를 획득하는 것을 예시하나, 쿼리 특징점을 획득하여 측위를 수행하는 것도 가능하다. 다만, 설명의 편의를 위하여 이하, 쿼리 이미지를 획득하여 측위를 수행하는 실시예를 이용하여 본 발명을 설명한다.

이하에서는, 맵의 이미지와 쿼리 이미지의 시점이 다른 실시예로서, 거리뷰 이미지를 이용하여 도로나 보도에서 이미지 기반 측위를 하는 시스템에 대하여 예시한다. 이러한 예시는 설명의 편의를 위한 것으로서, 본 발명은 거리뷰 이미지가 아닌 다른 형태의 이미지를 활용하는 경우에도 적용될 수 있다.

온라인에서 제공되는 거리뷰 기능은 전자 지도 상의 특정 스팟에서 사용자가 선택한 방향의 이미지(또는 사진이나 영상)를 보여주는 기능이다. 여기서 스팟은 거리뷰 사진을 찍은 위치로서, 일정 거리, 예를 들어 10m 간격으로 존재할 수 있다.

이러한 거리뷰 기능에 이용되는 거리뷰 이미지는 여러 대의 카메라로 여러 방향의 사진을 촬영한 후 사진을 이어 붙인 파노라마 사진으로, 사용자는 사진을 360도로 돌려 한 지점에서 여러 방향의 사진을 볼 수 있다. 보다 구체적으로, 본 발명에서 예시하는 거리뷰 이미지는 360도의 구형 파노라마 이미지가 될 수 있다.

이와 같이, 거리뷰 이미지는 파노라마 사진이므로 해당 스팟에서 방향을 조절하여 360도 파노라마 사진을 보고 해당 공간에 대한 실제 정보를 얻을 수 있다.

한편, 상기 거리뷰 이미지는 도로 시점에서 촬영된 이미지가 될 수 있다. 예를 들어, 차도를 따라 차량이 이동하면서 촬영 이미지를 획득한 후, 파노라마 사진을 생성하며, 따라서 상기 거리뷰 이미지는 도로, 보다 구체적으로 차도에서 바라본 이미지가 될 수 있으며, 본 발명에서는 이를 도로 시점에서 촬영된 이미지로 지칭한다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 상기 거리뷰 이미지는 다른 시점이나 다른 방법으로 촬영된 이미지도 될 수 있다.

보도(sidewalk)는 차량 등이 다니는 도로에 병설된 인도(人道)를 의미하는 말이다. 차도 양측에 설치되어 사람과 차 모두 해당 지역을 통행할 수 있도록 하는 동시에 서로의 경로를 구분 짓는다. 상기 보도는 좁은 의미로, 차도 옆에 설치된 포장된 길을 특정하는 말로 쓰일 수 있으나, 본 발명에서는 이에 한정하는 것은 아니다. 즉, 상기 보도는 사람이 다니는 길을 통칭하는 의미로 정의된다.

상기 도로나 보도에서 이미지 기반 측위(Visual localization)를 하는 것은, 상기 도로나 보도에서 GPS를 사용하지 않고 주변을 촬영한 사진을 이용하여 자신의 정확한 위치를 파악하는 것을 의미한다. 다른 의미로, 상기 도로나 보도에서 이미지 기반 측위를 하는 것은 도보로 이동하는 사용자가 주변을 촬영하면, 촬영된 쿼리 이미지로부터 사용자의 위치를 파악하는 것을 의미할 수 있다.

한편, 본 발명에서 상기 이미지 기반 측위는 모바일 기기나 자율주행 기기에서 수행될 수 있다.

상기 모바일 기기는, 손에 들거나 몸에 지니고 다닐 수 있는 이동 단말기가 될 수 있고, 상기 자율주행 기기는, 스스로가 이동 가능하도록 이루어지는 모바일 장치를 의미할 수 있다.

예를 들어, 상기 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display) 등이 포함될 수 있다.

또한, 상기 자율주행 기기는 자율주행차, 드론, 로봇 등이 될 수 있으며, 상기 로봇은 청소로봇, 안내로봇, 배달로봇 등 이동하면서 위치기반 서비스를 제공하는 로봇이 될 수 있다.

한편, 본 발명의 실시예에서는 보도에서 위치를 획득하거나, 도보로 이동하면서 위치를 획득하는 새로운 방식의 측위 방법 및 시스템에 대하여 상기 모바일 기기나 자율 주행기기의 위치를 기준으로 설명하나, 본 발명은 반드시 이에 한정되는 것은 아니다. 상기 모바일 기기나 자율 주행기기는 사용자의 위치를 측정하는 하나의 수단으로 이해되며, 다른 기기도 본 발명에 적용될 수 있다.

이와 같이, 본 발명에 따른 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법은 사용자에게 현재의 위치 정보를 제공하며, 이를 위하여 거리뷰 이미지를 이용하여 생성된 맵을 사용한다. 이하에서는, 먼저, 이미지 기반 측위와 이를 구현하는 시스템에 대하여 설명하고, 이후에, 이러한 이미지 기반 측위에 사용되는 맵을 생성하는 방법에 대하여 도면을 참조하여 보다 상세히 설명한다.

도 1은 본 발명에 따른 이미지 기반 측위를 수행하는 동작을 설명하기 위한 개념도이고, 도 2는 도 1의 이미지 기반 측위를 구현하는 시스템의 일 예를 도시한 것이다.

도 1을 참조하면, 로봇(R)이나 또는 사용자 등이 실외 공간에 위치한다.

이 때에, 상기 로봇(R)은 자율 주행기기로서, 배달 로봇이나 안내 로봇 등의 서비스 로봇이 될 수 있다. 다만, 로봇(R)이 주행하는 공간의 종류에는 제한이 없으며, 필요에 따라 실내 공간 및 실외 공간 중 적어도 하나를 주행하도록 이루어 질 수 있다. 본 예시에서는, 상기 로봇(R)은 서비스를 제공 등, 부여된 임무를 수행하기 위하여 사람들이 도보로 이동하는 보도(11)를 통하여 주행하도록 이루어질 수 있다.

로봇(R)을 이용하여 다양한 서비스를 제공하기 위해서는, 로봇(R)이 정확하고, 신속하게 자기 위치를 확인하는 것이 매우 중요한 요소이다. 따라서, 로봇(R)은 보도(11)를 통하여 주행하면서 신속하게 이미지 기반 측위를 수행할 수 있다.

이러한 이미지 기반 측위의 예로서, 로봇(R)이 도로(12)를 중심으로 일측 보도(11)에서 타측 보도(13)를 바라보면서 이미지를 촬영하고, 촬영한 이미지를 3차원 맵과 비교하여 자신의 위치를 찾게 된다.

또 다른 예로서, 사용자가 상기 타측 보도(13)에서 상기 일측 보도(11)를 바라보면서 스마트폰 등의 모바일 기기를 이용하여 이미지를 촬영하고, 상기 모바일 기기에서는 촬영한 이미지를 상기 3차원 맵과 비교하여 상기 사용자의 위치 또는 모바일 기기의 위치를 찾게 된다.

이와 같이, 상기 모바일 기기나 자율주행 기기는 쿼리 이미지(Query Image)를 획득하여 위치를 탐색하는 장치로서, 본 명세서에서는 위치탐색 장치라고 통칭한다.

이 경우에, 보도(11)에서 바라본 이미지들을 획득하여 3차원 맵을 생성하는 것은 많은 노력과 시간이 들어간다. 본 발명에서는 기 구축된 데이터인 거리뷰 이미지를 이용하여 특징점 맵을 생성하며, 이를 통하여 실외 환경에 대한 사전 스캔 프로세스가 없는 맵 생성을 구현한다.

상기 특징점 맵은 3차원의 특징점에 대한 데이터를 가지는 맵으로서, 피쳐 맵, 거리 맵 또는 3차원 특징점 맵으로도 지칭될 수 있다. 본 예시에서는 도로나 보도와 같은 거리에서 이미지 기반 측위에 활용되는 맵을 예시한다. 다만, 상기 도로나 보도는 이미지 기반 측위를 수행하는 지점의 예시일 뿐, 본 발명의 특징점 맵은 항공의 이미지 기반 측위에도 활용될 수 있다. 이하에서는, 설명의 편의상 보도(11)에서의 이미지 기반 측위를 예시로서 본 발명을 설명한다.

또한, 보도(11)에서의 이미지 기반 측위는 도 2를 통하여 예시한 측위 시스템(100)을 통하여 구현될 수 있다.

상기 이미지 기반 측위 시스템(100)은 위치탐색 장치(110), 컨트롤 서버(120) 및 데이터베이스(130)를 구비할 수 있다.

상기 위치탐색 장치(110)는 주변을 촬영한 쿼리 이미지를 획득하여, 상기 컨트롤 서버(120)로 전송하며, 이를 위하여 통신부와 카메라 센서를 구비할 수 있다. 다만, 전술한 바와 같이 상기 위치탐색 장치(110)는 본 실시예에서 스마트폰(S)과 로봇(R)으로 예시된다.

상기 통신부는 상기 위치탐색 장치(110)와 컨트롤 서버(120) 사이, 상기 위치탐색 장치(110)와 다른 위치탐색 장치의 사이, 상기 위치탐색 장치(110)와 통신 네트워크 사이에서 무선 통신을 수행한다. 이러한 무선통신의 수행을 위하여, 상기 통신부는 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 등을 구비할 수 있다.

상기 위치탐색 장치(110)는 상기 컨트롤 서버(120)와의 통신을 통하여 이미지 기반 측위를 위하여 필요한 데이터를 수신하여, 상기 위치탐색 장치(110)의 위치를 측위하도록 형성될 수 있다.

상기 컨트롤 서버(120)는 통신부(121), 저장부(122) 및 제어부(123) 중 적어도 하나를 포함할 수 있다.

상기 통신부(121)는 상기 위치탐색 장치(110)에서 전송한 쿼리 이미지를 수신하고, 상기 위치탐색 장치(110)로 상기 쿼리 이미지를 이용한 측위 데이터를 전송하도록 이루어진다.

이를 위하여 상기 통신부(121)는 상기 컨트롤 서버(120)와 위치탐색 장치(110) 사이나 상기 컨트롤 서버(120)와 통신 네트워크 사이에서 무선통신을 수행한다. 또한, 상기 통신부(121)는 상기 데이터베이스(130)의 데이터를 활용하기 위하여, 상기 데이터베이스(130)와 유선통신 또는 무선통신을 수행할 수 있다.

상기 저장부(122)는, 본 발명에 따른 다양한 정보를 저장하도록 이루어질 수 있다. 상기 저장부(122)의 종류는 매우 다양할 수 있으며, 적어도 일부는, 외부 서버(예를 들어, 클라우드 서버나 데이터 베이스(database: DB, 130) 중 적어도 하나)를 의미할 수 있다. 즉, 저장부(122)는 본 발명과 관련된 정보가 저장되는 공간이면 충분하며, 물리적인 공간에 대한 제약은 없는 것으로 이해될 수 있다.

상기 저장부(122)에는 쿼리 이미지를 맵 데이터와 매칭하는 데이터 처리를 위한 애플리케이션 등 이미지 기반 측위를 위한 프로그램이 저장될 수 있다. 이러한 예로서, 상기 저장부(122)에는 쿼리 이미지에 포함된 콘텐츠를 인식하는 수단으로서, 다양한 콘텐츠 인식 알고리즘 중 적어도 하나를 통하여 쿼리 이미지에 포함된 콘텐츠를 인식할 수 있다. 여기에서 콘텐츠는 텍스트(문자, Text)와 텍스쳐(Texture)를 포함할 수 있다.

상기 애플리케이션에는 상기 텍스트를 인식할 수 있는 OCR(Optical Character Reader) 알고리즘이 탑재될 수 있다. 다른 예로서, 상기 애플리케이션에는 상기 텍스쳐를 기반으로 특징점을 검출할 수 있는 알고리즘이 탑재될 수 있다.

상기 제어부(123)는 상기 텍스트나 텍스쳐를 기반으로 특징점을 검출하는 애플리케이션을 구동하며, 상기 데이터 베이스(130)에 저장된 맵 데이터를 이용하여 상기 위치탐색 장치(110)의 위치를 검출하도록 이루어진다.

상기 맵 데이터는 3차원의 특징점에 대한 데이터를 가지는 맵으로서, 전술한 바와 같이 피쳐 맵, 거리 맵 또는 특징점 맵으로 지칭될 수 있다. 이하에서는 설명의 편의를 위하여 상기 맵 데이터를 특징점 맵으로 지칭한다.

이와 같이, 상기 데이터 베이스(130)에는 특징점 맵이 저장되며, 상기 특징점 맵에는 좌표정보, 포인트 클라우드 정보, 이미지 정보, 텍스트 정보, 포즈 정보 등이 구비될 수 있다. 나아가 상기 특징점 맵은 텍스트의 위치 정보나 이미지의 각 픽셀을 서술하는 서술자 등을 구비할 수 있다. 예를 들어, 상기 특징점 맵은 보도 시점의 이미지 기반 측위에 활용가능한 맵으로서, 이미지 기반 측위용으로 제작된 맵이 될 수 있다.

이 경우에, 상기 특징점 맵은 상기 컨트롤 서버(120)에서 상기 위치탐색 장치(110)로 제공되거나, 상기 위치탐색 장치(110)의 요청에 의하여 상기 컨트롤 서버(120)에서 측위에 이용될 수 있다.

상기 제어부(123)는 상기 데이터 베이스(130)와 연계하여, 특징점 맵을 생성, 저장 및 업데이트하는 일련의 프로세스를 제어할 수 있다. 상기 제어부(123)는 상기 특징점 맵을 최초 생성하거나, 생성된 특징점 맵을 업데이트하는 기능을 수행할 수 있다.

또한, 상기 제어부(123)와 상기 위치탐색 장치(110)는 측위를 위한 연산을 서로 분담하여 수행하거나, 상기 제어부나 위치탐색 장치 중 어느 하나에서 전담하여 수행하는 것도 가능하다.

본 실시예에서는, 상기 위치탐색 장치(110)에서 촬영한 쿼리 이미지를 이용하여, 제어부가 특징점 맵을 활용하여 이미지 기반 측위를 위한 데이터 처리 또는 연산 등을 수행하여 상기 위치탐색 장치(110)의 위치를 산출한 후, 산출된 위치를 위치탐색 장치(110)에 제공하는 것을 예시한다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 본 발명에 대한 설명의 편의를 위하여 이러한 데이터 처리를 예로써 설명한다. 이와 같이, 상기 제어부(123)는 상기 특징점 맵과 상기 위치탐색 장치에서 촬영한 쿼리 이미지를 이용하여 이미지 기반 측위를 수행한다.

이 경우에, 본 발명에 따른 맵 생성 방법 및 이를 이용한 이미지 기반 측위(Visual Localization) 방법은, 텍스트를 기반으로 서술자를 추출하며, 이를 통하여 쿼리 이미지와 다른 시점의 이미지로 구축된 맵을 이용하는 경우에도 이미지 한장 만으로도 3차원 위치를 추정할 수 있는 장점을 가진다.

보다 구체적으로, 상기 제어부는 상기 쿼리 이미지를 상기 특징점 맵의 서술자와 비교하여 상기 쿼리 이미지에 대응되는 위치를 검출하며, 상기 서술자의 적어도 일부는 기 촬영된 이미지에 포함된 텍스트에 대한 특징점을 서술한다. 따라서, 상기 특징점 맵은 텍스트 특징점에 대한 정보를 구비하며, 이하에서는, 이러한 특징점 맵을 생성하는 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다.

도 3은 본 발명에 따른 거리뷰 이미지를 이용하여 이미지 기반 측위용 맵을 생성하는 방법을 설명하기 위한 개념도이고, 도 4a 및 도 4b는 각각 텍스트 중심의 특징점 매칭과 오브젝트 중심의 특징점 매칭을 나타내는 개념도이다.

거리뷰 이미지(140)는 도로 시점에서 촬영된 이미지가 될 수 있으며, 상기 거리뷰 이미지(140)에는 오브젝트와 텍스트가 포함될 수 있다.

상기 오브젝트는 도로, 나무, 사람, 자동차, 하늘, 건물 등을 포함하고, 상기 텍스트는 표지판이나 간판 등에 기재된 글자를 포함할 수 있다. 또한, 상기 오브젝트와 텍스트는 상기 거리뷰 이미지 내의 모든 객체들 중 적어도 하나가 될 수 있다. 본 발명에서, 이미지에서 오브젝트를 한정하여 특징점을 검출하는 것은 아니며, 본 명세서에서 오브젝트는 이미지 상에서 촬영이 가능한 모든 영역을 포함하며, 특징점을 검출하는 대상 이미지에 포함된 텍스트 이외의 객체들을 의미한다.

본 발명에서는 상기 거리뷰 이미지(140)를 복수의 이미지들로 크로핑하고, 상기 크로핑한 이미지들에서 특징점을 검출하고, 크로핑한 이미지들 간에서 상기 특징점을 매칭하는 방법으로 특징점 맵이 구축될 수 있다.

상기 크로핑은 이미 촬영된 이미지의 일부를 잘라내는 것을 의미한다. 구체적으로, 상기 크로핑은 트리밍과 유사한 의미로서, 이미지의 불필요한 부분을 잘라내거나, 또는 사진을 분할하여 기설정된 기준에 따라 여러가지 이미지로 자르는 것을 의미할 수 있다.

거리뷰 이미지(140)를 기반으로 이미지를 크로핑(cropping)하여 적어도 하나의 이미지로 분할한다. 상기 이미지의 분할은 상기 거리뷰 이미지(140)의 하나의 이미지를 잘라내거나, 복수의 이미지로 분할하는 것을 포함할 수 있다.

예를 들어, 상기 거리뷰 이미지(140)는 구형 파노라마(spherical panoramic) 이미지를 구비하고, 상기 구형 파노라마 이미지는 복수의 이미지(141, 142)로 크로핑(cropping)될 수 있다.

상기 구형 파노라마 이미지는 360도의 이미지이며, 이를 특정 각도로 바라본 여러 장의 이미지로 크로핑이 수행된다. 예를 들어, 북쪽을 기준으로 복수의 방향으로 나누어서 상기 크로핑을 수행할 수 있다.

상기 거리뷰 이미지(140)를 크로핑하므로, 상기 거리뷰 이미지(140)와 사이즈가 다른 복수의 이미지(141, 142)가 생성된다. 이 경우에, 상기 크로핑된 복수의 이미지(141, 142)는 세로 방향이 가로 방향보다 긴 이미지가 될 수 있다. 예를 들어, 상기 거리뷰 이미지(130)는 스마트 폰의 디스플레이와 같이, 세로 방향으로 긴 이미지로 크로핑될 수 있다. 상기 스마트 폰에서 이미지를 촬영하여 이미지 기반 측위에 활용하기 위하여, 상기 크로핑된 복수의 이미지(141, 142)는 촬영된 이미지와 유사한 형태를 가질 수 있다. 이와 같이, 상기 크로핑된 복수의 이미지(141, 142)는 세로방향으로 길게 형성되어, 스마트 폰에서 촬영된 이미지와 대조하는 정보로서 활용될 수 있다.

상기 크로핑된 복수의 이미지(141, 142)에는 동일한 오브젝트의 그래픽 객체 또는 동일한 텍스트가 시점을 달리하여 포함될 수 있다. 즉, 상기 크로핑된 복수의 이미지(141, 142)에서 상기 그래픽 객체나 텍스트는 일부 중첩되나 서로 다른 각도에서 바라보는 모습을 가질 수 있다.

한편, 상기 크로핑에 의하여 상기 거리뷰 이미지(140)에서 특정 영역은 상기 복수의 이미지에서 제외될 수 있다. 이러한 예로서, 도시된 바와 같이 상기 거리뷰 이미지(140)에는 거리를 촬영하는 차량의 일부가 포함될 수 있다. 해당하는 영역은 특징점 맵 생성에 불필요한 영역으로서 상기 크로핑을 이용하여 제외할 수 있다.

이 경우에, 특징점 매칭이 특정 범위 안에 있는 여러 장의 크로핑된 이미지들 사이에서 수행될 수 있다. 예를 들어, 거리뷰 이미지의 GPS 정보를 이용하여 반경을 설정하고, 설정된 반경내에 수집되고 크로핑된 이미지들을 모아서 특징점 매칭을 수행한다.

이후에, 상기 특징점들 간의 매칭에 근거하여, 상기 거리뷰 이미지와 관련된 3차원 포인트들을 생성할 수 있다. 상기 3차원 포인트는 상기 거리뷰 이미지의 취득 시점의 GPS 위치 정보와 차량의 각도를 이용하여, 실제 스케일과 동일한 포인트로서 생성될 수 있다. 이러한 예로서, 트라이앵글레이션(triangulation) 기법에 의하여 상기 포인트가 생성될 수 있다.

이 경우에, 상기 3차원 포인트는 상기 거리뷰 이미지 간의 매칭된 특징점과 매칭에 실패한 특징점에 대하여 서로 다른 방법으로 생성될 수 있다. 상기 매칭된 특징점은 전술한 트라이앵글레이션(triangulation) 기법에 의하여 3차원 포인트를 생성하고, 매칭에 실패한 특징점은 뎁스 컴플리션(Depth completion) 기법을 통하여 3차원 포인트를 생성한다.

이 후에, 생성된 3차원 포인트들은 포인트 최적화를 거치며, 이를 통하여 상기 3차원 포인트에 대한 특징점 맵이 생성될 수 있다. 이 때에, 상기 특징점 맵을 생성하는 단계는, 노드와 엣지를 이용한 그래프 구성을 통하여 상기 거리뷰 이미지들의 포즈와 상기 3차원 포인트의 위치를 보정하여 상기 특징점 맵을 생성할 수 있다.

이와 같이 생성된 특징점 맵은 거리뷰 이미지를 이용하여 생성된 것이므로, 거리뷰를 촬영한 시점과 다른 시점에서 획득한 쿼리 이미지를 이용하여 측위를 하는 경우에 정밀도가 저하되는 문제가 존재한다. 이러한 문제를 해결하기 위하여 본 발명에서는 텍스트 특징점을 이용하여 특징점 매칭을 수행한다.

도 4a및 도 4b를 참조하면, 상기 이미지들에서 검출되는 특징점은 텍스트 중심의 제1특징점과 오브젝트 중심의 제2특징점 중 적어도 하나를 포함할 수 있다.

도 4a를 참조하면, 상기 제1특징점은 텍스트를 기반으로 검출되며, 따라서 (a)와 (b)의 이미지가 촬영한 시점이 다르더라도 매칭 포인트가 집중되어 매칭이 보다 용이하게 될 수 있다. 보다 구체적으로, 도면에 의하면 “ABC COFFEE”는 일정한 영역 내에 배치되며, “ABC COFFEE”이 배치된 영역의 형태는 시점이 바뀌더라도 크게 변화하지 않고, 다만 영역의 위치만이 변화함을 알 수 있다.

이에 반해, 도 4b를 참조하면, 상기 제2특징점은 텍스쳐를 기반으로 검출되며 촬영한 시점이 다른 (a)와 (b)의 이미지에서 특징점들의 위치가 분산되어 매칭의 정확도가 떨어질 수 있다.

다만, 본 예시에서는 상기 특징점 맵이 제1특징점과 제2특징점을 모두 포함하는 것으로 설명하나, 본 발명은 반드시 이에 한정되는 것은 아니다. 예를 들어, 본 발명에서 상기 텍스트 기반의 제1특징점만으로도 특징점 맵이 구축되며, 상기 제1특징점만으로도 이미지 기반 측위가 수행되는 것도 가능하다.

이하에서는, 상기 제1특징점을 검출하여 맵을 생성하는 방법에 대하여 예시와 함께 보다 상세히 설명한다.

도 5는 본 발명에 따른 이미지 기반 측위용 맵 생성 방법을 설명하기 위한 흐름도이며, 도 6, 도 7 및 도 8은 도 5의 맵 생성 방법의 각 단계들의 수행 알고리즘을 나타내는 개념도들이다.

도 5를 참조하면, 본 발명의 맵 생성 방법은 텍스트 검출 단계(S110), 서술자 추출 단계(S120), 특징점 생성 단계(S130) 및 특징점 맵을 생성하는 단계(S140)를 구비할 수 있다.

먼저, 텍스트 검출 단계(S110)에서는 이미지로부터 텍스트가 검출될 수 있다.

상기 텍스트의 검출은 OCR(Optical Character Reader) 방법에 의하여 수행될 수 있다. 상기 OCR은 이미지에서 텍스트를 읽는 기술로서, 이미지 내의 텍스트를 컴퓨터가 편집 가능한 문자코드 등의 형식으로 변환하는 것을 의미할 수 있다. 보다 구체적으로, 상기 OCR은 텍스트 영역을 검출하는 Text Detection 과 검출된 영역의 텍스트를 인식하는 Text Recognition을 포함하며, 이를 통하여 이미지 내에서 텍스트를 추출하는 방법이다.

상기 OCR의 예로서, 문자(character) 단위로 위치를 찾고 이를 연결하는 방식인 CRAFT(Character Region Awareness for Text Detection) 등이 이용될 수 있다.

본 발명에서, 상기 텍스트를 검출하는 단계는, 상기 이미지에서 상기 텍스트가 위치하는 텍스트 영역에 대한 신뢰도 이미지를 산출하고, 상기 신뢰도 이미지를 기반으로 상기 텍스트의 기준점을 설정할 수 있다.

상기 CRAFT 방법의 Text Detection은 입력된 이미지로부터 텍스트가 위치하는 텍스트 영역을 검출하는 방법으로서, 텍스트의 신뢰도 이미지를 산출하고, 이를 이용하여 텍스트 영역을 검출하는 방법이나, 본 발명에서는 상기 신뢰도 이미지를 이용하여 상기 텍스트의 기준점을 설정한다.

본 발명에서는 Scene Text Detection 문제를 해결하기 위해 입력으로 사용한 이미지에 대해 픽셀마다 확률을 예측하며, 이를 위하여 딥러닝 기반 모델을 이용할 수 있다. 보다 구체적으로 이미지의 해당 픽셀이 문자(Character)의 중심일 제1확률과 해당 픽셀이 인접한 두 문자의 중심일 제1확률이 예측된다.

상기 제1확률은 각 픽셀이 문자의 중심에 가까울수록 확률이 1에 가깝고, 문자의 중심에서 멀수록 확률이 0(zero)에 가깝도록 예측하는 모델에 의하여 산출될 수 있다. 상기 모델은 각 픽셀이 인접한 문자의 중심에 가까울 제2확률도 예측하며, 이를 이용하여 텍스트 영역은, 문자 박스, 단어 박스, 문장 박스 등의 형태로 추출된다.

이 경우에, 상기 제1확률을 이용하여 각 문자마다 신뢰도 이미지가 산출될 수 있다. 예를 들어, 도 7과 같이 Text Detection 을 수행하는 Text Detector Module에 이미지(171)가 입력되면, 상기 Text Detector Module이 텍스트의 신뢰도 이미지(172)를 산출한다. 이 경우에, 도 6에 도시된 바와 같이, “ABC COFFEE”라는 간판(161)을 가진 이미지가 Text Detector Module에 입력되면 해당 이미지의 간판의 위치에서 각 픽셀마다 “ABC COFFEE”라는 텍스트가 존재하는 제1확률이 산출되며, 제2확률과 조합하여 텍스트 영역(162)이 검출될 수 있다.

본 발명에서는 상기 텍스트 영역(162)을 직접적으로 이용하는 것이 아니라, 상기 신뢰도 이미지(172)를 이용하여 상기 텍스트의 기준점을 설정하게 된다. 상기 텍스트의 기준점을 설정하는 단계에서는, 상기 신뢰도 이미지(172)를 표현하는 함수의 극대점(Local maxima point)이 상기 텍스트의 기준점으로 설정될 수 있다.

상기 신뢰도 이미지(172)는 예를 들어, 이미지 내의 각 문자에 대해 경계상자를 그리고, 2차원 등방성 가우시안 맵(isotropic gaussian map)을 준비한 후에, 해당 경계상자에 맞추어 상기 가우시안 맵을 변형시킴에 의하여 산출될 수 있다. 이 경우에 변형된 가우시안 맵을 원본 이미지의 경계상자 좌표와 대응되는 위치에 해당하는 Label Map 좌표에 할당한다. 각각의 문자에 대하여 동일한 과정을 거쳐 제1확률에 대한 Ground-Truth 로서 상기 신뢰도 이미지(172)가 산출된다.

이 때에, 상기 텍스트의 위치 정보는 상기 이미지에서 상기 텍스트가 위치하는 텍스트 영역에 대한 신뢰도를 기반으로 산출될 수 있다. 예를 들어, 상기 신뢰도 이미지(172)의 중심점이 상기 텍스트의 기준점이 될 수 있다. 이를 위하여, 상기 신뢰도 이미지(172)의 픽셀 중에서 가장 신뢰도가 높은 값을 검출하여, 해당 위치가 신뢰도 이미지의 중심점이라 가정한다. 각 문자(character) 단위로 신뢰도가 높은 지점이 검출되며, 따라서 상기 신뢰도가 높은 지점은 문자의 개수만큼 검출될 수 있다. 이와 같이, 상기 신뢰도 이미지의 중심점들은 상기 텍스트가 위치하는 텍스트 이미지 영역의 기준 위치로서 설정될 수 있다.

다시 도 5를 참조하면, 다음으로 서술자 추출 단계(S120)가 진행되며, 상기 서술자 추출 단계에서는 상기 검출된 텍스트를 근거로 상기 이미지에서 상기 텍스트에 대응되는 픽셀을 서술하는 서술자(descriptor)가 추출될 수 있다.

상기 서술자는 특징점에 대한 정보를 서술한 것으로, 특징점의 지역적 특성을 설명하고, 특징점간 비교를 가능하게 하는 서술자이다.

상기 서술자(descriptor)는 특징점 주변 픽셀을 일정한 크기의 블록으로 나누어 각 블록에 속한 픽셀의 그레디언트 히스토그램을 계산하여 추출될 수 있다. 이러한 예로서, 특징점 주변의 질감, 밝기, 색상, 방향 및 크기 등의 정보가 포함될 수 있다. 상기 서술자는 추출하는 알고리즘에 따라서 달라질 수 있다.

본 발명에서는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), ORB(Oriented and Rotated BRIEF), R2D2, SuperPoint 방법 등을 통하여 텍스쳐 기반의 특징을 서술하는 것에 더하여, OCR (optical character recognition) 기법을 이용하여 텍스트 기반의 특징점을 서술한다. 예를 들어, 상기 OCR 기법을 통하여 픽셀에서 각 단위 문자에 대응하는 특징벡터가 추출될 수 있다.

보다 구체적으로, 상기 서술자를 추출하는 단계(S120)는, 상기 텍스트의 기준점의 주변 이미지를 이용하여 상기 텍스트 이미지 영역에 대응되는 픽셀에서 상기 서술자를 추출할 수 있다.

예를 들어, 도 8에 도시된 바와 같이, Text Recognition을 수행하는 Text Recognition Module에 상기 검출된 기준점 주변의 이미지가 입력될 수 있다. 상기 기준점을 이용하여 이미지 내에서 좌표를 검출하며, 상기 좌표를 이용하여 상기 이미지 내에서 텍스트가 존재하는 텍스트 이미지(173)가 정의되며, 상기 텍스트 이미지(173)가 Text Recognition Module 에 입력될 수 있다.

도 8을 참조하면, 상기 Text Recognition Module에 상기 텍스트 이미지(173)가 입력되면, 상기 Text Recognition Module이 상기 텍스트 이미지(173)에 해당하는 각 픽셀을 서술하는 서술자(descriptor, 174)를 추출한다. 이 때에, 상기 서술자(174)는 상기 픽셀에서 상기 텍스트 특징점을 서술하는 1XN의 벡터를 구비할 수 있다.

다시 도 5를 참조하면, 상기 특징점 생성 단계(S130)에서 상기 서술자를 이용하여 상기 텍스트에 대한 텍스트 특징점을 생성한다. 상기 텍스트 특징점은 상기 텍스트의 위치 정보와 상기 서술자를 구비할 수 있다.

상기 텍스트의 위치 정보는 각 이미지에서 상기 기준점을 이용하여 검출한 좌표를 이용하여 연산되며, 상기 서술자는 상기 위치 정보와 쌍을 이루어 하나의 텍스트 특징점을 구성하게 된다.

마지막으로, 상기 특징점 맵을 구축하는 단계(S140)에서 상기 텍스트 특징점을 가지는 특징점 맵을 구축하게 된다.

이 경우에, 상기 특징점 맵은 오브젝트와 텍스쳐 기반의 특징점을 서술하는 서술자를 구비하는 것도 가능하다. 이러한 예로서, 상기 픽셀은 제1서술자와 제2서술자를 이용하여 서술되며, 상기 제1서술자는 상기 텍스트를 기반으로 추출된 서술자이고, 상기 제2서술자는 상기 이미지로부터 텍스쳐(Texture)를 기반으로 추출되는 서술자가 될 수 있다.

이 때에, 상기 이미지로부터 상기 텍스쳐를 기반으로 특징점을 검출하고, 상기 픽셀에서 상기 특징점을 서술하는 1XN의 벡터를 생성함에 의하여 상기 제2서술자가 형성될 수 있다. 이와 같이 제1서술자와 제2서술자를 모두 구비하는 경우에, 상기 특징점 맵에는 텍스트가 존재하는 픽셀에 대하여 1X2N의 벡터가 서술자로서 구비될 수 있다.

상기에서 설명한 특징점 맵을 활용하여 이미지 한 장만으로 도보로 이동하는 사용자의 3차원 위치 및 포즈를 추정하는 것이 가능하게 된다. 예를 들어, 사용자는 모바일 기기를 이용하여 자신의 위치를 확인하거나, 자신의 위치를 기반으로 한 서비스를 제공받을 수 있게 된다.

도 9는 도 5의 프로세스에 의하여 구현된 맵을 이용하여 이미지 기반 측위를 수행하는 일 예를 보여주는 예시도이고, 도 10은 도 9의 이미지 기반 측위에서 텍스쳐 기반 및 텍스트 기반의 특징점 매칭을 하이브리드로 적용하는 개념을 나타내는 개념도이다.

본 발명에 따른 이미지 기반 측위가 활용되는 예에 대해 살펴보면, 모바일 기기의 애플리케이션은 컨트롤 서버(120, 도 2 참조)와 연동하여 증강현실의 사용자 경험을 제공할 수 있다.

사용자가 특정 건물이나 지점을 찾아가기 위하여, 사용자의 모바일 기기에서 이미지 기반 측위와 관련된 애플리케이션을 구동하면, 상기 모바일 기기는 주변의 장소를 검색하는 기능을 제공한다.

예를 들어, 도 9의 (a)에 도시된 것과 같이, 카메라 센서를 이용하여 주변 장소에 대한 이미지(181)를 획득한다. 상기 이미지의 획득은 주변을 스캔하는 형태로 제공될 수 있다.

상기 획득된 이미지는 쿼리 이미지로서, 무선통신을 통하여 컨트롤 서버(120, 도 2 참조)로 전송된다.

상기 컨트롤 서버(120)의 제어부(123)은 상기 쿼리 이미지로부터 텍스트(184)에 대한 텍스트 특징점을 추출하고, 데이터 베이스(130, 이상 도 2 참조)에 구축된 특징점 맵을 이용하여 상기 텍스트 특징점에 대한 매칭을 수행한다. 상기 매칭을 통하여 상기 모바일 기기의 위치가 탐색되며, 도 9의 (b)와 같이 위치 탐색의 성공적 수행에 대한 피드백(182)이 상기 모바일 기기를 통하여 제공될 수 있다.

다음으로, 도 9의 (c)에 도시된 바와 같이, 상기 모바일 기기의 위치를 기준으로 상기 특정 건물까지 경로를 안내하는 네비게이션(183)이 출력될 수 있다.

이 때에, 사용자가 주변의 특정 건물을 검색하는 요청을 입력하는 것은 도 9의 (a)에 도시된 주변을 스캔하는 과정의 이전에 수행될 수 있다. 다른 예로서, 도 9의 (b)에 도시된 것과 같이 상기 모바일 기기의 위치를 탐색한 후에, 상기 특정 건물의 지정을 수신하는 것도 가능하다.

도 9에 도시된 위치 기반 서비스를 구현하기 위하여, 본 발명에서는 거리뷰 이미지를 기반으로 한 이미지 기반 측위의 파이프라인에 텍스트를 이용한 측위가 조합될 수 있다.

예를 들어, 상기 파이프라인은 쿼리 이미지를 수신하는 단계, 지역을 특정하는 단계 및 이미지 기반 측위를 수행하는 단계를 포함할 수 있다.

먼저, 쿼리 이미지를 수신하는 단계에서는 위치 인식의 대상이 되는 쿼리 이미지를 수신하며, 도 9의 (a)와 같이 주변 이미지를 스캔함에 의하여 수행될 수 있다.

다음으로, 상기 지역을 특정하는 단계에서는 상기 쿼리 이미지를 데이터 베이스에 구축된 글로벌 디스크립터(descriptor)와 비교하여 상기 쿼리 이미지에 대응되는 지역을 특정한다.

상기 글로벌 디스크립터는 글로벌 특징을 이용하여 이미지를 서술한 서술자에 해당한다. 예를 들어, 상기 글로벌 디스크립터는 각 픽셀 간에 나타나는 칼라의 분포를 확률로 나타내거나, 질감이나 색상 정보를 계산하여 히스토그램으로 만들어 낸 서술자 등이 될 수 있다.

상기 컨트롤 서버의 제어부는, 상기 글로벌 디스크립터를 이용하여 상기 쿼리 이미지가 상기 맵을 생성하는 프로세스에서 이용한 거리뷰 이미지에서 어느 이미지와 유사한지를 검색한다. 상기 검색된 유사 이미지에 의하여 상기 쿼리 이미지에 대응되는 지역이 특정될 수 있다.

다음으로, 이미지 기반 측위를 수행하는 단계에서는 상기 특정된 지역에 대한 로컬 디스크립터를 이용하여 상기 쿼리 이미지에 대응되는 위치를 검출하는 이미지 기반 측위를 수행한다.

보다 구체적으로, 상기 컨트롤 서버의 제어부는, 데이터 베이스에 구축된 특징점 맵으로부터 상기 유사 이미지의 3차원 포인트와 상기 3차원 포인트를 서술하는 로컬 디스크립터를 추출한다.

상기 컨트롤 서버의 제어부는, 상기 3차원 포인트의 로컬 디스크립터를 이용하여 상기 3차원 포인트의 로컬 특징점 매칭을 수행하게 된다. 상기 로컬 특징점 매칭을 통하여 상기 3차원 포인트가 상기 쿼리 이미지의 어떤 2차원 포인트와 매칭되는 지를 검출하며, 이를 통하여 상기 제어부는 상기 쿼리 이미지의 3차원 포즈 정보를 연산할 수 있다.

이 때에, 상기 로컬 디스크립터의 적어도 일부는 기 촬영된 이미지에 포함된 텍스트에 대한 특징점을 서술할 수 있다. 예를 들어, 상기 특징점 맵은 텍스트 특징점을 구비하고, 상기 텍스트 특징점은 상기 텍스트의 위치 정보와 상기 로컬 디스크립터의 적어도 일부를 구비할 수 있다.

본 예시에서는, 상기 로컬 특징점 매칭을 위하여 도 3 내지 도 8을 참조하여 설명한 맵 생성 방법을 통하여, 텍스트 특징점에 대한 맵 데이터를 구축한다.

이 경우에, 상기 로컬 디스크립터는 하이브리드 디스크립터가 될 수 있다. 예를 들어, 상기 로컬 디스크립터는 제1서술자와 제2서술자를 구비하며, 상기 제1서술자는 상기 이미지에 포함된 상기 텍스트를 기반으로 추출되며, 상기 제2서술자는 상기 이미지로부터 텍스쳐를 기반으로 추출된다.

이와 같이, 제어부는 제1서술자 또는 제2서술자 중 적어도 하나를 이용하여 로컬 특징점 매칭을 수행하므로, 이미지 상의 텍스트와 텍스쳐를 하이브리드로 이용한 특징점 매칭을 구현할 수 있다. 보다 구체적으로, 도 10을 참조하면, 텍스트(191) 기반의 특징점 매칭과 오브젝트(192) 기반의 특징점 매칭이 동시에 또는 선택적으로 수행될 수 있다.

이 경우에, 본 발명에는 이미지 기반의 특징점 검출 알고리즘에 텍스트 기반의 특징점 검출이 혼합되거나, 서로 다른 타입의 서술자를 각각 이용하여 매칭하는 2가지 방법이 모두 적용될 수 있다.

예를 들어, 상기 제1서술자와 제2서술자는 서로 연관(concatenate)되어 하나의 서술자로 통합되며, 상기 이미지 기반 측위는 상기 쿼리 이미지와 상기 하나의 서술자를 이용하여 수행될 수 있다. 즉, 구성된 하나의 서술자는 1X2N의 벡터를 가지는 서술자로서, 상기 하나의 서술자를 이용하여 두 이미지 사이에서 매칭 쌍을 검출할 수 있게 된다.

다른 예로서, 상기 이미지 기반 측위를 수행하는 단계에서는, 상기 쿼리 이미지로부터 상기 텍스트 및 텍스쳐 기반의 특징점을 각각 추출하여, 상기 제1서술자와 상기 텍스트 기반 특징점을 매칭하거나 상기 제2서술자와 상기 텍스쳐 기반의 특징점을 매칭할 수 있다. 즉, 한 개 이상의 서로 다른 타입의 특징점 서술자를 이용하여 매칭을 수행하는 것으로, 각 이미지에서 상기 제1 및 제2서술자를 각각 추출하는 방법이다. 이 경우에는 서로 동일 타입의 특징점의 서술자들끼리 매칭 쌍을 계산한다. 예를 들어, 상기 제1서술자들끼리 로컬 특징점 매칭을 수행하거나, 상기 제2서술자들끼지 로컬 특징점 매칭을 수행하게 된다. 다만, 이 경우에도 검출된 매칭 쌍들은 서로 혼합될 수 있다.

이상에서 설명한 바와 같이, 본 발명에 따른 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법은, 시점에 강건한 매칭 쌍을 획득할 수 있게 된다. 따라서, 도로 시점의 이미지에서 검출한 특징점과 도보 시점의 이미지에서 검출한 특징점 간의 매칭이 가능하게 된다.

이러한 강건한 매칭 쌍을 통하여, 이미지 기반 측위의 성능이 향상될 수 있다.

또한, 본 발명의 텍스트 기반의 로컬 특징점 매칭(local feature matching)은 이미지 기반의 로컬 특징점 매칭과 병렬로 수행될 수 있으므로, 본 발명에서 제안하는 텍스트 기반의 로컬 특징점 매칭은 이미지 기반의 측위의 파이프 라인에 그대로 적용이 가능하게 된다.

상기와 같이 설명된 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (15)

1. 이미지로부터 텍스트를 검출하는 단계;
   상기 검출된 텍스트를 근거로 상기 이미지에서 상기 텍스트에 대응되는 픽셀을 서술하는 제1서술자(descriptor)를 추출하는 단계;
   상기 이미지에서 텍스쳐(texture)를 기반으로 한 제2서술자를 추출하는 단계; 및
   상기 제1서술자와 상기 제2서술자를 이용하여 상기 텍스트에 대한 텍스트 특징점과 상기 텍스쳐를 기반으로 한 특징점을 생성하고, 상기 텍스트 특징점과 상기 특징점을 가지는 특징점 맵을 구축하는 단계를 포함하는 이미지 기반 측위용 맵 생성 방법.
2. 제1항에 있어서,　
   상기 텍스트를 검출하는 단계는,
   상기 이미지에서 상기 텍스트가 위치하는 텍스트 영역에 대한 신뢰도 이미지를 산출하는 단계; 및
   상기 신뢰도 이미지를 기반으로 상기 텍스트의 기준점을 설정하는 단계를 포함하는 이미지 기반 측위용 맵 생성 방법.
3. 제2항에 있어서,　
   상기 제1서술자를 추출하는 단계는,
   상기 텍스트의 기준점의 주변 이미지를 이용하여 상기 텍스트에 대응되는 픽셀에서 상기 제1 서술자를 추출하는 것을 특징으로 하는 이미지 기반 측위용 맵 생성 방법.
4. 제2항에 있어서,　
   상기 텍스트의 기준점을 설정하는 단계에서는,
   상기 신뢰도 이미지를 표현하는 함수의 극대점(Local maxima point)이 상기 텍스트의 기준점으로 설정되는 것을 특징으로 하는 이미지 기반 측위용 맵 생성 방법.
5. 제1항에 있어서,　
   상기 텍스트 특징점은 상기 텍스트의 위치 정보와 상기 제1서술자를 구비하는 것을 특징으로 하는 이미지 기반 측위용 맵 생성 방법.
6. 제1항에 있어서,　
   상기 픽셀은 상기 제1서술자와 상기 제2서술자를 이용하여 서술되며,
   상기 제1서술자는 픽셀에서 상기 텍스트 특징점을 서술하는 1XN의 벡터를 구비하는 것을
   특징으로 하는 이미지 기반 측위용 맵 생성 방법.
7. 제6항에 있어서,　
   상기 픽셀에서 상기 특징점을 서술하는 1XN의 벡터를 생성함에 의하여 상기 제2서술자가 형성되며,
   상기 특징점 맵에는 상기 텍스트가 존재하는 픽셀에 대하여 상기 제1서술자와 상기 제2서술자로서 1X2N의 벡터가 생성되는 것을 특징으로 하는 이미지 기반 측위용 맵 생성 방법.
8. 위치 인식의 대상이 되는 쿼리 이미지를 수신하는 단계;
   상기 쿼리 이미지를 글로벌 디스크립터(descriptor)와 비교하여 상기 쿼리 이미지에 대응되는 지역을 특정하는 단계; 및
   상기 특정된 지역에 대한 특징점 맵의 로컬 디스크립터를 이용하여 상기 쿼리 이미지에 대응되는 위치를 검출하는 이미지 기반 측위를 수행하는 단계를 포함하고,
   상기 로컬 디스크립터의 적어도 일부는 기 촬영된 이미지에 포함된 텍스트에 대한 특징점을 서술하며,
   상기 로컬 디스크립터는 제1서술자와 제2서술자를 구비하며
   상기 제1서술자는 상기 이미지에 포함된 상기 텍스트를 기반으로 추출되며,
   상기 제2서술자는 상기 이미지로부터 텍스쳐를 기반으로 추출되며,
   상기 이미지 기반 측위를 수행하는 단계에서는,
   상기 쿼리 이미지로부터 상기 텍스트 및 상기 텍스쳐 기반의 특징점을 각각 추출하여, 상기 제1서술자와 상기 텍스트 기반 특징점을 매칭하거나 상기 제2서술자와 상기 텍스쳐 기반의 특징점을 매칭하는 것을 특징으로 하는 이미지 기반 측위 방법.
9. 제8항에 있어서,
   상기 특징점 맵은 텍스트 특징점을 구비하고,
   상기 텍스트 특징점은 상기 텍스트의 위치 정보와 상기 로컬 디스크립터의 적어도 일부를 구비하는 것을 특징으로 하는 이미지 기반 측위 방법.
10. 제9항에 있어서,
    상기 텍스트의 위치 정보는 상기 이미지에서 상기 텍스트가 위치하는 텍스트 영역에 대한 신뢰도를 기반으로 산출되는 것을 특징으로 하는 이미지 기반 측위 방법.
11. 삭제
12. 제8항에 있어서,　
    상기 제1서술자와 제2서술자는 서로 연관되어 하나의 서술자로 통합되며,
    상기 이미지 기반 측위는 상기 쿼리 이미지와 상기 하나의 서술자를 이용하여 수행되는 것을 특징으로 하는 이미지 기반 측위 방법.
13. 삭제
14. 이미지 기반 측위 시스템에 있어서,
    특징점 맵을 저장하는 데이터 베이스; 및
    상기 특징점 맵과 모바일 기기나 자율주행 기기에서 촬영한 쿼리 이미지 또는 쿼리 특징점 중 적어도 하나를 이용하여 이미지 기반 측위를 수행하는 제어부를 구비하고,
    상기 제어부는 상기 쿼리 이미지를 상기 특징점 맵의 서술자와 비교하여 상기 쿼리 이미지에 대응되는 위치를 검출하며,
    상기 서술자는 제1서술자와 제2서술자를 구비하며
    상기 제1서술자는 상기 이미지에 포함된 텍스트를 기반으로 추출되며,
    상기 제2서술자는 상기 이미지로부터 텍스쳐를 기반으로 추출되며,
    상기 제어부는, 상기 쿼리 이미지로부터 상기 텍스트 및 상기 텍스쳐 기반의 특징점을 각각 추출하여, 상기 제1서술자와 상기 텍스트 기반 특징점을 매칭하거나 상기 제2서술자와 상기 텍스쳐 기반의 특징점을 매칭하는 것을 특징으로 하는 이미지 기반 측위 시스템.
15. 전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램으로서,
    상기 프로그램은,
    이미지로부터 텍스트를 검출하는 단계;
    상기 검출된 텍스트를 근거로 상기 이미지에서 상기 텍스트에 대응되는 픽셀을 서술하는 제1서술자(descriptor)를 추출하는 단계;
    상기 이미지에서 텍스쳐(texture)를 기반으로 한 제2서술자를 추출하는 단계; 및
    상기 제1서술자와 상기 제2서술자를 이용하여 상기 텍스트에 대한 텍스트 특징점과 상기 텍스쳐를 기반으로 한 특징점을 생성하고, 상기 텍스트 특징점과 상기 특징점을 가지는 특징점 맵을 구축하는 단계:를 수행하도록 하는 명령어들을 포함하는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 매체에 저장 가능한 프로그램.
    
    

Images