KR20220027000A - 지리적 위치점들의 공간 관계를 추출하는 방법 및 장치 - Google Patents

지리적 위치점들의 공간 관계를 추출하는 방법 및 장치 Download PDF

Info

Publication number
KR20220027000A
KR20220027000A KR1020210039192A KR20210039192A KR20220027000A KR 20220027000 A KR20220027000 A KR 20220027000A KR 1020210039192 A KR1020210039192 A KR 1020210039192A KR 20210039192 A KR20210039192 A KR 20210039192A KR 20220027000 A KR20220027000 A KR 20220027000A
Authority
KR
South Korea
Prior art keywords
geographic location
real
location points
pair
signboard
Prior art date
Application number
KR1020210039192A
Other languages
English (en)
Other versions
KR102565798B1 (ko
Inventor
지저우 황
하오 장
하이펑 왕
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20220027000A publication Critical patent/KR20220027000A/ko
Application granted granted Critical
Publication of KR102565798B1 publication Critical patent/KR102565798B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6218—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

본 출원은 지리적 위치점 공간 관계의 방법 및 장치를 개시하였으며 빅 데이터 기술분야에 관한 것이다. 구체적인 구현형태는 다음과 같다：각 단말 장치에 의해 수집된 실경 영상에 대해 간판 인식을 수행하여 실경 영상에 포함된 지리적 위치점 쌍을 결정하고; 동일한 단말 장치에 의해 수집된 동일한 지리적 위치점 쌍을 포함하는 실경 영상을 2개 이상 획득하고; 상기 2개 이상의 실경 영상의 촬영 파라미터를 이용하여 상기 동일한 지리적 위치점 쌍의 공간 관계를 결정한다. 본 출원의 추출된 지리적 위치 공간 관계를 통해 더 높은 정확도와 커버리지를 가진다.

Description

지리적 위치점들의 공간 관계를 추출하는 방법 및 장치 {Method and device for extracting spatial relationship of geographic location points}
본 출원은 컴퓨터 응용 기술분야에 관한 것이고, 특히 빅 데이터 기술분야의 지리적 위치점들의 공간 관계를 추출하는 방법 및 장치에 관한 것이다.
지도의 주요 목표는 현실 세계를 묘사하고 사용자가 여행하기 쉽게 만드는 것이다. 지리적 위치점에 대한 고정밀 지식 맵은 지도 및 여행에 대한 사용자의 핵심 요구 사항을 충족하기 위한 기반이다. 지리적 위치점 공간 관계는 지식 맵의 필수 요소 중 하나로서 지리적 위치점의 보조 설명을 실현하고 보다 정확한 논리적 추론 쿼리를 실현할 수 있다.
이에 감안하여, 본 출원은 지리적 위치점들의 공간 관계를 추출하는 방법, 장치, 기기 및 컴퓨터 기록 매체를 제공한다.
제1 양태에 있어서, 본 출원은 다음 단계를 포함하는 지리적 위치점들의 공간 관계를 추출하는 방법을 제공한다：
각각의 단말 장치에 의해 수집된 실경 영상에서 간판을 인식하여 실경 영상에 포함된 지리적 위치점 쌍을 결정하는 단계；
동일한 단말 장치에 의해 수집된 동일한 지리적 위치점 쌍을 포함하는 2개 이상의 실경 영상을 획득하는 단계；
상기 2개 이상의 실경 영상의 촬영 파라미터를 이용하여 상기 동일한 지리적 위치점 쌍의 공간 관계를 결정하는 단계.
제2 양태에 있어서，본 출원은 다음을 포함하는 지리적 위치점들의 공간 관계를 추출하는 장치를 제공한다：
각각의 단말 장치에 의해 수집된 실경 영상에서 간판을 인식하여 실경 영상에 포함된 지리적 위치점 쌍을 결정하기 위한 지리적 위치점 추출 모듈；
동일한 단말 장치에 의해 수집된 동일한 지리적 위치점 쌍을 포함하는 2개 이상의 실경 영상을 획득하고； 상기 2개 이상의 실경 영상의 촬영 파라미터를 이용하여 상기 동일한 지리적 위치점 쌍의 공간 관계를 결정하기 위한 공간 관계 생성 모듈.
제3 양태에 있어서，본 출원은 또한 다음과 같은 전자 기기를 제공한다：
적어도 하나의 프로세서； 및
상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하며； 그중
상기 메모리는 상기 적어도 하나의 프로세서에서 실행될 수 있는 명령을 저장하고，상기 명령은 상기 적어도 하나의 프로세서에서 실행되어 상기 적어도 하나의 프로세서는 상기 방법을 실행하도록 한다.
제4 양태에 있어서，본 출원은 또한 상기 컴퓨터가 상기 방법을 실행하도록 하기 위한 컴퓨터 명령을 저장하는 비 일시적 컴퓨터 판독 가능 기록 매체를 제공한다.
상기 선택 가능한 방식이 구비하는 효과는 아래에서 구체적인 실시예를 결합하여 설명한다.
도면은 본 기술적 해결책을 더 잘 이해하기 위하여 이용되며 본 발명을 제한하지 않는다. 그중:
도 1은 본 출원 실시예 1를 적용하여 제공되는 예시적인 시스템 구성도를 나타낸다.
도 2는 본 출원 실시예 2에서 제공되는 주요 방법의 순서도이다.
도 3은 본 출원 실시예 2에서 제공되는 실경 영상의 예시도이다.
도 4는 본 출원 실시예 3에서 제공되는 상세한 방법의 순서도이다.
도 5는 본 출원 실시예 3에서 제공되는 촬영 파라미터를 이용하여 지리적 위치점 좌표를 계산하는 개략도이다.
도 6은 본 출원 실시예 4에서 제공되는 장치 구조도이다.
도 7은 본 출원 실시예의 방법을 구현하기 위한 전자 기기의 블럭도이다.
이하, 도면을 결합하여 본 발명의 시범적인 실시예를 설명하는 바, 본 발명에 대한 이해를 돕기 위해 여기에는 본 발명 실시예의 다양한 세부 사항이 포함되며, 이러한 세부 사항을 단지 시범적인 것으로 간주해야 할 것이다. 따라서, 당업자는 본 발명의 범위 및 정신을 벗어나지 않는 전제 하에서, 여기서 설명되는 실시예에 대해 다양한 변경 및 수정을 수행할 수 있음을 인식해야 한다. 마찬가지로, 명확성 및 간결성을 위하여 이하의 기술에서는 잘 알려진 기능 및 구조의 기술을 생략하였다.
현재 지리적 위치점 공간 관계의 결정 방식은 주요하게 두 가지가 있다:
첫 번째 방법은 포지셔닝 기능이 있는 기기에서 보고한 지리적 위치점의 좌표를 자동으로 생성하는 방법이지만 이 방법은 좌표의 정확성에 의존하며 지리적 지점의 좌표 오차는 일반적으로 수십 미터 내지 수백 미터 이상이다. 결과적으로 이 방법으로 생성된 지리적 위치점 공간 관계가 정확하지 않다.
예를 들어, 수십 미터 내지 수백 미터의 오차는 지리적 위치점 공간 관계 및 심지어 여러 거리에 걸쳐 오류를 유발한다.
다른 예로, 동일한 지리적 위치점에 대해 서로 다른 기기에서 보고한 좌표 정보는 특정 오차가 있거나 정밀도가 다를 수 있으므로 특정 범위 내에서 동일한 이름의 지리적 위치점을 임의로 중복 제거하면 원래 거리가 비교적 가까운 체인기관이 손상될 수 있다.
두 번째 방법은 지리적 위치점 공간 관계에 인공적으로 표시하는 것이지만 이러한 방법은 비효율적이며 범위가 제한되어 있다.
이에 감안하여 본 출원의 핵심사상은 간판 인식을 이용하는 방법으로 영상에 포함된 지리적 위치점을 결정하고 동일한 단말 장치에 의해 수집된 동일한 지리적 위치점 쌍을 포함하는 두 개 이상의 영상의 촬영 파라미터를 이용하여 동일한 지리적 위치점 쌍의 공간 관계를 결정한다. 본 출원은 실시예들과 관련하여 아래에서 상세하게 설명될 것이다.
<실시예 1>
도 1은 본 출원 실시예의 방법 또는 장치의 예시적인 시스템 구성을 나타낸다. 도 1에 나타낸 바와 같이，당해 시스템 구성은 단말 장치(101 및 102)，네트워크(103)과 서버(104)를 포함할 수 있다. 네트워크(103)는 단말 장치(101, 102)와 서버(104) 사이의 통신 링크를 제공하기 위한 매체이다. 네트워크(103)는 유선, 무선 통신 링크 또는 광 섬유 케이블 등과 같은 다양한 연결 유형을 포함할 수 있다.
사용자는 단말 장치(101, 102)를 이용하여 네트워크(103)를 통해 서버(104)와 인터랙티브할 수 있다. 지도 애플리케이션, 웹 브라우저 애플리케이션 및 통신 애플리케이션과 같은 다양한 애플리케이션이 단말 장치(101, 102)에 설치될 수 있다.
단말 장치(101, 102)는 지도 애플리케이션을 실행할 수 있는 다양한 유형의 사용자 기기일 수 있다. 스마트 폰, 태블릿, PC, 스마트 TV 등을 포함하되 이에 제한되지 않는다. 본 출원에서 제공되는 지리적 위치점 공간 관계를 추출하는 장치는 전술한 서버(104)에서 설정 및 운영될 수 있으며, 서버(104)와 분리된 장치에서 운영될 수 있다. 이는 여러 소프트웨어 또는 소프트웨어 모듈(예를 들면 분산 서비스 제공)로 구현되거나 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며, 여기에서 특별히 제한하지 않는다. 서버(104)는 지도 데이터베이스(105)와 인터랙티브할 수 있다. 구체적으로, 서버(104)는 지도 데이터베이스(105)로부터 데이터를 획득하거나 지도 데이터베이스(105)에 데이터를 저장할 수 있다. 지도 데이터베이스(105)는 POI 정보를 포함하는 지도 데이터를 저장한다.
예를 들어, 지리적 위치점 공간 관계의 장치는 상기 서버(104)에 설치되어 실행된다. 서버(104)는 본 출원 실시예에서 제공되는 방법을 사용하여 지리적 위치점 공간 관계를 추출한 다음 획득한 지리적 위치점의 공간 관계를 이용하여 지도 데이터 베이스(105)를 업데이트 한다. 서버(104)는 단말 장치(101, 102)의 조회 청구에 대한 응답으로 지도 데이터 베이스(105)를 조회하고, 조회된 지리적 위치점 공간 관계에 기반하여 생성된 정보를 포함한 지리적 위치점의 관련 정보를 단말 장치(101, 102)에 반환할 수 있다.
서버(104)는 단일 서버 또는 다중 서버로 구성된 서버 그룹일 수 있다. 서버의 형태에 추가하여, 서버(104)는 또한 더 높은 컴퓨팅 성능을 가진 다른 컴퓨터 시스템 또는 프로세서일 수 있다. 도 1의 단말 장치, 네트워크, 서버 및 데이터베이스의 수는 단지 예시적인 것임을 이해해야 한다. 구현 요구 사항에 따라 단말 장치, 네트워크, 서버 및 데이터베이스가 임의의 수로 있을 수 있다.
본 출원에 따른 지리적 위치점은 지도류 응용 프로그램의 지리적 위치점을 나타내며 당해 지리적 위치점은 사용자 조회, 검색 및 사용자에게 표시하는데 사용할 수 있다. 이러한 지리적 위치점에는 위도 및 경도, 이름, 관리 주소 및 유형과 같은 기본 속성에 대한 설명이 있다. 그 중 지리적 위치점에는 POI(Point Of Interest, 관심 지점), AOI(Area of Interest, 관심 지역), ROI(Regin of Interest, 관심 영역) 등이 포함될 수 있지만 이에 국한되지는 않는다. 후속 실시예에서, POI를 예시로 설명한다. POI는 지리 정보 시스템의 용어로, 일반적으로 포인트로 추상화할 수 있는 모든 지리 객체를 가리킨다. 한 개의 POI는 집, 상점, 우편함, 버스 정류장, 학교, 병원 등이 될 수 있다. POI의 주요 용도는 사물 또는 사건의 위치를 설명하여 사물 또는 사건 위치 설명 기능 및 조회 기능을 향상시키는 것이다.
<실시예 2>
도 2는 본 출원 실시예 2에서 제공되는 주요 방법 순서도이다. 도 2에서 나타낸 바와 같이, 당해 방법은 다음 단계를 포함할 수 있다：
단계 201에서 각각의 단말 장치에 의해 수집된 실경 영상(real view image)에 대해 간판을 인식하고 실경 영상에 포함된 지리적 위치점 쌍을 결정한다.
본 출원에서 단말 장치가 지리적 위치점에 대해 촬영하여 얻은 실경 영상을 이용하여 지리적 위치점 사이의 공간 관계를 결정한다. 따라서, 각각의 단말 장치에 의해 수집된 실경 영상을 획득한 후 실경 영상에 대해 간판 인식을 수행할 수 있으며, 적어도 두 개의 간판이 포함된 실경 영상을 스크리닝 해낼 수 있다. 이후, 적어도 두 개의 간판이 포함된 실경 영상에 대해 문자 인식을 수행하고 실경 영상에 포함된 지리적 위치점 쌍을 결정한다. 본 출원에 따른 지리적 위치점 쌍은 두 개의 부동한 지리적 위치점으로 구성된다.
그중 실경 영상은 단말 장치가 현지에서 지리적 위치점을 촬영하여 얻은 영상을 의미한다. 본 출원에서 사용되는 실경 영상에는 적어도 두 개의 간판이 포함되어 후속 실경 영상의 촬영 파라미터를 이용하여 두 간판에 해당하는 지리적 위치점 사이의 공간 관계를 결정할 수 있도록 하여야 한다. 소위 간판은 지리적 위치점에 대응하는 건물 문 앞에 걸려 표시로 사용되는 패쪽(signboard)을 가리킨다. 예를 들어, 가게 문앞에는 가게 이름 사인, 학교 문앞에는 학교 이름 사인 등이 걸려 있다.
본 단계는 실제로 실경 영상에서 지리적 위치점 쌍을 추출하는 과정이다. 예를 들어, 도 3에서 나타낸 바와 같이, 실경 영상에서 지리적 위치점 쌍을 추출한다：(예컨대, 장일원 차점(張一元茶庄)， 대명 안경(
Figure pat00001
). 당해 부분의 구체적인 실현은 후속 실시예 3에서 상세하게 설명한다.
단계 202에서 동일한 단말 장치에 의해 수집된 동일한 지리적 위치점 쌍을 포함하는 적어도 2개의 실경 영상을 획득한다.
각 실경 영상의 지리적 위치점 쌍을 추출한 후 각각의 지리적 위치점 쌍을 이용하여 실경 영상의 역 인덱스를 설정할 수 있다. 이 단계에서는 역 인덱스를 검색하여 동일한 지리적 위치점 쌍의 실경 영상을 획득할 수 있지만, 획득한 실경 영상이 동일한 단말 장치에서 수집되고 수량이 2개 이상 이여야 한다.
단계 203에서 2개 이상의 실경 영상의 촬영 파라미터를 이용하여 상기 동일한 지리적 위치점 쌍의 공간 관계를 결정한다.
본 단계에 따른 촬영 파라미터는 주요하게 다음 사항을 포함한다：
1） 실경 영상의 포지셔닝 좌표. 즉 당해 실경 영상을 촬영하는 촬영지점의 좌표, 통상적으로 단말 장치가 영상 촬영 시 단말 장치 현재 포지셔닝 좌표를 획득하여 당해 촬영 영상의 포지셔닝 좌표로 한다.
2） 실경 영상 중 지리적 위치점 쌍에 대한 간판의 촬영 각도 및 촬영 거리.
촬영 기기의 설치 또는 기능상 원인으로 인해 일부 실경 영상에는 상기 촬영 파라미터가 있고, 일부 실경 영상에는 상기 촬영 파라미터가 없다. 본 출원에서 단지 상기 촬영 파라미터를 구비한 실경 영상을 획득 및 이용하여 지리적 위치점 쌍의 공간 관계를 결정한다.
본 단계에서는 위에서 언급한 실경 영상의 촬영 파라미터를 주로 사용하여 사인과 코사인의 법칙과 같은 기하학적 관계를 기반으로 계산하여 지리적 위치점 쌍의 두 지리적 위치점의 좌표를 구한다; 두 지리적 위치점의 좌표를 기반으로 두 지리적 위치점의 공간 관계를 결정한다.
본 출원 실시예에 따른 공간 관계의 정보는 공간 관계의 유형 및 값을 포함할 수 있다： 공간 관계의 유형에는 주로 동, 남, 서, 북, 남동, 북동, 남서, 북서, 왼쪽, 오른쪽, 위층, 아래층 등과 같은 일부 유형의 공간 관계가 포함된다. 값에는 거리 값, 층수 값 등이 포함될 수 있다. 지리적 위치점의 공간 관계는 상대적임을 알 수 있다.
이하, 실시예 3을 결합하여 본 출원 상기 방법의 구체적인 구현방식을 상세하게 설명한다.
<실시예 3>
도 4는 본 출원 실시예 3에서 제공되는 상세한 방법 순서도이다. 도 4에 나타낸 바와 같이, 당해 방법은 다음 단계를 포함할 수 있다：
단계 401에서 이미지 라이브러리로부터 각각의 단말 장치에 의해 수집된 실경 영상을 획득한다.
각각의 단말 장치에서 수집 및 보고된 실경 영상은 이미지 라이브러리에 저장될 수 있고, 이미지 라이브러리는 본 출원에서 지리적 위치점 공간 관계를 추출하는 기반이다. 이미지 라이브러리에 저장된 각각의 실경 영상 중 일부는 촬영 파라미터가 있고, 일부는 촬영 파라미터가 없으며 일부는 부분 촬영 파라미터가 있을 수 있다. 본 실시예에서 실경 영상으로부터 지리적 위치점 쌍을 추출하는 과정에서 이용되는 실경 영상은 적어도 실경 영상의 포지셔닝 좌표 정보를 가지며 촬영 시간 정보가 더 필요할 수 있다. 후속 지리적 위치점의 공간 관계 결정 시, 실경 영상에 촬영 각도 등 정보를 추가로 구비할 것을 요구한다.
단계 402에서 실경 영상에 대해 간판 인식을 수행하고 2개 이상의 간판을 포함한 실경 영상을 스크리닝 한다.
단말 장치가 촬영한 대량의 실경 영상에는 실경 영상에 간판이 포함되지 않거나 하나만 포함된 경우가 있을 수 있다. 이러한 실경 영상은 본 출원의 지리적 위치점의 공간 관계 결정에 사용될 수 없다. 따라서, 2개 이상의 간판을 포함한 실경 영상을 스크리닝 해야 한다.
실경 영상에서 간판을 인식할 경우, 미리 훈련하여 얻은 간판 판별 모델을 사용할 수 있다. 우선 실경 영상을 영역 구분한다. 일반적으로 실경 영상에서 간판은 하나의 폐쇄 영역이기 때문에 실경 영상을 영역 인식 및 구분할 수 있다. 결정된 폐쇄 영역에 간판 판별 모델을 입력하고 간판 판별 모형으로부터 당해 폐쇄 영역이 간판 영역인지 판단한 결과를 추출한다.
그중 간판 판별 모델은 실제로 분류 모델로, 일부 실경 영상을 미리 수집하고 간판 영역 및 비간판 영역을 표시하여 플러스-마이너스 샘플로 한 후 분류 모델을 훈련시켜 당해 간판 판별 모델을 얻을 수 있다.
단계 403에서 실경 영상 사이의 포지셔닝 거리에 기반하여，스크리닝 된 실경 영상을 클러스터링 하여 하나 이상의 유사 포지셔닝 클러스터를 얻는다.
단말 장치가 동일한 지리적 위치점을 촬영할 경우, 촬영 위치가 상대적으로 가까운 경우가 많으므로 지리적 위치점 쌍을 추출할 경우, 촬영 위치와 가까운 실경 영상에서 추출하여 한편으로 계산량을 감소하고 다른 한편으로 실경 영상에 포함된 간판이 나타나지만 촬영 위치차가 매우 큰 특수 상황을 제외한다. 예를 들어, 단말 장치가 북경 씨단(西單) 상권에서 촬영한 실경 영상에 “랜쟈(
Figure pat00002
)”와 “썬메이 미용 미발(
Figure pat00003
)”의 간판이 포함되고, 북경 쌍띠(
Figure pat00004
) 상권에서 촬영한 실경 영상에도 “랜쟈(
Figure pat00005
)”와 “썬메이 미용 미발(
Figure pat00006
)”의 간판이 포함되어 있다. 체인점의 간판이 같거나 비슷하므로 이 2개 실경 영상을 사용하여 랜쟈(
Figure pat00007
), 썬메이 미용 미발(
Figure pat00008
) 2개 지리적 위치점의 공간 관계를 결정하면 분명히 오류가 발생한다. 따라서, 바람직한 구현방식으로, 실경 영상 사이의 포지셔닝 거리를 기반으로 실경 영상을 클러스터링하여 포지셔닝 좌표가 비슷한 실경 영상이 하나의 카테고리로 그룹화 되도록 하여 그중에서 지리적 위치점을 추출할 수 있다. 즉, 각각의 유사 포지셔닝 클러스터에 포함된 실경 영상은 모두 촬영 위치가 비교적 가깝다.
그중 본 출원은 클러스터링의 구체적인 방식에 제한되지 않고 K-means、DBSCAN（Density-Based Spatial Clustering of Applications with Noise，밀도에 기반한 클러스터링 알고리즘）, GMM（Gaussian Mixed Model，가우시안 혼합 모형）등 클러스터링 방식을 사용할 수 있다.
단계 404에서 각각의 유사 포지셔닝 클러스터의 영상은 각각의 내용 유사성에 기반하여 추가로 클러스터링 되어 하나 이상의 유사 내용 클러스터를 얻는다.
본 단계는 실제로 촬영 위치가 비슷한 실경 영상에서 같은 지리적 위치점을 포함한 실경 영상을 추출한다. 그중 클러스터링 처리는 각각의 유사 포지셔닝 클러스터에 대해 실행된다.
영상 사이의 유사성 계산은 영상의 특징에 기반할 수 있다. 예를 들면 Harris Corner（초점 감지 알고리즘），SIFT（Scale-invariant feature transform，척도 불변 특징 변환）알고리즘, SURF（Speeded Up Robust Features，가속 온건 특징）알고리즘 등을 사용하여 영상에서 회전 불변, 척도 불변의 특징을 추출할 수 있다. 이후 추출된 특징 사이의 유사성을 계산하여 영상 사이의 유사성을 결정하며 유사성이 요구를 만족할 경우 하나의 카테고리로 클러스터링 된다.
경우에 따라 지리적 위치점은 시간이 지남에 따라 변경된다. 예를 들어 일부 상점은 새로 문을 열거나 일부 상점은 지점을 변경한다. 획득한 지리적 위치점 정보가 최신인지 확인하기 위해 이 단계에서는 유사한 포지셔닝 클러스터의 영상을 촬영 시간에 따라 분할하여 각각의 시간대에서 촬영한 영상을 얻은 다음 가장 근접한 시간대에 촬영한 영상을 선택한다; 내용 유사성에 기반하여 동일한 유사 포지셔닝 클러스터에서 가장 근접한 시간대에 촬영한 영상을 클러스터링 한다.
단계 405에서 각각의 유사 내용 클러스터의 실경 영상에서 간판을 판별하여 간판 영역을 결정한다.
본 단계에서 간판 판별하는 방식은 상기 단계 402와 비슷하므로 생략한다.
단계 406에서 각각의 실경 영상에서 결정된 간판 영역을 ID（식별자） 단일화 처리한다.
ID 단일화 처리하는 목표는 각각의 실경 영상 중 동일한 간판을 가리키는 간판 영역에 동일한 ID를 사용하도록 하는 것이다. 그중 동일한 간판을 가리키는 간판 영역은 유사성에 기반하여 계산할 수 있다. 유사성 계산은 마찬가지로 간판 영역에서 회전 불변、척도 불변의 특징을 추출할 수 있다. 예를 들면 Harris Corner, SIFT, SURF 알고리즘 등을 사용하여 특징을 추출한 다음 추출된 특징 사이의 유사성을 계산하여 간판 영역 사이의 유사성을 결정한다. 간판 영역 사이의 유사성이 미리 설정된 유사성 임계 값을 초과하면 동일한 간판을 가리키는 것으로 간주하고，동일한 ID를 사용한다. 서로 다른 간판의 간판 영역을 가리키면 서로 다른 ID가 사용된다. ID 할당 방식은 본 출원에서 한정되지 않는다.
단계 407에서 각각의 실경 영상에 포함된 간판 영역 ID 서열을 결정하고 그중에서 빈발 항목(
Figure pat00009
: frequent itemsets) 서열을 획득한다.
매개 실경 영상에 대하여 미리 설정된 배열 순서에 따라 각각의 간판 영역의 ID를 배열하여 실경 영상의 간판 영역 ID 서열을 얻을 수 있다. 예를 들어, 우선적으로 왼쪽에서 오른쪽으로, 부조적으로 위에서 아래로의 순서를 사용한다. 예를 들면, 각각의 간판 영역의 왼쪽 상단 모서리의 화소점 위치에 따라 왼쪽에서 오른 쪽으로 각각의 간판 영역 ID를 배열할 수 있다. 두 개 이상의 간판 영역의 화소점 위치가 세로 방향으로 동일할 경우 위에서 아래로의 순서를 사용하여 당해 두 개 이상의 간판 영역 ID를 배열한다. 물론, 각각의 간판 영역의 왼쪽 상단 모서리의 화소점 위치에 기초하는 방식의 외에도 예를 들면 통일적으로 각각의 간판 영역 중심점의 위치 등에 기초하는 등 다른 화소점 위치에 기초하여도 되며 주로 사용하는 화소점 위치가 통일되면 된다.
상기 서열화 처리를 거친 후, 유사 내용 클러스터 중 전부 실경 영상은 각각 하나의 간판 영역 ID 서열이 존재한다. 시퀀스 패턴 마이닝 알고리즘(序列模式掘算法: sequence pattern mining algorithm)은 유사 내용 클러스터에 있는 전부 실경 영상의 간판 영역 ID 서열을 마이닝하여 빈발 항목 서열을 획득할 수 있다. 그중 빈발 항목 서열이 하나만 있는 경우 당해 빈발 항목 서열만 보류한다. 빈발 항목 서열이 여러개 있는 경우 가장 자주 발생하는 항목 서열을 얻을 수 있다. 각각의 빈발 항목 서열을 <ID1, ID2, ID3, ID4, ··· , IDn> 로 표기할 경우, n은 빈발 항목 서열이 포함한 ID 수이다.
그중 상기 시퀀스 패턴 마이닝 알고리즘은 Apriori 알고리즘（연관 분석 원시 마이닝 알고리즘）, FreeSpan 알고리즘（빈발 모드 투영 마이닝 알고리즘）, PrefixSpan 알고리즘（FreeSpan에서 진화한 다른 알고리즘）등을 사용하나 이에 한정되지 않는다. 상기 시퀀스 패턴 마이닝 알고리즘은 공지된 비교적 성숙된 알고리즘이라는 점을 감안하여 자세한 설명은 생략한다.
단계 408에서 빈발 항목 서열 중 각각의 ID에 대응되는 간판 영역을 문자 인식한다.
문자 인식 방식은 OCR（Optical Character Recognition，광학 문자 인식）등 기존 비교적 성숙된 문자 인식 방식일 수 있다. 빈발 항목 서열 중 동일한 ID에 대응하는 간판 영역을 인식하여 여러개 문자 인식 결과를 얻게 될 경우, 여러개 문자 인식 결과에서 신뢰도가 가장 높은 것을 선택한다.
그중 신뢰도가 가장 높은 문자 인식 결과를 결정할 경우, 발생 횟수, 발생 빈도 등에 기반하여 결정한다. 예를 들어, 동일한 ID에 대응하는 여러개 문자 인식 결과 중 발생 횟수가 가장 많은 것을 ID의 문자 인식 결과로 한다. 빈발 항목 서열에 대응하는 발생 횟수가 가장 많은 문자 인식 결과도 시퀀스 패턴 마이닝 알고리즘을 사용하여 결정할 수 있다.
빈발 항목 서열 <ID1, ID2, ID3, ID4, ··· , IDn> 이 얻은 문자 인식 결과는：
Figure pat00010
로 표시할 수 있다.
그중 TEXT는 문자 인식 결과를 표시한다.
단계 409에서 빈발 항목 서열을 포함한 실경 영상에 대하여 빈발 항목 서열에서 n-1개의 지리적 위치점 쌍을 선택한다. 당해 n-1개의 지리적 위치점 쌍으로 구성된 집합은 당해 빈발 항목 서열 중 전부 간판 ID에 대응하는 지리적 위치점을 포함하며 각각의 지리적 위치점 쌍이 실경 영상에서 대응하는 간판 거리의 합은 가장 작고, n은 빈발 항목 서열에 포함된 간판 수이다.
예를 들면, 하나의 빈발 항목 서열에 4개 간판 ID：ID1, ID2, ID3, ID4가 포함된다고 가정할 경우, 이 4개 간판 ID는 여러개의 지리적 위치점 쌍의 조합으로 조합될 수 있으며 조합 방식은 아주 많다. 그러나 본 출원 상기 단계 409에서 사용하는 바람직한 방식에서 선택된 지리적 위치점 쌍의 조합은 <(ID1, ID2), (ID2, ID3), (ID3, ID4)> 이다. 이러한 조합 방식은 전부 4개의 간판 ID를 포함하며, ID1와 ID2가 대응하는 간판 거리, ID2와 ID3이 대응하는 간판 거리, ID3와 ID4가 대응하는 간판 거리의 합은 가장 작다. 기타 지리적 위치점 쌍 사이의 공간 관계는 실제로 이러한 가장 가까운 지리적 위치점 쌍에 기반하여 추리해낼 수 있다. 예를 들면 ID1와 ID2가 대응하는 지리적 위치점 사이의 공간 관계, ID2와 ID3이 대응하는 지리적 위치점 사이의 공간 관계가 결정되면，ID1와 ID3이 대응하는 지리적 위치점 사이의 공간 관계를 추리해낼 수 있다.
본 단계에서 지리적 위치점 쌍을 선택하는 방법은 가장 가까운 지리적 위치 쌍에 기반한 방법으로 이러한 방법은 계산 량을 최대한 줄이고 계산 효율을 높일 수 있다. 그러나 다른 선택 방법도 사용할 수 있음은 쉽게 이해할 수 있다.
단계 410에서 각각의 지리적 위치점을 이용하여 실경 영상의 역 인덱스(inverted index)를 구축한다.
역 인덱스를 구축한 후, 지리적 위치점을 통해 당해 지리적 위치점을 포함한 실경 영상이 어느 것인지 빠르게 조회할 수 있다.
단계 411에서 역 인덱스를 조회하여 동일한 단말 장치에 의해 수집된 동일한 지리적 위치점 쌍을 포함한 2개 이상의 실경 영상을 획득한다.
획득한 이러한 실경 영상은 모두 실경 영상의 포지셔닝 좌표 정보, 촬영 각도 등 촬영 파라미터를 구비하여야 한다.
단계 412에서 2개 이상의 실경 영상의 포지셔닝 좌표와 지리적 위치점 쌍의 간판에 대한 촬영 각도를 이용하여，기하학적 관계에 기반한 계산을 실행하여 당해 지리적 위치점 쌍의 2개 지리적 위치점의 좌표를 얻는다.
도 5를 실례로, 동일한 단말 장치가 촬영한 2개 실경 영상에 모두 지리적 위치점 M와 지리적 위치점 N으로 구성된 지리적 위치점 쌍을 포함한다고 가정한다. 첫 번째 실경 영상에 대응하는 촬영 위치 좌표는 촬영 지점 A이고, 도면의 협각 α와 β는 촬영 각도에 의해 결정될 수 있다. 두 번째 실경 영상에 대응하는 촬영 위치 좌표는 촬영 지점 B이고 도면의 협각 γ와 δ는 촬영 각도에 의해 결정된다. 두 촬영 지점 사이의 거리 x는 두 실경 영상의 포지셔닝 좌표로부터 얻을 수 있다.
사인의 법칙에 따라 지리적 위치점 M과 촬영 지점 A 사이의 거리 P 및 지리적 위치점 N과 촬영 지점 A 사이의 거리 Q를 구할 수 있다：
Figure pat00011
Figure pat00012
이러한 거리 정보와 협각 정보, 촬영 지점 A와 B의 포지셔닝 좌표에 따라 2개 지리적 위치점의 좌표를 결정할 수 있다.
또한 설명해야할 것은 동일한 단말 장치가 촬영하는 동일한 지리적 위치점 쌍（M，N）의 실경 영상의 수량이 2장 이상일 수 있으므로 본 단계의 방법을 통해 실제로 둘씩인 실경 영상을 이용하여 상기 지리적 위치점 M과 N의 여러개 좌표를 결정할 수 있다. 이 경우, 결정된 지리적 위치점 M의 여러개 좌표는 평균화, 클러스터 중심 취하기, 중앙값 구하기 등 방법으로 처리되어 지리적 위치점 M의 좌표를 구할 수 있다. 같은 방식으로, 결정된 지리적 위치점 N의 여러개 좌표는 평균화, 클러스터 중심을 취하고 중앙값 구하기 등 방법으로 처리되어 지리적 위치점 N의 좌표를 얻는다.
단계 413에서 2개 지리적 위치점의 좌표에 기반하여 2개 지리적 위치점의 공간 관계를 결정한다.
2개 지리적 위치점의 좌표를 얻은 후 2개 지리적 위치점의 공간상 상대 위치 관계를 결정할 수 있다. 예를 들면 방향적인 관계 및 거리 관계 등이다.
본 출원 실시예에 따른 공간 관계의 정보는 공간 관계의 유형 및 값을 포함할 수 있다. 공간 관계의 유형에는 주로 동, 남, 서, 북, 남동, 북동, 남서, 북서, 왼쪽, 오른쪽, 위층, 아래층 등 방향적 공간관계가 포함된다. 공간 관계 유형의 종류는 인공적으로 미리 정의하고 본 출원 실시예의 방법에 따라 2개 지리적 위치점의 공간 관계 유형이 구체적으로 어느 유형에 속하는지 결정한다. 값은 거리 값, 층수 값 등을 포함할 수 있다. 예를 들어, 지리적 위치점 M과 N의 공간 관계 유형은: 동쪽으로 20미터이다.
결정된 지리적 위치점의 공간 관계는 상대적임을 알 수 있다. 전통적인 종래기술에서는 지리적 위치점의 포지셔닝 좌표에 기반하여 지리적 위치점의 공간 관계를 결정하지만 2개 지리적 위치점의 포지셔닝 좌표는 부동한 단말 장치에 의해 보고될 수 있으므로 포지셔닝 좌표의 오차는 지리적 위치점 사이의 공간 관계에 큰 영향을 준다. 그러나 본 출원에서 지리적 위치점의 좌표는 동일한 기기에 의해 촬영된 실경 영상으로부터 얻으므로 단말 장치가 포지셔닝한 촬영 위치 좌표에 오차가 있어도 동일한 기기가 촬영한 2개의 실경 영상의 포지셔닝 오차는 비슷하다. 특히 동일한 장치의 거리가 비슷한 촬영 지점은 포지셔닝 오차가 같다고 볼 수 있다. 예를 들면 모두 북쪽으로 50미터 옵셋되었다. 그러나 동일한 기기로 촬영한 2개 실경영상으로부터 2개 지리적 위치점의 상대적 위치 관계를 결정할 경우 모두 서쪽으로 옵셋되어 상대적으로 오차가 없다.
또한, 이와 같이 동일한 지리적 위치 쌍을 포함한 2개 이상의 실경 영상을 업로드 하는 단말 장치만 있으면 당해 지리적 위치점 쌍 중 2개 지리적 위치점 공간 관계의 추출을 실현할 수 있으므로 전통적인 기존 기술의 인공적으로 공간 관계를 표시하는 방법에 비하여 범위가 더 코고 효율이 더 높다.
단계 414에서 4튜플(
Figure pat00013
，tuple）의 형식을 사용하여 지리적 위치점의 공간관계를 저장 및 유지한다.
본 출원 실시예에 의해 제공된 방법을 통해 지리적 위치점 공간 관계를 추출한 후 <지리적 위치점 1, 지리적 위치점 2, 공간 관계 유형, 공간 관계 값>의 4튜플 형식을 사용하여 공간 관계의 표현이 규범화되고 통일되도록 하며 공간 관계 지식의 시스템화 계산, 추리, 저장이 가능하도록 한다. 예를 들면, R=<S, O, P, A>의 4튜플로 표시할 경우, S와 O는 지리적 위치점의 정보이고, 예를 들면 지리적 위치점의 유일한 ID를 사용하고, P는 는 공간 관계 유형이고, A는 공간 관계 값이다.
상기 실시예에 나타낸 방법을 통해 다음과 같은 적용 정경을 실현할 수 있다:
사용자가 “청화 과학 기술원은 어디에 있습니까?”라는 query（조회）를 입력한다. 데이터 베이스에 <청화 과학 기술원, 청화대학 남동문, 남, 100미터> 라는 지리적 위치점 공간 관계가 있을 경우 이 공간 관계를 통해 “청화 과학 기술원은 청화대학 남동문 남쪽으로 100미터에 있다”는 답을 정확하게 줄 수 있다.
또한, 여러개 관련 지리적 위치점 쌍의 공간 관계에 따라 추리하여 새로운 지리적 위치점 쌍의 공간관계를 얻는다. 예를 들어, <청화 과학 기술원, 청화대학 남동문, 남, 100미터>, <화청가원, 청화 과학 기술원, 남, 200미터>라는 공간 관계가 있을 경우, <화청가원, 청화대학 남동문, 남, 300미터>라는 것을 추리해낼 수 있다. 사용자가 조회(query)로 “화청가원이 어디에 있습니까?”라고 입력할 경우 사용자에게 “화청가원이 청화대학 남동문 남쪽으로 300미터에 있습니다”라는 답을 대답할 수 있다.
이상 본 출원에서 제공되는 방법을 상세히 설명하였고 아래에 실시예4를 결합하여 본 출원에서 제공되는 장치를 상세히 설명한다.
도 6은 본 출원 실시예 4에서 제공되는 장치 구조도이다. 장치는 서버측의 애플리케이션 또는 서버측의 애플리케이션의 플러그인 또는 소프트웨어 개발 키트（Software Development Kit，SDK）등 기능 유닛일 수도 있으며 또는 컴퓨터 시스템에 위치할 수도 있다. 본 발명 실시예는 이에 한정되지 않는다. 도 6에 나타낸 바와 같이, 당해 장치는 지리적 위치점 추출 모듈(00), 공간 관계 생성 모듈(10)을 포함할 수 있다. 또한 인덱스 유지 유닛(20) 및 4튜플 유지 유닛(30)을 포함할 수 있다. 그중 각각의 조성 모듈의 주요 기능은 다음과 같다:
지리적 위치점 추출 모듈(00)은 각각의 단말 장치에 의해 수집된 실경 영상에서 간판을 인식하여 실경 영상에 포함된 지리적 위치점 쌍을 결정하는데 사용된다.
공간 관계 생성 모듈(10)은 동일한 단말 장치에 의해 수집된 동일한 지리적 위치점 쌍을 포함한 2개 이상의 실경 영상을 획득하는데 사용된다; 2개 이상의 실경 영상의 파라미터를 이용하여 동일한 지리적 위치점 쌍의 공간 관계를 결정한다.
구체적으로 상기 지리적 위치점 추출 모듈(00)은 제1 획득 서브 모듈(01), 영상 스크리닝 서브 모듈(02), 문자 인식 서브 모듈(03)을 포함할 수 있으며 제1 클러스터링 서브 모듈(04) 및 제2 클러스터링 서브 모듈(05)을 포함할 수도 있다.
그중 제1 획득 서브 모듈(01), 각각의 단말 장치에 의해 수집된 실경 영상을 획득한다.
각 단말 장치에서 수집하여 보고한 실경 영상은 이미지 라이브러리에 저장될 수 있으며 이미지 라이브러리는 본 출원에서 지리적 위치점 공간 관계를 추출하는 기반이다. 이미지 라이브러리에 저장된 각각의 실경 영상 일부는 촬영 파라미터가 있고, 일부는 촬영 파라미터가 없다. 본 실시예에서 지리적 위치점의 추출 모듈(00), 이용된 실경 영상은 적어도 실경 영상의 포지셔닝 좌표 정보가 있고, 촬영 시간 정보를 더 요구할 수 있다. 공간 관계 생성 모듈(10)에서 획득된 실경 영상은 실경 영상이 촬영 각도 등 정보를 가질 것을 더 요구한다.
영상 스크리닝 서브 모듈(02)은 실경 영상에서 간판을 인식하는데 사용되며 2개 이상의 간판을 포함한 실경 영상을 스크리닝한다.
실경 영상에서 간판을 인식할 경우, 미리 훈련시켜 얻은 간판 인식 모델을 사용할 수 있다. 우선 실경 영상을 영역으로 구분한다. 원인은 일반적으로 실경 영상의 간판은 폐쇄된 영역이므로 실경 영상을 영역 인식 및 구분할 수 있다. 결정된 폐쇄 영역에 간판 판별 모형을 입력하고 간판 판별 모형으로부터 당해 폐쇄 영역이 간판 영역인지 여부를 판단한 결과를 출력한다.
그중 간판 판별 모형은 실제로 분류 모델이다. 미리 실경 영상을 수집하고 이에 간판 영역 및 비간판 영역을 표시하여 플러스, 마이너스 샘플로 한 후 분류 모델을 훈련시켜 당해 간판 판별 모델을 얻는다.
문자 인식 서브 모델(03)은 2개 이상의 간판의 실경 영상에 간판 문자 인식을 실행하여 실경 영상에 포함된 지리적 위치점 쌍을 결정한다.
바람직하게는 제1 클러스터링 서브 모듈(04), 실경 영상 사이의 포지셔닝 거리에 기반하여 영상 스크리닝 서브 모듈(02)에서 스크리닝된 2개 이상의 간판의 실경 영상을 클러스터링 하여 하나 이상의 유사 포지셔닝 클러스터를 얻는다.
제2 클러스터링 서브 모듈(05), 내용 유사성에 기반하여 각각의 유사 포지셔닝 클러스터의 영상을 클러스터링 하여 하나 이상의 유사 내용 클러스터를 얻는다.
영상 사이의 유사성 계산은 예를 들면 Harris Corner（초점 감지 알고리즘），SIFT（Scale-invariant feature transform，척도 불변 특징 변환）알고리즘、SURF（Speeded Up Robust Features，가속 온건 특징）알고리즘 등 영상의 특징을 사용하여 특징 추출을 수행한다. 그 후 계산을 통해 특징 사이의 유사성을 추출하여 영상 사이의 유사성을 결정하고 유사성이 요구를 만족한 것을 한 개 종류로 클러스터링 한다.
경우에 따라 지리적 위치는 시간이 지남에 따라 변화된다. 예를 들면 일부 상점은 새로 문을 열거나 일부 상점은 지점을 변경한다. 획득한 지리적 위치점 정보가 최신 상태인 것을 보장하기 위해 제2 클러스터링 서브 모듈(05)은 각각의 유사 포지셔닝 클러스터의 영상을 촬영 시간에 따라 구분하여 각각의 시간대에 촬영한 영상을 얻는다; 가장 근접한 시간대에 촬영한 영상을 선택한다; 내용 유사성에 기반하여 동일한 유사 포지셔닝 클러스터 중 최근 시간대에 촬영한 영상을 클러스터링 한다.
문자 인식 서브 모듈(03), 각각의 유사 내용 클러스터의 실경 영상에 간판 문자 인식을 실행한다.
구체적으로 문자 인식 서브 모듈(03)은 2개 이상의 간판을 포함하는 실경 영상에 간판 문자 인식을 실행할 경우, 2개 이상의 간판을 포함하는 실경 영상에 간판 판별을 실행하여 간판 영역을 결정한다; 각각의 실경 영상에서 결정된 간판 영역을 식별자 단일화 처리하여 각각의 실경 영상에서 동일한 간판을 가리키는 간판 영역에 동일한 식별자를 사용하도록 한다; 각각의 실경 영상에 포함된 간판 영역 식별자 서열을 결정하고 이중에서 빈발 항목 서열을 획득한다; 빈발 항목 서열 중 각각의 식별자에 대응하는 간판 영역에 문자 인식을 실행한다.
그중 빈발 항목 서열 중 동일한 식별자에 대응하는 간판 영역을 인식하여 여러개 문자 인식 결과를 얻게 될 경우, 문자 인식 서브 모듈(03)은 여러개 문자 인식 결과에서 신뢰도가 가장 높은 것을 선택할 수 있다.
바람직한 실시방식으로, 문자 인식 서브 모듈(03)은 실경 영상에 포함된 지리적 위치점 쌍을 결정할 경우 빈발 항목 서열을 포함한 실경 영상에 대하여 빈발 항목 서열에서 n-1개의 지리적 위치점 쌍을 선택할 수 있다. n-1개의 지리적 위치점 쌍으로 구성된 집합은 당해 빈발 항목 서열 중 전부 식별자에 대응하는 지리적 위치점을 포함하며 각각의 지리적 위치점 쌍이 실경 영상에서 대응하는 간판 거리의 합은 가장 작고, n은 빈발 항목 서열에 포함된 간판 수이다.
인덱스 유지 유닛(20), 각각의 지리적 위치점 쌍을 이용하여 실경 영상을 구축하는 역 인덱스이다.
공간 관계 생성 모듈(10)은 구체적으로 제2 획득 서브 모듈(11) 및 관계 생성 서브 모듈(12)을 포함할 수 있다.
그중 제2 획득 서브 모듈(11)은 역 인덱스를 조회하여 동일한 단말 장치에 의해 수집된 동일한 지리적 위치점 쌍을 포함한 2개 이상의 실경 영상을 획득하는데 사용된다.
관계 생성 서브 모듈(12)은 2개 이상의 실경 영상의 포지셔닝 좌표와 지리적 위치점 쌍의 간판에 대한 촬영 각도를 이용하여 기하학적 관계에 기반한 계산을 실행하여 지리적 위치점 쌍 중 2개 지리적 위치점의 좌표를 얻는다; 2개 지리적 위치점의 좌표에 기반하여 2개 지리적 위치점의 공간 관계를 결정한다.
4튜플 유지 유닛(30)은 4튜플의 형식을 사용하여 2개 지리적 위치점의 공간 관계를 저장하는데 사용된다. 그중 4튜플은 2개 지리적 위치점의 정보, 공간관계 유형 및 공간 관계 값을 포함한다.
그중 공간 관계의 정보는 공간 관계의 유형 및 값을 포함할 수 있다. 공간 관계의 유형에는 주로 동, 남, 서, 북, 남동, 북동, 남서, 북서, 왼쪽, 오른쪽, 위층, 아래층 등과 같은 방향적인 공간관계 유형이 포함된다. 공간 관계 유형의 종류는 인공적으로 미리 정의하고 본 출원 실시예의 방식을 통해 2개 지리적 위치점의 공간 관계 유형이 구체적으로 어느 종류에 속하는지 결정한다. 값에는 거리 값, 층수 값 등이 포함될 수 있다.
본 출원의 실시예에 따르면 본 출원은 전자 기기 및 판독 가능 기록 매체를 제공한다.
도 7에 나타낸 바와 같이, 본 출원 실시예에 따른 지리적 위치 공간 관계를 추출하는 방법의 전자 기기의 블럭도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인용 디지털 비서, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위한 것이다. 전자 기기는 개인용 디지털 처리, 휴대폰, 스마트 폰, 웨어러블 장치 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수도 있다. 여기에 표시된 구성 요소, 이들의 연결 및 관계 및 기능은 단지 예일 뿐이며 여기에서 설명 및/또는 요구되는 본 출원의 구현을 제한하려는 의도가 아니다.
도 7에 나타낸 바와 같이, 당해 전자 기기는 하나 이상의 프로세서(701), 메모리(702) 및 고속 인터페이스 및 저속 인터페이스를 포함하는 다양한 구성요소를 연결하기 위한 인터페이스를 포함한다. 다양한 구성 요소는 서로 다른 버스를 사용하여 서로 연결되며 공통 마더 보드에 설치하거나 필요에 따라 다른 방식으로 설치할 수 있다. 프로세서는 외부 입/출력 장치(예를 들면 인터페이스에 연결된 디스플레이 장치)에 GUI의 그래픽 정보를 표시하기 위해 메모리에 저장된 명령을 포함한 전자 기기에서 실행되는 명령을 처리할 수 있다. 다른 실시예에서, 수요에 따라 여러개 프로세서 및/또는 여러개 버스를 여러개 메모리 함께 사용될 수 있다. 마찬가지로 여러 전자 기기를 연결할 수 있으며 각각의 장치는 몇 가지 필요한 작업을 제공한다 (예를 들면 서버 어레이, 블레이드 서버 그룹 또는 다중 프로세서 시스템). 도 7에서는 프로세서(701)가 예로서 취해진다.
메모리(702)는 본 출원 의해 제공되는 비 일시적 컴퓨터 판독 가능 기록 매체이다. 여기서, 상기 메모리는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령을 저장하고, 적어도 하나의 프로세서는 본 출원에서 제공되는 지리적 위치점의 공간적 관계를 추출하는 방법을 실행한다. 본 출원의 비 일시적 컴퓨터 판독 가능 기록 매체는 컴퓨터 명령을 저장하고, 당해 컴퓨터 명령은 컴퓨터가 본 출원이 제공하는 지리적 위치점 공간 관계를 추출하는 방법을 실행하도록 하는데 사용된다.
메모리(702)는 비 일시적 컴퓨터 판독 가능 기록 매체로서 본 출원 실시 예의 지리적 위치점 공간 관계 추출 방법에 대응하는 명령/모듈 등 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터 실행 가능 프로그램 및 모듈을 저장하는데 사용될 수 있다. 프로세서(701)는 메모리(702)에 저장된 비 일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능적 애플리케이션 및 데이터 처리를 실행한다. 즉, 전술한 방법 실시예의 지리적 위치점 공간 관계를 추출하는 방법을 구현한다.
메모리(702)는 저장 프로그램 영역 및 저장 데이터 영역을 포함할 수 있으며, 여기서 저장 프로그램 영역은 운영 체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있으며, 저장 데이터 영역은 당해 전자 기기의 사용 기반으로 생성된 데이터를 저장할 수 있다. 또한, 메모리(702)는 고속 랜덤 액세스 메모리를 포함할 수 있으며, 적어도 하나의 자기 디스크 저장 장치, 플래시 메모리 장치 또는 기타 비 일시적 솔리드 스테이트 스토리지와 같은 비 일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(702)는 프로세서(701)에 대해 원격으로 설치된 메모리를 선택적으로 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 전자 기기에 연결될 수 있다. 상기 네트워크의 예는 인터넷, 기업 인트라넷, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하지만 이에 제한되지 않는다.
당해 전자 기기는 또한 입력 장치(703) 및 출력 장치(704)를 포함할 수 있다. 프로세서(701), 메모리(702), 입력 장치(703) 및 출력 장치(704)는 버스 또는 다른 방식으로 연결될 수 있다. 도 7에서는 버스에 의한 연결이 예로서 취해진다.
입력 장치(703)는 입력된 디지털 또는 문자 정보를 수신하고, 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 표시 스틱, 하나 이상의 마우스 버튼, 트랙볼, 조이스틱과 같은 당해 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있다. 출력 장치(704)는 디스플레이 장치, 보조 조명 장치(예를 들면 LED), 촉각 피드백 장치(예를 들면 진동 모터) 등을 포함할 수 있다. 당해 디스플레이 장치는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 제한되지 않는다. 일부 실시예에서 디스플레이 장치는 터치 스크린일 수 있다.
본 명세서에 설명된 시스템 및 기술의 다양한 구현은 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 구현될 수 있다. 이러한 다양한 실시예는 다음을 포함할 수 있다: 하나 이상의 컴퓨터 프로그램에서 구현되고, 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능한 프로세서를 포함하는 프로그램 가능한 시스템에서 실행 및/또는 해석될 수 있다. 프로그램 가능한 프로세서는 전용 또는 일반일 수 있다. 스토리지 시스템, 하나 이상의 입력 장치 및 하나 이상의 출력 장치로부터 데이터 및 명령을 수신하고 데이터 및 명령을 저장 시스템, 하나 이상의 입력 장치 및 하나 이상의 출력 장치에 송신한다.
이러한 계산 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 프로그램 또는 코드라고도 함)에는 프로그래밍 가능한 프로세서에 대한 기계 명령어가 포함되며 고급 프로세스 및/또는 객체 지향 프로그래밍 언어 및/또는 조립/기계 언어를 사용하여 이러한 계산 프로그램을 실행할 수 있다. 본 명세서에서 사용되는 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"라는 용어는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하는데 사용되는 임의의 컴퓨터 프로그램 제품, 장치 및/또는 장치(예를 들면 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 의미한다. (기계 판독 가능 신호로 기계 명령을 수신하는 기계 판독 가능 매체 포함). 용어 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그래밍 가능 프로세서에 제공하는데 사용되는 모든 신호를 의미한다.
사용자와의 인터랙티브를 제공하기 위해 여기에 설명된 시스템 및 기술은 사용자에게 정보를 표시하는 디스플레이 장치(예: CRT (음극선 관) 또는 LCD (액정 디스플레이) 모니터); 키보드 및 포인팅 장치(예: 마우스 또는 트랙볼)를 갖춘 컴퓨터에서 구현할 수 있다. 사용자는 당해 키보드 및 당해 포인팅 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 다른 유형의 장치는 사용자와의 교호를 제공하는데 사용할 수도 있다; 예를 들어 사용자에게 제공되는 피드백은 모든 형태의 감각 피드백(예: 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)이 될 수 있다. 또한 모든 형식(음향 입력, 음성 입력 또는 촉각 입력 포함)으로 사용자로부터의 입력을 받을 수 있다.
여기에 설명 된 시스템 및 기술은 백엔드 구성 요소를 포함하는 컴퓨팅 시스템(예: 데이터 서버), 또는 미들웨어 구성 요소를 포함하는 컴퓨팅 시스템(예: 응용 프로그램 서버), 또는 프런트엔드 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 사용자가 여기에 설명된 시스템 및 기술의 구현과 인터랙티브할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저가 있는 사용자 컴퓨터), 또는 그러한 배경 구성 요소, 중간 구성 요소 또는 프런트엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 구성 요소는 디지털 데이터 통신(예: 통신 네트워크)의 모든 형태 또는 매체를 통해 서로 연결될 수 있다. 통신 네트워크의 예로는 LAN(Local Area Network), WAN(Wide Area Network) 및 인터넷이 있다.
컴퓨터 시스템은 클라이언트와 서버를 모두 포함할 수 있다. 클라이언트와 서버는 일반적으로 멀리 떨어져 있고 통신망을 통해 인터랙티브한다. 해당 컴퓨터에서 실행되며 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다.
위에 나타낸 다양한 형태의 프로세스가 단계를 재정렬, 추가 또는 삭제하는 데 사용될 수 있음을 이해해야 한다. 예를 들어, 본 출원에서 설명된 단계들은 본 출원에서 설명된 기술 솔루션의 원하는 결과가 달성될 수 있는 한 병렬로, 순차적으로 또는 다른 순서로 실행될 수 있으며, 이는 여기에 제한되지 않는다.
상기 구체적인 실시방식은 본 출원 보호 범위에 대한 제한을 구성하지 않는다. 당업자는 설계 요건 및 기타 요인에 따라 다양한 수정, 조합, 하위 조합 및 대체가 이루어질 수 있음을 이해해야 한다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 교체 및 개선은 모두 본 출원의 보호 범위에 포함되어야 한다.

Claims (22)

  1. 지리적 위치점들의 공간 관계를 추출하는 방법으로서,
    각각의 단말 장치에 의해 수집된 실경 영상(real view image)에서 간판(signboard)을 인식하여 상기 실경 영상에 포함된 지리적 위치점 쌍을 결정하는 단계；
    동일한 단말 장치에 의해 수집된 동일한 지리적 위치점 쌍을 포함하는 2개 이상의 실경 영상을 획득하는 단계；및
    상기 2개 이상의 실경 영상의 촬영 파라미터를 이용하여 상기 동일한 지리적 위치점 쌍의 공간 관계를 결정하는 단계
    를 포함하는 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 방법.
  2. 제1항에 있어서,
    상기 각각의 단말 장치에 의해 수집된 실경 영상에서 간판을 인식하여 실경 영상에 포함된 지리적 위치점 쌍을 결정하는 단계는:
    각각의 단말 장치에 의해 수집된 실경 영상을 획득하는 단계；
    상기 실경 영상에서 간판을 판별하여 2개 이상의 간판을 포함하는 실경 영상을 스크리닝 하는 단계；및
    2개 이상의 간판을 포함하는 실경 영상에서 간판 문자를 인식하여 실경 영상에 포함된 지리적 위치점 쌍을 결정하는 단계
    를 포함하는 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 방법.
  3. 제2항에 있어서,
    상기 2개 이상의 간판을 포함하는 실경 영상에서 간판 문자를 인식하는 단계의 전에,
    실경 영상 사이의 포지셔닝 거리에 기반하여， 상기 스크리닝 된 상기 2개 이상의 간판을 포함하는 실경 영상을 클러스터링 하여 하나 이상의 유사 포지셔닝 클러스터를 얻는 단계；
    추가로 내용 유사성에 기반하여 각각의 유사 포지셔닝 클러스터의 영상을 클러스터링 하여 하나 이상의 유사 내용 클러스터를 얻는 단계；및
    각각의 유사 내용 클러스터의 실경 영상에서 상기 간판 문자를 인식하는 단계
    를 더 포함하는 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 방법.
  4. 제3항에 있어서,
    상기 각각의 유사 포지셔닝 클러스터의 영상을 추가로 내용 유사성에 기반하여 클러스터링 하는 단계는:
    각각의 유사 포지셔닝 클러스터의 영상을 촬영 시간에 따라 구분하여 각각의 시간대 촬영 영상을 얻는 단계；
    가장 근접한 시간대에 촬영된 영상을 선택하는 단계；및
    동일한 유사 포지셔닝 클러스터의 가장 근접한 시간대에 촬영된 영상을 내용 유사성에 기반하여 클러스터링 하는 단계
    를 포함하는 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 방법.
  5. 제2항에 있어서,
    상기 2개 이상의 간판을 포함하는 실경 영상에서 간판 문자를 인식하는 단계는:
    상기 2개 이상의 간판을 포함하는 실경 영상에서 간판을 판별하여 간판 영역을 결정하는 단계；
    각각의 실경 영상에서 결정된 간판 영역을 식별자 단일화 처리하여 각각의 실경 영상의 동일한 간판을 나타내는 간판 영역에 동일한 식별자를 사용하도록 하는 단계；
    각각의 실경 영상을 포함하는 간판 영역 식별자 서열을 결정하고 그중에서 빈발 항목(frequent itemsets) 서열을 획득하는 단계；및
    상기 빈발 항목 서열의 각각의 식별자에 대응하는 간판 영역을 문자 인식하는 단계
    를 포함하는 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 방법.
  6. 제5항에 있어서,
    상기 빈발 항목 서열의 각각의 식별자에 대응하는 간판 영역을 문자 인식하는 단계는:
    상기 빈발 항목 서열의 동일한 식별자에 대응하는 간판 영역을 인식하여 다수의 문자 인식 결과를 얻게 될 경우, 상기 다수의 문자 인식 결과에서 신뢰도가 가장 높은 것을 선택하는 단계
    를 포함하는 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 방법.
  7. 제5항에 있어서,
    상기 실경 영상에 포함된 지리적 위치점 쌍을 결정하는 단계는:
    상기 빈발 항목 서열을 포함하는 실경 영상에 대하여，상기 빈발 항목 서열에서 n-1개 지리적 위치점 쌍을 선택하는 단계를 포함하고,
    상기 n-1개 지리적 위치점 쌍으로 구성된 집합은 상기 빈발 항목 서열의 전부 식별자에 대응하는 지리적 위치점을 포함하며, 각각의 지리적 위치점 쌍이 실경 영상에서 대응하는 간판 거리의 합이 가장 작으며, 상기 n은 상기 빈발 항목 서열에 포함된 간판 수인
    것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 방법.
  8. 제1항에 있어서,
    상기 실경 영상에 포함된 지리적 위치점 쌍을 결정한 단계의 뒤에,
    각각의 지리적 위치점 쌍을 이용하여 실경 영상의 역 인덱스(inverted index)를 구축하는 단계；및
    상기 역 인덱스를 조회하여 상기 동일한 단말 장치에 의해 수집된 동일한 지리적 위치점 쌍을 포함하는 2개 이상의 실경 영상을 획득하는 것을 실행하도록 하는 단계
    를 더 포함하는 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 방법.
  9. 제1항에 있어서,
    상기 2개 이상의 실경 영상의 촬영 파라미터를 이용하여 상기 동일한 지리적 위치점 쌍의 공간 관계를 결정하는 단계는:
    상기 2개 이상의 실경 영상의 포지셔닝 좌표와 상기 지리적 위치점 쌍의 간판에 대한 촬영 각도를 이용하여, 기하학적 관계에 기반한 계산을 실행하여 상기 지리적 위치점 쌍의 2개 지리적 위치점의 좌표를 얻는 단계；및
    2개 지리적 위치점의 좌표에 기반하여 상기 2개 지리적 위치점의 공간 관계를 결정하는 단계
    를 포함하는 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 기재된 방법에 있어서,
    4튜플의 형식을 사용하여 상기 지리적 위치점 쌍의 2개의 지리적 위치점의 공간 관계를 저장하는 단계를 더 포함하며,
    상기 4튜플은 상기 2개 지리적 위치점의 정보, 공간 관계의 유형 및 공간 관계의 값을 포함하는
    것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 방법.
  11. 지리적 위치점들의 공간 관계를 추출하는 장치로서,
    각각의 단말 장치에 의해 수집된 실경 영상에서 간판을 인식하여 상기 실경 영상에 포함된 지리적 위치점 쌍을 결정하기 위한 지리적 위치점 추출 모듈；및
    동일한 단말 장치에 의해 수집된 동일한 지리적 위치점 쌍을 포함하는 2개 이상의 실경 영상을 획득하고, 상기 2개 이상의 실경 영상의 촬영 파라미터를 이용하여 상기 동일한 지리적 위치점 쌍의 공간 관계를 결정하기 위한 공간 관계 생성 모듈
    을 포함하는 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 장치.
  12. 제11항에 있어서,
    상기 지리적 위치점 추출 모듈은:
    각각의 단말 장치에 의해 수집된 실경 영상을 획득하기 위한 제1 획득 서브 모듈；
    상기 실경 영상에서 간판을 판별하여 2개 이상의 간판을 포함하는 실경 영상을 스크리닝 하기 위한 영상 스크리닝 서브 모듈；및
    2개 이상의 간판을 포함하는 실경 영상에서 간판 문자를 인식하여 실경 영상에 포함된 지리적 위치점 쌍을 결정하기 위한 문자 인식 서브 모듈
    을 포함하는 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 장치.
  13. 제12항에 있어서,
    상기 지리적 위치점 추출 모듈은:
    실경 영상 사이의 포지셔닝 거리에 기반하여 상기 영상 스크리닝 서브 모듈에서 스크리닝 된 상기 2개 이상의 간판을 포함하는 실경 영상을 클러스터링 하여 하나 이상의 유사 포지셔닝 클러스터를 얻기 위한 제1 클러스터링 서브 모듈；
    각각의 유사 포지셔닝 클러스터의 영상에 대하여 추가로 내용 유사성 클러스터링에 기반하여 하나 이상의 유사 내용 클러스터를 얻기 위한 제2 클러스터링 서브 모듈；및
    각각의 유사 내용 클러스터의 실경 영상에서 상기 간판 문자를 인식 하기 위한 상기 문자 인식 서브 모듈
    을 더 포함하는 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 장치.
  14. 제13항에 있어서,
    상기 제2 클러스터링 서브 모듈은 구체적으로 각각의 유사 포지셔닝 클러스터의 영상을 촬영 시간에 따라 구분하여 각각의 시간대 촬영한 영상을 얻고, 가장 근접한 시간대에 촬영한 영상을 선택하고, 동일한 유사 포지셔닝 클러스터의 가장 근접한 시간대에 촬영한 영상을 내용 유사성에 기반하여 클러스터링 하는데 사용되는
    것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 장치.
  15. 제12항에 있어서,
    상기 문자 인식 서브 모듈은 2개 이상의 간판을 포함하는 실경 영상에서 간판 문자를 인식할 경우 구체적으로：
    상기 2개 이상의 간판을 포함하는 실경 영상에서 간판을 판별하여 간판 영역을 결정하고；
    각각의 실경 영상에서 결정된 간판 영역을 식별자 단일화 처리하여 각각의 실경 영상의 동일한 간판을 나타내는 간판 영역에 동일한 식별자를 사용하도록 하고；
    각각의 실경 영상에 포함된 간판 영역 식별자 서열을 결정하고 그중에서 빈발 항목 서열을 획득하고；
    상기 빈발 항목 서열에서 각각의 식별자에 대응하는 간판 영역을 문자 인식 하는 것에 이용되는,
    지리적 위치점들의 공간 관계 추출 장치.
  16. 제15항에 있어서,
    상기 문자 인식 서브 모듈이 실경 영상에 포함된 지리적 위치점 쌍을 결정할 경우, 구체적으로
    상기 빈발 항목 서열을 포함한 실경 영상에 대하여 상기 빈발 항목 서열에서 n-1개의 지리적 위치점 쌍을 선택하되 ，상기 n-1개 지리적 위치점 쌍으로 구성된 집합은 당해 빈발 항목 서열 중 전부 식별자에 대응하는 지리적 위치점을 포함하며, 각각의 지리적 위치점 쌍이 실경 영상에서 대응하는 간판 거리의 합이 가장 작고, 상기 n은 상기 빈발 항목 서열에 포함된 간판 수
    인 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 장치.
  17. 제11항에 있어서,
    각각의 지리적 위치점 쌍을 이용하여 실경 영상의 역 인덱스를 구축하기 위한 인덱스 유지 유닛을 더 포함하며,
    상기 공간 관계 생성 모듈은:
    상기 역 인덱스를 조회하여 동일한 단말 장치에 의해 수집된 동일한 지리적 위치점 쌍을 포함하는 2개 이상의 실경 영상을 획득하도록 하기 위한 제2 획득 서브 모듈
    을 포함하는 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 장치.
  18. 제11항에 있어서,
    상기 공간 관계 생성 모듈은
    상기 2개 이상의 실경 영상의 포지셔닝 좌표와 상기 지리적 위치점 쌍의 간판에 대한 촬영 각도를 이용하여 기하학적 관계에 기반한 계산을 실행하여 상기 지리적 위치점 쌍의 2개 지리적 위치점의 좌표를 얻고, 2개 지리적 위치점의 좌표에 기반하여 상기 2개 지리적 위치점의 공간 관계를 결정하기 위한 관계 생성 서브 모듈
    을 포함하는 것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 장치.
  19. 제11항 내지 제18항중 어느 한 항에 있어서,
    4튜플의 형식을 사용하여 상기 지리적 위치점 쌍의 2개 지리적 위치점의 공간 관계를 저장하는 4튜플 유지 유닛을 더 포함하며；
    상기 4튜플은 상기 2개 지리적 위치점의 정보, 공간 관계의 유형 및 공간 관계의 값을 포함하는
    것을 특징으로 하는,
    지리적 위치점들의 공간 관계 추출 장치.
  20. 적어도 하나의 프로세서 ；및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하며；
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행가능한 명령이 저장되어 있으며, 상기 명령은 상기 적어도 하나의 프로세서로 하여금 상기 제1항 내지 제10항중 어느 한 항의 방법을 실행하도록 하는 것
    을 특징으로 하는,
    전자 기기.
  21. 컴퓨터 명령이 기억되어 있는 비 일시적 컴퓨터 판독 가능 기록매체에 있어서,
    상기 컴퓨터 명령은 상기 컴퓨터로 하여금 제1항 내지 제10항 중 어느 한 항에 기재된 방법을 수행하도록 하는 것을 특징으로 하는,
    기록매체.
  22. 비 일시적 컴퓨터 판독 가능 기록매체에 기억되어 있는 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 상기 컴퓨터로 하여금 제1항 내지 제10항 중 어느 한 항에 기재된 방법을 수행하도록 하는 것을 특징으로 하는,
    프로그램.
KR1020210039192A 2020-08-26 2021-03-25 지리적 위치점들의 공간 관계를 추출하는 방법 및 장치 KR102565798B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010872307.6A CN112000901B (zh) 2020-08-26 2020-08-26 一种提取地理位置点空间关系的方法和装置
CN2020108723076 2020-08-26

Publications (2)

Publication Number Publication Date
KR20220027000A true KR20220027000A (ko) 2022-03-07
KR102565798B1 KR102565798B1 (ko) 2023-08-09

Family

ID=73470988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210039192A KR102565798B1 (ko) 2020-08-26 2021-03-25 지리적 위치점들의 공간 관계를 추출하는 방법 및 장치

Country Status (5)

Country Link
US (1) US11615613B2 (ko)
EP (1) EP3961422A1 (ko)
JP (1) JP7298090B2 (ko)
KR (1) KR102565798B1 (ko)
CN (1) CN112000901B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115982752B (zh) * 2022-11-25 2023-08-04 哈尔滨理工大学 一种基于近似语义查询的k支配隐私保护方法
CN116612421B (zh) * 2023-07-20 2023-09-29 山东高速股份有限公司 一种融合多源空间数据的建成环境识别方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160010278A (ko) * 2014-07-17 2016-01-27 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 관심 지점을 표시하기 위한 방법 및 장치
KR20170132414A (ko) * 2016-05-24 2017-12-04 네이버 주식회사 지역 사진 및 거리뷰의 간판 이미지를 활용한 지역 정보 검출 및 보정 방법 및 시스템
KR20180055158A (ko) * 2016-11-16 2018-05-25 홍익대학교 산학협력단 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3546553B2 (ja) 1995-07-28 2004-07-28 富士ゼロックス株式会社 文書画像解析装置
JP2001331803A (ja) 2000-05-19 2001-11-30 Akira Kurematsu 画像中の文字領域抽出方法
JP4153761B2 (ja) * 2002-09-19 2008-09-24 成典 田中 ３次元モデル空間生成装置、３次元モデル空間生成方法、及び３次元モデル空間生成プログラム
US7809192B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
JP4507991B2 (ja) 2005-06-09 2010-07-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP4977339B2 (ja) * 2005-07-11 2012-07-18 株式会社トプコン 地理データ収集装置
JP2007150681A (ja) 2005-11-28 2007-06-14 Univ Waseda 位置特定システム及び位置特定方法
US9459113B2 (en) * 2008-11-21 2016-10-04 GM Global Technology Operations LLC Visual guidance for vehicle navigation system
JP2013145176A (ja) 2012-01-13 2013-07-25 Toshiba Corp 道案内システム
US9613455B1 (en) * 2014-11-02 2017-04-04 Google Inc. Local georeferenced data
JP2018013847A (ja) 2016-07-19 2018-01-25 株式会社リコー 端末装置、運転補助方法及び運転補助プログラム
US10209081B2 (en) 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
JP6694112B2 (ja) * 2017-03-17 2020-05-13 マクセル株式会社 Ａｒ表示装置及びａｒ表示方法
US10628959B2 (en) * 2017-05-03 2020-04-21 International Business Machines Corporation Location determination using street view images
JP6886079B2 (ja) * 2017-09-26 2021-06-16 日立Astemo株式会社 交通標識認識を用いたカメラキャリブレーションシステム、方法、および、コンピュータ可読媒体
CN108897824A (zh) * 2018-06-21 2018-11-27 百度在线网络技术（北京）有限公司 兴趣点空间拓扑关系构建方法、装置及存储介质
CN109543680B (zh) * 2018-11-19 2021-03-12 百度在线网络技术（北京）有限公司 兴趣点的位置确定方法、装置设备和介质
CN111583118B (zh) * 2020-05-13 2023-09-29 创新奇智(北京)科技有限公司 图像拼接方法、装置、存储介质及电子设备
US20220245860A1 (en) * 2021-02-02 2022-08-04 Inait Sa Annotation of two-dimensional images
US11290658B1 (en) * 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160010278A (ko) * 2014-07-17 2016-01-27 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 관심 지점을 표시하기 위한 방법 및 장치
KR20170132414A (ko) * 2016-05-24 2017-12-04 네이버 주식회사 지역 사진 및 거리뷰의 간판 이미지를 활용한 지역 정보 검출 및 보정 방법 및 시스템
KR20180055158A (ko) * 2016-11-16 2018-05-25 홍익대학교 산학협력단 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버

Also Published As

Publication number Publication date
KR102565798B1 (ko) 2023-08-09
US11615613B2 (en) 2023-03-28
CN112000901B (zh) 2023-01-13
CN112000901A (zh) 2020-11-27
EP3961422A1 (en) 2022-03-02
JP2022040063A (ja) 2022-03-10
JP7298090B2 (ja) 2023-06-27
US20220067372A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
CN110726418B (zh) 兴趣点区域确定方法、装置、设备及存储介质
CN111709339B (zh) 一种票据图像识别方法、装置、设备及存储介质
JP6397144B2 (ja) 画像からの事業発見
US20210224821A1 (en) Land usage property identification method, apparatus, electronic device and storage medium
CN111598164B (zh) 识别目标对象的属性的方法、装置、电子设备和存储介质
JP2022023770A (ja) 文字の認識方法及び装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
Zhang et al. Discovering place-informative scenes and objects using social media photos
US20210264195A1 (en) Technologies for enabling analytics of computing events based on augmented canonicalization of classified images
EP3387559A1 (en) Systems and methods for identifying entities directly from imagery
CN104484814B (zh) 一种基于视频地图的广告方法及系统
WO2023065731A1 (zh) 目标地图模型的训练方法、定位方法及相关装置
KR102565798B1 (ko) 지리적 위치점들의 공간 관계를 추출하는 방법 및 장치
CN110516707B (zh) 一种图像标注方法及其装置、存储介质
US11423650B2 (en) Visual positioning method and apparatus, and computer-readable storage medium
JP7242994B2 (ja) ビデオイベント識別方法、装置、電子デバイス及び記憶媒体
US20230041943A1 (en) Method for automatically producing map data, and related apparatus
CN109902681B (zh) 用户群体关系确定方法、装置、设备及存储介质
Raychoudhury et al. Crowd-pan-360: Crowdsourcing based context-aware panoramic map generation for smartphone users
KR20210106395A (ko) 건축물 추출 방법, 장치, 기기 및 저장 매체
KR20210146770A (ko) 실내 측위 방법, 장치, 장비 및 저장 매체
CN111832579A (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
CN116758321A (zh) 图像分类方法、装置和存储介质
CN111241225A (zh) 常驻区域变更的判断方法、装置、设备及存储介质
CN112269925B (zh) 一种获取地理位置点信息的方法和装置
CN111797856A (zh) 建模方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant