KR20230065731A - 3차원 시설물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치 - Google Patents

3차원 시설물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치 Download PDF

Info

Publication number
KR20230065731A
KR20230065731A KR1020210151604A KR20210151604A KR20230065731A KR 20230065731 A KR20230065731 A KR 20230065731A KR 1020210151604 A KR1020210151604 A KR 1020210151604A KR 20210151604 A KR20210151604 A KR 20210151604A KR 20230065731 A KR20230065731 A KR 20230065731A
Authority
KR
South Korea
Prior art keywords
facility
location information
information
tile map
facilities
Prior art date
Application number
KR1020210151604A
Other languages
English (en)
Inventor
김재학
이대희
Original Assignee
주식회사 지오스토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지오스토리 filed Critical 주식회사 지오스토리
Priority to KR1020210151604A priority Critical patent/KR20230065731A/ko
Publication of KR20230065731A publication Critical patent/KR20230065731A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3859—Differential updating map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G01C21/3881—Tile-based structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps

Abstract

본 발명은 3차원 시설물 위치 정보를 업데이트하는 방법에 관한 것으로서, 상기 3차원 시설물 정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신하는 단계, 상기 이미지 촬영 노선의 이미지를 일정 주기로 수신하는 단계, 상기 수신된 이미지에 포함된 관심 시설물을 분류하고, 상기 분류된 관심 시설물간의 이미지 좌표를 이용하여, 상기 관심 시설물의 시퀀스 정보를 추출하는 단계, 상기 이미지에서 추출된 관심 시설물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 시설물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 추출하는 단계, 상기 추출된 2차원 타일맵의 서브 그룹에 포함된 시설물의 평면좌표값 및 높이값 이용하여 상기 수신된 카메라의 평면 좌표와 높이값을 결정하는 단계, 및 상기 수신된 이미지의 위치정보의 변화가 발생한 변경 시설물 또는 신규 시설물의 3차원 위치정보 및 속성정보를 저장하여 상기 변경 시설물 또는 신규 시설물 위치 정보를 업데이트하는 단계를 포함하고, 상기 변경 시설물 또는 신규 시설물 위치 정보를 업데이트하는 단계는, 상기 연속하여 수신된 이미지의 상대적 회전각의 변화량을 상기 연속하여 수신된 이미지에서 분류된 검증 시설물의 옵티컬 플로우 정보로 계산하는 단계, 상기 연속하여 수신된 이미지간의 상대적 회전각 변화량 및 상기 카메라 평면 좌표 이동량을 이용하여 상기 검증 시설물의 3차원 위치정보를 계산하는 단계, 및 상기 검증 시설물에 대하여 계산된 위치정보와 상기 추출된 2차원 타일맵의 서브그룹에 포함된 검증 시설물의 3차원 위치정보의 거리차가 일정 수준 이하인 경우, 상기 변경 시설물 또는 신규 시설물의 3차원 위치정보를 상기 2차원 타일맵에 업데이트하는 단계를 포함하고, 도로 시설물 관리를 크라우드소싱 방법으로 업데이트하고, 스마트 시티내에서 카메라와 통신 기능을 가진 모바일 장치를 이용하여 시설물 정보의 업데이트가 가능하므로 실시간으로 효율적인 시설물 정보 관리가 가능하다.

Description

3차원 시설물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치{Method of updating 3D facility location information and apparatus thereof}
본 발명은 3차원 시설물 위치 정보를 업데이트하는 방법에 관한 것으로서, 더욱 상세하게는 모바일 장치의 정밀 위치 및 주변 시설물의 3차원 위치정보를 실시간으로 추출할 수 있는 3차원 시설물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치에 관한 것이다.
도로 및 시설물을 재촬영하여 3D 맵을 업데이트를 하는 경우 많은 시간과 비용이 소요되므로, 기존 3D Map 정보를 이용하되 관심대상의 변화만을 감지하여 3D 맵을 업데이트할 수 있는 기술이 필요하다. 이때, 업데이트하는 3D 맵의 정확도를 높이기 위해서는 도로 및 시설물을 촬영하는 모바일 장치의 위치정확도를 높일 필요가 있다. 기존에는 고가의 정밀 위치 결정 모듈을 이용하거나 다음과 같은 선행기술에서와 같이 특정 위치 컨텍스트 식별자 (location context identifier) 또는 과속방지턱을 감지하는 G 센서를 이용하여 모바일 장치의 위치를 결정하고 있다.
선행기술 1(한국공개특허 KR 10-2012-0117896 A)는 로컬화된 환경들과 연계된 위치 기반 서비스들을 위한 맵 핸들링에 관한 특허로서, 특정 위치 컨텍스트 식별자 (location context identifier)와 연관된 특정 로컬화된 환경 (localized environment) 에 대응하는 맵 정보를 저장한다. 선행기술 1은 모바일 디바이스의 위치를 결정하기 위하여 특정 위치 컨텍스트 식별자를 구비하고 있다.
선행기술 2(한국공개특허 KR 10-2019-0061135 A)는 주행 차량의 위치 추정 장치 및 그 방법에 관한 특허로서, 차량의 주행 중 과속방지턱을 감지하는 G 센서를 구비하고, G 센서로부터 입력된 감지정보로부터 과속방지턱이 감지되면 추정된 차량의 위치를 기반으로 지도 데이터부로부터 차량 주변의 지도정보를 추출하여 과속방지턱의 위치를 결정하고, 추정된 차량의 위치와 과속방지턱의 위치를 매칭하여 차량의 위치를 보정하고 있다.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 2D 타일맵에 포함된 주요 시설물의 2D 평면좌표 및 높이값을 활용하여, 모바일 장치의 정밀 위치 및 주변 시설물의 3차원 위치정보를 실시간으로 추출할 수 있는 3차원 시설물 위치 정보를 업데이트하는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 도로 시설물 관리를 크라우드소싱 방법으로 업데이트하고, 스마트 시티내에서 카메라와 통신 기능을 가진 모바일 장치를 이용하여 시설물 정보의 업데이트가 가능하므로 실시간으로 효율적인 시설물 정보 관리가 가능한 3차원 시설물 위치 정보를 업데이트하는 장치를 제공하는 것이다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 3차원 시설물 위치 정보를 업데이트하는 방법으로서, 상기 3차원 시설물 정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신하는 단계; 상기 이미지 촬영 노선의 이미지를 일정 주기로 수신하는 단계; 상기 수신된 이미지에 포함된 관심 시설물을 분류하고, 상기 분류된 관심 시설물간의 이미지 좌표를 이용하여, 상기 관심 시설물의 시퀀스 정보를 추출하는 단계; 상기 이미지에서 추출된 관심 시설물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 시설물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 추출하는 단계; 상기 추출된 2차원 타일맵의 서브 그룹에 포함된 시설물의 평면좌표값 및 높이값 이용하여 상기 수신된 카메라의 평면 좌표와 높이값을 결정하는 단계; 및 상기 수신된 이미지의 위치정보의 변화가 발생한 변경 시설물 또는 신규 시설물의 3차원 위치정보 및 속성정보를 저장하여 상기 변경 시설물 또는 신규 시설물 위치 정보를 업데이트하는 단계를 포함하고, 상기 변경 시설물 또는 신규 시설물 위치 정보를 업데이트하는 단계는, 상기 연속하여 수신된 이미지의 상대적 회전각의 변화량을 상기 연속하여 수신된 이미지에서 분류된 검증 시설물의 옵티컬 플로우 정보로 계산하는 단계; 상기 연속하여 수신된 이미지간의 상대적 회전각 변화량 및 상기 카메라 평면 좌표 이동량을 이용하여 상기 검증 시설물의 3차원 위치정보를 계산하는 단계; 및 상기 검증 시설물에 대하여 계산된 위치정보와 상기 추출된 2차원 타일맵의 서브그룹에 포함된 검증 시설물의 3차원 위치정보의 거리차가 일정 수준 이하인 경우, 상기 변경 시설물 또는 신규 시설물의 3차원 위치정보를 상기 2차원 타일맵에 업데이트하는 단계를 포함하는 3차원 시설물 위치 정보를 업데이트하는 방법을 제공한다.
본 발명의 일 실시 예에 의하면, 상기 연속하여 수신된 적어도 둘 이상의 이미지의 z축 회전량이 일정 수준 이하이고, 상기 연속하여 수신된 이미지의 카메라 평면좌표 이동량이 존재할 때, 상기 변경 시설물 또는 신규 시설물 위치 정보를 실시간으로 업데이트할 수 있다.
또한, 상기 카메라 평면 좌표 및 높이값을 계산할 때, 상기 추출된 2차원 타일맵의 서브 그룹에 포함된 일정 수준 이상의 높이값을 갖는 상기 시설물의 최상단의 평면 좌표 및 높이 정보를 이용하여 상기 수신된 이미지의 카메라 평면 좌표 및 높이값을 계산할 수 있다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 3차원 시설물의 위치정보를 업데이트하는 장치로서, 상기 3차원 시설물 위치정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신하는 타일맵 수신부; 상기 이미지 촬영 노선의 이미지를 일정 주기로 수신하는 이미지 수신부; 상기 수신된 이미지에 포함된 관심 시설물을 분류하고, 상기 분류된 관심 시설물간의 이미지 좌표를 이용하여, 상기 관심 시설물의 시퀀스 정보를 추출하는 시퀀스 추출부; 상기 이미지에서 추출된 관심 시설물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 시설물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 추출하는 서브그룹 추출부; 상기 추출된 2차원 타일맵의 서브 그룹에 포함된 시설물의 평면좌표값 및 높이값 이용하여 상기 수신된 카메라의 평면 좌표와 높이값을 결정하는 위치 산출부; 및 상기 연속하여 수신된 이미지의 상대적 회전각의 변화량을 상기 연속하여 수신된 이미지에서 분류된 검증 시설물의 옵티컬 플로우 정보로 계산하는 회전각 계산부; 상기 연속하여 수신된 이미지간의 상대적 회전각 변화량 및 상기 카메라 평면 좌표 이동량을 이용하여 상기 검증 시설물의 3차원 위치정보를 계산하는 시설물 위치계산부; 및 상기 검증 시설물에 대하여 상기 계산된 위치정보와 상기 추출된 2차원 타일맵의 서브그룹에 포함된 검증 시설물의 3차원 위치정보의 거리차가 일정 수준 이하인 경우, 위치 변화가 발생한 변경 시설물 또는 신규 시설물의 3차원 위치정보를 상기 2차원 타일맵에 업데이트하는 타일맵 정보 업데이트부를 포함하는 3차원 시설물 위치 정보를 업데이트하는 장치를 제공한다.
본 발명의 일 실시 예에 의하면, 상기 연속하여 수신된 적어도 둘 이상의 이미지의 z축 회전량이 일정 수준 이하이고, 상기 연속하여 수신된 이미지의 카메라 평면좌표 이동량이 존재할 때, 상기 변경 시설물 또는 신규 시설물 위치 정보를 실시간으로 업데이트할 수 있다.
또한, 상기 카메라 평면 좌표 및 높이값을 계산할 때, 상기 추출된 2차원 타일맵의 서브 그룹에 포함된 일정 수준 이상의 높이값을 갖는 상기 시설물의 최상단의 평면 좌표 및 높이 정보를 이용하여 상기 수신된 이미지의 카메라 평면 좌표 및 높이값을 계산할 수 있다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 3차원 시설물 위치 정보를 업데이트하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 따르면, 모바일 장치는 2D 타일맵에 포함된 주요 시설물의 2D 평면좌표 및 높이값을 활용하여, 모바일 장치의 정밀 위치 및 주변 시설물의 3차원 위치정보를 실시간으로 추출할 수 있다.
또한, 본 발명에 따르면, 도로 시설물 관리를 크라우드소싱 방법으로 업데이트하고, 스마트 시티내에서 카메라와 통신 기능을 가진 모바일 장치를 이용하여 시설물 정보의 업데이트가 가능하므로 실시간으로 효율적인 시설물 정보 관리가 가능하다.
나아가, 본 발명에 따르면, 고가의 정밀 위치 결정 모듈이 없더라도, 기존에 실측된 시설물 3D 위치정보 및 카메라 기반의 물체인식 기술, 관심 물체의 옵티컬 플로우 정보를 이용하여, 높은 정확도의 모바일 위치 계산이 가능할 수 있다.
도 1은 본 발명의 일 실시예에 따른 2D 타일맵을 도시한 것이다.
도 2는 2D 타일맵에 포함된 시설물의 시퀀스 정보를 설명하기 위한 도면이다.
도 3은 2D 타일맵의 서브그룹에 포함된 방향각 정보의 개념을 나타내기 위한 도면이다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 3차원 시설물 위치 정보를 업데이트하는 장치와 타일맵 서버를 나타내는 구성도이다.
도 5는 카메라 좌표와 실공간 3차원 좌표의 관계를 나타낸 도면이다.
도 6은 2D 타일맵의 시설물 위치정보를 이용하여 카메라 중심좌표를 결정하는 방법을 설명하기 위한 도면이다.
도 7은 카메라 프레임과 이미지 프레임의 관계를 나타내기 위한 도면이다.
도 8은 신규 시설물 위치 계산을 위한 이미지 프레임과 실공간 프레임의 관계를 나타낸 도면이다.
도 9는 모바일 장치의 진행방향에 대해, 매우 짧은 두장의 영상을 도시한 것이다.
도 10은 본 발명의 바람직한 일 실시 예에 따른 모바일 장치 위치 결정방법의 흐름도이다.
도 11은 본 발명의 바람직한 일 실시 예에 따른 3차원 시설물 위치 정보를 업데이트 방법의 흐름도이다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.
본 발명의 일 실시예에 따르면, 타일맵 서버는 모바일 장치로부터 출발지 및 목적지 정보를 전송받아 모바일 장치가 촬영할 이미지 촬영 경로를 고려하여, 시설물의 정보를 2D 타일맵 형태로 변환하여 모바일 장치에 제공한다.
모바일 장치는 2D 타일맵에 포함된 주요 시설물의 2D 평면좌표 및 높이값을 활용하여, 모바일 장치의 정밀 위치 및 주변 시설물의 3차원 위치정보를 실시간으로 추출할 수 있다. 이 때 촬영한 이미지에서 추출한 시설물간의 시퀀스 정보와 2D 타일맵에 포함된 시설물의 시퀀스 정보를 이용하여 원하는 시설물 정보를 효과적으로 추출할 수 있다.
이하, 바람직한 실시 예를 들어 본 발명을 더욱 상세하게 설명한다. 그러나 이들 실시 예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.
도 1은 본 발명의 일 실시예에 따른 2D 타일맵을 도시한 것이다.
도 1의 2D 타일맵은 지구의 면적을 타일 형태로 나타낸 것이다. 레벨1 은 6144 km * 6144 km 의 면적을 갖도록 선정할 수 있다. 이러한 경우, 레벨 3는 1/4에 해당되는 1536 km * 1536 km 크기를 갖는다.
도심지와 같이 시설물이 밀집한 지역에서는 레벨 13에 해당되는 1.5 km * 1.5 km 나 레벨 14에 해당되는 725 m Ⅹ 725 m 크기를 기본 2D 타일맵 정보로 선정하는 것이 바람직하다.
2D 타일맵 정보에 관심물체 정보로 분류되는 시설물(신호등, 표지판, 맨홀, 주요 건물, 교차로 정보)의 평면 좌표값을 기준으로 높이값, 색깔, 분류 정보 등을 별도의 속성정보로 저장할 수 있다.
본 발명의 일 실시예에 따르면, 상기 2D 타일맵은 시설물 위치정보와 속성정보를 포함하여 모바일 장치의 실시간 정밀 위치 결정에 활용할 수 있다.
2D 타일맵은 시설물의 위치정보(평면 좌표 및 높이값)을 기반으로 시설물의 속성정보(시설물 분류정보, 색깔, 모양, 텍스트 정보 등)이 포함될 수 있다. 또한, 일정 면적을 기준으로 레벨 정보를 가지며, 교차로를 기준으로 2D 타일맵을 서브그룹으로 분류하여 제공하는 것이 바람직하다. 상기 시설물의 위치정보를 이용하면, 연속적인 시설물의 배치정보가 포함된 시설물의 시퀀스 정보를 알 수 있게 된다.
도 2는 2D 타일맵에 포함된 시설물의 시퀀스 정보를 설명하기 위한 도면이다.
도 2를 참조하면, 2D 타일맵의 레벨 13에서 주요 시설물의 정보를 나타내고 있다. 각 시설물은 사거리를 중심으로 반시계 순서로 오른편 둥근 표지판, 사각 신호등1, 사각 신호등 2, 세모 표지판의 정보로 구성되어 있다. 각 시설물을 그룹핑하여 하나의 서브그룹 공간정보로 구분하고, 해당 서브그룹 공간정보에 각 시설물의 높이정보를 포함할 수 있다. 2D 타일맵에 포함되는 정보는 2D 타일맵의 레벨정보와 도로를 따라 형성된 서브그룹 공간정보로 구분하여, 서브그룹 공간정보별로 각 시설물의 2차원 평면좌표와 이에 매칭되는 높이, 색깔, 분류코드, 텍스트 등의 속성정보를 저장할 수 있다. 따라서 모바일 장치의 위치정보 및 진행방향을 알게 되면 2D 타일맵의 서브그룹에서 가장 가깝게 위치하거나 근접한 서브그룹을 추출하고, 서브그룹에 포함된 시설물의 위치정보를 추출할 수 있다. 한편, 상기 서브그룹에는 도로 및 이동경로를 기준으로 방향각 정보가 포함되는 것이 바람직하다.
차량의 GPS 위치 및 WiFi 위치와 50m 이내에 존재하는 일정 거리에 내에 존재하는 서브그룹을 우선 추출하고, 각각의 서브그룹 공간정보와 일련의 시설물 위치 정보를 시퀀스 정보로 추출하여 현재의 이미지 정보에서 추출한 일련의 시설물의 시퀀스 정보와 일치하는 서브그룹 정보를 1차 추출할 수 있다.
예를 들어, 도 2에서는 제한 속도 30m의 둥근 속도제한 표지판이 교차로 전에 배치되어 있고, 신호등1과 신호등2가 교차로의 북쪽에 배치되어 있다. 이러한 각 시설물의 위치에 따른 일련의 시퀀스 정보를 이용하여, 현재 차량의 위치정보를 빠르게 계산할 수 있다.
위치 계산에 사용되는 2D 타일맵 정보는 별도의 레이어(layer)로 구성하여 보다 빠르게 추출이 가능하게 관리할 수 있다. 또한 도로를 촬영한 이미지에서 빠르게 추출하기 위해, 차량에 위치계산에 사용되는 시설물은 일정 높이값을 갖는 시설물로만 구성할 수 있다. 가령 2m 이상의 시설물로만 시설물 정보를 구성한 경우, 이동 차량 및 보행자에 이동에 따른 화면 가림을 최소화할 수 있다. 또한 시설물의 배치 간격을 최소한 30m 이내로 배치될 수 있도록 구성하여 차량의 위치정보 계산의 정확도를 향상시킬 수 있다.
한편, 영상의 원하는 시설물을 분류하고 추출하기 위해, 머신러닝 방법을 이용한 지도학습/비지도학습을 통해 시설물을 추출하여 시설물의 이미지 좌표를 자동 취득할 수 있는 물체 인식 모듈을 사용할 수 있다. 취득한 시설물의 이미지 좌표에 매칭되는 3차원 위치정보가 2D 타일맵에 포함된 경우, 해당 시설물의 위치정보를 이용하여, 현재 모바일 기기의 카메라의 위치정보, 즉 카메라의 중심좌표 계산이 가능하다. 이때 모바일 기기의 위치계산에 사용되는 시설물의 평면위치와 높이값과 카메라의 핀홀모델을 이용하여, 현재 이미지의 카메라 평면위치 및 높이값 계산이 가능하게 된다.
도 3은 2D 타일맵의 서브그룹에 포함된 방향각 정보의 개념을 나타내기 위한 도면이다.
도 3을 참조하면, 도로의 이동경로 또는 모바일 장치의 이동방향이 도시되어 있다. 도로의 이동경로와 모바일 이동방향은 동일한 것으로 가정한다. 정해진 기준방향을 기준으로 이동방향과 이루는 각이 방향각이 될 수 있다.
또한, 촬영된 이미지에서 검증 시설물의 옵티컬 플로우(optical flow) 정보 즉, 동일한 물체에 대해 인접한 이미지에서 상대적으로 움직인 거리와 방향에 대한 정보를 이용하여 연속적으로 촬영된 이미지간의 회전각 변화량을 계산하여, 검증 시설물의 3차원 위치 좌표를 계산할 수 있다.
상기 계산된 검증 시설물의 3차원 위치정보가 일정 수준의 위치정확도를 만족하는 경우, 변경된 시설물 또는 신규 시설물이 추가된 2D 타일맵으로 기존 2D 타일맵을 갱신하여 저장한 다음, 타일맵 서버로 전송하고, 타일맵 서버는 다수의 모바일 장치에서 크라우드소싱 방법으로 전송받은 카메라의 중심좌표(X, Y, 높이값), 2D 타일맵 갱신정보를 활용하여, 데이터 후처리를 통해 시설물의 3차원 위치정보를 취득하여 3D 맵 업데이트가 가능하다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 3차원 시설물 위치 정보를 업데이트하는 장치와 타일맵 서버를 나타내는 구성도이다.
도 4를 참조하면, 본 실시 예에 따른 3차원 시설물 위치 정보를 업데이트하는 모바일 장치(10)와 타일맵 서버(20)가 도시되어 있다.
모바일 장치(10)는 타일맵 수신부(100), 초기 위치정보 생성부(105), 서브그룹 필터링부(110), 서브그룹 1차 결정부(115), 서브그룹 2차 결정부(120), 위치 계산부(125), 위치 갱신부(130), 이미지 수신부(135), 시퀀스 추출부(140), 서브그룹 추출부(145), 위치 산출부(150), 회전각 계산부(155), 시설물 위치 계산부(160), 타일맵 정보 업데이트부(165), 및 송신부(170)로 구성된다.
타일맵 서버(20)는 주행노선 결정부(200), 타일맵 송신부(210), 3D 데이터 후처리부(220), 타일맵 정보 수신부(230), 및 타일맵 갱신부(240)로 구성된다.
본 실시 예에 따른 타일맵 서버(20)는 모바일 장치(10)로부터 출발지 및 목적지 정보를 전송받으면, 예상 이동 경로에 대응하는 2D 타일맵을 모바일 장치(10)로 제공하고, 모바일 장치(10)로부터 수신한 이미지 정보 및 업데이트된 2D 타일맵 정보를 이용하여 데이터 후처리를 진행하는 타일맵 서버(20)와 타일맵 서버(20)에서 수신한 2D 타일맵을 이용하여 실시간으로 모바일 장치(10)의 정밀 위치를 계산하고, 기존 시설물의 위치정보 변화 및 신규 시설물의 위치정보를 추출하는 모바일 장치로 구성된다.
타일맵 수신부(100)는 타일맵 서버(20)로부터 시설물 정보 취득을 위한 주행 노선 정보를 반영한 2D 타일맵을 수신하고, 수신한 2D 타일맵을 서브그룹 필터링부(110)로 전송한다.
초기 위치정보 생성부(105)는 모바일 장치(10)에 포함된 GPS 모듈이나 수신된 WiFi 신호를 이용하거나, 외부에서 계산된 현재 모바일 장치의 위치정보를 이용하여 모바일 장치(10)의 초기 위치정보를 생성할 수 있다. 초기 위치정보 생성부(105)는 모바일 장치(10)의 현재 위치에 상응하는 2D 타일맵의 서브그룹을 추출하는데 기초가 되는 모바일 장치(10)의 현재 위치정보를 생성한다.
서브그룹 필터링부(110)는 모바일 장치(10)의 초기 위치정보 생성부(105)로부터 수신한 초기 위치정보를 반영하여, 주행 노선 상의 일정 거리내에서 존재하는 2D 타일맵의 서브그룹을 추출할 수 있다.
서브그룹 필터링부(110)는 주행 노선에 존재하는 교차로 및 노선의 길이를 반영하여 2D 타일맵 정보를 다시 서브그룹으로 분리하여 저장할 수 있다. 해당 서브그룹은 주요 시설물에 대해 특정 맵좌표계를 반영한 2차원 평면좌표를 기준으로 시설물의 속성정보를 포함한다. 상기 속성정보에는 시설물의 종류, 높이값, 색깔, 텍스트 등의 정보가 포함될 수 있다. 또한 서브그룹마다 도로 방향 또는 이동 가능 경로의 방향각 정보를 포함할 수 있다. 주요 시설물은 주로 특정 경로를 기준으로 배치되어 있다고 가정할 수 있기 때문에 도로 및 이동 가능한 경로의 방향각 정보를 서브그룹의 정보로 저장 가능하다. 또한 서브그룹을 구성하는 시설물간의 위치정보를 반영하여, 시설물간의 시컨스 정보가 저장될 수 있다.
초기 위치정보 생성부(105)가 생성한 모바일 장치(10)의 초기 위치정보는 수 미터의 낮은 위치정확도를 갖으므로, 서브그룹 1차 결정부(115)는 시설물간의 시퀀스 정보를 이용하여 현재 모바일 장치(10)의 위치 계산에 사용될 2D 타일맵의 서브그룹 후보를 추출할 수 있다.
시퀀스 추출부(140)가 자동 분류한 관심 시설물의 상대적인 위치정보의 연속적인 시퀀스 정보를 이용하여, 서브그룹 1차 결정부(115)에서 2D 타일맵의 서브그룹 후보를 결정할 수 있다. 이 때, 현재 이미지에서 분류된 시설물 시퀀스 정보와 수신된 2D 타일맵에 저장된 시설물의 시퀀스 정보가 상이할 수 있으므로, 두 시설물의 시퀀스 정보 비교시, 일정 비율로 시퀀스 정보가 일치하는 경우, 해당 2D 타일맵을 서브그룹 후보로 선정할 수 있다.
시퀀스 추출부(140)는 이미지상에서 관심 시설물을 자동 분류할 수 있도록 지도 학습 또는 비지도 학습을 이용한 이미지 물체인식 모듈을 적용하여 이미지 수신부(135)에서 촬영된 관심 시설물을 자동 분류하여, 상기 관심 시설물의 2차원 좌표를 취득할 수 있다.
서브그룹 2차 결정부(120)는 모바일 장치(10)의 위치정보의 방향각 정보와 서브그룹 1차 결정부(115)에서 수신된 2D 타일맵의 서브그룹 후보의 방향각 정보를 비교하여, 일정 수준을 만족하는 서브그룹을 2차 추출할 수 있다.
모바일 장치의 초기 위치정보의 위치정확도는 매우 낮은 경우에도, 일정 시간마다 추출된 2D 평면좌표의 변화량이 일정한 경우에 계산된 방향각은 고정밀도를 갖는 위치정보의 방향각과 유사하다고 볼 수 있다.
위치 계산부(125)는 방향각 정보를 반영하여 2차 추출된 2D 타일맵 서브그룹의 시설물 3차원 위치정보를 이용하여, 카메라의 초점 위치, 즉 카메라의 중심좌표의 평면좌표와 높이값(X, Y, 높이값)을 계산할 수 있다. 카메라의 평면좌표와 높이값은 모바일 장치의 평면좌표와 높이값에 대응한다.
이 때 필요한 카메라 켈리브레이션 정보는 카메라 내부 정보에 해당되는 카메라 이미지의 픽셀 크기 및 촛점거리, 스큐(skew) 변수값의 정보가 필요하다.
카메라의 내부 켈리브레이션 정보가 존재하는 경우, 주행 노선을 촬영한 이미지에서 물체 인식 모듈을 이용하여 관심 시설물을 자동 분류하고, 해당 시설물의 이미지 좌표를 취득하고, 해당 이미지 좌표에 매칭되는 실제 3차원 위치정보를 2D 타일맵의 서브그룹 정보에서 추출하여, 이미지 프레임과 실공간 프레임의 관계를 카메라 핀홀 모델을 이용하여 카메라의 중심좌표(X, Y, 높이값)를 최소제곱법을 이용하여 계산할 수 있다. 카메라 핀홀 모델은 하나의 바늘구멍(pinhole)을 통해 외부의 상이 이미지로 투영된다는 모델이다. 이 때, 이 바늘구멍(pinhole)이 렌즈 중심에 해당되며 이곳에서 뒷면의 상이 맺히는 곳까지의 거리가 카메라 초점거리이다.
이 때, 관심시설물의 이미지 좌표가 필요하므로, 관심 시설물의 최하단 이미지 좌표보다는 최상단 이미지 좌표의 취득이 더욱 용이하다. 따라서 2D 타일맵의 서브그룹에서 제공하는 높이값은 최상단의 높이값이다. 또한 일정 높이 이상의 높이값을 갖는 시설물은 이미지 좌표 추출이 보다 용이하므로, 모바일 장치 정밀 위치 결정을 위해서 이용되는 시설물의 좌표 및 속성 정보를 별도의 2D 타일맵 레이어로 분류하여, 실시간 모바일 응용프로그램의 계산속도를 향상시킬 수 있다.
위치 갱신부(130)는 위치 계산부(125)와 위치 산출부(150)에서 수신된 모바일 장치의 위치 정보를 이용하여 모바일 장치의 위치 정보를 갱신한다.
위치 갱신부(130)는 위치 계산부(125)와 위치 산출부(150)에서 수신된 모바일 장치의 위치 정보에 대하여 다른 가중치를 부여하여 모바일 장치의 위치 정보를 재계산할 수 있다.
송신부(170)는 위치 갱신부(130)에서 갱신된 모바일 장치의 위치 정보를 타일맵 서버(20)의 3D 데이터 후처리부(220)로 송신한다.
도 5는 카메라 좌표와 실공간 3차원 좌표의 관계를 나타낸 도면이다.
도 5는 카메라 핀홀 모델에서 관심 물체의 평면위치 및 높이값 계산 방법이다. 카메라의 위치정보 계산 수식은 아래의 수학식 1과 같다.
D1''은 관심물체의 최하단까지의 실제 거리이고, D1은 최상단까지의 실제 거리이다. f는 카메라의 초점거리이고, Hc는 카메라의 높이값이다. D1'은 카메라 이동방향에 수직한 선이 관심물체에서 상기 카메라 이동방향에 수직으로 내렸을 때 만나는 점과 카메라 간의 거리이다.
카메라 프레임 기준으로 관심 대상물에 대해 Ψ는 X축의 회전각이고, θ 은 Y축의 회전각이다. 따라서, 도 5를 참조하면, 다음의 수학식이 도출된다.
Figure pat00001
x, y는 관심 물체의 이미지 상의 x, y좌표이다. 따라서 이미지 좌표 y는 H-Hc와 비례관계를 갖는다.
도 6은 2D 타일맵의 시설물 위치정보를 이용하여 카메라 중심좌표를 결정하는 방법을 설명하기 위한 도면이다.
도 6을 참조하여 이미지에서 취득한 시설물의 거리정보를 이용하여, 모바일 장치의 위치를 결정하는 방법은 다음과 같다.
시설물의 3차원 위치정보는 수신된 2D 타일맵에서 추출한 정보인 것이 바람직하다.
관심 시설물 OBJ1, OBJ2의 이미지 좌표가 (P1xt, P1yt), (P2xt, P2yt)이고, 실공간에서 평면좌표 및 높이값은 OBJ1(X1, Y1, H1), OBJ2(X2, Y2, H2)이고, 카메라의 높이값은 Hc이다.
아래 수학식 2와 수학식 3을 이용하여 카메라의 3차원 위치정보 좌표 (X, Y, Hc)를 계산할 수 있다.
α, β 는 카메라에서 관심 시설물 OBJ1과 OBJ2의 상단까지의 Y축으로의 고도각에 해당되는 것으로, 수학식 1의 θ를 구하는 방법과 같은 방법으로 계산될 수 있다.
D1, D2는 관심 시설물의 최상단까지의 실거리이며, D1", D2" 는 관심시설물의 최하단까지의 실거리이다.
수학식 2는 OBJ2 와 카메라의 위치 관계식을 나타낸 것이다
Figure pat00002
수학식 3은 카메라와 OBJ1과의 관계식을 나타낸 것이다.
Figure pat00003
수학식 2와 수학식 3은 아래와 같이 행렬식 B = Ax 로 변경하고, 카메라의 초점위치, 즉 카메라의 중심좌표의 실시간 정밀 위치 (Xt, Yt, Hc)를 수학식 4로부터 구할 수 있다.
이 때 적어도 4 점 이상의 시설물 위치정보를 이용하여, 최소제곱법으로 카메라의 정밀 위치/카메라의 중심좌표를 계산하는 것이 바람직하다.
Figure pat00004
여기서,
Figure pat00005
는 행렬 B이고,
Figure pat00006
는 행렬 A이며,
Figure pat00007
는 행렬 x이다.
수학식 4를 행렬식으로 변환하여 Error를 아래와 같이 정의할 수 있다.
Figure pat00008
위의 Error를 최소화하기 위해 최소제곱법으로 일정 기준보다 같거나 작은 에러값이 구해질 때까지 반복 계산한 경우, 카메라 중심좌표행렬 x 를 추출할 있다.
한편, 이미지 수신부(135)는 이미지 촬영 노선의 이미지를 일정 주기로 수신한다.
시퀀스 추출부(140)는 이미지 수신부(135)에서 수신된 이미지에 포함된 관심 시설물을 분류하고, 상기 분류된 관심 시설물간의 이미지 좌표를 이용하여, 상기 관심 시설물의 시퀀스 정보를 추출한다. 또한, 일 실시 예로서, 시퀀스 추출부(140)는 모바일 장치(10)의 정밀 위치 또는 카메라의 중심좌표(X, Y, 높이값)가 계산된 이후에 서브그룹 추출부(145)를 호출할 수 있다. 이 경우 보다 정확한 모바일 장치(10)의 위치를 기초로 서브그룹을 추출할 수 있게 된다.
서브그룹 추출부(145)는 이미지에서 추출된 관심 시설물의 시퀀스 정보와 2D 타일맵의 서브그룹에 포함된 시설물의 시퀀스 정보를 비교하여 2D 타일맵의 서브그룹을 추출한다.
또한, 서브그룹 추출부(145)에서는 이미지에서 추출한 시설물과 2D 타일맵의 시설물의 시퀀스 정보 비교시, 일정 수준 이상 동일한 경우, 해당 2D 타일맵의 서브그룹을 추출한다. 다른 실시 예로서, 서브그룹 추출부(145)는 서브그룹 1차 결정부(115)로 대체될 수 있다.
위치 산출부(150)와 위치 계산부(125)의 차이점은 방향각 정보를 위치 산출부(150)에서는 사용하지 않는다는 점이다.
또한, 위치 산출부(150)는 모바일 장치(10)가 주행 노선을 따라 순수 병진 운동을 한다는 가정하에 실시간 시설물의 위치정보를 계산하여 2D 타일맵 정보를 저장 및 갱신하는 것을 목적으로 수행된다.
따라서 일정 주기로 모바일 장치에서 촬영된 연속적 이미지간의 회전량의 변화가 일정 수준 이하를 만족하는 경우, 계산된 카메라의 중심좌표(X, Y, 높이값)간의 이격거리를 정보를 이용하여, 관심 시설물의 실제 3차원 위치정보를 계산할 수 있다. 상기 연속적 이미지의 회전량 변화는 모바일 장치의 이동 방향에 수직인 축(예를 들면 평면좌표가 xy좌표일 때 z축의 회전량 변화를 의미함)의 회전량 변화를 의미한다.
도 7은 카메라 프레임과 이미지 프레임의 관계를 나타내기 위한 도면이다.
도 7은 카메라 프레임과 이미지 프레임의 관계를 나타내기 위한 도면이다.
도 7을 참조하면, 카메라 좌표와 이미지 좌표의 관계는 수학식 6와 같이 나타낼 수 있다.
여기에서 f는 카메라의 초점 길이(focal length) 이고, α = f/s 이고, s는 이미지의 픽셀사이즈이다. u, v는 이미지 좌표이고, xc, yc, zc는 카메라 좌표이다.
Figure pat00009
도 7에서 이미지 좌표는 u, v는 이미지의 픽셀 사이즈 s를 곱하여 u*s, v*s가 되는 것이 도시되어 있고, 카메라 좌표와 이미지 좌표가 초점 길이 f 만큼 떨어져 있음을 알 수 있다.
한편, 각 축에 대한 회전 행렬 구성은 아래의 수학식 7과 같다. 또한 회전량의 변화가 매우 작다고 가정하는 경우, cos(x) ≒ 1, sin(x) ≒ x, sin(x)sin(y) ≒ 0 값을 갖으므로, 아래 회전 행렬은 다음과 같이 변경할 수 있다. 또한 카메라의 Z축 방향의 회전(Yaw)이 없는 병진운동을 하는 경우는 회전행렬은 보다 단순해 진다.
Figure pat00010
카메라 좌표계의 좌표축에 대해, Rzc,Ψ 는 Z축을 회전시킨 회전량이고, Ryc,ф 는 Y축을 회전시킨 회전량이고, Rxc,ф 는 X축을 회전시킨 회전량이다.
수학식 7에서 c는 cosine 함수를 나타내고, s는 sine 함수를 나타낸다.
카메라의 높이 Hc(z=h)는 아래 수학식 8과 같이 계산할 수 있다.
Figure pat00011
수학식 8에서 c는 cosine 함수를 나타내고, s는 sine 함수를 나타낸다.
r31은 회전 행렬 R의 3행 1열의 원소값을, r32는 회전 행렬 R의 3행 2열의 원소값, r33는 회전 행렬 R의 3행 1열의 원소값을 나타낸다.
도 8은 신규 시설물 위치 계산을 위한 이미지 프레임과 실공간 프레임의 관계를 나타낸 도면이다.
도 8을 참조하면, 핀홀(pinhole) 카메라 모델이 도시되어 있다. 해당 모델은 이미지-실공간 모델에도 적용 가능하다. 여기에서 실공간 좌표계와 이미지 좌표계가 원점이 서로 다르므로, 아래와 같이 표현될 수 있다. R 은 회전행렬, C 는 이미지 좌표계와 실좌표계와의 이격거리 행렬이다.
Figure pat00012
여기서, Xw는 실공간 좌표계의 좌표이고, xi는 이미지 좌표계의 좌표이며, 행렬 P는 실공간 좌표를 이미지 좌표로 변환하는 변환행렬이다.
회전행렬의 적용 이유는 이미지 촬영시에 Yaw(Z축), Pitch(Y축) Roll(X축) 로 카메라의 회전 움직임이 반영되어 이미지가 촬영되기 때문이다.
회전각 계산부(155)는 연속된 두장의 이미지 영상에 관심 시설물이 존재하는 경우, 카메라의 회전각 변화량 및 관심 시설물의 이미지 좌표의 변화량 및 카메라의 중심좌표의 이동량 정보를 이용하여, SVD 알고리즘을 이용하여, 관심 시설물의 3차원 위치정보를 계산할 수 있다.
도 9는 모바일 장치의 진행방향에 대해, 매우 짧은 두장의 영상을 도시한 것이다.
도 9를 참조하면, 순수 병진운동하는 경우에는 모바일 장치의 진행방향에 대해, 매우 짧은 두장의 영상에서 회전각의 변화가 0에 가까운 경우이며, 동일한 소실점(에피폴)이 존재하는 경우이다. 모바일 장치의 방향각을 변화없이 일정하게 유지하면서 이동하고, 매우 짧은 주기로 이미지를 촬영하는 경우에는 연속적으로 촬영된 두장의 이미지간의 방향각의 변화는 0로 가정할 수 있다. 흰선은 에피폴라라인을 나타낸다.
시설물 위치 계산부(160)가 검증한 결과 이미지 좌표에 매칭되는 검증 시설물의 3차원 위치정보가 일정 수준 이상의 정확도를 만족하는 경우, 타일맵 정보 업데이트부(165)는 실시간 2D 타일 정보를 갱신한다.
2D 타일맵의 서브그룹에 포함된 시설물의 3차원 위치정보를 기준으로 회전각 계산부(155)의 기능을 통해, 이미 3차원 위치정보를 알고 있는 검증 시설물에 대해, 현재 촬영된 이미지 정보를 이용하여 3차원 위치정보를 계산함으로써, 계산된 위치정보와 기 저장된 위치정보의 차이로 위치정보 정확도를 계산할 수 있다.
따라서 일정 수준을 만족하는 위치정보 정확도를 갖는 실시간 2D 타일 정보를 저장하여 갱신하고, 저장된 정보는 타일맵 서버(20)의 타일맵 정보 수신부(230)에서 수신된다.
타일맵 서버(20)의 3D 데이터 후처리부(220)에서는 크라우드소싱 방법으로 다수의 모바일 장치에서 수신한 2D 타일맵 갱신 정보를 이용하여, 보다 정밀한 시설물 위치정보를 추출하기 위한 데이터를 후처리를 진행한다.
타일맵 정보 갱신부(165)는 타일맵 서버(20)에 저장된 2D 타일맵을 타입맵 정보 수신부(230)로부터 업데이트된 타일맵 정보로 갱신한다.
한편, 타일맵 서버(20)는 주행노선 결정부(200), 타일맵 송신부(210), 3D 데이터 후처리부(220), 타일맵 정보 수신부(230), 및 타일맵 갱신부(240)로 구성된다.
주행노선 결정부(200)는 모바일 장치(10)로부터 출발지 및 목적지 정보를 전송받아 모바일 장치가 촬영할 이미지 주행 노선을 결정한다.
타일맵 송신부(210)는 상기 결정된 주행 노선을 포함하는 2D 타일맵을 모바일 장치(10)로 전송한다.
3D 데이터 후처리부(220)는 다수의 모바일 장치에서 취득된 실시간 2D 타일 정보와 함께 전송된 이미지 정보를 이용하여, 관심 시설물에 대한 보다 높은 정확도의 3차원 위치정보를 산출한다.
크라우드 소싱으로 다수의 모바일 장치에서 취합된 3차원 위치정보로 시설물의 위치정보의 변화나 신규 시설물의 위치정보를 통계적 방법으로 처리 가능하다.
동일한 시설물에 대해 서로 다른 3차원 위치정보가 전송되므로, 최소제곱법을 이용하여, 일정 수준의 위치 정확도를 만족하는 시설물의 3차원 위치정보를 추출하여, 2D 타일맵의 정보를 업데이트할 수 있다.
타일맵 정보 수신부(230)는 타일맵 정보 업데이트부(165)에서 업데이트된 2D 타일맵 정보를 수신한다.
타일맵 갱신부(240)는 3D 데이터 후처리부(220)와 타일맵 정보 수신부(230)로부터 수신한 2D 타일맵과 위치정보, 속성정보들로 기존 2D 타일맵을 갱신한다.
도 10은 본 발명의 바람직한 일 실시 예에 따른 모바일 장치 위치 결정방법의 흐름도이다.
도 10을 참조하면, 본 실시 예에 따른 모바일 장치 위치 결정방법은 도 4에 도시된 모바일 장치 위치 결정장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 4에 도시된 모바일 장치 위치 결정장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 모바일 장치 위치 결정방법에도 적용된다.
1000 단계에서 모바일 장치 위치 결정장치는 3차원 시설물 정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신한다. 시설물 정보를 수집할 노선에 대해, 시설물의 속성 및 높이값 정보를 포함한 2D 타일맵 정보를 타일맵 서버(20)로부터 수신할 수 있다.
1010 단계에서 모바일 장치 위치 결정장치는 이미지 촬영 노선의 이미지를 일정 주기로 수신하고, 외부에서 수신된 신호를 이용하여, 상기 이미지가 수신된 동일한 시간에 상기 모바일 장치가 위치한 2차원 평면좌표를 산출한다.
모바일 장치 위치 결정장치는 모바일 장치의 초기 위치정보로부터 일정 거리내에 포함된 2D 타일맵 서브그룹 정보를 필터링하여 추출할 수 있다.
모바일 장치의 초기 위치정보는 GPS 모듈이나 Wi-Fi의 신호로부터 대략적으로 계산될 수 있다. 도심지에서는 GPS 정보와 Wi-Fi 정보를 모두 이용하여 모바일 장치의 위치정확도를 높일 수 있다. 그러나 상기 GPS 모듈이나 Wi-Fi의 신호를 이용한 위치정확도의 경우, 수m 수준의 위치오차가 발생할 수 있으므로, 시설물의 위치정보를 수집하는 경우, 고가의 GPS를 이용하여, 10cm 이내의 기기 위치정확도를 확보하고, 또한 모바일 장치의 위치 계산도 후처리를 통하여 이루어지는 것이 바람직하다.
한편, 라이다(Lidar) 등의 장비를 이용하여 확보된 시설물의 평면좌표 및 높이값의 3차원 위치정보를 활용하는 경우, 모바일 장치의 모노 카메라 이미지에서 관심 시설물을 화면좌표를 추출하고, 이에 매칭되는 실공간의 3차원 좌표간의 모델을 이용하여 카메라의 실시간 정밀 위치계산이 가능하다. 이때, 카메라의 위치는 모바일 장치의 위치가 같다고 가정한다.
1020 단계에서 모바일 장치 위치 결정장치는 상기 수신된 이미지에 포함된 관심 시설물을 분류하고, 상기 분류된 관심 시설물간의 이미지 좌표를 이용하여, 상기 관심 시설물의 시퀀스 정보를 추출한다. 모바일 장치에서 카메라를 통해 수신한 이미지에서 관심 시설물을 자동 인식하여 분류하고, 관심 시설물 간에 위치정보 기반의 시퀀스 정보를 추출할 수 있다.
이 때 시설물의 인식은 딥러닝 및 머신러닝을 통해 학습된 물체인식 모듈을 이용하여, 이미지에 포함된 관심 시설물의 인식이 가능하다.
또한 시설물을 이미지에서 인식하는 경우, 실제 카메라와 시설물의 거리정보를 계산을 위해, 시설물의 도로 및 설치 평면과의 인접하는 최하단 이미지 좌표의 취득이 필요하다. 그러나 이미지 촬영시, 도로 및 촬영노선에서 움직이는 물체 및 물리적인 촬영위치의 한계로 시설물의 최하단 촬영이 불가능한 경우가 많이 발생한다. 따라서 본 발명에서는 시설물의 최상단 위치정보를 이용하여, 카메라 위치정보를 계산하는 것이 바람직하다.
1030 단계에서 모바일 장치 위치 결정장치는 이미지에서 추출된 관심 시설물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 시설물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 1차 추출한다.
필터링된 2D 타일맵의 서브그룹에 포함된 시설물의 시퀀스 정보와 이미지에서 추출된 관심 시설물의 시퀀스 정보를 비교하고, 시퀀스 정보가 일정 비율 이상 동일한 2D 타일맵의 서브그룹 후보를 추출할 수 있다.
모바일 장치의 초기 위치정보의 정확도가 매우 낮은 경우, 수신된 2D 타일 정보의 시설물의 위치정보간의 연속적 시퀀스 정보와 이미지에서 취득된 시설물의 시퀀스 정보를 비교하여 2D 타일맵의 서브그룹을 추출할 수 있다. 시퀀스 정보의 비교시에는 2D 타일맵의 시설물과 현재 이미지에서 추출한 시퀀스 정보와 차이가 발생할 수 있으므로, 일정 비율을 만족하는 경우, 서브그룹 후보로 추출할 수 있다.
1040 단계에서 모바일 장치 위치 결정장치는 상기 산출된 모바일 장치의 2차원 평면좌표의 시간 t와 시간 t+1의 좌표값을 이용하여 상기 모바일 장치의 방향각을 계산하고, 상기 계산된 방향각과 상기 2차원 타일맵의 서브그룹의 방향각 차이가 일정 수준 이하를 만족하는 2D 타일맵 서브그룹을 2차 추출한다.
즉, 모바일 장치의 위치정보 변화량을 이용, 모바일 장치의 방향각을 계산하고, 2D 타일맵의 서브그룹 후보의 방향각과 모바일 장치의 방향각을 비교하고, 그 차이가 일정 수준 이하인 2D 타일맵의 서브그룹 후보를 재추출할 수 있다.
다수의 2D 타일맵에서 최적의 서브그룹을 추출하기 위해서는 현재 모바일 장치의 위치정보를 이용하여 추출 가능하나, 모바일의 기기의 위치정확도가 수m 수준의 정확도를 가지므로 모바일 장치의 이동 방향각 정보를 이용하여 2D 타일맵의 서브그룹 후보를 재추출할 수 있다.
이 때에는 이미지 수신 주기와 동기화된 모바일 장치의 위치정보를 추출하고, 추출된 위치정보(시간 t와 시간 t+1의 위치정보)를 평면좌표로 변환하여 방향각을 추출하고, 해당 방향각의 변화량이 일정 수준내에서 유지되는 경우, 현재의 모바일 장치의 방향각과 2D 타일맵 서브그룹에 포함된 방향각 정보를 비교하여, 그 차이가 일정 수준을 만족하는 서브그룹 후보를 재추출할 수 있다.
여기에서 2D 타일맵의 서브그룹의 방향각은 서브그룹 내에 시설물이 존재하는 도로 또는 이동 가능한 공간의 방향각에 해당된다.
1050 단계에서 모바일 장치 위치 결정장치는 상기 2차 추출된 2D 타일맵 서브그룹에 포함된 시설물의 평면 좌표 및 높이값을 이용하여 상기 이미지를 촬영한 카메라의 평면 좌표 및 높이값을 계산한다.
2차 추출된 2D 타일맵의 서브그룹에 포함된 시설물의 최상단 위치정보를 이용, 촬영 카메라의 실시간 중심좌표와 높이값을 계산하는 것이 바람직하다.
1050 단계는 카메라 핀홀 모델을 이용하여, 이미지에서 인식된 관심 시설물의 이미지 좌표와 2D 타일맵의 서브그룹의 3차원 위치정보를 매칭하여, 카메라의 초점좌표, 즉 카메라의 중심좌표를 계산하는 단계이다. 이 때에는 최소제곱법을 이용하여, 카메라 중심좌표 계산이 가능하다. 이때에는 카메라의 내부 켈리브레이션 변수로 초점거리, 카메라 픽셀사이즈 및 Skew 변수값이 필요하다.
1060 단계에서 모바일 장치 위치 결정장치는 촬영 카메라의 중심좌표 위치정보를 이미지 속성정보로 저장한다.
모바일 장치에서 저장된 이미지의 속성정보로 실시간 카메라의 정밀 중심좌표를 저장하는 단계이다. 카메라의 중심좌표가 저장된 경우, 크라우드 소싱으로 서버로 취합된 이미지에 대해, 카메라의 중심좌표를 이용하여 쉽게 이미지 그룹화가 가능하며, 해당 이미지의 정보를 기반으로, 시설물의 정밀 3차원 위치정보를 통계적 방법을 이용하여 후처리하여 보다 높은 정확도의 시설물 3차원 위치정보를 추출할 수 있다.
도 11은 본 발명의 바람직한 일 실시 예에 따른 3차원 시설물 위치 정보를 업데이트하는 방법의 흐름도이다.
도 11을 참조하면, 본 실시 예에 따른 3차원 시설물 위치 정보를 업데이트하는 방법은 도 4에 도시된 3차원 시설물 위치 정보를 업데이트하는 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 4에 도시된 3차원 시설물 위치 정보를 업데이트하는 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 3차원 시설물 위치 정보를 업데이트하는 방법에도 적용된다.
1100 단계에서 3차원 시설물 위치 정보를 업데이트하는 장치는 3차원 시설물 정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신한다. 시설물 정보를 수집할 노선에 대해, 시설물의 속성 및 높이값 정보를 포함한 2D 타일맵 정보를 타일맵 서버(20)로부터 수신하는 것이 바람직하다.
1110 단계에서 3차원 시설물 위치 정보를 업데이트하는 장치는 상기 이미지 촬영 노선의 이미지를 일정 주기로 수신한다.
1120 단계에서 3차원 시설물 위치 정보를 업데이트하는 장치는 상기 수신된 이미지에 포함된 관심 시설물을 분류하고, 상기 분류된 관심 시설물간의 이미지 좌표를 이용하여, 상기 관심 시설물의 시퀀스 정보를 추출한다.
1130 단계에서 3차원 시설물 위치 정보를 업데이트하는 장치는 상기 이미지에서 추출된 관심 시설물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 시설물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 추출한다.
1130 단계 이전에 모바일 장치의 초기 위치정보를 이용하여 상기 초기 위치정보로부터 일정 거리내에 포함된 2D 타일맵 서브그룹 정보를 필터링하여 추출할 수도 있다. 모바일 장치의 정밀 위치정보(카메라의 중심좌표)가 계산된 경우에는 일정 거리내에 포함된 2D 타일맵 서브그룹을 필터링하는 것이 바람직하다.
1140 단계에서 3차원 시설물 위치 정보를 업데이트하는 장치는 추출된 2차원 타일맵의 서브 그룹에 포함된 시설물의 평면좌표값 및 높이값 이용하여 상기 수신된 카메라의 평면 좌표와 높이값을 결정한다.
1150 단계에서 3차원 시설물 위치 정보를 업데이트하는 장치는 상기 연속하여 수신된 이미지의 상대적 회전각의 변화량을 상기 연속하여 수신된 이미지에서 분류된 검증 시설물의 옵티컬 플로우 정보로 계산한다.
일정 주기로 모바일 장치에서 촬영된 연속적 이미지간의 z축 회전량이 일정 수준 이하를 만족하는 경우, 추출된 카메라의 중심좌표 및 옵티컬 플로우 정보를 이용하여 두 장의 연속된 이미지의 회전각 정보를 계산하고, 연속된 영상에서 존재하는 시설물의 3차원 위치정보를 계산할 수 있다. 여기서 연속적 이미지간의 z축 회전량은 모바일 장치 이동 평면에 수직인 축이다.
모바일 장치에 장착된 카메라를 이용하여, 도로 시설물의 이미지를 취득하는 경우, 연속된 2장의 이미지를 이용하여 스테레오 영상으로 사용이 가능하다. 따라서 연속된 2장의 이미지에서 관심 시설물의 3차원 위치정보 취득이 가능하다.
이 때, 카메라의 회전각의 변화는 매우 짧은 시간(약 1/10초 이하) 동안 매우 작은 회전각의 변화가 있는 것으로 가정할 수 있고, 또한 모바일 장치가 촬영방향을 유지하면서 이동하는 경우, 순수 병진운동에 가까운 상태로 가정할 수 있다.
이 때, 순간적인 카메라의 회전각의 변화는 관심 시설물의 옵티컬 플로우 정보를 이용하여 계산 가능하다.
옵티컬 플로우 정보를 계산하기 위해서는, 일정 주기마다 취득된 연속된 이미지간의 발생하는 회전각 변화 행렬 및 이미지간의 이격거리 정보가 필요하다.
이 때, 카메라는 순수 병진운동하는 것으로 가정하였으므로, cos(x) ≒ 1, sin(x) ≒ x, sin(x)sin(y) ≒ 0 값을 갖는 것으로 변경 가능하고, 두 장의 연속된 이미지가 촬영되는 순간에 모바일 장치의 진행방향은 거의 변경되지 않는 순수 병진 운동하는 것으로 가정하기 카메라의 Z축의 회전량은 0 에 가까운 것으로 가정하여 회전 행렬을 단순화하여, 실시간 계산 속도를 향상 시킬 수 있다. 이미지 촬영시에 Yaw(Z축), Pitch(Y축) Roll(X축) 로 카메라의 회전 움직임이 반영되어 이미지가 촬영된다.
모바일 장치가 순수 병진운동을 한다고 가정하면, 상대적인 카메라 프레임은 진행에 대해 방향각의 변화가 없으므로, Z축 회전각의 변화량을 ψ = 0 으로 가정할 수 있다. 또한 카메라 프레임의 X, Y 축의 회전량도 거의 0 에 가까운 것으로 가정할 수 있다.
따라서 옵티컬 플로우는 아래와 같은 수식을 따르며, 미지수는 ωy= θ, wx = ф 로 줄어든다. 여기에서 두 이미지의 초점 위치의 이동량은 (Tx, Ty, 이고, Z는 카메라의 높이이다. t, t-1 시간에 촬영된 이미지에 관심 물체의 이미지 좌표는 (u’, v’), (u, v)이다.
Figure pat00013
상기 식으로부터 상기 연속하여 수신된 이미지의 상대적 회전각의 변화량 ωy= θ, wx = ф를 구할 수 있게 된다.
1160 단계에서 3차원 시설물 위치 정보를 업데이트하는 장치는 상기 연속하여 수신된 이미지간의 상대적 회전각 변화량 및 상기 카메라 평면 좌표 이동량을 이용하여 상기 검증 시설물의 3차원 위치정보를 계산한다.
즉, 2D 타일 정보에 포함된 시설물의 3차원 위치정보와 연속된 이미지의 회전각 및 카메라 중심좌표 이동량으로 계산된 동일 시설물의 3차원 위치정보의 차이를 계산할 수 있다.
카메라의 외부 캘리브레이션 정보를 알게 되면, 관심 시설물의 이미지 좌표에 대응되는 3차원 위치정보를 추출할 수 있다. 카메라의 외부 캘리브레이션 정보는 연속된 두 이미지상의 회전각의 차이 및 카메라 중심좌표 이동거리로 구성된다.
이중에서 회전각의 차이는 관심 시설물의 광속흐름 정보를 이용하여 최소제곱법을 이용하여 추출 가능하고, 카메라 중심좌표 이동거리는 2D 타일맵의 서브그룹에 포함된 시설물의 3차원 위치좌표를 이용하여 카메라 중심좌표를 취득하여, 카메라의 중심좌표 이동거리를 추출할 수 있다.
1170 단계에서 3차원 시설물 위치 정보를 업데이트하는 장치는 상기 검증 시설물에 대하여 계산된 위치정보와 상기 추출된 2차원 타일맵의 서브그룹에 포함된 검증 시설물의 3차원 위치정보의 거리차가 일정 수준 이하인 경우, 상기 변경 시설물 또는 신규 시설물의 3차원 위치정보를 상기 2차원 타일맵에 업데이트한다.
즉, 현재 취득된 연속된 두장의 이미지에서 2D 타일맵에 포함된 검증 시설물의 3차원 위치정보를 계산하여, 위치 정보의 정확도를 만족하는 경우, 2D 타일맵의 변경 시설물 또는 신규 시설물 위치정보를 갱신한다.
1170 단계에서는 1160 단계에서 계산된 검증 시설물의 3차원 위치정보 정확도가 일정 수준을 만족하는지 검증하는 것을 포함한다.
수신된 2D 타일맵의 시설물이 촬영된 연속된 두장의 이미지에 존재하는 검증 시설물의 3차원 위치정보를 계산하고, 서버에서 수신한 2D 타일맵에 존재하는 위치정보와 비교하는 것이 바람직하다. 상기 비교를 통해, 일정 수준이상의 위치 정확도를 만족하는 경우, 기존의 2D 타일맵의 정보를 갱신하여 저장한다. 2D 타일맵의 정보를 갱신하는 것은 기존 시설물의 변경 또는 삭제, 신규 시설물의 위치정보를 추가하는 것을 포함한다.
본 발명의 실시예에 따르면, 시설물의 변화 감지를 위한 방법으로 크라우드소싱(crowdsourcing) 방법을 활용할 수 있다. 크라우드소싱(crowdsourcing) 방법은 모바일 장치의 카메라를 이용하여 노선의 정보를 촬영하고, 촬영된 이미지를 분석하여 변화가 탐지된 실시간 시설물 정보를 업데이트할 수 있게 한다. 다수의 모바일 장치로부터 수신한 2D 타일맵 정보를 취합함으로써, 타일맵 서버(20)에 저장된 2D 타일맵 정보를 정밀하게 수정할 수 있게 된다.
본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터,데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.
이상 본 발명에 대하여 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서 상술한 실시 예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시 예들을 포함한다고 할 것이다.

Claims (7)

  1. 3차원 시설물 위치 정보를 업데이트하는 방법으로서,
    상기 3차원 시설물 위치 정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신하는 단계;
    상기 이미지 촬영 노선의 이미지를 일정 주기로 수신하는 단계;
    상기 수신된 이미지에 포함된 관심 시설물을 분류하고, 상기 분류된 관심 시설물간의 이미지 좌표를 이용하여, 상기 관심 시설물의 시퀀스 정보를 추출하는 단계;
    상기 이미지에서 추출된 관심 시설물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 시설물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 추출하는 단계;
    상기 추출된 2차원 타일맵의 서브 그룹에 포함된 시설물의 평면좌표값 및 높이값 이용하여 상기 수신된 카메라의 평면 좌표와 높이값을 결정하는 단계; 및
    상기 수신된 이미지의 위치정보의 변화가 발생한 변경 시설물 또는 신규 시설물의 3차원 위치정보 및 속성정보를 저장하여 상기 변경 시설물 또는 신규 시설물 위치 정보를 업데이트하는 단계를 포함하고,
    상기 변경 시설물 또는 신규 시설물 위치 정보를 업데이트하는 단계는,
    상기 연속하여 수신된 이미지의 상대적 회전각의 변화량을 상기 연속하여 수신된 이미지에서 분류된 검증 시설물의 옵티컬 플로우 정보로 계산하는 단계;
    상기 연속하여 수신된 이미지간의 상대적 회전각 변화량 및 상기 카메라 평면 좌표 이동량을 이용하여 상기 검증 시설물의 3차원 위치정보를 계산하는 단계; 및
    상기 검증 시설물에 대하여 계산된 위치정보와 상기 추출된 2차원 타일맵의 서브그룹에 포함된 검증 시설물의 3차원 위치정보의 거리차가 일정 수준 이하인 경우, 상기 변경 시설물 또는 신규 시설물의 3차원 위치정보를 상기 2차원 타일맵에 업데이트하는 단계를 포함하는 3차원 시설물 위치 정보를 업데이트하는 방법.
  2. 제1 항에 있어서,
    상기 연속하여 수신된 적어도 둘 이상의 이미지의 z축 회전량이 일정 수준 이하이고, 상기 연속하여 수신된 이미지의 카메라 평면좌표 이동량이 존재할 때, 상기 변경 시설물 또는 신규 시설물 위치 정보를 실시간으로 업데이트하는 것을 특징으로 하는 3차원 시설물 위치 정보를 업데이트하는 방법.
  3. 제1 항에 있어서,
    상기 카메라 평면 좌표 및 높이값을 계산할 때, 상기 추출된 2차원 타일맵의 서브 그룹에 포함된 일정 수준 이상의 높이값을 갖는 상기 시설물의 최상단의 평면 좌표 및 높이 정보를 이용하여 상기 수신된 이미지의 카메라 평면 좌표 및 높이값을 계산하는 것을 특징으로 하는 3차원 시설물 위치 정보를 업데이트하는 방법.
  4. 3차원 시설물의 위치정보를 업데이트하는 장치로서,
    상기 3차원 시설물 위치정보를 취득할 이미지 촬영 노선과 관련된 2차원 타일맵을 수신하는 타일맵 수신부;
    상기 이미지 촬영 노선의 이미지를 일정 주기로 수신하는 이미지 수신부;
    상기 수신된 이미지에 포함된 관심 시설물을 분류하고, 상기 분류된 관심 시설물간의 이미지 좌표를 이용하여, 상기 관심 시설물의 시퀀스 정보를 추출하는 시퀀스 추출부;
    상기 이미지에서 추출된 관심 시설물의 시퀀스 정보와 상기 2차원 타입맵의 서브그룹에 포함된 시설물의 시퀀스 정보가 일정수준 이상 일치하는 2차원 타일맵의 서브그룹을 추출하는 서브그룹 추출부;
    상기 추출된 2차원 타일맵의 서브 그룹에 포함된 시설물의 평면좌표값 및 높이값 이용하여 상기 수신된 카메라의 평면 좌표와 높이값을 결정하는 위치 산출부; 및
    상기 연속하여 수신된 이미지의 상대적 회전각의 변화량을 상기 연속하여 수신된 이미지에서 분류된 검증 시설물의 옵티컬 플로우 정보로 계산하는 회전각 계산부;
    상기 연속하여 수신된 이미지간의 상대적 회전각 변화량 및 상기 카메라 평면 좌표 이동량을 이용하여 상기 검증 시설물의 3차원 위치정보를 계산하는 시설물 위치계산부; 및
    상기 검증 시설물에 대하여 상기 계산된 위치정보와 상기 추출된 2차원 타일맵의 서브그룹에 포함된 검증 시설물의 3차원 위치정보의 거리차가 일정 수준 이하인 경우, 위치 변화가 발생한 변경 시설물 또는 신규 시설물의 3차원 위치정보를 상기 2차원 타일맵에 업데이트하는 타일맵 정보 업데이트부를 포함하는 3차원 시설물 위치 정보를 업데이트하는 장치.
  5. 제4 항에 있어서,
    상기 연속하여 수신된 적어도 둘 이상의 이미지의 z축 회전량이 일정 수준 이하이고, 상기 연속하여 수신된 이미지의 카메라 평면좌표 이동량이 존재할 때, 상기 변경 시설물 또는 신규 시설물 위치 정보를 실시간으로 업데이트하는 것을 특징으로 하는 3차원 시설물 위치 정보를 업데이트하는 장치.
  6. 제4 항에 있어서,
    상기 카메라 평면 좌표 및 높이값을 계산할 때, 상기 추출된 2차원 타일맵의 서브 그룹에 포함된 일정 수준 이상의 높이값을 갖는 상기 시설물의 최상단의 평면 좌표 및 높이 정보를 이용하여 상기 수신된 이미지의 카메라 평면 좌표 및 높이값을 계산하는 것을 특징으로 하는 3차원 시설물 위치 정보를 업데이트하는 장치.
  7. 제1 항 내지 제3 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020210151604A 2021-11-05 2021-11-05 3차원 시설물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치 KR20230065731A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210151604A KR20230065731A (ko) 2021-11-05 2021-11-05 3차원 시설물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210151604A KR20230065731A (ko) 2021-11-05 2021-11-05 3차원 시설물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치

Publications (1)

Publication Number Publication Date
KR20230065731A true KR20230065731A (ko) 2023-05-12

Family

ID=86385626

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210151604A KR20230065731A (ko) 2021-11-05 2021-11-05 3차원 시설물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치

Country Status (1)

Country Link
KR (1) KR20230065731A (ko)

Similar Documents

Publication Publication Date Title
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
US20180188026A1 (en) Visual odometry and pairwise alignment for high definition map creation
JP6168833B2 (ja) ３ＤＧｅｏＡｒｃを用いた多モードデータの画像登録
CN110617821B (zh) 定位方法、装置及存储介质
CN108022264B (zh) 相机位姿确定方法及设备
TW202001786A (zh) 用於更新高度自動化駕駛地圖的系統和方法
KR20210061722A (ko) 고정밀 지도 제작 방법, 고정밀 지도 제작 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR102167835B1 (ko) 영상 처리 방법 및 장치
KR102092392B1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
KR20160088909A (ko) 모바일 디바이스에서의 slam
KR102096926B1 (ko) 관심 영역 변화를 검출하는 방법 및 시스템
US11430199B2 (en) Feature recognition assisted super-resolution method
US20230138487A1 (en) An Environment Model Using Cross-Sensor Feature Point Referencing
Ruotsalainen et al. Heading change detection for indoor navigation with a smartphone camera
KR102189926B1 (ko) 관심 영역 변화를 검출하는 방법 및 시스템
CN114969221A (zh) 一种更新地图的方法及相关设备
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
KR102106029B1 (ko) 간판 검출 성능 향상을 위한 방법 및 시스템
CN114185073A (zh) 一种位姿显示方法、装置及系统
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치
KR102613590B1 (ko) 3차원 지형지물 위치 정보를 이용한 드론의 위치 결정 방법 및 이를 이용한 드론
CN116259001A (zh) 一种多视角融合的三维行人姿态估计与追踪方法
KR20230065731A (ko) 3차원 시설물 위치 정보를 업데이트하는 방법 및 이를 이용한 장치
KR20230065730A (ko) 3차원 시설물 위치 정보를 이용한 모바일 장치의 위치 결정 방법 및 이를 이용한 장치
JP2012099010A (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal