KR20240053224A - Method, computer device, and computer program to create 3d map using building shape information - Google Patents
Method, computer device, and computer program to create 3d map using building shape information Download PDFInfo
- Publication number
- KR20240053224A KR20240053224A KR1020220133077A KR20220133077A KR20240053224A KR 20240053224 A KR20240053224 A KR 20240053224A KR 1020220133077 A KR1020220133077 A KR 1020220133077A KR 20220133077 A KR20220133077 A KR 20220133077A KR 20240053224 A KR20240053224 A KR 20240053224A
- Authority
- KR
- South Korea
- Prior art keywords
- location
- sign
- sign area
- calculating
- area
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004590 computer program Methods 0.000 title claims abstract description 10
- 230000008569 process Effects 0.000 claims description 23
- 238000009877 rendering Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Processing Or Creating Images (AREA)
Abstract
건물 형상 정보를 이용하여 3D 지도를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램이 개시된다. 3D 지도 생성 방법은, 주어진 영상에서 간판 영역을 검출하는 단계; 상기 영상을 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계; 상기 간판 영역의 3D 위치를 기초로 POI의 3D 위치를 계산하는 단계; 및 지도 데이터베이스에 상기 간판 영역의 3D 위치와 상기 POI의 3D 위치를 등록하여 간판 및 POI의 3D 지도를 생성하는 단계를 포함할 수 있다.A method, computer device, and computer program for generating a 3D map using building shape information are disclosed. The 3D map generation method includes detecting a sign area in a given image; calculating a 3D location of the sign area using the image; calculating a 3D location of a POI based on the 3D location of the sign area; And registering the 3D location of the sign area and the 3D location of the POI in a map database to generate a 3D map of the sign and POI.
Description
아래의 설명은 간판 및 POI(point Of interest)의 3D 지도를 생성하는 기술에 관한 것이다.The description below relates to technology for creating 3D maps of signs and POIs (points of interest).
실시간 POI를 나타내는 3차원 지도를 제공하는 기술은 단말 시점 정보를 수신하여 수신된 단말 시점 정보를 기반으로 POI를 포함하는 3D 지도를 단말로 제공한다.Technology that provides a 3D map representing real-time POIs receives terminal viewpoint information and provides a 3D map including POIs to the terminal based on the received terminal viewpoint information.
이를 통해, 실시간으로 대중의 이목이 가장 집중되는 지역에 대한 위치 정보 및 그 지역으로 이동하기 위한 경로 정보뿐만 아니라 그 지역에 대한 프리뷰 영상도 제공할 수 있다.Through this, it is possible to provide not only location information on the area where the public's attention is most focused in real time and route information for moving to that area, but also a preview video of the area.
3D 지도 내에서 POI에 대응하는 3D 건물 모델과 인접한 영역에 POI의 명칭을 표시하는 방식으로 POI를 표시할 수 있다.Within a 3D map, a POI can be displayed by displaying the name of the POI in an area adjacent to the 3D building model corresponding to the POI.
3D 지도를 이용하여 다양한 서비스를 제공할 수 있으며, 일례로 한국 공개특허공보 제10-2013-0137076호(공개일 2013년 12월 16일)에는 실시간 관심 지역을 나타내는 3차원 지도를 제공하는 기술이 개시되어 있다.A variety of services can be provided using 3D maps. For example, Korea Patent Publication No. 10-2013-0137076 (published on December 16, 2013) describes a technology that provides a 3D map showing areas of interest in real time. It has been disclosed.
건물 형상 정보를 이용하여 간판 및 POI의 3D 지도를 생성할 수 있는 방법 및 장치를 제공한다.Provides a method and device for generating 3D maps of signs and POIs using building shape information.
하나의 이미지와 건물의 외곽 좌표 정보를 이용하여 정확한 POI 위치 정보를 추정할 수 있는 방법 및 장치를 제공한다.Provides a method and device for estimating accurate POI location information using one image and the outer coordinate information of a building.
컴퓨터 장치에서 실행되는 3D 지도 생성 방법에 있어서, 상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 3D 지도 생성 방법은, 상기 적어도 하나의 프로세서에 의해, 주어진 영상에서 간판 영역을 검출하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 영상을 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 간판 영역의 3D 위치를 기초로 POI의 3D 위치를 계산하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 지도 데이터베이스에 상기 간판 영역의 3D 위치와 상기 POI의 3D 위치를 등록하여 간판 및 POI의 3D 지도를 생성하는 단계를 포함하는 3D 지도 생성 방법을 제공한다.In a 3D map generating method executed on a computer device, the computer device includes at least one processor configured to execute computer readable instructions included in a memory, and the 3D map generating method is performed by the at least one processor. , detecting a sign area in a given image; calculating, by the at least one processor, a 3D location of the sign area using the image; calculating, by the at least one processor, a 3D location of a POI based on the 3D location of the sign area; and registering, by the at least one processor, the 3D location of the sign area and the 3D position of the POI in a map database to generate a 3D map of the sign and the POI.
일 측면에 따르면, 상기 간판 영역의 3D 위치를 계산하는 단계는, 상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하는 단계; 및 상기 영상의 위치 정보와 상기 3D 건물 형상 정보를 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계를 포함할 수 있다.According to one aspect, calculating the 3D location of the sign area includes generating 3D building shape information using outer coordinate information of a building including the sign area; And it may include calculating the 3D location of the sign area using the location information of the image and the 3D building shape information.
다른 측면에 따르면, 상기 간판 영역의 3D 위치를 계산하는 단계는, 상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하는 단계; 및 상기 영상의 카메라 초점으로부터 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점을 향해 캐스팅된 광선이 상기 3D 건물 형상 정보와 교차하는 지점을 계산함으로써 상기 간판 영역의 3D 위치를 계산하는 단계를 포함할 수 있다.According to another aspect, calculating the 3D location of the sign area includes generating 3D building shape information using outer coordinate information of a building including the sign area; And calculating the 3D location of the sign area by calculating the point where a ray cast from the camera focus of the image toward each vertex of the sign polygon representing the sign area intersects the 3D building shape information. .
또 다른 측면에 따르면, 상기 간판 영역의 3D 위치를 계산하는 단계는, 상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하는 단계; 상기 3D 건물 형상 정보를 이용하여 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산하는 단계; 및 상기 깊이 정보를 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계를 포함할 수 있다.According to another aspect, calculating the 3D location of the sign area includes generating 3D building shape information using outer coordinate information of a building including the sign area; calculating depth information of a pixel where each vertex of a sign polygon representing the sign area is located using the 3D building shape information; And it may include calculating the 3D location of the sign area using the depth information.
또 다른 측면에 따르면, 상기 3D 건물 형상 정보를 생성하는 단계는, 상기 건물의 외곽 좌표 정보에 임의의 높이를 추가하여 상기 3D 건물 형상 정보를 생성할 수 있다.According to another aspect, the step of generating the 3D building shape information may generate the 3D building shape information by adding a random height to the outer coordinate information of the building.
또 다른 측면에 따르면, 상기 픽셀의 깊이 정보를 계산하는 단계는, 상기 3D 건물 형상 정보를 상기 영상과 동일한 뷰(view)로 렌더링하여 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산할 수 있다.According to another aspect, the step of calculating the depth information of the pixel includes rendering the 3D building shape information in the same view as the image to calculate the depth of the pixel at which each vertex of the sign polygon representing the sign area is located. Information can be calculated.
또 다른 측면에 따르면, 상기 간판 영역의 3D 위치를 계산하는 단계는, 상기 간판 영역이 포함된 복수의 영상을 이용하여 상기 간판 영역의 3D 위치를 최적화하는 단계를 포함할 수 있다.According to another aspect, calculating the 3D position of the sign area may include optimizing the 3D position of the sign area using a plurality of images including the sign area.
또 다른 측면에 따르면, 상기 간판 영역의 3D 위치를 최적화하는 단계는, 상기 복수의 영상에서 검출된 간판 영역 간의 로컬 피처 매칭(local feature matching)을 통해 최적의 3D 위치를 결정할 수 있다.According to another aspect, the step of optimizing the 3D position of the sign area may determine the optimal 3D position through local feature matching between the sign areas detected in the plurality of images.
또 다른 측면에 따르면, 상기 간판 영역의 3D 위치를 최적화하는 단계는, 상기 복수의 영상에서 검출된 동일 POI의 간판 영역에서 로컬 피처를 추출하여 피처 매칭을 수행하는 단계; 및 상기 매칭된 로컬 피처를 기초로 삼각화(triangulation)를 수행하여 상기 로컬 피처의 3D 위치를 계산하는 단계를 포함할 수 있다.According to another aspect, optimizing the 3D location of the sign area includes extracting local features from the sign area of the same POI detected in the plurality of images and performing feature matching; And it may include calculating the 3D position of the local feature by performing triangulation based on the matched local feature.
또 다른 측면에 따르면, 상기 POI의 3D 위치를 계산하는 단계는, 상기 간판 영역의 3D 위치에서 중심점을 상기 POI의 3D 위치로 계산할 수 있다.According to another aspect, the step of calculating the 3D location of the POI may include calculating a center point in the 3D location of the sign area as the 3D location of the POI.
상기 3D 지도 생성 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독가능한 기록 매체에 저장되는 컴퓨터 프로그램을 제공한다.A computer program stored in a computer-readable recording medium is provided to execute the 3D map generation method on a computer.
컴퓨터 장치에 있어서, 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 주어진 영상에서 간판 영역을 검출하는 과정; 상기 영상을 이용하여 상기 간판 영역의 3D 위치를 계산하는 과정; 상기 간판 영역의 3D 위치를 기초로 POI의 3D 위치를 계산하는 과정; 및 지도 데이터베이스에 상기 간판 영역의 3D 위치와 상기 POI의 3D 위치를 등록하여 간판 및 POI의 3D 지도를 생성하는 과정을 처리하는 컴퓨터 장치를 제공한다.A computer device comprising: at least one processor configured to execute computer readable instructions included in a memory, the at least one processor comprising: detecting a sign area in a given image; Calculating the 3D location of the sign area using the image; A process of calculating a 3D location of a POI based on the 3D location of the sign area; and a computer device that processes the process of generating a 3D map of the sign and POI by registering the 3D location of the sign area and the 3D position of the POI in a map database.
본 발명의 실시예들에 따르면, 건물의 외곽 좌표 정보를 이용함으로써 거리 정보가 없는 경우라 하더라도 POI의 정확한 3D 위치를 추정할 수 있다.According to embodiments of the present invention, the accurate 3D location of a POI can be estimated by using the outer coordinate information of the building even when there is no distance information.
본 발명의 실시예들에 따르면, 건물의 외곽 좌표 정보를 이용하여 POI의 3D 위치를 추정함으로써 건물에 잘 정렬된 3D POI 위치를 제공할 수 있다.According to embodiments of the present invention, it is possible to provide a well-aligned 3D POI location in a building by estimating the 3D location of the POI using the outer coordinate information of the building.
본 발명의 실시예들에 따르면, 복수의 이미지를 이용하여 3D POI 위치를 보정함으로써 3D POI 위치를 최적화할 수 있다.According to embodiments of the present invention, the 3D POI location can be optimized by correcting the 3D POI location using a plurality of images.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 방법의 일례를 도시한 순서도이다.
도 4는 본 발명의 일실시예에 있어서 3D 건물 형상 정보를 생성하는 과정을 설명하기 위한 예시 도면이다.
도 5 내지 도 6은 본 발명의 일실시예에 있어서 간판 영역의 3D 위치를 계산하는 과정을 설명하기 위한 예시 도면이다.
도 7은 본 발명의 일실시예에 있어서 간판 영역의 3D 위치를 최적화하는 과정을 설명하기 위한 예시 도면이다.
도 8 내지 도 9는 본 발명의 일실시예에 있어서 간판 및 POI의 3D 지도 예시를 도시한 것이다.1 is a diagram illustrating an example of a network environment according to an embodiment of the present invention.
Figure 2 is a block diagram showing an example of a computer device according to an embodiment of the present invention.
Figure 3 is a flowchart showing an example of a method that can be performed by a computer device according to an embodiment of the present invention.
Figure 4 is an example diagram for explaining the process of generating 3D building shape information in one embodiment of the present invention.
Figures 5 and 6 are exemplary diagrams for explaining the process of calculating the 3D position of a sign area in one embodiment of the present invention.
Figure 7 is an example diagram for explaining the process of optimizing the 3D position of the sign area in one embodiment of the present invention.
Figures 8 and 9 show examples of 3D maps of signboards and POIs in one embodiment of the present invention.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
본 발명의 실시예들은 간판 및 POI의 3D 지도를 생성하는 기술에 관한 것이다.Embodiments of the present invention relate to technology for generating 3D maps of signs and POIs.
본 명세서에서 구체적으로 개시되는 것들을 포함하는 실시예들은 하나의 이미지와 건물의 외곽 좌표 정보를 이용하여 더욱 정확한 POI 위치 정보를 추정할 수 있다.Embodiments including those specifically disclosed in this specification can estimate more accurate POI location information using one image and the outer coordinate information of a building.
본 발명의 실시예들에 따른 3D 지도 생성 시스템은 적어도 하나의 컴퓨터 장치에 의해 구현될 수 있으며, 본 발명의 실시예들에 따른 3D 지도 생성 방법은 3D 지도 생성 시스템에 포함되는 적어도 하나의 컴퓨터 장치를 통해 수행될 수 있다. 이때, 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 3D 지도 생성 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 3D 지도 생성 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.The 3D map generating system according to embodiments of the present invention may be implemented by at least one computer device, and the 3D map generating method according to embodiments of the present invention may be implemented by at least one computer device included in the 3D map generating system. It can be performed through . At this time, the computer program according to an embodiment of the present invention may be installed and driven in the computer device, and the computer device may perform the 3D map generation method according to the embodiments of the present invention under the control of the driven computer program. there is. The above-described computer program can be combined with a computer device and stored in a computer-readable recording medium to execute the 3D map generation method on the computer.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다. 또한, 도 1의 네트워크 환경은 본 실시예들에 적용 가능한 환경들 중 하나의 예를 설명하는 것일 뿐, 본 실시예들에 적용 가능한 환경이 도 1의 네트워크 환경으로 한정되는 것은 아니다.1 is a diagram illustrating an example of a network environment according to an embodiment of the present invention. The network environment in FIG. 1 shows an example including a plurality of
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 도 1에서는 전자 기기(110)의 예로 스마트폰의 형상을 나타내고 있으나, 본 발명의 실시예들에서 전자 기기(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.The plurality of
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들 간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.The communication method is not limited, and may include not only a communication method utilizing a communication network that the
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(150)는 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 서비스(일례로, 지도 서비스 등)를 제공하는 시스템일 수 있다.Each of the
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 앞서 설명한 복수의 전자 기기들(110, 120, 130, 140) 각각이나 서버들(150, 160) 각각은 도 2를 통해 도시된 컴퓨터 장치(200)에 의해 구현될 수 있다.Figure 2 is a block diagram showing an example of a computer device according to an embodiment of the present invention. Each of the plurality of
이러한 컴퓨터 장치(200)는 도 2에 도시된 바와 같이, 메모리(210), 프로세서(220), 통신 인터페이스(230) 그리고 입출력 인터페이스(240)를 포함할 수 있다. 메모리(210)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(200)에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(210)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(230)를 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(170)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(200)의 메모리(210)에 로딩될 수 있다.As shown in FIG. 2, this
프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 인터페이스(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.The
통신 인터페이스(230)는 네트워크(170)를 통해 컴퓨터 장치(200)가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(200)의 프로세서(220)가 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(230)의 제어에 따라 네트워크(170)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(170)를 거쳐 컴퓨터 장치(200)의 통신 인터페이스(230)를 통해 컴퓨터 장치(200)로 수신될 수 있다. 통신 인터페이스(230)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(220)나 메모리(210)로 전달될 수 있고, 파일 등은 컴퓨터 장치(200)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.The
입출력 인터페이스(240)는 입출력 장치(250)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(250)는 컴퓨터 장치(200)와 하나의 장치로 구성될 수도 있다.The input/
또한, 다른 실시예들에서 컴퓨터 장치(200)는 도 2의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(200)는 상술한 입출력 장치(250) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.Additionally, in other embodiments,
이하에서는 건물 형상 정보를 이용하여 3D 지도를 생성할 수 있는 방법 및 장치의 구체적인 실시예를 설명하기로 한다.Hereinafter, specific embodiments of a method and device that can generate a 3D map using building shape information will be described.
지도에서 다양한 서비스를 제공하기 위해 정확한 POI의 위치를 추정하는 것은 필수적인 기술이라 할 수 있다.In order to provide various services on a map, estimating the exact location of POI is an essential technology.
POI의 위치를 추정하기 위해 POI를 잘 표현하는 간판 정보를 이용할 수 있으나, 간판 정보의 취득 환경에 따라 거리 정보가 없거나 이미지에 비해 상대적으로 정보가 부족한 경우가 많아 정확한 3D 위치 정보를 추정하기 어려운 점이 있다.To estimate the location of a POI, sign information that well represents the POI can be used, but depending on the acquisition environment of the sign information, there are many cases where there is no distance information or information is relatively insufficient compared to the image, making it difficult to estimate accurate 3D location information. there is.
본 실시예들은 하나의 이미지와 건물의 외곽 좌표 정보를 이용하여 POI의 3D 위치를 추정할 수 있고, 복수의 이미지를 이용하여 추정된 3D POI 위치를 최적화할 수 있다.These embodiments can estimate the 3D location of a POI using one image and the outer coordinate information of a building, and optimize the estimated 3D POI location using multiple images.
본 실시예에 따른 컴퓨터 장치(200)에는 컴퓨터로 구현된 3D 지도 생성 시스템이 구성될 수 있다. 일례로, 3D 지도 생성 시스템은 독립적으로 동작하는 프로그램 형태로 구현되거나, 혹은 특정 어플리케이션의 인-앱(in-app) 형태로 구성되어 상기 특정 어플리케이션 상에서 동작이 가능하도록 구현될 수 있다.The
컴퓨터 장치(200)의 프로세서(220)는 이하의 3D 지도 생성 방법을 수행하기 위한 구성요소로 구현될 수 있다. 실시예에 따라 프로세서(220)의 구성요소들은 선택적으로 프로세서(220)에 포함되거나 제외될 수도 있다. 또한, 실시예에 따라 프로세서(220)의 구성요소들은 프로세서(220)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.The
이러한 프로세서(220) 및 프로세서(220)의 구성요소들은 이하의 3D 지도 생성 방법이 포함하는 단계들을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다. 예를 들어, 프로세서(220) 및 프로세서(220)의 구성요소들은 메모리(210)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.The
여기서, 프로세서(220)의 구성요소들은 컴퓨터 장치(200)에 저장된 프로그램 코드가 제공하는 명령에 따라 프로세서(220)에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다.Here, the components of the
프로세서(220)는 컴퓨터 장치(200)의 제어와 관련된 명령이 로딩된 메모리(210)로부터 필요한 명령을 읽어들일 수 있다. 이 경우, 상기 읽어들인 명령은 프로세서(220)가 이후 설명될 단계들을 실행하도록 제어하기 위한 명령을 포함할 수 있다.The
이후 설명될 3D 지도 생성 방법이 포함하는 단계들은 도시된 순서와 다른 순서로 수행될 수 있으며, 단계들 중 일부가 생략되거나 추가의 과정이 더 포함될 수 있다.Steps included in the 3D map generation method to be described later may be performed in an order different from the order shown, and some of the steps may be omitted or additional processes may be included.
3D 지도 생성 방법이 포함하는 단계들은 서버(150)에서 수행될 수 있으며, 실시예에 따라서는 단계들 중 적어도 일부가 전자 기기(110, 120, 130, 140 중 어느 하나)에서 수행되는 것 또한 가능하다.The steps included in the 3D map generation method may be performed in the
도 3은 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 방법의 일례를 도시한 흐름도이다.Figure 3 is a flowchart showing an example of a method that can be performed by a computer device according to an embodiment of the present invention.
도 3을 참조하면, 단계(S310)에서 프로세서(220)는 적어도 하나의 건물이 촬영된 영상이 주어지는 경우 해당 영상에서 간판 폴리곤(polygon)을 검출할 수 있다. 프로세서(220)는 주어진 영상에 간판 검출기를 적용하여 폴리곤 형태의 간판 영역을 검출할 수 있다. 일례로, 프로세서(220)는 사전에 수집된 간판 이미지 셋을 딥러닝(deep learning) 기반으로 학습한 기계 학습 모델을 통해 영상으로부터 간판 영역을 검출할 수 있다. 다양한 형태나 종류의 간판이 촬영된 이미지를 훈련 데이터로 하여 학습함으로써 기계 학습 모델을 구축할 수 있고 이러한 기계 학습 모델을 통해 영상 내에서 간판 영역을 검출할 수 있다.Referring to FIG. 3, in step S310, when an image in which at least one building is captured is given, the
단계(S320)에서 프로세서(220)는 주어진 영상을 기초로 3D 건물 형상 정보를 생성할 수 있다. 영상의 포즈 정보가 SfM(structure from motion) 등의 3차원 복원 기술로 생성된 경우, 건물에 대한 3D 포인트가 존재할 수 있으며 해당 정보를 이용하여 3D 건물 형상 정보를 생성할 수 있다. 3D 건물 형상 정보를 생성하는 구체적인 과정에 대해서는 이하에서 설명하기로 한다.In step S320, the
단계(S330)에서 프로세서(220)는 영상의 위치 정보와 3D 건물 형상 정보를 이용하여 간판 영역의 3D 위치를 계산할 수 있다. 본 실시예들은 간판 및 POI의 3D 지도를 생성하기 위해 영상의 위치 정보와 3D 건물 형상 정보를 이용할 수 있다. 프로세서(220)는 영상을 촬영한 카메라의 초점으로부터 해당 영상에서 검출된 간판 영역 폴리곤의 각 꼭지점까지의 거리를 계산하는 방식을 통해 간판 영역의 3D 위치를 계산할 수 있다. 간판 영역의 3D 위치를 계산하는 구체적인 과정에 대해서는 이하에서 설명하기로 한다.In step S330, the
단계(S340)에서 프로세서(220)는 간판 영역의 3D 위치를 기초로 POI의 3D 위치를 계산할 수 있다. 다시 말해, 프로세서(220)는 간판 영역의 3D 위치에서 중심점을 해당 간판에 대응되는 POI의 3D 위치로 계산할 수 있다. 그리고, 프로세서(220)는 간판 영역에 OCR(optical character recognition) 등의 문자 인식 기술을 적용하여 POI의 부가 정보를 생성할 수 있다. 일례로, 프로세서(220)는 간판 영역에 포함된 상호명을 인식하여 해당 POI의 부가 정보로 활용할 수 있다. 더 나아가, 프로세서(220)는 간판 영역이 검출된 영상의 위치 정보와 해당 간판 영역에서 인식된 상호명을 이용한 검색을 통해 POI에 대한 인터넷 상의 정보(예를 들어, POI에 등록된 후기나 별점 등)를 부가 정보로서 획득할 수 있다.In step S340, the
단계(S350)에서 프로세서(220)는 단계(S330)에서 계산된 간판 영역의 3D 위치와 단계(S340)에서 계산된 POI의 3D 위치를 지도 데이터베이스에 등록함으로써 간판 및 POI의 3D 지도를 생성할 수 있다.In step S350, the
도 4는 본 발명의 일실시예에 있어서 3D 건물 형상 정보를 생성하는 과정을 설명하기 위한 예시 도면이다.Figure 4 is an example diagram for explaining the process of generating 3D building shape information in one embodiment of the present invention.
영상의 포즈 정보가 SfM과 같은 3차원 복원 기술로 생성된 경우, 건물에 대한 3D 포인트가 존재할 수 있다. 프로세서(220)는 건물에 대한 3D 포인트를 이용하여 3D 건물 형상 정보를 생성할 수 있다.If the pose information of the image is generated using a 3D restoration technology such as SfM, 3D points for the building may exist. The
도 4를 참조하면, 프로세서(220)는 주어진 영상과 대응되는 위치에 대해 지도에서 서비스되고 있는 건물의 외곽 좌표 정보(401)에 임의의 높이를 추가하여 3D 건물 형상 정보(402)를 생성할 수 있다.Referring to FIG. 4, the
간판은 행인을 대상으로 홍보 목적이 있기 때문에 설정된 임의의 높이가 충분한 경우 실제 건물의 높이와 달라도 3D POI 위치를 계산하는데 문제가 없다. 도 4의 왼쪽 도면은 경기도 성남시 분당구 이매동 지역에 대해 네이버 지도에서 다운로드한 건물의 외곽 좌표 정보(401)를 나타내고 있으며, 오른쪽 도면은 건물의 외곽 좌표 정보(401)에 임의의 높이를 설정하여 생성한 3D 건물 형상 정보(402)를 나타내고 있다.Since the sign has the purpose of advertising to passers-by, if the arbitrary height set is sufficient, there is no problem in calculating the 3D POI location even if it is different from the height of the actual building. The left drawing of Figure 4 shows the building's outer coordinate information (401) downloaded from Naver Map for the Imae-dong area, Bundang-gu, Seongnam-si, Gyeonggi-do, and the right drawing shows the building's outer coordinate information (401) created by setting a random height. It represents 3D
도 5 내지 도 6은 본 발명의 일실시예에 있어서 간판 영역의 3D 위치를 계산하는 과정을 설명하기 위한 예시 도면이다.Figures 5 and 6 are exemplary diagrams for explaining the process of calculating the 3D position of a sign area in one embodiment of the present invention.
도 5를 참조하면, 프로세서(220)는 지도에서 서비스되는 거리뷰 영상(501)이 주어지는 경우 거리뷰 영상(501)에서 간판 영역(50)을 검출한 후 간판 영역(50) 각각에 대하여 해당 간판 영역(50)의 3D 위치를 계산할 수 있다.Referring to FIG. 5, when a street view image 501 serviced on a map is given, the
프로세서(220)는 영상을 촬영한 카메라의 초점으로부터 해당 영상에서 검출된 간판 영역 폴리곤의 각 꼭지점을 향해 광선(ray)을 캐스팅(casting)하여 3D 건물 형상 정보와 교차하는 지점을 계산함으로써 해당 간판 영역의 3D 위치를 계산할 수 있다.The
영상의 초점거리를 , 주점(principle point)를 라 할 때, 영상에서 검출된 간판 폴리곤의 한 꼭지점 의 3차원 위치는 원점 으로부터 방향으로 캐스팅한 광선 및 3D 건물 형상 정보와 만나는 지점으로 계산될 수 있다.The focal length of the video , the principle point When , one vertex of the sign polygon detected in the image The 3D position of is the origin from It can be calculated as the point where a ray cast in a direction meets the 3D building shape information.
프로세서(220)는 간판 영역이 포함된 건물의 외곽 좌표 정보에 의해 생성된 3D 건물 형상 정보를 영상과 동일한 뷰(view)로 렌더링하여 간판 영역 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산할 수 있고, 이때 깊이 정보를 이용하여 간판 폴리곤의 3D 위치를 계산할 수 있다.The
도 6에서 p는 영상에서 검출한 간판 영역 폴리곤의 꼭지점 중 한 점을 의미한다. 점 p는 해당 영상을 촬영한 카메라 센서(점선 사각형으로 표시됨) 위에 존재하며 2차원의 영상 좌표계에서 p의 좌표가 로 주어진다.In Figure 6, p refers to one of the vertices of the sign area polygon detected in the image. Point p exists on the camera sensor that captured the image (indicated by a dotted square), and the coordinates of p in the two-dimensional image coordinate system are is given as
통상적으로 영상 좌표계는 4개 모서리 중 한 점을 원점으로 하며, 카메라 센서의 중심점 c의 좌표를 로 표기한다. 여기서, 와 의 값은 캘리브레이션을 통해 추정할 수 있다.Typically, the image coordinate system has one of the four corners as the origin, and the coordinates of the center point c of the camera sensor are It is written as here, and The value of can be estimated through calibration.
카메라의 초점 o을 원점으로 하는 3차원의 카메라 좌표계에서 점 p의 좌표는 로 표현된다. 핀홀 카메라 모델에 따라 카메라 센서의 점 p에 투사된 빛은 카메라의 초점을 지나기 때문에 점 p에 투사된 피사체의 실제 위치는 에서 o를 향해 투사한 직선 (점선 화살표로 표시됨) 위에 존재한다.The coordinates of point p in a three-dimensional camera coordinate system with the camera's focus o as the origin are It is expressed as Depending on the pinhole camera model, the light projected at point p on the camera sensor passes through the camera's focus, so the actual position of the object projected at point p is A straight line projected from to o (indicated by the dotted arrow) is present above.
모든 간판은 건물에 존재하기 때문에 간판 폴리곤 꼭지점의 실제 위치는 과 3D 건물 형상 정보의 교차점으로 계산될 수 있다.Since all signs exist on buildings, the actual location of the sign polygon vertex is It can be calculated as the intersection of and 3D building shape information.
도 7은 본 발명의 일실시예에 있어서 간판 영역의 3D 위치를 최적화하는 과정을 설명하기 위한 예시 도면이다.Figure 7 is an example diagram for explaining the process of optimizing the 3D position of the sign area in one embodiment of the present invention.
프로세서(220)는 복수의 영상과 3D 건물 형상 정보를 통해 간판 폴리곤의 3D 위치를 계산함으로써 각 간판의 3D 위치를 최적화할 수 있다.The
도 7을 참조하면, 프로세서(220)는 동일한 POI에 대해 3D 위치 추정이 복수의 영상(501, 502)에서 수행된 경우 복수의 영상(501, 502)을 이용해 3D POI 위치를 최적화할 수 있다. 일례로, 프로세서(220)는 복수의 영상(501, 502)에서 검출된 간판 영역 간의 로컬 피처 매칭(local feature matching)을 통해 최적의 3D POI 위치 정보를 결정할 수 있다.Referring to FIG. 7, when 3D position estimation for the same POI is performed on a plurality of images 501 and 502, the
프로세서(220)는 복수의 영상(501, 502)에서 검출된 간판 영역에서 각 간판 고유의 특성을 표현하는 피처 벡터(feature vector, f)를 추출할 수 있다. 두 영상에서 검출된 간판 영역의 피처 벡터 f의 코사인 유사도가 최대가 되며 그 값이 특정 임계치(threshold) 이상인 2개의 간판 영역 쌍은 서로 동일한 POI를 가리킨다고 볼 수 있다.The
프로세서(220)는 복수의 영상에서 검출된 동일한 POI를 가리키는 간판 영역에서 로컬 피처를 로컬 피처 매칭을 수행할 수 있다. 로컬 피처는 영상에서 코너와 같이 다른 위치와 구분되는 지점에서 추출된다. 각 지점에서 주변 픽셀 값의 분포를 이용하여 해당 지점을 묘사하는 피처 벡터를 생성한다. 로컬 피처 추출은 SURF(speed-up robust feature)와 같은 특징점 매칭 기법이나 딥러닝 기반의 방법을 모두 사용할 수 있다.The
피처 매칭은 서로 유사한 로컬 피처의 매칭 쌍을 찾는 과정을 의미한다. 두 영상 와 에서 추정한 로컬 피처 와 에 대해 가능한 모든 개의 피처 쌍을 조사하여 유효한 매칭 쌍을 찾는다. 유효한 매칭 쌍 은 대해 중 가장 유사한 로컬 피처가 과 가장 유사해야 하며, 다른 매칭 쌍들을 이용해 찾은 호모그래피(homography)로 표현되는 영상 간의 좌표 변환이 에 대해서도 유효해야 한다. 피처 매칭 과정은 상기 설명한 방법 외에도 딥러닝 기반의 방법을 적용하는 것 또한 가능하다.Feature matching refers to the process of finding matching pairs of local features that are similar to each other. two videos and Local features estimated from and everything possible about Examine feature pairs to find valid matching pairs. valid matching pair silver about The most similar local feature is It must be most similar to , and the coordinate transformation between images expressed by homography found using other matching pairs is It should also be valid for . In addition to the method described above, the feature matching process can also apply a deep learning-based method.
프로세서(220)는 매칭된 로컬 피처를 기초로 삼각화(triangulation)를 수행하여 로컬 피처의 3D 위치를 계산할 수 있다. 복수의 영상에서 하나의 실제 위치 점 를 가리키는 다수의 로컬 피처 를 상기 과정을 통해 찾는다면, 을 이용하여 를 찾을 수 있다. 점 는 각 영상으로 투영할 수 있으며 투영된 위치 와 간의 오차를 계산할 수 있다. 최적화 과정을 통해 오차의 총 합이 최소가 되는 최적의 를 찾아 이를 해당 로컬 피처의 3D 위치로 계산한다.The
결과적으로, 프로세서(220)는 로컬 피처의 중심점 위치를 최적의 3D POI 위치로 계산할 수 있다.As a result, the
도 8 내지 도 9는 본 발명의 일실시예에 있어서 간판 및 POI의 3D 지도 예시를 도시한 것이다.Figures 8 and 9 show examples of 3D maps of signboards and POIs in one embodiment of the present invention.
예를 들어, 도 8은 경기도 성남시 이매동 지역에 대해 POI의 3D 지도(800)를 생성한 결과를 나타내고 있다. 프로세서(220)는 각 POI(80)에 부가적으로 3차원 위치 정보(801)를 UTM(universal transverse Mercator) 좌표계로 표현할 수 있다.For example, Figure 8 shows the results of generating a
도 9는 상기한 과정을 통해 계산된 3D POI 위치에 간판 폴리곤(901)을 렌더링한 결과(900)를 나타내고 있다.Figure 9 shows the result 900 of rendering the sign polygon 901 at the 3D POI location calculated through the above process.
본 실시예들은 건물의 외곽 좌표 정보를 이용하여 POI의 정확한 3D 위치를 추정할 수 있으며, 건물의 외곽 좌표 정보를 이용하여 POI의 3D 위치를 추정함에 따라 건물에 POI의 3D 위치를 잘 정렬하여 보여줄 수 있다. 예를 들어, 증강현실(AR)이나 가상현실(VR) 등의 환경에서 사용자가 찾고자 하는 POI의 간판 또는 바라보고 있는 간판을 강조하여(highlight) 보여줄 수 있고, 해당 POI에 등록된 후기, 별점 등의 부가 정보를 함께 보여줄 수 있다.These embodiments can estimate the exact 3D position of the POI using the outer coordinate information of the building, and by estimating the 3D position of the POI using the outer coordinate information of the building, the 3D position of the POI can be well aligned and displayed in the building. You can. For example, in environments such as augmented reality (AR) or virtual reality (VR), the signboard of the POI that the user is looking for or the signboard that the user is looking at can be highlighted and displayed, as well as reviews, ratings, etc. registered for the POI. Additional information can be displayed together.
이처럼 본 발명의 실시예들에 따르면, 건물의 외곽 좌표 정보를 이용함으로써 거리 정보가 없는 경우라 하더라도 POI의 정확한 3D 위치를 추정할 수 있다. 본 발명의 실시예들에 따르면, 건물의 외곽 좌표 정보를 이용하여 POI의 3D 위치를 추정함으로써 건물에 잘 정렬된 3D POI 위치를 제공할 수 있다. 본 발명의 실시예들에 따르면, 복수의 이미지를 이용하여 3D POI 위치를 보정함으로써 3D POI 위치를 최적화할 수 있다.In this way, according to embodiments of the present invention, the accurate 3D location of a POI can be estimated by using the outer coordinate information of the building even if there is no distance information. According to embodiments of the present invention, it is possible to provide a well-aligned 3D POI location in a building by estimating the 3D location of the POI using the outer coordinate information of the building. According to embodiments of the present invention, the 3D POI location can be optimized by correcting the 3D POI location using a plurality of images.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, the devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU). It may be implemented using one or more general-purpose or special-purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. The software and/or data may be embodied in any type of machine, component, physical device, computer storage medium or device for the purpose of being interpreted by or providing instructions or data to the processing device. there is. Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. At this time, the medium may continuously store a computer-executable program, or temporarily store it for execution or download. In addition, the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites or servers that supply or distribute various other software, etc.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims also fall within the scope of the claims described below.
Claims (20)
상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
상기 3D 지도 생성 방법은,
상기 적어도 하나의 프로세서에 의해, 주어진 영상에서 간판 영역을 검출하는 단계;
상기 적어도 하나의 프로세서에 의해, 상기 영상을 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계;
상기 적어도 하나의 프로세서에 의해, 상기 간판 영역의 3D 위치를 기초로 POI의 3D 위치를 계산하는 단계; 및
상기 적어도 하나의 프로세서에 의해, 지도 데이터베이스에 상기 간판 영역의 3D 위치와 상기 POI의 3D 위치를 등록하여 간판 및 POI의 3D 지도를 생성하는 단계
를 포함하는 3D 지도 생성 방법.In a method of generating a 3D map executed on a computer device,
The computer device includes at least one processor configured to execute computer-readable instructions contained in a memory,
The method of generating the 3D map is,
detecting, by the at least one processor, a sign area in a given image;
calculating, by the at least one processor, a 3D location of the sign area using the image;
calculating, by the at least one processor, a 3D location of a POI based on the 3D location of the sign area; and
Registering, by the at least one processor, the 3D location of the sign area and the 3D location of the POI in a map database to generate a 3D map of the sign and POI
A 3D map generation method including.
상기 간판 영역의 3D 위치를 계산하는 단계는,
상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하는 단계; 및
상기 영상의 위치 정보와 상기 3D 건물 형상 정보를 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계
를 포함하는 3D 지도 생성 방법.According to paragraph 1,
The step of calculating the 3D position of the sign area is,
Generating 3D building shape information using outer coordinate information of the building including the sign area; and
Calculating the 3D location of the sign area using the location information of the image and the 3D building shape information.
A 3D map generation method including.
상기 간판 영역의 3D 위치를 계산하는 단계는,
상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하는 단계; 및
상기 영상의 카메라 초점으로부터 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점을 향해 캐스팅된 광선이 상기 3D 건물 형상 정보와 교차하는 지점을 계산함으로써 상기 간판 영역의 3D 위치를 계산하는 단계
를 포함하는 3D 지도 생성 방법.According to paragraph 1,
The step of calculating the 3D position of the sign area is,
Generating 3D building shape information using outer coordinate information of the building including the sign area; and
Calculating the 3D location of the sign area by calculating the point where a ray cast from the camera focus of the image toward each vertex of the sign polygon representing the sign area intersects the 3D building shape information.
A 3D map generation method including.
상기 간판 영역의 3D 위치를 계산하는 단계는,
상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하는 단계;
상기 3D 건물 형상 정보를 이용하여 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산하는 단계; 및
상기 깊이 정보를 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계
를 포함하는 3D 지도 생성 방법.According to paragraph 1,
The step of calculating the 3D position of the sign area is,
Generating 3D building shape information using outer coordinate information of the building including the sign area;
calculating depth information of a pixel where each vertex of a sign polygon representing the sign area is located using the 3D building shape information; and
Calculating the 3D location of the sign area using the depth information
A 3D map generation method including.
상기 3D 건물 형상 정보를 생성하는 단계는,
상기 건물의 외곽 좌표 정보에 임의의 높이를 추가하여 상기 3D 건물 형상 정보를 생성하는 것
을 특징으로 하는 3D 지도 생성 방법.According to clause 4,
The step of generating the 3D building shape information is,
Generating the 3D building shape information by adding a random height to the outer coordinate information of the building
A 3D map generation method featuring .
상기 픽셀의 깊이 정보를 계산하는 단계는,
상기 3D 건물 형상 정보를 상기 영상과 동일한 뷰(view)로 렌더링하여 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산하는 것
을 특징으로 하는 3D 지도 생성 방법.According to clause 4,
The step of calculating the depth information of the pixel is,
Rendering the 3D building shape information in the same view as the image to calculate the depth information of the pixel where each vertex of the sign polygon representing the sign area is located.
A 3D map generation method featuring .
상기 간판 영역의 3D 위치를 계산하는 단계는,
상기 간판 영역이 포함된 복수의 영상을 이용하여 상기 간판 영역의 3D 위치를 최적화하는 단계
를 포함하는 3D 지도 생성 방법.According to paragraph 1,
The step of calculating the 3D position of the sign area is,
Optimizing the 3D location of the sign area using a plurality of images including the sign area.
A 3D map generation method including.
상기 간판 영역의 3D 위치를 최적화하는 단계는,
상기 복수의 영상에서 검출된 간판 영역 간의 로컬 피처 매칭(local feature matching)을 통해 최적의 3D 위치를 결정하는 것
을 특징으로 하는 3D 지도 생성 방법.In clause 7,
The step of optimizing the 3D position of the sign area is,
Determining the optimal 3D location through local feature matching between sign areas detected in the plurality of images.
A 3D map generation method featuring .
상기 간판 영역의 3D 위치를 최적화하는 단계는,
상기 복수의 영상에서 검출된 동일 POI의 간판 영역에서 로컬 피처를 추출하여 피처 매칭을 수행하는 단계; 및
상기 매칭된 로컬 피처를 기초로 삼각화(triangulation)를 수행하여 상기 로컬 피처의 3D 위치를 계산하는 단계
를 포함하는 3D 지도 생성 방법.In clause 7,
The step of optimizing the 3D position of the sign area is,
Extracting local features from the signboard area of the same POI detected in the plurality of images and performing feature matching; and
Calculating the 3D location of the local feature by performing triangulation based on the matched local feature.
A 3D map generation method including.
상기 POI의 3D 위치를 계산하는 단계는,
상기 간판 영역의 3D 위치에서 중심점을 상기 POI의 3D 위치로 계산하는 것
을 특징으로 하는 3D 지도 생성 방법.According to paragraph 1,
The step of calculating the 3D location of the POI is,
Calculating the center point from the 3D location of the sign area to the 3D location of the POI
A 3D map generation method featuring .
메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서
를 포함하고,
상기 적어도 하나의 프로세서는,
주어진 영상에서 간판 영역을 검출하는 과정;
상기 영상을 이용하여 상기 간판 영역의 3D 위치를 계산하는 과정;
상기 간판 영역의 3D 위치를 기초로 POI의 3D 위치를 계산하는 과정; 및
지도 데이터베이스에 상기 간판 영역의 3D 위치와 상기 POI의 3D 위치를 등록하여 간판 및 POI의 3D 지도를 생성하는 과정
을 처리하는 컴퓨터 장치.In computer devices,
At least one processor configured to execute computer readable instructions contained in memory
Including,
The at least one processor,
The process of detecting a sign area in a given image;
Calculating the 3D location of the sign area using the image;
A process of calculating a 3D location of a POI based on the 3D location of the sign area; and
The process of generating a 3D map of the sign and POI by registering the 3D location of the sign area and the 3D position of the POI in a map database.
A computer device that processes
상기 적어도 하나의 프로세서는,
상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하고,
상기 영상의 위치 정보와 상기 3D 건물 형상 정보를 이용하여 상기 간판 영역의 3D 위치를 계산하는 것
을 특징으로 하는 컴퓨터 장치.According to clause 12,
The at least one processor,
Generate 3D building shape information using the outer coordinate information of the building including the sign area,
Calculating the 3D location of the sign area using the location information of the image and the 3D building shape information.
A computer device characterized by a.
상기 적어도 하나의 프로세서는,
상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하고,
상기 영상의 카메라 초점으로부터 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점을 향해 캐스팅된 광선이 상기 3D 건물 형상 정보와 교차하는 지점을 계산함으로써 상기 간판 영역의 3D 위치를 계산하는 것
을 특징으로 하는 컴퓨터 장치.According to clause 12,
The at least one processor,
Generate 3D building shape information using the outer coordinate information of the building including the sign area,
Calculating the 3D location of the sign area by calculating the point where a ray cast from the camera focus of the image toward each vertex of the sign polygon representing the sign area intersects the 3D building shape information.
A computer device characterized by a.
상기 적어도 하나의 프로세서는,
상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하고,
상기 3D 건물 형상 정보를 이용하여 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산하고,
상기 깊이 정보를 이용하여 상기 간판 영역의 3D 위치를 계산하는 것
을 특징으로 하는 컴퓨터 장치.According to clause 12,
The at least one processor,
Generate 3D building shape information using the outer coordinate information of the building including the sign area,
Using the 3D building shape information, calculate the depth information of the pixel where each vertex of the sign polygon representing the sign area is located,
Calculating the 3D location of the sign area using the depth information
A computer device characterized by a.
상기 적어도 하나의 프로세서는,
상기 건물의 외곽 좌표 정보에 임의의 높이를 추가하여 상기 3D 건물 형상 정보를 생성하는 것
을 특징으로 하는 컴퓨터 장치.According to clause 15,
The at least one processor,
Generating the 3D building shape information by adding a random height to the outer coordinate information of the building
A computer device characterized by a.
상기 적어도 하나의 프로세서는,
상기 3D 건물 형상 정보를 상기 영상과 동일한 뷰로 렌더링하여 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산하는 것
을 특징으로 하는 컴퓨터 장치.According to clause 15,
The at least one processor,
Rendering the 3D building shape information in the same view as the image to calculate the depth information of the pixel where each vertex of the sign polygon representing the sign area is located.
A computer device characterized by a.
상기 적어도 하나의 프로세서는,
상기 간판 영역이 포함된 복수의 영상을 이용하여 상기 간판 영역의 3D 위치를 최적화하는 것
을 특징으로 하는 컴퓨터 장치.According to clause 12,
The at least one processor,
Optimizing the 3D location of the sign area using a plurality of images containing the sign area.
A computer device characterized by a.
상기 적어도 하나의 프로세서는,
상기 복수의 영상에서 검출된 간판 영역 간의 로컬 피처 매칭을 통해 최적의 3D 위치를 결정하는 것
을 특징으로 하는 컴퓨터 장치.According to clause 18,
The at least one processor,
Determining the optimal 3D location through local feature matching between signboard areas detected in the plurality of images.
A computer device characterized by a.
상기 적어도 하나의 프로세서는,
상기 복수의 영상에서 검출된 동일 POI의 간판 영역에서 로컬 피처를 추출하여 피처 매칭을 수행하고,
상기 매칭된 로컬 피처를 기초로 삼각화를 수행하여 상기 로컬 피처의 3D 위치를 계산하고,
상기 간판 영역의 3D 위치인 상기 로컬 피처의 3D 위치에서 중심점을 상기 POI의 3D 위치로 계산하는 것
을 특징으로 하는 컴퓨터 장치.According to clause 18,
The at least one processor,
Perform feature matching by extracting local features from the signboard area of the same POI detected in the plurality of images,
Perform triangulation based on the matched local features to calculate the 3D location of the local features,
Calculating the center point from the 3D location of the local feature, which is the 3D location of the sign area, to the 3D location of the POI
A computer device characterized by a.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220133077A KR20240053224A (en) | 2022-10-17 | 2022-10-17 | Method, computer device, and computer program to create 3d map using building shape information |
PCT/KR2023/013780 WO2024085450A1 (en) | 2022-10-17 | 2023-09-14 | Method, computer device, and computer program for generating 3d map by using building geometry information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220133077A KR20240053224A (en) | 2022-10-17 | 2022-10-17 | Method, computer device, and computer program to create 3d map using building shape information |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240053224A true KR20240053224A (en) | 2024-04-24 |
Family
ID=90737935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220133077A KR20240053224A (en) | 2022-10-17 | 2022-10-17 | Method, computer device, and computer program to create 3d map using building shape information |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20240053224A (en) |
WO (1) | WO2024085450A1 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170045919A (en) * | 2015-10-20 | 2017-04-28 | 주식회사 카카오 | Method, server and computer readable recording medium for dynamically wrapping poi image in three dimensional map |
KR101868125B1 (en) * | 2016-11-16 | 2018-06-18 | 홍익대학교 산학협력단 | Method and server for Correcting GPS Position in downtown environment using street view service |
KR102234461B1 (en) * | 2019-08-12 | 2021-04-01 | 네이버랩스 주식회사 | Method and system for generating depth information of street view image using 2d map |
KR102189926B1 (en) * | 2020-03-30 | 2020-12-11 | 네이버랩스 주식회사 | Method and system for detecting change point of interest |
KR20220049304A (en) * | 2020-10-14 | 2022-04-21 | 삼성전자주식회사 | Method for updating a 3D map using an image and an electronic device supporting the same |
-
2022
- 2022-10-17 KR KR1020220133077A patent/KR20240053224A/en not_active Application Discontinuation
-
2023
- 2023-09-14 WO PCT/KR2023/013780 patent/WO2024085450A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024085450A1 (en) | 2024-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11393173B2 (en) | Mobile augmented reality system | |
CN111325796B (en) | Method and apparatus for determining pose of vision equipment | |
KR100932634B1 (en) | 3D web map service method and system using augmented reality | |
US10121099B2 (en) | Information processing method and system | |
CN111046125A (en) | Visual positioning method, system and computer readable storage medium | |
US11842514B1 (en) | Determining a pose of an object from rgb-d images | |
US10445772B1 (en) | Label placement based on objects in photographic images | |
CN112435338B (en) | Method and device for acquiring position of interest point of electronic map and electronic equipment | |
KR102218881B1 (en) | Method and system for determining position of vehicle | |
CN111459269B (en) | Augmented reality display method, system and computer readable storage medium | |
US10229543B2 (en) | Information processing device, information superimposed image display device, non-transitory computer readable medium recorded with marker display program, non-transitory computer readable medium recorded with information superimposed image display program, marker display method, and information-superimposed image display method | |
CN110926478B (en) | AR navigation route deviation rectifying method and system and computer readable storage medium | |
US20180247122A1 (en) | Method and system of providing information pertaining to objects within premises | |
US11657568B2 (en) | Methods and systems for augmented reality tracking based on volumetric feature descriptor data | |
KR102150954B1 (en) | Apparatus and method for processing point cloud | |
Bae et al. | Fast and scalable 3D cyber-physical modeling for high-precision mobile augmented reality systems | |
JP5837404B2 (en) | Image processing apparatus and image processing method | |
KR20240053224A (en) | Method, computer device, and computer program to create 3d map using building shape information | |
CN111383337A (en) | Method and device for identifying objects | |
McClean | An Augmented Reality System for Urban Environments using a Planar Building Fa cade Model | |
KR20240083448A (en) | Method, computer device, and computer program to detect polygonal signs based on deep learning | |
US9245192B2 (en) | Ad collateral detection | |
KR102575743B1 (en) | Method and system for image translation | |
US20240062541A1 (en) | Detection system, detection method, and recording medium | |
KR101779978B1 (en) | Method and apparatus for providing virtual image for changed space based on VR(virtual reality) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |