WO2024085450A1 - 건물 형상 정보를 이용하여 3d 지도를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 - Google Patents

건물 형상 정보를 이용하여 3d 지도를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2024085450A1
WO2024085450A1 PCT/KR2023/013780 KR2023013780W WO2024085450A1 WO 2024085450 A1 WO2024085450 A1 WO 2024085450A1 KR 2023013780 W KR2023013780 W KR 2023013780W WO 2024085450 A1 WO2024085450 A1 WO 2024085450A1
Authority
WO
WIPO (PCT)
Prior art keywords
location
sign
sign area
calculating
area
Prior art date
Application number
PCT/KR2023/013780
Other languages
English (en)
French (fr)
Inventor
윤재성
주명호
이동환
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Publication of WO2024085450A1 publication Critical patent/WO2024085450A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the description below relates to technology for creating 3D maps of signs and POIs (points of interest).
  • Technology that provides a 3D map representing real-time POIs receives terminal viewpoint information and provides a 3D map including POIs to the terminal based on the received terminal viewpoint information.
  • a POI can be displayed by displaying the name of the POI in an area adjacent to the 3D building model corresponding to the POI.
  • a variety of services can be provided using 3D maps.
  • Korea Patent Publication No. 10-2013-0137076 (published on December 16, 2013) describes a technology that provides a 3D map showing areas of interest in real time. It has been disclosed.
  • the computer device includes at least one processor configured to execute computer readable instructions included in a memory, and the 3D map generating method is performed by the at least one processor. , detecting a sign area in a given image; calculating, by the at least one processor, a 3D location of the sign area using the image; calculating, by the at least one processor, a 3D location of a POI based on the 3D location of the sign area; and registering the 3D location of the sign area and the 3D position of the POI in a map database, by the at least one processor, to generate a 3D map of the sign and the POI.
  • calculating the 3D location of the sign area includes generating 3D building shape information using outer coordinate information of a building including the sign area; And it may include calculating the 3D location of the sign area using the location information of the image and the 3D building shape information.
  • calculating the 3D location of the sign area includes generating 3D building shape information using outer coordinate information of a building including the sign area; And calculating the 3D location of the sign area by calculating the point where a ray cast from the camera focus of the image toward each vertex of the sign polygon representing the sign area intersects the 3D building shape information. .
  • calculating the 3D location of the sign area includes generating 3D building shape information using outer coordinate information of a building including the sign area; calculating depth information of a pixel where each vertex of a sign polygon representing the sign area is located using the 3D building shape information; And it may include calculating the 3D location of the sign area using the depth information.
  • the step of generating the 3D building shape information may generate the 3D building shape information by adding a random height to the outer coordinate information of the building.
  • the step of calculating the depth information of the pixel includes rendering the 3D building shape information in the same view as the image to calculate the depth of the pixel at which each vertex of the sign polygon representing the sign area is located. Information can be calculated.
  • calculating the 3D position of the sign area may include optimizing the 3D position of the sign area using a plurality of images including the sign area.
  • the step of optimizing the 3D position of the sign area may determine the optimal 3D position through local feature matching between the sign areas detected in the plurality of images.
  • optimizing the 3D location of the sign area includes extracting local features from the sign area of the same POI detected in the plurality of images and performing feature matching; And it may include calculating the 3D position of the local feature by performing triangulation based on the matched local feature.
  • the step of calculating the 3D location of the POI may include calculating a center point in the 3D location of the sign area as the 3D location of the POI.
  • a computer program stored in a computer-readable recording medium is provided to execute the 3D map generation method on a computer.
  • a computer device comprising: at least one processor configured to execute computer readable instructions included in a memory, the at least one processor comprising: detecting a sign area in a given image; Calculating the 3D location of the sign area using the image; A process of calculating a 3D location of a POI based on the 3D location of the sign area; and a computer device that processes the process of generating a 3D map of the sign and POI by registering the 3D location of the sign area and the 3D position of the POI in a map database.
  • the accurate 3D location of a POI can be estimated by using the outer coordinate information of the building even when there is no distance information.
  • the 3D POI location can be optimized by correcting the 3D POI location using a plurality of images.
  • FIG. 1 is a diagram illustrating an example of a network environment according to an embodiment of the present invention.
  • Figure 2 is a block diagram showing an example of a computer device according to an embodiment of the present invention.
  • Figure 3 is a flowchart showing an example of a method that can be performed by a computer device according to an embodiment of the present invention.
  • Figure 4 is an example diagram for explaining the process of generating 3D building shape information in one embodiment of the present invention.
  • Figures 5 and 6 are exemplary diagrams for explaining the process of calculating the 3D position of a sign area in one embodiment of the present invention.
  • Figure 7 is an example diagram for explaining the process of optimizing the 3D position of the sign area in one embodiment of the present invention.
  • Figures 8 and 9 show examples of 3D maps of signboards and POIs in one embodiment of the present invention.
  • Embodiments of the present invention relate to technology for generating 3D maps of signs and POIs.
  • Embodiments including those specifically disclosed in this specification can estimate more accurate POI location information using one image and the outer coordinate information of a building.
  • the 3D map generating system may be implemented by at least one computer device, and the 3D map generating method according to embodiments of the present invention may be implemented by at least one computer device included in the 3D map generating system. It can be performed through .
  • the computer program according to an embodiment of the present invention may be installed and driven in the computer device, and the computer device may perform the 3D map generation method according to the embodiments of the present invention under the control of the driven computer program.
  • the above-described computer program can be combined with a computer device and stored in a computer-readable recording medium to execute the 3D map generation method on the computer.
  • FIG. 1 is a diagram illustrating an example of a network environment according to an embodiment of the present invention.
  • the network environment in FIG. 1 shows an example including a plurality of electronic devices 110, 120, 130, and 140, a plurality of servers 150 and 160, and a network 170.
  • Figure 1 is an example for explaining the invention, and the number of electronic devices or servers is not limited as in Figure 1.
  • the network environment in FIG. 1 only explains one example of environments applicable to the present embodiments, and the environment applicable to the present embodiments is not limited to the network environment in FIG. 1.
  • the plurality of electronic devices 110, 120, 130, and 140 may be fixed terminals or mobile terminals implemented as computer devices. Examples of the plurality of electronic devices 110, 120, 130, and 140 include smart phones, mobile phones, navigation devices, computers, laptops, digital broadcasting terminals, PDAs (Personal Digital Assistants), and PMPs (Portable Multimedia Players). ), tablet PC, etc.
  • the shape of a smartphone is shown as an example of the electronic device 110.
  • the electronic device 110 actually communicates with other devices through the network 170 using a wireless or wired communication method. It may refer to one of various physical computer devices capable of communicating with electronic devices 120, 130, 140 and/or servers 150, 160.
  • the communication method is not limited, and may include not only a communication method utilizing a communication network that the network 170 may include (for example, a mobile communication network, wired Internet, wireless Internet, and a broadcast network), but also short-range wireless communication between devices.
  • the network 170 may include a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), and a broadband network (BBN).
  • PAN personal area network
  • LAN local area network
  • CAN campus area network
  • MAN metropolitan area network
  • WAN wide area network
  • BBN broadband network
  • the network 170 may include any one or more of network topologies including a bus network, star network, ring network, mesh network, star-bus network, tree or hierarchical network, etc. Not limited.
  • Each of the servers 150 and 160 is a computer device or a plurality of computers that communicate with a plurality of electronic devices 110, 120, 130, 140 and a network 170 to provide commands, codes, files, content, services, etc. It can be implemented with devices.
  • the server 150 may be a system that provides a service (eg, a map service, etc.) to a plurality of electronic devices 110, 120, 130, and 140 connected through the network 170.
  • FIG. 2 is a block diagram showing an example of a computer device according to an embodiment of the present invention.
  • Each of the plurality of electronic devices 110, 120, 130, and 140 described above or each of the servers 150 and 160 may be implemented by the computer device 200 shown in FIG. 2.
  • this computer device 200 may include a memory 210, a processor 220, a communication interface 230, and an input/output interface 240.
  • the memory 210 is a computer-readable recording medium and may include a non-permanent mass storage device such as random access memory (RAM), read only memory (ROM), and a disk drive.
  • RAM random access memory
  • ROM read only memory
  • disk drive non-perishable large-capacity recording devices such as ROM and disk drives may be included in the computer device 200 as a separate permanent storage device that is distinct from the memory 210.
  • an operating system and at least one program code may be stored in the memory 210. These software components may be loaded into the memory 210 from a computer-readable recording medium separate from the memory 210.
  • Such separate computer-readable recording media may include computer-readable recording media such as floppy drives, disks, tapes, DVD/CD-ROM drives, and memory cards.
  • software components may be loaded into the memory 210 through the communication interface 230 rather than a computer-readable recording medium.
  • software components may be loaded into memory 210 of computer device 200 based on a computer program being installed by files received over network 170.
  • the processor 220 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. Commands may be provided to the processor 220 by the memory 210 or the communication interface 230. For example, processor 220 may be configured to execute received instructions according to program code stored in a recording device such as memory 210.
  • the communication interface 230 may provide a function for the computer device 200 to communicate with other devices (eg, the storage devices described above) through the network 170. For example, a request, command, data, file, etc. generated by the processor 220 of the computer device 200 according to a program code stored in a recording device such as memory 210 is transmitted to the network ( 170) and can be transmitted to other devices. Conversely, signals, commands, data, files, etc. from other devices may be received by the computer device 200 through the communication interface 230 of the computer device 200 via the network 170. Signals, commands, data, etc. received through the communication interface 230 may be transmitted to the processor 220 or memory 210, and files, etc. may be stored in a storage medium (as described above) that the computer device 200 may further include. It can be stored as a permanent storage device).
  • a storage medium as described above
  • the input/output interface 240 may be a means for interfacing with the input/output device 250.
  • input devices may include devices such as a microphone, keyboard, or mouse, and output devices may include devices such as displays and speakers.
  • the input/output interface 240 may be a means for interfacing with a device that integrates input and output functions, such as a touch screen.
  • the input/output device 250 may be configured as a single device with the computer device 200.
  • computer device 200 may include fewer or more components than those of FIG. 2 . However, there is no need to clearly show most prior art components.
  • the computer device 200 may be implemented to include at least some of the input/output devices 250 described above, or may further include other components such as a transceiver, a database, etc.
  • sign information that well represents the POI can be used, but depending on the acquisition environment of the sign information, there are many cases where there is no distance information or information is relatively insufficient compared to the image, making it difficult to estimate accurate 3D location information. there is.
  • These embodiments can estimate the 3D location of a POI using one image and the outer coordinate information of a building, and optimize the estimated 3D POI location using multiple images.
  • the computer device 200 may be configured with a 3D map generation system implemented on a computer.
  • a 3D map creation system may be implemented in the form of a program that operates independently, or may be implemented in the form of an in-app of a specific application so that it can operate on the specific application.
  • the processor 220 of the computer device 200 may be implemented as a component for performing the following 3D map generation method. Depending on the embodiment, components of the processor 220 may be selectively included in or excluded from the processor 220. Additionally, depending on the embodiment, components of the processor 220 may be separated or merged to express the functions of the processor 220.
  • the processor 220 and the components of the processor 220 can control the computer device 200 to perform the steps included in the 3D map generation method below.
  • the processor 220 and its components may be implemented to execute instructions according to the code of an operating system included in the memory 210 and the code of at least one program.
  • the components of the processor 220 may be expressions of different functions performed by the processor 220 according to instructions provided by program codes stored in the computer device 200.
  • the processor 220 may read necessary instructions from the memory 210 where instructions related to controlling the computer device 200 are loaded.
  • the read command may include an command for controlling the processor 220 to execute steps that will be described later.
  • Steps included in the 3D map generation method to be described later may be performed in an order different from the order shown, and some of the steps may be omitted or additional processes may be included.
  • the steps included in the 3D map generation method may be performed in the server 150, and depending on the embodiment, at least some of the steps may also be performed in any one of the electronic devices 110, 120, 130, and 140. do.
  • Figure 3 is a flowchart showing an example of a method that can be performed by a computer device according to an embodiment of the present invention.
  • the processor 220 may detect a sign polygon in the image.
  • the processor 220 may detect a polygon-shaped sign area by applying a sign detector to a given image.
  • the processor 220 can detect the sign area from the image through a machine learning model learned based on deep learning on a set of sign images collected in advance.
  • a machine learning model can be built by learning images of various shapes and types of signboards as training data, and through this machine learning model, signage areas can be detected within the image.
  • the processor 220 may generate 3D building shape information based on the given image. If the pose information of the image is generated using a 3D restoration technology such as SfM (structure from motion), 3D points for the building may exist, and 3D building shape information can be generated using the information. The specific process of generating 3D building shape information will be described below.
  • the processor 220 may calculate the 3D location of the sign area using the location information of the image and the 3D building shape information. These embodiments can use the location information of the image and the 3D building shape information to generate 3D maps of signs and POIs.
  • the processor 220 may calculate the 3D location of the sign area by calculating the distance from the focus of the camera that captured the image to each vertex of the sign area polygon detected in the image. The specific process of calculating the 3D position of the sign area will be described below.
  • the processor 220 may calculate the 3D location of the POI based on the 3D location of the sign area. In other words, the processor 220 may calculate the center point from the 3D position of the sign area as the 3D position of the POI corresponding to the sign. Additionally, the processor 220 may generate additional information of the POI by applying character recognition technology such as optical character recognition (OCR) to the signboard area. For example, the processor 220 may recognize the business name included in the signboard area and use it as additional information for the corresponding POI.
  • OCR optical character recognition
  • the processor 220 searches for information on the Internet about the POI (for example, reviews or ratings registered in the POI) through a search using the location information of the image in which the signboard area is detected and the business name recognized in the corresponding signboard area. can be obtained as additional information.
  • information on the Internet about the POI for example, reviews or ratings registered in the POI
  • step S350 the processor 220 registers the 3D location of the sign area calculated in step S330 and the 3D location of the POI calculated in step S340 to the map database, thereby generating a 3D map of the sign and POI. there is.
  • Figure 4 is an example diagram for explaining the process of generating 3D building shape information in one embodiment of the present invention.
  • 3D points for the building may exist.
  • the processor 220 may generate 3D building shape information using 3D points about the building.
  • the processor 220 can generate 3D building shape information 402 by adding a random height to the outer coordinate information 401 of the building being serviced on the map for the location corresponding to the given image. there is.
  • the left drawing of Figure 4 shows the building's outer coordinate information (401) downloaded from Naver Map for the Imae-dong area, Bundang-gu, Seongnam-si, Gyeonggi-do, and the right drawing shows the building's outer coordinate information (401) created by setting a random height. It represents 3D building shape information 402.
  • Figures 5 and 6 are exemplary diagrams for explaining the process of calculating the 3D position of a sign area in one embodiment of the present invention.
  • the processor 220 detects a sign area 50 in the street view image 501 and then creates a corresponding sign for each sign area 50.
  • the 3D position of area 50 can be calculated.
  • the processor 220 casts a ray from the focus of the camera that captured the image toward each vertex of the sign area polygon detected in the image and calculates the point of intersection with the 3D building shape information to determine the sign area.
  • the 3D position of can be calculated.
  • the processor 220 renders the 3D building shape information generated by the outer coordinate information of the building including the sign area into the same view as the image to calculate the depth information of the pixel where each vertex of the sign area polygon is located. And at this time, the 3D position of the sign polygon can be calculated using the depth information.
  • p refers to one of the vertices of the sign area polygon detected in the image.
  • Point p exists on the camera sensor that captured the image (indicated by a dotted square), and the coordinates of p are given as (x,y) in the two-dimensional image coordinate system.
  • the image coordinate system uses one of the four corners as the origin, and the coordinates of the center point c of the camera sensor are expressed as (c x ,c y ).
  • the values of c x and c y can be estimated through calibration.
  • the coordinates of point p are expressed as (c x -x,c y -y,-f).
  • the light projected at point p on the camera sensor passes through the focus of the camera, so the actual position of the object projected at point p is projected toward o at (c x -x,c y -y,-f) It exists on a straight line l (indicated by a dotted arrow).
  • the actual location of the sign polygon vertex can be calculated as the intersection of l and 3D building shape information.
  • Figure 7 is an example diagram for explaining the process of optimizing the 3D position of the sign area in one embodiment of the present invention.
  • the processor 220 can optimize the 3D position of each sign by calculating the 3D position of the sign polygon using a plurality of images and 3D building shape information.
  • the processor 220 may optimize the 3D POI location using the plurality of images 501 and 502. For example, the processor 220 may determine optimal 3D POI location information through local feature matching between sign areas detected in the plurality of images 501 and 502.
  • the processor 220 may extract a feature vector (f) representing the unique characteristics of each sign from the sign area detected in the plurality of images 501 and 502.
  • the cosine similarity of the feature vector f of the sign area detected in the two images is maximum, and two pairs of sign areas whose value is above a certain threshold can be considered to point to the same POI.
  • the processor 220 may perform local feature matching on local features in a signboard area pointing to the same POI detected in a plurality of images. Local features are extracted from a point in the image that is distinct from other locations, such as a corner. At each point, the distribution of surrounding pixel values is used to create a feature vector depicting that point. Local feature extraction can use both feature matching techniques such as SURF (speed-up robust feature) or deep learning-based methods.
  • SURF speed-up robust feature
  • Feature matching refers to the process of finding matching pairs of local features that are similar to each other.
  • Local features p 0 ... estimated from two images J p and J q . ,p N and q 0 ,...
  • all possible NM feature pairs are examined to find a valid matching pair.
  • a valid matching pair (p n ,q m ) is q 0 ,... for p n . ,q M , the most similar local feature must be most similar to q m , and the coordinate transformation between images expressed by homography found using other matching pairs must also be valid for (p n ,q m ).
  • the feature matching process can also apply a deep learning-based method.
  • the processor 220 may calculate the 3D location of the local feature by performing triangulation based on the matched local feature. Multiple local features p 0 ,... that point to one real location point p in multiple images. If ,p N is found through the above process, p 0 ,... You can find p using ,p N. Point p can be projected into each image and the projected position p' 0 ,... ,p' N and p 0 ,... The error between ,p N can be calculated. Through the optimization process, the optimal position where the total sum of errors is minimized is found and calculated as the 3D position of the local feature.
  • the processor 220 can calculate the location of the center point of the local feature as the optimal 3D POI location.
  • Figures 8 and 9 show examples of 3D maps of signboards and POIs in one embodiment of the present invention.
  • Figure 8 shows the results of generating a 3D map 800 of POIs for the Imae-dong area, Seongnam-si, Gyeonggi-do.
  • the processor 220 may additionally express 3D location information 801 for each POI 80 in a universal transverse mercator (UTM) coordinate system.
  • UDM universal transverse mercator
  • Figure 9 shows the result 900 of rendering the sign polygon 901 at the 3D POI location calculated through the above process.
  • These embodiments can estimate the exact 3D position of the POI using the outer coordinate information of the building, and by estimating the 3D position of the POI using the outer coordinate information of the building, the 3D position of the POI can be well aligned and displayed in the building.
  • You can.
  • the signboard of the POI that the user is looking for or the signboard that the user is looking at can be highlighted and displayed, as well as reviews, ratings, etc. registered for the POI. Additional information can be displayed together.
  • the accurate 3D location of a POI can be estimated by using the outer coordinate information of the building even if there is no distance information.
  • the 3D POI location can be optimized by correcting the 3D POI location using a plurality of images.
  • the device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU).
  • ALU arithmetic logic unit
  • FPGA field programmable gate array
  • PLU programmable logic unit
  • It may be implemented using one or more general-purpose or special-purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • the software and/or data may be embodied in any type of machine, component, physical device, computer storage medium or device for the purpose of being interpreted by or providing instructions or data to the processing device. there is.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the medium may continuously store a computer-executable program, or temporarily store it for execution or download.
  • the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites or servers that supply or distribute various other software, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)

Abstract

건물 형상 정보를 이용하여 3D 지도를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램이 개시된다. 3D 지도 생성 방법은, 주어진 영상에서 간판 영역을 검출하는 단계; 상기 영상을 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계; 상기 간판 영역의 3D 위치를 기초로 POI의 3D 위치를 계산하는 단계; 및 지도 데이터베이스에 상기 간판 영역의 3D 위치와 상기 POI의 3D 위치를 등록하여 간판 및 POI의 3D 지도를 생성하는 단계를 포함할 수 있다.

Description

건물 형상 정보를 이용하여 3D 지도를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
아래의 설명은 간판 및 POI(point Of interest)의 3D 지도를 생성하는 기술에 관한 것이다.
실시간 POI를 나타내는 3차원 지도를 제공하는 기술은 단말 시점 정보를 수신하여 수신된 단말 시점 정보를 기반으로 POI를 포함하는 3D 지도를 단말로 제공한다.
이를 통해, 실시간으로 대중의 이목이 가장 집중되는 지역에 대한 위치 정보 및 그 지역으로 이동하기 위한 경로 정보뿐만 아니라 그 지역에 대한 프리뷰 영상도 제공할 수 있다.
3D 지도 내에서 POI에 대응하는 3D 건물 모델과 인접한 영역에 POI의 명칭을 표시하는 방식으로 POI를 표시할 수 있다.
3D 지도를 이용하여 다양한 서비스를 제공할 수 있으며, 일례로 한국 공개특허공보 제10-2013-0137076호(공개일 2013년 12월 16일)에는 실시간 관심 지역을 나타내는 3차원 지도를 제공하는 기술이 개시되어 있다.
건물 형상 정보를 이용하여 간판 및 POI의 3D 지도를 생성할 수 있는 방법 및 장치를 제공한다.
하나의 이미지와 건물의 외곽 좌표 정보를 이용하여 정확한 POI 위치 정보를 추정할 수 있는 방법 및 장치를 제공한다.
컴퓨터 장치에서 실행되는 3D 지도 생성 방법에 있어서, 상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 3D 지도 생성 방법은, 상기 적어도 하나의 프로세서에 의해, 주어진 영상에서 간판 영역을 검출하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 영상을 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 간판 영역의 3D 위치를 기초로 POI의 3D 위치를 계산하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 지도 데이터베이스에 상기 간판 영역의 3D 위치와 상기 POI의 3D 위치를 등록하여 간판 및 POI의 3D 지도를 생성하는 단계를 포함하는 3D 지도 생성 방법을 제공한다.
일 측면에 따르면, 상기 간판 영역의 3D 위치를 계산하는 단계는, 상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하는 단계; 및 상기 영상의 위치 정보와 상기 3D 건물 형상 정보를 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계를 포함할 수 있다.
다른 측면에 따르면, 상기 간판 영역의 3D 위치를 계산하는 단계는, 상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하는 단계; 및 상기 영상의 카메라 초점으로부터 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점을 향해 캐스팅된 광선이 상기 3D 건물 형상 정보와 교차하는 지점을 계산함으로써 상기 간판 영역의 3D 위치를 계산하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 간판 영역의 3D 위치를 계산하는 단계는, 상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하는 단계; 상기 3D 건물 형상 정보를 이용하여 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산하는 단계; 및 상기 깊이 정보를 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 3D 건물 형상 정보를 생성하는 단계는, 상기 건물의 외곽 좌표 정보에 임의의 높이를 추가하여 상기 3D 건물 형상 정보를 생성할 수 있다.
또 다른 측면에 따르면, 상기 픽셀의 깊이 정보를 계산하는 단계는, 상기 3D 건물 형상 정보를 상기 영상과 동일한 뷰(view)로 렌더링하여 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산할 수 있다.
또 다른 측면에 따르면, 상기 간판 영역의 3D 위치를 계산하는 단계는, 상기 간판 영역이 포함된 복수의 영상을 이용하여 상기 간판 영역의 3D 위치를 최적화하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 간판 영역의 3D 위치를 최적화하는 단계는, 상기 복수의 영상에서 검출된 간판 영역 간의 로컬 피처 매칭(local feature matching)을 통해 최적의 3D 위치를 결정할 수 있다.
또 다른 측면에 따르면, 상기 간판 영역의 3D 위치를 최적화하는 단계는, 상기 복수의 영상에서 검출된 동일 POI의 간판 영역에서 로컬 피처를 추출하여 피처 매칭을 수행하는 단계; 및 상기 매칭된 로컬 피처를 기초로 삼각화(triangulation)를 수행하여 상기 로컬 피처의 3D 위치를 계산하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 POI의 3D 위치를 계산하는 단계는, 상기 간판 영역의 3D 위치에서 중심점을 상기 POI의 3D 위치로 계산할 수 있다.
상기 3D 지도 생성 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독가능한 기록 매체에 저장되는 컴퓨터 프로그램을 제공한다.
컴퓨터 장치에 있어서, 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 주어진 영상에서 간판 영역을 검출하는 과정; 상기 영상을 이용하여 상기 간판 영역의 3D 위치를 계산하는 과정; 상기 간판 영역의 3D 위치를 기초로 POI의 3D 위치를 계산하는 과정; 및 지도 데이터베이스에 상기 간판 영역의 3D 위치와 상기 POI의 3D 위치를 등록하여 간판 및 POI의 3D 지도를 생성하는 과정을 처리하는 컴퓨터 장치를 제공한다.
본 발명의 실시예들에 따르면, 건물의 외곽 좌표 정보를 이용함으로써 거리 정보가 없는 경우라 하더라도 POI의 정확한 3D 위치를 추정할 수 있다.
본 발명의 실시예들에 따르면, 건물의 외곽 좌표 정보를 이용하여 POI의 3D 위치를 추정함으로써 건물에 잘 정렬된 3D POI 위치를 제공할 수 있다.
본 발명의 실시예들에 따르면, 복수의 이미지를 이용하여 3D POI 위치를 보정함으로써 3D POI 위치를 최적화할 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 방법의 일례를 도시한 순서도이다.
도 4는 본 발명의 일실시예에 있어서 3D 건물 형상 정보를 생성하는 과정을 설명하기 위한 예시 도면이다.
도 5 내지 도 6은 본 발명의 일실시예에 있어서 간판 영역의 3D 위치를 계산하는 과정을 설명하기 위한 예시 도면이다.
도 7은 본 발명의 일실시예에 있어서 간판 영역의 3D 위치를 최적화하는 과정을 설명하기 위한 예시 도면이다.
도 8 내지 도 9는 본 발명의 일실시예에 있어서 간판 및 POI의 3D 지도 예시를 도시한 것이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들은 간판 및 POI의 3D 지도를 생성하는 기술에 관한 것이다.
본 명세서에서 구체적으로 개시되는 것들을 포함하는 실시예들은 하나의 이미지와 건물의 외곽 좌표 정보를 이용하여 더욱 정확한 POI 위치 정보를 추정할 수 있다.
본 발명의 실시예들에 따른 3D 지도 생성 시스템은 적어도 하나의 컴퓨터 장치에 의해 구현될 수 있으며, 본 발명의 실시예들에 따른 3D 지도 생성 방법은 3D 지도 생성 시스템에 포함되는 적어도 하나의 컴퓨터 장치를 통해 수행될 수 있다. 이때, 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 3D 지도 생성 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 3D 지도 생성 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다. 또한, 도 1의 네트워크 환경은 본 실시예들에 적용 가능한 환경들 중 하나의 예를 설명하는 것일 뿐, 본 실시예들에 적용 가능한 환경이 도 1의 네트워크 환경으로 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 도 1에서는 전자 기기(110)의 예로 스마트폰의 형상을 나타내고 있으나, 본 발명의 실시예들에서 전자 기기(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들 간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(150)는 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 서비스(일례로, 지도 서비스 등)를 제공하는 시스템일 수 있다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 앞서 설명한 복수의 전자 기기들(110, 120, 130, 140) 각각이나 서버들(150, 160) 각각은 도 2를 통해 도시된 컴퓨터 장치(200)에 의해 구현될 수 있다.
이러한 컴퓨터 장치(200)는 도 2에 도시된 바와 같이, 메모리(210), 프로세서(220), 통신 인터페이스(230) 그리고 입출력 인터페이스(240)를 포함할 수 있다. 메모리(210)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(200)에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(210)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(230)를 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(170)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(200)의 메모리(210)에 로딩될 수 있다.
프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 인터페이스(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(230)는 네트워크(170)를 통해 컴퓨터 장치(200)가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(200)의 프로세서(220)가 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(230)의 제어에 따라 네트워크(170)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(170)를 거쳐 컴퓨터 장치(200)의 통신 인터페이스(230)를 통해 컴퓨터 장치(200)로 수신될 수 있다. 통신 인터페이스(230)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(220)나 메모리(210)로 전달될 수 있고, 파일 등은 컴퓨터 장치(200)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(240)는 입출력 장치(250)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(250)는 컴퓨터 장치(200)와 하나의 장치로 구성될 수도 있다.
또한, 다른 실시예들에서 컴퓨터 장치(200)는 도 2의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(200)는 상술한 입출력 장치(250) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
이하에서는 건물 형상 정보를 이용하여 3D 지도를 생성할 수 있는 방법 및 장치의 구체적인 실시예를 설명하기로 한다.
지도에서 다양한 서비스를 제공하기 위해 정확한 POI의 위치를 추정하는 것은 필수적인 기술이라 할 수 있다.
POI의 위치를 추정하기 위해 POI를 잘 표현하는 간판 정보를 이용할 수 있으나, 간판 정보의 취득 환경에 따라 거리 정보가 없거나 이미지에 비해 상대적으로 정보가 부족한 경우가 많아 정확한 3D 위치 정보를 추정하기 어려운 점이 있다.
본 실시예들은 하나의 이미지와 건물의 외곽 좌표 정보를 이용하여 POI의 3D 위치를 추정할 수 있고, 복수의 이미지를 이용하여 추정된 3D POI 위치를 최적화할 수 있다.
본 실시예에 따른 컴퓨터 장치(200)에는 컴퓨터로 구현된 3D 지도 생성 시스템이 구성될 수 있다. 일례로, 3D 지도 생성 시스템은 독립적으로 동작하는 프로그램 형태로 구현되거나, 혹은 특정 어플리케이션의 인-앱(in-app) 형태로 구성되어 상기 특정 어플리케이션 상에서 동작이 가능하도록 구현될 수 있다.
컴퓨터 장치(200)의 프로세서(220)는 이하의 3D 지도 생성 방법을 수행하기 위한 구성요소로 구현될 수 있다. 실시예에 따라 프로세서(220)의 구성요소들은 선택적으로 프로세서(220)에 포함되거나 제외될 수도 있다. 또한, 실시예에 따라 프로세서(220)의 구성요소들은 프로세서(220)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.
이러한 프로세서(220) 및 프로세서(220)의 구성요소들은 이하의 3D 지도 생성 방법이 포함하는 단계들을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다. 예를 들어, 프로세서(220) 및 프로세서(220)의 구성요소들은 메모리(210)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
여기서, 프로세서(220)의 구성요소들은 컴퓨터 장치(200)에 저장된 프로그램 코드가 제공하는 명령에 따라 프로세서(220)에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다.
프로세서(220)는 컴퓨터 장치(200)의 제어와 관련된 명령이 로딩된 메모리(210)로부터 필요한 명령을 읽어들일 수 있다. 이 경우, 상기 읽어들인 명령은 프로세서(220)가 이후 설명될 단계들을 실행하도록 제어하기 위한 명령을 포함할 수 있다.
이후 설명될 3D 지도 생성 방법이 포함하는 단계들은 도시된 순서와 다른 순서로 수행될 수 있으며, 단계들 중 일부가 생략되거나 추가의 과정이 더 포함될 수 있다.
3D 지도 생성 방법이 포함하는 단계들은 서버(150)에서 수행될 수 있으며, 실시예에 따라서는 단계들 중 적어도 일부가 전자 기기(110, 120, 130, 140 중 어느 하나)에서 수행되는 것 또한 가능하다.
도 3은 본 발명의 일실시예에 따른 컴퓨터 장치가 수행할 수 있는 방법의 일례를 도시한 흐름도이다.
도 3을 참조하면, 단계(S310)에서 프로세서(220)는 적어도 하나의 건물이 촬영된 영상이 주어지는 경우 해당 영상에서 간판 폴리곤(polygon)을 검출할 수 있다. 프로세서(220)는 주어진 영상에 간판 검출기를 적용하여 폴리곤 형태의 간판 영역을 검출할 수 있다. 일례로, 프로세서(220)는 사전에 수집된 간판 이미지 셋을 딥러닝(deep learning) 기반으로 학습한 기계 학습 모델을 통해 영상으로부터 간판 영역을 검출할 수 있다. 다양한 형태나 종류의 간판이 촬영된 이미지를 훈련 데이터로 하여 학습함으로써 기계 학습 모델을 구축할 수 있고 이러한 기계 학습 모델을 통해 영상 내에서 간판 영역을 검출할 수 있다.
단계(S320)에서 프로세서(220)는 주어진 영상을 기초로 3D 건물 형상 정보를 생성할 수 있다. 영상의 포즈 정보가 SfM(structure from motion) 등의 3차원 복원 기술로 생성된 경우, 건물에 대한 3D 포인트가 존재할 수 있으며 해당 정보를 이용하여 3D 건물 형상 정보를 생성할 수 있다. 3D 건물 형상 정보를 생성하는 구체적인 과정에 대해서는 이하에서 설명하기로 한다.
단계(S330)에서 프로세서(220)는 영상의 위치 정보와 3D 건물 형상 정보를 이용하여 간판 영역의 3D 위치를 계산할 수 있다. 본 실시예들은 간판 및 POI의 3D 지도를 생성하기 위해 영상의 위치 정보와 3D 건물 형상 정보를 이용할 수 있다. 프로세서(220)는 영상을 촬영한 카메라의 초점으로부터 해당 영상에서 검출된 간판 영역 폴리곤의 각 꼭지점까지의 거리를 계산하는 방식을 통해 간판 영역의 3D 위치를 계산할 수 있다. 간판 영역의 3D 위치를 계산하는 구체적인 과정에 대해서는 이하에서 설명하기로 한다.
단계(S340)에서 프로세서(220)는 간판 영역의 3D 위치를 기초로 POI의 3D 위치를 계산할 수 있다. 다시 말해, 프로세서(220)는 간판 영역의 3D 위치에서 중심점을 해당 간판에 대응되는 POI의 3D 위치로 계산할 수 있다. 그리고, 프로세서(220)는 간판 영역에 OCR(optical character recognition) 등의 문자 인식 기술을 적용하여 POI의 부가 정보를 생성할 수 있다. 일례로, 프로세서(220)는 간판 영역에 포함된 상호명을 인식하여 해당 POI의 부가 정보로 활용할 수 있다. 더 나아가, 프로세서(220)는 간판 영역이 검출된 영상의 위치 정보와 해당 간판 영역에서 인식된 상호명을 이용한 검색을 통해 POI에 대한 인터넷 상의 정보(예를 들어, POI에 등록된 후기나 별점 등)를 부가 정보로서 획득할 수 있다.
단계(S350)에서 프로세서(220)는 단계(S330)에서 계산된 간판 영역의 3D 위치와 단계(S340)에서 계산된 POI의 3D 위치를 지도 데이터베이스에 등록함으로써 간판 및 POI의 3D 지도를 생성할 수 있다.
도 4는 본 발명의 일실시예에 있어서 3D 건물 형상 정보를 생성하는 과정을 설명하기 위한 예시 도면이다.
영상의 포즈 정보가 SfM과 같은 3차원 복원 기술로 생성된 경우, 건물에 대한 3D 포인트가 존재할 수 있다. 프로세서(220)는 건물에 대한 3D 포인트를 이용하여 3D 건물 형상 정보를 생성할 수 있다.
도 4를 참조하면, 프로세서(220)는 주어진 영상과 대응되는 위치에 대해 지도에서 서비스되고 있는 건물의 외곽 좌표 정보(401)에 임의의 높이를 추가하여 3D 건물 형상 정보(402)를 생성할 수 있다.
간판은 행인을 대상으로 홍보 목적이 있기 때문에 설정된 임의의 높이가 충분한 경우 실제 건물의 높이와 달라도 3D POI 위치를 계산하는데 문제가 없다. 도 4의 왼쪽 도면은 경기도 성남시 분당구 이매동 지역에 대해 네이버 지도에서 다운로드한 건물의 외곽 좌표 정보(401)를 나타내고 있으며, 오른쪽 도면은 건물의 외곽 좌표 정보(401)에 임의의 높이를 설정하여 생성한 3D 건물 형상 정보(402)를 나타내고 있다.
도 5 내지 도 6은 본 발명의 일실시예에 있어서 간판 영역의 3D 위치를 계산하는 과정을 설명하기 위한 예시 도면이다.
도 5를 참조하면, 프로세서(220)는 지도에서 서비스되는 거리뷰 영상(501)이 주어지는 경우 거리뷰 영상(501)에서 간판 영역(50)을 검출한 후 간판 영역(50) 각각에 대하여 해당 간판 영역(50)의 3D 위치를 계산할 수 있다.
프로세서(220)는 영상을 촬영한 카메라의 초점으로부터 해당 영상에서 검출된 간판 영역 폴리곤의 각 꼭지점을 향해 광선(ray)을 캐스팅(casting)하여 3D 건물 형상 정보와 교차하는 지점을 계산함으로써 해당 간판 영역의 3D 위치를 계산할 수 있다.
영상의 초점거리를 f, 주점(principle point)를 (cx,cy)라 할 때, 영상에서 검출된 간판 폴리곤의 한 꼭지점 (x,y)의 3차원 위치는 원점 (0,0,0)으로부터 (x-cx,y-cy,f) 방향으로 캐스팅한 광선 및 3D 건물 형상 정보와 만나는 지점으로 계산될 수 있다.
프로세서(220)는 간판 영역이 포함된 건물의 외곽 좌표 정보에 의해 생성된 3D 건물 형상 정보를 영상과 동일한 뷰(view)로 렌더링하여 간판 영역 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산할 수 있고, 이때 깊이 정보를 이용하여 간판 폴리곤의 3D 위치를 계산할 수 있다.
도 6에서 p는 영상에서 검출한 간판 영역 폴리곤의 꼭지점 중 한 점을 의미한다. 점 p는 해당 영상을 촬영한 카메라 센서(점선 사각형으로 표시됨) 위에 존재하며 2차원의 영상 좌표계에서 p의 좌표가 (x,y)로 주어진다.
통상적으로 영상 좌표계는 4개 모서리 중 한 점을 원점으로 하며, 카메라 센서의 중심점 c의 좌표를 (cx,cy)로 표기한다. 여기서, cx와 cy의 값은 캘리브레이션을 통해 추정할 수 있다.
카메라의 초점 o을 원점으로 하는 3차원의 카메라 좌표계에서 점 p의 좌표는 (cx-x,cy-y,-f)로 표현된다. 핀홀 카메라 모델에 따라 카메라 센서의 점 p에 투사된 빛은 카메라의 초점을 지나기 때문에 점 p에 투사된 피사체의 실제 위치는 (cx-x,cy-y,-f)에서 o를 향해 투사한 직선 ℓ(점선 화살표로 표시됨) 위에 존재한다.
모든 간판은 건물에 존재하기 때문에 간판 폴리곤 꼭지점의 실제 위치는 ℓ과 3D 건물 형상 정보의 교차점으로 계산될 수 있다.
도 7은 본 발명의 일실시예에 있어서 간판 영역의 3D 위치를 최적화하는 과정을 설명하기 위한 예시 도면이다.
프로세서(220)는 복수의 영상과 3D 건물 형상 정보를 통해 간판 폴리곤의 3D 위치를 계산함으로써 각 간판의 3D 위치를 최적화할 수 있다.
도 7을 참조하면, 프로세서(220)는 동일한 POI에 대해 3D 위치 추정이 복수의 영상(501, 502)에서 수행된 경우 복수의 영상(501, 502)을 이용해 3D POI 위치를 최적화할 수 있다. 일례로, 프로세서(220)는 복수의 영상(501, 502)에서 검출된 간판 영역 간의 로컬 피처 매칭(local feature matching)을 통해 최적의 3D POI 위치 정보를 결정할 수 있다.
프로세서(220)는 복수의 영상(501, 502)에서 검출된 간판 영역에서 각 간판 고유의 특성을 표현하는 피처 벡터(feature vector, f)를 추출할 수 있다. 두 영상에서 검출된 간판 영역의 피처 벡터 f의 코사인 유사도가 최대가 되며 그 값이 특정 임계치(threshold) 이상인 2개의 간판 영역 쌍은 서로 동일한 POI를 가리킨다고 볼 수 있다.
프로세서(220)는 복수의 영상에서 검출된 동일한 POI를 가리키는 간판 영역에서 로컬 피처를 로컬 피처 매칭을 수행할 수 있다. 로컬 피처는 영상에서 코너와 같이 다른 위치와 구분되는 지점에서 추출된다. 각 지점에서 주변 픽셀 값의 분포를 이용하여 해당 지점을 묘사하는 피처 벡터를 생성한다. 로컬 피처 추출은 SURF(speed-up robust feature)와 같은 특징점 매칭 기법이나 딥러닝 기반의 방법을 모두 사용할 수 있다.
피처 매칭은 서로 유사한 로컬 피처의 매칭 쌍을 찾는 과정을 의미한다. 두 영상 Jp와 Jq에서 추정한 로컬 피처 p0,…,pN와 q0,…,qM에 대해 가능한 모든 NM개의 피처 쌍을 조사하여 유효한 매칭 쌍을 찾는다. 유효한 매칭 쌍 (pn,qm)은 pn대해 q0,…,qM 중 가장 유사한 로컬 피처가 qm과 가장 유사해야 하며, 다른 매칭 쌍들을 이용해 찾은 호모그래피(homography)로 표현되는 영상 간의 좌표 변환이 (pn,qm)에 대해서도 유효해야 한다. 피처 매칭 과정은 상기 설명한 방법 외에도 딥러닝 기반의 방법을 적용하는 것 또한 가능하다.
프로세서(220)는 매칭된 로컬 피처를 기초로 삼각화(triangulation)를 수행하여 로컬 피처의 3D 위치를 계산할 수 있다. 복수의 영상에서 하나의 실제 위치 점 p를 가리키는 다수의 로컬 피처 p0,…,pN를 상기 과정을 통해 찾는다면, p0,…,pN 을 이용하여 p를 찾을 수 있다. 점 p는 각 영상으로 투영할 수 있으며 투영된 위치 p'0,…,p'N와 p0,…,pN 간의 오차를 계산할 수 있다. 최적화 과정을 통해 오차의 총 합이 최소가 되는 최적의 위치를 찾아 이를 해당 로컬 피처의 3D 위치로 계산한다.
결과적으로, 프로세서(220)는 로컬 피처의 중심점 위치를 최적의 3D POI 위치로 계산할 수 있다.
도 8 내지 도 9는 본 발명의 일실시예에 있어서 간판 및 POI의 3D 지도 예시를 도시한 것이다.
예를 들어, 도 8은 경기도 성남시 이매동 지역에 대해 POI의 3D 지도(800)를 생성한 결과를 나타내고 있다. 프로세서(220)는 각 POI(80)에 부가적으로 3차원 위치 정보(801)를 UTM(universal transverse Mercator) 좌표계로 표현할 수 있다.
도 9는 상기한 과정을 통해 계산된 3D POI 위치에 간판 폴리곤(901)을 렌더링한 결과(900)를 나타내고 있다.
본 실시예들은 건물의 외곽 좌표 정보를 이용하여 POI의 정확한 3D 위치를 추정할 수 있으며, 건물의 외곽 좌표 정보를 이용하여 POI의 3D 위치를 추정함에 따라 건물에 POI의 3D 위치를 잘 정렬하여 보여줄 수 있다. 예를 들어, 증강현실(AR)이나 가상현실(VR) 등의 환경에서 사용자가 찾고자 하는 POI의 간판 또는 바라보고 있는 간판을 강조하여(highlight) 보여줄 수 있고, 해당 POI에 등록된 후기, 별점 등의 부가 정보를 함께 보여줄 수 있다.
이처럼 본 발명의 실시예들에 따르면, 건물의 외곽 좌표 정보를 이용함으로써 거리 정보가 없는 경우라 하더라도 POI의 정확한 3D 위치를 추정할 수 있다. 본 발명의 실시예들에 따르면, 건물의 외곽 좌표 정보를 이용하여 POI의 3D 위치를 추정함으로써 건물에 잘 정렬된 3D POI 위치를 제공할 수 있다. 본 발명의 실시예들에 따르면, 복수의 이미지를 이용하여 3D POI 위치를 보정함으로써 3D POI 위치를 최적화할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 컴퓨터 장치에서 실행되는 3D 지도 생성 방법에 있어서,
    상기 컴퓨터 장치는 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
    상기 3D 지도 생성 방법은,
    상기 적어도 하나의 프로세서에 의해, 주어진 영상에서 간판 영역을 검출하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 영상을 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 간판 영역의 3D 위치를 기초로 POI의 3D 위치를 계산하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 지도 데이터베이스에 상기 간판 영역의 3D 위치와 상기 POI의 3D 위치를 등록하여 간판 및 POI의 3D 지도를 생성하는 단계
    를 포함하는 3D 지도 생성 방법.
  2. 제1항에 있어서,
    상기 간판 영역의 3D 위치를 계산하는 단계는,
    상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하는 단계; 및
    상기 영상의 위치 정보와 상기 3D 건물 형상 정보를 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계
    를 포함하는 3D 지도 생성 방법.
  3. 제1항에 있어서,
    상기 간판 영역의 3D 위치를 계산하는 단계는,
    상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하는 단계; 및
    상기 영상의 카메라 초점으로부터 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점을 향해 캐스팅된 광선이 상기 3D 건물 형상 정보와 교차하는 지점을 계산함으로써 상기 간판 영역의 3D 위치를 계산하는 단계
    를 포함하는 3D 지도 생성 방법.
  4. 제1항에 있어서,
    상기 간판 영역의 3D 위치를 계산하는 단계는,
    상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하는 단계;
    상기 3D 건물 형상 정보를 이용하여 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산하는 단계; 및
    상기 깊이 정보를 이용하여 상기 간판 영역의 3D 위치를 계산하는 단계
    를 포함하는 3D 지도 생성 방법.
  5. 제4항에 있어서,
    상기 3D 건물 형상 정보를 생성하는 단계는,
    상기 건물의 외곽 좌표 정보에 임의의 높이를 추가하여 상기 3D 건물 형상 정보를 생성하는 것
    을 특징으로 하는 3D 지도 생성 방법.
  6. 제4항에 있어서,
    상기 픽셀의 깊이 정보를 계산하는 단계는,
    상기 3D 건물 형상 정보를 상기 영상과 동일한 뷰(view)로 렌더링하여 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산하는 것
    을 특징으로 하는 3D 지도 생성 방법.
  7. 제1항에 있어서,
    상기 간판 영역의 3D 위치를 계산하는 단계는,
    상기 간판 영역이 포함된 복수의 영상을 이용하여 상기 간판 영역의 3D 위치를 최적화하는 단계
    를 포함하는 3D 지도 생성 방법.
  8. 제7항에 있어서,
    상기 간판 영역의 3D 위치를 최적화하는 단계는,
    상기 복수의 영상에서 검출된 간판 영역 간의 로컬 피처 매칭(local feature matching)을 통해 최적의 3D 위치를 결정하는 것
    을 특징으로 하는 3D 지도 생성 방법.
  9. 제7항에 있어서,
    상기 간판 영역의 3D 위치를 최적화하는 단계는,
    상기 복수의 영상에서 검출된 동일 POI의 간판 영역에서 로컬 피처를 추출하여 피처 매칭을 수행하는 단계; 및
    상기 매칭된 로컬 피처를 기초로 삼각화(triangulation)를 수행하여 상기 로컬 피처의 3D 위치를 계산하는 단계
    를 포함하는 3D 지도 생성 방법.
  10. 제1항에 있어서,
    상기 POI의 3D 위치를 계산하는 단계는,
    상기 간판 영역의 3D 위치에서 중심점을 상기 POI의 3D 위치로 계산하는 것
    을 특징으로 하는 3D 지도 생성 방법.
  11. 제1항 내지 제10항 중 어느 한 항의 3D 지도 생성 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독가능한 기록 매체에 저장되는 컴퓨터 프로그램.
  12. 컴퓨터 장치에 있어서,
    메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    주어진 영상에서 간판 영역을 검출하는 과정;
    상기 영상을 이용하여 상기 간판 영역의 3D 위치를 계산하는 과정;
    상기 간판 영역의 3D 위치를 기초로 POI의 3D 위치를 계산하는 과정; 및
    지도 데이터베이스에 상기 간판 영역의 3D 위치와 상기 POI의 3D 위치를 등록하여 간판 및 POI의 3D 지도를 생성하는 과정
    을 처리하는 컴퓨터 장치.
  13. 제12항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하고,
    상기 영상의 위치 정보와 상기 3D 건물 형상 정보를 이용하여 상기 간판 영역의 3D 위치를 계산하는 것
    을 특징으로 하는 컴퓨터 장치.
  14. 제12항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하고,
    상기 영상의 카메라 초점으로부터 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점을 향해 캐스팅된 광선이 상기 3D 건물 형상 정보와 교차하는 지점을 계산함으로써 상기 간판 영역의 3D 위치를 계산하는 것
    을 특징으로 하는 컴퓨터 장치.
  15. 제12항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 간판 영역이 포함된 건물의 외곽 좌표 정보를 이용하여 3D 건물 형상 정보를 생성하고,
    상기 3D 건물 형상 정보를 이용하여 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산하고,
    상기 깊이 정보를 이용하여 상기 간판 영역의 3D 위치를 계산하는 것
    을 특징으로 하는 컴퓨터 장치.
  16. 제15항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 건물의 외곽 좌표 정보에 임의의 높이를 추가하여 상기 3D 건물 형상 정보를 생성하는 것
    을 특징으로 하는 컴퓨터 장치.
  17. 제15항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 3D 건물 형상 정보를 상기 영상과 동일한 뷰로 렌더링하여 상기 간판 영역을 나타내는 간판 폴리곤의 각 꼭지점이 위치하는 픽셀의 깊이 정보를 계산하는 것
    을 특징으로 하는 컴퓨터 장치.
  18. 제12항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 간판 영역이 포함된 복수의 영상을 이용하여 상기 간판 영역의 3D 위치를 최적화하는 것
    을 특징으로 하는 컴퓨터 장치.
  19. 제18항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 복수의 영상에서 검출된 간판 영역 간의 로컬 피처 매칭을 통해 최적의 3D 위치를 결정하는 것
    을 특징으로 하는 컴퓨터 장치.
  20. 제18항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 복수의 영상에서 검출된 동일 POI의 간판 영역에서 로컬 피처를 추출하여 피처 매칭을 수행하고,
    상기 매칭된 로컬 피처를 기초로 삼각화를 수행하여 상기 로컬 피처의 3D 위치를 계산하고,
    상기 간판 영역의 3D 위치인 상기 로컬 피처의 3D 위치에서 중심점을 상기 POI의 3D 위치로 계산하는 것
    을 특징으로 하는 컴퓨터 장치.
PCT/KR2023/013780 2022-10-17 2023-09-14 건물 형상 정보를 이용하여 3d 지도를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 WO2024085450A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0133077 2022-10-17
KR1020220133077A KR20240053224A (ko) 2022-10-17 2022-10-17 건물 형상 정보를 이용하여 3d 지도를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
WO2024085450A1 true WO2024085450A1 (ko) 2024-04-25

Family

ID=90737935

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/013780 WO2024085450A1 (ko) 2022-10-17 2023-09-14 건물 형상 정보를 이용하여 3d 지도를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램

Country Status (2)

Country Link
KR (1) KR20240053224A (ko)
WO (1) WO2024085450A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170045919A (ko) * 2015-10-20 2017-04-28 주식회사 카카오 3d 지도 내 poi 이미지의 동적 래핑을 수행하는 방법, 서버 및 컴퓨터 판독가능 기록매체
KR20180055158A (ko) * 2016-11-16 2018-05-25 홍익대학교 산학협력단 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버
KR20200037168A (ko) * 2020-03-30 2020-04-08 네이버랩스 주식회사 관심 영역 변화를 검출하는 방법 및 시스템
KR20210019221A (ko) * 2019-08-12 2021-02-22 네이버랩스 주식회사 ２ｄ 지도를 이용하여 거리뷰 이미지의 깊이 정보를 생성하는 방법 및 시스템
KR20220049304A (ko) * 2020-10-14 2022-04-21 삼성전자주식회사 이미지를 이용한 3차원 지도의 업데이트 방법 및 이를 지원하는 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170045919A (ko) * 2015-10-20 2017-04-28 주식회사 카카오 3d 지도 내 poi 이미지의 동적 래핑을 수행하는 방법, 서버 및 컴퓨터 판독가능 기록매체
KR20180055158A (ko) * 2016-11-16 2018-05-25 홍익대학교 산학협력단 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버
KR20210019221A (ko) * 2019-08-12 2021-02-22 네이버랩스 주식회사 ２ｄ 지도를 이용하여 거리뷰 이미지의 깊이 정보를 생성하는 방법 및 시스템
KR20200037168A (ko) * 2020-03-30 2020-04-08 네이버랩스 주식회사 관심 영역 변화를 검출하는 방법 및 시스템
KR20220049304A (ko) * 2020-10-14 2022-04-21 삼성전자주식회사 이미지를 이용한 3차원 지도의 업데이트 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
KR20240053224A (ko) 2024-04-24

Similar Documents

Publication Publication Date Title
WO2022050473A1 (ko) 카메라 포즈 추정 장치 및 방법
JP4958497B2 (ja) 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
CN109582880B (zh) 兴趣点信息处理方法、装置、终端及存储介质
WO2016003191A1 (ko) Ｏｃｒ를 기반으로 지도 이미지를 인식하는 시스템과 방법, 그리고 기록 매체 및 파일 배포 시스템
WO2019240452A1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
JP2013080326A (ja) 画像処理装置、画像処理方法及びプログラム
WO2021230466A1 (ko) 차량 위치 결정 방법 및 시스템
CN110926478B (zh) 一种ar导航路线纠偏方法、系统及计算机可读存储介质
WO2021125578A1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
WO2021025364A1 (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
WO2011034305A2 (ko) 건축물 이미지의 계층적 매칭 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
CN104484814A (zh) 一种基于视频地图的广告方法及系统
CN111832579B (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
CN109300322B (zh) 引导线绘制方法、装置、设备和介质
WO2021206200A1 (ko) 점군 정보 가공 장치 및 방법
WO2024085450A1 (ko) 건물 형상 정보를 이용하여 3d 지도를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
KR102575743B1 (ko) 이미지 번역 방법 및 시스템
WO2024122820A1 (ko) 딥러닝을 기반으로 다각형 형태의 간판 검출을 위한 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
WO2021040342A2 (ko) 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치
WO2021075878A1 (ko) 증강현실 기록물 서비스 제공 방법 및 사용자 단말
WO2021210725A1 (ko) 점군 정보 가공 장치 및 방법
WO2024096309A1 (ko) Poi 변화 자동 탐지를 위한 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
WO2024106833A1 (ko) 빌딩 컨트롤 포인트 자동 취득 방법 및 시스템
WO2024085630A1 (ko) 시각 특징 추출 신경망 모델 학습 방법 및 시스템
WO2024085631A1 (ko) 그라운드 컨트롤 라인 자동 취득 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23880029

Country of ref document: EP

Kind code of ref document: A1