WO2021221334A1 - Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법 - Google Patents

Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법 Download PDF

Info

Publication number
WO2021221334A1
WO2021221334A1 PCT/KR2021/004267 KR2021004267W WO2021221334A1 WO 2021221334 A1 WO2021221334 A1 WO 2021221334A1 KR 2021004267 W KR2021004267 W KR 2021004267W WO 2021221334 A1 WO2021221334 A1 WO 2021221334A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinates
gps
image pixel
color map
pixel coordinates
Prior art date
Application number
PCT/KR2021/004267
Other languages
English (en)
French (fr)
Inventor
김지성
김재승
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Publication of WO2021221334A1 publication Critical patent/WO2021221334A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements

Definitions

  • the present invention relates to a technology for generating a color map using data collected from a mobile mapping system (MMS).
  • MMS mobile mapping system
  • MMS refers to a device that collects geospatial data equipped with various remote sensing systems such as cameras and lidar, and navigation sensors such as GPS (Global Positioning System) and INS (Inertial Navigation System).
  • various remote sensing systems such as cameras and lidar
  • navigation sensors such as GPS (Global Positioning System) and INS (Inertial Navigation System).
  • a precise point cloud map can be built using data collected from MMS, including LiDAR.
  • Map information including color information may be formed based on the GPS signal and data acquired by the lidar and image data acquired by the camera.
  • KR 10-2004-0045050 A discloses an operation of providing some object information, an operation of providing map information and color in correspondence is not clearly disclosed.
  • map information including color information is formed using the above-described data for all points, an incorrect color is applied to a point corresponding to a point where an obstacle exists, and map information with low accuracy may be formed. Therefore, there is a need for research on a method of forming accurate map information corresponding to obstacles.
  • the present invention provides a color map generation method for forming accurate color map information by matching color information and obstacle information for each pixel.
  • a method for generating a color map includes the steps of: receiving a GPS signal and forming GPS data; converting the plurality of GPS coordinates included in the GPS data into image pixel coordinates; matching the image pixel coordinates with the GPS data and color information corresponding to the plurality of GPS coordinates; clustering the image pixel coordinates based on the position of the lidar coordinates corresponding to each of the plurality of GPS coordinates; and forming color map data corresponding to the GPS data based on the clustered image pixel coordinates.
  • the step of converting the plurality of GPS coordinates into image pixel coordinates comprises:
  • the forming of the color map data may include forming the color map data based on the image pixel coordinates clustered closest to the lidar coordinates.
  • the forming of the color map data may include forming the color map data by inputting RGB values to the image pixel coordinates clustered closest to the lidar coordinates.
  • the converting of the plurality of GPS coordinates into image pixel coordinates may include: determining a plurality of checkpoints included in the GPS data; and converting the plurality of GPS coordinates corresponding to the plurality of checkpoints into the image pixels, wherein the plurality of checkpoints may be determined to be spaced apart by a predetermined reference distance or more.
  • the color map data may be formed as a hash map including a plurality of key information.
  • the forming of the color map data may include, if registration key information corresponding to the image pixel coordinates among the plurality of key information exists,
  • the registration key information may be matched with the GPS data and color information.
  • the additional registration key Information may be matched with the GPS data and color information.
  • the clustering of the image pixel coordinates may be performed using an algorithm that minimizes dispersion of distances of a plurality of clusters including the image pixel coordinates.
  • a color map generating apparatus includes a communication unit for receiving a GPS signal; a lidar that obtains lidar coordinates of at least one object; a camera for acquiring image data; Receiving GPS signals to form GPS data,
  • the plurality of GPS coordinates included in the GPS data are converted into image pixel coordinates, a hash map is formed, the image pixel coordinates are determined as key information, and the key information, the GPS data, and color information are bucketed. ), grouping the image pixel coordinates based on the position of the lidar coordinates corresponding to each of the plurality of GPS coordinates, and color map data corresponding to the GPS data based on the clustered image pixel coordinates It may include; a control unit to form.
  • the method for generating a color map may form accurate color map information by matching color information and obstacle information for each pixel.
  • the method for generating a color map according to an embodiment can reduce cost by forming map information with high accuracy without adding additional hardware.
  • the method for generating a color map may secure the safety of a user who uses the color map information by forming accurate map information.
  • FIG. 1 is a control block diagram of an apparatus for generating a color map according to an exemplary embodiment.
  • FIG. 2 is a flowchart of forming color map information according to an embodiment.
  • FIG. 3 is a flowchart illustrating an operation of forming a hash map according to an embodiment.
  • FIG. 4 is a diagram for explaining a hash map of the present invention according to an embodiment.
  • 5 and 6 are diagrams for explaining a correspondence relationship between GPS information, lidar information, and image information according to an embodiment.
  • first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
  • FIG. 1 is a control block diagram of an apparatus for generating a color map according to an exemplary embodiment.
  • the color map generating apparatus 10 may include a communication unit 100 , a lidar 300 , a camera 200 , and a control unit 400 .
  • the communication unit 100 may receive a GPS signal.
  • the control unit may form GPS data based on the GPS signal received by the communication unit, and may correspond GPS coordinates to each of the GPS data.
  • the lidar 300 may transmit and receive lidar signals to obtain location information of nearby objects.
  • the camera 200 may acquire a surrounding image
  • the controller 400 may project the GPS data onto the image data acquired by the camera by integrating the data acquired by the communication unit, the lidar, and the camera.
  • control unit may form GPS data based on the GPS signal received by the communication unit (S1).
  • the controller may convert the GPS coordinates of the GPS data into the pixel coordinates of the image acquired by the camera (S2).
  • the GPS coordinates may be converted into lidar coordinates, and the converted lidar coordinates may be converted into image pixel coordinates of an image acquired by the camera.
  • an MMS Mobile Mapping System
  • images and lidar data are collected at a cycle of 0.1 seconds, and GPS data is recorded at a cycle of 0.005 seconds.
  • the controller may generate a checkpoint by using the recorded GPS data.
  • the camera according to the present invention records pictures at a rate of 10 times per second, it may be difficult to smoothly map the pictures by projecting them at 0.1 second intervals.
  • the controller may determine an image to be actually used for projection by setting a certain distance apart.
  • the controller may determine the checkpoint to be spaced apart by a predetermined reference distance or more.
  • the controller may calculate an accumulated distance based on the recorded GPS data and store a GPS data index whenever a predetermined distance is reached.
  • the corresponding indices may mean check points to be described later and may indicate the positions of the projection reference points.
  • the controller may convert a plurality of GPS coordinates corresponding to a plurality of check points into the image pixels.
  • the controller may match image pixel coordinates with the GPS data and color information corresponding to the plurality of GPS coordinates. Such an operation may be implemented by the controller forming a hash map based on image pixel coordinates ( 1003 ).
  • control unit forming the hash map will be described with reference to FIG. 3 .
  • the controller may group image pixel coordinates based on the positions of the LiDAR coordinates corresponding to each of the plurality of GPS coordinates (S4).
  • the image pixel coordinates of the image obtained by Camara may correspond to each of the LiDAR coordinates obtained by the LiDAR.
  • the controller may cluster points that are close to each other by using the Euclidean Clustering Algorithm for each image pixel coordinate.
  • the Euclidean clustering algorithm may include an operation of minimizing dispersion of distances of a plurality of clusters including image pixel coordinates.
  • the controller may form color map data based on the image pixel coordinates that are closest to the LiDAR coordinates.
  • the controller may set points belonging to a cluster closest to the origin of the lidar coordinate system as projection target points, and may exclude the remaining clusters from color projection.
  • the controller may form color map data corresponding to the GPS data based on the clustered image pixel coordinates (S5).
  • the controller may input the RGB values of the corresponding pixels to the points corresponding to the cluster closest to the origin, that is, the points selected as the projection target points, and accumulate them on the map to form map data.
  • Each configuration of the color map generating apparatus described with reference to FIGS. 1 and 2 and an operation corresponding to each configuration are merely an embodiment of the present invention, and there is no limitation on the operation.
  • FIG. 3 is a flowchart for explaining an operation of forming a hash map according to an embodiment
  • FIG. 4 is a diagram for explaining a hash map of the present invention according to an embodiment.
  • a hash map may mean a data structure used for adding an associative array, which is a structure capable of mapping a key to a value in computing.
  • the hash map uses a hash function to compute the indices (index, Key, K41) into buckets (bucket, B41, B42).
  • GPS coordinates may be converted into lidar coordinates.
  • the lidar coordinates may correspond to image pixel coordinates.
  • the image pixel coordinates may correspond to key information (Key, K41) of the hash map, and to the corresponding key information, the GPS data (B41) corresponding to the GPS coordinates and the color corresponding to the corresponding GPS coordinates Information B42 may correspond to each bucket.
  • the controller may start an operation of generating a hash map based on pixel information (S11).
  • the GPS coordinates may be converted into lidar coordinates (S12).
  • controller may then convert the LiDAR coordinates into image pixel coordinates (S13).
  • the controller may determine only points that are less than a predetermined distance from each checkpoint as preliminary projection targets.
  • control unit converts the points selected as projection objects to the LIDAR coordinate system by calculating the inverse of the point cloud map generation process.
  • the control unit converts the points converted to the lidar coordinate system into image pixel coordinates (pixel_x, pixel_y) using perspective transformation.
  • the specific conversion process is described below.
  • the control unit may convert the GPS coordinates to LIDAR coordinates using Equation 1 below.
  • L stands for lidar coordinates.
  • RL2I refers to a matrix that is converted from LiDAR to IMU.
  • Rckpt means rotation data of a checkpoint.
  • RI2W means the conversion matrix of the GPS coordinate system in the IMU. W stands for GPS coordinates and G stands for GPS data at the checkpoint.
  • TL2I means a matrix converted from LiDAR to IMU.
  • Equation (2) A matrix related thereto is shown in Equation (2).
  • the LIDAR coordinates converted in this way can be converted back to image pixel coordinates.
  • the operation of converting the lidar coordinates into image pixel coordinates may be implemented based on Equation 3 below.
  • RL2C means a matrix of camera rotation in lidar.
  • TL2C stands for camera translation matrix in lidar.
  • fx and fy mean focal lengths.
  • cx and cy mean a tavern.
  • Pixelx and pixely refer to image pixel coordinates.
  • the controller may convert GPS coordinates into LIDAR coordinates based on the above-described operation and convert LIDAR coordinates into image pixel coordinates.
  • the controller may form a hash map by matching the GPS data and color information with the key information (S16).
  • the control unit generates additional registration key information corresponding to the image pixel coordinates, and includes additional registration key information, GPS data B41, and color information ( B42) can be matched.
  • control unit may generate a hash map using image pixel coordinates as key information and GPS data and color information as buckets.
  • the above-described operation is only an embodiment of the present invention, and there is no limitation on the operation of the controller to generate a hash map by matching image pixel coordinates with data.
  • 5 and 6 are diagrams for explaining a correspondence relationship between GPS information, lidar information, and image information according to an embodiment.
  • An existing color map may be generated as shown in FIG. 5 .
  • the existing color map there is a problem in that the color of the flower pot I52 of a tree, which is an object near the road, is applied to the road I51.
  • the apparatus for generating a color map may acquire GPS coordinates of a road and GPS data corresponding to the GPS coordinates.
  • the color map generating device may convert the GPS device to generate lidar coordinates.
  • the generated LiDAR coordinates may be transformed and generated as image pixel coordinates.
  • the image pixel coordinates corresponding to the road may be generated as I61.
  • the apparatus for generating a color map may acquire GPS coordinates of objects around a road and GPS data corresponding to the GPS coordinates.
  • the color map generating device may convert the GPS device to generate lidar coordinates.
  • the generated LiDAR coordinates may be transformed and generated as image pixel coordinates.
  • An image pixel coordinate of a flowerpot of a tree, which is an object around the road, may be determined as I62.
  • color information can correspond to each image pixel coordinate through a hash map, color information can be correctly applied instead of differently applied as shown in FIG. 5 .
  • the color map generating apparatus may generate color map information. That is, the color map generating device corresponds the GPS data and color information of the object to the image pixel coordinates corresponding to the road I61, and the GPS data and color information of the object to the image pixel coordinates corresponding to the flowerpot I62. It is possible to generate color map information to which correct color data is applied even to an area covered by an obstacle.
  • the controller may form color map information in which the road is expressed in red.

Abstract

본 발명은 각 픽셀마다 컬러 정보 및 장애물 정보를 매칭 시켜 정확한 컬러 맵 정보를 형성하는 컬러 맵 생성 방법을 제공한다. 일 실시예에 따른 컬러 맵 생성 방법은 GPS신호를 수신하여 GPS데이터를 형성하는 단계; 상기 GPS데이터에 포함된 상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계; 상기 이미지 픽셀 좌표와 상기 복수의 GPS좌표와 대응되는 상기 GPS 데이터 및 컬러 정보와 매칭 시키는 단계; 상기 복수의 GPS좌표 각각과 대응되는 상기 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하는 단계; 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 단계;를 포함할 수 있다.

Description

GPS정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
본 발명은 MMS(Mobile Mapping System)에서 수집한 데이터를 이용하여 컬러 맵을 생성하는 기술에 관련된 것이다.
MMS란 카메라, 라이다 등 다양한 원격 감지 시스템과 GPS(Global Positioning System), INS(Inertial Navigation System) 등의 항법 센서를 갖춰 지리 공간 데이터를 수집하는 장치를 의미한다.
라이다를 포함한 MMS에서 수집한 데이터를 이용해 정밀 점군 지도를 구축할 수 있다.
카메라에서 수집한 RGB 이미지 데이터를 이용해 3차원 점군 지도에 색 정보를 추가하는 것이 가능하다.
GPS 신호 및 라이다가 획득한 데이터와 카메라가 획득한 이미지 데이터를 기초로 색 정보가 포함된 맵 정보를 형성할 수 있다.
KR 10-2004-0045050 A에 일부 객체 정보를 제공하는 동작이 개시되어 있으나 맵 정보와 색을 대응시켜 제공하는 동작은 명확하게 개시되지 않았다.
다만 모든 지점에 대하여 상술한 데이터를 이용하여 색 정보가 포함된 맵 정보를 형성하면 장애물이 존재하는 지점에 대응하는 지점에 잘못된 색이 적용되여 정확도가 낮은 맵 정보가 형성될 수 있다. 따라서 장애물과 대응되는 정확한 맵 정보를 형성하는 방법에 대한 연구가 필요한 실정이다.
본 발명은 각 픽셀마다 컬러 정보 및 장애물 정보를 매칭 시켜 정확한 컬러 맵 정보를 형성하는 컬러 맵 생성 방법을 제공한다.
일 실시예에 따른 컬러 맵 생성 방법은 GPS신호를 수신하여 GPS데이터를 형성하는 단계; 상기 GPS데이터에 포함된 상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계; 상기 이미지 픽셀 좌표와 상기 복수의 GPS좌표와 대응되는 상기 GPS 데이터 및 컬러 정보와 매칭 시키는 단계; 상기 복수의 GPS좌표 각각과 대응되는 상기 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하는 단계; 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 단계;를 포함할 수 있다.
상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계는,
상기 복수의 GPS좌표를 라이다 좌표로 변환하는 단계; 및 상기 라이다 좌표를 상기 이미지 픽셀 좌표로 변환하는 단계;를 포함할 수 있다.
상기 컬러 맵 데이터를 형성하는 단계는, 상기 라이다 좌표와 가장 가까운 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 컬러 맵 데이터를 형성하는 단계;를 포함할 수 있다.
상기 컬러 맵 데이터를 형성하는 단계는, 상기 라이다 좌표와 가장 가까운 군집화된 상기 이미지 픽셀 좌표에 RGB 값을 입력하여 상기 컬러 맵 데이터를 형성하는 단계;를 포함할 수 있다.
상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계는, 상기 GPS 데이터에 포함되는 복수의 체크 포인트를 결정하는 단계; 및 상기 복수의 체크 포인트와 대응되는 상기 복수의 GPS 좌표를 상기 이미지 픽셀로 변환하는 단계;를 포함하고, 상기 복수의 체크 포인트는 미리 결정된 기준 거리 이상 이격되도록 결정될 수 있다.
상기 컬러 맵 데이터는, 복수개의 키(key) 정보를 포함하는 해시 맵(Hash map)으로 형성될 수 있다.
상기 컬러 맵 데이터를 형성하는 단계는, 상기 복수의 키 정보 중 상기 이미지 픽셀 좌표에 대응되는 등록 키 정보가 존재하면,
상기 등록 키 정보와 상기 GPS 데이터 및 컬러 정보를 매칭할 수 있다.
상기 컬러 맵 데이터를 형성하는 단계는, 상기 복수의 키 정보 중 상기 이미지 픽셀 좌표에 대응되는 등록 키 정보가 존재하지 않으면, 상기 이미지 픽셀 좌표에 대응되는 추가 등록 키 정보를 생성하고, 상기 추가 등록 키 정보와 상기 GPS 데이터 및 컬러 정보를 매칭할 수 있다.
상기 이미지 픽셀 좌표를 군집화하는 단계는, 상기 이미지 픽셀 좌표를 포함하는 복수개의 군집의 거리의 분산을 최소화 하는 알고리즘으로 수행될 수 있다.
일 실시예에 따른 컬러 맵 생성 장치는 GPS 신호를 수신하는 통신부; 적어도 하나의 객체의 라이다 좌표를 획득하는 라이다; 이미지 데이터를 획득하는 카메라; GPS신호를 수신하여 GPS데이터를 형성하고,
상기 GPS데이터에 포함된 상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하고, 해시 맵을 형성하여, 상기 이미지 픽셀 좌표를 키 정보로 결정하고, 상기 키 정보와 상기 GPS 데이터 및 컬러 정보를 버켓(bucket)으로 매칭하고, 상기 복수의 GPS좌표 각각과 대응되는 상기 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하고, 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 제어부;를 포함할 수 있다.
본 발명에 따른 효과는 다음과 같다.
일 실시예에 따른 컬러 맵 생성 방법은 각 픽셀마다 컬러 정보 및 장애물 정보를 매칭 시켜 정확한 컬러 맵 정보를 형성할 수 있다.
일 실시예에 따른 컬러 맵 생성 방법은 별도의 하드웨어 추가 없이 정확도 높은 맵 정보를 형성하여 비용을 절감할 수 있다.
일 실시예에 따른 컬러 맵 생성 방법은 정확한 맵 정보를 형성하므로서 컬러 맵 정보를 이용하는 사용자의 안전성을 확보할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도1은 일 실시예에 따른 컬러 맵 생성 장치의 제어블럭도이다.
도2는 일 실시예에 따른 컬러 맵 정보를 형성하는 순서도이다.
도3은 일 실시예에 따른 해시 맵을 형성하는 동작을 설명하기 위한 순서도이다.
도4는 일 실시예에 따른 본 발명의 해시 맵(hash map)을 설명하기 위한 도면이다.
도5및 도6는 일 실시예에 따른 GPS 정보, 라이다 정보 및 이미지 정보의 대응 관계를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도1은 일 실시예에 따른 컬러 맵 생성 장치의 제어블럭도이다.
일 실시예에 따른 컬러 맵 생성 장치(10)는 통신부(100), 라이다(300), 카메라(200) 및 제어부(400)를 포함할 수 있다.
통신부(100)는 GPS신호를 수신할 수 있다. 제어부는 통신부가 수신한 GPS신호를 기초로 GPS데이터를 형성할 수 있으며 GPS데이터 각각에 GPS좌표를 대응시킬 수 있다.
라이다(300)는 라이다 신호를 송신 및 수신할 수 있어 주변 물체의 위치 정보를 획득할 수 있다.
또한 카메라(200) 는 주변 이미지를 획득할 수 있다
제어부(400)는 통신부, 라이다 및 카메라가 획득한 데이터를 통합하여 GPS데이터를 카메라가 획득한 이미지 데이터에 투영시킬 수 있다.
도1과 도2를 함께 참고하면, 제어부는 통신부가 수신한 GPS 신호를 기초로 GPS데이터를 형성할 수 있다(S1).
한편 제어부는 GPS데이터의 GPS좌표를 카메라가 획득한 이미지의 픽셀 좌표로 변환할 수 있다(S2).
한편 제어부가 GPS좌표를 이미지 픽셀 좌표로 변환할 때 GPS좌표를 라이다 좌표로 변환하고 변환한 라이다 좌표를 카메라가 획득한 이미지의 이미지 픽셀 좌표로 변환할 수 있다.
한편 본 발명의 전반적인 동작에 있어서 MMS(Mobile Mapping System)가 이용될 수 있다.
일 실시예에 따른MMS에서는 0.1초 주기로 이미지와 라이다 데이터가 수집되고 0.005초 주기로 GPS 데이터를 기록한다.
한편 제어부는 기록된 GPS 데이터를 이용하여 체크포인트를 생성할 수 있다.
한편 본 발명으 카메라는 초당 10회의 속도로 사진이 기록되지만, 해당 사진들을 0.1초 간격으로 모두 투영 원활한 매핑이 어려울 수 있다.
따라서 제어부는 실제로 투영에 이용할 이미지를 일정 거리 차이를 두어서 결정할 수 있다.
즉 제어부는 체크 포인트를 미리 결정된 기준 거리 이상 이격 되도록 결정할 수 있다.
이러한 동작을 위하여 제어부는 기록된 GPS 데이터를 토대로 누적 거리를 계산하고, 일정 거리가 도달했을 때마다 GPS 데이터 인덱스(Data Index)를 저장할 수 있다. 한편 해당 인덱스들은 후술하는 체크 포인트를 의미할 수 있으며 투영 기준점의 위치를 나타낼 수 있다.
즉 제어부는 복수의 체크 포인트와 대응되는 복수의 GPS 좌표를 상기 이미지 픽셀로 변환할 수 있다.
한편 제어부는 이미지 픽셀 좌표와 상기 복수의 GPS좌표와 대응되는 상기 GPS 데이터 및 컬러 정보와 매칭 시킬 수 있다. 이러한 동작은 제어부가 이미지 픽셀 좌표를 기초로 해시 맵(hash map)을 형성하여 구현될 수 있다(1003).
한편 제어부가 해시 맵을 형성하는 구체적인 동작은 도3에서 서술한다.
제어부는 복수의 GPS좌표 각각과 대응되는 라이다 좌표의 위치를 기초로 이미지 픽셀 좌표를 군집화 할 수 있다(S4).
구체적으로 체크 포인트 GPS좌표와 이미지 픽셀 좌표의 매칭이 끝나면 카마라 획득한 이미지의 이미지 픽셀 좌표는 라이다가 획득한 라이다 좌표 각각과 대응될 수 있다. 제어부는 각각의 이미지 픽셀 좌표를 유클리드 클러스터링 알고리즘(Euclidean Clustering Algorithm)을 이용하여 서로 가까운 거리에 있는 점들을 군집화 할 수 있다.
한편 유클리드 클러스터링 알고리즘은 이미지 픽셀 좌표를 포함하는 복수개의 군집의 거리의 분산을 최소화하는 동작을 포함할 수 있다.
제어부는 라이다 좌표와 가장 가까운 군집화 된 상기 이미지 픽셀 좌표를 기초로 컬러 맵 데이터를 형성할 수 있다.
구체적으로 제어부는 라이다 좌표계 원점을 기준으로 하여 가장 가까운 거리에 있는 군집에 속한 점들을 투영 대상 점으로 설정하고, 나머지 군집들은 색 투영에서 제외할 수 있다.
제어부는 군집화 된 이미지 픽셀 좌표를 기초로 GPS 데이터와 대응되는 컬러 맵 데이터를 형성할 수 있다(S5).
구체적으로 제어부는 원점에서 가장 가까운 군집에 해당하는 점들, 즉 투영 대상점으로 선정된 점들에 대해 해당 픽셀의 RGB 값을 입력하고, 맵에 누적하여 맵 데이터를 형성할 수 있다.
한펴 도1 및 도2에서 설명하는 컬러 맵 생성 장치의 각 구성 및 각 구성에 대응하는 동작은 본 발명의 일 실시예에 불과하고 그 동작의 제한은 없다.
도3은 일 실시예에 따른 해시 맵을 형성하는 동작을 설명하기 위한 순서도이고, 도4는 일 실시예에 따른 본 발명의 해시 맵(hash map)을 설명하기 위한 도면이다.
도3및 도4를 참고하면, 해시 맵은 컴퓨팅에서 키를 값에 매핑할 수 있는 구조인, 연관 배열 추가에 사용되는 자료 구조를 의미할 수 있다. 해시 맵은 해시 함수를 사용하여 색인(index, Key, K41)을 버킷(bucket, B41, B42)으로계산한다.
본 발명에서는 GPS좌표가 라이다 좌표로 변환될 수 있다. 또한 라이다 좌표는 이미지 픽셀 좌표로 대응될 수 있다.
한편 본 발명의 일 실시예에서는 이미지 픽셀 좌표가 해시 맵의 키 정보(Key, K41)에 대응될 수 있고, 해당 키 정보에 GPS좌표에 대응되는 GPS데이터(B41)와 해당 GPS 좌표에 대응되는 컬러 정보(B42)가 각각 버켓에 대응될 수 있다.
구체적으로 제어부는 픽셀 정보를 기초로 해시 맵을 생성하는 동작을 시작할 수 있다(S11).
한편 제어부가 해시 맵 생성을 시작하면 GPS 좌표를 라이다 좌표로 변환할 수 있다(S12).
또한 제어부는 이에 이어서 라이다 좌표를 이미지 픽셀 좌표로 변환할 수 있다(S13).
즉 제어부는 점군 맵이 있다고 가정하고, 각 체크포인트를 기준으로 해서 일정 거리 이하의 점들만 예비 투영 대상으로 결정할 수 있다.
이후제어부는 투영 대상으로 선정된 점들을 점군 맵 생성과정의 역으로 계산하여 라이다 좌표계로 전환시킨다.
제어부는 라이다 좌표계로 전환된 점들을 원근투영변환을 이용해 이미지 픽셀 좌표(pixel_x, pixel_y)로 변환시킨다. 구체적인 변환 과정은 아래에 서술한다.
제어부는 GPS좌표를 아래 수학식1을 이용하여 라이다 좌표료 변환시킬 수 있다.
Figure PCTKR2021004267-appb-img-000001
L은 라이다 좌표를 의미한다. RL2I은 라이다에서 IMU로 전환되는 행렬을 의미한다. Rckpt는 체크 포인트의 로테이션 데이터를 의미한다. RI2W는 IMU에서 GPS좌표계의 전환 행렬을 의미한다. W는 GPS좌표를 의미하고 G는 해당 체크 포인트에서의 GPS데이터를 의미한다.
TL2I은 라이다에서 IMU로 변환되는 행렬을 의미한다.
한편 각 좌표계의 로테이션 행렬는 오일러각을 이용한 행렬로 표현될 수 있다. 이와 관련된 행렬은 수학식2와 같다.
Figure PCTKR2021004267-appb-img-000002
한편 이렇게 변환된 라이다 좌표는 다시 이미지 픽셀 좌표로 변환될 수 있다. 라이다 좌표가 이미지 픽셀 좌표로 변환되는 동작은 아래의 수학식3을 기초로 구현될 수 있다.
Figure PCTKR2021004267-appb-img-000003
수학식3을 참고하면 RL2C는 라이다에서 카메라 로테이션(rotation)의 행렬을 의미한다. TL2C는 라이다에서 카메라 전환(translation) 행렬을 의미한다.
fx 및 fy는 초점 거리를 의미한다. cx 및 cy는 주점을 의미한다.
Pixelx 및 pixely는 이미지 픽셀 좌표를 의미한다.
제어부는 상술한 동작을 기초로 GPS 좌표를 라이다 좌표로 변환하고, 라이다 좌표를 이미지 픽셀 좌표로 변환할 수 있다.
해시 맵에 이렇게 형성된 이미지 픽셀 좌표에 대응되는 키 정보가 존재하면(S14), 제어부는 키 정보에 GPS데이터 및 컬러 정보를 매칭 시켜 해시 맵을 형성할 수 있다(S16).
반면 형성된 이미지 픽셀 좌표에 대응되는 키 정보(K41)가 해시 맵에 존재하지 않으면 제어부는 이미지 픽셀 좌표에 대응되는 추가 등록 키 정보를 생성하고, 추가 등록 키 정보와 GPS 데이터(B41) 및 컬러 정보(B42)를 매칭할 수 있다.
상술한 동작을 제어부는 이미지 픽셀 좌표를 키 정보로하고 GPS데이터와 컬러 정보를 버켓으로 하는 해시 맵을 생성할 수 있다
한편 상술한 동작은 본 발명의 일 실시예에 불과하며 제어부가 이미지 픽셀 좌표와 데이터를 대응시켜 해시맵을 생성하는 동작의 제한은 없다.
도5및 도6는 일 실시예에 따른 GPS 정보, 라이다 정보 및 이미지 정보의 대응 관계를 설명하기 위한 도면이다.
도5 및 도6에서는, 본 발명의 동작을 설명하기 위하여 맵 정보에 있어서 도로 및 숲에 대응되는 컬러 맵 정보를 형성하는 동작을 설명한다.
기존의 컬러 맵은 도5와같이 생성될 수 있다. 기존의 컬러 맵에서는 도로 주변의 물체인 나무의 화분(I52)의 색이 도로(I51)에 입혀지는 문제점이 있었다.
한편 본 발명의 일 실시예에 따른 컬러 맵 생성 장치는 도로의 GPS좌표 및 GPS좌표에 대응되는 GPS데이터를 획득할 수 있다. 한편 컬러 맵 생성 장치는 GPS장치를 변환하여 라이다 좌표를 생성할 수 있다. 또한 생성된 라이다 좌표는 변환되어 이미지 픽셀 좌표로 생성될 수 있다. 도로에 대응되는 이미지 픽셀 좌표는 I61로 생성될 수 있다.
한편 일 실시예 따른 컬러 맵 생성 장치는 도로 주변의 물체의 GPS좌표 및 GPS좌표에 대응되는 GPS데이터를 획득할 수 있다. 한편 컬러 맵 생성 장치는 GPS장치를 변환하여 라이다 좌표를 생성할 수 있다. 또한 생성된 라이다 좌표는 변환되어 이미지 픽셀 좌표로 생성될 수 있다. 도로 주변의 물체인 나무의 화분의 이미지 픽셀 좌표는 I62로 결정될 수 있다.
한편 각 이미지 픽셀 좌표는 해시 맵을 통하여 컬러 정보가 대응될 수 있으므로 도5와 같이 색 정보가 다르게 입히는 것이 아닌 올바르게 입혀질 수 있다.
이러한 동작을 기초로 컬러 맵 생성 장치는 컬러 맵 정보를 생성할 수 있다. 즉 컬러 맵 생성 장치는 도로(I61)에 대응되는 이미지 픽셀 좌표에 해당 객체의 GPS데이터와 컬러 정보를 대응시키고 화분(I62)에 대응되는 이미지 픽셀 좌표에 해당 객체의 GPS데이터와 컬러 정보를 대응시켜 장애물에 가려진 영역에 대해서도 올바른 색 데이터가 적용된 컬러 맵 정보를 생성할 수 있다.
제어부는 도로가 빨강으로 표현된 컬러 맵 정보를 형성할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. GPS신호를 수신하여 GPS데이터를 형성하는 단계;
    상기 GPS데이터에 포함된 상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계;
    상기 이미지 픽셀 좌표와 상기 복수의 GPS좌표와 대응되는 상기 GPS 데이터 및 컬러 정보와 매칭 시키는 단계;
    상기 복수의 GPS좌표 각각과 대응되는 상기 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하는 단계;
    군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 단계;를 포함하는 컬러 맵 생성 방법.
  2. 제1항에 있어서,
    상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계는,
    상기 복수의 GPS좌표를 라이다 좌표로 변환하는 단계; 및
    상기 라이다 좌표를 상기 이미지 픽셀 좌표로 변환하는 단계;를 포함하는 컬러 맵 생성 방법.
  3. 제2항에 있어서,
    상기 컬러 맵 데이터를 형성하는 단계는,
    상기 라이다 좌표와 가장 가까운 군집화된 상기 이미지 픽셀 좌표를 기초로 상기 컬러 맵 데이터를 형성하는 단계;를 포함하는 컬러 맵 생성 방법.
  4. 제3항에 있어서,
    상기 컬러 맵 데이터를 형성하는 단계는,
    상기 라이다 좌표와 가장 가까운 군집화된 상기 이미지 픽셀 좌표에 RGB 값을 입력하여 상기 컬러 맵 데이터를 형성하는 단계;를 포함하는 컬러 맵 생성 방법.
  5. 제1항에 있어서,
    상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하는 단계는,
    상기 GPS 데이터에 포함되는 복수의 체크 포인트를 결정하는 단계; 및
    상기 복수의 체크 포인트와 대응되는 상기 복수의 GPS 좌표를 상기 이미지 픽셀로 변환하는 단계;를 포함하고,
    상기 복수의 체크 포인트는 미리 결정된 기준 거리 이상 이격되도록 결정되는 컬러 맵 생성 방법.
  6. 제1항에 있어서,
    상기 컬러 맵 데이터는,
    복수개의 키(key) 정보를 포함하는 해시 맵(Hash map)으로 형성되는 컬러 맵 생성 방법.
  7. 제6항에 있어서,
    상기 컬러 맵 데이터를 형성하는 단계는,
    상기 복수의 키 정보 중 상기 이미지 픽셀 좌표에 대응되는 등록 키 정보가 존재하면,
    상기 등록 키 정보와 상기 GPS 데이터 및 컬러 정보를 매칭하는 컬러 맵 생성 방법.
  8. 제6항에 있어서,
    상기 컬러 맵 데이터를 형성하는 단계는,
    상기 복수의 키 정보 중 상기 이미지 픽셀 좌표에 대응되는 등록 키 정보가 존재하지 않으면,
    상기 이미지 픽셀 좌표에 대응되는 추가 등록 키 정보를 생성하고,
    상기 추가 등록 키 정보와 상기 GPS 데이터 및 컬러 정보를 매칭하는 컬러 맵 생성 방법.
  9. 제1항에 있어서,
    상기 이미지 픽셀 좌표를 군집화하는 단계는,
    상기 이미지 픽셀 좌표를 포함하는 복수개의 군집의 거리의 분산을 최소화 하는 알고리즘으로 수행되는 컬러 맵 생성 방법.
  10. GPS 신호를 수신하는 통신부;
    적어도 하나의 객체의 라이다 좌표를 획득하는 라이다;
    이미지 데이터를 획득하는 카메라;
    GPS신호를 수신하여 GPS데이터를 형성하고,
    상기 GPS데이터에 포함된 상기 복수의 GPS좌표를 이미지 픽셀 좌표로 변환하고,
    해시 맵을 형성하여, 상기 이미지 픽셀 좌표를 키 정보로 결정하고,
    상기 키 정보와 상기 GPS 데이터 및 컬러 정보를 버켓(bucket)으로 매칭하고,
    상기 복수의 GPS좌표 각각과 대응되는 상기 라이다 좌표의 위치를 기초로 상기 이미지 픽셀 좌표를 군집화하고,
    군집화된 상기 이미지 픽셀 좌표를 기초로 상기 GPS 데이터와 대응되는 컬러 맵 데이터를 형성하는 제어부;를 포함하는 컬러 맵 생성 장치.
PCT/KR2021/004267 2020-04-29 2021-04-06 Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법 WO2021221334A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200052359A KR102490520B1 (ko) 2020-04-29 2020-04-29 Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
KR10-2020-0052359 2020-04-29

Publications (1)

Publication Number Publication Date
WO2021221334A1 true WO2021221334A1 (ko) 2021-11-04

Family

ID=78373629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/004267 WO2021221334A1 (ko) 2020-04-29 2021-04-06 Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR102490520B1 (ko)
WO (1) WO2021221334A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540634B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 프로젝션 기반 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130102873A (ko) * 2012-03-08 2013-09-23 현대엠엔소프트 주식회사 컬러 지상 라이다 측량 데이터를 이용하여 건물의 3차원 모델링 데이터를 자동으로 생성하기 위한 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100489890B1 (ko) 2002-11-22 2005-05-17 한국전자통신연구원 스테레오 비디오 또는/및 지리객체의 상세정보 제공 장치및 그방법
KR101611280B1 (ko) * 2014-06-16 2016-04-11 재단법인대구경북과학기술원 스테레오 카메라를 이용한 모바일 맵핑 시스템 및 모바일 맵핑 시스템의 포인트 클라우드 생성방법
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
KR102063534B1 (ko) * 2017-11-30 2020-01-09 주식회사 모빌테크 라이다를 이용한 지도 생성 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130102873A (ko) * 2012-03-08 2013-09-23 현대엠엔소프트 주식회사 컬러 지상 라이다 측량 데이터를 이용하여 건물의 3차원 모델링 데이터를 자동으로 생성하기 위한 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ADAM2: "[Data Structure] Hashing, Hash Table and Java HashMap", 4 April 2020 (2020-04-04), XP055861325, Retrieved from the Internet <URL:https://velog.io/@adam2/%EC%9E%90%EB%A3%8C%EA%B5%AC%EC%A1%B0%ED%95%B4%EC%8B%9C-%ED%85%8C%EC%9D%B4%EB%B8%94> *
AKSHAY SHETTY: "GPS-LiDAR Sensor Fusion Aided by 3D City Models for UAVs", YOUTUBE, 16 November 2017 (2017-11-16), XP055861330, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=EpD_7sn68Io> *
BOB WANG: "Lidar, Camera and GPS data visualization", YOUTUBE, 5 May 2019 (2019-05-05), XP055861328, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=M8Y0nD7efvU> *
ZHANG JI; KAESS MICHAEL; SINGH SANJIV: "Real-time depth enhanced monocular odometry", 2014 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS, IEEE, 14 September 2014 (2014-09-14), pages 4973 - 4980, XP032676976, DOI: 10.1109/IROS.2014.6943269 *

Also Published As

Publication number Publication date
KR102490520B1 (ko) 2023-01-25
KR20210133583A (ko) 2021-11-08

Similar Documents

Publication Publication Date Title
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2014073841A1 (ko) 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
WO2016024797A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2012161431A2 (ko) 차량 어라운드 뷰 영상 생성 방법
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
WO2011074759A1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
WO2018124337A1 (ko) 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치
EP3721380A1 (en) Method and system for facial recognition
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2015160052A1 (ko) 광각 렌즈 이미지 보정 방법 및 그 장치
WO2009154426A2 (ko) 지리정보 확인시스템의 제어방법 및 이동단말기
WO2018066754A1 (ko) 라이다 센서를 이용한 차량의 자세 추정 방법
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
WO2016206108A1 (en) System and method for measuring a displacement of a mobile platform
WO2014133251A1 (ko) 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
WO2019054593A1 (ko) 기계학습과 이미지 프로세싱을 이용한 지도 제작 장치
WO2015122658A1 (ko) 비전 센서 데이터베이스를 이용한 거리 측정 방법
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2019132504A1 (ko) 목적지 안내 장치 및 방법
WO2020071573A1 (ko) 딥러닝을 이용한 위치정보 시스템 및 그 제공방법
WO2016035924A1 (ko) 달리기 감지 방법 및 시스템
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
WO2019194561A1 (ko) 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21795903

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 27/03/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21795903

Country of ref document: EP

Kind code of ref document: A1