KR102336523B1 - Mobile mapping system that improves map information using point cloud data - Google Patents
Mobile mapping system that improves map information using point cloud data Download PDFInfo
- Publication number
- KR102336523B1 KR102336523B1 KR1020210054408A KR20210054408A KR102336523B1 KR 102336523 B1 KR102336523 B1 KR 102336523B1 KR 1020210054408 A KR1020210054408 A KR 1020210054408A KR 20210054408 A KR20210054408 A KR 20210054408A KR 102336523 B1 KR102336523 B1 KR 102336523B1
- Authority
- KR
- South Korea
- Prior art keywords
- map information
- information
- ground
- integrated
- coordinate system
- Prior art date
Links
- 238000013507 mapping Methods 0.000 title description 5
- 238000004519 manufacturing process Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 239000004744 fabric Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 자율 주행에 이용되는 맵 정보를 향상 시키는 기술로서 보다 상세하게는 맵 정보를 이루는 점군 데이터 업 샘플링(up-sampling)하는 이동 지도제작 시스템에 관련된 기술이다.The present invention relates to a technology for improving map information used for autonomous driving, and more particularly, to a technology related to a mobile mapping system for up-sampling point cloud data constituting map information.
지도 제작 시스템(Mobile Mapping System, MMS)란 카메라, 라이다 등 다양한 원격 감지 시스템과 GPS(Global Positioning System), INS(Inertial Navigation System) 등의 항법 센서를 갖춰 지리 공간 데이터를 수집하는 장치를 의미한다. A mobile mapping system (MMS) refers to a device that collects geospatial data equipped with various remote sensing systems such as cameras and lidar, and navigation sensors such as GPS (Global Positioning System) and INS (Inertial Navigation System). .
라이다를 포함한 MMS에서 수집한 데이터를 이용해 정밀 점군 지도를 구축할 수 있다. A precise point cloud map can be built using data collected from MMS, including LiDAR.
카메라에서 수집한 RGB 이미지 데이터를 이용해 3차원 점군 지도에 색 정보를 추가하는 것이 가능하다.It is possible to add color information to a 3D point cloud map using the RGB image data collected by the camera.
이러한 정밀 점군 지도에는 위해 일반 지도에 비해 뛰어난 정밀도를 갖춘 3D 입체 지도로 구현될 수 있고, 차선이나 노면표시, 횡단보도, 교통표지판 등 도로 환경상의 다양한 정보를 포함할 수 잇다.This precision point cloud map can be implemented as a 3D three-dimensional map with superior precision compared to the general map for hazards, and can include various information on the road environment such as lanes, road markings, crosswalks, and traffic signs.
한편 이러한 정밀 점군 지도를 형성하는데 지면에 대응되는 데이터가 부족할 수 있다. 특히 해당 영역에 색 정보가 부족한 경우에는 맵 정보와 RGB데이터가 매칭되어 색 정보를 추가하는데 어려움이 있었으며 이러한 문제점을 해결하기 위한 연구가 활발하게 이루어지고 있는 실정이다.On the other hand, to form such a precise point cloud map, data corresponding to the ground may be insufficient. In particular, when color information is insufficient in the corresponding area, map information and RGB data are matched, so it is difficult to add color information, and research to solve this problem is being actively conducted.
[선행기술문헌][Prior art literature]
공개특허공보 KR 10-2019-0043035 (2019.04.25)Laid-open Patent Publication KR 10-2019-0043035 (2019.04.25)
본 발명은 맵 정보에 포함된 점군 데이터의 업 샘플링을 수행하고 색 정보를 적용시켜 효율적으로 맵 정보를 향상 시키는 지도제작 시스템을 제공한다.The present invention provides a cartography system for efficiently improving map information by performing upsampling of point cloud data included in map information and applying color information.
일 실시예에 따른 지도 제작 시스템은 라이다 센서 또는 레이더 센서 및 관성 센서를 포함하고 통합 맵 정보에 대응되는 위치 정보를 획득하도록 마련된 센서부;A map production system according to an embodiment includes a sensor unit including a lidar sensor or a radar sensor and an inertial sensor and configured to acquire location information corresponding to integrated map information;
상기 통합 맵 정보의 이미지 정보를 획득하도록 마련되는 카메라; 상기 통합 맵 정보를 저장하는 메모리; 및 a camera provided to acquire image information of the integrated map information; a memory for storing the integrated map information; and
상기 위치 정보 및 상기 이미지 정보를 이용하여 상기 통합 맵 정보를 형성하고, 상기 통합 맵 정보를 미리 결정된 제1연산을 수행하여 상기 통합 맵 정보를 지면 맵 정보 및 지상 맵 정보로 분리하고,Forming the integrated map information using the location information and the image information, performing a first predetermined operation on the integrated map information to separate the integrated map information into ground map information and ground map information,
상기 지면 맵 정보를 미리 결정된 제2연산을 수행하여 라이다 좌표계로 변환하고,The ground map information is converted into a lidar coordinate system by performing a second predetermined operation,
상기 라이다 좌표계를 미리 결정된 제3연산을 수행하여 이미지 좌표계로 변환하고,The lidar coordinate system is converted into an image coordinate system by performing a third predetermined operation,
상기 이미지 좌표계 각각에 대응되는 색 정보를 추출하고,extracting color information corresponding to each of the image coordinate systems;
상기 색 정보 이용하여 상기 지면 맵 정보를 변경하고, 변경된 상기 지면 맵 정보와 상기 지상 맵 정보를 병합하여 상기 통합 맵 정보를 형성하는 프로세서;를 포함한다.and a processor that changes the ground map information by using the color information, and forms the integrated map information by merging the changed ground map information and the ground map information.
상기 제1연산은, 상기 통합 맵 정보에 포함된 높이 데이터 각각에 플립(flip)연산을 수행하고, 상기 플립 연산이 수행된 높이 데이터 상의 복수의 평면의 집합을 이용하여 상기 지면 맵 정보를 형성한다.In the first operation, a flip operation is performed on each of the height data included in the integrated map information, and the ground map information is formed using a set of a plurality of planes on the height data on which the flip operation is performed. .
상기 제1연산은, 상기 복수의 평면 사이에 대응되는 영역에 미리 결정된 보간 알고리즘(Moving Least Square)수행하여 상기 지면 맵 정보를 형성한다.In the first operation, a predetermined interpolation algorithm (Moving Least Square) is performed on a region corresponding to the plurality of planes to form the ground map information.
상기 이미지 프로세서는,The image processor,
상기 제1연산 기초로 상기 지면 맵 정보의 데이터의 업 샘플링(up-sampling)을 수행할 수 있다.Up-sampling of data of the ground map information may be performed based on the first operation.
상기 제2연산은, 상기 라이데 센서 및 상기 관성 센서 상호간의 좌표 변환 매트릭스 및 회전 변환 매트릭스를 기초로 상기 맵 정보의 직교 좌표를 상기 라이다 좌표계로 변환시킬 수 있다.The second operation may convert the Cartesian coordinates of the map information into the LiDAR coordinate system based on a coordinate transformation matrix and a rotation transformation matrix between the lidar sensor and the inertial sensor.
상기 제2연산은, 상기 라이다 센서 좌표에서 상기 관성 센서 좌표로 변환하는 매트릭스의 역 연산, GPS좌표를 회전 좌표로 변환한 매트릭스의 역 연산, 관성 좌표계를 맵 정보 좌표계로 변환 시키는 매트릭스의 역 연산 및 상기 맵 정보와 상기 GPS정보의 차이를 곱하는 연산을 포함하고,The second operation is an inverse operation of a matrix that converts the lidar sensor coordinates into the inertial sensor coordinates, an inverse operation of a matrix that converts GPS coordinates into rotational coordinates, and an inverse operation of a matrix that converts the inertial coordinate system into a map information coordinate system and a calculation of multiplying the difference between the map information and the GPS information,
상기 라이다 센서 및 상기 관성 센서 상호간의 좌표 변환 매트릭스 및 회전 변환 매트릭스를 기초로 상기 맵 정보의 직교 좌표를 상기 라이다 좌표계로 변환시키는 연산을 포함할 수 있다.It may include an operation of converting the Cartesian coordinates of the map information into the LiDAR coordinate system based on a coordinate transformation matrix and a rotation transformation matrix between the lidar sensor and the inertial sensor.
상기 제2연산은,The second operation is
상기 맵 정보와 상기 맵 정보 각각에 대응되는 GPS 정보의 차이를 기초로 상기 맵 정보의 직교 좌표를 상기 라이다 좌표계로 변환시킬 수 있다.The orthogonal coordinates of the map information may be converted into the lidar coordinate system based on a difference between the map information and the GPS information corresponding to each of the map information.
상기 제3연산은, 상기 통합 맵 정보의 형성에 기초가 된 이미지를 획득한 상기 카메라의 초점 거리 및 주점을 기초로 형성된 매트릭스를 포함할 수 있다.The third operation may include a matrix formed based on a focal length and a main point of the camera that has acquired an image based on the formation of the integrated map information.
상기 제3연산은, 상기 라이다 센서 또는 상기 레이더 센서 및 상기 카메라 상호간의 좌표 변환 매트릭스 및 회전 변환 매트릭스를 기초로 상기 라이다 좌표계를 상기 이미지 좌표계로 변환시킬 수 있다.The third operation may convert the lidar coordinate system into the image coordinate system based on a coordinate transformation matrix and a rotation transformation matrix between the lidar sensor or the radar sensor and the camera.
상기 이미지 프로세서는,The image processor,
상기 이미지 좌표 각각과 상기 지면 맵 정보를 매칭 시키고, 상기 이미지 좌표에 대응되는 상기 색 정보 이용하여 상기 지면 맵 정보를 변경하고,matching each of the image coordinates with the ground map information, and changing the ground map information using the color information corresponding to the image coordinates,
변경된 상기 지면 맵 정보 및 상기 지상 맵 정보를 병합에 기초하여 상기 통합 맵 정보의 해상도를 향상시킬 수 있다.The resolution of the integrated map information may be improved based on merging the changed ground map information and the ground map information.
상기 이미지 프로세서는,The image processor,
라이다 센서를 통해 획득한 상기 주변 물체에 대응되는 높이 정보가 포함된 상기 통합 맵 정보를 형성하고,Forming the integrated map information including height information corresponding to the surrounding object obtained through the lidar sensor,
상기 높이 정보에 기초하여 상기 통합 맵 정보를 상기 지면 맵 정보 및 상기 지상 맵 정보로 분리할 수 있다.The integrated map information may be divided into the ground map information and the ground map information based on the height information.
일 실시예에 따른 지도 제작 시스템은 맵 정보에 포함된 포인트 데이터의 업 샘플링을 수행하고 색 정보를 적용시켜 효율적으로 맵 정보의 해상도를 향상 시킬 수 있다.The map production system according to an exemplary embodiment may perform upsampling of point data included in the map information and apply color information to efficiently improve the resolution of the map information.
일 실시예에 따른 지도 제작 시스템은 도로 면의 희박한 포인트 분포를 고밀도로 변경할 수 있다. The cartography system according to an embodiment may change the sparse point distribution of the road surface to a high density.
일 실시예에 따른 지도 제작 시스템은, 지도제작 시스템이 맵 정보 상의 차선이나 노면 표시 등록을 더욱 효율적으로 수행할 수 있다.In the cartography system according to an embodiment, the cartography system can more efficiently register lanes or road surface marks on map information.
일 실시예에 따른 지도 제작 시스템은, 향상된 맵 정보를 제공하여 안전하고 효율적인 자율 주행을 제공할 수 있다.The map production system according to an embodiment may provide improved map information to provide safe and efficient autonomous driving.
도1은 일 실시예에 따른 지도 제작 시스템의 제어 블록도이다.
도2는 일 실시예에 따른 본 발명의 동작을 설명하는 순서도이다.
도3은 일 실시예에 따른 통합 맵 정보를 지상 맵 정보 및 지면 맵 정보로 분리하는 동작을 설명하기 위한 도면이다.
도4a 및 도4b는 일 실시예에 따른 맵 정보에 포함된 포인트에 업 샘플링을 수행한 동작을 설명하기 위한 도면이다.
도5a 및 도5b는 일 실시예에 따른 맵 정보의 해상도가 향상된 모습을 나타낸 도면이다.1 is a control block diagram of a cartography system according to an embodiment.
2 is a flowchart illustrating an operation of the present invention according to an embodiment.
3 is a diagram for explaining an operation of dividing integrated map information into ground map information and ground map information according to an embodiment.
4A and 4B are diagrams for explaining an operation of performing up-sampling on points included in map information according to an exemplary embodiment.
5A and 5B are diagrams illustrating an improved resolution of map information according to an exemplary embodiment.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다. Like reference numerals refer to like elements throughout. This specification does not describe all elements of the embodiments, and general content in the technical field to which the present invention pertains or content that overlaps between the embodiments is omitted. The term 'part, module, member, block' used in this specification may be implemented in software or hardware, and according to embodiments, a plurality of 'part, module, member, block' may be implemented as one component, It is also possible for one 'part, module, member, block' to include a plurality of components.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is "connected" to another part, it includes not only direct connection but also indirect connection, and indirect connection includes connection through a wireless communication network. do.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다. Throughout the specification, when a member is said to be located "on" another member, this includes not only a case in which a member is in contact with another member but also a case in which another member exists between the two members.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. Terms such as first, second, etc. are used to distinguish one component from another, and the component is not limited by the above-mentioned terms.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.The singular expression includes the plural expression unless the context clearly dictates otherwise.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. In each step, the identification code is used for convenience of description, and the identification code does not describe the order of each step, and each step may be performed differently from the specified order unless the specific order is clearly stated in the context. have.
도1은 일 실시예에 따른 지도 제작 시스템(1)의 제어 블록도이다.1 is a control block diagram of a
일 실시예에 따른 지도 제작 시스템(1)는 센서부(100), 카메라(200), 메모리(400) 및 프로세서(200)를 포함할 수 있다.The
센서부(100)는 라이다 센서, 레이더 센서 및 관성 센서를 포함할 수 있다.The
센서부(100) 마련된 센서를 기초로 차량의 자율 주행에 필요한 주변 물체의 위치 정보를 획득할 수 있다.Based on the sensor provided in the
레이더 센서는 마이크로파(극초단파, 10cm~100cm 파장) 정도의 전자기파를 물체에 발사시켜 그 물체에서 반사되는 전자기파를 수신하여 물체와의 거리, 방향, 고도 등을 검출하는 센서를 의미할 수 있다.The radar sensor may refer to a sensor that emits electromagnetic waves of about microwave (microwave, 10 cm to 100 cm wavelength) to an object, receives electromagnetic waves reflected from the object, and detects a distance, direction, altitude, etc. from the object.
라이다 센서는, 레이저 펄스를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려내는 센서를 의미할 수 있다.The lidar sensor may refer to a sensor that precisely draws a surrounding state by emitting a laser pulse, receiving the light reflected from a surrounding target object, and measuring the distance to the object.
관성 센서는 자이로 센서 및 가속도 센서를 포함하는 센서를 의미할 수 있다.The inertial sensor may mean a sensor including a gyro sensor and an acceleration sensor.
카메라(200)는 주변 이미지 정보를 획득하는 구성으로 마련될 수 있다.The
일 실시예에 따르면 카메라(200)는 차량의 전방, 후방 및 측방에 마련되어 영상을 획득할 수 있다.According to an embodiment, the
카메라(200)는 CCD(Charge-Coupled Device) 카메라(230) 또는 CMOS 컬러 이미지 센서를 포함할 수 있다. The
메모리(400)는 통합 맵 정보를 저장할 수 있다.The
통합 맵 정보는 자율 주행에 이용되는 맵 정보를 의미할 수 있다.The integrated map information may refer to map information used for autonomous driving.
통합 맵 정보는 지면 정보에 해당되는 지면 맵 정보와 통합 맵 정보에서 지면 맵 정보를 제외한 지상 맵 정보를 포함할 수 있다.The integrated map information may include ground map information corresponding to the ground information and ground map information excluding the ground map information from the integrated map information.
메모리(400)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. The
프로세서(200)는 통합 맵 정보를 미리 결정된 제1연산을 수행하여 통합 맵 정보를 지면 맵 정보 및 지상 맵 정보로 분리할 수 있다.The
제1연산은 후술하는 바와 같이 CSF(Cloth Simulation Filter)지면 분리 알고리즘과 보간 알고리즘(Moving Least Square), 즉 업 샘플링 알고리즘을 포함하는 연산을 의미할 수 있다.The first operation may refer to an operation including a Cloth Simulation Filter (CSF) surface separation algorithm and an interpolation algorithm (Moving Least Square), that is, an up-sampling algorithm, as will be described later.
프로세서(200)는 지면 맵 정보를 미리 결정된 제2연산을 수행하여 라이다 좌표계로 변환할 수 있다.The
제2연산은 맵 정보를 구성하는 월드 좌표계를 라이다 좌표계로 변환하는 연산을 의미할 수 있다.The second operation may refer to an operation of converting the world coordinate system constituting the map information into the lidar coordinate system.
월드 좌표계를 라이다 좌표계로 변환하는 제2연산에는 직교 좌표계를 회전 좌표계로 변환하는 연산 등을 포함할 수 있는데 이와 관련된 상세한 설명은 아래에서 서술한다.The second operation for converting the world coordinate system into the LIDAR coordinate system may include an operation for converting the Cartesian coordinate system into the rotational coordinate system, and a detailed description related thereto will be described below.
프로세서(200)는 라이다 좌표계를 미리 결정된 제3연산을 수행하여 이미지 좌표계로 변환할 수 있다.The
제3연산은 이미지를 획득한 카메라의 초점 거리 및 주점을 기초로 결정된 매트릭스를 포함할 수 있다.The third operation may include a matrix determined based on the focal length and main point of the camera that acquired the image.
프로세서(200)는 이미지 좌표계 각각에 대응되는 색 정보를 추출할 수 있다.The
프로세서(200)는 색 정보 이용하여 지면 맵 정보를 변경하고, 변경된 상기 지면 맵 정보와 지상 맵 정보를 병합할 수 있다.The
프로세서(200)는 이러한 동작을 기초로 통합 맵 정보를 형성할 수 있다.The
프로세서(200)는 상술한 제1연산을 통해, 통합 맵 정보에 포함된 높이 데이터 각각에 플립(flip)연산을 수행할 수 있다.The
프로세서(200)는 플립 연산이 수행된 높이 데이터 상의 복수의 평면의 집합을 이용하여 상기 지상 맵 정보를 형성할 수 있다.The
플립 연산은 맵 정보에 포함되어 있는 각 높이 정보를 뒤집는 연산을 의미할 수 있다.The flip operation may refer to an operation of flipping each height information included in the map information.
플립 연산이 수행된 높이 데이터 상의 복수의 평면은 플립된 상태에서 형성된 평면을 의미할 수 있으며 이와 관련된 자세한 설명은 후술한다.A plurality of planes on the height data on which the flip operation is performed may mean planes formed in a flipped state, and a detailed description thereof will be described later.
프로세서(200)는 상술한 제1연산을 통해, 복수의 평면 사이에 대응되는 영역에 미리 결정된 보간 알고리즘(Moving Least Square)수행하여 지상 맵 정보를 형성하는 연산을 의미할 수 있다.The
미리 결정된 보간 알고리즘 통상에 기술자에게 자명한 두 지점의 데이터를 알고 있을 때 데이터가 없는 지점을 예측하는 연산을 의미할 수 있다.A predetermined interpolation algorithm may refer to an operation of predicting a point without data when data of two points, which are usually obvious to a person skilled in the art, is known.
프로세서(200)는 플립 연산을 통하여 높이 정보가 연속적이지 못한 부분에서는 프로세서는 제1연산에 포함된 보간 알고리즘을 통하여 해당 영역의 높이 정보를 획득할 수 있다.In the portion where the height information is not continuous through the flip operation, the
프로세서(200)는 지면 맵 정보의 데이터의 업 샘플링(up-sampling)을 수행할 수 있다.The
프로세서(200)는 제2연산을 수행하여, 차량에 마련된 라이다 및 관성 센서 상호간의 좌표 변환 매트릭스 및 회전 변환 매트릭스를 기초로 맵 정보의 직교 좌표를 상기 라이다 좌표계로 변환시킬 수 있다. The
프로세서(200)는 제2연산을 수행하여, 맵 정보와 상기 맵 정보 각각에 대응되는 GPS 정보의 차이를 기초로 맵 정보의 직교 좌표를 라이다 좌표계로 변환시킬 수 있다.The
상술한 제2연산에 대한 상세한 설명은 아래에서 후술한다.A detailed description of the above-described second operation will be provided below.
상술한 제3연산은, 통합 맵 정보의 형성에 기초가 된 이미지를 획득한 카메라의 초점 거리 및 주점을 기초로 형성된 매트릭스를 포함할 수 있다.The above-described third operation may include a matrix formed based on a focal length and a main point of a camera that has acquired an image based on the formation of the integrated map information.
프로세서(200)는 제3연산을 수행하여, 라이다 및 카메라 상호간의 좌표 변환 매트릭스 및 회전 변환 매트릭스를 기초로 라이다 좌표계를 이미지 좌표계로 변환시킬 수 있다.The
제3연산에 포함된 매트릭스 등에 상세한 설명은 아래에서 서술한다.A detailed description of the matrix and the like included in the third operation will be described below.
한편 프로세서(200)는, 이미지 좌표 각각과 지면 맵 정보를 매칭 시킬 수 있다.Meanwhile, the
또한 이미지 좌표에 대응되는 색 정보 이용하여 지면 맵 정보를 변경할 수 있다.Also, the ground map information can be changed by using color information corresponding to the image coordinates.
프로세서(200)는 변경된 지면 맵 정보 및 지상 맵 정보의 병합에 기초하여 통합 맵 정보의 해상도를 향상 시킬 수 있다.The
한편 업 샘플링된 맵 정보에 색이 추가되면 맵 정보의 샤프니스(sharpness)가 증가되어 해상도가 증가할 수 있다.Meanwhile, when a color is added to the up-sampled map information, the sharpness of the map information is increased, and thus the resolution may be increased.
프로세서(200)는 라이다 센서를 통해 획득한 주변 물체에 대응되는 높이 정보가 포함된 상기 통합 맵 정보를 형성하고, 높이 정보에 기초하여 통합 맵 정보를 지면 맵 정보 및 지상 맵 정보로 분리할 수 있다.The
즉 라이다 센서는 센서로부터 물체의 높이 정보를 획득할 수 있다.That is, the lidar sensor may acquire height information of the object from the sensor.
이미지 프로세서는 라이다 센서가 획득한 해당 물체의 높이가 미리 결정된 높이를 초과하면 해당 물체는 지면에 해당하는 영역이 아닌 지상 맵 정보에 해당하는 정보인 것으로 판단할 수 있다.When the height of the object obtained by the lidar sensor exceeds a predetermined height, the image processor may determine that the object is information corresponding to ground map information, not an area corresponding to the ground.
프로세서는 이동 지도제작 시스템 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)를 포함할 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.The processor includes a memory (not shown) that stores data for an algorithm or a program reproducing the algorithm for controlling the operation of components in the mobile mapping system, and a processor that performs the above-described operation using the data stored in the memory ( not shown) may be included. In this case, the memory and the processor may be implemented as separate chips. Alternatively, the memory and the processor may be implemented as a single chip.
도 1에 도시된 이동 지도제작 시스템의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.At least one component may be added or deleted according to the performance of the components of the mobile mapping system shown in FIG. 1 . In addition, it will be readily understood by those of ordinary skill in the art that the mutual positions of the components may be changed corresponding to the performance or structure of the system.
한편, 도 1에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.Meanwhile, each component illustrated in FIG. 1 refers to software and/or hardware components such as Field Programmable Gate Array (FPGA) and Application Specific Integrated Circuit (ASIC).
도2 및 도3는 일 실시예에 따른 본 발명의 동작을 설명하는 순서도이다.2 and 3 are flowcharts illustrating the operation of the present invention according to an embodiment.
도2를 함께 참고하면 를 참고하면 이미지 프로세서는 통합 지면 맵 정보를 맵 정보 및 지상 맵 정보로 분리 할 수 있다(S201).Referring to FIG. 2 together, the image processor may separate the integrated ground map information into map information and ground map information (S201).
이를 분리하는데 있어서 후술하는 바와 같이 도4a 및 도4b에서 나타난 제1연산이 수행될 수 있다. In separating them, the first operation shown in FIGS. 4A and 4B may be performed as will be described later.
또한 이미지 프로세서는 지면의 맵 정보를 라이다 좌표계로 변환할 수 있다(S202). 한편 해당 동작을 위해서 이미지 프로세서는 제2연산을 수행할 수 있다.In addition, the image processor may convert the map information of the ground into a lidar coordinate system (S202). Meanwhile, for the corresponding operation, the image processor may perform a second operation.
제2연산은 하기의 수학식1을 기초로 수행될 수 있다.The second operation may be performed based on
수학식1을 참고하면, L은 라이다 좌표계를 의미하고 W는 맵 정보에 대응되는 좌표를 의미할 수 있다. G는 GPS데이터를 의미할 수 있다.Referring to
또한 RL2I는 라이다의 회전 좌표계를 관성 좌표계로 변환하는 매트릭스를 의미하며, Rckpt는 GPS좌표를 회전 좌표로 변환한 매트릭스를 의미할 수 있다.In addition, R L2I may mean a matrix converting the rotation coordinate system of the lidar into an inertial coordinate system, and R ckpt may mean a matrix converting GPS coordinates into rotation coordinates.
또한 RI2W는 관성 좌표계를 맵 정보 좌표계로 변환 시키는 매트릭스를 의미할 수 있다. TL2I는 라이다 직교 좌표계를 관성 좌표계로 변환 시키는 행렬식을 의미할 수 있다. Also, R I2W may mean a matrix that transforms the inertial coordinate system into the map information coordinate system. T L2I may mean a determinant for converting the LIDAR rectangular coordinate system into the inertial coordinate system.
이미지 프로세서는 상술한 수학식1을 이용하여 맵 정보를 이루는 좌표를 라이다 좌표로 변환할 수 있다The image processor may convert the coordinates constituting the map information into lidar
또한 이미지 프로세서는 라이다 좌표계를 이미지 좌표계로 변환할 수 있다(S203).Also, the image processor may convert the lidar coordinate system into an image coordinate system (S203).
프로세서가 라이다 좌표계를 이미지 좌표계로 변환할 때 하기의 수학식2를 기초로 한 제3연산이 수행될 수 있다.When the processor converts the LIDAR coordinate system into the image coordinate system, a third operation based on Equation 2 below may be performed.
수학식2를 참고하면 Pixelx, Pixely는 이미지 좌표를 의미하고 fx 및 fy 는 이미지를 획득하는 렌즈의 초점 거리를 의미할 수 있다. cy 및 cx는 이미지를 획득하는 렌즈의 주점을 의미할 수 있다. 주점은 공축 광학계의 축 위에 있는 가로 배율이 +1의 공액점을 의미할 수 있다.Referring to Equation 2, Pixel x , Pixel y means image coordinates, and f x and f y may mean a focal length of a lens that acquires an image. c y and c x may refer to a main point of a lens for acquiring an image. The main point may mean a conjugate point having a horizontal magnification of +1 on the axis of the coaxial optical system.
또한 RL2C 라이다의 회전 좌표를 이미지 회전 좌표계로 변경 시키는 매트릭스를 의미할 수 있다. 또한 TL2C는 라이다의 직교 좌표를 이미지 직교 좌표계로 변경 시키는 매트릭스를 의미할 수 있다. L은 라이다의 좌표계를 의미할 수 있다.It may also mean a matrix that changes the rotation coordinates of the R L2C lidar to the image rotation coordinate system. In addition, T L2C may mean a matrix that changes the Cartesian coordinates of the lidar to the image Cartesian coordinate system. L may mean a coordinate system of the lidar.
한편 상술한 동작 수학식2는 원근투영변환을 의미할 수 있다.Meanwhile, the above-described operation Equation 2 may mean a perspective projection transformation.
한편 상술한 동작을 기초로 이미지 좌표계로 변환되면 이미지 프로세서는 각 이미지 좌표계에 대응되는 색 정보를 추출할 수 있고 추출된 색 정보를 이용하여 맵 정보의 색을 변경할 수 있다(S204).On the other hand, when converted to an image coordinate system based on the above-described operation, the image processor may extract color information corresponding to each image coordinate system and change the color of the map information using the extracted color information (S204).
즉 프로세서는 라이다 좌표계에 있는 데이터를 이미지 좌표계로 변환시킬 수 있다. That is, the processor may convert data in the LIDAR coordinate system into the image coordinate system.
결과적으로 프로세서는 맵 정보에 있던 점을 이미지 좌표계로 투영시켜 최종적으로 맵 정보와 대응되는 이미지 좌표의 위치를 얻을 수 있다. As a result, the processor can project the points in the map information to the image coordinate system to finally obtain the position of the image coordinates corresponding to the map information.
프로세서는 이미지 좌표상의 RGB값을 읽어 지면 맵 정보 상의 데이터에 색상 값을 추가 시킬 수 있다.When the processor reads the RGB values on the image coordinates, it can add color values to the data on the map information.
또한 프로세서는 지면 맵 정보와 지상 맵 정보를 병합하여 통합 맵 정보 생성 할 수 있다(S205).In addition, the processor may generate integrated map information by merging the ground map information and the ground map information (S205).
즉, 프로세서는 맵 정보의 점군 데이터의 업 샘플링을 수행하고 색상 정보를 입힌 지면 맵 지상 맵 정보를 병합하여 최종적으로 결정되는 통합 맵 정보를 형성할 수 있다.That is, the processor may perform up-sampling of the point cloud data of the map information and merge the color information-coated ground map and the ground map information to form the finally determined integrated map information.
한편 도3을 참고하면, 이미지 프로세서가 업 샘플링을 수행하는 동작을 나타낸 순서도이다.Meanwhile, referring to FIG. 3 , it is a flowchart illustrating an operation in which the image processor performs upsampling.
도3과 도4a 및 도4b를 함께 참고하면 이미지 프로세서는 지면 맵 정보의 플립 연산 수행할 수 있다(S301).Referring to FIGS. 3 and 4A and 4B together, the image processor may perform a flip operation of ground map information ( S301 ).
한편 도4a를 함께 참고하면 PD41 통합 맵 정보를 의미할 수 있다.Meanwhile, referring to FIG. 4A together, it may mean PD41 integrated map information.
도4a 및 도4b를 함께 참고하면, PD41의 높이 정보에 플립 연산을 수행하면 높이 인버스(inverse) 연산이 수행되어 PD42와 같이 높이 정보가 변환될 수 있다. Referring to FIGS. 4A and 4B together, when a flip operation is performed on the height information of the PD41, the height inverse operation is performed to convert the height information like the PD42.
한편 이미지 프로세서는 지면 맵 정보의 높이 데이터의 평면 집합 결정 할 수 있다(S302).Meanwhile, the image processor may determine a flat set of height data of the ground map information (S302).
즉 상술한 동작을 기초로 변환된 맵 정보의 데이터는 평면을 형성할 수 있다(S5). That is, the data of the map information converted based on the above-described operation may form a plane (S5).
프로세서는 맵 정보 상에 마련된 도로면 데이터에 대해서만 업 샘플링을 진행할 수 있다. 프로세서가 상술한 동작을 수행하는 알고리즘은 CSF(Cloth Simulation Filter)으로 구현될 수 있다.The processor may perform upsampling only on road surface data provided on the map information. The algorithm for the processor to perform the above-described operation may be implemented as a Cloth Simulation Filter (CSF).
프로세서는 도 4b에서 나타낸 것과 같이 맵 정보를 뒤집어 그 위에 천을 올려놓는다고 가정 후, 천에 맞닿아있는 점들만 추출하여 해당하는 평면을 분리하는 방법을 사용할 수 있다. As shown in FIG. 4B , the processor may use a method of separating the corresponding plane by extracting only points that are in contact with the cloth, assuming that the map information is turned over and a cloth is placed thereon.
프로세서는 평면 사이에 보간 알고리즘을 이용하여 업 샘플링 수행할 수 있다(S303).The processor may perform upsampling using an interpolation algorithm between planes (S303).
다시 도4b를 참고하면 이미지 프로세서는 공간이 비어있는 V4영역에서는 평면의 보간 법을 이용하여 지면을 형성할 수 있다.Referring again to FIG. 4B , the image processor may form a ground surface in the V4 region where the space is empty by using a plane interpolation method.
최종적으로 이미지 프로세서는 S4에 해당하는 영역을 지면 맵 정보로 추출하여 통합 맵 정보를 지면 맵 정보와 나머지인 지상 맵 정보로 분리 할 수 있다.Finally, the image processor may extract the area corresponding to S4 as ground map information and separate the integrated map information into ground map information and the rest of the ground map information.
도5a 및 도5b는 일 실시예에 따른 맵 정보에 포함된 포인트에 업 샘플링을 수행한 동작을 설명하기 위한 도면이다.5A and 5B are diagrams for explaining an operation of performing up-sampling on points included in map information according to an exemplary embodiment.
상술한 동작을 기초로 프로세서는 맵 정보에 색 정보를 투영하면 기존 맵 정보에 희박한 점군 데이터를 조밀하게 만들 수 있다. Based on the above-described operation, if the processor projects color information on the map information, the sparse point cloud data may be densely formed on the existing map information.
이러한 동작을 기초로 지도 제작 시스템은 맵 정보의 차선이나 노면 표시 등록 작업을 더욱 수월하게 수행할 수 있다. Based on such an operation, the map production system may more easily perform a lane or road surface marking registration operation of map information.
예를 들어, 도 5a에 나타난 것과 같이 항공 뷰로 수집한 도로 데이터를 시각화하면 차선이나 노면 표시(비보호 좌회전)가 잘 드러나지 않는다.For example, when visualizing road data collected with an aerial view as shown in FIG. 5A , lanes or road markings (unprotected left turns) are not well revealed.
즉 도5a와 같이 기존에 획득한 정보를 기초로 맵 정보를 형성한 경우에는 점군 데이터의 밀도가 낮아 개략적인 형상조차 파악하기 어렵다.That is, when map information is formed based on previously acquired information as shown in FIG. 5A , the density of point cloud data is low and it is difficult to grasp even a schematic shape.
따라서 이러한 경우에는 정확한 맵 정보를 형성하기 어렵다.Therefore, in this case, it is difficult to form accurate map information.
구체적으로 도5a에 제시된 M5A영역의 경우 도로 상에 어떤 형체가 존재하는 정도의 예측만 가능할 뿐 해당 형태가 어떠한 정보를 같은 마커인지 파악하기 어렵다.Specifically, in the case of the M5A region shown in FIG. 5A, it is difficult to determine which type of information is the same marker as only the extent to which a certain shape exists on the road can be predicted.
이 영역에는 점군 데이터의 밀도가 부족하여 점군 데이터가 존재함에도 불구하고 정보를 파악하기 어렵게 마련될 수 있다.In this area, the density of the point cloud data is insufficient, and thus information may be difficult to grasp despite the presence of the point cloud data.
지도 제작 시스템은 상술한 동작을 기초로 맵 정보의 점군 데이터의 업 샘플링을 수행하고 색 정보를 투영하여 M5B와 같은 형태의 맵 정보를 형성할 수 있다.Based on the above-described operation, the map production system may perform upsampling of the point cloud data of the map information and project the color information to form map information in the form of M5B.
기존 M5A의 맵 정보는 형태를 파악하기 어려운 맵 정보 였으나, 상술한 동작을 통하여 "비보호 좌회전"의 선명한 형태를 포함하는 맵 정보로 변환될 수 있다. The map information of the existing M5A was difficult to grasp the shape of, but through the above-described operation, it can be converted into map information including a clear shape of “unprotected left turn”.
정리하면 상술한 동작을 기초로 해당 맵 정보를 라이다 좌표계로 변환하고 이미지 좌표계로 변환하여 대응되는 색 정보를 매칭 시킨다면 도5b와 같이 차선과 노면 표시의 형태가 잘 드러나는 맵 정보를 형성할 수 있다.In summary, if the corresponding map information is converted into the LiDAR coordinate system based on the above operation and the corresponding color information is matched by converting it into the image coordinate system, as shown in FIG. .
도6a 및 도6b는 일 실시예에 따른 맵 정보의 해상도가 향상된 모습을 나타낸 도면이다.6A and 6B are diagrams illustrating an improved resolution of map information according to an exemplary embodiment.
도6a를 참고하면 업샘플링을 수행하기 전에 맵 정보(D61)를 나타내고 있고 도6b는 상술한 동작을 기초로 맵 정보(D62)에 업 샘플링을 수행한 후의 맵 정보를 나타내고 있다.Referring to FIG. 6A , the map information D61 is shown before upsampling is performed, and FIG. 6B is shown after performing upsampling on the map information D62 based on the above-described operation.
지도 제작 시스템은 업 샘플링하여 색상 정보를 입힌 지면 맵 정보와 지상 맵 정보를 병합하여 최종적으로 업 샘플링된 맵 정보를 형성할 수 있다(D62).The cartography system may finally form upsampled map information by merging the ground map information to which the color information is applied by upsampling and the ground map information (D62).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.Meanwhile, the disclosed embodiments may be implemented in the form of a recording medium storing instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may create a program module to perform the operations of the disclosed embodiments. The recording medium may be implemented as a computer-readable recording medium.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. The computer-readable recording medium includes any type of recording medium in which instructions readable by the computer are stored. For example, there may be a read only memory (ROM), a random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.The disclosed embodiments have been described with reference to the accompanying drawings as described above. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention may be practiced in other forms than the disclosed embodiments without changing the technical spirit or essential features of the present invention. The disclosed embodiments are illustrative and should not be construed as limiting.
1 : 지도 제작 시스템
100 : 센서부
200 : 프로세서
300 : 카메라
400 : 저장부1: Cartography system
100: sensor unit
200 : processor
300 : camera
400: storage
Claims (10)
상기 통합 맵 정보의 이미지 정보를 획득하도록 마련되는 카메라;
상기 통합 맵 정보를 저장하는 메모리; 및
상기 위치 정보 및 상기 이미지 정보를 이용하여 상기 통합 맵 정보를 형성하고,
지면 맵 정보 및 지상 맵 정보를 포함하는 상기 통합 맵 정보에 미리 결정된 제1연산을 수행하고,
상기 지면 맵 정보를 미리 결정된 제2연산을 수행하여 라이다 좌표계로 변환하고,
상기 라이다 좌표계를 미리 결정된 제3연산을 수행하여 이미지 좌표계로 변환하고,
상기 이미지 좌표계 각각에 대응되는 색 정보를 추출하고,
상기 색 정보 이용하여 상기 지면 맵 정보를 변경하고, 변경된 상기 지면 맵 정보와 상기 지상 맵 정보를 병합하여 상기 통합 맵 정보를 형성하는 프로세서;를 포함하는 지도 제작 시스템a sensor unit including a lidar sensor or a radar sensor and an inertial sensor and provided to acquire location information corresponding to integrated map information;
a camera provided to acquire image information of the integrated map information;
a memory for storing the integrated map information; and
forming the integrated map information using the location information and the image information;
performing a first predetermined operation on the integrated map information including the ground map information and the ground map information;
The ground map information is converted into a lidar coordinate system by performing a second predetermined operation,
The lidar coordinate system is converted into an image coordinate system by performing a third predetermined operation,
extracting color information corresponding to each of the image coordinate systems;
a processor for changing the ground map information using the color information, and merging the changed ground map information and the ground map information to form the integrated map information;
상기 제1연산은,
상기 통합 맵 정보에 포함된 높이 데이터 각각에 플립(flip)연산을 수행하고,
상기 플립 연산이 수행된 높이 데이터 상의 복수의 평면의 집합을 이용하여 상기 지면 맵 정보를 형성하는 지도 제작 시스템
According to claim 1,
The first operation is
performing a flip operation on each of the height data included in the integrated map information,
A map production system for forming the ground map information by using a set of a plurality of planes on the height data on which the flip operation has been performed
상기 제1연산은,
상기 복수의 평면 사이에 대응되는 영역에 미리 결정된 보간 알고리즘(Moving Least Square)수행하여 상기 지면 맵 정보를 형성하는 지도 제작 시스템
3. The method of claim 2,
The first operation is
A map production system for forming the ground map information by performing a predetermined interpolation algorithm (Moving Least Square) on a region corresponding to the plurality of planes
상기 프로세서는,
상기 제1연산 기초로 상기 지면 맵 정보의 데이터의 업 샘플링(up-sampling)을 수행하는 지도 제작 시스템
According to claim 1,
The processor is
A map production system for performing up-sampling of data of the ground map information based on the first operation
상기 제2연산은,
상기 라이다 센서 좌표에서 상기 관성 센서 좌표로 변환하는 매트릭스의 역 연산, GPS좌표를 회전 좌표로 변환한 매트릭스의 역 연산, 관성 좌표계를 맵 정보 좌표계로 변환 시키는 매트릭스의 역 연산 및 상기 맵 정보와 상기 GPS정보의 차이를 곱하는 연산을 포함하고,
상기 라이다 센서 및 상기 관성 센서 상호간의 좌표 변환 매트릭스 및 회전 변환 매트릭스를 기초로 상기 맵 정보의 직교 좌표를 상기 라이다 좌표계로 변환시키는 연산을 포함하는 지도 제작 시스템
According to claim 1,
The second operation is
Inverse operation of the matrix for converting the LIDAR sensor coordinates into the inertial sensor coordinates, the inverse operation of the matrix converting the GPS coordinates into rotational coordinates, the inverse operation of the matrix for converting the inertial coordinate system into the map information coordinate system, and the map information and the Including the operation of multiplying the difference of GPS information,
A map production system comprising an operation for converting the Cartesian coordinates of the map information into the LiDAR coordinate system based on a coordinate transformation matrix and a rotation transformation matrix between the lidar sensor and the inertial sensor
상기 제2연산은,
상기 맵 정보와 상기 맵 정보 각각에 대응되는 GPS 정보의 차이를 기초로 상기 맵 정보의 직교 좌표를 상기 라이다 좌표계로 변환시키는 지도 제작 시스템
6. The method of claim 5,
The second operation is
A map making system that converts orthogonal coordinates of the map information into the LIDAR coordinate system based on a difference between the map information and the GPS information corresponding to each of the map information
상기 제3연산은,
상기 통합 맵 정보의 형성에 기초가 된 이미지를 획득한 상기 카메라의 초점 거리 및 주점을 기초로 형성된 매트릭스를 포함하는 지도 제작 시스템
According to claim 1,
The third operation is
A map production system including a matrix formed based on a focal length and a main point of the camera that has acquired an image based on the formation of the integrated map information
상기 제3연산은,
상기 라이다 센서 또는 상기 레이더 센서 및 상기 카메라 상호간의 좌표 변환 매트릭스 및 회전 변환 매트릭스를 기초로 상기 라이다 좌표계를 상기 이미지 좌표계로 변환시키는 지도 제작 시스템
8. The method of claim 7,
The third operation is
A map making system that converts the lidar coordinate system into the image coordinate system based on a coordinate transformation matrix and a rotation transformation matrix between the lidar sensor or the radar sensor and the camera
상기 프로세서는,
상기 이미지 좌표 각각과 상기 지면 맵 정보를 매칭 시키고,
상기 이미지 좌표에 대응되는 상기 색 정보 이용하여 상기 지면 맵 정보를 변경하고,
변경된 상기 지면 맵 정보 및 상기 지상 맵 정보를 병합에 기초하여 상기 통합 맵 정보의 해상도를 향상시키는 지도 제작 시스템
According to claim 1,
The processor is
Match each of the image coordinates with the ground map information,
changing the ground map information by using the color information corresponding to the image coordinates,
A map production system for improving the resolution of the integrated map information based on merging the changed ground map information and the ground map information
상기 프로세서는,
라이다 센서를 통해 획득한 상기 주변 물체에 대응되는 높이 정보가 포함된 상기 통합 맵 정보를 형성하고,
상기 높이 정보에 기초하여 상기 통합 맵 정보를 상기 지면 맵 정보 및 상기 지상 맵 정보로 분리하는 지도 제작 시스템According to claim 1,
The processor is
Forming the integrated map information including height information corresponding to the surrounding object obtained through the lidar sensor,
A map production system for separating the integrated map information into the ground map information and the ground map information based on the height information
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210054408A KR102336523B1 (en) | 2021-04-27 | 2021-04-27 | Mobile mapping system that improves map information using point cloud data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210054408A KR102336523B1 (en) | 2021-04-27 | 2021-04-27 | Mobile mapping system that improves map information using point cloud data |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102336523B1 true KR102336523B1 (en) | 2021-12-08 |
Family
ID=78867475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210054408A KR102336523B1 (en) | 2021-04-27 | 2021-04-27 | Mobile mapping system that improves map information using point cloud data |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102336523B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114612806A (en) * | 2022-02-07 | 2022-06-10 | 安徽理工大学 | Method for improving DEM product precision of consumption-level unmanned aerial vehicle |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190090999A (en) * | 2018-01-26 | 2019-08-05 | 주식회사 스트리스 | Apparatus and Method for Interpolating Occluded Regions in Scanning Data Using Camera Images |
KR20200096725A (en) * | 2019-01-30 | 2020-08-13 | 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 | Map generation system based on RGB point cloud for autonomous vehicles |
KR102195040B1 (en) * | 2019-06-27 | 2020-12-28 | 주식회사 모빌테크 | Method for collecting road signs information using MMS and mono camera |
JP6855090B2 (en) * | 2019-01-31 | 2021-04-07 | 株式会社ストラドビジョン | A learning method and learning device that integrates the image acquired from the camera and the point cloud map acquired through the corresponding radar or rider for each convolution stage of the neural network, and a test method and test device using it. |
-
2021
- 2021-04-27 KR KR1020210054408A patent/KR102336523B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190090999A (en) * | 2018-01-26 | 2019-08-05 | 주식회사 스트리스 | Apparatus and Method for Interpolating Occluded Regions in Scanning Data Using Camera Images |
KR20200096725A (en) * | 2019-01-30 | 2020-08-13 | 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 | Map generation system based on RGB point cloud for autonomous vehicles |
JP6855090B2 (en) * | 2019-01-31 | 2021-04-07 | 株式会社ストラドビジョン | A learning method and learning device that integrates the image acquired from the camera and the point cloud map acquired through the corresponding radar or rider for each convolution stage of the neural network, and a test method and test device using it. |
KR102195040B1 (en) * | 2019-06-27 | 2020-12-28 | 주식회사 모빌테크 | Method for collecting road signs information using MMS and mono camera |
Non-Patent Citations (1)
Title |
---|
KR102195040 B1dl |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114612806A (en) * | 2022-02-07 | 2022-06-10 | 安徽理工大学 | Method for improving DEM product precision of consumption-level unmanned aerial vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7398506B2 (en) | Methods and systems for generating and using localization reference data | |
US11085775B2 (en) | Methods and systems for generating and using localisation reference data | |
EP3137850B1 (en) | Method and system for determining a position relative to a digital map | |
CN110945379A (en) | Determining yaw error from map data, laser, and camera | |
KR102441100B1 (en) | Road Fingerprint Data Construction System and Method Using the LAS Data | |
US11513211B2 (en) | Environment model using cross-sensor feature point referencing | |
KR102336523B1 (en) | Mobile mapping system that improves map information using point cloud data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |