WO2023277371A1 - 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법 - Google Patents

3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법 Download PDF

Info

Publication number
WO2023277371A1
WO2023277371A1 PCT/KR2022/008045 KR2022008045W WO2023277371A1 WO 2023277371 A1 WO2023277371 A1 WO 2023277371A1 KR 2022008045 W KR2022008045 W KR 2022008045W WO 2023277371 A1 WO2023277371 A1 WO 2023277371A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
map
coordinates
image
point cloud
Prior art date
Application number
PCT/KR2022/008045
Other languages
English (en)
French (fr)
Inventor
김재승
박연수
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Publication of WO2023277371A1 publication Critical patent/WO2023277371A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/32—Image data format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Definitions

  • the present invention relates to a method for extracting lane coordinates using projection transformation of a 3D point cloud map, and more particularly, to a method for converting a 3D precision map (HD map) consisting of a point cloud into a flat image and developing a deep learning model. It was used to extract the lane area.
  • a 3D precision map HD map
  • the present invention can minimize the amount of calculation required to extract the coordinates of a lane by performing deep learning and lane extraction in a 2D area, and through this, projection transformation of a 3D point cloud map capable of obtaining lane information in real time It relates to a method for extracting lane coordinates.
  • Unmanned autonomous vehicle largely consists of recognizing the surrounding environment (recognition area), planning a driving route from the recognized environment (decision area), and driving along the planned route (control area).
  • recognition area recognizing the surrounding environment
  • decision area planning a driving route from the recognized environment
  • control area driving along the planned route
  • the cognitive domain it is the base technology that is first performed for autonomous driving, and only when the technology in this cognitive domain is accurately performed can accurate performance be performed in the next step, the judgment domain and the control domain.
  • the recognition technology for the environment around the vehicle varies depending on the target environment in which the self-driving vehicle aims to drive.
  • a technology that recognizes the various rules that exist in is essential.
  • recognizing a lane and moving along a predetermined lane can be said to be the most basic technology for safe driving with a manned vehicle.
  • the camera image used is an image obtained from a camera installed on the front of the vehicle, and the accuracy of prediction is significantly reduced near the edge or vanishing point of the image due to the viewing angle and perspective of the front of the camera.
  • Korean Patent Registration No. 10-2083909 which is the following prior art document, 'Method for automatically extracting lane data information for autonomous vehicles based on point cloud map' (hereinafter referred to as 'prior art') Suggests a technique for acquiring sub-optimal 3D information from 3D point cloud data obtained using LiDAR.
  • the present invention converts a 3D precision map (HD map) consisting of a point cloud into a flat image and uses a deep learning model to extract a 3D point cloud capable of extracting lane areas.
  • the purpose of this study is to provide a method for extracting lane coordinates using projection transformation of a map.
  • the present invention can minimize the amount of calculation required to extract the coordinates of a lane by performing deep learning and lane extraction in a 2D area, and through this, projection transformation of a 3D point cloud map capable of obtaining lane information in real time
  • the purpose is to provide a method for extracting lane coordinates using the present invention.
  • the present invention minimizes the amount of computation required to extract lane coordinates, thereby effectively automating the lane extraction process, and a method for extracting lane coordinates using projection transformation of a 3D point cloud map that can ensure speedy and high accuracy. It aims to provide
  • the method for extracting lane coordinates using projection transformation of a 3D point cloud map projects a 3D precision map (HD map) for learning into a flat image, extracts lanes on the map, and , Deep learning learning step of matching the map and the plane image of the lane to set it as learning data, and then learning a deep learning model that extracts the lane from the map using the set learning data; And a lane extraction step of projecting the target 3D precise map into a flat map image, extracting a flat lane image from the flat map image using the learned deep learning model, and then converting the extracted flat lane image into 3D coordinates.
  • a 3D precision map HD map
  • Deep learning learning step of matching the map and the plane image of the lane to set it as learning data, and then learning a deep learning model that extracts the lane from the map using the set learning data
  • a lane extraction step of projecting the target 3D precise map into a flat map image, extracting a flat lane image from the flat map image using the learned deep learning
  • the deep learning learning step may include a learning map projection process of projecting and converting a 3D point cloud map for learning, which is the 3D precise map for learning, into a top view image; a lane projection process of extracting lane points included in the 3D point cloud map for learning and projecting and converting them into a top view image; a learning data setting process of matching the map projected to the top view with the lanes and setting them as learning data; and a deep learning learning process of learning a lane extraction deep learning model using the learning data.
  • the learning map projection process may include a viewpoint conversion process of converting a 3D point cloud map for learning into a top view using a reflection intensity value (Intensity); A map division process of dividing the point cloud map converted into 2D into grids of a set size; and a planar map imaging process of imaging the point cloud map for each grid.
  • a viewpoint conversion process of converting a 3D point cloud map for learning into a top view using a reflection intensity value (Intensity)
  • a map division process of dividing the point cloud map converted into 2D into grids of a set size
  • a planar map imaging process of imaging the point cloud map for each grid.
  • a meaningless image removal process of removing a flat map image having no vehicle road from among the flat map images may be included.
  • the lane projection process may include a lane point extraction process of extracting lane points from the 3D point cloud map for learning; A line fitting process of fitting the extracted lane points into a line; and a flat lane imaging process of imaging the fitted lanes for each grid.
  • the process of setting the learning data may include an ID grant process of assigning coordinate values for global coordinates for each grid as an ID; and an image matching process of matching a flat map image and a flat lane image to which the same ID is assigned and setting them as one image pair.
  • the lane extraction step may include a target map projection process of projecting and converting the target 3D point cloud map, which is the target 3D precision map, into a top view image; a lane extraction process of extracting a flat lane image from a flat map image using the deep learning model; and a lane coordinate restoration process of restoring the extracted plane lane image into global coordinates.
  • the target map projection process includes a map division process of dividing the point cloud map projected from 3D to 2D into grids of a set size
  • the lane coordinate restoration process includes A corresponding plane lane image may be restored to a point cloud of 3D coordinates using coordinate values of global coordinates.
  • the lane coordinate restoration process may include a plane coordinate assignment process of converting the corresponding plane lane image into lane points by assigning x coordinates and y coordinates to the corresponding plane lane image using coordinate values of global coordinates assigned to each grid; A 3D coordinate confirmation process of checking the coordinates of a point closest to the corresponding x-coordinate and y-coordinate in the target 3D precise map; and a z-coordinate assigning process of assigning the z-coordinate of the identified 3D coordinates to the corresponding traffic lane point.
  • the lane coordinate restoration process may include a plane coordinate assignment process of converting the corresponding plane lane image into lane points by assigning x coordinates and y coordinates to the corresponding plane lane image using coordinate values of global coordinates assigned to each grid; a step of confirming a 3D point within a certain distance based on the corresponding x-coordinate and y-coordinate in the target 3D precise map; and a z-coordinate assigning process of assigning an average value of the z-coordinates of the identified 3D points to corresponding lane points.
  • the present invention has the advantage of converting a 3D map (HD map) consisting of a point cloud into a flat image and extracting lane areas using a 2D image deep learning model. there is.
  • the present invention can minimize the amount of computation required to extract the coordinates of a lane by performing deep learning and lane extraction in a 2D domain, and thus has the advantage of obtaining lane information in real time.
  • the present invention minimizes the amount of calculation required to extract the coordinates of the lane, thereby effectively automating the lane extraction process, and has the advantage of ensuring speedy yet high accuracy.
  • the present invention has the advantage of presenting a deep learning model that enables accurate lane extraction by replacing the black and white brightness value, which is the most important information, with the intensity value of the LIDAR sensor in lane extraction on an image.
  • the present invention has the advantage of enabling quick and accurate determination of various information on the driving environment through highly accurate real-time analysis in autonomous driving based on a 3D precision map.
  • the present invention has the advantage of being able to update the autonomous driving system in real time by acquiring accurate information on rapidly changing and emerging roads.
  • FIG. 1 is a flowchart illustrating an embodiment of a method for extracting lane coordinates using projection transformation of a 3D point cloud map according to the present invention.
  • FIG. 2 is a flowchart illustrating a specific embodiment of step 'S100' shown in FIG. 1 .
  • FIG. 3 is a flowchart illustrating a specific embodiment of the process 'S110' shown in FIG. 2 .
  • FIG. 4 is a flowchart illustrating a specific embodiment of the process 'S120' shown in FIG. 2 .
  • FIG. 5 is a flowchart illustrating a specific embodiment of the process 'S130' shown in FIG. 2 .
  • FIG. 6 is a flowchart illustrating a specific embodiment of step 'S200' shown in FIG. 1 .
  • FIG. 7 is a flowchart illustrating a specific embodiment of the process 'S230' shown in FIG. 6 .
  • FIG. 8 is a flowchart illustrating another specific embodiment of the process 'S230' shown in FIG. 6 .
  • FIG. 9 is a diagram explaining the structure of a learning network used in step 'S100' shown in FIG. 1 .
  • FIG. 10 is a diagram explaining a process of generating learning data used in step 'S100' shown in FIG. 1 .
  • FIG. 1 is a flowchart illustrating an embodiment of a method for extracting lane coordinates using projection transformation of a 3D point cloud map according to the present invention.
  • the method for extracting lane coordinates using projection transformation of a 3D point cloud map includes a deep learning step (S100) and a lane extraction step (S200).
  • a method of extracting information about lanes for example, 3D coordinates for point cloud data (point cloud) of lanes is learned from a 3D precision map (HD map).
  • a three-dimensional precision map (HD map) for learning is projected into a flat image to extract a lane on the map, match the map and the flat image of the lane to set it as learning data, , learns a deep learning model that extracts lanes from the map using the set learning data.
  • HD map three-dimensional precision map
  • the lane extraction step (S200) is a process of extracting the 3D coordinates of the lane included in the point cloud map from the 3D point cloud measured by LiDAR, and projecting the target 3D precision map into a flat map image After that, using the deep learning model learned in the deep learning learning step (S100), a flat lane image is extracted from the flat map image and converted into three-dimensional coordinates.
  • FIG. 2 is a flowchart illustrating a specific embodiment of step 'S100' shown in FIG. 1 .
  • the deep learning learning step (S100) may include a learning map projection process (S110), a lane projection process (S120), a learning data setting process (S130), and a deep learning learning process (S140).
  • a 3D point cloud map for learning which is a three-dimensional precision map for learning, can be projected and converted into a top view image.
  • a 3D point cloud map may be converted into a 2D map by deleting a z-coordinate value from a 3D coordinate for each point of the 3D point cloud map.
  • lane points included in the 3D point cloud map for learning may be extracted, projected into a top view image, and converted.
  • the process of extracting lane points for learning is performed only once, and since it has nothing to do with the analysis of the 3D point cloud map actually measured afterwards, it may be performed manually.
  • the process of setting learning data is a process of matching a top-view projected map and a lane to set as learning data, and can be regarded as a process of matching a problem (map) and an answer (lane).
  • the deep learning learning process is a process of learning the next best deep learning model using the learning data in which the problem and the answer are matched. can be seen as a process.
  • FIG. 3 is a flowchart illustrating a specific embodiment of the process 'S110' shown in FIG. 2 .
  • the learning map administration process (S110) includes a viewpoint conversion process (S111), a map division process (S112), and a flat map imaging process (S113).
  • the 3D point cloud map for learning is converted into a top view using the reflection intensity value (Intensity) (S111), and then the point cloud map converted to 2D is divided into grids of a set size, (S112), the point cloud map may be imaged for each grid (S113).
  • Intensity the reflection intensity value
  • S112 the point cloud map converted to 2D is divided into grids of a set size, (S112), the point cloud map may be imaged for each grid (S113).
  • an image suitable for recognizing lane features may be generated by a deep learning model using reflection intensity values of 3D point cloud data.
  • each image may be generated as a gray image having the reflection intensity of the projected point as a pixel value.
  • a flat map image without a road among the flat map images for example, an empty image without any dots, an image without a road and only structures such as buildings, bushes, parking lots, etc. It is possible to perform a meaningless image removal process to remove .
  • FIG. 4 is a flowchart illustrating a specific embodiment of the process 'S120' shown in FIG. 2 .
  • the lane projection process (S120) may include a lane point extraction process (S121), a line fitting process (S122), and a plane lane imaging process (S123).
  • the extracted lane points can be fitted into lines (S122), and the fitted lanes are drawn into each grid. It can be imaged separately (S123).
  • line fitting may be performed on these samples (S122).
  • the point cloud data of lanes interpolated by lines have coordinates that coincide with the coordinates of the 3D precision map.
  • the point cloud data of this lane can be converted into a divided image by applying the same grid used to divide the point cloud data of the map above (S123).
  • the divided image for the lane may include a binary image having a maximum brightness value of 255 for pixels corresponding to the lane and a minimum brightness value of 0 for pixels corresponding to a background other than the lane. there is.
  • FIG. 5 is a flowchart illustrating a specific embodiment of the process 'S130' shown in FIG. 2 .
  • the learning data setting process (S130) may include an ID assignment process (S131) and an image matching process (S132).
  • coordinate values for global coordinates can be given as IDs for each grid.
  • the ID may include the upper left coordinate value of each divided grid.
  • a flat map image to which the same ID is assigned and a flat lane image may be matched and set as one image pair.
  • the plane lane image may be the ground truth of the corresponding plane map image.
  • the basic encoder-decoder structure with an added skip connection was taken as a baseline, and the 'stride 'Blurpool', which is an 'anti-aliasing' downsampling method, was used without using 'convolution', and even during upsampling, 'deconvolution (Dilated convolution)', which is the biggest cause of 'artifact', was not used, and linear interpolation was used. Upsampling and general convolutional association were performed.
  • the output of the model is the predicted lane mask for that input, which has the same size as the input image.
  • FIG. 6 is a flowchart illustrating a specific embodiment of step 'S200' shown in FIG. 1 .
  • the lane extraction step (S200) may include a target map projection process (S210), a lane extraction process (S220), and a lane coordinate restoration process (S230).
  • the target 3D point cloud map which is a target 3D precision map
  • a top view image S210
  • a flat lane image is obtained from the flat map image using a deep learning model.
  • the extracted plane lane image may be restored to global coordinates (S230).
  • the target map projection process (S210) may include a map division process of dividing the point cloud map projected from 3D to 2D into grids of a set size
  • the lane coordinate restoration process (S230) may include an ID for each grid It is possible to restore the corresponding plane lane image to a point cloud of 3D coordinates using the coordinate values of the global coordinates given by .
  • the lane image obtained as an output may include a gray image in which a probability that a corresponding pixel on the image corresponds to the lane corresponds to a pixel value between '0' and '1'.
  • the pixel coordinates of pixels having a value of '1' can be converted into global coordinates through the grid ID of the image.
  • FIG. 7 is a flowchart illustrating a specific embodiment of the process 'S230' shown in FIG. 6 .
  • the lane coordinate restoration process (S230) is a plane coordinate assignment process (S231 ), a 3D coordinate confirmation process for checking the coordinates of the point closest to the corresponding x and y coordinates on the target 3D precision map (S232), and z coordinates for assigning the z coordinate of the confirmed 3D coordinates to the corresponding lane point A process (S233) may be included.
  • a 3D precision map point closest to the lane point is matched according to the distance value based on the x, y coordinates of the lane point, and the z value of the map point can be assigned as the z value of the lane point.
  • FIG. 8 is a flowchart illustrating another specific embodiment of the process 'S230' shown in FIG. 6 .
  • the lane coordinate restoration process is a plane coordinate assignment process (S231 '), an adjacent point confirmation process of confirming 3D points within a certain distance based on the corresponding x and y coordinates in the target 3D precision map (S232'), and the average value of the z coordinates of the identified 3D points is given to the corresponding lane point It may include a z-coordinate assignment process (S233').
  • the average value can be used as the coordinates of the next line. influence can be minimized.
  • all of the x, y, and z coordinates can obtain lane coordinates that match the point cloud on the 3D map, and through this, the lane can be recognized and displayed on the map.
  • FIG 9 illustrates the structure of a learning network used in the learning process of the lane extraction method proposed in the present invention.
  • the first column shows a top view segmented image of the map
  • the second column shows an edge image obtained by applying the Kenny edge filter to the map image
  • the third column shows an edge image obtained by applying the Kenny edge filter to the map image.
  • Columns are lane images of the corresponding grid.
  • the images of the first and second columns may be used as inputs of the next best extraction model, and may be learned through the images of the third column.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법에 관한 것으로, 보다 상세하게는 포인트 클라우드(Point cloud)로 이루어진 3차원 정밀 지도(HD map)를 평면이미지로 변환하고 딥러닝모델을 이용하여 차선영역을 추출할 수 있도록 한 것이다. 특히, 본 발명은 2D영역에서 딥러닝 및 차선추출을 수행함으로써, 차선의 좌표를 추출하는데 필요한 연산량을 최소화할 수 있으며, 이를 통해 실시간으로 차선의 정보를 얻을 수 있다. 또한, 본 발명은 이미지 상의 차선 추출에 있어, 가장 중요한 정보인 흑백밝기값을 라이다 센서의 반사강도(Intensity)값으로 대체함으로써, 정확한 차선 추출이 가능하도록 한 딥러닝 모델을 제시할 수 있다. 따라서, 자율주행 분야, 도로 인식 분야, 차선 인식 분야, 자율주행용 고정밀 도로 지도 분야, 특히 라이다를 이용한 도로인식 및 자율주행 분야는 물론, 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법
본 발명은 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법에 관한 것으로서, 보다 상세하게는 포인트 클라우드(Point cloud)로 이루어진 3차원 정밀지도(HD map)를 평면이미지로 변환하고 딥러닝모델을 이용하여 차선영역을 추출할 수 있도록 한 것이다.
특히, 본 발명은 2D영역에서 딥러닝 및 차선추출을 수행함으로써, 차선의 좌표를 추출하는데 필요한 연산량을 최소화할 수 있으며, 이를 통해 실시간으로 차선의 정보를 얻을 수 있는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법에 관한 것이다.
차량의 무인자율화(자율주행차량)는 크게 주위 환경을 인식하는 단계(인지영역)와, 인식된 환경으로부터 주행경로를 계획하는 단계(판단영역), 그리고 계획된 경로를 따라 주행하는 단계(제어영역)로 구성될 수 있다.
특히, 인지영역의 경우 자율주행을 위해 가장 처음 수행되는 기반 기술이며, 이러한 인지영역에서의 기술이 정확히 이루어져야만 다음 단계인 판단영역 및 제어영역에서도 정확한 수행이 가능하게 된다.
이러한 차량 주변의 환경에 대한 인식 기술은, 자율주행차량이 주행을 목표로 하는 대상환경에 따라 달라지게 되는데, 특히 기존의 유인차량이 주행하도록 설계 및 시공된 도로환경에서 자율주행을 하기 위해서는, 도로에 존재하는 다양한 규칙들을 인식하는 기술이 필수적으로 요구되고 있다.
특히, 차선을 인식하여 정해진 차선을 따라 이동하는 것은, 유인차량과의 안전한 주행을 위하여 가장 기본적인 기술이라고도 할 수 있다.
도로의 차선을 인식하는 방법 중 하나로, 카메라를 통해 획득된 영상을 기반으로 하는 방법이 있으며, 영상 처리 기술의 발전에 따라 카메라 영상으로부터 차선을 추출하는 작업도 많은 연구가 진행되어 왔다.
최근에는 차선 추출 연구의 대부분이 딥러닝을 기반으로 하여 진행되고 있는데, 의미론적 분할(Semantic segmentation) 모델을 뼈대로 삼아 여러 가지 변형이 제안되어 왔다.
한편, 사용되는 카메라 영상은 대부분의 경우 차량 전면에 설치된 카메라로부터 취득되는 영상으로, 카메라 전면부의 시야각과 원근감에 의해 이미지의 가장자리나 소실점 부근에서 예측의 정확도가 현저히 떨어지게 된다.
또한, 카메라 이미지의 특성상 우천이나 도로로 입사되는 광량 등의 환경적인 조건에 의해 차선을 인식하는데 어려움이 발생하기도 한다.
이러한 문제점을 해결하기 위한 기술 중 하나로, 하기의 선행기술문헌인 대한민국 등록특허공보 제10-2083909호 '포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법'(이하 '선행기술'이라 한다)은, 라이다(LiDAR)를 이용하여 획득되는 3차원 점군데이터로부터 차선의 3차원 정보를 획득할 수 있는 기술을 제시하고 있다.
그러나 선행기술의 경우, 차선데이터를 추출하는 과정에서 3차원의 점군데이터를 이용하여 연산을 수행하므로, 해당 연산을 수행하는데 많은 시간이 소요된다는 단점이 있다.
또한, 라이다 프레임이 포함하는 점군의 희소성 때문에, 라이다 센서로부터 거리가 멀수록 차선 인식에 어려움이 있으며, 특히 차선이 손상되어 있거나 차선 표시선 간의 거리가 먼 경우에는 더욱 큰 문제점이 된다.
본 연구는 국토교통부/국토교통과학기술진흥원의 지원으로 수행되었음(과제번호　22AMDP-C161762-02).
상기와 같은 문제점을 해결하기 위해서, 본 발명은 포인트 클라우드(Point cloud)로 이루어진 3차원 정밀지도(HD map)를 평면이미지로 변환하고 딥러닝모델을 이용하여 차선영역을 추출할 수 있는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법을 제공하는데 목적이 있다.
특히, 본 발명은 2D영역에서 딥러닝 및 차선추출을 수행함으로써, 차선의 좌표를 추출하는데 필요한 연산량을 최소화할 수 있으며, 이를 통해 실시간으로 차선의 정보를 얻을 수 있는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법을 제공하는데 목적이 있다.
더불어, 본 발명은 차선의 좌표를 추출하는데 필요한 연산량을 최소화함에 따라, 차선 추출 과정을 효과적으로 자동화할 수 있으며, 신속하면서도 높은 정확도를 보장할 수 있는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법은, 학습용 3차원정밀지도(HD map)를 평면이미지로 투영하여 해당 지도상의 차선을 추출하고, 해당 지도와 차선의 평면이미지를 매칭하여 학습데이터로 설정한 후, 설정된 학습데이터를 이용하여 해당 지도로부터 차선을 추출하는 딥러닝모델(Deep learning model)을 학습하는 딥러닝학습단계; 및 대상 3차원정밀지도를 평면지도이미지로 투영하고 학습한 딥러닝모델을 이용하여 평면지도이미지로부터 평면차선이미지를 추출한 후, 추출된 평면차선이미지를 3차원좌표로 변환하는 차선추출단계;를 포함한다.
또한, 상기 딥러닝학습단계는, 상기 학습용 3차원정밀지도인 학습용 3D 포인트 클라우드 맵(Point cloud map)을 탑뷰의 이미지로 투영하여 변환하는 학습맵투영과정; 상기 학습용 3D 포인트 클라우드 맵에 포함된 차선포인트를 추출하여 탑뷰의 이미지로 투영하여 변환하는 차선투영과정; 상기 탑뷰로 투영된 맵과 차선을 매칭하여 학습데이터로 설정하는 학습데이터 설정과정; 및 상기 학습데이터를 이용하여 차선추출 딥러닝모델을 학습하는 딥러닝학습과정;을 포함할 수 있다.
또한, 상기 학습맵투영과정은, 반사강도값(Intensity)을 이용하여 학습용 3D 포인트 클라우드 맵을 탑뷰로 변환하는 시점변환과정; 2D로 변환된 포인트 클라우드 맵을 설정된 크기의 그리드(Grid)로 분할하는 맵분할과정; 및 상기 포인트 클라우드 맵을 각 그리드별로 이미지화하는 평면지도이미지화과정;을 포함할 수 있다.
또한, 상기 평면지도이미지화과정 이후에, 상기 평면지도이미지 중 차도가 없는 평면지도이미지를 제거하는 무의미이미지 제거과정;을 포함할 수 있다.
또한, 상기 차선투영과정은, 상기 학습용 3D 포인트 클라우드 맵에서 차선포인트를 추출하는 차선포인트 추출과정; 추출된 차선포인트를 라인(Line)으로 피팅(Fitting)하는 라인피팅과정; 및 피팅된 차선을 각 그리드별로 이미지화하는 평면차선이미지화과정;을 포함할 수 있다.
또한, 상기 학습데이터 설정과정은, 각 그리드별로 전역좌표에 대한 좌표값을 아이디로 부여하는 아이디부여과정; 및 동일한 아이디가 부여된 평면지도이미지와 평면차선이미지를 매칭하여 하나의 이미지쌍으로 설정하는 이미지매칭과정;을 포함할 수 있다.
또한, 상기 차선추출단계는, 상기 대상 3차원정밀지도인 대상 3D 포인트 클라우드 맵(Point cloud map)을 탑뷰의 이미지로 투영하여 변환하는 대상맵투영과정; 상기 딥러닝모델을 이용하여 평면지도이미지로부터 평면차선이미지를 추출하는 차선추출과정; 및 추출된 평면차선이미지를 전역좌표로 복원하는 차선좌표복원과정;을 포함할 수 있다.
또한, 상기 대상맵투영과정은, 3D에서 2D로 투영된 포인트 클라우드 맵을 설정된 크기의 그리드(Grid)로 분할하는 맵분할과정;을 포함하고, 상기 차선좌표복원과정은, 그리드별 아이디로 부여된 전역좌표의 좌표값을 이용하여 해당 평면차선이미지를 3차원좌표의 포인트 클라우드로 복원할 수 있다.
또한, 상기 차선좌표복원과정은, 그리드별로 부여된 전역좌표의 좌표값을 이용하여 해당 평면차선이미지에 x좌표 및 y좌표를 부여하여 차선포인트로 변환하는 평면좌표부여과정; 상기 대상 3차원정밀지도에서 해당 x좌표 및 y좌표와 가장 가까운 포인트의 좌표를 확인하는 3차원좌표확인과정; 및 확인된 3차원좌표의 z좌표를 해당 차선포인트에 부여하는 z좌표부여과정;을 포함할 수 있다.
또한, 상기 차선좌표복원과정은, 그리드별로 부여된 전역좌표의 좌표값을 이용하여 해당 평면차선이미지에 x좌표 및 y좌표를 부여하여 차선포인트로 변환하는 평면좌표부여과정; 상기 대상 3차원정밀지도에서 해당 x좌표 및 y좌표를 기준으로 일정거리 내의 3D 포인트를 확인하는 인접포인트확인과정; 및 확인된 3D 포인트의 z좌표의 평균값을 해당 차선포인트에 부여하는 z좌표부여과정;을 포함할 수 있다.
상기와 같은 해결수단에 의해, 본 발명은 포인트 클라우드(Point cloud)로 이루어진 3차원 정밀지도(HD map)를 평면이미지로 변환하고 2D 이미지 딥러닝모델을 이용하여 차선영역을 추출할 수 있는 장점이 있다.
특히, 본 발명은 2D영역에서 딥러닝 및 차선추출을 수행함으로써, 차선의 좌표를 추출하는데 필요한 연산량을 최소화할 수 있으며, 이를 통해 실시간으로 차선의 정보를 얻을 수 있는 장점이 있다.
더불어, 본 발명은 차선의 좌표를 추출하는데 필요한 연산량을 최소화함에 따라, 차선 추출 과정을 효과적으로 자동화할 수 있으며, 신속하면서도 높은 정확도를 보장할 수 있는 장점이 있다.
또한, 본 발명은 이미지 상의 차선 추출에 있어, 가장 중요한 정보인 흑백밝기값을 라이다 센서의 반사강도(Intensity)값으로 대체함으로써, 정확한 차선 추출이 가능하도록 한 딥러닝 모델을 제시할 수 있는 장점이 있다.
이를 통해, 본 발명은 3차원 정밀 지도를 기반으로 하는 자율주행에 있어서, 높은 정확도의 실시간 분석을 통해 주행환경에 대한 다양한 정보들을 신속하고 정확하게 판단할 수 있도록 하는 장점이 있다.
또한, 본 발명은 빠르게 변화하고 새로 생겨나는 도로에 대한 정확한 정보를 획득함으로써, 자율주행 시스템을 실시간으로 업데이트 해줄 수 있는 장점이 있다.
따라서, 자율주행 분야, 도로 인식 분야, 차선 인식 분야, 자율주행용 고정밀 도로 지도 분야, 특히 라이다를 이용한 도로인식 및 자율주행 분야는 물론, 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.
도 1은 본 발명에 의한 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법의 일 실시예를 나타내는 흐름도이다.
도 2는 도 1에 나타난 단계 'S100'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 3은 도 2에 나타난 과정 'S110'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 4는 도 2에 나타난 과정 'S120'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 5는 도 2에 나타난 과정 'S130'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 6은 도 1에 나타난 단계 'S200'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 7은 도 6에 나타난 과정 'S230'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 8은 도 6에 나타난 과정 'S230'의 구체적인 다른 일 실시예를 나타내는 흐름도이다.
도 9는 도 1에 나타난 단계 'S100'에서 사용되는 학습 네트워크의 구조를 설명하는 도면이다.
도 10은 도 1에 나타난 단계 'S100'에서 사용되는 학습데이터의 생성과정을 설명하는 도면이다.
본 발명에 따른 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.
도 1은 본 발명에 의한 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법의 일 실시예를 나타내는 흐름도이다.
도 1을 참조하면, 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법은 딥러닝학습단계(S100) 및 차선추출단계(S200)를 포함한다.
딥러닝학습단계(S100)에서는 3차원정밀지도(HD map)에서 차선에 대한 정보, 예를 들어 차선의 점군데이터(포인트 클라우드)에 대한 3차원 좌표를 추출하는 방법을 학습하게 된다.
이때, 앞서 설명한 바와 같이 3차원정밀지도인 3D 포인트 클라우드 맵에서 곧바로 차선에 대한 정보를 추출할 경우, 데이터의 연산량이 많아지므로, 본 발명에서는 3차원의 정보를 2차원으로 변환한 후, 차선을 추출하고, 이를 다시 3차원으로 복원하는 방법을 적용하고자 한다.
구체적으로, 딥러닝학습단계(S100)에서는 학습용 3차원정밀지도(HD map)를 평면이미지로 투영하여 해당 지도상의 차선을 추출하고, 해당 지도와 차선의 평면이미지를 매칭하여 학습데이터로 설정한 후, 설정된 학습데이터를 이용하여 해당 지도로부터 차선을 추출하는 딥러닝모델(Deep learning model)을 학습한다.
차선추출단계(S200)는 라이다(LiDAR)에 의해 측정된 3D 포인트 클라우드로부터, 해당 포인트 클라우드 맵에 포함된 차선의 3차원좌표를 추출하는 과정으로, 대상 3차원정밀지도를 평면지도이미지로 투영한 후, 앞서 딥러닝학습단계(S100)에서 학습한 딥러닝모델을 이용하여, 평면지도이미지로부터 평면차선이미지를 추출하고 이를 3차원좌표로 변환한다.
이하에서, 도 1의 각 단계에 대하여 보다 구체적으로 설명하고자 한다.
도 2는 도 1에 나타난 단계 'S100'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 2를 참조하면, 딥러닝학습단계(S100)는 학습맵투영과정(S110), 차선투영과정(S120), 학습데이터 설정과정(S130) 및 딥러닝학습과정(S140)을 포함할 수 있다.
학습맵투영과정(S110)에서는 학습용 3차원정밀지도인 학습용 3D 포인트 클라우드 맵(Point cloud map)을 탑뷰의 이미지로 투영하여 변환할 수 있다.
예를 들어, 3D 포인트 클라우드 맵(Point cloud map)의 각 포인트에 대한 3차원좌표에서 z좌표값을 삭제함으로써, 3D 포인트 클라우드 맵을 2차원으로 변환할 수 있다.
차선투영과정(S120)에서는 학습용 3D 포인트 클라우드 맵에 포함된 차선포인트를 추출하여 탑뷰의 이미지로 투영하여 변환할 수 있다.
예를 들어, 학습을 위한 차선포인트의 추출 과정은 1회에 한정하여 진행되고, 추후 실제 측정된 3D 포인트 클라우드 맵의 분석과는 무관하므로, 수작업으로 진행될 수 있다.
학습데이터 설정과정(S130)은 탑뷰로 투영된 맵과 차선을 매칭하여 학습데이터로 설정하는 과정으로, 문제(맵)와 답(차선)을 매칭하는 과정으로 볼 수 있다.
딥러닝학습과정(S140)은 문제와 답이 매칭된 학습데이터를 이용하여 차선추출 딥러닝모델을 학습하는 과정으로, 어떠한 문제에서 답이 무엇인지를 학습하여, 추후 문제가 주어질 때 답을 얻기 위한 과정으로 볼 수 있다.
도 3은 도 2에 나타난 과정 'S110'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 3을 참조하면, 학습맵투여과정(S110)은 시점변환과정(S111), 맵분할과정(S112) 및 평면지도이미지화과정(S113)을 포함한다.
학습맵투여과정(S110)은 반사강도값(Intensity)을 이용하여 학습용 3D 포인트 클라우드 맵을 탑뷰로 변환(S111)한 후, 2D로 변환된 포인트 클라우드 맵을 설정된 크기의 그리드(Grid)로 분할하고(S112), 포인트 클라우드 맵을 각 그리드별로 이미지화할 수 있다(S113).
보다 구체적으로, 3차원 점군 데이터의 반사강도값을 이용하여 딥러닝모델이 차선 특징을 인지하기에 적합한 이미지를 생성할 수 있다.
예를 들어, 3D 맵의 x좌표 및 y좌표를 이용하여 특정 크기의 그리드를 생성한 후, 그리드 안의 점군데이터들에 대하여, XY평면으로 투영을 진행하여, 그리드별로 각각 하나의 이미지를 생성할 수 있다.
이때, 각 이미지는 투영된 점의 반사강도를 픽셀값으로 하는 그레이이미지로 생성될 수 있다.
더불어, 하기에 설명될 3차원좌표로의 복원과정을 위하여, 각 이미지별로 해당 그리드의 좌측상단 좌표값을 아이디로 부여하여 전역좌표에 대한 정보를 보존할 수 있다.
그리고, 평면지도이미지화과정(S113) 이후에, 평면지도이미지 중 차도가 없는 평면지도이미지, 예를 들어 아무런 점도 포함되지 않은 빈 이미지, 차도가 없고 건물, 수풀, 주차장 등과 같은 구조물만 존재하는 이미지 등을 제거하는 무의미이미지 제거과정을 수행할 수 있다.
도 4는 도 2에 나타난 과정 'S120'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 4를 참조하면, 차선투영과정(S120)은 차선포인트 추출과정(S121), 라인피팅과정(S122) 및 평면차선이미지화과정(S123)을 포함할 수 있다.
차선투영과정(S120)은 학습용 3D 포인트 클라우드 맵에서 차선포인트를 추출(S121)한 후, 추출된 차선포인트를 라인(Line)으로 피팅(Fitting)할 수 있고(S122), 피팅된 차선을 각 그리드별로 이미지화할 수 있다(S123).
보다 구체적으로, 학습용 3D 포인트 클라우드 맵에서 수작업으로 차선포인트를 직접 추출한 후(S121), 이 샘플들에 대해 라인 피팅 작업을 수행할 수 있다(S122).
이러한 과정을 통해 선으로 보간된 차선의 점군데이터는 3차원 정밀지도의 좌표와 일치하는 좌표를 갖게 된다.
이 차선의 점군데이터는 앞서 맵의 점군데이터를 분할하는데 사용한 그리드를 동일하게 적용하여 분할이미지로 변환할 수 있다(S123).
이때, 차선에 대한 분할이미지는 차선에 해당하는 픽셀에 대하여 255의 최대밝기값을 가지며, 차선이 아닌 배경에 해당하는 픽셀에 대해서는 0의 최소밝기값을 가지는 이진이미지(Binary Image)를 포함할 수 있다.
도 5는 도 2에 나타난 과정 'S130'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 5를 참조하면, 학습데이터 설정과정(S130)은 아이디부여과정(S131) 및 이미지매칭과정(S132)을 포함할 수 있다.
학습데이터 설정과정(S13)에서 각 그리드별로 전역좌표에 대한 좌표값을 아이디로 부여할 수 있다. 여기서, 아이디는 분할된 각 그리드의 좌측상단 좌표값을 포함할 수 있다.
이후, 동일한 아이디가 부여된 평면지도이미지와 평면차선이미지를 매칭하여 하나의 이미지쌍으로 설정할 수 있다. 여기서, 평면차선이미지는 해당 평면지도이미지의 정답(Ground truth)이 될 수 있다.
이후의 딥러닝학습과정(S14)을 구체적으로 살펴보면 아래와 같다.
먼저, 스킵 커넥션(Skip connection)이 추가된 기본 인코더-디코더 구조를 베이스라인으로 하였으며, 디코더부의 업샘플링과정에서 종종 발생하는 체커보드 아티팩트(Checkerboard artifact)를 감소하기 위해 인코더부의 다운샘플링 과정에서부터 'stride convolution'을 사용하지 않고 'anti-aliasing' 다운샘플링 방법인 'Blurpool'을 사용하였으며, 업샘플링 시에도 'artifact'의 가장 큰 원인이 되는 'deconvolution(Dilated convolution)'을 사용하지 않고 선형보간을 사용한 업샘플링과 일반 컨볼루션 연상을 수행하였다.
모델의 입력으로는 지도 분할 이미지와 그것의 케니 엣지 필터링 결과를 채널합(Concatenate)한 2채널 이미지를 사용한다.
모델의 출력은 해당 입력에 대해 예측된 차선 마스크로, 입력 이미지와 같은 크기를 가진다.
도 6은 도 1에 나타난 단계 'S200'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 6을 참조하면, 차선추출단계(S200)는 대상맵투영과정(S210), 차선추출과정(S220) 및 차선좌표복원과정(S230)을 포함할 수 있다.
차선추출단계(S200)에서 대상 3차원정밀지도인 대상 3D 포인트 클라우드 맵(Point cloud map)을 탑뷰의 이미지로 투영하여 변환하고(S210), 딥러닝모델을 이용하여 평면지도이미지로부터 평면차선이미지를 추출한 후(S220), 추출된 평면차선이미지를 전역좌표로 복원할 수 있다(S230).
이때, 대상맵투영과정(S210)은 3D에서 2D로 투영된 포인트 클라우드 맵을 설정된 크기의 그리드(Grid)로 분할하는 맵분할과정을 포함할 수 있고, 차선좌표복원과정(S230)은 그리드별 아이디로 부여된 전역좌표의 좌표값을 이용하여 해당 평면차선이미지를 3차원좌표의 포인트 클라우드로 복원할 수 있다.
이를 보다 구체적으로 살펴보면, 차선을 얻고자 하는 전체 지도가 있을 때, 이를 그리드로 분할 이미지화 한 이후, 이 분할 이미지들을 차례로 학습 모델에 입력하여 주어진 각 분할에 대한 차선 이미지를 획득할 수 있다.
이때, 출력으로 얻은 차선 이미지는 이미지상의 해당 픽셀에 차선에 해당할 확률을 '0'에서 '1'사이의 픽셀값으로 표현한 그레이이미지를 포함할 수 있다.
이를 특정 문턱값(Threshold)를 사용해 이진화(Binarize)한 후, '1'의 값을 가지는 픽셀들의 픽셀좌표를 해당 이미지의 그리드 아이디를 통해 전역좌표로 변환할 수 있다.
이 과정을 모든 그리드의 차선 이미지에 대해 반복하여 전체 지도에 대한 차선 포인트를 얻을 수 있다.
도 7은 도 6에 나타난 과정 'S230'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 7을 참조하면, 차선좌표복원과정(S230)은 그리드별로 부여된 전역좌표의 좌표값을 이용하여 해당 평면차선이미지에 x좌표 및 y좌표를 부여하여 차선포인트로 변환하는 평면좌표부여과정(S231), 대상 3차원정밀지도에서 해당 x좌표 및 y좌표와 가장 가까운 포인트의 좌표를 확인하는 3차원좌표확인과정(S232) 및 확인된 3차원좌표의 z좌표를 해당 차선포인트에 부여하는 z좌표부여과정(S233)을 포함할 수 있다.
이러한 과정을 완료하면 차선 포인트의 x,y좌표를 기준으로 거리값에 따라 차선 점에 가장 가까운 3D 정밀 지도 점을 매칭하여 지도 점의 z값을 차선 점의 z값으로 부여할 수 있다.
도 8은 도 6에 나타난 과정 'S230'의 구체적인 다른 일 실시예를 나타내는 흐름도이다.
도 8을 참조하면, 차선좌표복원과정(S230)은 그리드별로 부여된 전역좌표의 좌표값을 이용하여 해당 평면차선이미지에 x좌표 및 y좌표를 부여하여 차선포인트로 변환하는 평면좌표부여과정(S231'), 대상 3차원정밀지도에서 해당 x좌표 및 y좌표를 기준으로 일정거리 내의 3D 포인트를 확인하는 인접포인트확인과정(S232') 및 확인된 3D 포인트의 z좌표의 평균값을 해당 차선포인트에 부여하는 z좌표부여과정(S233')을 포함할 수 있다.
다시 말해, x,y좌표가 가장 일치하는 지도 점 주변의 특정 반경 내의 점들을 사용하여 z값의 평균을 계산한 후, 이 평균값을 차선의 좌표로 사용할 수 있으며, 이러한 과정을 거치면 지면부군의 노이즈의 영향을 최소화할 수 있다.
결과적으로, x,y,z좌표 모두 3D 지도 상의 점군과 일치하는 차선 좌표를 얻을 수 있으며, 이를 통해 지도 상에서 차선을 인식할 수 있고 표시할 수 있다
그리고, 도 9는 본 발명에서 제안하는 차선 추출 방법의 학습과정에서 사용되는 학습 네트워크의 구조를 설명하는 것이다.
그리고, 도 10은 데이터세트 생성 과정을 거쳐 만들어진 데이터의 예시를 나타낸 것으로, 첫 열은 지도의 탑뷰 분할 이미지를 나타낸 것이고, 두번째 열은 이 지도 이미지에 케니 엣지 필터를 적용한 엣지 이미지를 나타낸 것이며, 세번째 열은 해당 그리드의 차선이미지이다.
여기서, 첫번째와 두번째 열의 이미지는 차선 추출 모델의 인풋으로 활용될 수 있으며, 세번째 열의 이미지를 통해 학습될 수 있다.
이상에서 본 발명에 의한 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 한다.

Claims (10)

  1. 학습용 3차원정밀지도(HD map)를 평면이미지로 투영하여 해당 지도상의 차선을 추출하고, 해당 지도와 차선의 평면이미지를 매칭하여 학습데이터로 설정한 후, 설정된 학습데이터를 이용하여 해당 지도로부터 차선을 추출하는 딥러닝모델(Deep learning model)을 학습하는 딥러닝학습단계; 및
    대상 3차원정밀지도를 평면지도이미지로 투영하고 학습한 딥러닝모델을 이용하여 평면지도이미지로부터 평면차선이미지를 추출한 후, 추출된 평면차선이미지를 3차원좌표로 변환하는 차선추출단계;를 포함하는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법.
  2. 제 1항에 있어서,
    상기 딥러닝학습단계는,
    상기 학습용 3차원정밀지도인 학습용 3D 포인트 클라우드 맵(Point cloud map)을 탑뷰의 이미지로 투영하여 변환하는 학습맵투영과정;
    상기 학습용 3D 포인트 클라우드 맵에 포함된 차선포인트를 추출하여 탑뷰의 이미지로 투영하여 변환하는 차선투영과정;
    상기 탑뷰로 투영된 맵과 차선을 매칭하여 학습데이터로 설정하는 학습데이터 설정과정; 및
    상기 학습데이터를 이용하여 차선추출 딥러닝모델을 학습하는 딥러닝학습과정;을 포함하는 것을 특징으로 하는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법
  3. 제 2항에 있어서,
    상기 학습맵투영과정은,
    반사강도값(Intensity)을 이용하여 학습용 3D 포인트 클라우드 맵을 탑뷰로 변환하는 시점변환과정;
    2D로 변환된 포인트 클라우드 맵을 설정된 크기의 그리드(Grid)로 분할하는 맵분할과정; 및
    상기 포인트 클라우드 맵을 각 그리드별로 이미지화하는 평면지도이미지화과정;을 포함하는 것을 특징으로 하는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법.
  4. 제 3항에 있어서,
    상기 평면지도이미지화과정 이후에,
    상기 평면지도이미지 중 차도가 없는 평면지도이미지를 제거하는 무의미이미지 제거과정;을 포함하는 것을 특징으로 하는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법.
  5. 제 3항에 있어서,
    상기 차선투영과정은,
    상기 학습용 3D 포인트 클라우드 맵에서 차선포인트를 추출하는 차선포인트 추출과정;
    추출된 차선포인트를 라인(Line)으로 피팅(Fitting)하는 라인피팅과정; 및
    피팅된 차선을 각 그리드별로 이미지화하는 평면차선이미지화과정;을 포함하는 것을 특징으로 하는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법.
  6. 제 5항에 있어서,
    상기 학습데이터 설정과정은,
    각 그리드별로 전역좌표에 대한 좌표값을 아이디로 부여하는 아이디부여과정; 및
    동일한 아이디가 부여된 평면지도이미지와 평면차선이미지를 매칭하여 하나의 이미지쌍으로 설정하는 이미지매칭과정;을 포함하는 것을 특징으로 하는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법.
  7. 제 1항에 있어서,
    상기 차선추출단계는,
    상기 대상 3차원정밀지도인 대상 3D 포인트 클라우드 맵(Point cloud map)을 탑뷰의 이미지로 투영하여 변환하는 대상맵투영과정;
    상기 딥러닝모델을 이용하여 평면지도이미지로부터 평면차선이미지를 추출하는 차선추출과정; 및
    추출된 평면차선이미지를 전역좌표로 복원하는 차선좌표복원과정;을 포함하는 것을 특징으로 하는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법.
  8. 제 7항에 있어서,
    상기 대상맵투영과정은,
    3D에서 2D로 투영된 포인트 클라우드 맵을 설정된 크기의 그리드(Grid)로 분할하는 맵분할과정;을 포함하고,
    상기 차선좌표복원과정은,
    그리드별 아이디로 부여된 전역좌표의 좌표값을 이용하여 해당 평면차선이미지를 3차원좌표의 포인트 클라우드로 복원하는 것을 특징으로 하는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법.
  9. 제 8항에 있어서,
    상기 차선좌표복원과정은,
    그리드별로 부여된 전역좌표의 좌표값을 이용하여 해당 평면차선이미지에 x좌표 및 y좌표를 부여하여 차선포인트로 변환하는 평면좌표부여과정;
    상기 대상 3차원정밀지도에서 해당 x좌표 및 y좌표와 가장 가까운 포인트의 좌표를 확인하는 3차원좌표확인과정; 및
    확인된 3차원좌표의 z좌표를 해당 차선포인트에 부여하는 z좌표부여과정;을 포함하는 것을 특징으로 하는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법.
  10. 제 8항에 있어서,
    상기 차선좌표복원과정은,
    그리드별로 부여된 전역좌표의 좌표값을 이용하여 해당 평면차선이미지에 x좌표 및 y좌표를 부여하여 차선포인트로 변환하는 평면좌표부여과정;
    상기 대상 3차원정밀지도에서 해당 x좌표 및 y좌표를 기준으로 일정거리 내의 3D 포인트를 확인하는 인접포인트확인과정; 및
    확인된 3D 포인트의 z좌표의 평균값을 해당 차선포인트에 부여하는 z좌표부여과정;을 포함하는 것을 특징으로 하는 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법.
PCT/KR2022/008045 2021-06-30 2022-06-08 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법 WO2023277371A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0085339 2021-06-30
KR1020210085339A KR102363719B1 (ko) 2021-06-30 2021-06-30 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법

Publications (1)

Publication Number Publication Date
WO2023277371A1 true WO2023277371A1 (ko) 2023-01-05

Family

ID=80474808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/008045 WO2023277371A1 (ko) 2021-06-30 2022-06-08 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법

Country Status (3)

Country Link
US (1) US20230005278A1 (ko)
KR (1) KR102363719B1 (ko)
WO (1) WO2023277371A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2620924A (en) * 2022-07-22 2024-01-31 Oxa Autonomy Ltd A computer-implemented method of generating a lane boundary model of a route traversed by an autonomous vehicle
KR102540634B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 프로젝션 기반 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2024101833A1 (ko) * 2022-11-08 2024-05-16 네이버랩스 주식회사 3차원 모델 및 거리뷰 영상을 이용한 시각 특징맵 생성 방법 및 시스템
CN116543365B (zh) * 2023-07-06 2023-10-10 广汽埃安新能源汽车股份有限公司 一种车道线识别方法、装置、电子设备及存储介质
CN117405130B (zh) * 2023-12-08 2024-03-08 新石器中研(上海)科技有限公司 目标点云地图获取方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170063002A (ko) * 2015-11-30 2017-06-08 현대엠엔소프트 주식회사 Las 데이터를 이용한 도로 지문 데이터 구축 시스템 및 그 방법
KR102065693B1 (ko) * 2018-10-26 2020-01-13 인하대학교 산학협력단 자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템
KR20200020465A (ko) * 2018-08-17 2020-02-26 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
KR20210041305A (ko) * 2019-10-07 2021-04-15 현대엠엔소프트 주식회사 차선 추출 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102083909B1 (ko) 2018-10-23 2020-03-04 주식회사 모빌테크 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170063002A (ko) * 2015-11-30 2017-06-08 현대엠엔소프트 주식회사 Las 데이터를 이용한 도로 지문 데이터 구축 시스템 및 그 방법
KR20200020465A (ko) * 2018-08-17 2020-02-26 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
KR102065693B1 (ko) * 2018-10-26 2020-01-13 인하대학교 산학협력단 자율주행 차량을 위한 기계학습 데이터 표준화 방법 및 시스템
KR20210041305A (ko) * 2019-10-07 2021-04-15 현대엠엔소프트 주식회사 차선 추출 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE YONGBEOM, SEONGKEUN PARK: "A Study of Semantic Segmentation for Drivable Space and Vehicles Detection Based on Deep Learning Using Point Cloud", DBPIA, 1 November 2019 (2019-11-01), pages 735 - 741, XP093019230 *

Also Published As

Publication number Publication date
US20230005278A1 (en) 2023-01-05
KR102363719B1 (ko) 2022-02-16

Similar Documents

Publication Publication Date Title
WO2023277371A1 (ko) 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법
WO2020248614A1 (zh) 地图生成方法、驾驶控制方法、装置、电子设备及系统
WO2012011713A2 (ko) 차선 인식 시스템 및 방법
Murakami et al. Change detection of buildings using an airborne laser scanner
CN108416808B (zh) 车辆重定位的方法及装置
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2021230466A1 (ko) 차량 위치 결정 방법 및 시스템
CN105426861A (zh) 车道线确定方法及装置
CN112154445A (zh) 高精度地图中车道线的确定方法和装置
CN109815831B (zh) 一种车辆朝向获取方法及相关装置
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
CN114394088B (zh) 泊车循迹轨迹生成方法、装置、电子设备及存储介质
WO2018101603A1 (ko) 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
CN112740225A (zh) 一种路面要素确定方法及装置
CN113286081A (zh) 机场全景视频的目标识别方法、装置、设备及介质
CN111222405A (zh) 车道线的检测方法、装置、电子设备及可读存储介质
Bu et al. A UAV photography–based detection method for defective road marking
Hernández et al. Lane marking detection using image features and line fitting model
CN114550117A (zh) 一种图像检测方法和装置
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN112115737B (zh) 一种车辆朝向的确定方法、装置及车载终端
CN115457215A (zh) 一种应用于自动驾驶的相机传感器建模方法
CN114463731A (zh) 一种车牌定位与识别方法及装置
CN114495049A (zh) 识别车道线的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22833427

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE