WO2023158072A1 - 비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강 방법 - Google Patents

비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강 방법 Download PDF

Info

Publication number
WO2023158072A1
WO2023158072A1 PCT/KR2022/019792 KR2022019792W WO2023158072A1 WO 2023158072 A1 WO2023158072 A1 WO 2023158072A1 KR 2022019792 W KR2022019792 W KR 2022019792W WO 2023158072 A1 WO2023158072 A1 WO 2023158072A1
Authority
WO
WIPO (PCT)
Prior art keywords
lidar data
lidar
image frame
data
camera
Prior art date
Application number
PCT/KR2022/019792
Other languages
English (en)
French (fr)
Inventor
한동석
김민영
칸다니쉬
백민진
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220052582A external-priority patent/KR20230124454A/ko
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Publication of WO2023158072A1 publication Critical patent/WO2023158072A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Definitions

  • the present invention relates to a lidar data augmentation apparatus and lidar data augmentation method based on video segmentation, and more particularly, to a lidar data augmentation apparatus and lidar data augmentation apparatus based on video segmentation capable of improving 3D object detection and classification performance. It's about augmentation methods.
  • IoT Internet of Things
  • smart homes and self-driving cars are closely related to human life, so they are the most important research fields among IoT application fields.
  • One of the increasingly important and intensive topics in these fields of research is object recognition technology involving people or objects.
  • Object recognition technology can be used to provide services such as delivering objects or having conversations based on a user's location in a smart home environment.
  • self-driving cars it can be used for the safety of drivers and pedestrians.
  • Such existing object recognition technology has been studied to increase the detection rate by using various sensors.
  • 2D cameras are suitable for object detection but lack depth information
  • lidar sensors provide accurate 3D points on the surface of an object, but when the object is small or the distance to the object is large, the density of lidar data is poor. there is a problem.
  • Patent Document 1 Korea Patent Registration No. 10-1551667
  • the present invention has been made to solve the above problems, and an object of the present invention is to improve the 3D object detection and classification performance, as well as to improve the problem of non-recognition and classification according to the size of the object or the distance from the sensor. It is to provide a lidar data augmentation device and a lidar data augmentation method based on video segmentation that can be performed.
  • another object of the present invention is to secure efficiency of calculation by not using 3D convolution operation for data augmentation, as well as to effectively deal with the occlusion problem of existing still image segmentation-based methods. It is to provide a lidar data augmentation device and a lidar data augmentation method based on video segmentation that can be performed.
  • a lidar data augmentation method performed by a lidar data augmentation device interworking with a camera and lidar sensor includes obtaining an image frame from the camera; Acquiring lidar data of the same area as the camera from the lidar sensor; generating a segmentation mask for an object included in the image frame; obtaining by sampling 2D points included in the generated segmentation mask; and generating augmented lidar data based on the lidar data and the 2D points.
  • the generating of the augmented lidar data may include: generating a depth map in which the lidar data is projected onto the segmentation mask by overlaying the lidar data, which is 3D data, on the image frame; generating a processed point cloud that is a 2D point to which depth information is added by applying the generated depth map to the 2D point; and acquiring augmented lidar data by combining the processed point cloud and the lidar data.
  • the image frame and lidar data are overlapped based on a predetermined correction parameter, and the 3D data is projected onto a pixel overlapping the lidar data in the image frame.
  • the depth map for the segmentation mask may be generated.
  • post-processing is performed to fill in a discontinuous area between the processed point cloud and the lidar data, and to remove the processed point cloud having an error of a predetermined value or more with respect to depth information.
  • a 2D segmentation mask may be generated for all objects included in the image frame.
  • synchronization of the camera and the lidar sensor is performed before the step of acquiring the image frame and the step of acquiring the lidar data. It may further include steps to perform.
  • a lidar data augmentation device interworking with a camera and a lidar sensor for achieving the other object includes a video data collection unit for obtaining an image frame from the camera; a lidar data collection unit acquiring lidar data of the same area as the camera from the lidar sensor; an object segmentation unit generating segmentation masks for objects included in the image frame; a point sampling unit that samples and obtains two-dimensional points included in the generated segmentation mask; and a depth completion unit generating augmented lidar data based on the lidar data and the 2D points.
  • a pixel projection unit for generating a depth map of the projection of the lidar data on the segmentation mask by overlaying the lidar data, which is 3-dimensional data, on the image frame,
  • a processed point cloud which is a two-dimensional point to which depth information is added, is generated by applying the depth map generated to a dimensional point, and augmented lidar data can be obtained by combining the processed point cloud and the lidar data.
  • the pixel projection unit overlaps the lidar data on the image frame based on a preset correction parameter between the image frame and lidar data, and the 3-dimensional data
  • the depth map for the segmentation mask may be generated by projecting the lidar data.
  • the depth completion unit may perform post-processing to fill in the gap of the discontinuous area between the processed point cloud and LIDAR data, and to remove the processed point cloud having an error of a predetermined value or more with respect to depth information.
  • the object segmentation unit may generate a 2D segmentation mask for all objects included in the image frame.
  • a synchronization unit for acquiring an image frame and performing synchronization of the camera and lidar sensor before obtaining the lidar data so that the camera and the lidar sensor acquire an image frame and lidar data from the same area can include
  • lidar data augmentation device by providing a lidar data augmentation device and lidar data augmentation method based on video segmentation, 3D object detection and classification performance is improved, as well as object size or sensor It can improve misrecognition and classification problems according to distance.
  • FIG. 1 is a diagram showing how a lidar data augmentation device according to an embodiment of the present invention is interlocked with a lidar sensor and a camera;
  • FIG. 2 is a block diagram for explaining a lidar data augmentation device according to an embodiment of the present invention
  • FIG. 3 is a diagram for explaining a process of augmenting three-dimensional data data through a lidar data augmentation device according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a lidar data augmentation method according to an embodiment of the present invention.
  • Components according to the present invention are components defined by functional division rather than physical division, and may be defined by the functions each performs.
  • Each of the components may be implemented as hardware or program codes and processing units that perform respective functions, and the functions of two or more components may be implemented by being included in one component. Therefore, the names given to the components in the following embodiments are not to physically distinguish each component, but to imply the representative function performed by each component, and the names of the components indicate the present invention. It should be noted that the technical idea of is not limited.
  • FIG. 1 is a diagram showing how a lidar data augmentation device 100 according to an embodiment of the present invention is interlocked with a lidar sensor (L) and a camera (C).
  • the lidar data augmentation device 100 of the present invention collects image frames of video, which is two-dimensional data, from the camera (C), and collects lidar data, which is three-dimensional data, from the lidar sensor (L).
  • FIG. 2 is a block diagram for explaining the lidar data augmentation device 100 according to an embodiment of the present invention
  • FIG. 3 is a 3 through the lidar data augmentation device 100 according to an embodiment of the present invention. It is a diagram for explaining a process of augmenting dimensional data data.
  • 3D object detection based on lidar sensor (L) plays a key role in enabling moving objects such as cars, drones, and robots to accurately recognize the surrounding environment, and functions such as creation of movement paths, prediction of surrounding object paths, and collision avoidance. is an essential skill for
  • the lidar sensor (L) provides 3D distance information including direct depth information in the form of a point cloud, but compared to the 2D image acquired by the camera (C), the data density is lower, especially for small and distant objects. For , there is a problem in that an extremely small number of points are collected.
  • this method uses a 2D camera image and a 3D LIDAR point cloud as input to the network to generate a dense depth map.
  • Network has a problem in that high computational cost is required due to model complexity.
  • the lidar data augmentation device 100 of the present invention is provided to augment 3-dimensional lidar data in conjunction with a camera (C) and a lidar sensor (L) without using a separate 3-dimensional convolutional neural network operation,
  • This lidar data augmentation device 100 (hereinafter referred to as device) includes a communication unit 110, a storage unit 120 and a control unit 130.
  • the device 100 may have software (application) installed and executed for performing the lidar data augmentation method, and the configuration of the communication unit 110, the storage unit 120, and the control unit 130 is lidar. It can be controlled by software (application) for performing the data augmentation method.
  • the communication unit 110 is provided for the device 100 to transmit and receive various information from an external device or external sensor including a lidar sensor (L) or a camera, and through the communication unit 110, the device 100 is connected to the camera. (C) and lidar sensor (L) and information can be transmitted and received.
  • an external device or external sensor including a lidar sensor (L) or a camera
  • C lidar sensor
  • L lidar sensor
  • the storage unit 120 may store various information transmitted and received by the device 100 through the communication unit 110 for lidar data augmentation, or may store information generated by the control unit 130. Also, a program (application) for performing a lidar data augmentation method may be stored in the storage unit 120 .
  • control unit 130 collects various data obtained from the camera C and lidar sensor L, processes the collected data, and enhances the rare 3D data using the 2D data to create augmented 3D data. LiDAR data can be obtained. To this end, the control unit 130 may use calibrated and synchronized image frames and LIDAR data as inputs.
  • the controller 130 may include a collection unit 131, an object segmentation unit 133, a point sampling unit 135, a pixel projection unit 137, and a depth completion unit 139.
  • the collecting unit 131 is provided to collect data necessary for generating augmented 3D lidar data, and may include a video data collecting unit 1311 and a lidar data collecting unit 1313.
  • the video data collection unit 1311 may obtain an image frame captured by the camera C.
  • An image frame obtained through the video data collecting unit 1311 may be acquired using various types of cameras C such as an RGB camera and a thermal imaging camera, but is not limited thereto.
  • the lidar data collection unit 1313 may obtain lidar data of the same area as the camera (C) from the lidar sensor (L).
  • the collection unit 131 uses the camera (C) and lidar sensor (L). It may further include a synchronization unit that performs synchronization.
  • This synchronizing unit (not shown) estimates external parameters including rotation and movement of the camera C and the lidar sensor L through a calibration process so that the camera C and the lidar sensor L have the same area. 2-dimensional data or 3-dimensional data can be obtained.
  • the object segmentation unit 133 may generate a segmented mask for an object included in an image frame. In this case, the object segmentation unit 133 may generate a 2D segmentation mask for all objects included in the image frame.
  • the object segmentation unit 133 uses a video segmentation network such as a spatiotemporal CNN or Optical Flow to extract an object and generate a 2D segmentation mask, thereby generating instance segments corresponding to objects such as vehicles, pedestrians, and bicycles.
  • a video segmentation network such as a spatiotemporal CNN or Optical Flow to extract an object and generate a 2D segmentation mask, thereby generating instance segments corresponding to objects such as vehicles, pedestrians, and bicycles.
  • the object segmentation unit 133 is based on a video image including a time series, so it can handle the occlusion problem more effectively than the still image segmentation. That is, even if the target object is occluded by another object, it is possible to extract a target object that is not occluded by another object by using an image of a different viewpoint than the corresponding viewpoint.
  • segmentation masks are created only for cars and people among objects included in the image frame, this is merely an example for convenience of description.
  • the point sampling unit 135 may sample and obtain 2D points included in the generated segmentation mask.
  • the point sampling unit 135 uses a method such as random sampling or fixed interval sampling within each segmentation mask for each object obtained through the object segmentation unit 133.
  • 2D points for cars and people can be acquired.
  • the obtained 2D points may be transmitted to the depth completion unit 139 .
  • the 2D point has no depth information.
  • the pixel projection unit may generate a depth map for which lidar data is projected onto a segmentation mask by overlaying lidar data, which is 3D data, on an image frame.
  • the pixel projection unit 137 may project lidar data, which is three-dimensional data collected by the lidar data collection unit 1313, onto a corresponding pixel of an image frame that is a two-dimensional plane.
  • the pixel projection unit 137 overlaps the lidar data on the image frame based on a preset correction parameter between the image frame and the lidar data.
  • 3 is a state in which LIDAR data is superimposed on pixels corresponding to cars and people.
  • the pixel projection unit 137 may generate a corresponding segmentation mask, that is, a depth map for the car, by projecting lidar data, which is 3D data, on pixels overlapping lidar data in the image frame.
  • the pixel projection unit 137 may transmit the generated depth map to the depth completion unit 139 .
  • the depth completion unit 139 may generate augmented lidar data based on lidar data and 2D points.
  • the depth completion unit 139 applies the depth map generated by the pixel projection unit 137 to the 2D points sampled by the point sampling unit 135 to generate a processed point cloud, which is a 2D point to which depth information is added. can create That is, depth information on the acquired 2D point can be generated through depth completion using LIDAR data projected onto an image frame by the pixel projection unit 137.
  • the depth completion unit 139 may finally obtain dense 3D data, that is, augmented lidar data by combining the processed point cloud and lidar data.
  • the depth completion unit 139 may use bilateral interpolation or trilateral interpolation to perform depth completion, and takes a relatively long processing time, but can improve the depth completion result.
  • Machine learning based methods can also be used.
  • the depth completion unit 139 fills in the gap of the discontinuity area between the processed point cloud and LIDAR data, and removes the processed point cloud having an error of a certain value or more with respect to depth information (Post-processing operation). processing) can be performed.
  • the augmented LIDAR data obtained through the depth completion unit 139 can be easily connected or integrated with various existing 3D detectors and can be used for object detection and classification.
  • FIG. 4 is a flowchart for explaining a lidar data augmentation method according to an embodiment of the present invention.
  • the lidar data augmentation method according to an embodiment of the present invention is a camera C shown in FIGS. 1 to 3 And since it proceeds on substantially the same configuration as the lidar data augmentation apparatus 100 interlocked with the lidar sensor L, the same reference numerals are given to the same components as the lidar data augmentation apparatus 100 of FIG. , repeated descriptions will be omitted.
  • the lidar data augmentation method of the present invention includes acquiring an image frame (S110), acquiring lidar data (S130), generating a segmentation mask (S150), and acquiring 2D points (S170). and generating augmented lidar data (S190).
  • an image frame may be acquired from the camera C.
  • lidar data of the same area as that of the camera (C) may be obtained from the lidar sensor (L).
  • segmentation masks for objects included in the image frame may be generated.
  • 2D segmentation masks may be generated for all objects included in the image frame.
  • the 2D points may be obtained by sampling the 2D points included in the segmentation mask generated in the step of generating the segmentation mask (S150).
  • augmented lidar data may be generated based on lidar data and 2D points.
  • the step of generating the augmented lidar data may include generating a depth map, generating a processed point cloud, and acquiring augmented lidar data.
  • a depth map in which lidar data is projected onto a segmentation mask may be generated by overlaying lidar data, which is two-dimensional data, on an image frame.
  • a depth map for a segmentation mask may be generated by overlapping an image frame and LIDAR data based on a predetermined correction parameter, and projecting the 3D data to a pixel overlapping LIDAR data in the image frame.
  • the generated depth map may be applied to the 2D points to generate the processed point cloud, which is a 2D point to which depth information is added.
  • augmented lidar data may be acquired by combining the processed point cloud and lidar data.
  • post-processing may be performed to fill in a discontinuous area between the processed point cloud and the lidar data, and to remove the processed point cloud having an error of a certain value or more for depth information. there is.
  • the lidar data augmentation method includes the steps of obtaining an image frame (S110) and acquiring lidar data so that the camera (C) and the lidar sensor (L) acquire an image frame and lidar data from the same area.
  • (S130) may further include performing synchronization of the camera (C) and lidar sensor (L).
  • the lidar data augmentation method of the present invention can be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium.
  • the computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or those known and usable to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those produced by a compiler.
  • the hardware device may be configured to act as one or more software modules to perform processing according to the present invention and vice versa.
  • lidar data augmentation device 110 communication unit
  • collection unit 1311 video data collection unit
  • lidar data collection unit 133 object division unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 카메라 및 라이다 센서와 연동되는 라이다 데이터 증강 장치에서 수행하는 라이다 데이터 증강 방법에 관한 것으로, 상기 카메라로부터 영상 프레임을 획득하는 단계; 상기 라이다 센서로부터 상기 카메라와 동일한 영역의 라이다 데이터를 획득하는 단계; 상기 영상 프레임에 포함된 객체에 대한 분할 마스크를 생성하는 단계; 생성된 분할 마스크에 포함되는 2차원 포인트를 샘플링하여 획득하는 단계; 및 상기 라이다 데이터 및 상기 2차원 포인트에 기초하여 증강된 라이다 데이터를 생성하는 단계를 포함한다. 이에 의해 3차원 물체 검출 및 분류 성능을 향상시키기는 것은 물론, 물체의 크기나 센서로부터의 거리에 따른 미인식과 분류 문제를 개선할 수 있고, 데이터 증강을 위해 3차원 합성곱(convolution) 연산을 사용하지 않아 계산의 효율성을 확보하는 것은 물론, 기존의 정지 영상 분할 기반의 방식이 가지는 폐색(Occlusion) 문제를 효과적으로 처리할 수 있다.

Description

비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강 방법
본 발명은 비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강 방법에 관한 것으로 보다 상세하게는 3차원 물체 검출 및 분류 성능을 향상시킬 수 있는 비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강 방법에 관한 것이다.
최근 사물 인터넷(IoT; Internet of Things)에 대한 관심이 계속 증가하고 있는 추세로, 특히 스마트 홈과 자율 주행 자동차는 인간의 삶과 밀접한 관련이 있어서 사물 인터넷 응용분야 중 가장 중요시되고 있는 연구 분야이다. 이러한 연구분야에서 점점 중요하고 집중적으로 다루는 주제 중 하나는 사람 또는 물체를 포함하는 객체 인식 기술이다. 객체 인식 기술은 스마트 홈 환경에서 사용자의 위치를 바탕으로 물건을 전달해 주거나 대화를 나누는 등의 서비스를 제공하기 위해 사용될 수 있다. 또한 자율 주행 자동차의 경우, 운전자와 보행자의 안전을 위해 사용될 수 있다. 이러한 기존의 객체 인식 기술은 다양한 센서를 이용하여 검출률을 높이도록 연구되어 왔다.
그 중 하나가 바로 고성능의 고해상도 라이다 센서가 포함된 장비를 이용한 객체 인식 기술이지만, 이러한 고성능의 고해상도 라이다 센서가 포함된 장비는 고가일 뿐 아니라, 데이터를 해석하기 위해 복잡한 알고리즘과 긴 처리시간이 소요되는 문제가 있다.
그리고 2차원 카메라는 물체 감지에 적합하지만 깊이 정보가 부족하고, 라이다 센서는 물체 표면에 대한 정확한 3차원 포인트를 제공하지만 물체가 작거나 물체까지의 거리가 먼 경우 라이다 데이터의 밀도가 떨어진다는 문제가 있다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 한국등록특허 제10-1551667호
발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 본 발명의 목적은 3차원 물체 검출 및 분류 성능을 향상시키기는 것은 물론, 물체의 크기나 센서로부터의 거리에 따른 미인식과 분류 문제를 개선할 수 있는 비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강방법을 제공하는 것이다.
한편 본 발명의 다른 목적은 데이터 증강을 위해 3차원 합성곱(convolution) 연산을 사용하지 않아 계산의 효율성을 확보하는 것은 물론, 기존의 정지 영상 분할 기반의 방식이 가지는 폐색(Occlusion) 문제를 효과적으로 처리할 수 있는 비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강방법을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 카메라 및 라이다 센서와 연동되는 라이다 데이터 증강 장치에서 수행하는 라이다 데이터 증강 방법은, 상기 카메라로부터 영상 프레임을 획득하는 단계; 상기 라이다 센서로부터 상기 카메라와 동일한 영역의 라이다 데이터를 획득하는 단계; 상기 영상 프레임에 포함된 객체에 대한 분할 마스크를 생성하는 단계; 생성된 분할 마스크에 포함되는 2차원 포인트를 샘플링하여 획득하는 단계; 및 상기 라이다 데이터 및 상기 2차원 포인트에 기초하여 증강된 라이다 데이터를 생성하는 단계를 포함한다.
그리고 상기 증강된 라이다 데이터를 생성하는 단계는, 3차원 데이터인 상기 라이다 데이터를 상기 영상 프레임 위에 중첩(overlay)시켜 상기 분할 마스크에 상기 라이다 데이터가 투영된 깊이 맵을 생성하는 단계; 상기 2차원 포인트에 생성된 상기 깊이 맵을 적용시켜 깊이 정보가 추가된 2차원 포인트인 가공된 포인트 클라우드를 생성하는 단계; 및 상기 가공된 포인트 클라우드와 상기 라이다 데이터를 결합하여 증강된 라이다 데이터를 획득하는 단계를 포함할 수 있다.
또한 상기 깊이 맵을 생성하는 단계에서는, 상기 영상 프레임 및 라이다 데이터 간의 기설정된 보정 파라미터에 기초하여 중첩시키고, 상기 영상 프레임에서 라이다 데이터가 중첩된 픽셀에 상기 3차원 데이터를 투영(projection)함으로써 상기 분할 마스크에 대한 상기 깊이 맵을 생성할 수 있다.
그리고 상기 증강된 라이다 데이터를 획득하는 단계에서는, 가공된 포인트 클라우드와 라이다 데이터 간의 불연속한 영역을 채우고, 깊이 정보에 대해 일정값 이상의 에러를 갖는 가공된 포인트 클라우드는 제거하는 후처리를 수행할 수 있다.
또한 상기 분할 마스크를 생성하는 단계에서는, 상기 영상 프레임에 포함된 모든 객체에 2차원 분할 마스크를 생성할 수 있다.
그리고 상기 카메라 및 상기 라이다 센서가 동일한 영역으로부터 영상 프레임 및 라이다 데이터를 획득하기 위해 상기 영상 프레임을 획득하는 단계 및 상기 라이다 데이터를 획득하는 단계 이전에 상기 카메라 및 상기 라이다 센서의 동기화를 수행하는 단계를 더 포함할 수 있다.
한편 상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 카메라 및 라이다 센서와 연동되는 라이다 데이터 증강 장치는, 상기 카메라로부터 영상 프레임을 획득하는 비디오 데이터 수집부; 상기 라이다 센서로부터 상기 카메라와 동일한 영역의 라이다 데이터를 획득하는 라이다 데이터 수집부; 상기 영상 프레임에 포함된 객체에 대한 분할 마스크를 생성하는 객체 분할부; 생성된 분할 마스크에 포함되는 2차원 포인트를 샘플링하여 획득하는 포인트 샘플링부; 및 상기 라이다 데이터 및 상기 2차원 포인트에 기초하여 증강된 라이다 데이터를 생성하는 깊이 완성부를 포함한다.
그리고 3차원 데이터인 상기 라이다 데이터를 상기 영상 프레임 위에 중첩(overlay)시켜 상기 분할 마스크에 상기 라이다 데이터가 투영된 대한 깊이 맵을 생성하는 픽셀 투영부를 더 포함하고, 상기 깊이 완성부는, 상기 2차원 포인트에 생성된 상기 깊이 맵을 적용시켜 깊이 정보가 추가된 2차원 포인트인 가공된 포인트 클라우드를 생성하고, 가공된 포인트 클라우드와 상기 라이다 데이터를 결합하여 증강된 라이다 데이터를 획득할 수 있다.
또한 상기 픽셀 투영부는, 상기 영상 프레임 및 라이다 데이터 간의 기설정된 보정 파라미터에 기초하여 상기 라이다 데이터를 상기 영상 프레임 위에 중첩시키고, 상기 영상 프레임에서 라이다 데이터가 중첩된 픽셀에 상기 3차원 데이터인 상기 라이다 데이터를 투영(projection)함으로써 상기 분할 마스크에 대한 상기 깊이 맵을 생성할 수 있다.
그리고 상기 깊이 완성부는, 가공된 포인트 클라우드와 라이다 데이터 간의 불연속 영역의 간격을 채우고, 깊이 정보에 대해 일정값 이상의 에러를 갖는 가공된 포인트 클라우드는 제거하는 후처리를 수행할 수 있다.
또한 상기 객체 분할부는, 상기 영상 프레임에 포함된 모든 객체에 2차원 분할 마스크를 생성할 수 있다.
그리고 상기 카메라 및 상기 라이다 센서가 동일한 영역으로부터 영상 프레임 및 라이다 데이터를 획득하기 위해 상기 영상 프레임을 획득하고 상기 라이다 데이터를 획득하기 전에 상기 카메라 및 라이다 센서의 동기화를 수행하는 동기화부를 더 포함할 수 있다.
상술한 본 발명의 일측면에 따르면, 비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강방법을 제공함으로써, 3차원 물체 검출 및 분류 성능을 향상시키기는 것은 물론, 물체의 크기나 센서로부터의 거리에 따른 미인식과 분류 문제를 개선할 수 있다.
그리고 데이터 증강을 위해 3차원 합성곱(convolution) 연산을 사용하지 않아 계산의 효율성을 확보하는 것은 물론, 기존의 정지 영상 분할 기반의 방식이 가지는 폐색(Occlusion) 문제를 효과적으로 처리할 수 있다.
도 1은 본 발명의 일 실시예에 따른 라이다 데이터 증강 장치가 라이다 센서 및 카메라와 연동되는 모습을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른 라이다 데이터 증강 장치를 설명하기 위한 블록도,
도 3은 본 발명의 일 실시예에 따른 라이다 데이터 증강 장치를 통해 3차원 데이터 데이터를 증강하는 과정을 설명하기 위한 도면, 그리고,
도 4는 본 발명의 일 실시예에 따른 라이다 데이터 증강 방법을 설명하기 위한 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에 따른 구성요소들은 물리적인 구분이 아니라 기능적인 구분에 의해서 정의되는 구성요소들로써 각각이 수행하는 기능들에 의해서 정의될 수 있다. 각각의 구성요소들은 하드웨어 또는 각각의 기능을 수행하는 프로그램 코드 및 프로세싱 유닛으로 구현될 수 있을 것이며, 두 개 이상의 구성요소의 기능이 하나의 구성요소에 포함되어 구현될 수도 있을 것이다. 따라서 이하의 실시예에서 구성요소에 부여되는 명칭은 각각의 구성요소를 물리적으로 구분하기 위한 것이 아니라 각각의 구성요소가 수행되는 대표적인 기능을 암시하기 위해서 부여된 것이며, 구성요소의 명칭에 의해서 본 발명의 기술적 사상이 한정되지 않는 것임에 유의하여야 한다.
이하에서는 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 라이다 데이터 증강 장치(100)가 라이다 센서(L) 및 카메라(C)와 연동되는 모습을 도시한 도면이다. 도시된 바와 같이 본 발명의 라이다 데이터 증강 장치(100)는 카메라(C)로부터 2차원 데이터인 비디오의 영상 프레임을 수집하고, 라이다 센서(L)로부터 3차원 데이터인 라이다 데이터를 수집할 수 있다.
도 2는 본 발명의 일 실시예에 따른 라이다 데이터 증강 장치(100)를 설명하기 위한 블록도, 그리고, 도 3은 본 발명의 일 실시예에 따른 라이다 데이터 증강 장치(100)를 통해 3차원 데이터 데이터를 증강하는 과정을 설명하기 위한 도면이다.
라이다 센서(L) 기반의 3차원 물체 검출은 자동차, 드론, 로봇 등의 이동체가 주변 환경을 정확하게 인식하는 데에 핵심적인 역할을 하며, 이동 경로 생성, 주변 객체 경로 예측, 충돌 회피 등의 기능을 수행하는 데에 필수적인 기술이다.
이에 라이다 센서(L)는 직접적인 깊이 정보를 포함하는 3차원 거리 정보를 포인트 클라우드 형태로 제공하지만, 카메라(C)로 획득할 수 있는 2차원 영상과 비교하면 데이터 밀도가 떨어지며 특히 작고 멀리 있는 물체에 대해서는 극히 적은 수의 포인트가 수집되는 문제가 있다.
이러한 이유로 검출된 물체에 대한 기하학적 형태 추정이 불가능할 수 있고, 미인식이나 분류 실패를 야기할 수 있다.
이러한 밀도가 낮은, 즉 희소한 3차원 데이터를 증강하여 밀도가 높은, 즉 조밀한 3차원 데이터를 생성하기 위해 종래에는 2차원 영상을 이용하는 기계 학습 기반의 깊이 완성(Depth Completion) 방법이 주로 사용되고 있다.
하지만 이러한 방법은 2차원 카메라 영상과 3차원 라이다 포인트 클라우드를 네트워크의 입력으로 사용하여 조밀한 깊이 맵(Depth Map)을 생성하는데, 포인트 클라우드를 처리하는데 필요한 3차원 합성곱 신경망(CNN, Convolutional Neural Network)은 모델 복잡성으로 인해 높은 계산 비용이 요구된다는 문제가 있다.
본 발명의 라이다 데이터 증강 장치(100)는 별도의 3차원 합성곱 신경망 연산을 사용하지 않고 카메라(C)와 라이다 센서(L)와 연동하여 3차원 라이다 데이터를 증강하기 위해 마련되며, 이러한 라이다 데이터 증강 장치(100, 이하 장치)는 통신부(110), 저장부(120) 및 제어부(130)를 포함한다.
그리고 장치(100)는 라이다 데이터 증강 방법을 수행하기 위한 소프트웨어(어플리케이션)가(이) 설치되어 실행될 수 있고, 이러한 통신부(110), 저장부(120) 및 제어부(130)의 구성은 라이다 데이터 증강 방법을 수행하기 위한 소프트웨어(어플리케이션)에 의해 제어될 수 있다.
통신부(110)는 장치(100)가 라이다 센서(L) 또는 카메라 등을 포함하는 외부기기나 외부센서로부터 각종 정보를 송수신하기 위해 마련되며, 이러한 통신부(110)를 통해 장치(100)는 카메라(C) 및 라이다 센서(L)와 정보를 송수신할 수 있다.
저장부(120)는 장치(100)가 라이다 데이터 증강을 위해 통신부(110)를 통해 송수신된 각종 정보를 저장하거나, 제어부(130)에서 생성된 정보를 저장할 수 있다. 그리고 이러한 저장부(120)에는 라이다 데이터 증강 방법을 수행하기 위한 프로그램(어플리케이션)이 저장될 수 있다.
한편 제어부(130)는 카메라(C) 및 라이다 센서(L)로부터 획득된 각종 데이터를 수집하고, 수집된 데이터를 처리하여 희소한 3차원 데이터를 2차원 데이터를 이용하여 증강시킴으로써 증강된 3차원 라이다 데이터를 획득할 수 있다. 이를 위해 제어부(130)는 보정 (Calibration) 및 동기화(Synchronization)된 영상 프레임과 라이다 데이터를 입력으로 사용할 수 있다.
그리고 제어부(130)는 이를 위해 수집부(131), 객체 분할부(133), 포인트 샘플링부(135), 픽셀 투영부(137) 및 깊이 완성부(139)를 포함할 수 있다.
수집부(131)는 증강된 3차원 라이다 데이터를 생성하기 위해 필요한 데이터를 수집하기 위해 마련되는 것으로, 비디오 데이터 수집부(1311) 및 라이다 데이터 수집부(1313)를 포함할 수 있다.
비디오 데이터 수집부(1311)는 카메라(C)로부터 촬영된 영상 프레임을 획득할 수 있다. 이러한 비디오 데이터 수집부(1311)를 통해 획득되는 영상 프레임은 RGB 카메라, 열화상 카메라 등 다양한 종류의 카메라(C)를 이용하여 획득할 수 있으며, 꼭 이에 한정되는 것은 아니다.
라이다 데이터 수집부(1313)는 라이다 센서(L)로부터 카메라(C)와 동일한 영역의 라이다 데이터를 획득할 수 있다.
이때 비디오 데이터 수집부(1311) 및 라이다 데이터 수집부(1313)가 서로 동일한 영역으로부터 영상 프레임 및 라이다 데이터를 획득하기 위해 수집부(131)는 카메라(C) 및 라이다 센서(L)의 동기화를 수행하는 동기화부를 더 포함할 수도 있다.
이러한 동기화부(미도시)는 카메라(C)와 라이다 센서(L)의 회전, 이동 등을 포함하는 외부 파라미터를 보정 프로세스를 통해 추정함으로써 카메라(C)와 라이다 센서(L)에서 동일한 영역에 대한 2차원 데이터 또는 3차원 데이터를 획득할 수 있도록 한다.
객체 분할부(133)는 영상 프레임에 포함된 객체에 대한 분할 마스크(Segmented Mask)를 생성할 수 있다. 이때 객체 분할부(133)는, 영상 프레임에 포함된 모든 객체에 대한 2차원 분할 마스크를 생성할 수 있다.
그리고 객체 분할부(133)는 객체를 추출하고 2차원 분할 마스크를 생성하기 위해 Spatiotemporal CNN과 같은 비디오 분할(Video Segmentation) 네트워크나 Optical Flow를 이용하여 차량, 보행자, 자전거 등의 객체에 해당하는 Instance Segment로 나눌 수 있다. 또한 객체 분할부(133)는 도 3에 도시된 바와 같이 시계열을 포함하는 비디오 영상을 기반으로 하므로 폐색(Occlusion)문제를 정지 영상 분할보다 더 효과적으로 처리할 수 있다. 즉 대상 객체가 다른 객체에 의해 가려지더라도 해당 시점이 아닌 다른 시점의 영상을 함께 사용하여 다른 객체에 의해 가려지지 않은 대상 객체를 추출할 수 있게 된다.
그리고 도 3에서는 영상 프레임에 포함된 객체들 중 자동차와 사람에 대해서만 분할 마스크가 생성된 것으로 도시되었으나, 이는 설명의 편의를 위한 예시적 사항에 불과할 뿐, 상술한 바와 같이 객체 분할부(133)는 모든 객체에 대한 분할 마스크를 생성할 수 있다.
포인트 샘플링부(135)는 생성된 분할 마스크에 포함되는 2차원 포인트를 샘플링하여 획득할 수 있다.
구체적으로 포인트 샘플링부(135)는 객체 분할부(133)를 통해 획득한 각 객체에 대한 각 분할 마스크 내부에서 랜덤 샘플링(Random Sampling)이나 고정 간격 샘플링(Fixed Interval Sampling)과 같은 방법을 이용하여 도 3에서와 같이 자동차 및 사람에 대한 2차원 포인트를 획득할 수 있다. 획득한 2차원 포인트는 깊이 완성부(139)로 전달될 수 있다. 이때 2차원 포인트는 깊이 정보를 갖고 있지 않은 상태이다.
한편 픽셀 투영부는 3차원 데이터인 라이다 데이터를 영상 프레임 위에 중첩(overlay)시켜 분할 마스크에 라이다 데이터가 투영된 대한 깊이 맵을 생성할 수 있다. 도 3에 도시된 바와 같이 픽셀 투영부(137)는 라이다 데이터 수집부(1313)에서 수집된 3차원 데이터인 라이다 데이터를 2차원의 평면인 영상 프레임의 해당 픽셀에 투영할 수 있다.
이때 픽셀 투영부(137)는 영상 프레임 및 라이다 데이터 간의 기설정된 보정 파라미터에 기초하여 라이다 데이터를 영상 프레임 위에 중첩시킨다. 도 3은 라이다 데이터를 자동차 및 사람에 해당하는 픽셀에 중첩시킨 모습이다.
그리고나서 픽셀 투영부(137)는 영상 프레임에서 라이다 데이터가 중첩된 픽셀에 3차원 데이터인 라이다 데이터를 투영(projection)함으로써 해당 분할 마스크, 즉 자동차에 대한 깊이 맵을 생성할 수 있다. 그리고 픽셀 투영부(137)는 생성된 깊이 맵을 깊이 완성부(139)로 전달할 수 있다.
한편 깊이 완성부(139)는 라이다 데이터 및 2차원 포인트에 기초하여 증강된 라이다 데이터를 생성할 수 있다.
이러한 깊이 완성부(139)는, 포인트 샘플링부(135)에서 샘플링된 2차원 포인트에 픽셀 투영부(137)에서 생성된 깊이 맵을 적용시켜 깊이 정보가 추가된 2차원 포인트인 가공된 포인트 클라우드를 생성할 수 있다. 즉, 획득한 2차원 포인트에 대한 깊이 정보는 픽셀 투영부(137)에서 영상 프레임에 투영한 라이다 데이터를 활용한 깊이 완성을 통해 생성할 수 있게 된다. 깊이 완성부(139)는 가공된 포인트 클라우드와 라이다 데이터를 결합하여 조밀한 3차원 데이터, 즉 증강된 라이다 데이터를 최종적으로 획득할 수 있다.
이러한 깊이 완성부(139)를 통해 도 3에서와 같이 깊이 정보를 갖지 않는 자동차 및 사람의 2차원 데이터와 깊이 정보를 갖는 자동차 및 사람의 라이다 데이터 결합된다. 따라서 깊이 완성부(139)를 통해 자동차 및 사람에 대해 최초 라이다 데이터 수집부(1313)로부터 수집된 라이다 데이터보다 증강된 라이다 데이터를 최종적으로 획득할 수 있게 된다.
그리고 깊이 완성부(139)는 깊이 완성을 수행하기 위해 양방향 보간법(Bilateral Interpolation)이나 세방향 보간법(Trilateral Interpolation) 등을 이용할 수 있으며, 상대적으로 처리 시간이 오래 걸리지만 깊이 완성 결과를 향상시킬 수 있는 기계 학습 기반의 방법도 사용할 수 있다.
이때 깊이 완성부(139)는 가공된 포인트 클라우드와 라이다 데이터 간의 불연속(Discontinuity) 영역의 간격을 채우고, 깊이 정보에 대해 일정값 이상의 에러를 갖는 가공된 포인트 클라우드는 제거하는 후처리 작업(Post-Processing)을 수행할 수 있다.
이렇게 깊이 완성부(139)를 통해 획득한 증강된 라이다 데이터는 다양한 기존의 3차원 검출기와 연결 또는 통합이 용이하며 물체 검출 및 분류에 활용될 수 있다.
한편 도 4는 본 발명의 일 실시예에 따른 라이다 데이터 증강 방법을 설명하기 위한 흐름도로써, 본 발명의 일 실시예에 따른 라이다 데이터 증강 방법은 도 1 내지 도 3에 도시된 카메라(C) 및 라이다 센서(L)와 연동되는 라이다 데이터 증강 장치(100)와 실질적으로 동일한 구성 상에서 진행되므로, 도 3의 라이다 데이터 증강 장치(100)와 동일한 구성요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.
본 발명의 라이다 데이터 증강 방법은 영상 프레임을 획득하는 단계(S110), 라이다 데이터를 획득하는 단계(S130), 분할 마스크를 생성하는 단계(S150), 2차원 포인트를 획득하는 단계(S170) 및 증강된 라이다 데이터를 생성하는 단계(S190)를 포함한다.
영상 프레임을 획득하는 단계(S110)에서는, 카메라(C)로부터 영상 프레임을 획득할 수 있다.
그리고 라이다 데이터를 획득하는 단계(S130)에서는 라이다 센서(L)로부터 카메라(C)와 동일한 영역의 라이다 데이터를 획득할 수 있다.
한편 분할 마스크를 생성하는 단계(S150)에서는 영상 프레임에 포함된 객체에 대한 분할 마스크를 생성할 수 있으며, 이때 영상 프레임에 포함된 모든 객체에 2차원 분할 마스크를 생성할 수 있다.
2차원 포인트를 획득하는 단계(S170)에서는 분할 마스크를 생성하는 단계(S150)에서 생성된 분할 마스크에 포함되는 2차원 포인트를 샘플링하여 2차원 포인트를 획득할 수 있다.
그리고 증강된 라이다 데이터를 생성하는 단계(S190)에서는 라이다 데이터 및 2차원 포인트에 기초하여 증강된 라이다 데이터를 생성할 수 있다.
이러한 증강된 라이다 데이터를 생성하는 단계(S190)는, 깊이 맵을 생성하는 단계, 가공된 포인트 클라우드를 생성하는 단계 및 증강된 라이다 데이터를 획득하는 단계를 포함할 수 있다.
깊이 맵을 생성하는 단계에서는, 2차원 데이터인 라이다 데이터를 영상 프레임 위에 중첩(overlay)시켜 분할 마스크에 라이다 데이터가 투영된 깊이 맵을 생성할 수 있다.
이때 영상 프레임 및 라이다 데이터 간의 기설정된 보정 파라미터에 기초하여 중첩시키고, 영상 프레임에서 라이다 데이터가 중첩된 픽셀에 상기 3차원 데이터를 투영(projection)함으로써 분할 마스크에 대한 깊이 맵을 생성할 수 있다.
이후 수행되는 가공된 포인트 클라우드를 생성하는 단계에서는 2차원 포인트에 생성된 깊이 맵을 적용시켜 깊이 정보가 추가된 2차원 포인트인 가공된 포인트 클라우드를 생성할 수 있다.
그리고 증강된 라이다 데이터를 획득하는 단계에서는 가공된 포인트 클라우드와 라이다 데이터를 결합하여 증강된 라이다 데이터를 획득할 수 있다.
또한 증강된 라이다 데이터를 획득하는 단계에서는, 가공된 포인트 클라우드와 라이다 데이터 간의 불연속한 영역을 채우고, 깊이 정보에 대해 일정값 이상의 에러를 갖는 가공된 포인트 클라우드는 제거하는 후처리를 수행할 수 있다.
그리고 이러한 라이다 데이터 증강 방법은 카메라(C) 및 라이다 센서(L)가 동일한 영역으로부터 영상 프레임 및 라이다 데이터를 획득하기 위해 영상 프레임을 획득하는 단계(S110) 및 라이다 데이터를 획득하는 단계(S130) 이전에 상기 카메라(C) 및 라이다 센서(L)의 동기화를 수행하는 단계를 더 포함할 수 있다.
이와 같은 본 발명의 라이다 데이터 증강 방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 본 발명의 다양한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.
[부호의 설명]
100 : 라이다 데이터 증강 장치 110 : 통신부
120 : 저장부 130 : 제어부
131 : 수집부 1311 : 비디오 데이터 수집부
1313 : 라이다 데이터 수집부 133 : 객체 분할부
135 : 포인트 샘플링부 137 : 픽셀 투영부
139 : 깊이 완성부

Claims (12)

  1. 카메라 및 라이다 센서와 연동되는 라이다 데이터 증강 장치에서 수행하는 라이다 데이터 증강 방법으로서,
    상기 카메라로부터 영상 프레임을 획득하는 단계;
    상기 라이다 센서로부터 상기 카메라와 동일한 영역의 라이다 데이터를 획득하는 단계;
    상기 영상 프레임에 포함된 객체에 대한 분할 마스크를 생성하는 단계;
    생성된 분할 마스크에 포함되는 2차원 포인트를 샘플링하여 획득하는 단계; 및
    상기 라이다 데이터 및 상기 2차원 포인트에 기초하여 증강된 라이다 데이터를 생성하는 단계를 포함하는 라이다 데이터 증강 방법.
  2. 제1항에 있어서,
    상기 증강된 라이다 데이터를 생성하는 단계는,
    3차원 데이터인 상기 라이다 데이터를 상기 영상 프레임 위에 중첩(overlay)시켜 상기 분할 마스크에 상기 라이다 데이터가 투영된 깊이 맵을 생성하는 단계;
    상기 2차원 포인트에 생성된 상기 깊이 맵을 적용시켜 깊이 정보가 추가된 2차원 포인트인 가공된 포인트 클라우드를 생성하는 단계; 및
    상기 가공된 포인트 클라우드와 상기 라이다 데이터를 결합하여 증강된 라이다 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 라이다 데이터 증강 방법.
  3. 제2항에 있어서,
    상기 깊이 맵을 생성하는 단계에서는,
    상기 영상 프레임 및 라이다 데이터 간의 기설정된 보정 파라미터에 기초하여 중첩시키고, 상기 영상 프레임에서 라이다 데이터가 중첩된 픽셀에 상기 3차원 데이터를 투영(projection)함으로써 상기 분할 마스크에 대한 상기 깊이 맵을 생성하는 것을 특징으로 하는 라이다 데이터 증강 방법.
  4. 제2항에 있어서,
    상기 증강된 라이다 데이터를 획득하는 단계에서는,
    가공된 포인트 클라우드와 라이다 데이터 간의 불연속한 영역을 채우고, 깊이 정보에 대해 일정값 이상의 에러를 갖는 가공된 포인트 클라우드는 제거하는 후처리를 수행하는 것을 특징으로 하는 라이다 데이터 증강 방법.
  5. 제1항에 있어서,
    상기 분할 마스크를 생성하는 단계에서는,
    상기 영상 프레임에 포함된 모든 객체에 2차원 분할 마스크를 생성하는 것을 특징으로 하는 라이다 데이터 증강 방법.
  6. 제1항에 있어서,
    상기 카메라 및 상기 라이다 센서가 동일한 영역으로부터 영상 프레임 및 라이다 데이터를 획득하기 위해 상기 영상 프레임을 획득하는 단계 및 상기 라이다 데이터를 획득하는 단계 이전에 상기 카메라 및 상기 라이다 센서의 동기화를 수행하는 단계를 더 포함하는 것을 특징으로 하는 라이다 데이터 증강 방법.
  7. 카메라 및 라이다 센서와 연동되는 라이다 데이터 증강 장치로서,
    상기 카메라로부터 영상 프레임을 획득하는 비디오 데이터 수집부;
    상기 라이다 센서로부터 상기 카메라와 동일한 영역의 라이다 데이터를 획득하는 라이다 데이터 수집부;
    상기 영상 프레임에 포함된 객체에 대한 분할 마스크를 생성하는 객체 분할부;
    생성된 분할 마스크에 포함되는 2차원 포인트를 샘플링하여 획득하는 포인트 샘플링부; 및
    상기 라이다 데이터 및 상기 2차원 포인트에 기초하여 증강된 라이다 데이터를 생성하는 깊이 완성부를 포함하는 라이다 데이터 증강 장치.
  8. 제7항에 있어서,
    3차원 데이터인 상기 라이다 데이터를 상기 영상 프레임 위에 중첩(overlay)시켜 상기 분할 마스크에 상기 라이다 데이터가 투영된 대한 깊이 맵을 생성하는 픽셀 투영부를 더 포함하고,
    상기 깊이 완성부는,
    상기 2차원 포인트에 생성된 상기 깊이 맵을 적용시켜 깊이 정보가 추가된 2차원 포인트인 가공된 포인트 클라우드를 생성하고, 가공된 포인트 클라우드와 상기 라이다 데이터를 결합하여 증강된 라이다 데이터를 획득하는 것을 특징으로 하는 라이다 데이터 증강 장치.
  9. 제8항에 있어서,
    상기 픽셀 투영부는,
    상기 영상 프레임 및 라이다 데이터 간의 기설정된 보정 파라미터에 기초하여 상기 라이다 데이터를 상기 영상 프레임 위에 중첩시키고, 상기 영상 프레임에서 라이다 데이터가 중첩된 픽셀에 상기 3차원 데이터인 상기 라이다 데이터를 투영(projection)함으로써 상기 분할 마스크에 대한 상기 깊이 맵을 생성하는 것을 특징으로 하는 라이다 데이터 증강 장치.
  10. 제8항에 있어서,
    상기 깊이 완성부는,
    가공된 포인트 클라우드와 라이다 데이터 간의 불연속 영역의 간격을 채우고, 깊이 정보에 대해 일정값 이상의 에러를 갖는 가공된 포인트 클라우드는 제거하는 후처리를 수행하는 것을 특징으로 하는 라이다 데이터 증강 장치.
  11. 제7항에 있어서,
    상기 객체 분할부는,
    상기 영상 프레임에 포함된 모든 객체에 2차원 분할 마스크를 생성하는 것을 특징으로 하는 라이다 데이터 증강 장치.
  12. 제7항에 있어서,
    상기 카메라 및 상기 라이다 센서가 동일한 영역으로부터 영상 프레임 및 라이다 데이터를 획득하기 위해 상기 영상 프레임을 획득하고 상기 라이다 데이터를 획득하기 전에 상기 카메라 및 라이다 센서의 동기화를 수행하는 동기화부를 더 포함하는 것을 특징으로 하는 라이다 데이터 증강 장치.
PCT/KR2022/019792 2022-02-18 2022-12-07 비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강 방법 WO2023158072A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0021292 2022-02-18
KR20220021292 2022-02-18
KR10-2022-0052582 2022-04-28
KR1020220052582A KR20230124454A (ko) 2022-02-18 2022-04-28 비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강 방법

Publications (1)

Publication Number Publication Date
WO2023158072A1 true WO2023158072A1 (ko) 2023-08-24

Family

ID=87578780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/019792 WO2023158072A1 (ko) 2022-02-18 2022-12-07 비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강 방법

Country Status (1)

Country Link
WO (1) WO2023158072A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018503151A (ja) * 2014-04-30 2018-02-01 インテル・コーポレーション イベント空間で生じるイベントの３次元再構成における３次元再構成システムによる周囲の処理を制限するためのシステムおよび方法
KR101974911B1 (ko) * 2018-10-29 2019-05-03 (주)앤트로스 트램펄린을 이용한 증강현실 기반 스포츠 게임 시스템
KR20190120492A (ko) * 2018-04-16 2019-10-24 한국전자통신연구원 실 공간 비강체의 가상 공간 정합 방법 및 장치
KR102233395B1 (ko) * 2020-10-12 2021-03-30 (주)투핸즈인터랙티브 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018503151A (ja) * 2014-04-30 2018-02-01 インテル・コーポレーション イベント空間で生じるイベントの３次元再構成における３次元再構成システムによる周囲の処理を制限するためのシステムおよび方法
KR20190120492A (ko) * 2018-04-16 2019-10-24 한국전자통신연구원 실 공간 비강체의 가상 공간 정합 방법 및 장치
KR101974911B1 (ko) * 2018-10-29 2019-05-03 (주)앤트로스 트램펄린을 이용한 증강현실 기반 스포츠 게임 시스템
KR102233395B1 (ko) * 2020-10-12 2021-03-30 (주)투핸즈인터랙티브 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YO HAN LIM, IN HYEOK JEONG, SAN SUNG LEE, SUNG SOO HWANG: "Point Cloud Generation Method Based on Lidar and Stereo Camera for Creating Virtual Space", JOURNAL OF KOREA MULTIMEDIA SOCIETY, KOREA MULTIMEDIA SOCIETY, KR, vol. 24, no. 11, 30 November 2021 (2021-11-30), KR , pages 1518 - 1525, XP009548689, ISSN: 1229-7771, DOI: 10.9717/kmms.2021.24.11.1518 *

Similar Documents

Publication Publication Date Title
WO2019164379A1 (en) Method and system for facial recognition
EP2581879B1 (en) Three-frame difference moving target acquisition system and method for target track identification
JP4198054B2 (ja) ３ｄビデオ会議システム
EP2570993B1 (en) Egomotion estimation system and method
WO2018098915A1 (zh) 清洁机器人的控制方法及清洁机器人
US20190258852A1 (en) Image processing apparatus, image processing system, image processing method, and program
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
US11132538B2 (en) Image processing apparatus, image processing system, and image processing method
JP2013109760A (ja) 対象検知方法及び対象検知システム
WO2013151270A1 (en) Apparatus and method for reconstructing high density three-dimensional image
WO2019147024A1 (ko) 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치
CN109934873B (zh) 标注图像获取方法、装置及设备
CN112648994B (zh) 基于深度视觉里程计和imu的相机位姿估计方法及装置
Fregin et al. Three ways of using stereo vision for traffic light recognition
CN111696044B (zh) 一种大场景动态视觉观测方法及装置
Muglikar et al. Event guided depth sensing
CN113724335B (zh) 一种基于单目相机的三维目标定位方法及系统
WO2015196878A1 (zh) 一种电视虚拟触控方法及系统
JPH03200007A (ja) ステレオ計測装置
WO2023158072A1 (ko) 비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강 방법
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
WO2019009579A1 (ko) 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치
CN116151320A (zh) 一种抗动态目标干扰的视觉里程计方法及视觉里程计装置
WO2022014831A1 (ko) 오브젝트 검출 방법 및 장치
Low et al. Frame Based Object Detection--An Application for Traffic Monitoring

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22927468

Country of ref document: EP

Kind code of ref document: A1