KR20210121628A - 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템 - Google Patents

강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템 Download PDF

Info

Publication number
KR20210121628A
KR20210121628A KR1020200038695A KR20200038695A KR20210121628A KR 20210121628 A KR20210121628 A KR 20210121628A KR 1020200038695 A KR1020200038695 A KR 1020200038695A KR 20200038695 A KR20200038695 A KR 20200038695A KR 20210121628 A KR20210121628 A KR 20210121628A
Authority
KR
South Korea
Prior art keywords
point cloud
reinforcement learning
image
lidar
reward
Prior art date
Application number
KR1020200038695A
Other languages
English (en)
Inventor
문성주
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020200038695A priority Critical patent/KR20210121628A/ko
Priority to US17/217,338 priority patent/US11703596B2/en
Publication of KR20210121628A publication Critical patent/KR20210121628A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

강화학습 기반 포인트 클라우드 자동화 처리 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 강화학습 기반 포인트 클라우드 자동화 처리 방법은 라이다 및 카메라를 통하여 포인트 클라우드 및 이미지를 수집하는 스캐닝 단계, 제어부에 의해, 이미지와 포인트 클라우드의 기하학적 및 광도 일관성을 포함하는 리워드를 최대화하는 강화학습을 통하여 이미지와 포인트 클라우드의 위치를 일치시키도록 캘리브레이션하는 단계, 및 제어부에 의해, 이미지의 형상과 포인트 클라우드의 형상의 차이를 포함하는 리워드를 최소화하는 강화학습을 통하여 포인트 클라우드를 3D 이미지로 메쉬하는 단계를 포함한다.

Description

강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템{Method and system for automatically processing point cloud based on Reinforcement learning}
본 발명은 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템에 관한 것이다.
자율주행 차량은 사물 인식을 위해 3D 라이다 및 2D 카메라를 함께 사용한다. 아울러, 3D 라이다 및 2D 카메라를 함께 사용하는 사물 인식은 공사장 감리 현장에서도 활용된다. 이 경우, 3D 라이다 및 2D 카메라에 의한 획득한 실측 정보를 설계 정보와 비교함으로써, 공사 상황을 감리하는데 활용될 수 있다.
이때, 이러한 센서를 사용하여 의미있는 데이터를 수집하려면 이런 센서들의 성능이 캘리브레이션 파라미터(calibration parameter)에 매우 민감하기 때문에 정확하게 캘리브레이션해야 한다.
그러나 기존의 캘리브레이션 기법의 대부분은 바둑판과 같은 특정 캘리브레이션 타겟에 의존하며, 대량의 수동 작업의 수고가 요구된다. 이는 대규모 시스템의 적용 가능성에 심각한 영향을 미친다. 따라서 유연성 및 적응성을 크게 확장할 수 있는 자동화 및 온라인 캘리브레이션 기법이 요구된다.
한편, 대규모 3D 포인트 클라우드(PCL; Point CLoud)의 의미 분석(Semantic parsing)은 컴퓨터 비전 및 원격 감지 분야에서 중요한 연구 주제이다. 대부분의 기존 접근 방식은 각 양식(modality)에 대해 수동으로 제작된 특징을 독립적으로 활용하고 이를 체험적 방식(heuristic manner)으로 결합한다.
그러나 윈도우를 이동하면서 픽셀 간의 공간 관계를 획득할 수 있는 이미지와 달리, 포인트 클라우드의 포인트는 조직화되지 않고 포인트 밀도가 균일하지 않다. 따라서 높은 수준의 의미론적 구조를 획득하기가 어렵다. 즉, 기존의 방법은 3D 포인트 클라우드를 인식하기 위해 적용하기가 어렵고 많은 수고가 요구된다.
KR 2016-0115959 A
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 라이다-카메라 캘리브레이션 및 3D 작업을 위한 포인트 클라우드의 메쉬를 자동으로 수행할 수 있는 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템을 제공하는 데 그 목적이 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 라이다 및 카메라를 통하여 포인트 클라우드 및 이미지를 수집하는 스캐닝 단계; 제어부에 의해, 상기 이미지와 상기 포인트 클라우드의 기하학적 및 광도 일관성을 포함하는 리워드를 최대화하는 강화학습을 통하여 상기 이미지와 상기 포인트 클라우드의 위치를 일치시키도록 캘리브레이션하는 단계; 및 상기 제어부에 의해, 상기 이미지의 형상과 상기 포인트 클라우드의 형상의 차이를 포함하는 리워드를 최소화하는 강화학습을 통하여 상기 포인트 클라우드를 3D 이미지로 메쉬하는 단계;를 포함하는 강화학습 기반 포인트 클라우드 자동화 처리 방법이 제공된다.
일 실시예에서, 상기 캘리브레이션하는 단계는 병진 속도 벡터(translation velocity vector) 및 회전 속도 벡터(rotation velocity vector)를 포함하는 액션에 의해 수행될 수 있다.
일 실시예에서, 상기 캘리브레이션하는 단계는 상기 리워드가 잘못-캘리브레이션된 깊이 맵과 타겟 깊이 맵 사이의 픽셀 단위 에러인 광도 손실과, 변환된 포인트 클라우드와 타겟 포인트 클라우드 사이의 거리인 포인트 클라우드 거리 손실을 포함할 수 있다.
일 실시예에서, 상기 포인트 클라우드 거리 손실은 두 개의 포인트 클라우드 사이의 가장 근접한 포인트들의 거리의 제곱의 합일 수 있다.
일 실시예에서, 상기 캘리브레이션하는 단계는 DVI(Discrete Value Iteration) 강화학습 알고리즘에 의해 상기 강화학습을 수행할 수 있다.
일 실시예에서, 상기 캘리브레이션하는 단계는 상기 포인트 클라우드를 이미지 평면에 투영하여 깊이 맵으로 변환하는 단계를 포함할 수 있다.
일 실시예에서, 상기 캘리브레이션하는 단계는 변환 매트릭스에 의해 상기 깊이 맵을 변환하는 3D 공간 변환 단계를 포함할 수 있다.
일 실시예에서, 상기 메쉬하는 단계는 포착 입자(catch particle)의 운동 벡터를 포함하는 액션에 의해 수행될 수 있다.
일 실시예에서, 상기 메쉬하는 단계는 인접한 포인트 클라우드 중 연관성이 가장 높은 포인트 클라우드를 포착하도록 상기 운동 벡터를 결정할 수 있다.
일 실시예에서, 상기 메쉬하는 단계는 상기 리워드가 상기 이미지로부터 추출된 옥트리(Octree) 데이터의 위치와 상기 리워드가 상기 액션에 따른 운동에 의해 상기 포착 입자가 포착한 다음 연결될 포인트 클라우드의 위치의 차이를 포함할 수 있다.
일 실시예에서, 상기 메쉬하는 단계는 상기 포인트 클라우드를 작은 단위 화면으로 나누고, 윈도우를 이동하면서 구문 분석(parsing)을 수행하는 단계를 포함할 수 있다.
일 실시예에서, 상기 메쉬하는 단계는 DVI(Discrete Value Iteration) 강화학습 알고리즘에 의해 상기 강화학습을 수행할 수 있다.
본 발명의 다른 측면에 따르면, 강화학습 기반 포인트 클라우드 자동화 처리 시스템에서, 라이다 및 카메라를 통하여 수집된 포인트 클라우드와 이미지의 위치를 강화학습 기반으로 일치시키는 캘리브레이션 방법으로서, 상기 강화학습은 상기 이미지와 상기 포인트 클라우드의 기하학적 및 광도 일관성을 최대화하는 리워드와 병진 속도 벡터 및 회전 속도 벡터를 포함하는 액션에 의해 수행되는 강화학습 기반 라이다-카메라 캘리브레이션 방법이 제공된다.
일 실시예에서, 상기 리워드는 잘못-캘리브레이션된 깊이 맵과 타겟 깊이 맵 사이의 픽셀 단위 에러인 광도 손실과, 변환된 포인트 클라우드와 타겟 포인트 클라우드 사이의 거리인 포인트 클라우드 거리 손실을 포함할 수 있다.
일 실시예에서, 상기 포인트 클라우드 거리 손실은 두 개의 포인트 클라우드 사이의 가장 근접한 포인트들의 거리의 제곱의 합일 수 있다.
일 실시예에서, 상기 강화학습은 DVI(Discrete Value Iteration) 강화학습 알고리즘에 의해 수행될 수 있다.
일 실시예에서, 상기 강화학습 기반 라이다-카메라 캘리브레이션 방법은 상기 포인트 클라우드를 이미지 평면에 투영하여 깊이 맵으로 변환하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 강화학습 기반 라이다-카메라 캘리브레이션 방법은 변환 매트릭스에 의해 상기 깊이 맵을 변환하는 3D 공간 변환 단계를 더 포함할 수 있다.
본 발명의 또 다른 측면에 따르면, 강화학습 기반 포인트 클라우드 자동화 처리 시스템에서, 라이다 및 카메라를 통하여 수집된 포인트 클라우드와 이미지를 기반으로 상기 포인트 클라우드를 강화학습 기반으로 3D 이미지로 메쉬하는 방법으로서, 상기 강화학습은, 상기 이미지의 형상과 상기 포인트 클라우드의 형상의 차이를 최소화하는 리워드와, 포착 입자(catch particle)의 운동 벡터를 포함하는 액션에 의해 수행되는 강화학습 기반 포인트 클라우드 메쉬 방법이 제공된다.
일 실시예에서, 상기 강화학습은 인접한 포인트 클라우드 중 연관성이 가장 높은 포인트 클라우드를 포착하도록 상기 운동 벡터를 결정할 수 있다.
일 실시예에서, 상기 리워드는 상기 이미지로부터 추출된 옥트리(Octree) 데이터의 위치와 상기 리워드가 상기 액션에 따른 운동에 의해 상기 포착 입자가 포착한 다음 연결될 포인트 클라우드의 위치의 차이를 포함할 수 있다.
일 실시예에서, 상기 강화학습 기반 포인트 클라우드 메쉬 방법은 상기 포인트 클라우드를 작은 단위 화면으로 나누고, 윈도우를 이동하면서 구문 분석을 수행하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 강화학습은 DVI(Discrete Value Iteration) 강화학습 알고리즘에 의해 수행될 수 있다.
본 발명의 또 다른 측면에 따르면, 포인트 클라우드를 수집하는 라이다; 이미지를 수집하는 카메라; 및 상기 라이다 및 상기 카메라와 통신적으로 연결되는 제어부를 포함하고, 상기 제어부는, 상기 이미지와 상기 포인트 클라우드의 기하학적 및 광도 일관성을 포함하는 리워드를 최대화하는 강화학습을 통하여 상기 이미지와 상기 포인트 클라우드의 위치를 일치시키도록 캘리브레이션하고, 상기 이미지의 형상과 상기 포인트 클라우드의 형상의 차이를 포함하는 리워드를 최소화하는 강화학습을 통하여 상기 포인트 클라우드를 3D 이미지로 메쉬하도록 구성되는 강화학습 기반 포인트 클라우드 자동화 처리 시스템이 제공된다.
본 발명의 또 다른 측면에 따르면, 포인트 클라우드를 수집하는 라이다; 이미지를 수집하는 카메라; 및 상기 라이다 및 상기 카메라와 통신적으로 연결되는 제어부를 포함하고, 상기 제어부는 상기 포인트 클라우드와 상기 이미지의 위치를 강화학습 기반으로 일치시키도록 구성되며, 상기 강화학습은, 상기 이미지와 상기 포인트 클라우드의 기하학적 및 광도 일관성을 최대화하는 리워드와, 병진 속도 벡터 및 회전 속도 벡터를 포함하는 액션에 의해 수행되는 강화학습 기반 라이다-카메라 캘리브레이션 시스템이 제공된다.
본 발명의 또 다른 측면에 따르면, 포인트 클라우드를 수집하는 라이다; 이미지를 수집하는 카메라; 및 상기 라이다 및 상기 카메라와 통신적으로 연결되는 제어부를 포함하고, 상기 제어부는 상기 포인트 클라우드와 상기 이미지를 기반으로 상기 포인트 클라우드를 강화학습 기반으로 3D 이미지로 메쉬하도록 구성되며, 상기 강화학습은, 상기 이미지의 형상과 상기 포인트 클라우드의 형상의 차이를 최소화하는 리워드와, 포착 입자(catch particle)의 운동 벡터를 포함하는 액션에 의해 수행되는 강화학습 기반 포인트 클라우드 메쉬 처리 시스템이 제공된다.
본 발명의 일 실시예에 따른 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템은 입력 이미지와 포인트 클라우드의 기하학적 및 광도 일관성을 포함하는 리워드를 최대화하도록 강화학습을 수행함으로써, 캘리브레이션 타겟의 필요성을 완화시키며 라이다-카메라 캘리브레이션의 수고를 크게 절감할 수 있다.
또한, 본 발명은 카메라 이미지의 형상과 포인트 클라우드 데이터의 형상의 차이를 포함하는 리워드를 최소화하도록 강화학습을 수행함으로써, 대부분의 파라미터가 학습되므로 집중적인 파라미터 튜닝 비용이 크게 절감되므로 메쉬 작성의 생산성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 강화학습 기반 포인트 클라우드 자동화 처리 시스템의 블록도이고,
도 2는 본 발명의 일 실시예에 따른 강화학습 기반 포인트 클라우드 자동화 처리 방법의 순서도이며,
도 3은 도 2에서 캘리브레이션 알고리즘을 나타낸 도면이고,
도 4는 도 2에서 메쉬 알고리즘을 나타낸 도면이며,
도 5는 도 4의 메쉬 알고리즘에 의해 다음 포인트의 연결 과정을 설명하기 위한 도면이고,
도 6은 도 4의 메쉬 알고리즘의 입력 데이터와 출력 데이터를 나타낸 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이며, 아래에 설명되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예는 본 발명을 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
도 1은 본 발명의 일 실시예에 따른 강화학습 기반 포인트 클라우드 자동화 처리 시스템의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 강화학습 기반 포인트 클라우드 자동화 처리 시스템(100)은 라이다(110), 카메라(120), 제어부(130), 저장부(140) 및 디스플레이(150)를 포함한다.
강화학습 기반 포인트 클라우드 자동화 처리 시스템(100)은 스캔 투 메쉬(scan to mesh) 과정을 수작업에 의존하는 룰 베이스(rule based) 방식 대신 강화학습을 기반으로 대체함으로써 자동화한 것이다.
여기서, 강화학습은 라이다-카메라 캘리브레이션이나 포인트 클라우드 기반 3D 이미지 메쉬를 수행할 때, 현재 작업중인 포인트의 상태를 인식하여 인접한 포인트에 대한 선택가능한 액션(action) 중 리워드(reward)를 최대화 또는 최소화하는 액션을 선택하는 과정으로 이해될 수 있다.
라이다(110)는 포인트 클라우드를 수집할 수 있다. 여기서, 라이다(110)는 3D 라이다일 수 있다. 일례로, 라이다(110)는 주행방향의 객체를 인식하기 위해 차량에서 전방, 후방 및 측방 중 적어도 하나에 구비될 수 있다.
카메라(120)는 이미지를 수집할 수 있다. 여기서, 카메라(120)는 2D 카메라일 수 있다. 일례로, 카메라(120)는 주행방향의 객체를 인식하기 위해 차량의 전방, 후방 및 측방 중 적어도 하나에 구비될 수 있다.
제어부(130)는 라이다(110), 카메라(120), 저장부(140) 및 디스플레이(150)에 통신적으로 연결될 수 있다. 일례로, 제어부(130)는 차량의 ECU일 수 있다. 선택적으로, 제어부(130)는 차량에서 스캔 투 메쉬를 위해 별도로 구비된 컨트롤러일 수 있다.
또한, 제어부(130)는 라이다(110)에 의해 수집된 포인트 클라우드(PCL)와 카메라(120)에 의해 수집된 이미지의 위치를 강화학습 기반으로 일치시키도록 구성될 수 있다. 여기서, 상기 강화학습은 이미지와 포인트 클라우드(PCL)의 기하학적 및 광도 일관성을 최대화하는 리워드와 병진 속도 벡터(translation velocity vector) 및 회전 속도 벡터(rotation velocity vector)를 포함하는 액션에 의해 수행될 수 있다.
즉, 제어부(130)는 후술하는 바와 같은 캘리브레이션 알고리즘(300)을 수행할 수 있다. 여기서, 구체적인 설명은 생략한다.
또한, 제어부(130)는 라이다(110)에 의해 수집된 포인트 클라우드(PCL)와 카메라(120)에 의해 수집된 이미지를 기반으로 포인트 클라우드(PCL)를 강화학습 기반으로 3D 이미지로 메쉬하도록 구성될 수 있다. 여기서, 상기 강화학습은 이미지의 형상과 포인트 클라우드(PCL)의 형상의 차이를 최소화하는 리워드와, 포착 입자(catch particle)의 운동 벡터를 포함하는 액션에 의해 수행될 수 있다.
이때, 제어부(130)는 후술하는 바와 같은 메쉬 알고리즘(400)을 수행할 수 있다. 여기서, 구체적인 설명은 생략한다.
저장부(140)는 라이다-카메라 캘리브레이션 또는 포인트 클라우드 기반 3D 이미지 메쉬 과정 또는 결과에 따른 작업 데이터가 저장될 수 있다.
디스플레이(150)는 라이다-카메라 캘리브레이션 또는 포인트 클라우드 기반 3D 이미지 메쉬 과정 또는 결과를 디스플레이할 수 있다.
이하, 도 2 내지 도 6을 참조하여 본 발명의 강화학습 기반 포인트 클라우드 자동화 처리 방법을 설명한다.
도 2는 본 발명의 일 실시예에 따른 강화학습 기반 포인트 클라우드 자동화 처리 방법의 순서도이다.
강화학습 기반 포인트 클라우드 자동화 처리 방법(200)은 포인트 클라우드(PCL) 및 이미지를 수집하는 스캐닝 단계(S210), 이미지와 포인트 클라우드(PCL)의 위치를 일치시키도록 캘리브레이션하는 단계(S220), 및 포인트 클라우드(PCL)를 3D 이미지로 메쉬하는 단계(S230)를 포함한다.
여기서, 캘리브레이션하는 단계(S220) 및 포인트 클라우드(PCL)를 3D 이미지로 메쉬하는 단계(S230)는 서로 독립적으로 수행될 수 있다.
보다 상세히 설명하면, 도 2에 도시된 바와 같이, 먼저, 강화학습 기반 포인트 클라우드 자동화 처리 시스템(100)은 라이다(110) 및 카메라(120)를 통하여 포인트 클라우드(PCL) 및 이미지를 수집한다(단계 S210). 이때, 포인트 클라우드(PCL)는 3D 라이다 데이터이고, 이미지는 2D 카메라 데이터일 수 있다.
다음으로, 강화학습 기반 포인트 클라우드 자동화 처리 시스템(100)은 이미지와 포인트 클라우드(PCL)의 기하학적 및 광도 일관성을 포함하는 리워드를 최대화하는 강화학습을 통하여 이미지와 포인트 클라우드(PCL)의 위치를 일치시키도록 캘리브레이션한다(단계 S220).
이하, 도 3을 참조하여 캘리브레이션 알고리즘(300)을 더 구체적으로 설명하다. 도 3은 도 2에서 캘리브레이션 알고리즘을 나타낸 도면이다.
캘리브레이션 알고리즘(300)은 장면에 특정 특징이나 랜드마크가 존재한다는 가정없이 외부 파라미터들을 위한 임의의 초기 추정 없이 실시간으로 라이다-카메라 캘리브레이션한다. 즉, 이는 3D 라이다와 2D 카메라 사이의 변환을 추정한다.
또한, 캘리브레이션 알고리즘(300)은 재교육 또는 도메인 적응이 필요 없이 기본적인 기하학적 문제를 반복적으로 해결하고, 넓은 범위의 잘못된-캘리브레이션에 대하여 외부 캘리브레이션 파라미터들을 정확하게 예측하도록 학습한다. 즉, 캘리브레이션 알고리즘(300)은 입력 이미지와 포인트 클라우드의 기하학적 및 광도 일관성을 최대화하는 캘리브레이션 파라미터를 예측하도록 네트워크를 훈련한다.
캘리브레이션 알고리즘(300)은 PCL 객체 검출(310), 카메라 객체 검출(320) 및 강화학습 메커니즘(330)을 포함할 수 있다.
PCL 객체 검출(310)은 포인트 클라우드(PCL)에서 객체를 검출할 수 있다. 여기서, 포인트 클라우드는 사전처리로서 먼저 드문드문한(sparse) 깊이 맵(depth map)으로 변환될 수 있다. 이는 라이다 포인트 클라우드를 이미지 평면에 투영함으로써 수행될 수 있다. 이때, 초기 잘못된-캘리브레이션이 부정확하기 때문에, 잘못-캘리브레이션된 포인트는 이미지 평면에 투영시 이미지와 극도로 부합하지 않는 드문드문한 깊이 맵을 초래한다.
카메라 객체 검출(320)은 카메라(120)로부터 획득된 RGB 이미지에서 객체를 검출할 수 있다.
강화학습 메커니즘(330)은 강화학습(331), 변환 매트릭스(332), 3D 공간 변환(333) 및 리워드(334)를 포함할 수 있다.
강화학습(331)은 이미지와 포인트 클라우드(PCL)의 기하학적 및 광도 일관성을 최대화하는 리워드(334)와, 병진 속도 벡터 및 회전 속도 벡터를 포함하는 액션에 의해 수행될 수 있다. 이때, 강화학습(331)은 PCL 객체 검출(310)의 결과가 스테이트(state)로서 입력될 수 있다. 일례로, 강화학습(331)은 DVI(Discrete Value Iteration) 강화학습 알고리즘에 의해 수행될 수 있다.
변환 매트릭스(332)는 강화학습(331)의 액션에 따라 결정될 수 있다. 여기서, 변환 매트릭스(332)는 병진 속도 벡터 및 회전 속도 벡터에 대응하는 변환 성분을 포함할 수 있다.
3D 공간 변환(333)은 예측된 변환 매트릭스(332)에 의해 입력 깊이 맵을 변환할 수 있다. 이때, 3D 공간 변환(333)은 네트워크에 의해 예측된 외부 캘리브레이션에 의해 획득된 포인트 클라우드를 변환할 수 있다. 그 다음, 3D 공간 변환(333)은 카메라 내부 파라미터를 이용하여 변환된 포인트 클라우드를 다시 이미지 평면으로 투영할 수 있다.
리워드(334)는 손실 함수를 포함할 수 있다. 여기서, 외부 파라미터 캘리브레이션의 경우, 등록을 위해 밀도가 높은 방법을 사용하는 것이 더 훨씬 필요하다. 이때, 훈련 중에 두 가지 유형의 손실 조건이 사용될 수 있다.
리워드(334)는 클라우드 거리 손실(334a) 및 광도 손실(334b)을 포함할 수 있다. 여기서, 광도 손실(334b)은 예측된 변환 매트릭스(332)에 의해 깊이 맵을 변환한 후, 예측된 깊이 맵과 정확한 깊이 맵 사이에서 조밀한 픽셀-단위 에러를 조사한다. 이때, 각 픽셀은 깊이 세기로 인코딩되기 때문에 픽셀-단위 에러를 조사한다.
광도 손실(334b)(Lphoto)은 다음의 수학식 1과 같이 정의된다.
Figure pat00001
여기서, Dgt는 타겟 깊이 맵, Dmiscalib는 초기 잘못-캘리브레이션된 깊이 맵, T는 변환 매트릭스, K는 카메라 캘리브레이션 매트릭스, π는 원근 투시 연산자이다.
한편, 3D 공간 변환(333)은 역투영 후 포인트 클라우드를 변환할 수 있다. 이때, 변환된 포인트 클라우드와 타겟 포인트 클라우드를 이용하여 변환된 포인트 클라우드와 타겟 포인트 클라우드 사이의 3D-3D 포인트 거리를 최소화하도록 시도한다.
클라우드 거리 손실(334a)은 변환된 포인트 클라우드와 타겟 포인트 클라우드 사이의 거리일 수 있다. 일례로, 실제 좌표에서 두 개의 포인트 클라우드 사이의 거리는 챔퍼 거리(Chamfer Distance)를 사용할 수 있다. 챔퍼 거리(dCD)는 두 개의 포인트 클라우드 사이의 가장 근접한 포인트들의 거리의 제곱의 합으로서 다음의 수학식 2와 같이 정의된다.
Figure pat00002
여기서, x, y는 실제 좌표이다.
이때, 리워드(334)는 광도 손실과 포인트 클라우드 거리 손실의 가중치 합으로 구성되는 최종 손실 함수일 수 있다. 최종 손실 함수(Lfinal)는 아래의 수학식 3과 같다.
Figure pat00003
여기서, αph는 광도 손실의 가중치이고, βdist는 포인트 클라우드 거리 손실의 가중치이다.
다시 도 2를 참조하면, 강화학습 기반 포인트 클라우드 자동화 처리 시스템(100)은 이미지의 형상과 포인트 클라우드(PCL)의 형상의 차이를 포함하는 리워드를 최소화하는 강화학습을 통하여 포인트 클라우드(PCL)를 3D 이미지로 메쉬한다(단계 S230).
이하, 도 4를 참조하여 메쉬 알고리즘(400)을 더 구체적으로 설명하다. 도 4는 도 2에서 메쉬 알고리즘을 나타낸 도면이며, 도 5는 도 4의 메쉬 알고리즘에 의해 다음 포인트의 연결 과정을 설명하기 위한 도면이고, 도 6은 도 4의 메쉬 알고리즘의 입력 데이터와 출력 데이터를 나타낸 도면이다.
메쉬 알고리즘(400)은 포인트 클라우드를 자동으로 연결(link)하기 위한 것으로, 포인트 클라우드 사이에 최적의 연관성이 있는 인접한 포인트 클라우드를 찾아 메쉬 이미지를 생성한다. 여기서, 메쉬 알고리즘(400)은 입력 이미지의 형상과 포인트 클라우드의 형상의 차이를 최소화하는 메쉬 파리미터를 예측하도록 네트워크를 훈련한다.
이때, 메쉬 알고리즘(400)은 대규모 3D 포인트 클라우드를 자동으로 분석하기 위한 심층 강화학습을 기반으로 한다. 즉, 메쉬 알고리즘(400)은 모든 클래스 객체를 인식하여 대규모 3D 포인트 클라우드를 의미적으로 구문 분석하기 위한 심층 강화학습 프레임워크를 포함한다.
메쉬 알고리즘(400)은 이동 메커니즘(410) 및 강화학습 메커니즘(420)을 포함할 수 있다.
이동 메커니즘(410)은 대규모 정보를 포함하는 포인트 클라우드 화면에서 작은 단위 화면으로 나누고, 단위 화면에서 강화학습으로 뷰 포인트를 이동하면서 구문 분석할 수 있다.
이동 메커니즘(410)은 아이 윈도우(eye window)(411), 3D IDM(412), 리워드(413) 및 DVI(414)을 포함할 수 있다.
아이 윈도우(411)는 3D IDM(412) 및 DVI(414)의 제어하에서 객체 클래스의 포인트를 효율적으로 지역화하고 세그먼트화할 수 있다.
3D IDM(Image Detection Machin-learning)(412)은 아이 윈도우(411)에서, 포인트의 강력하고 차별적인 특징을 추가로 추출하여 대규모 포인트 클라우드의 구문 분석 정확도를 크게 향상시킬 수 있다.
또한, 3D IDM(412)은 다른 클래스 객체를 결정하도록 훈련된다. 각 클래스의 포인트의 특징 표현은 3D IDM(412)에 의해 얻어진다. 그 다음 이러한 특징은 인코딩되어 강화학습 메커니즘(420)에 적용될 수 있다.
또한, 3D IDM(412)은 지도 학습을 통해, 포인트 클라우드에서 포인트의 모양, 공간 관계, 색상 및 컨텍스트에 대한 특징을 여러 스케일에서 학습한 다음, 이를 3D IDM 특징이라는 차별적인 특징 표현으로 인코딩할 수 있다. 이때, 포인트 클라우드에서 특정 객체를 인식하기 위해, 아이 윈도우(411)는 특정 클래스에 속하는 포인트를 지역화하기 위해 전체 데이터를 탐색할 수 있다.
즉, 이동 메커니즘(410)은 포인트 클라우드를 효율적이고 효과적으로 구문 분석하기 위해, 먼저 특정 크기의 아이 윈도우(411)를 설정하고, 장면에서 이동시키면서 3D IDM을 적용하여 아이 윈도우 내부의 데이터를 인식할 수 있다.
리워드(413)는 3D IDM(412)의 출력으로서 아이 윈도우 내에 클랙스 객체가 포함될 확률을 나타낼 수 있다.
DVI(Discrete Value Iteration)(414)은 객체를 감지하고 지역화할 수 있다. DIV(414)은 3D IDM(412)의 피드백을 기반으로 장면을 자동으로 인식하고 해당 매개 변수를 조정하여 객체를 지역화할 수 있다.
이때, DVI(414)는 아이 윈도우(411)의 크기와 위치를 제어할 수 있다. 탐색 중에 DVI(414)은 아이 윈도우(411)에 클래스 객체가 포함될 확률을 얻는다. 이때, 상기 확률은 3D IDM(412)이 출력한 리워드(413) 벡터를 통해 연산될 수 있다.
DVI(414)의 제어하에 있는 아이 윈도우(411)는 리워드(413)에 따라 클래스 객체를 효율적으로 위치시킬 수 있다. 즉, 탐색 경로를 최적화할 수 있다.
다음으로, 이동 메커니즘(410)은 어느 영역을 볼 가치가 있는지의 여부를 결정한 다음, 아이 윈도우의 크기를 변경하고 해당 영역으로 이동한다. 이때, 새로운 아이 윈도우(411)에서 포인트의 리워드 벡터를 계산하기 위해 3D IDM을 다시 적용할 수 있다. 아이 윈도우(411)가 클래스 객체의 포인트를 정확하게 엔벨로프될 때(envelop)까지 프로세스를 반복한다.
클래스 객체가 지역화되고 엔벨로프되면, 3D IDM 특징, 아이 윈도우 내의 각 포인트의 좌표 및 색상이 강화학습 메커니즘(420)에 입력되는 벡터로 결합될 수 있다. 클래스 객체의 모든 지점이 구문 분석될 때까지 아이 윈도우(411)가 계속 이동할 수 있다.
강화학습 메커니즘(420)은 리워드(421), 강화학습(422) 및 PCL 메쉬(423)를 포함할 수 있다.
리워드(421)는 입력 이미지의 형상과 포인트 클라우드의 형상의 차이를 최소화하기 위해 각각의 위치의 차이를 이용할 수 있다. 여기서, 입력된 이미지의 위치는 추출된 옥트리(Octree) 데이터의 위치일 수 있다. 또한, 포인트 클라우드의 위치는 액션에 따른 운동에 의해 포착 입자가 포착한 다음 연결될 포인트 클라우드의 위치일 수 있다.
따라서 리워드(421)는 옥트리(Octree) 데이터의 위치와 포착 입자가 포착한 다음 연결될 포인트 클라우드의 위치의 차이를 포함할 수 있다. 이때, 추출된 옥트리 데이터의 위치가 기준(reference)이 될 수 있다.
강화학습(422)은 이미지의 형상과 포인트 클라우드(PCL)의 형상의 차이를 최소화하는 리워드(421)와, 포착 입자(catch particle)의 운동 벡터를 포함하는 액션에 의해 수행될 수 있다.
이때, 강화학습(422)은 다음 포인트 클라우드의 연결을 위해 포착 입자가 최적의 운동 정책을 찾도록 강화학습 알고리즘을 수행할 수 있다. 여기서, 강화학습(422)은 인접한 포인트 클라우드 중 연관성이 가장 높은 포인트 클라우드를 포착하도록 운동 벡터를 결정할 수 있다.
도 5를 참조하면, 강화학습(422)은 포착 입자(CP)의 x방향, y 방향 및 z방향에 대한 운동 벡터를 결정할 수 있다. 여기서, 운동 벡터는 각 방향에 대한 속도 벡터(Vx, Vy, Vz)일 수 있다. 이때, 강화학습(422)은 첫 번째 포인트 클라우드(P1)로부터 연결될 두 번째 포인트 클라우드(P2)를 포착 입자(CP)에 의해 포착할 수 있도록 포착 입자(CP)의 운동 벡터를 결정할 수 있다.
여기서, 포착 입자(CP)는 다음 연결될 포인트 클라우드를 포착하기 위해 운동성을 갖는 입자로 정의될 수 있다. 이러한 포착 입자(CP)는 강화학습(422)의 액션에 따라 최적의 운동을 할 수 있다. 일례로, 도 5에서, 포착 입자(CP)는 인접한 포인트 클라우드(P3)로 이동함으로써, 포인트 클라우드들(P1~P3)이 링크되어 메쉬될 수 있다.
이때, 강화학습(422)은 3D IDM(412)의 특징, 아이 윈도우(411) 내의 각 포인트의 좌표 및 색상이 입력될 수 있다. 일례로, 강화학습(422)은 DVI(Discrete Value Iteration) 강화학습 알고리즘에 의해 수행될 수 있다.
PCL 메쉬(423)는 강화학습(421)에 의한 액션에 따라 포인트별 단일 링크 결과를 저장한다.
메쉬 드로잉(430)은 PCL 메쉬(423)에 따라 메쉬를 드로잉한다. 즉, 메쉬 드로잉(430)은 강화학습 메커니즘(420)의 결과로서 클라우드 포인트의 메쉬를 도로잉한다. 함으로써, 메쉬된 크라우드 포인트를 생성할 수 있다.
도 6의 좌측과 같은 포인트 클라우드를 도 6의 우측과 같은 메쉬드 포인트 클라우드를 자동으로 생성할 수 있다.
상기와 같은 방법들은 도 1에 도시된 바와 같은 강화학습 기반 포인트 클라우드 자동화 처리 시스템에 의해 구현될 수 있고, 특히, 이러한 단계들을 수행하는 소프트웨어 프로그램으로 구현될 수 있으며, 이 경우, 이러한 프로그램들은 컴퓨터 판독가능한 기록 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
이때, 컴퓨터 판독가능한 기록 매체는 컴퓨터 시스템에 의해 판독가능한 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.
100 : 강화학습 기반 포인트 클라우드 자동화 처리 시스템
110 : 라이다 120 : 카메라
130 : 제어부 140 : 저장부
150 : 디스플레이 300 : 캘리브레이션 알고리즘
310 : PCL 객체 검출 320 : 카메라 객체 검출
330 : 강화학습 메커니즘 331 : 강화학습
332 : 변환 매트릭스 333 : 3D 공간 변환
334 : 리워드 334a : 클라우드 거리 손실
334b : 광도 손실 400 : 메쉬 알고리즘
410 : 이동 메커니즘 411 : 아이 윈도우
412 : 3D IDM 413 : 리워드
414 : DVI 420 : 강화학습 메커니즘
421 : 리워드 422 : 강화학습
423 : PCL 메쉬 430 : 메쉬 드로잉

Claims (26)

  1. 라이다 및 카메라를 통하여 포인트 클라우드 및 이미지를 수집하는 스캐닝 단계;
    제어부에 의해, 상기 이미지와 상기 포인트 클라우드의 기하학적 및 광도 일관성을 포함하는 리워드를 최대화하는 강화학습을 통하여 상기 이미지와 상기 포인트 클라우드의 위치를 일치시키도록 캘리브레이션하는 단계; 및
    상기 제어부에 의해, 상기 이미지의 형상과 상기 포인트 클라우드의 형상의 차이를 포함하는 리워드를 최소화하는 강화학습을 통하여 상기 포인트 클라우드를 3D 이미지로 메쉬하는 단계;
    를 포함하는 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  2. 제1항에 있어서,
    상기 캘리브레이션하는 단계는 병진 속도 벡터(translation velocity vector) 및 회전 속도 벡터(rotation velocity vector)를 포함하는 액션에 의해 수행되는 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  3. 제2항에 있어서.
    상기 캘리브레이션하는 단계는 상기 리워드가 잘못-캘리브레이션된 깊이 맵과 타겟 깊이 맵 사이의 픽셀 단위 에러인 광도 손실과, 변환된 포인트 클라우드와 타겟 포인트 클라우드 사이의 거리인 포인트 클라우드 거리 손실을 포함하는 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  4. 제3항에 있어서.
    상기 포인트 클라우드 거리 손실은 두 개의 포인트 클라우드 사이의 가장 근접한 포인트들의 거리의 제곱의 합인 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  5. 제2항에 있어서,
    상기 캘리브레이션하는 단계는 DVI(Discrete Value Iteration) 강화학습 알고리즘에 의해 상기 강화학습을 수행하는 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  6. 제2항에 있어서,
    상기 캘리브레이션하는 단계는 상기 포인트 클라우드를 이미지 평면에 투영하여 깊이 맵으로 변환하는 단계를 포함하는 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  7. 제6항에 있어서,
    상기 캘리브레이션하는 단계는 변환 매트릭스에 의해 상기 깊이 맵을 변환하는 3D 공간 변환 단계를 포함하는 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  8. 제1항에 있어서,
    상기 메쉬하는 단계는 포착 입자(catch particle)의 운동 벡터를 포함하는 액션에 의해 수행되는 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  9. 제8항에 있어서,
    상기 메쉬하는 단계는 인접한 포인트 클라우드 중 연관성이 가장 높은 포인트 클라우드를 포착하도록 상기 운동 벡터를 결정하는 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  10. 제8항에 있어서,
    상기 메쉬하는 단계는 상기 리워드가 상기 이미지로부터 추출된 옥트리(Octree) 데이터의 위치와 상기 리워드가 상기 액션에 따른 운동에 의해 상기 포착 입자가 포착한 다음 연결될 포인트 클라우드의 위치의 차이를 포함하는 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  11. 제8항에 있어서,
    상기 메쉬하는 단계는 상기 포인트 클라우드를 작은 단위 화면으로 나누고, 윈도우를 이동하면서 구문 분석(parsing)을 수행하는 단계를 포함하는 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  12. 제8항에 있어서,
    상기 메쉬하는 단계는 DVI(Discrete Value Iteration) 강화학습 알고리즘에 의해 상기 강화학습을 수행하는 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  13. 강화학습 기반 포인트 클라우드 자동화 처리 시스템에서, 라이다 및 카메라를 통하여 수집된 포인트 클라우드와 이미지의 위치를 강화학습 기반으로 일치시키는 캘리브레이션 방법으로서,
    상기 강화학습은,
    상기 이미지와 상기 포인트 클라우드의 기하학적 및 광도 일관성을 최대화하는 리워드와,
    병진 속도 벡터 및 회전 속도 벡터를 포함하는 액션에 의해 수행되는 강화학습 기반 라이다-카메라 캘리브레이션 방법.
  14. 제13항에 있어서.
    상기 리워드는 잘못-캘리브레이션된 깊이 맵과 타겟 깊이 맵 사이의 픽셀 단위 에러인 광도 손실과, 변환된 포인트 클라우드와 타겟 포인트 클라우드 사이의 거리인 포인트 클라우드 거리 손실을 포함하는 강화학습 기반 라이다-카메라 캘리브레이션 방법.
  15. 제14항에 있어서.
    상기 포인트 클라우드 거리 손실은 두 개의 포인트 클라우드 사이의 가장 근접한 포인트들의 거리의 제곱의 합인 강화학습 기반 라이다-카메라 캘리브레이션 방법.
  16. 제13항에 있어서,
    상기 강화학습은 DVI(Discrete Value Iteration) 강화학습 알고리즘에 의해 수행되는 강화학습 기반 라이다-카메라 캘리브레이션 방법.
  17. 제13항에 있어서,
    상기 포인트 클라우드를 이미지 평면에 투영하여 깊이 맵으로 변환하는 단계를 더 포함하는 강화학습 기반 라이다-카메라 캘리브레이션 방법.
  18. 제17항에 있어서,
    변환 매트릭스에 의해 상기 깊이 맵을 변환하는 3D 공간 변환 단계를 더 포함하는 강화학습 기반 라이다-카메라 캘리브레이션 방법.
  19. 강화학습 기반 포인트 클라우드 자동화 처리 시스템에서, 라이다 및 카메라를 통하여 수집된 포인트 클라우드와 이미지를 기반으로 상기 포인트 클라우드를 강화학습 기반으로 3D 이미지로 메쉬하는 방법으로서,
    상기 강화학습은,
    상기 이미지의 형상과 상기 포인트 클라우드의 형상의 차이를 최소화하는 리워드와,
    포착 입자(catch particle)의 운동 벡터를 포함하는 액션에 의해 수행되는 강화학습 기반 포인트 클라우드 메쉬 방법.
  20. 제19항에 있어서,
    상기 강화학습은 인접한 포인트 클라우드 중 연관성이 가장 높은 포인트 클라우드를 포착하도록 상기 운동 벡터를 결정하는 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  21. 제19항에 있어서,
    상기 리워드는 상기 이미지로부터 추출된 옥트리(Octree) 데이터의 위치와 상기 리워드가 상기 액션에 따른 운동에 의해 상기 포착 입자가 포착한 다음 연결될 포인트 클라우드의 위치의 차이를 포함하는 강화학습 기반 포인트 클라우드 자동화 처리 방법.
  22. 제19항에 있어서,
    상기 포인트 클라우드를 작은 단위 화면으로 나누고, 윈도우를 이동하면서 구문 분석을 수행하는 단계를 더 포함하는 강화학습 기반 포인트 클라우드 메쉬 방법.
  23. 제19항에 있어서,
    상기 강화학습은 DVI(Discrete Value Iteration) 강화학습 알고리즘에 의해 수행되는 강화학습 기반 포인트 클라우드 메쉬 방법.
  24. 포인트 클라우드를 수집하는 라이다;
    이미지를 수집하는 카메라; 및
    상기 라이다 및 상기 카메라와 통신적으로 연결되는 제어부를 포함하고,
    상기 제어부는,
    상기 이미지와 상기 포인트 클라우드의 기하학적 및 광도 일관성을 포함하는 리워드를 최대화하는 강화학습을 통하여 상기 이미지와 상기 포인트 클라우드의 위치를 일치시키도록 캘리브레이션하고,
    상기 이미지의 형상과 상기 포인트 클라우드의 형상의 차이를 포함하는 리워드를 최소화하는 강화학습을 통하여 상기 포인트 클라우드를 3D 이미지로 메쉬하도록 구성되는 강화학습 기반 포인트 클라우드 자동화 처리 시스템.
  25. 포인트 클라우드를 수집하는 라이다;
    이미지를 수집하는 카메라; 및
    상기 라이다 및 상기 카메라와 통신적으로 연결되는 제어부를 포함하고,
    상기 제어부는 상기 포인트 클라우드와 상기 이미지의 위치를 강화학습 기반으로 일치시키도록 구성되며,
    상기 강화학습은,
    상기 이미지와 상기 포인트 클라우드의 기하학적 및 광도 일관성을 최대화하는 리워드와,
    병진 속도 벡터 및 회전 속도 벡터를 포함하는 액션에 의해 수행되는 강화학습 기반 라이다-카메라 캘리브레이션 시스템.
  26. 포인트 클라우드를 수집하는 라이다;
    이미지를 수집하는 카메라; 및
    상기 라이다 및 상기 카메라와 통신적으로 연결되는 제어부를 포함하고,
    상기 제어부는 상기 포인트 클라우드와 상기 이미지를 기반으로 상기 포인트 클라우드를 강화학습 기반으로 3D 이미지로 메쉬하도록 구성되며,
    상기 강화학습은,
    상기 이미지의 형상과 상기 포인트 클라우드의 형상의 차이를 최소화하는 리워드와,
    포착 입자(catch particle)의 운동 벡터를 포함하는 액션에 의해 수행되는 강화학습 기반 포인트 클라우드 메쉬 처리 시스템.
KR1020200038695A 2020-03-31 2020-03-31 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템 KR20210121628A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200038695A KR20210121628A (ko) 2020-03-31 2020-03-31 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템
US17/217,338 US11703596B2 (en) 2020-03-31 2021-03-30 Method and system for automatically processing point cloud based on reinforcement learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200038695A KR20210121628A (ko) 2020-03-31 2020-03-31 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR20210121628A true KR20210121628A (ko) 2021-10-08

Family

ID=77856416

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200038695A KR20210121628A (ko) 2020-03-31 2020-03-31 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템

Country Status (2)

Country Link
US (1) US11703596B2 (ko)
KR (1) KR20210121628A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540632B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11453348B2 (en) * 2020-04-14 2022-09-27 Gm Cruise Holdings Llc Polyhedral sensor calibration target for calibrating multiple types of sensors
CN117234216B (zh) * 2023-11-10 2024-02-09 武汉大学 一种机器人深度强化学习运动规划方法及计算机可读介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160115959A (ko) 2014-01-28 2016-10-06 지멘스 헬스케어 게엠베하 파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018051944A1 (ja) * 2016-09-13 2018-03-22 日本電気株式会社 人流推定装置、人流推定方法および記録媒体
CN110852134A (zh) * 2018-07-27 2020-02-28 北京市商汤科技开发有限公司 活体检测方法、装置及系统、电子设备和存储介质
CN110160502B (zh) * 2018-10-12 2022-04-01 腾讯科技（深圳）有限公司 地图要素提取方法、装置及服务器
US11181640B2 (en) * 2019-06-21 2021-11-23 Blackmore Sensors & Analytics, Llc Method and system for vehicle odometry using coherent range doppler optical sensors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160115959A (ko) 2014-01-28 2016-10-06 지멘스 헬스케어 게엠베하 파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540632B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20210304496A1 (en) 2021-09-30
US11703596B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
CN111462135B (zh) 基于视觉slam与二维语义分割的语义建图方法
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
TWI742382B (zh) 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備
US20220244740A1 (en) Method of constructing indoor two-dimensional semantic map with wall corner as critical feature based on robot platform
US11703596B2 (en) Method and system for automatically processing point cloud based on reinforcement learning
US8971612B2 (en) Learning image processing tasks from scene reconstructions
JP4633841B2 (ja) 歩行者の追跡による、ビデオ系列からの３次元道路配置の推定
CN112505065B (zh) 一种实现室内无人机对大部件表面缺陷进行检测的方法
CN109934108B (zh) 一种多目标多种类的车辆检测和测距系统及实现方法
CN114365201A (zh) 结构注释
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN110599489A (zh) 一种目标空间定位方法
CN112241784A (zh) 训练生成模型和判别模型
CN116682140A (zh) 基于注意力机制多模态融合的三维人体姿态估计算法
CN111274862A (zh) 用于产生车辆的周围环境的标签对象的设备和方法
CN115439621A (zh) 一种煤矿井下巡检机器人三维地图重建及目标检测方法
CN115830265A (zh) 一种基于激光雷达的自动驾驶运动障碍物分割方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
Liu et al. Software-defined active lidars for autonomous driving: A parallel intelligence-based adaptive model
CN113281780B (zh) 对图像数据进行标注的方法、装置及电子设备
CN117572885A (zh) 基于无人机热红外相机的夜间追踪方法、系统及相关装置
CN117011381A (zh) 基于深度学习和立体视觉的实时手术器械位姿估计方法与系统
CN113256711B (zh) 一种单目相机的位姿估计方法及系统
US20230085938A1 (en) Visual analytics systems to diagnose and improve deep learning models for movable objects in autonomous driving

Legal Events

Date Code Title Description
A201 Request for examination