KR102602147B1 - CycleGAN을 이용한 라이다 데이터의 렌더링 방법 및 장치 - Google Patents

CycleGAN을 이용한 라이다 데이터의 렌더링 방법 및 장치 Download PDF

Info

Publication number
KR102602147B1
KR102602147B1 KR1020210035507A KR20210035507A KR102602147B1 KR 102602147 B1 KR102602147 B1 KR 102602147B1 KR 1020210035507 A KR1020210035507 A KR 1020210035507A KR 20210035507 A KR20210035507 A KR 20210035507A KR 102602147 B1 KR102602147 B1 KR 102602147B1
Authority
KR
South Korea
Prior art keywords
lidar data
angle
image
rendering
loss
Prior art date
Application number
KR1020210035507A
Other languages
English (en)
Other versions
KR20220130512A (ko
Inventor
김곤우
목승찬
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020210035507A priority Critical patent/KR102602147B1/ko
Publication of KR20220130512A publication Critical patent/KR20220130512A/ko
Application granted granted Critical
Publication of KR102602147B1 publication Critical patent/KR102602147B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 명세서는 라이다 데이터의 렌더링 방법 및 장치에 관한 것이다. 본 명세서의 일 실시예에 따른 라이다 데이터의 렌더링 방법은 라이다(LiDAR)로부터 3차원 위치 정보를 포함하는 라이다 데이터를 획득하는 단계, 획득한 라이다 데이터에 포함된 채널 중 미리 설정된 유효 각도와 일치하는 수직 채널의 각도에 기초하여 상기 라이다 데이터를 2차원 구형 이미지로 변환하는 단계 및 변환된 2차원 구형 이미지로부터 학습 알고리즘을 이용하여 3차원 PCD(Point Cloud Data)가 나타난 이미지인 학습 이미지를 렌더링하는 단계를 포함한다.

Description

CycleGAN을 이용한 라이다 데이터의 렌더링 방법 및 장치 {METHOD AND APPARATUS FOR RENDERING LIDAR DATA USNING CYCLEGAN}
본 명세서는 라이다 데이터의 렌더링 방법 및 장치에 관한 것이다. 보다 상세하게, CycleGAN을 이용하여 라이다 데이터를 렌더링하는 라이다 데이터의 렌더링 방법 및 장치에 관한 것이다.
최근 인공지능의 발달로 자율 주행 차량이 주목을 받고 있다. 자율 주행 차량에서 라이다(Light Detection And Ranging, LiDAR)는 범위, 도로 표시 및 표면 데이터를 측정하기 위해 가장 중요한 센서로써, 주변의 사물을 인식하기 위해 레이저 신호를 이용하는 센서이다.
그러나, 이러한 라이다는 표면 반사 특성과 범위, 입사각, 대기 투과율에 의해 영향을 받으므로 시뮬레이션 환경에서 재현하기가 매우 어렵다. 또한, 라이다에 의해 생성된 라이다 데이터는 2차원 구형 이미지로 변형시 수직 채널의 각도가 균일하지 않아 2차원 구형 이미지로부터 정밀한 학습 이미지의 렌더링이 어렵다. 또한, 수직 채널의 각도 불균형으로 인해 렌더링된 학습 이미지를 다시 2차원 구형 이미지로 복원하는 작업이 매우 어려운 문제점이 있다.
본 명세서의 목적은 라이다 데이터에 포함된 수직 채널의 각도를 균일 하도록 전처리 하여 2차원 구형 이미지를 실제 3차원 라이다 데이터와 유사한 학습 이미지로 렌더링할 수 있는 라이다 데이터의 렌더링 방법 및 장치를 제공하는 것이다.
또한, 본 명세서의 목적은 전체 손실에 자체 정규화 손실을 추가적으로 고려하여 원본 데이터를 보존하고 학습 성능을 향상 시킬 수 있는 라이다 데이터의 렌더링 방법 및 장치를 제공하는 것이다
본 명세서의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 명세서의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 명세서의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 명세서의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 명세서의 일 실시예에 따른 라이다 데이터의 렌더링 방법은 라이다(LiDAR)로부터 3차원 위치 정보를 포함하는 라이다 데이터를 획득하는 단계, 획득한 라이다 데이터에 포함된 채널 중 미리 설정된 유효 각도와 일치하는 수직 채널의 각도에 기초하여 상기 라이다 데이터를 2차원 구형 이미지로 변환하는 단계 및 변환된 2차원 구형 이미지로부터 학습 알고리즘을 이용하여 3차원 PCD(Point Cloud Data)가 나타난 이미지인 학습 이미지를 렌더링하는 단계를 포함한다.
본 명세서의 일 실시예에서 라이다 데이터를 2차원 구형 이미지로 변환하는 단계는 수직 채널의 각도를 해시 테이블에 미리 저장된 복수의 유효 각도와 비교하는 단계 및 수직 채널의 각도가 상기 복수의 유효 각도 중 하나와 일치하면 획득되는 하나의 유효 각도에 대응되는 픽셀 좌표(v) 및 상기 수직 채널을 제외한 나머지 채널로부터 산출되는 픽셀 좌표(u)를 이용하여 상기 라이다 데이터를 2차원 구형 이미지로 변환하는 단계를 포함한다.
본 명세서의 일 실시예에서 수직 채널의 각도를 해시 테이블에 저장된 미리 설정된 유효 각도와 비교하는 단계는 해시 테이블에 기반하는 해시 함수를 이용하여 상기 수직 채널의 각도를 상기 미리 설정된 유효 각도와 비교하는 단계를 포함한다.
본 명세서의 일 실시예에서 학습 이미지를 렌더링하는 단계는 적대적 손실(adversarial loss), 순환 일관성 손실(Cycle consistenty loss), 자체 정규화 손실(self-regularization loss) 및 가중치 매개 변수에 기초하여 결정되는 전체 손실(total loss)이 최소화되도록 상기 2차원 구형 이미지로부터 학습 알고리즘을 이용하여 학습 이미지를 렌더링하는 단계를 포함한다.
본 명세서의 일 실시예에서 자체 정규화 손실은 하기의 식 5에 의해 산출된다.
<식 5>
본 명세서의 일 실시예에서 학습 알고리즘은 CycleGAN(Cycle-Generative Adversarial Network)이다.
본 명세서의 일 실시예에 따른 라이다 데이터의 렌더링 장치는 라이다(LiDAR)로부터 3차원 위치 정보를 포함하는 라이다 데이터를 획득하는 데이터 수신부, 획득한 라이다 데이터에 포함된 채널 중 미리 설정된 유효 각도와 일치하는 수직 채널의 각도에 기초하여 상기 라이다 데이터를 2차원 구형 이미지로 변환하는 전처리부 및 변환된 2차원 구형 이미지로부터 학습 알고리즘을 이용하여 3차원 PCD(Point Cloud Data)가 나타난 이미지인 학습 이미지를 렌더링하는 렌더링부를 포함한다.
본 명세서의 일 실시예에서 전처리부는 수직 채널의 각도를 해시 테이블에 저장된 미리 설정된 유효 각도와 비교하고, 상기 수직 채널의 각도가 상기 미리 설정된 유효 각도와 일치하면 상기 미리 설정된 유효 각도에 대응되는 픽셀 좌표를 출력하여 상기 라이다 데이터를 2차원 구형 이미지로 변환한다.
본 명세서의 일 실시예에서 전처리부는 해시 테이블에 포함된 해시 함수를 이용하여 상기 수직 채널의 각도를 미리 설정된 유효 각도와 비교한다.
본 명세서의 일 실시예에서 렌더링부는 적대적 손실(adversarial loss), 순환 일관성 손실(Cycle consistenty loss), 자체 정규화 손실(self-regularization loss) 및 가중치 매개 변수 w에 기초하여 결정되는 전체 손실(total loss)이 최소화되도록 상기 2차원 구형 이미지로부터 학습 알고리즘을 이용하여 학습 이미지를 렌더링한다.
본 명세서의 일 실시예에서 자체 정규화 손실은 하기의 식 5에 의해 산출된다.
<식 5>
본 명세서의 일 실시예에서 학습 알고리즘은 CycleGAN(Cycle-Generative Adversarial Network)이다.
본 명세서의 일 실시예에 따른 라이다 데이터의 렌더링 방법 및 장치는 라이다 데이터에 포함된 수직 채널의 각도를 균일 하도록 전처리 하여 2차원 구형 이미지를 실제 3차원 라이다 데이터와 유사한 학습 이미지로 렌더링할 수 있다.
또한, 본 명세서의 일 실시예에 따른 라이다 데이터의 렌더링 방법 및 장치는 전체 손실에 자체 정규화 손실을 추가적으로 고려하여 원본 데이터를 보존하고 학습 성능을 향상 시킬 수 있다.
도 1은 본 명세서의 일 실시예에 따른 라이다 데이터의 렌더링 장치의 구성도이다.
도 2는 유효 각도 및 픽셀 좌표 v를 포함하는 해시 테이블을 나타낸 도면이다.
도 3은 (a) 2차원 구형 이미지, (b) 학습 이미지, (c) 실제 3차원 라이다 데이터를 나타낸 도면이다.
도 4는 본 명세서의 일 실시예에 따른 라이다 데이터의 렌더링 방법의 순서도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자가 본 명세서의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 명세서를 설명함에 있어서 본 명세서와 관련된 공지 기술에 대한 구체적인 설명이 본 명세서의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 명세서에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술 되며, 이에 따라 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자가 본 명세서의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 명세서를 설명함에 있어서 본 명세서와 관련된 공지 기술에 대한 구체적인 설명이 본 명세서의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 명세서에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조 부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
도 1은 본 명세서의 일 실시예에 따른 라이다 데이터의 렌더링 장치의 구성도이다.
도면을 참조하면 라이다 데이터의 렌더링 장치(10)는 데이터 수신부(100), 전처리부(200), 렌더링부(300)를 포함한다.
데이터 수신부(100)는 라이다로부터 라이다 데이터를 획득한다. 라이다로부터 생성된 펄스 레이저 신호가 주변의 사물과 부딪힌 후 되돌아오면, 복귀한 펄스 레이저를 분석하여 주변 사물의 위치나 운동 방향, 속도 등을 확인할 수 있으므로 라이다 데이터는 주변 사물의 3차원 위치 정보를 포함할 수 있다. 즉, 라이다 데이터는 3차원 공간상에 퍼져 잇는 여러 포인트(Point)의 집합인 PCD(Point Cloud Data)일 수 있다.
전처리부(200)는 획득한 라이다 데이터에 포함된 채널 중 미리 설정된 유효 각도와 일치하는 수직 채널의 각도에 기초하여 라이다 데이터를 2차원 구형 이미지로 변환하는 전처리를 수행한다.
즉, 라이다 데이터는 3차원 PCD이므로 이를 2차원 구형 이미지로 변환하기 위해서는 3차원의 PCD가 2차원 이미지 좌표로 변경되어야 한다. 또한, 라이다 데이터는 변환된 2차원 구형 이미지로부터 3차원 PCD가 복원된 학습 이미지를 렌더링할 수 있고, 전처리부(200)는 이러한 전처리 과정을 수행함으로써 복원 시 실제 3차원 PCD와 유사한 복원을 할 수 있다.
채널의 수는 라이다가 1회 회전하는 동안 얼마만큼 분할되어 스캔이 가능한지에 따라 결정된다. 예를 들어, 16채널 라이다의 경우 1회 회전 시 16개의 채널로 분할되어 주변 사물이 스캔 된다. 따라서, 획득한 라이다 데이터에 포함된 채널은 복수일 수 있으며, 포함된 채널의 수가 많을 수록 라이다 데이터의 Ponint Cloud는 세밀하고, 정밀하게 표현될 수 있다.
또한, 채널의 수는 라이다의 종류에 따라 서로 다를 수 있고, 각 채널 간의 수직 채널 각도는 서로 다를 수 있다. 따라서, 전처리부(200)는 해시 테이블에 기반하는 해시 함수를 이용하여 수직 채널의 각도를 미리 설정된 유효 각도와 비교함으로써 라이다 데이터를 2차원 구형 이미지로 변환할 수 있다. 수직 채널의 각도에 기초하여 라이다 데이터를 2차원 구형 이미지 좌표로 변환하는 방법은 도 2를 참조하여 상세하게 설명하도록 한다.
렌더링부(300)는 변환된 2차원 구형 이미지로부터 학습 알고리즘을 이용하여 3차원 PCD(Point Cloud Data)가 나타난 이미지인 학습 이미지를 렌더링한다. 이때, 사용되는 학습 알고리즘은 CycleGAN(Cycle-Generative Adversarial Network)일 수 있다.
이에 따라 렌더링부(300)는 적대적 손실(adversarial loss), 일관성 손실(Cycle consistenty loss), 자체 정규화 손실(self-regularization loss) 및 가중치 매개 변수에 기초하여 결정되는 전체 손실(total loss)이 최소화되도록 상기 2차원 구형 이미지로부터 학습 알고리즘을 이용하여 학습 이미지를 렌더링할 수 있다.
도 2는 유효 각도 및 픽셀 좌표 v를 포함하는 해시 테이블을 나타낸 도면이다.
먼저, 3차원 라이다 데이터는 2차원 구형 이미지에서 이미지 좌표인 (u,v)로 변환될 수 있다. 구체적으로, 3차원 PCD인 라이다 데이터의 어느 한 점 P는 직교좌표계에서 P(x,y,z)로 표현될 수 있고, 이는 하기의 식 1을 통해 2차원 이미지 좌표 (u,v)로 변환될 수 있다.
<식 1>
이때, 픽셀 좌표 v는 해시 테이블에 기반하는 해시 함수를 통해 산출된다. 즉, 식 1에서 사용된 h는 해시 함수로써 라이다 데이터에 포함된 수직 채널의 각도가 복수의 유효 각도 중 하나와 일치하면 해시 테이블로부터 픽셀 좌표값을 반환 받는다.
구체적으로 도 2를 참조하면, 해시 테이블(210)에는 복수의 유효 각도 및 복수의 유효 각도에 대응되는 픽셀 좌표 v가 미리 저장되어 있다. 전처리부(200)는 획득한 라이다 데이터에 포함된 채널 중 수직 채널의 각도를 해시 테이블(210)에 미리 저장된 복수의 유효 각도와 비교한다.
전처리부(200)는 수직 채널의 각도가 복수의 유효 각도 중 하나와 일치하면 일치하는 유효 각도에 대응되는 픽셀 좌표(v)를 획득한다. 예를 들어, 도면에서 수직 채널의 각도가 34이면 34의 값을 갖는 유효 각도(212)와 일치하므로 전처리부(200)는 대응되는 픽셀 좌표 v(214) 값인 14를 획득한다. 이러한 복수의 유효 각도는 라이다의 종류에 따라 서로 다를 수 있다.
또한, 유효 각도와 일치하는 수직 채널 각도는 복수 일 수 있다. 도 2에 도시된 바와 같이, 복수의 수직 채널 각도 각각이 유효 각도 34 (212) 및 88 (216)과 일치하는 경우 전처리부(200)는 픽셀 좌표 v값으로 14 (214) 및 24(218)을 각각 획득할 수 있다. 즉, 전처리부(200)는 유효 각도와 일치하는 수직 채널 각도에 대하여만 픽셀 좌표 v를 획득하므로 학습 효과를 향상시켜 2차원 구형 이미지를 실제 3차원 라이다 데이터와 유사한 학습 이미지로 렌더링할 수 있다.
한편, 픽셀 좌표 u는 획득한 라이다 데이터에 포함된 채널 중 수직 채널을 제외한 나머지 채널로부터 산출될 수 있다. 상세하게는, 식 1로부터 픽셀 좌표 u가 산출될 수 있다.
이후, 전처리부(200)는 픽셀 좌표 u 및 픽셀 좌표 v를 이용하여 라이다 데이터를 2차원 구형 이미지로 변환함으로써 전처리 수행을 완료한다.
도 3은 (a) 2차원 구형 이미지, (b) 학습 이미지, (c) 실제 3차원 라이다 데이터를 나타낸 도면이다.
도면을 참조하면, (a)의 2차원 구형 이미지는 상술한 바와 같이 라이다 데이터의 3차원 PCD를 픽셀 좌표 u,v로 변환하여 획득한다. 이후, 렌더링부(300)는 학습 알고리즘을 통해 2차원 구형 이미지로부터 (b)의 3차원 PCD가 나타난 이미지인 학습 이미지를 렌더링한다. 이러한 렌더링 된 학습 이미지가 (c)에 도시된 실제 3차원 라이다 데이터와 얼마나 유사한지에 따라 학습 성능이 결정된다.
한편, 렌더링부(300)가 렌더링 시 사용하는 학습 알고리즘은 CycleGAN (Cycle-Generative Adversarial Network)일 수 있다. 사용되는 학습 알고리즘은 반드시 CycleGAN으로 한정되는 것은 아니나 설명의 편의를 위해 이하에서 학습 알고리즘은 CycleGAN임을 전제로 하여 설명하도록 한다.
CycleGAN은 쌍이 정해져 있지 않은 인풋 이미지에 대하여 학습 결과를 적용하며, 인풋 이미지로부터 학습 이미지를 생성시 다시 인풋 이미지로 복원 가능해야하는 제약 조건이 부여되는 학습 알고리즘이다.
즉, 2차원 구형 이미지(a)로부터 학습 이미지(b)를 생성시 다시 2차원 구형 이미지(a)로 복원이 가능하여야 한다. 이때, 학습 이미지를 생성하고 이를 다시 복원하는 과정에서 전체 손실(total loss)이 발생한다. 이러한 전체 손실이 최소화 되어야 학습 성능이 향상될 수 있다.
한편, 전체 손실(total loss)은 적대적 손실(adversarial loss), 일관성 손실(Cycle consistenty loss), 자체 정규화 손실(self-regularization loss) 및 가중치 매개 변수 w에 기초하여 결정되며, 구체적으로 하기의 식 2에 의해 산출될 수 있다.
<식 2>
여기서, L은 전체 손실, w는 가중치 매개 변수, LGAN은 적대적 손실, Lcycle은 일관성 손실, Lself는 자체 정규화 손실을 의미한다.
가중치 매개 변수는 각 손실에 대해 가중치를 부여한 파라미터로, 모든 가중치 매개 변수의 합은 1이 된다. 예를 들어, 부여된 가중치에 따라 w1, w2, w3는 각각 0.6, 0.3, 0.1의 값을 가질 수 있다.
LGAN은 적대적 손실로 경쟁에 의해 발생하는 손실이다. 적대적 손실은 하기의 식 3에 의해 산출될 수 있다.
<식 3>
여기서,은 합성 도메인(Synthetic domain, S)의 2차 구형 이미지인 (a)로부터 실제 도메인(Real domain, R)의 학습 이미지(b)를 생성하는 생성자이고,은 반대로 실제 도메인(Real domain)의 학습 이미지(b)로부터 합성 도메인(Synthetic domain)의 2차 구형 이미지를 생성하는 생성자이며, r 및 s 각각은 실제 도메인(R) 및 합성 도메인(S)에 포함된 원소를 의미한다.
또한, 및 은 각각 생성자가 생성한 학습 이미지를 진짜 이미지와 비교하여 진짜 이미지인지 또는 학습 이미지인지를 판별하는 판별자이다.
생성자와 판별자는 경쟁관계로써 합성 도메인(S)과 실제 도메인(R)에서 생성 자가 생성한 이미지를 판별자가 실제 이미지(c)와 비교함으로써 이미지가 생성된 이미지인지 실제 이미지인지 판별한다.
판별자는 생성 결과에 따라 0 또는 1을 반환하며, 적대적 손실은 이러한 반환값에 따라 결정된다. 즉, 생성자가 합성 이미지를 실제 이미지와 유사하게 생성할 수록, 판별자가 실제 이미지인지 아닌지 여부를 잘 판단할 수록 적대적 손실은 0에 가까워진다.
Lcycle은 순환 일관성 손실로 적대적 손실 단독으로는 제대로 된 학습을 보장하기 어려우므로 일관성 손실이 사용된다. 즉, 합성 도메인과 실제 도메인을 순환하며 학습 이미지의 생성과 판별 과정을 거칠 때 결과 값은 cycle-consistent 해야하고, cycle-consistent하지 않으면 손실이 발생한다. 구체적으로 일관성 손실은 하기의 식 4에 의해 산출될 수 있다.
<식 4>
여기서 이고, 이면 생성자가 생성하기 이전의 이미지로 복원이 제대로 된 것으로 cyle-consistent하다. 따라서 이 경우 일관성 손실은 0이다. 그러나, 이미지 복원이 제대로 수행되지 않을 경우 그만큼 일관성 손실이 발생한다.
Lself는 자체 정규화 손실로 생성자가 인풋 이미지에 대해 과도한 변경을 하는 경우 발생하는 손실이다. 즉, 인풋 이미지에 대하여 과도한 변경이 가해지면 학습 이미지로부터 다시 원래의 인풋 이미지로의 복원이 어려워진다. 또한, 이렇게 과도한 변경이 가해진 학습 이미지는 인풋 이미지와 큰 차이가 발생하여 의미 없는 데이타가 된다. 따라서 이러한 자체 정규화 손실을 고려하는 것은 중요하다. 자체 정규화 손실은 하기의 식 5에 의해 산출될 수 있다.
<식 5>
즉, 에 따라 실제 도메인(S)으로부터 생성된 학습 이미지()가 인풋 이미지인 실제 도메인의 이미지(r)와 유사 한지, 에 따라 합성 도메인(S)으로부터 생성된 학습 이미지()가 인풋 이미지인 합성 도메인의 이미지(r)와 유사 한지에 따라 자체 정규화 손실이 결정된다.
결국, 인풋 이미지와 학습 이미지의 차이가 적을수록 손실은 최소화된다. 이와 같이 본 명세서의 일 실시예에 따른 라이다 데이터의 렌더링 장치는 전체 손실에 자체 정규화 손실을 추가적으로 고려하여 원본 데이터를 보존하고 학습 성능을 향상 시킬 수 있다.
도 4는 본 명세서의 일 실시예에 따른 라이다 데이터의 렌더링 방법의 순서도이다.
도면을 참조하면 라이다 데이터의 렌더링 장치(100)는 라이다(LiDAR)로부터 3차원 위치 정보를 포함하는 라이다 데이터를 획득한다(S100). 이후, 라이다 데이터의 렌더링 장치(100)는 획득한 라이다 데이터에 포함된 채널 중 미리 설정된 유효 각도와 일치하는 수직 채널의 각도에 기초하여 상기 라이다 데이터를 2차원 구형 이미지로 변환한다(S200).
구체적으로 라이다 데이터의 렌더링 장치(100)는 수직 채널의 각도를 해시 테이블에 미리 저장된 복수의 유효 각도와 비교하고, 수직 채널의 각도가 복수의 유효 각도 중 하나와 일치하면 획득되는 하나의 유효 각도에 대응되는 픽셀 좌표(v) 및 수직 채널을 제외한 나머지 채널로부터 산출되는 픽셀 좌표(u)를 이용하여 상기 라이다 데이터를 2차원 구형 이미지로 변환한다.
이후, 라이다 데이터의 렌더링 장치(100)는 변환된 2차원 구형 이미지로부터 학습 알고리즘을 이용하여 3차원 PCD(Point Cloud Data)가 나타난 이미지인 학습 이미지를 렌더링한다(S300).
구체적으로, 라이다 데이터의 렌더링 장치(100)는 적대적 손실(adversarial loss), 일관성 손실(Cycle consistenty loss), 자체 정규화 손실(self-regularization loss) 및 가중치 매개 변수에 기초하여 결정되는 전체 손실(total loss)이 최소화되도록 상기 2차원 구형 이미지로부터 학습 알고리즘을 이용하여 학습 이미지를 렌더링한다.
이와 같이 라이다 데이터의 렌더링 장치(100)는 전체 손실에 자체 정규화 손실을 추가적으로 고려하여 원본 데이터를 보존하고 학습 성능을 향상 시킬 수 있다
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

Claims (12)

  1. 복수의 유효 각도 및 상기 복수의 유효각도에 대응되는 픽셀 좌표를 포함하는 해시 테이블을 미리 저장하는 단계;
    라이다(LiDAR)로부터 3차원 위치 정보를 포함하는 라이다 데이터를 획득하는 단계;
    상기 획득한 라이다 데이터에 포함된 채널 중 미리 설정된 유효 각도와 일치하는 수직 채널의 각도에 기초하여 상기 수직 채널의 각도를 해시 테이블에 미리 저장된 복수의 유효 각도와 비교하는 단계;
    상기 수직 채널의 각도가 상기 복수의 유효 각도 중 하나와 일치하면 획득되는 상기 하나의 유효 각도에 대응되는 픽셀 좌표(v) 및 상기 수직 채널을 제외한 나머지 채널로부터 산출되는 픽셀 좌표(u)를 이용하여 상기 라이다 데이터를 2차원 구형 이미지로 변환하는 단계; 및
    상기 변환된 2차원 구형 이미지로부터 학습 알고리즘을 이용하여 3차원 PCD(Point Cloud Data)가 나타난 이미지인 학습 이미지를 렌더링하는 단계를 포함하며,
    상기 수직 채널의 각도를 해시 테이블에 저장된 미리 설정된 유효 각도와 비교하는 단계는
    상기 해시 테이블에 기반하는 해시 함수를 이용하여 상기 수직 채널의 각도를 상기 미리 설정된 유효 각도와 비교하는 단계를 포함하는 라이다 데이터의 렌더링 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 학습 이미지를 렌더링하는 단계는
    적대적 손실(adversarial loss), 순환 일관성 손실(Cycle consistenty loss), 자체 정규화 손실(self-regularization loss) 및 가중치 매개 변수에 기초하여 결정되는 전체 손실(total loss)이 최소화되도록 상기 2차원 구형 이미지로부터 학습 알고리즘을 이용하여 학습 이미지를 렌더링하는 단계를 포함하는
    라이다 데이터의 렌더링 방법.
  5. 제4항에 있어서,
    상기 자체 정규화 손실은
    하기의 식 5에 의해 산출되는 라이다 데이터의 렌더링 방법.
    <식 5>

  6. 제1항에 있어서,
    상기 학습 알고리즘은
    CycleGAN(Cycle-Generative Adversarial Network)인
    라이다 데이터의 렌더링 방법.
  7. 라이다(LiDAR)로부터 3차원 위치 정보를 포함하는 라이다 데이터를 획득하는 데이터 수신부;
    복수의 유효 각도 및 상기 복수의 유효각도에 대응되는 픽셀 좌표를 포함하는 해시 테이블을 미리 저장하고, 상기 데이터 수신부로부터 상기 획득한 라이다 데이터에 포함된 채널 중 미리 설정된 유효 각도와 일치하는 수직 채널의 각도에 기초하여 상기 수직 채널의 각도를 상기 해시 테이블에 저장된 미리 설정된 유효 각도와 비교하며, 수직 채널의 각도가 상기 복수의 유효 각도 중 하나와 일치하면 획득되는 상기 하나의 유효 각도에 대응되는 픽셀 좌표(v) 및 상기 수직 채널을 제외한 나머지 채널로부터 산출되는 픽셀 좌표(u)를 이용하여 상기 라이다 데이터를 2차원 구형 이미지로 변환하는 전처리부; 및
    상기 변환된 2차원 구형 이미지로부터 학습 알고리즘을 이용하여 3차원 PCD(Point Cloud Data)가 나타난 이미지인 학습 이미지를 렌더링하는 렌더링부를 포함하며,
    상기 전처리부는 상기 해시 테이블에 기반하는 해시 함수를 이용하여 상기 수직 채널의 각도를 상기 미리 설정된 유효 각도와 비교하는 것을 특징으로 하는 라이다 데이터의 렌더링 장치.
  8. 삭제
  9. 삭제
  10. 제7항에 있어서,
    상기 렌더링부는
    적대적 손실(adversarial loss), 순환 일관성 손실(Cycle consistenty loss), 자체 정규화 손실(self-regularization loss) 및 가중치 매개 변수 w에 기초하여 결정되는 전체 손실(total loss)이 최소화되도록 상기 2차원 구형 이미지로부터 학습 알고리즘을 이용하여 학습 이미지를 렌더링하는 라이다 데이터의 렌더링 장치.
  11. 제10항에 있어서,
    상기 자체 정규화 손실은
    하기의 식 5에 의해 산출되는 라이다 데이터의 렌더링 장치.
    <식 5>

  12. 제7항에 있어서,
    상기 학습 알고리즘은
    CycleGAN(Cycle-Generative Adversarial Network)인
    라이다 데이터의 렌더링 장치.
KR1020210035507A 2021-03-18 2021-03-18 CycleGAN을 이용한 라이다 데이터의 렌더링 방법 및 장치 KR102602147B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210035507A KR102602147B1 (ko) 2021-03-18 2021-03-18 CycleGAN을 이용한 라이다 데이터의 렌더링 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210035507A KR102602147B1 (ko) 2021-03-18 2021-03-18 CycleGAN을 이용한 라이다 데이터의 렌더링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220130512A KR20220130512A (ko) 2022-09-27
KR102602147B1 true KR102602147B1 (ko) 2023-11-13

Family

ID=83451709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210035507A KR102602147B1 (ko) 2021-03-18 2021-03-18 CycleGAN을 이용한 라이다 데이터의 렌더링 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102602147B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102025113B1 (ko) * 2018-08-27 2019-09-25 영남대학교 산학협력단 LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102025113B1 (ko) * 2018-08-27 2019-09-25 영남대학교 산학협력단 LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Anirudh Topiwala, "Spherical Projection for Point Clouds", Published in Towards Data science, 2020.03.28.*
Chao Yang, et. al., "Show, Attend, and Translate: Unsupervised Image Translation With Self-Regularization and Attention", IEEE Transactions on Image Processing ( Volume: 28, Issue: 10, Page(s): 4845 - 4856, 2019.05.08.*
Seungcheol Park, et. al., "Curved-Voxel Clustering for Accurate Segmentation of 3D LiDAR Point Clouds with Real-Time Performance", 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2019.11.03.*

Also Published As

Publication number Publication date
KR20220130512A (ko) 2022-09-27

Similar Documents

Publication Publication Date Title
CN108401461B (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
JP7105246B2 (ja) 再構成方法および再構成装置
US20220191511A1 (en) Data compression apparatus, data compression method, and program
US11922572B2 (en) Method for 3D reconstruction from satellite imagery
KR102467556B1 (ko) 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법
EP3591620B1 (en) Image processing device and two-dimensional image generation program
JP6863634B1 (ja) モデル生成装置、学習器生成装置、モデル生成方法、及び、学習器生成方法
US10753736B2 (en) Three-dimensional computer vision based on projected pattern of laser dots and geometric pattern matching
KR102602147B1 (ko) CycleGAN을 이용한 라이다 데이터의 렌더링 방법 및 장치
KR20040050739A (ko) 모바일 레이저 스캐닝 데이터를 이용한 3차원 지형지물추출 및 분류 시스템 및 그 방법
KR20200042781A (ko) 입체 모델 생성 방법 및 장치
Klein et al. View planning for the 3d modelling of real world scenes
JP2011048507A (ja) ３次元データ生成装置、３次元データ生成方法およびプログラム
CN109035390B (zh) 基于激光雷达的建模方法及装置
US11747141B2 (en) System and method for providing improved geocoded reference data to a 3D map representation
KR101817756B1 (ko) 인터랙티브한 시점 제어가 가능한 3차원 모델 기반의 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법
KR20190029842A (ko) 지피유 가속 컴퓨팅을 이용한 3차원 복원 클라우드 포인트 생성 방법
Wang et al. 3D building reconstruction from LiDAR data
JPWO2003051034A1 (ja) 電子情報埋め込み方法及びその抽出方法、電子情報埋め込み装置及びその抽出装置、並びにそのプログラム
Marchand et al. Evaluating Surface Mesh Reconstruction of Open Scenes
KR20210050366A (ko) 촬영 위치 결정 장치 및 방법
US20230230265A1 (en) Method and apparatus for patch gan-based depth completion in autonomous vehicles
CN115082621B (zh) 一种三维成像方法、装置、系统、电子设备及存储介质
KR20230001423A (ko) 가상공간 컨텐츠 생성방법 및 시스템
Dong et al. Basics of LiDAR Data Processing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant