KR20230076424A - 노이즈 모델링 장치와 그 방법 및 이를 이용한 주행환경 시뮬레이터 - Google Patents

Abstract

본 발명은 노이즈 모델링 장치와 그 방법 및 이를 이용한 주행환경 시뮬레이터에 관한 것으로, 일실시예에 따른 노이즈 모델링 장치는 적어도 하나의 센서에 대응되는 입력 데이터를 수신하는 데이터 수신부와, 입력 데이터를 전처리하는 데이터 전처리부 및 전처리된 데이터를 입력으로 하는 생성적 적대 신경망(Generative Adversarial Network; GAN) 학습에 기초하여 실사적 노이즈 데이터를 생성하는 노이즈 데이터 생성부를 포함한다.

Description

노이즈 모델링 장치와 그 방법 및 이를 이용한 주행환경 시뮬레이터{APPARATUS AND METHOD FOR MODELING NOISE AND APPARATUS FOR SIMULATING DRIVING ENVIRONMENT USING THEREOF}

본 발명은 노이즈 모델링 장치에 관한 것으로, 보다 상세하게는 주행환경 시뮬레이터에서 노이즈 모델링을 통해 실사적 노이즈 데이터를 생성하는 기술적 사상에 관한 것이다.

최근, 자율주행 기술의 발전과 더불어 이러한 개발 기술들을 검증하기 위해 실사 주행환경과 유사하게 모사한 시뮬레이터에 관심이 집중되고 있다. 이러한 시뮬레이터에 관심이 집중되는 이유는 인지/판단/제어 개발 기술의 검증을 실차만을 이용하여 다양한 환경에서 자유롭게 테스트 하는데 한계가 있기 때문이다.

기존에 개발된 주행환경 모사 시뮬레이터에서는 실세계의 주행환경을 모사할 때, 대부분은 환경 변수(예를 들어, 날씨, 도심/외곽, 주변 차량, 보행자, 장애물, 주변건물 등)에만 집중하여 실세계와 유사한 환경을 모사하였다.

그러나, 개발 기술 검증을 위한 시뮬레이션 테스트를 위해서는 주행환경에 영향을 주는 앞서 언급한 기본 환경 요인을 생성하는 일도 중요하나, 실주행 상황에 직접적으로 영향을 주는 센서 데이터의 노이즈나 개발 기술의 검증을 위한 실험환경 모사가 실제로는 더 필요하다.

실세계에 존재하는 노이즈의 형태나 분포는 다양하지만, 이런 다양한 노이즈의 패턴 분석을 통해 생성 가능한 노이즈를 분류할 수 있다.

구체적으로, 노이즈는 일정한 패턴을 따르는 가우시안 노이즈(Gaussian noise), 백색 노이즈(Whiten noise), 1/f 노이즈(Onefn noise), 소금-후추 노이즈(Salt-and-pepper noise), 균일분포 노이즈(Uniform noise) 등이 있으며, 일정 패턴이 없는 조금 더 자연스러운 결과를 내는 펄린 노이즈(Perline noise)도 있다.

대부분의 이전 연구들에서는 연속된 입력데이터의 상관관계를 분석하여 이러한 노이즈를 모델링하여 제거하므로 좀 더 정확한 데이터를 수집하는데 집중하였다. 이와 동시에, 센서 데이터나 영상의 노이즈를 줄이거나 필터링하는 다양한 연구들이 활발히 진행되어 왔다.

또한, 이와 반대로 실제 취득한 연속 데이터에 노이즈를 생성하여 테스트함으로써 다양한 환경에서도 강건한 실험 결과를 얻기 위한 노력들도 함께 진행되고 있다.

그러나, 이러한 노이즈 생성 모델은 랜덤으로 생성된 노이즈에 따라 생성된 이미지의 품질이 달라지며, 딥러닝 기반의 모델로 노이즈를 생성하는 경우에는 적은 픽셀을 가진 이미지를 학습하는 하면 이미지를 잘 생성하지 못하며, 기존 이미지를 학습함으로 이미지 양이 적은 경우에는 학습이 힘들다는 문제가 있다.

한국등록특허 제10-2188732호, "기하학적 모멘트 매칭을 통한 구 위에서의 적대적 생성망을 이용하는 데이터 처리 장치 및 방법"

본 발명은 생성적 적대 신경망을 이용하여 노이즈를 생성하고, 생성된 노이즈 생성 비율을 적응적으로 조절할 수 있는 노이즈 모델링 장치와 그 방법 및 이를 이용한 주행환경 시뮬레이터를 제공하고자 한다.

또한, 본 발명은 실제 센서 데이터에 기반한 생성적 적대 신경망 학습을 통해 노이즈의 생성 비율이 조절된 실사적 노이즈 데이터를 생성할 수 있는 노이즈 모델링 장치와 그 방법 및 이를 이용한 주행환경 시뮬레이터를 제공하고자 한다.

또한, 본 발명은 다중 센서로부터 융합된 센서 데이터를 모사하는 환경에서 노이즈 모델링을 통해, 센서의 오동작에 보다 강건한 알고리즘을 구현할 수 있는 노이즈 모델링 장치와 그 방법 및 이를 이용한 주행환경 시뮬레이터를 제공하고자 한다.

본 발명의 일실시예에 따른 노이즈 모델링 장치는 적어도 하나의 센서에 대응되는 입력 데이터를 수신하는 데이터 수신부와, 입력 데이터를 전처리하는 데이터 전처리부 및 전처리된 데이터를 입력으로 하는 생성적 적대 신경망(Generative Adversarial Network; GAN) 학습에 기초하여 실사적 노이즈 데이터를 생성하는 노이즈 데이터 생성부를 포함할 수 있다.

일측에 따르면, 입력 데이터는 적어도 하나의 센서에 대응되는 이미지 데이터 및 포인트 클라우드 데이터 중 적어도 하나의 데이터를 포함할 수 있다.

일측에 따르면, 전처리부는 입력 데이터를 기설정된 크기로 재설정하는 과정 및 수신한 데이터를 정제하는 과정 중 적어도 하나의 전처리 과정을 수행할 수 있다.

일측에 따르면, 노이즈 데이터 생성부는 전처리된 데이터 중 레이블이 있는 데이터를 입력으로 하는 1차 신경망 학습을 수행하고, 전처리된 데이터 중 레이블이 없는 데이터를 입력으로 하는 2차 신경망 학습을 수행하여 노이즈의 생성 비율이 조절된 실사적 노이즈 데이터를 생성할 수 있다.

일측에 따르면, 노이즈 데이터 생성부는 레이블이 있는 데이터에 기초하여 판별자(discriminator)를 학습시키고, 레이블이 있는 데이터에 기초한 판별자의 학습 결과에 기초하여 레이블이 있는 데이터에 대응되는 데이터 판별값을 저장하는 적어도 하나의 데이터 분류기를 생성할 수 있다.

일측에 따르면, 노이즈 데이터 생성부는 레이블이 없는 데이터를 입력으로 하는 2차 신경망 학습을 통해, 생성자(Generator)를 이용하여 생성자 데이터를 생성하고, 판별자를 이용한 생성자 데이터의 판별 시에 판별자 데이터에 포함된 노이즈 성분에 데이터 판별값을 반영하여, 노이즈의 생성 비율이 조절된 실사적 노이즈 데이터를 생성할 수 있다.

일측에 따르면, 노이즈 모델링 장치는 주행 환경 시뮬레이터에 적용되어, 주행 차량에 구비된 적어도 하나의 센서에 대한 실사적 노이즈 데이터를 생성할 수 있다.

본 발명의 일실시예에 따른 주행 환경 시뮬레이터는 주행 차량에 구비된 적어도 하나의 센서에 대응되는 입력 데이터를 수신하는 데이터 수신부와, 입력 데이터에 기초하여 이동하는 물체의 위치, 속도 및 가속도 중 적어도 하나에 대응되는 프로파일을 생성하고, 프로파일에 따른 동적 특성에 기초하여 궤적 정보를 생성하는 궤적 정보 생성부와, 사용자 입력에 따라 캘리브레이션 특성, 통신지연 특성 및 비동기화 특성 중 적어도 하나의 특성을 적어도 하나의 센서 각각에 적용하고, 적어도 하나의 특성에 기초하여 궤적 정보로부터 주행 차량의 참 경로에 대응되는 적어도 하나의 센서 각각의 측정치 데이터를 생성하는 측정치 데이터 생성부 및 측정치 데이터를 입력으로 하는 생성적 적대 신경망(Generative Adversarial Network; GAN) 학습에 기초하여 실사적 노이즈 데이터를 생성하는 노이즈 모델링부를 포함할 수 있다.

일측에 따르면, 주행 환경 시뮬레이터는 측정치 데이터에 포함된 GPS 데이터 및 IMU 데이터 중 적어도 하나의 데이터에 포함된 노이즈의 값을 근사화하는 노이즈 근사화부를 더 포함할 수 있다.

일측에 따르면, 노이즈 모델링부는 측정치 데이터에 포함된 이미지 데이터 및 포인트 클라우드 데이터 중 적어도 하나의 데이터를 입력으로 하는 생성적 적대 신경망 학습을 수행하여 노이즈의 생성 비율이 조절된 실사적 노이즈 데이터를 생성할 수 있다.

본 발명의 일실시예에 따른 노이즈 모델링 방법은 데이터 수신부에서 적어도 하나의 센서에 대응되는 입력 데이터를 수신하는 단계와, 데이터 전처리부에서 입력 데이터를 전처리하는 단계 및 노이즈 데이터 생성부에서 전처리된 데이터를 입력으로 하는 생성적 적대 신경망(Generative Adversarial Network; GAN) 학습에 기초하여 실사적 노이즈 데이터를 생성하는 단계를 포함할 수 있다.

일실시예에 따르면, 본 발명은 생성적 적대 신경망을 이용하여 노이즈를 생성하고, 생성된 노이즈 생성 비율을 적응적으로 조절할 수 있다.

또한, 본 발명은 실제 센서 데이터에 기반한 생성적 적대 신경망 학습을 통해 노이즈의 생성 비율이 조절된 실사적 노이즈 데이터를 생성할 수 있다.

또한, 본 발명은 다중 센서로부터 융합된 센서 데이터를 모사하는 환경에서 노이즈 모델링을 통해, 센서의 오동작에 보다 강건한 알고리즘을 구현할 수 있다.

도 1은 일실시예에 따른 노이즈 모델링 장치를 설명하는 도면이다.
도 2는 일실시예에 따른 주행 환경 시뮬레이터를 설명하는 도면이다.
도 3은 일실시예에 따른 노이즈 모델링 방법을 설명하는 도면이다.
도 4는 일실시예에 따른 노이즈 모델링 방법을 보다 구체적으로 설명하는 도면이다.

이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.

실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.

하기에서 다양한 실시 예들을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

그리고 후술되는 용어들은 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.

"제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.

본 명세서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다.

어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.

예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.

또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다.

즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.

상술한 구체적인 실시예들에서, 발명에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다.

그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 상술한 실시 예들이 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.

한편 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 다양한 실시 예들이 내포하는 기술적 사상의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다.

그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 청구범위 뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.

도 1은 일실시예에 따른 노이즈 모델링 장치를 설명하는 도면이다.

도 1을 참조하면, 일실시예에 따른 노이즈 모델링 장치(100)는 생성적 적대 신경망(Generative Adversarial Network; GAN)을 이용하여 노이즈를 생성하고, 생성된 노이즈 생성 비율을 적응적으로 조절할 수 있다.

또한, 노이즈 모델링 장치(100)는 실제 센서 데이터에 기반한 생성적 적대 신경망 학습을 통해 노이즈의 생성 비율이 조절된 실사적 노이즈 데이터를 생성할 수 있다.

구체적으로, 생성적 적대 신경망(GAN)은 이름처럼 두 개의 신경망의 경쟁을 통해 학습을 수행하고 결과물을 만들어 내는 알고리즘으로, 여기에서 2개의 신경망 모델은 '생성자(Generator)'와, '판별자(Discriminator)'로 불리운다.

생성자는 실제 데이터를 입력 받아 실제 데이터와 비슷한 데이터(즉, 가까 데이터)를 만들어 내도록 학습을 하고, 판별자는 실제 데이터와 생성자가 생성한 가짜 데이터를 구분하도록 학습을 한다. 다시 말해, 생성자는 실제에 가까운 거짓 데이터를 생성하는 것이 목적으로 하고, 판별자는 생성자가 생성한 거짓 데이터를 밝혀내는 것을 목적으로 한다.

하기 수식1에 따르면, V(D, G)는 생성적 적대 신경망(GAN)의 손실(Loss) 함수로, 판별자 D의 목적은 V(D, G)가 최대가 되도록 하는 것이며, 생성자 G의 목적은 V(D, G)가 최소가 되도록 하는 것이다.

[수식1]

수식1에서, 판별자는 가짜 데이터는 0, 진짜 데이터는 1을 출력하게 되고, 생성자의 경우, D가 가짜 데이터에서 1을 출력하도록 해야 하며, 여기서, x는 실제 데이터, G(Z)는 가짜 데이터를 의미한다.

보다 구체적으로, 판별자는 생성자의 확률 분포와 기존의 확률 분포가 얼마나 다른지 판단하고, 생성하는 실제 데이터의 확률 분포에 맞추어 판별자를 속이기 위한 방향으로 생성 모델을 수정해 나가며, 궁극적으로 반복되는 신경망 학습을 통해 생성자의 확률 분포와 실제 데이터의 확률분포 사이의 차이를 줄여나가는 과정을 수행할 수 있다.

여기서, 확률 분포 간의 차이를 계산하기 위해서 하기 수식2의 JSD(Jessen-Shannon Divergence)을 이용할 수 있으며, JSD를 구성하는 2개의 KLD(Kullback-Leibler Divergence)는 하기 수식3과 같이 표현될 수 있다.

[수식2]

[수식3]

여기서, P는 실제 데이터의 분포확률, Q는 생성자의 확률분포, M은 원 확률분포와 Q의 평균을 의미한다.

수식2 및 수식3에서, KLD는 같은 확률변수 x에 대한 2개의 확률분포 P(x)와 Q(x)가 있을 때, 이 두 분포사이의 차이를 의미하며, 이러한 KLD는 비대칭적(asymmetric) 이라는 문제가 있다.

즉, KL(P|Q)KL(P|Q)와　KL(Q|P)KL(Q|P)의 값이 서로 다르기 때문에 이를 '거리'라는 척도로 사용하기에는 애매한 부분이 존재하며, JSD는 이러한 문제를 해결할 수 있는 방법을 의미한다.

다시 말해, 생성적 적대 신경망(GAN)은 반복되는 학습을 통해, P와 M / Q와 M을 각각 KLD하여 두 분포의 차이에서 평균 값을 구하고 이를 이용하여 두 확률 분포 간의 차이를 구할 수 있으며, 실제 데이터의 확률분포가 생성자가 생성한 확률분포인 Q간의 JSD가 '0'이 되면 두 분포 간의 차이가 없다는 것으로 판단하여 학습이 종료되며, 이를 통해 생성적 적대 신경망(GAN)의 궁극적인 목적에 대응되는 최적의 결과값을 출력할 수 있다.

일실시예에 따른 노이즈 모델링 장치(100)는 상술한 생성적 적대 신경망(GAN) 학습을 통해 실사적 노이즈 데이터를 생성할 수 있다.

즉, 노이즈 모델링 장치(100)는 먼저 판별자가 실제 데이터에 대해 학습을 진행하면, 다음은 생성자가 노이즈를 이용하여 가짜 데이터를 생성하고 이 생성된 데이터에 대해 판별자를 통해 데이터가 거짓 데이터라고 판별하게 할 수 있으며, 이 때 생성자는 판별자가 거짓이라 판별된 이유를 확인하고 모델을 변경하며, 이러한 과정을 반복 진행함으로써 생성자를 통해 판별자가 판별하지 못할 정도로 실제 데이터와 유사한 데이터를 생성할 수 있다.

이를 위해, 노이즈 모델링 장치(100)는 데이터 수신부(110), 데이터 전처리부(120) 및 노이즈 데이터 생성부(130)를 포함할 수 있다.

일실시예에 따른 데이터 수신부(110)는 적어도 하나의 센서에 대응되는 입력 데이터를 수신할 수 있다.

예를 들면, 적어도 하나의 센서는 실제 주행 차량에 구비된 카메라, 라이다(Lidar) 센서 및 RGB-D 센서 중 적어도 하나의 센서일 수 있다.

또한, 입력 데이터는 생성적 적대 신경망(GAN) 학습을 위한 트레이닝 데이터와 테스트 데이터를 포함할 수 있다.

구체적으로, 트레이닝 데이터는 생성적 적대 신경망(GAN)을 학습하는 과정에서 활용되는 데이터를 의미하고, 테스트 데이터는 트레이닝 데이터를 통해 학습된 모델이 제대로 동작하는지에 대한 테스트 과정에서 활용되는 데이터를 의미할 수 있다.

일측에 따르면, 입력 데이터는 적어도 하나의 센서에 대응되는 이미지 데이터 및 포인트 클라우드 데이터 중 적어도 하나의 데이터를 포함할 수 있다.

여기서, 포인트 클라우드 데이터는 라이다 센서, RGB-D 센서 등으로부터 수집되는 데이터를 의미한다.

구체적으로, 라이다 센서, RGB-D 센서 등은 물체에 빛/신호를 보내서 돌아오는 시간을 기록하여 각 빛/신호 당 거리 정보를 계산하고, 하나의 포인트(Point) (즉, 점)을 생성하며, 포인트 클라우드 데이터는 3차원 공간상에 퍼져 있는 여러 포인트가 집합(set cloud)된 데이터를 의미한다.

일실시예에 따른 데이터 전처리부(120)는 입력 데이터를 전처리할 수 있다.

구체적으로, 전처리부(120)는 입력 데이터를 기설정된 크기로 재설정하는 과정 및 수신한 데이터를 정제하는 과정 중 적어도 하나의 전처리 과정을 수행할 수 있다.

다시 말해, 전처리부(120)는 이후 수행되는 생성적 적대 신경망(GAN) 학습을 위해, 입력 데이터를 생성적 적대 신경망(GAN)의 입력으로 적합한 형식으로 가공할 수 있다.

일실시예에 따른 노이즈 데이터 생성부(130)는 전처리된 데이터를 입력으로 하는 생성적 적대 신경망(GAN) 학습에 기초하여 실사적 노이즈 데이터를 생성할 수 있다.

예를 들면, 노이즈 데이터 생성부(130)는 전처리된 데이터가 이미지 데이터인 경우, 생성적 적대 신경망(GAN)에 따른 생성자가 노이즈를 입력 받아 이미지를 생성하면, 판별자가 생성자와 대립하면서 생성자가 생성한 이미지를 검증하게 되며, 이러한 과정을 반복 수행하는 학습 과정을 통해 실사적 노이즈 데이터를 생성할 수 있다.

구체적으로, 기존의 생성적 적대 신경망(GAN)에서는 노이즈를 랜덤으로 생성하고 생성자를 통해 이 노이즈를 재배치하여 이미지를 생성하는 반면, 일실시예에 따른 생성적 적대 신경망(GAN)은 실제 이미지를 기반으로 하여 노이즈를 생성하고, 생성자를 통해 실제 이미지에 기반한 노이즈를 재배치하여 이미지를 생성하는 노이즈 컨트롤을 통해 실제 이미지와 유사한 노이즈 데이터(즉, 실사적 노이즈 데이터)를 생성할 수 있다.

일측에 따르면, 노이즈 데이터 생성부(130)는 생성자가 학습을 진행하면 판별자가 잠금(Locking)이 되도록 하여, 생성자가 학습하는 동안에 판별자가 영향을 미치지 않도록 제어할 수 있다.

또한, 노이즈 데이터 생성부(130)는 기존 생성적 적대 신경망(GAN)과 동일하게 생성된 데이터가 기설정된 배치 사이즈보다 작으면 판별자의 잠금을 해제(즉, Unlocking)하고, 판별자를 다시 학습시킬 수 있다.

일측에 따르면, 노이즈 데이터 생성부(130)는 전처리된 데이터 중 레이블이 있는 데이터를 입력으로 하는 1차 신경망 학습을 수행하고, 전처리된 데이터 중 레이블이 없는 데이터를 입력으로 하는 2차 신경망 학습을 수행하여 노이즈의 생성 비율이 조절된 실사적 노이즈 데이터를 생성할 수 있다.

구체적으로, 노이즈 데이터 생성부(130)는 전처리된 데이터가 이미지 데이터인 경우에, 레이블이 있는 이미지 데이터를 이용하여 1차 생성적 적대 신경망(GAN) 학습을 수행하고, 1차 신경망 학습이 끝난 판별자를 이용하여 레이블이 없는 이미지를 기반으로 하여 새로운 이미지 데이터를 생성할 수 있다.

여기서, 생성된 이미지 데이터는 다시 판별자를 통해 이미지 데이터를 판별하고, 이 이미지 데이터가 처음 판별된 결과와 같다면, 이 이미지 데이터에 대해 2차 생성적 적대 신경망(GAN) 학습을 수행하고, 다르다면 이미지 데이터를 생성하지 못했기 때문에 이를 버리고 다음 에폭을 진행하여 새로운 이미지 데이터를 생성할 수 있다.

일측에 따르면, 노이즈 데이터 생성부(130)는 레이블이 있는 데이터에 기초하여 판별자(discriminator)를 학습시키고, 레이블이 있는 데이터에 기초한 판별자의 학습 결과에 기초하여 레이블이 있는 데이터에 대응되는 데이터 판별값을 저장하는 적어도 하나의 데이터 분류기를 생성할 수 있다.

구체적으로, 노이즈 데이터 생성부(130)는 판별자를 학습시키고, 이 데이터를 복사하여 데이터 분류기를 생성할 수 있으며, 생성된 데이터 분류기를 학습시킬 수 있다. 이때 판별자와 데이터 분류기에 동일한 데이터를 사용하는 이유는 판별자와 데이터 분류기가 데이터 생성 이외에는 같은 일을 수행하여 동일한 데이터를 사용해도 무관하기 때문이다.

또한, 노이즈 데이터 생성부(130)는 이 데이터를 학습하면서 각 데이터에 대한 분류의 정확도를 계산하고, 계산된 분류의 정확도에 따른 데이터 분류 값을 저장할 수 있다.

예를 들면, 데이터 분류기는 데이터 분류 값을 주 출력 단계에서 코드로 이루어진 이미지 파일로 만들어서 저장하는 역할을 수행할 수 있다.

다시 말해, 데이터 분류기는 각 입력 데이터(이미지 데이터 및/또는 포인트 클라우드 데이터)를 잘 구분(일례로, 차, 사람 및 자전거와 같은 물체를 식별)하기 위한 네트워크를 의미할 수 있다.

노이즈 데이터 생성부(130)는 이후에 이 데이터 분류 값을 이용하여 노이즈 생성 비율을 적응적(adaptive)으로 조절할 수 있다.

일측에 따르면, 노이즈 데이터 생성부(130)는 레이블이 없는 데이터를 입력으로 하는 2차 신경망 학습을 통해, 생성자(Generator)를 이용하여 생성자 데이터를 생성하고, 판별자를 이용한 생성자 데이터의 판별 시에 판별자 데이터에 포함된 노이즈 성분에 데이터 판별값을 반영하여, 노이즈의 생성 비율이 조절된 실사적 노이즈 데이터를 생성할 수 있다.

구체적으로, 노이즈 데이터 생성부(130)는 레이블이 없는 데이터에 기초하여 노이즈를 생성하고, 생성된 노이즈를 입력으로 하는 생성자를 통해 생성자 데이터를 생성할 수 있다.

다음으로, 노이즈 데이터 생성부(130)는 판별자를 이용하여 레이블이 없는 데이터에 대응되는 생성자 데이터를 판별할 수 있으며, 이 과정에서는 데이터의 기본 노이즈를 이용하여 데이터를 판별하고, 이 후에 학습에 따른 반복되는 판별 과정에서는 노이즈에 - (1 - 데이터 판별값) 내지 (1- 데이터 판별값)을 합산할 수 있다.

노이즈 데이터 생성부(130)는 이와 같이 데이터 판별값을 합산함으로써, 원래 이미지에서 변형을 진행할 정도를 지정(즉, 노이즈의 생성 비율을 조절)할 수 있다.

예를 들면, 노이즈 데이터 생성부(130)는 데이터 판별값이 0.9이면 남은 0.1을 변형하기 위해 상술한 바와 같이 데이터 판별값을 합산할 수 있으며, 생성자를 이용하여 데이터를 생성하기 위해서는 노이즈가 음수가 나오면 안되기 때문에 계산 결과로 노이즈의 값이 음수가 나온다면 부호(즉, '-' 부호)를 제거하여 레이블이 없는 데이터에 기반하는 실사적 노이즈 데이터를 생성할 수 있다.

즉, 노이즈 데이터 생성부(130)는 실제 데이터(이미지 데이터 및/또는 포인트 클라우드 데이터)에 기반하여 노이즈를 생성하고, 생성된 노이즈의 생성 비율을 적응적으로 제어함으로써, 보다 실제 데이터와 유사하게 노이즈를 포함한 데이터를 생성할 수 있고, 생성자와 판별자의 균형이 깨짐으로 발생 가능한 문제는 생성자와 판별자의 입력 값을 비슷하게 맞춰줌으로써 완화할 수 있으며, 적은 수의 픽셀/포인트를 갖는 데이터라도 기준이 되는 기존 데이터가 존재하기 때문에 실제 이미지 데이터 및/또는 포인트 클라우드 데이터와 비슷한 정도의 품질을 가진 데이터를 생성할 수 있다.

한편, 노이즈 모델링 장치(100)는 주행 환경 시뮬레이터에 적용되어, 주행 차량에 구비된 적어도 하나의 센서에 대한 실사적 노이즈 데이터를 생성할 수 있다.

다시 말해, 노이즈 모델링 장치(100)는 주행 차량에 구비된 센서로부터 이미지 데이터 및/또는 포인트 클라우드 데이터를 입력 데이터로 수신하고, 수신한 입력 데이터를 이용한 생성적 적대 신경망(GAN) 학습을 통해 실사적 노이즈 데이터를 생성하며, 생성된 실사적 노이즈 데이터를 입력 데이터에 대응되는 센서의 시뮬레이션 데이터에 반영하여, 보다 정확하고 센서 오동작에 강건한 자율 주행 시뮬레이션을 구현할 수 있다.

일실시예에 따른 노이즈 모델링 장치(100)를 주행 환경 시뮬레이터에 적용하는 예시는 이후 실시예 도 2를 통해 보다 구체적으로 설명하기로 한다.

결국, 일실시예에 따른 노이즈 모델링 장치(100)를 이용하면, 노이즈의 생성 비율 조절이 가능하므로 생성된 데이터는 실제 데이터 품질과 비슷하게 유지할 수 있고, 생성된 데이터를 다시 학습에 사용하므로 정확도를 향상시킬 수 있다.

도 2는 일실시예에 따른 주행 환경 시뮬레이터를 설명하는 도면이다.

도 2를 참조하면, 주행 환경 시뮬레이터(200)는 다중 센서로부터 융합된 센서 데이터를 모사하는 환경에서 노이즈 모델링을 통해, 센서의 오동작에 보다 강건한 알고리즘을 구현할 수 있다.

구체적으로, 주행 환경 시뮬레이터(200)는 시스템 특징 및 센서 특성을 기반으로 다중센서 데이터 시뮬레이터로, 주행 차량의 위치 추적을 위해 먼저 카메라, 라이다 센서, RGB-D 센서 GPS 센서, IMU 및 레이더 센서 등의 다중 센서의 특성 및 동작 특성을 분석하여 각 센서의 모델을 설정하고, 모델을 근거로 다중센서 데이터를 생성할 수 있다.

또한, 주행 환경 시뮬레이터(200)는 실험하려는 주행 차량의 동적 특성을 파악하고, 장착한 센서의 측정 데이터를 생성할 수 있다.

즉, 주행 환경 시뮬레이터(200)는 주행 차량의 위치를 추적하기 위해, 주행 차량에 구비된 각 센서의 실시간 위치 측정 값을 수집하고, 필터를 이용하여 최적의 위치 자료를 추적 및 기록할 수 있으며, 센서 데이터들의 전송 문제, 오차 생성 등을 시뮬레이션 하여 실제와 같거나 유사한 자료를 생성하고 저장할 수 있다.

이를 위해, 주행 환경 시뮬레이터(200)는 데이터 수신부(210), 궤적 정보 생성부(220), 측정치 데이터 생성부(230), 노이즈 모델링부(240) 및 노이즈 근사화부(250)를 포함할 수 있다.

일실시예에 따른 데이터 수신부(210)는 주행 차량에 구비된 적어도 하나의 센서에 대응되는 입력 데이터를 수신할 수 있다.

예를 들면, 적어도 하나의 센서는 카메라, 라이다 센서, RGB-D 센서 GPS 센서, IMU 및 레이더 센서 중 적어도 하나를 포함할 수 있다.

일실시예에 따른 궤적 정보 생성부(220)는 입력 데이터에 기초하여 이동하는 물체의 위치, 속도 및 가속도 중 적어도 하나에 대응되는 프로파일을 생성하고, 프로파일에 따른 동적 특성에 기초하여 궤적 정보를 생성할 수 있다.

예를 들면, 궤적 정보 생성부(220)는 사용자의 입력(Position, Heading, Velocity, Acceleration 등)에 따라 실측 센서 데이터를 분석하여 이동하는 물체의 위치, 속도 및 가속도 중 적어도 하나에 대응되는 위치 프로파일, 속도 프로파일 및 가속도 프로파일을 생성할 수 있다.

일실시예에 따른 측정치 데이터 생성부(230)는 사용자 입력(Calibration, Delay, Synchronization 등)에 따라 캘리브레이션 특성, 통신지연 특성 및 비동기화 특성 중 적어도 하나의 특성을 적어도 하나의 센서 각각에 적용하고, 적어도 하나의 특성에 기초하여 궤적 정보로부터 주행 차량의 참 경로에 대응되는 적어도 하나의 센서 각각의 측정치 데이터를 생성할 수 있다.

일측에 따르면, 측정치 데이터는 측정치 데이터의 측정 시간 및 수신 시간 중 적어도 하나의 시간에 대한 정보를 포함할 수 있다.

구체적으로, 측정치 데이터 생성부(230)는 캘리브레이션, 통신지연, 비동기화 특성을 각 센서마다 부여하고, 이를 변화 가능하도록 하기 위하여, 기설정된 샘플링 비율(sampling rate) 또는 사용자 입력에 따른 샘플링 비율로 참 경로를 생성할 수 있다.

예를 들면, 측정치 데이터 생성부(230)는 사용자가 10Hz 단위의 샘플링주기, 캘리브레이션, 통신지연과, 비동기화 값을 시뮬레이터에 입력하면, 앞에 생성된 경로 데이터를 기반으로 각 센서별 참 경로와 측정/수신 시간 등을 추출한 후 노이즈 데이터(노이즈 오차와 바이어스 오차)를 더하여 측정치를 생성할 수 있다.

일실시예에 따른 노이즈 모델링부(240)는 측정치 데이터를 입력으로 하는 생성적 적대 신경망(Generative Adversarial Network; GAN) 학습에 기초하여 실사적 노이즈 데이터를 생성할 수 있다.

구체적으로, 노이즈 모델링부(240)는 생성된 측정치 데이터에 센서의 이상 구간을 설정하여 이상 구간에서 비정상적인 측정값을 갖도록 설정할 수 있다. 즉, 노이즈 모델링부(240)는 카메라 센서, 라이다 센서 및 RGB-D 센서 중 적어도 하나의 센서의 실제 센서 데이터에 기반한 생성적 적대 신경망(GAN) 학습을 통해 실사적 노이즈 데이터를 생성할 수 있다.

일측에 따르면, 노이즈 모델링부(240)는 측정치 데이터에 포함된 이미지 데이터 및 포인트 클라우드 데이터 중 적어도 하나의 데이터를 입력으로 하는 생성적 적대 신경망 학습을 수행하여 노이즈의 생성 비율이 조절된 실사적 노이즈 데이터를 생성할 수 있다.

다시 말해, 도 2의 노이즈 모델링부(240)는 도 1을 통해 설명한 일실시예에 따른 노이즈 모델링 장치일 수 있다.

일측에 따르면, 노이즈 근사화부(250)는 측정치 데이터에 포함된 GPS 데이터 및 IMU 데이터 중 적어도 하나의 데이터에 포함된 노이즈의 값을 근사화할 수 있다.

구체적으로, 노이즈 근사화부(250)는 근사화 함수(Approximation function)를 구비할 수 있으며, 근사화 함수를 이용하여 GPS나 IMU 같은 센서의 잡음을 백색 잡음으로 가정하고, 그 값을 근사화할 수 있다. 이는 각 센서의 오차 확률을 반영하여 융합된 위치 추정치와 추정 공분산값을 제공하고, 이를 이용하여 각 센서의 이상 데이터를 추출하고 교정할 수 있도록 하며, 비정상적인 경우는 고려하지 않을 수도 있다.

한편, 주행 환경 시뮬레이터(200)는 노이즈 모델링부(240)를 통해 출력되는 실사적 노이즈 데이터와, 노이즈 근사화부(250)를 통해 출력되는 근사화된 노이즈 데이터 각각을 대응되는 센서의 시뮬레이션 데이터에 적용함으로써, 센서 오동작에 강건한 알고리즘을 구현할 수 있다.

다시 말해, 주행 환경 시뮬레이터(200)는 다중센서 융합 알고리즘을 개발하고 이에 대한 성능을 검증하고자 할 때, 실제 센서의 실측 데이터를 적용하여 알고리즘을 검증할 수 있으며, 이를 통해 센서 오동작에 강건한 알고리즘을 구현할 수 있다.

도 3은 일실시예에 따른 노이즈 모델링 방법을 설명하는 도면이다.

다시 말해, 도 3은 도 1 내지 도 2를 통해 설명한 일실시예에 따른 노이즈 모델링 장치의 동작방법을 설명하는 도면으로, 이하에서 도 3을 통해 설명하는 내용 중 도 1 내지 도 2를 통해 설명한 내용과 중복되는 설명은 생략하기로 한다.

도 3을 참조하면, 310 단계에서 일실시예에 따른 노이즈 모델링 방법은 데이터 수신부에서, 적어도 하나의 센서에 대응되는 입력 데이터를 수신할 수 있다.

예를 들면, 입력 데이터는 적어도 하나의 센서에 대응되는 이미지 데이터 및 포인트 클라우드 데이터 중 적어도 하나의 데이터를 포함할 수 있다.

다음으로, 320 단계에서 일실시예에 따른 노이즈 모델링 방법은 데이터 전처리부에서, 입력 데이터를 전처리할 수 있다.

일측에 따르면, 320 단계에서 일실시예에 따른 노이즈 모델링 방법은 데이터 전처리부에서, 입력 데이터를 기설정된 크기로 재설정하는 과정 및 수신한 데이터를 정제하는 과정 중 적어도 하나의 전처리 과정을 수행할 수 있다.

다음으로, 330 단계에서 일실시예에 따른 노이즈 모델링 방법은 노이즈 데이터 생성부에서, 전처리된 데이터를 입력으로 하는 생성적 적대 신경망(Generative Adversarial Network; GAN) 학습에 기초하여 실사적 노이즈 데이터를 생성할 수 있다.

일측에 따르면, 330 단계에서 일실시예에 따른 노이즈 모델링 방법은 노이즈 데이터 생성부에서, 전처리된 데이터 중 레이블이 있는 데이터를 입력으로 하는 1차 신경망 학습을 수행하고, 전처리된 데이터 중 레이블이 없는 데이터를 입력으로 하는 2차 신경망 학습을 수행하여 노이즈의 생성 비율이 조절된 실사적 노이즈 데이터를 생성할 수 있다.

일측에 따르면, 330 단계에서 일실시예에 따른 노이즈 모델링 방법은 노이즈 데이터 생성부에서, 레이블이 있는 데이터에 기초하여 판별자(discriminator)를 학습시키고, 레이블이 있는 데이터에 기초한 판별자의 학습 결과에 기초하여 레이블이 있는 데이터에 대응되는 데이터 판별값을 저장하는 적어도 하나의 데이터 분류기를 생성할 수 있다.

일측에 따르면, 330 단계에서 일실시예에 따른 노이즈 모델링 방법은 노이즈 데이터 생성부에서, 레이블이 없는 데이터를 입력으로 하는 2차 신경망 학습을 통해, 생성자(Generator)를 이용하여 생성자 데이터를 생성하고, 판별자를 이용한 생성자 데이터의 판별 시에 판별자 데이터에 포함된 노이즈 성분에 데이터 판별값을 반영하여, 노이즈의 생성 비율이 조절된 실사적 노이즈 데이터를 생성할 수 있다.

한편, 일실시예에 따른 데이터 수신부, 데이터 전처리부 및 노이즈 데이터 생성부는 주행 환경 시뮬레이터에 적용되어, 주행 차량에 구비된 적어도 하나의 센서에 대한 실사적 노이즈 데이터를 생성할 수 있다.

일실시예에 따른 노이즈 생성 방법은 이후 실시예 도 4를 통해 보다 구체적으로 설명하기로 한다.

도 4는 일실시예에 따른 노이즈 모델링 방법을 보다 구체적으로 설명하는 도면이다.

도 4를 참조하면, 410 단계에서 일실시예에 따른 노이즈 모델링 방법은 데이터 수신부에서, 적어도 하나의 센서에 대응되는 입력 데이터를 수신할 수 있다.

예를 들면, 입력 데이터는 적어도 하나의 센서가 취득한 로우 데이터로 이미지 데이터 및 포인트 클라우드 데이터 중 적어도 하나를 포함할 수 있으며, 이때 각각의 데이터는 트레이닝 데이터와 테스트 데이터로 구성될 수 있다.

다음으로, 420 단계에서 일실시예에 따른 노이즈 모델링 방법은 데이터 전처리부에서, 각 데이터의 크기를 재설정하거나 데이터를 정제하는 전처리 작업을 수행할 수 있다.

다음으로, 430 단계에서 일실시예에 따른 노이즈 모델링 방법은 노이즈 데이터 생성부에서, 판별자를 학습시키고, 이 데이터를 복사하여 데이터 분류기를 만들고 또한 이 데이터 분류기를 학습시킬 수 있다. 이때, 각각의 데이터 분류기와 판별자는 이 데이터를 학습하면서 각 데이터에 대한 분류 정확도를 계산하여 저장할 수 있다.

다음으로, 440 단계 내지 460 단계에서 일실시예에 따른 노이즈 모델링 방법은 노이즈 데이터 생성부에서, 전처리된 데이터(실제 측정 데이터)에 기반으로 하여 노이즈를 생성하고, 생성자를 생성적 적대 신경망(GAN) 학습을 수행하며, 생성된 노이즈를 입력으로 하는 학습된 생성자를 통해 생성자 데이터를 생성할 수 있다.

다음으로, 470 단계에서 일실시예에 따른 노이즈 모델링 방법은 노이즈 데이터 생성부에서, 판별자를 이용하여 생성자 데이터를 판별할 수 있다.

한편, 일실시예에 따른 노이즈 모델링 방법은 생성적 적대 신경망(GAN) 학습 과정에서 430 단계 내지 460 단계를 반복하여 수행할 수 있고, 학습 수행 과정에서 노이즈 생성 비율을 적응적으로 조절할 수 있으며, 이를 통해 실사적 노이즈 데이터를 생성할 수 있다.

결국, 본 발명을 이용하면, 가장 기본적인 노이즈(이미지 데이터 및/또는 포인트 클라우드 데이터 노이즈)를 생성하는 방법으로, 생성적 적대 신경망(GAN)을 활용하여 노이즈 생성 및 비율을 조정할 수 있다.

즉, 본 발명은 노이즈를 조정함으로서 생성된 데이터는 실제 데이터 품질과 비슷하게 유지할 수 있고, 생성된 데이터를 다시 학습에 사용하므로 정확도가 상승할 수 있다 일례로, 본 발명은 영상의 경우에 영상 합성이나 영상 복원, 영상 교체할 때, 생성적 적대 신경망을 이용하여 노이즈 제어를 추가함으로서 데이터 양이 적은 경우, 이를 학습에 사용할 수 있다는 점에서 많은 이점을 볼 수 있다.

또한, 본 발명을 이용하면, 다중 센서로부터 융합된 센서 데이터를 모사할 수 있는 시뮬레이터를 설계할 수 있다.

구체적으로, 본 발명은 다양한 센서들의 특성 및 각 센서의 오차 특성 분석과 모델링을 수행하고, 이를 기반으로 센서 데이터 생성 및 센서 노이즈 데이터 생성이 가능한 다중센서 데이터 시뮬레이터를 설계하여, 다양한 센서 환경에 대한 모사가 가능할 뿐만 아니라, 다중 센서 융합 알고리즘의 성능 검증이 가능하며, 이를 통해 강건한 알고리즘을 구현할 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100: 노이즈 모델링 장치 110: 데이터 수신부
120: 데이터 전처리부 130: 노이즈 데이터 생성부

Claims (12)

1. 적어도 하나의 센서에 대응되는 입력 데이터를 수신하는 데이터 수신부;
   상기 입력 데이터를 전처리하는 데이터 전처리부 및
   상기 전처리된 데이터를 입력으로 하는 생성적 적대 신경망(Generative Adversarial Network; GAN) 학습에 기초하여 실사적 노이즈 데이터를 생성하는 노이즈 데이터 생성부
   를 포함하는 노이즈 모델링 장치.
2. 제1항에 있어서,
   상기 입력 데이터는,
   상기 적어도 하나의 센서에 대응되는 이미지 데이터 및 포인트 클라우드 데이터 중 적어도 하나의 데이터를 포함하는
   노이즈 모델링 장치.
3. 제1항에 있어서,
   상기 전처리부는,
   상기 입력 데이터를 기설정된 크기로 재설정하는 과정 및 상기 수신한 데이터를 정제하는 과정 중 적어도 하나의 전처리 과정을 수행하는
   노이즈 모델링 장치.
4. 제1항에 있어서,
   상기 노이즈 데이터 생성부는,
   상기 전처리된 데이터 중 레이블이 있는 데이터를 입력으로 하는 1차 신경망 학습을 수행하고, 상기 전처리된 데이터 중 레이블이 없는 데이터를 입력으로 하는 2차 신경망 학습을 수행하여 노이즈의 생성 비율이 조절된 상기 실사적 노이즈 데이터를 생성하는
   노이즈 모델링 장치.
5. 제4항에 있어서,
   상기 노이즈 데이터 생성부는,
   상기 레이블이 있는 데이터에 기초하여 판별자(discriminator)를 학습시키고, 상기 레이블이 있는 데이터에 기초한 상기 판별자의 학습 결과에 기초하여 상기 레이블이 있는 데이터에 대응되는 데이터 판별값을 저장하는 적어도 하나의 데이터 분류기를 생성하는
   노이즈 모델링 장치.
6. 제5항에 있어서,
   상기 노이즈 데이터 생성부는,
   상기 레이블이 없는 데이터를 입력으로 하는 상기 2차 신경망 학습을 통해, 생성자(Generator)를 이용하여 생성자 데이터를 생성하고, 상기 판별자를 이용한 생성자 데이터의 판별 시에 상기 판별자 데이터에 포함된 노이즈 성분에 상기 데이터 판별값을 반영하여, 노이즈의 생성 비율이 조절된 상기 실사적 노이즈 데이터를 생성하는
   노이즈 모델링 장치.
7. 제1항에 있어서,
   주행 환경 시뮬레이터에 적용되어, 주행 차량에 구비된 상기 적어도 하나의 센서에 대한 상기 실사적 노이즈 데이터를 생성하는
   노이즈 모델링 장치.
8. 주행 차량에 구비된 적어도 하나의 센서에 대응되는 입력 데이터를 수신하는 데이터 수신부;
   상기 입력 데이터에 기초하여 이동하는 물체의 위치, 속도 및 가속도 중 적어도 하나에 대응되는 프로파일을 생성하고, 상기 프로파일에 따른 동적 특성에 기초하여 궤적 정보를 생성하는 궤적 정보 생성부;
   사용자 입력에 따라 캘리브레이션 특성, 통신지연 특성 및 비동기화 특성 중 적어도 하나의 특성을 상기 적어도 하나의 센서 각각에 적용하고, 상기 적어도 하나의 특성에 기초하여 상기 궤적 정보로부터 상기 주행 차량의 참 경로에 대응되는 상기 적어도 하나의 센서 각각의 측정치 데이터를 생성하는 측정치 데이터 생성부 및
   상기 측정치 데이터를 입력으로 하는 생성적 적대 신경망(Generative Adversarial Network; GAN) 학습에 기초하여 실사적 노이즈 데이터를 생성하는 노이즈 모델링부
   를 포함하는 주행 환경 시뮬레이터.
9. 제8항에 있어서,
   상기 측정치 데이터는,
   상기 측정치 데이터의 측정 시간 및 수신 시간 중 적어도 하나의 시간에 대한 정보를 포함하는
   주행 환경 시뮬레이터.
10. 제8항에 있어서,
    상기 측정치 데이터에 포함된 GPS 데이터 및 IMU 데이터 중 적어도 하나의 데이터에 포함된 노이즈의 값을 근사화하는 노이즈 근사화부
    를 더 포함하는 주행 환경 시뮬레이터.
11. 제8항에 있어서,
    상기 노이즈 모델링부는,
    상기 측정치 데이터에 포함된 이미지 데이터 및 포인트 클라우드 데이터 중 적어도 하나의 데이터를 입력으로 하는 상기 생성적 적대 신경망 학습을 수행하여 노이즈의 생성 비율이 조절된 상기 실사적 노이즈 데이터를 생성하는
    주행 환경 시뮬레이터.
12. 데이터 수신부에서, 적어도 하나의 센서에 대응되는 입력 데이터를 수신하는 단계;
    데이터 전처리부에서, 상기 입력 데이터를 전처리하는 단계 및
    노이즈 데이터 생성부에서, 상기 전처리된 데이터를 입력으로 하는 생성적 적대 신경망(Generative Adversarial Network; GAN) 학습에 기초하여 실사적 노이즈 데이터를 생성하는 단계
    를 포함하는 노이즈 모델링 방법.

Images