KR20230065443A - 포인트 클라우드 데이터 증강 방법 및 이를 이용하는 학습 방법 - Google Patents

Abstract

포인트 클라우드 데이터 증강 방법 및 이를 이용하는 학습 방법이 개시된다. 개시된 포인트 클라우드 데이터 증강 방법은 제1 및 제2포인트 클라우드 각각에서, 상기 제1 및 제2포인트 클라우드에 포함된 포인트 중 일부 포인트를 포함하는 제1 및 제2보조 집합을 결정하는 단계; 및 상기 제1포인트 클라우드에서 상기 제1보조 집합을 제거하고, 상기 제2보조 집합을 상기 제1보조 집합이 제거된 제1포인트 클라우드에 삽입하여, 제3포인트 클라우드를 생성하는 단계를 포함한다.

Description

포인트 클라우드 데이터 증강 방법 및 이를 이용하는 학습 방법{POINT CLOUD DATA AUGMENTATION METHOD AND LEARNING METHOD USING THE SAME}

본 발명은 데이터 증강 방법 및 증강된 데이터를 이용하는 학습 방법에 관한 것으로서, 보다 상세하게는 포인트 클라우드 데이터 증강 방법 및 이를 이용하는 학습 방법에 관한 것이다.

최근 3차원 포인트 클라우드 데이터를 활용한 딥러닝 기반의 기술들이 공간 인식, 물체 감지 및 추적과 같은 다양한 컴퓨터 비전 분야에서 각광을 받고 있다. 이러한 포인트 클라우드 기반의 딥러닝 네트워크들은 좋은 성능을 보여주고 있지만, 학습 데이터에 과적합되기 쉽다는 고유의 문제점을 주목하지 않고 있다.

과적합 문제를 해결하기 위한 시도는 이미지를 이용하는 학습 영역에서 다양한 방식으로 제안되어 왔으며, 그 중 가장 효과적으로 여겨지는 것은 데이터 증강(data augmentation) 기법이다. 더욱이 최근 이미지를 이용하는 학습 영역에서는 전통적인 데이터 증강 기법 외에도 Mixup 기반의 기법들이 다양하게 쏟아져 나오고 있다.

이미지와 달리 포인트 클라우드는 질감 정보를 포함하지 않으며, 구조 정보로 객체의 특징을 나타내는데, 이미지 기반의 증강 기법을 포인트 클라우드에 적용할 경우, 구조 정보(structure information)가 왜곡되기 때문에, 이미지 기반의 증강 기법은 포인트 클라우드에 적용되기 어렵다.

이에, 포인트 클라우드의 특성을 고려한 데이터 증강 방법의 개발이 필요하다.

관련 선행문헌으로 특허문헌인 대한민국 공개특허 제2021-0090384호, 제2021-0064067호, 미국 공개특허 제2021-0284184호, 비특허문헌인 "Qi, Charles Ruizhongtai, et al. Pointnet++: Deep hierarchical feature learning on point sets in a metric space, Advances in neural information processing systems. 2017." 가 있다.

본 발명은 포인트 클라우드의 구조 정보가 보존된 형태로 포인트 클라우드 데이터를 증강하는 방법을 제공하기 위한 것이다.

또한 본 발명은 포인트 클라우드 학습 데이터 셋의 편향성을 제거하여, 학습 네트워크의 과적합 문제를 해결할 수 있는 학습 방법을 제공하기 위한 것이다.

상기한 목적을 달성하기 위해 본 발명의 일실시예에 따르면, 제1 및 제2포인트 클라우드 각각에서, 상기 제1 및 제2포인트 클라우드에 포함된 포인트 중 일부 포인트를 포함하는 제1 및 제2보조 집합을 결정하는 단계; 및 상기 제1포인트 클라우드에서 상기 제1보조 집합을 제거하고, 상기 제2보조 집합을 상기 제1보조 집합이 제거된 제1포인트 클라우드에 삽입하여, 제3포인트 클라우드를 생성하는 단계를 포함하는 포인트 클라우드 데이터 증강 방법이 제공된다.

또한 상기한 목적을 달성하기 위해 본 발명의 다른 실시예에 따르면, 제1 및 제2포인트 클라우드 각각에서, 상기 제1 및 제2포인트 클라우드에 포함된 포인트 중 일부 포인트를 포함하는 제1 및 제2보조 집합을 결정하는 단계; 상기 제1포인트 클라우드에서 상기 제1보조 집합을 제거하고, 상기 제2보조 집합을 상기 제1보조 집합이 제거된 제1포인트 클라우드에 삽입하여, 제3포인트 클라우드를 생성하는 단계; 및 제3포인트 클라우드를 이용하여, 입력 데이터에 대한 클래스를 분류하는 인공 신경망을 학습하는 단계를 포함하는 포인트 클라우드를 이용하는 학습 방법이 제공된다.

본 발명의 일실시예에 따르면, 데이터 증강에 이용되는 포인트 클라우드의 구조 정보가 왜곡됨이 없이, 포인트 클라우드 데이터가 증강될 수 있다.

또한 본 발명의 일실시예에 따르면, 포인트 클라우드 데이터 증강을 통해 추가적으로 확보된 학습 데이터 셋을 이용하여, 인공 신경망을 학습함으로써, 포인트 클라우드 학습 데이터 셋의 편향성이 줄어들 수 있으며, 인공 신경망의 과적합 문제가 줄어들 수 있다.

도 1은 본 발명의 일실시예에 따른 물체 인식 장치를 설명하기 위한 도면이다.
도 2 및 도 3은 본 발명의 일실시예에 따른 포인트 클라우드 데이터 증강 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 포인트 클라우드를 이용하는 학습 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 증강된 포인트 클라우드를 나타내는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 물체 인식 장치를 설명하기 위한 도면이다.

본 발명의 일실시예에 따른 물체 인식 장치는, 입력된 포인트 클라우드로부터 물체를 인식한다. 포인트 클라우드는 예컨대 LiDAR에 의해 획득될 수 있으며, 물체 인식 장치는, 특정 객체로부터 획득된 포인트 클라우드가, 어느 물체에 대한 포인트 클라우드인지를 식별할 수 있다.

도 1을 참조하면, 본 발명의 일실시예에 따른 물체 인식 장치는, 데이터 증강부(110) 및 인공 신경망(120)을 포함한다.

데이터 증강부(110)는 인공 신경망(120)의 학습에 이용되는 훈련용 포인트 클라우드를 증강하여, 새로운 훈련용 포인트 클라우드를 생성한다. 데이터 증강부(110)는 서로 다른 객체에 대한 포인트 클라우드에서 선택된 일부 포인트를 혼합함으로써, 포인트 클라우드 데이터를 증강한다. 데이터 증강부(110)는 포인트를 혼합할 때, 혼합되는 포인트의 구조 정보가 보존된 상태로 포인트를 혼합한다. 구조 정보가 보존된다는 것은, 포인트 사이의 이격 거리와 이격 방향이 보존된다는 것을 의미한다.

따라서 본 발명의 일실시예에 따르면, 포인트 클라우드의 구조 정보 왜곡없이, 포인트 클라우드 데이터가 증강될 수 있다.

인공 신경망(120)은 훈련용 포인트 클라우드와 훈련용 포인트 클라우드로부터 증강된 포인트 클라우드를 통해 학습된다. 일실시예로서, 인공 신경망(120)은, 훈련용 포인트 클라우드에 대한 라벨이 주어지는 감독 학습을 통해 학습될 수 있다. 손실 함수를 통해 계산된, 인공 신경망(120)의 출력값과 훈련용 포인트 클라우드의 정답값의 차이로부터 계산되는 손실값이, 최소가 되도록 인공 신경망(120)은 학습될 수 있다. 증강된 포인트 클라우드를 통한 학습 과정에서는, 증강된 포인트 클라우드를 생성하는데 이용된 2개의 포인트 클라우드 사이의 혼합 비율이 반영된, 손실 함수가 이용된다.

학습된 인공 신경망(120)으로 타겟 포인트 클라우드가 입력되면, 인공 신경망(120)은 타겟 포인트 클라우드에 대한 클래스를 출력한다.

도 2 및 도 3은 본 발명의 일실시예에 따른 포인트 클라우드 데이터 증강 방법을 설명하기 위한 도면으로서, 도 2는 포인트 클라우드 데이터 증강 방법의 흐름도를 도시한 도면이며, 도 3은 포인트 클라우드 데이터 증강 방법의 처리 단계를 포인트 클라우드로 표현한 도면이다.

본 발명의 일실시예에 따른 포인트 클라우드 데이터 증강 방법은 프로세서 및 메모리를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 이러한 컴퓨팅 장치는 전술된 물체 인식 장치일 수 있다.

본 발명의 일실시예에 따른 컴퓨팅 장치는 인공 신경망 학습에 이용되는 훈련 데이터를 생성하기 위해 포인트 클라우드 데이터를 증강한다.

도 2 및 도 3을 참조하면, 본 발명의 일실시예에 따른 컴퓨팅 장치는 제1 및 제2포인트 클라우드(P^α, P^β) 각각에서, 제1 및 제2포인트 클라우드(P^α, P^β)에 포함된 포인트 중 일부 포인트를 포함하는 제1 및 제2보조 집합(S^α, S^β)을 결정(S210)한다. 제1 및 제2포인트 클라우드(P^α, P^β)는 훈련용 데이터 셋에 포함된 포인트 클라우드일 수 있다.

단계 S210에서 컴퓨팅 장치는 일실시예로서, 제1 및 제2포인트 클라우드(P^α, P^β) 각각에서, 제1 및 제2대표 포인트(q^α, q^β)를 선정하고, 제1 및 제2대표 포인트(q^α, q^β)를 이용하여 제1 및 제2보조 집합(S^α, S^β)을 결정할 수 있다. 여기서, 제1 및 제2보조 집합(S^α, S^β)은, 제1 및 제2대표 포인트(q^α, q^β) 주변의 포인트들과, 제1 및 제2대표 포인트(q^α, q^β)를 포함하는 집합일 수 있다. 그리고 제1 및 제2대표 포인트(q^α, q^β)는, 제1 및 제2포인트 클라우드(P^α, P^β)에서 랜덤하게 선정될 수 있으며, 제1 및 제2보조 집합(S^α, S^β)은 제1 및 제2대표 포인트(q^α, q^β)각각으로부터, 미리 설정된 거리 내에 위치한 포인트들을 포함할 수 있다.

이 때, 컴퓨팅 장치는 일실시예로서, 그룹 함수(

)를 이용하여, 1 및 제2포인트 클라우드(P^α, P^β) 각각에서, 제1 및 제2대표 포인트(q^α, q^β)를 중심으로 주변 포인트를 그룹핑하여 제1 및 제2보조 집합(S^α, S^β)을 결정할 수 있다. 그룹 함수로서, K-Nearest Neighbor(KNN) 방식을 이용하는 함수나, 제1 및 제2대표 포인트(q^α, q^β)로부터 일정한 거리(r_rigid) 내부의 점을 묶는 Ball-query 방식을 이용하는 함수가 이용될 수 있다. 그리고 일정한 거리(r_rigid)는 베타 함수로부터 획득되거나, 미리 설정된 값일 수 있다.

본 발명의 일실시예에 따른 컴퓨팅 장치는 제1포인트 클라우드(P^α)에서 제1보조 집합(S^α)을 제거하고, 제2보조 집합(S^β)을 제1보조 집합이 제거된 제1포인트 클라우드(P^α - S^α)에 삽입하여, 제3포인트 클라우드(

)를 생성(S220)한다. 즉, 컴퓨팅 장치는 제1포인트 클라우드(P^α)의 일부 포인트와 제2포인트 클라우드(P^β)의 일부 포인트를 혼합하여 제3포인트 클라우드(

)를 생성한다. 이 때 컴퓨팅 장치는, 제2포인트 클라우드(P^β)에서 제2보조 집합(S^β)을 제외한 나머지 포인트들을 제거함으로써, 제2보조 집합(S^β)을 획득할 수 있다.

컴퓨팅 장치는 단계 S220에서 제2보조 집합(S^β)을 제1포인트 클라우드(P^α)에 삽입하기 위해, 제1 및 제2대표 포인트(q^α, q^β)의 좌표값으로터, 제1 및 제2대표 포인트 사이의 벡터(q^α - q^β)를 계산한다. 그리고 벡터를 이용하여, 제2보조 집합(S^β)을 제1보조 집합이 제거된 제1포인트 클라우드(P^α - S^α)에 삽입한다. 따라서, 제1포인트 클라우드(P^α)에서 제1보조 집합(S^α)이 제거된 위치에, 제2보조 집합(S^β)이 삽입될 수 있다.

그리고 이 때, 컴퓨팅 장치는 제2보조 집합(S^β)의 구조 정보가 유지된 상태로, 제2보조 집합(S^β)을 제1보조 집합이 제거된 제1포인트 클라우드(P^α - S^α)에 삽입한다. 즉, 컴퓨팅 장치는 제2보조 집합(S^β)에 포함된 포인트 사이의 이격 거리와 이격 방향을 수정하지 않고 그대로 제1보조 집합이 제거된 제1포인트 클라우드(P^α - S^α)에 삽입한다.

따라서, 본 발명의 일실시예에 따르면, 데이터 증강에 이용되는 포인트 클라우드의 구조 정보가 왜곡됨이 없이, 포인트 클라우드 데이터가 증강될 수 있다.

도 4는 본 발명의 일실시예에 따른 포인트 클라우드를 이용하는 학습 방법을 설명하기 위한 도면으로서, 본 발명의 일실시예에 따른 학습 방법은 프로세서 및 메모리를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 이러한 컴퓨팅 장치는 전술된 물체 인식 장치일 수 있다.

본 발명의 일실시예에 따른 컴퓨팅 장치는 도 2 내지 도 3에서 설명된 방법으로 증강된 포인트 클라우드를 이용하여 학습을 수행한다. 즉, 제1 및 제2포인트 클라우드 각각에서, 제1 및 제2포인트 클라우드에 포함된 포인트 중 일부 포인트를 포함하는 제1 및 제2보조 집합을 결정(S410)하고, 제1포인트 클라우드에서 제1보조 집합을 제거하고, 제2보조 집합을 제1보조 집합이 제거된 제1포인트 클라우드에 삽입하여, 제3포인트 클라우드를 생성(S420)하고, 제3포인트 클라우드를 이용하여, 입력 데이터에 대한 클래스를 분류하는 인공 신경망을 학습(S430)한다.

본 발명의 일실시예에 따른 컴퓨팅 장치는 배치 학습 방식으로 학습을 수행할 수 있으며, 단계 S410에서 학습 데이터 배치에 포함된 포인트 클라우드를 재정렬하고, 재정렬된 포인트 클라우드 중에서, 포인트를 혼합할 제1 및 제2포인트 클라우드를 매칭할 수 있다. 예컨대, 제1배치 및 제2배치에 4개의 포인트 클라우드가 포함된 경우, 컴퓨팅 장치는 제1배치 및 제2배치에 포함된 클라우드를 랜덤하게 재정렬한 후, 동일한 정렬 순서에 대응되는 클라우드 포인트를 혼합할 제1 및 제2포인트 클라우드로 매칭할 수 있다.

그리고 단계 S430에서 컴퓨팅 장치는 손실 함수의 손실값이 최소가 되도록 인공 신경망을 학습할 수 있다. 이를 위해 컴퓨팅 장치는 먼저, 제3포인트 클라우드에서, 제1포인트 클라우드의 포인트와, 제2포인트 클라우드의 포인트에 대한 혼합 비율을 나타내는 가중치를 계산한다. 그리고 계산된 가중치를 이용하여, 제3포인트 클라우드에 대한 인공 신경망의 출력값과 제1포인트 클라우드에 대한 정답값의 차이, 제3포인트 클라우드에 대한 인공 신경망의 출력값과 제2포인트 클라우드에 대한 정답값의 차이의 가중합을 계산하고, 가중합 즉, 손실값이 최소가 되도록 인공 신경망을 학습한다.

제3포인트 클라우드에 대해서는 라벨이 주어지지 않기 때문에, 컴퓨팅 장치는 제1 및 제2포인트 클라우드에 대한 정답값을 이용해 손실값을 계산하고 손실값을 계산하기 위해 전술된 가중치를 이용한다. 즉, 컴퓨팅 장치는 손실값 계산을 위해 제1 및 제2포인트 클라우드의 혼합 비율을 이용한다.

제3포인트 클라우드가 제1 및 제2포인트 클라우드의 혼합에 의해 생성되기 때문에, 컴퓨팅 장치는 제3포인트 클라우드에 대한 인공 신경망의 출력값과 제1포인트 클라우드에 대한 정답값의 차이와, 제3포인트 클라우드에 대한 인공 신경망의 출력값과 제2포인트 클라우드에 대한 정답값의 차이를, 손실값 계산에 이용한다. 이 때, 각각의 차이에 대해 전술된 가중치를 적용하여, 손실값을 계산하고, 이러한 손실값이 최소가 되도록 인공 신경망을 학습한다.

가중치

는 일실시예로서, 제3포인트 클라우드의 포인트 개수에 대한, 제2보조 집합의 포인트 개수의 비율을 나타내며, [수학식 1]과 같이 계산될 수 있다.

여기서,

는 제2보조 집합에 포함된 포인트의 개수,

는 제1보조 집합이 제거된 제1포인트 클라우드에 포함된 포인트의 개수를 나타낸다.

그리고 손실 함수(

)는 일실시예로서 [수학식 2]와 같이 표현될 수 있다.

여기서,

는 제3포인트 클라우드에 대한 인공 신경망의 출력값과 제1포인트 클라우드에 대한 정답값의 차이,

는 제3포인트 클라우드에 대한 인공 신경망의 출력값과 제2포인트 클라우드에 대한 정답값의 차이를 나타낸다.

본 발명의 일실시예에 따르면, 포인트 클라우드 데이터 증강을 통해 추가적으로 확보된 학습 데이터 셋을 이용하여, 인공 신경망을 학습함으로써, 포인트 클라우드 학습 데이터 셋의 편향성이 줄어들 수 있으며, 인공 신경망의 과적합 문제가 줄어들 수 있다.

도 5는 본 발명의 일실시예에 따른 증강된 포인트 클라우드를 나타내는 도면이다.

도 5에서, 첫번째 및 세번째 열에 위치하는 포인트 클라우드는 전술된 제1 및 제2포인트 클라우드에 대응되며, 두번째 열에 위치하는 포인트 클라우드는 증강된 포인트 클라우드(제3포인트 클라우드)에 대응된다. 그리고 제1포인트 클라우드에서 노란색 포인트는 제1보조 집합이 제거된 포인트, 제2포인트 클라우드에서 보라색 포인트는 제2보조 집합을 나타낸다. 그리고 제3포인트 클라우드에서, 초록색 포인트는 제1포인트 클라우드에서 제1보조 집합이 제거된 포인트, 빨간색 포인트는 제2보조 집합을 나타낸다.

그리고 [표 1]은, 포인트 클라우드 학습 모델인 PointNet, PointNet++, DGCNN를, 본 발명의 일실시예에 따라서 증강된 포인트 클라우드를 이용하여 학습시킨 경우(Ours)와 그렇지 않은 경우의 분류 성능을 나타내는 표이다. 학습 데이터 셋으로서, ModelNet40/ModelNet10 이 이용되었다. [표 1]에 나타낸 바와 같이, 본 발명의 일실시예에 따라서 증강된 포인트 클라우드를 이용하여 학습 모델을 학습시킨 경우, 전반적으로 분류 성능이 향상됨을 알 수 있다.

그리고 [표 2]는 기존 이미지 기반의 증강 기법과 본 발명의 일실시예에 따른 증강 방법(RSMix)을 이용한 물체 인식 성능을 나타내는 표이다. [표 2]에서, Jitter는 진동, Rotation은 회전, Scaling은 크기 변화, RandDrop은 임의의 일부 포인트 제거를 이용하는 증강 기법을 나타낸다.

본 발명의 일실시예에 따른 증강 방법을 이용한 경우, 보다 물체 인식 성능이 향상됨을 알 수 있다.

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (10)

1. 제1 및 제2포인트 클라우드 각각에서, 상기 제1 및 제2포인트 클라우드에 포함된 포인트 중 일부 포인트를 포함하는 제1 및 제2보조 집합을 결정하는 단계; 및
   상기 제1포인트 클라우드에서 상기 제1보조 집합을 제거하고, 상기 제2보조 집합을 상기 제1보조 집합이 제거된 제1포인트 클라우드에 삽입하여, 제3포인트 클라우드를 생성하는 단계
   를 포함하는 포인트 클라우드 데이터 증강 방법.
   
2. 제 1항에 있어서,
   상기 제1 및 제2보조 집합을 결정하는 단계는
   상기 제1 및 제2포인트 클라우드 각각에서, 제1 및 제2대표 포인트를 선정하는 단계; 및
   상기 제1 및 제2포인트 클라우드 각각에서, 상기 제1 및 제2대표 포인트에 인접한 포인트들과 상기 제1 및 제2대표 포인트를 포함하는 상기 제1 및 제2보조 집합을 결정하는 단계
   를 포함하는 포인트 클라우드 데이터 증강 방법.
   
3. 제 2항에 있어서,
   상기 제1 및 제2보조 집합은
   상기 제1 및 제2대표 포인트 각각으로부터, 미리 설정된 거리 내에 위치한 포인트들을 포함하는
   포인트 클라우드 데이터 증강 방법.
   
4. 제 2항에 있어서,
   상기 제3포인트 클라우드를 생성하는 단계는
   상기 제1 및 제2대표 포인트의 좌표값으로터, 상기 제1 및 제2대표 포인트 사이의 벡터를 계산하는 단계; 및
   상기 벡터를 이용하여, 상기 제2보조 집합을 상기 제1보조 집합이 제거된 제1포인트 클라우드에 삽입하는 단계
   를 포함하는 포인트 클라우드 데이터 증강 방법.
   
5. 제 1항에 있어서,
   상기 제3포인트 클라우드를 생성하는 단계는
   상기 제2보조 집합의 구조 정보가 유지된 상태로, 상기 제2보조 집합을 상기 제1보조 집합이 제거된 제1포인트 클라우드에 삽입하는
   포인트 클라우드 데이터 증강 방법.
   
6. 제1 및 제2포인트 클라우드 각각에서, 상기 제1 및 제2포인트 클라우드에 포함된 포인트 중 일부 포인트를 포함하는 제1 및 제2보조 집합을 결정하는 단계;
   상기 제1포인트 클라우드에서 상기 제1보조 집합을 제거하고, 상기 제2보조 집합을 상기 제1보조 집합이 제거된 제1포인트 클라우드에 삽입하여, 제3포인트 클라우드를 생성하는 단계; 및
   제3포인트 클라우드를 이용하여, 입력 데이터에 대한 클래스를 분류하는 인공 신경망을 학습하는 단계
   를 포함하는 포인트 클라우드를 이용하는 학습 방법.
   
7. 제 6항에 있어서,
   상기 인공 신경망을 학습하는 단계는
   상기 제3포인트 클라우드에서, 상기 제1포인트 클라우드의 포인트와, 상기 제2포인트 클라우드의 포인트에 대한 혼합 비율을 나타내는 가중치를 계산하는 단계; 및
   상기 가중치를 이용하여, 상기 제3포인트 클라우드에 대한 상기 인공 신경망의 출력값과 상기 제1포인트 클라우드에 대한 정답값의 차이, 상기 제3포인트 클라우드에 대한 상기 인공 신경망의 출력값과 상기 제2포인트 클라우드에 대한 정답값의 차이의 가중합을 계산하는 단계; 및
   상기 가중합이 최소가 되도록 상기 인공 신경망을 학습하는 단계
   를 포함하는 포인트 클라우드를 이용하는 학습 방법.
   
8. 제 7항에 있어서,
   상기 인공 신경망을 학습하는 단계는
   하기 수학식으로 표현되는 손실 함수를 이용하여, 상기 인공 신경망을 학습하는
   포인트 클라우드를 이용하는 학습 방법.
   [수학식]
   

   

   
   여기서,

   

   는 상기 손실 함수,

   

   는 상기 제3포인트 클라우드에 대한 상기 인공 신경망의 출력값과 상기 제1포인트 클라우드에 대한 정답값의 차이,

   

   는 상기 제3포인트 클라우드에 대한 상기 인공 신경망의 출력값과 상기 제2포인트 클라우드에 대한 정답값의 차이,

   

   는 상기 제3포인트 클라우드의 포인트 개수에 대한, 상기 제2보조 집합의 포인트 개수의 비율을 나타냄.
   
9. 제 6항에 있어서,
   상기 제1 및 제2보조 집합을 결정하는 단계는
   상기 제1 및 제2포인트 클라우드 각각에서, 제1 및 제2대표 포인트를 선정하는 단계; 및
   상기 제1 및 제2포인트 클라우드 각각에서, 상기 제1 및 제2대표 포인트에 인접한 포인트들과 상기 제1 및 제2대표 포인트를 포함하는 상기 제1 및 제2보조 집합을 결정하는 단계
   를 포함하는 포인트 클라우드를 이용하는 학습 방법.
   
10. 제 9항에 있어서,
    상기 제3포인트 클라우드를 생성하는 단계는
    상기 제1 및 제2대표 포인트의 좌표값으로터, 상기 제1 및 제2대표 포인트 사이의 벡터를 계산하는 단계; 및
    상기 벡터를 이용하여, 상기 제2보조 집합을 상기 제1보조 집합이 제거된 제1포인트 클라우드에 삽입하는 단계
    를 포함하는 포인트 클라우드를 이용하는 학습 방법.
    

Images