KR20230132686A - PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법 - Google Patents

Abstract

PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법을 개시한다. 콘크리트 배관 손상 3차원 비전 클라우드 데이터 세트, 데이터 처리 및 구분, PointNet++ 신경망 모델 구축 및 훈련, 모델 파라미터 조정, 모델 테스트 및 체적 디스플레이 등의 내용을 포함한다. 본 발명은 콘크리트 배관 손상 테스트와 체적 디스플레이에 적용이 가능한 PointNet++ 신경망 알고리즘을 개발하며 깊이 카메라를 활용하여 수집한 3차원 데이터로 모델 훈련을 진행하며 공정의 견고성과 일반화 능력을 늘리기 위하여 매개변수화된 포인트 클라우드에 대한 전환과 정합을 진행한다. 공회전 알고리즘을 사용하여 자동적으로 손상 3차원 비전 재구축과 체적 디스플레이를 완성하고 배관 손상 인식 효율과 정확도를 향상시킨다.

Description

PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법{A method for damage identification and volume quantification of concrete pipes based on PointNet++ neural network}

본 발명은 배관 손상 인식 및 체적 디스플레이에 관한 것으로서, 좀 더 상세하게 설명하면 PointNet++ 신경망 기반 콘크리트 배관 손상 인식 및 체적 디스플레이 방법에 관한 것이다.

도시 배수 시스템은 도시문명 건설과 인간 건강 생활의 중요한 보장이다. 오수와 정수를 분리하여 위생 조건을 개선함으로써 인간의 수명 연장에 도움이 된다. 경제성장과 도시 확장에 따라 배수관의 총 길이가 계속 늘어가고 있다. 이 때문에 배수관 시스템이 낡아 가는 것도 점점 심각한 문제가 된다. 정부는 오수 배수관 유치를 위해 자금과 자원을 많이 투입해야 한다. 배수관 점검을 실시하면 배수관의 손상부를 일찍 발견하여 적당한 수리 조치를 취할 수 있다.

현재, 배관 점검에는 음향 측정법, 압력 측정, 시각 시스템 기반 측정, 지반 투과 레이더 등의 주요 방법이 있다. 그 중에 시각 검사 시스템이 지하 배수관의 점검에 널리 응용되며 로봇에 폐회로 텔레비전 카메라(CCTV) 또는 줌 카메라를 설치한 것이 일반적이다. 점검 과정에서 설비는 배관 내벽에 따라 직진하고 영상을 외부 감시 카메라로 전송하는 것이다. 잠재적인 손상을 발견할 때 점검 인원이 카메라의 초점 거리를 조절함으로써 잠재적인 손상을 추가로 판단할 수 있다. 종래의 점검 방법과 달리 카메라를 통해 실시한 점검은 인원이 배관에 들어갈 필요가 없으며 레이저 탐지와 레이더 테스트보다 더 간결하고 명확한 이미지 결과를 제공할 수 있다. 하지만 이런 방식은 전문 교육을 받은 인원만 집행이 가능하며 손상 판단과 평가 시간도 길어서 시간과 자원을 많이 소요된다.

최근 몇 년간에 3차원 정보를 구조 건강 분야에 사용하는 것이 새로운 추세를 보인다. 2차원 이미지를 이용하여 균열검사를 포함한 구조 손상 검사 진행이 가능하지만 3차원 정보가 다른 유형의 검사를 위하여 새로운 방식을 제시한다. 예를 들면 구조 손상부의 3차원 정보를 바탕으로 손상부의 탈락한 체적을 추산할 수 있다. 따라서 다양한 위치 또는 각도에서 콘크리트 배관 손상 체적에 적용이 가능한 자동 검사 방법이 필요하다.

대한민국 등록특허 제2006206호

본 발명은 종래 기술에 존재하는 문제점을 해결하기 위하여 PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법을 제공하는 것이다. 3차원 포인트 클라우드와 딥러닝을 결합하고 PointNet++ 신경망 알고리즘을 활용하고 깊이 카메라로 수집한 3차원 데이터로 모델 훈련을 진행하며 공정의 견고성과 일반화 능력을 늘리기 위하여 매개변수화된 포인트 클라우드에 대한 전환과 정합을 진행한다. 공회전 알고리즘 자동적으로 손상 3차원 비전 재구축과 체적 디스플레이를 완성한다. 이를 통해 상기 배경 기술 부분에서 언급한 문제를 해결해 준다.

상기 목적을 달성하기 위하여 아래와 같은 기술적 솔루션을 제시한다. PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법으로서, 아래와 같은 절차를 포함하고 있다:

S1. 콘크리트배관 손상 인식 3차원 포인트 클라우드 데이터 세트 구축: 콘크리트배관 손상 깊이 이미지를 수집하여 3차원 포인트 클라우드 데이터 세트를 얻는다;

S2. 데이터 처리 및 구분: 절차 S1을 거쳐 얻은 3차원 포인트 클라우드 데이터 세트를 대상으로 분류 표시를 하고 데이터 보강 방법을 활용하여 확장하고 마지막으로 데이터를 훈련 세트, 검증 세트와 시험 세트로 나누게 된다;

S3. PointNet++ 신경망 모델의 구축 및 훈련: PointNet++ 신경망 모델을 구축하고 가우시안 모형을 활용하여 모델에 대한 초기화를 진행한다. 하이퍼파라미터를 설정하고, 훈련 세트를 PointNet++ 신경망 모델에 도입하고 모델을 훈련시킨다;

S4. 파라미터 조정: 순서대로 하이퍼파라미터를 조정한다. 검증 세트의 데이터를 모델에 도입하여 하이퍼파라미터가 적용된 모델의 손실치 및 정확률의 변화 곡선을 비교한다. 최적 하이퍼파라미터를 찾아서 최적 PointNet++ 신경망 모델 구축이 가능하다;

S5. 모델 테스트: 시험 세트를 최적 PointNet++ 신경망 모델에 도입하여 테스트를 진행하고 수치 평가 지표를 출력하여 예상치에 도달했는지 여부를 판단한다;

S6. 체적 디스플레이: 손상을 분할하며 배관 표면의 파라미터가 적용된 손상 포인트 클라우드를 좌표로 전환하고 원 손상 포인트 클라우드에 맞춰서 공회전 알고리즘이 3차원 완전한 손상 포인트 클라우드의 에지 검출을 진행한다. 콘크리트 배관 손상 3차원 곡면 재구축을 완성하며 재구축의 손상 체적에 대한 유효성 검증을 진행하고 체적 디스플레이를 완성한다.

바람직하게는, 상기 절차 S1에 따른 콘크리트배관 손상 인식 3차원 포인트 클라우드 데이터 세트 구축은 세부 절차가 아래와 같다:

S11. 깊이 카메라를 통해 콘크리트배관 손상 깊이 이미지를 수집하여 원본 깊이 데이터 세트를 얻게 된다;

S12. 데이터 수집된 깊이 이미지의 해상도가 640×576 픽셀의 이미지로 전환된다;

S13. 매트랩(matlab)을 이용하여 깊이 카메라에 대한 교정을 진행한다. 카메라의 내부 기준 파라미터를 세계적 좌표가 적용된 3차원 포인트 클라우드로 전환하며 3차원 포인트 클라우드 데이터세트로 얻을 수 있다.

바람직하게는, 상기 절차 S2에 따른 데이터 분류 및 표시는 클라우드컴페어(CloudCompare) 프로그램으로 분류 표시를 진행하며 정상 또는 손상으로 분류 표시를 한다.

상기 데이터 보강 방법은 평행 이동, 크기 조절, 회전 변환, 대칭 변환, 신축 변환, 또는 진동 변환 등의 방법을 포함하고 있다.

상기 데이터세트 구분에 있어서 파이썬(python) 분류 프로그램으로 데이트세트를 6：3：1의 비율로 훈련 세트, 검증 세트와 시험 세트로 나누게 된다.

바람직하게는, 상기 절차 S3에 따른 가우시안 모형은 고정 평균치 및 표준편차의 가우스 분포에서 평가지표의 가중치를 얻게 된다. 상기 하이퍼파라미터는 학습율, 총 반복횟수, 3차원 포인트 클라우드 수량 및 감쇠율을 포함하고 있다.

바람직하게는, 상기 절차 S5에 따른 각각의 수치 평가 지표는 정확성, 정확율 및 재현율이다.

바람직하게는, 상기 절차 S6은 세부 절차가 아래와 같다:

S61. 훈련이 완료된 PointNet++ 신경망이 콘크리트배관 손상을 분할한다;

S62. 손상된 포인트 클라우드의 전표 변환: PointNet++로 분할된 정상적인 콘크리트배관 손상의 3차원 포인트 클라우드를 통해 손상된 포인트 클라우드의 곡면 파라미터를 얻는다;

S63. 전환된 포인트 클라우드와 손상 클라우드 포인트에 맞추고 공회전 알고리즘을 활용하여 3차원 완전히 손상된 클라우드 포인트에 대한 에지검출을 진행한다. 이를 통해 콘크리트배관에 대한 곡면 재구축을 완성하고 재구축된 파손 부분의 체적에 대한 유효성 검증을 실시하여 체적 디스플레이를 완성한다.

바람직하게는, 상기 절차 S63는 좌표 전환 클라우드 포인트와 파손 클라우드 포인트의 정합 방법은 GICP 알고리즘이다.

바람직하게는, 상기 절차 S63는 유효성 검증의 평가 지표는 상대오차와 평균 상대오차를 포함한다.

바람직하게는, 상기 절차 S63는 공회전 알고리즘을 활용하여 공회전 검증 클라우드 포인트의 에지 포인트를 제어하고 곡면 재구축을 완성한다.

바람직하게는, 선택할 상대 오차치 REV는 진실 체적과 시험 체적의 절대치와 진실 체적 간의 비율,

상기 평균 상대오차치 MRE는 상대 오차치의 평균치이다.

본 발명의 유익한 효과는 다음과 같다:

1）본 발명은 3차원 방법을 활용하여 손상 형태를 직관적으로 보여줌으로써 연구자들을 위하여 체적 또는 면적 등의 사이즈 정보를 제공한다. 이러므로 그 다음 절차의 배관 수리 작업을 위해 더 많은 정보를 제공할 수 있다.

2) 본 발명은 PointNet++ 신경망 모델을 바탕으로 대량의 콘크리트배관 손상에 대한 학습을 진행함으로써 모델에 견고성의 특징을 강화해서 일반화 능력을 늘리게 된다. 이를 통해 인식의 정확도를 높여 준다.

3) 본 발명은 PointNet++ 신경망과 공회전 알고리즘을 결합함으로써 콘크리트배관 손상 검사, 분할, 정량분석의 과정을 자동화로 만들어 준다. 공회전 알고리즘을 활용함으로써 손상 3차원 재구축과 체적 디스플레이를 완성하여 콘크리트배관 손상에 대한 인식 효율을 높여 준다.

도 1은 본 발명의 절차 흐름도이다.
도 2는 본 발명 방법의 처리 결과를 도시하는 도면이다. 도 2(a)는 PointNet++ 분할 후의 손상 포인트 클라우드이며, 도 2(b)는 손상부에 대한 좌표 전환과 정합을 진행한 포인트 클라우드 도면이며, 도 2(c)는 손상 체적 디스플레이 결과를 도시하는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 있어서의 기술적 해결방안을 명확하고 완전하게 설명한다. 명백하게, 설명된 실시예는 본 발명의 전부가 아니라 일부 실시예이다. 본 발명의 실시예에 기초하여, 당업자가 창의적인 노력 없이 획득한 다른 모든 실시예는 본 발명의 보호 범위에 속할 것이다.

도 1 및 도 2를 참조하면, 본 발명은 PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법으로서 한 가지의 기술 솔루션을 제시한다. 구체적인 절차 흐름이 도 1과 같다. 구체적인 절차가 아래와 같다.

절차1. 콘크리트배관 손상 인식 3차원 포인트 클라우드 데이터 세트 구축.

콘크리트배관 손상 깊이 이미지를 수집하여 3차원 포인트 클라우드 데이터 세트를 생성한다. 구체적인 과정이 아래와 같다.

1.1 원본 깊이 데이터는 마이크로소프트 에저 키넥트 디케이(Azure Kinect DK) 깊이 카메라로 얻게 된다.

1.2 수집한 원본 깊이 이미지는 해상도가 640×576 픽셀로 된 데이터세트로 자동 분류된다.

1.3 매트랩(matlab)를 이용하여 깊이 카메라의 내부 파라미터를 보정한다.

1.4 카메라 내부 파라미터를 활용함으로써 깊이 데이터를 세계 좌표에 적용된 3차원 포인트 클라우드로 전환한다.

구체적으로, 수집한 깊이 이미지는 아래와 같은 특징을 갖춰야 한다:

(1) 다양성을 갖춘다. 콘크리트배관의 데이터 세트는 빛의 강도 및 그림자와 같은 이미지를 포함해야 한다.

(2) 이미지 촬영 거리에 있어서 전반적인 특징을 가진다. 즉, 촬영거리가 멀거나 가까운 이미지를 모두 포함함으로써 일반화능력을 향상시킨다.

(3) 이미지 시각이 다양해야 한다. 정면도, 측면도, 또는 사시도 등의 이미지를 포함해야 한다.

(4) 대표적인 손상부를 선택한다. 뚜렷한 손상 특징을 갖춰야 한다.

절차2. 데이터 처리 및 구분.

절차1에 따라 얻은 데이터 세트를 분류하여 콘크리트배관 손상 데이터 세트를 표시한다. 데이터 보강 방법을 활용함으로써 확장하여 일정한 비율로 훈련 세트, 검증 세트와 시험세트로 나누게 된다. 콘크리트 배관 손상 데이터 세트 구축의 구체적인 과정이 아래와 같다:

2.1 클라우드컴페어(CloudCompare) 표시 프로그램을 이용함으로써 콘크리트배관 손상 데이터를 정상과 파손으로 나누게 된다.

2.2 표시된 데이터 세트는 데이터 보강 기술이 적용되어 확장된다.

2.3 파이썬(python) 분류 프로그램으로 데이트세트를 6：3：1의 비율로 훈련 세트, 검증 세트와 시험 세트로 나누게 된다.

구체적으로, 상기 데이터 보강 방법은 평행이동, 크기 조절, 회전 변환, 대칭 변환, 신축 변환, 및 진동 변환 등의 방법을 포함한다.

구체적으로, 훈련 세트, 검증세트와 시험 세트 간의 이미지가 서로 겹친 부분이 없어서 모델의 견고성과 일반화 능력 검증에 대해 도움이 된다.

절차3: PointNet++ 신경망 모델 구축 및 훈련.

PointNet++ 신경망 모델을 구축하고 가우시안 모형을 활용하여 모델에 대한 초기화를 진행한다. 하이퍼파라미터를 설정하고 훈련 세트를 PointNet++ 신경망 모델에 도입하고 모델을 훈련시킨다.

구체적으로 설명하면, 가우시안 모형은 고정 평균치 및 표준편차의 가우스 분포에서 평가지표의 가중치를 얻게 된다. 이를 통해 훈련 효율을 높여 주고 검사 정확도를 높여 준다.

구제적으로 보면 PointNet++ 신경망이 3차원 포인트 클라우드를 겹친 구역을 나누고 PointNet로 일부 구역의 특징을 파악하게 된다. 크기에 따라 분류되어 확장된 시각적 느낌을 구현해 준다. 구역 특징을 바탕으로 더 높은 차원의 포인트 클라우드 특징을 파악함으로써 포인트 세트의 전체적인 특징 파악이 가능하다.

구체적으로 설명하면, GPU의 높은 대역폭과 다중계의 컴퓨팅 성능을 기반으로 한 딥러닝 알고리즘을 고성능 컴퓨터에서 실행해야 한다.

절차4. 모델 파라미터 조정.

순서에 따라 하이퍼파라미터를 조정하고 검증 세트의 데이터를 시험 모델에 도입한다. 다른 하이퍼파라미터의 모델이 적용될 경우의 손실값과 정확율의 변환 곡선(손실값 하강곡선과 정확율 상승곡선)을 비교하여 최적 하이퍼파라미터를 찾아서 최적 PointNet++ 신경망 모델을 구축한다.

구체적으로 설명하면, 주요 하이퍼파라미터는 학습율, 총 반복횟수, 3차원 포인트 클라우드 수량, 및 감쇠지수를 포함한다.

구체적으로 설명하면, 하이퍼파라미터 조정 절차는 아래와 같다. 우선 3차원 포인트 클라우드 수량을 확정하고, 그 다음에 학습율을 조정하고, 다시 한번 총 반복횟수를 확정하고, 마지막으로 감쇠지수를 조정한다.

구체적으로 설명하면, 학습율은 가중된 파라미터의 업데이트 속도를 제어할 수 있다. 모델 훈련과정에서 높은 학습율을 설정한다면 모델에 최적 결과를 놓칠 수 있어서 과적합 현상이 발생할 가능성이 높다. 낮은 학습율을 설정한다면 학습속도를 느리게 만들 수 있다. 따라서 경험과 끊임없는 실험에 따라 학습율을 설정해야 한다.

구체적으로 설명하면, 총 반복횟수는 훈련 세트가 신경망에 입력하고 훈련한 횟수를 의미한다. 시험의 오류율과 훈련의 오류율 간의 차이가 작을 경우에 반복횟수가 적당한 것으로 간주한다. 시험 오류율이 작아지다가 커질 경우에 반복횟수가 너무 크다는 것을 의미한다. 이때 반복횟수를 줄여야 한다. 그렇지 않으면 과적합 현상이 나타날 수 있다.

구체적으로 설명하면, 3차원 포인트 클라우드 수량은 훈련 모델에 입력한 클라우드 수량을 의미한다. 데이터 세트의 3차원 포인트 클라우드 수를 계산하여 결정된다.

구체적으로 설명하면, 감쇠지수는 학습율 과다 또는 과소 문제를 해결하기 위해 설정한 것이다. 반복 과정에서 학습률의 크기는 지속적으로 조정된다.

구체적으로 설명하면, 학습율 과다 문제를 예방하기 위해, 최적점에 달할 때 반복되고 모델이 흔들리는 현상이 발생할 가능성이 높다. 학습율이 훈련 횟수에 따라 기하급수적으로 하강할 수 있도록 기울기 하강 알고리즘의 학습 보폭을 수렴한다.

구체적으로 설명하면, 본 실시예가 하이퍼파라미터를 조정한 주요 근거는 하이퍼파라미터를 다르게 설정할 경우 모델이 검증 세트에서 측정 성능, 즉 인식 효율, 정확율 상승 곡선의 최대치와 손실값 하강 곡선의 평온도와 수렴성이다.

시험 세트 데이터에 의하여 최적 모델에 대한 시험을 실시한다. 다양한 수치 평가 지표를 출력하여 예상치에 부합하는지 여부를 판단한다.

구체적으로 설명하면, 다양한 수치 평가 지표는 정확도, 정확률과 재현율을 포함한다.

구체적으로 설명하면, 획득한 정확도와 정확률이 80% 이상인지, 재현율이 85% 이상인지로 모델이 예상치에 도달했는지를 알 수 있다.

절차6. 체적 디스플레이.

손상을 분할하고 배관 표면 파라미터를 의하여 손상 포인트 클라우드에 대한 좌표 변환을 진행하고 원본 손상 포인트 클라우드와 정합하여 완전한 손상 포인트 클라우드를 생성한다. 공회전 알고리즘을 활용하여 완전한 포인트 클라우드로 엔벨로프(envelop) 도면을 생성한다. 재구축 손상 체적에 대한 유효한 검증을 실시한다. 본 발명 방법의 처리 결과는 도 2와 같다. 도 2(a)는 PointNet++ 분할 후 나온 손상 포인트 클라우드 도면이며, 도 2(b)는 손상 포인트 좌표 변환과 정합이 적용된 클라우드 포인트 도면이며, 도 2(c)는 손상 체적 디스플레이 결과에 관한 도면이다. 구체적인 과정이 아래와 같다.

3.1 훈련이 완성된 PointNet++ 신경망을 활용함으로써 콘크리트배관 손상을 분할한다.

3.2 손상 3차원 포인트 클라우드 좌표 변환의 곡면 파라미터는 PointNet++로 분할된 정상 콘크리트배관 3차원 포인트 클라우드에서 얻게 된다.

3.3 좌표로 전환된 포인트 클라우드와 손상 포인트 클라우드를 정합한 후 공회전 알고리즘을 활용함으로써 3차원 포인트 클라우드에 대한 에지 검증으로 콘크리트배관 곡면의 재구축을 완성한다.

3.4 재구축 후 손상 체적에 대한 유효성 검증을 실시한다.

더 나아가면, 상기 3.3 좌표로 전환된 포인트 클라우드와 손상 포인트 클라우드를 정합하는 방법이 GICP 알고리즘을 사용한다. GICP 알고리즘은 ICP 알고리즘을 바탕으로 확률적 프레임 모델을 추가하고 관련 포인트 간의 강체 변환행렬을 구하는 동시에 무효한 정합 포인트의 역할을 없앨 수 있다.

더 나아가면, 상기 3.3 공회전 알고리즘이 공회전 반경 검사 포인트 클라우드의 에지 포인트를 제어함으로써 곡면 재구축을 완성한다.

더 나아가면, 상기 3.4 유효성 검증지표는 상대 오차치 또는 평균 상대 오차치이다. 상대 오차치 REV는 진실 체적과 시험 체적의 절대치와 진실 체적 간의 비율,

즉,

상기 평균 상대 오차치 MRE는 상대 오차치의 평균치이다.

그 중에 N 는 시험체적 수량을 가리켜 있으며, i는 시험 체적의 번호를 나타낸다.

본 발명은 전술한 실시예를 참조하여 상세하게 설명되었지만, 당업자라면 전술한 실시예에서 설명된 기술적 솔루션을 수정하거나 일부 기술적 특징에 대해 동등한 대체를 수행하는 것이 여전히 가능하다. 본 발명의 사상과 원리 내에서 이루어진 수정, 균등 대체, 개량 등은 본 발명의 보호 범위에 포함된다.

Claims (10)

1. PointNet++ 신경망 기반 콘크리트 배관 손상 인식 및 체적 디스플레이 방법으로서,
   S1. 콘크리트배관 손상 인식 3차원 포인트 클라우드 데이터 세트 구축: 콘크리트배관 손상 깊이 이미지를 수집하여 3차원 포인트 클라우드 데이터 세트를 얻는 절차;
   S2. 데이터 처리 및 구분: 절차 S1을 거쳐 얻은 3차원 포인트 클라우드 데이터 세트를 대상으로 분류 표시를 하고 데이터 보강 방법을 활용하여 확장하고 마지막으로 데이터를 훈련 세트, 검증 세트와 시험 세트로 나누는 절차;
   S3. PointNet++ 신경망 모델의 구축 및 훈련: PointNet++ 신경망 모델을 구축하고 가우시안 모형을 활용하여 모델에 대한 초기화를 진행하며, 하이퍼파라미터를 설정하고 훈련 세트를 PointNet++ 신경망 모델에 도입하고 모델을 훈련시키는 절차;
   S4. 파라미터 조정: 순서대로 하이퍼파라미터를 조정하고, 검증 세트의 데이터를 모델에 도입하여 하이퍼파라미터가 적용된 모델의 손실치 및 정확률의 변화 곡선을 비교해야 하고, 최적 하이퍼파라미터를 찾아서 최적 PointNet++ 신경망 모델 구축하는 절차;
   S5. 모델 테스트: 시험 세트를 최적 PointNet++ 신경망 모델에 도입하여 테스트를 진행하고 수치 평가 지표를 출력하여 예상치에 도달했는지 여부를 판단하는 절차; 및
   S6. 체적 디스플레이: 손상을 분할하며 배관 표면의 파라미터가 적용된 손상 포인트 클라우드를 좌표로 전환하고 원본 손상 포인트 클라우드에 맞춰서 공회전 알고리즘이 3차원 완전한 손상 포인트 클라우드의 에지 검출을 진행하고. 콘크리트배관 손상 3차원 곡면 재구축을 완성하며 재구축의 손상 체적에 대한 유효성 검증을 진행하고 체적 디스플레이를 완성하는 절차를 포함하는 것을 특징으로 하는 PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법.
2. 청구항 1에 있어서,
   상기 절차 S1에서 콘크리트배관 손상 인식 3차원 포인트 클라우드 데이터 획득 방법은,
   S11. 깊이 카메라를 통해 콘크리트배관 손상 깊이 이미지를 수집하고 원본 깊이 데이터 세트를 얻는 절차;
   S12. 데이터 수집된 깊이 이미지의 해상도가 640×576 픽셀의 이미지로 전환되는 절차; 및
   S13. 매트랩(matlab)을 사용하여 깊이 카메라에 대한 교정을 진행하는데, 카메라의 내부 기준 파라미터를 세계적 좌표가 적용된 3차원 포인트 클라우드로 전환하여 3차원 포인트 클라우드 데이터 세트를 얻는 절차를 포함하는 것을 특징으로 하는 PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법.
3. 청구항 1에 있어서,
   상기 절차 S2에 따른 분류 표시는 정상 또는 파손으로 분류되며,
   상기 데이터 보강 방법은 평행이동, 크기조절, 회전 변환, 대칭 변환, 신축 변환 또는 진동 변환의 방법을 포함하고,
   상기 데이터세트 구분에 있어서 파이썬(python) 분류 프로그램으로 데이트 세트를 6：3：1의 비율로 훈련 세트, 검증 세트와 시험 세트로 나누게 되는 것을 특징으로 하는 PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법.
4. 청구항 1에 있어서,
   상기 절차 S3에서 가우시안 모형은 고정 평균치 및 표준편차의 가우스 분포에서 평가지표의 가중치를 얻게 되며, 상기 하이퍼파라미터는 학습율, 총 반복횟수, 3차원 포인트 클라우드 수량 및 감쇠율을 포함하는 것을 특징으로 하는 PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법.
5. 청구항 1에 있어서,
   상기 절차 S5에서 상기 수치 평가 지표는 정확도, 정확률 및 재현율을 포함하는 것을 특징으로 하는 PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법.
6. 청구항 1에 있어서,
   상기 절차 S6에서,
   S61. 훈련이 완료된 PointNet++신경망이 콘크리트배관 손상을 분할하는 절차;
   S62. 손상된 포인트 클라우드의 전표 변환: PointNet++로 분할된 정상적인 콘크리트배관 손상의 3차원 포인트 클라우드를 통해 손상된 포인트 클라우드의 곡면 파라미터를 얻는 절차; 및
   S63. 전환된 포인트 클라우드와 손상 클라우드 포인트에 맞추고 공회전 알고리즘을 활용하여 3차원 완전히 손상된 클라우드 포인트에 대한 에지검출을 진행하며, 이를 통해 콘크리트배관에 대한 곡면 재구축을 완성하고 재구축된 파손 부분의 체적에 대한 유효성 검증을 실시하여 체적 디스플레이를 완성하는 절차를 포함하는 것을 특징으로 하는 PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법.
7. 청구항 6에 있어서,
   상기 절차 S63는 좌표 전환 클라우드 포인트와 파손 클라우드 포인트의 정합 방법은 GICP 알고리즘인 것을 특징으로 하는 PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법.
8. 청구항 6에 있어서,
   상기 절차 S63는 유효성 검증의 평가 지표는 상대오차와 평균 상대오차를 포함하는 것을 특징으로 하는 PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법.
9. 청구항 6에 있어서,
   상기 절차 S63는 공회전 알고리즘을 활용하여 공회전 검중 클라우드 포인트의 에지 포인트를 제어하고 곡면 재구축을 완성하는 것을 특징으로 하는 PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법.
10. 청구항 8에 있어서,
    아래와 같은 특징을 가지는 것을 특징으로 하는 PointNet++ 신경망 기반 콘크리트배관 손상 인식 및 체적 디스플레이 방법.
    상대 오차 REV는 진실 체적과 시험 체적의 절대치와 진실 체적 간의 비율,
    즉,
    
    상기 평균 상대오차 MRE는 상대오차치의 평균치이다.