KR102481367B1 - 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램 - Google Patents

Abstract

포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램이 제공된다. 본 발명의 다양한 실시예에 따른 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법은 소정의 지역에 대한 포인트 클라우드 데이터를 수집하는 단계, 기 생성된 지표면 맵을 이용하여 상기 수집된 포인트 클라우드 데이터로부터 지표면 데이터를 추출하는 단계 및 상기 수집된 포인트 클라우드 데이터 및 상기 추출된 지표면 데이터를 학습 데이터로 하여 인공지능 모델을 학습시키는 단계를 포함한다.

Description

포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR TRAINING ARTIFICIAL INTELLIGENCE MODEL FOR GENERATING SURFACE DATA FROM POINT CLOUD DATA}

본 발명의 다양한 실시예는 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램에 관한 것이다.

차량을 운전하는 사용자들의 편의를 위하여, 각종 센서와 전자 장치 등(예: 차량 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 구비되고 있는 추세이며, 특히, 운전자의 개입 없이 주변 환경을 인식하고, 인식된 주변 환경에 따라 스스로 주어진 목적지까지 자동으로 주행하는 차량의 자율 주행 시스템(Autonomous driving System)에 대한 기술 개발이 활발하게 이루어지고 있다.

여기서, 자율주행 차량은 운전자의 개입 없이 주변 환경을 인식하고, 인식된 주변 환경에 따라 스스로 주어진 목적지까지 자동으로 주행하는 자율주행 시스템 기능을 탑재한 차량을 말한다.

운전자에 개입 없이 자율주행 차량의 주행 동작을 제어하기 위해서는 자율주행 차량의 주변 환경을 인식하는 과정이 필요하며, 특히, 완전 자율주행의 안전성 및 신뢰성을 확보하기 위해서는 고정밀 지도가 필수적인 바, 고정밀 지도의 중요성이 크게 부각되고 있다.

고정밀 지도는 센서를 통해 수집한 데이터를 활용하여 구축될 수 있으며, 다양한 기하학적 정보, 교통 규칙에 관한 정보 등을 포함할 수 있다. 예컨대, 라이다 센서를 활용하여 주변 환경에 대한 포인트 클라우드를 획득하고, 포인트 클라우드를 가공하여 다양한 정보를 포함한 고정밀 지도를 구축할 수 있다.

특정 지역에 대한 고정밀 지도를 구축하기 위해서는 특정 지역에 대한 지표면 데이터가 필수적인 바, 종래에는 센서(예: 라이다 센서)를 통해 수집된 포인트 클라우드 데이터(Point Cloud Data, PCD) 상에서 지표면에 해당하는 포인트들을 평면이나 곡면으로 가정한 모델로 추출하였으나, 모델과 현실의 괴리로 인해 부정확한 지표면 데이터가 추출된다는 문제가 있다.

이러한 문제를 개선하기 위하여, 최근에는 인공지능 모델 학습을 위해 대규모의 지표면 포인트를 레이블링(Labeling)함으로써 지표면 데이터를 생성하는 방법이 제안되고 있으나, 수동으로 전체 레이블링 작업을 하기 위해서 많은 시간이 소요되는 바, 데이터 확장성에 제한이 되는 문제가 있다.

본 발명이 해결하고자 하는 과제는 상술된 종래의 문제점을 해소하기 위한 목적으로, 소정의 지역에 대한 포인트 클라우드 데이터와 포인트 클라우드 데이터로부터 추출된 지표면 데이터를 학습 데이터로 하여 인공지능 모델을 학습시킴으로써, 포인트 클라우드 데이터로부터 지표면 데이터를 추출할 수 있는 인공지능 모델을 생성하고, 이를 통해 실시간으로 수집되는 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 보다 정확하고 신속하게 추출할 수 있도록 하는 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법은 컴퓨팅 장치에 의해 수행되는 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법에 있어서, 소정의 지역에 대한 포인트 클라우드 데이터를 수집하는 단계, 기 생성된 지표면 맵을 이용하여 상기 수집된 포인트 클라우드 데이터로부터 지표면 데이터를 추출하는 단계 및 상기 수집된 포인트 클라우드 데이터 및 상기 추출된 지표면 데이터를 학습 데이터로 하여 인공지능 모델을 학습시키는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 지표면 데이터를 추출하는 단계는, 상기 수집된 포인트 클라우드 데이터와 상기 기 생성된 지표면 맵 간의 캘리브레이션(Calibration)을 통해 상기 수집된 포인트 클라우드 데이터의 좌표계와 상기 기 생성된 지표면 맵의 좌표계를 일치시키는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 지표면 데이터를 추출하는 단계는, 상기 수집된 포인트 클라우드 데이터와 상기 기 생성된 지표면 맵의 높이 차이에 관한 파라미터를 추출하는 단계, 상기 추출된 파라미터를 이용하여 상기 수집된 포인트 클라우드 데이터와 상기 기 생성된 지표면 맵 간의 일치율을 산출하는 단계, 상기 산출된 일치율을 이용하여 상기 수집된 포인트 클라우드 데이터를 보정하는 단계 및 상기 기 생성된 지표면 맵을 이용하여 상기 보정된 포인트 클라우드 데이터로부터 지표면 데이터를 추출하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 파라미터를 추출하는 단계는, 상기 수집된 포인트 클라우드 데이터에 포함된 제1 포인트와 상기 기 생성된 지표면 맵에 포함된 제2 포인트 - 상기 기 생성된 지표면 맵에 포함된 제2 포인트는 상기 기 생성된 지표면 맵에 포함된 복수의 포인트 중 상기 제1 포인트와 XY 평면 상에 최단 거리에 위치하는 포인트임 - 간의 높이 차이를 산출하는 단계 및 상기 산출된 높이 차이를 표준화하여 상기 제1 포인트에 대응하는 파라미터를 추출하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 일치율을 산출하는 단계는, 상기 수집된 포인트 클라우드 데이터와 상기 기 생성된 지표면 맵 간의 일치율로서, 상기 수집된 포인트 클라우드 데이터에 포함된 전체 포인트 수 대비 상기 추출된 파라미터가 기준 값 이하인 포인트 수의 비율을 산출하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 수집된 포인트 클라우드 데이터를 보정하는 단계는, 상기 수집된 포인트 클라우드 데이터에 대한 보정 - 상기 수집된 포인트 클라우드 데이터에 대한 보정은 상기 수집된 포인트 클라우드 데이터를 X 축, Y 축 및 Z 축 중 적어도 하나의 축 방향으로 임의의 크기만큼 평행 이동시키거나 X 축, Y 축 및 Z 축 중 적어도 하나의 축을 기준으로 임의의 크기만큼 회전 이동시키는 보정을 포함함 - 을 수행함에 따른 일치율 변화량을 산출하는 단계 및 상기 산출된 일치율 변화량이 기 설정된 값 이상인 경우 상기 수집된 포인트 클라우드 데이터에 대한 보정을 채택하고, 상기 산출된 일치율 변화량이 상기 기 설정된 값 미만인 경우 상기 수집된 포인트 클라우드 데이터에 대한 보정을 철회하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 지표면 데이터를 추출하는 단계는, 상기 보정된 포인트 클라우드 데이터에 포함된 복수의 제1 포인트 중 상기 기 생성된 지표면 맵에 포함된 복수의 제2 포인트에 대응되는 제1 포인트만을 추출하는 단계 및 상기 추출된 제1 포인트를 이용하여 지표면 데이터를 생성하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 인공지능 모델을 학습시키는 단계는, 상기 수집된 포인트 클라우드 데이터를 입력 데이터로 하고, 상기 추출된 지표면 데이터를 정답 데이터로 하여 지도 학습 방법에 따라 상기 인공지능 모델을 학습시키는 단계를 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법을 수행하는 컴퓨팅 장치는 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load) 되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 소정의 지역에 대한 포인트 클라우드 데이터를 수집하는 인스트럭션(instruction), 기 생성된 지표면 맵을 이용하여 상기 수집된 포인트 클라우드 데이터로부터 지표면 데이터를 추출하는 인스트럭션 및 상기 수집된 포인트 클라우드 데이터 및 상기 추출된 지표면 데이터를 학습 데이터로 하여 인공지능 모델을 학습시키는 인스트럭션을 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터프로그램은 컴퓨팅 장치와 결합되어, 소정의 지역에 대한 포인트 클라우드 데이터를 수집하는 단계, 기 생성된 지표면 맵을 이용하여 상기 수집된 포인트 클라우드 데이터로부터 지표면 데이터를 추출하는 단계 및 상기 수집된 포인트 클라우드 데이터 및 상기 추출된 지표면 데이터를 학습 데이터로 하여 인공지능 모델을 학습시키는 단계를 포함하는 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법을 실행시키기 위하여 컴퓨팅 장치로 판독 가능한 기록매체에 저장될 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 다양한 실시예에 따르면, 소정의 지역에 대한 포인트 클라우드 데이터와 포인트 클라우드 데이터로부터 추출된 지표면 데이터를 학습 데이터로 하여 인공지능 모델을 학습시킴으로써, 포인트 클라우드 데이터로부터 지표면 데이터를 추출할 수 있는 인공지능 모델을 생성하고, 이를 통해 실시간으로 수집되는 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 보다 정확하고 신속하게 추출할 수 있다는 이점이 있다.

또한, 데이터 확장을 위해 사용자가 수동으로 레이블링 작업을 수행할 필요 없이, 자동으로 새로운 지역에 대한 지표면 데이터를 획득할 수 있다는 이점이 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 자율주행 시스템을 도시한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법을 수행하는 컴퓨팅 장치의 하드웨어 구성도이다.
도 3은 본 발명의 또 다른 실시예에 따른 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법의 순서도이다.
도 4는 다양한 실시예에서, 포인트 클라우드 데이터를 전처리하는 방법을 설명하기 위한 순서도이다.
도 5는 다양한 실시예에서, 포인트 클라우드 데이터의 전처리 과정 중 튜닝 과정을 수행하는 방법을 설명하기 위한 순서도이다.
도 6은 다양한 실시예에 적용 가능한 원본의 포인트 클라우드 데이터를 예시적으로 도시한 도면이다.
도 7은 다양한 실시예에 적용 가능한 전처리된 포인트 클라우드 데이터를 예시적으로 도시한 도면이다.
도 8은 다양한 실시예에 적용 가능한 전처리된 포인트 클라우드 데이터로부터 추출된 지표면 데이터를 예시적으로 도시한 도면이다.
도 9는 다양한 실시예에 적용 가능한 인공지능 모델의 결과 데이터를 예시적으로 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

도 1은 본 발명의 일 실시예에 따른 자율주행 시스템을 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 자율주행 시스템은 컴퓨팅 장치(100), 사용자 단말(200), 외부 서버(300) 및 네트워크(400)를 포함할 수 있다.

여기서, 도 1에 도시된 자율주행 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.

일 실시예에서, 컴퓨팅 장치(100)는 차량(10)이 주행하는 지역에 대응하는 고정밀 지도를 생성할 수 있으며, 고정밀 지도를 기반으로 차량(10)에 대한 자율주행 제어를 수행할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 지역에 대한 고정밀 지도를 생성하기 위하여, 소정의 지역에 대한 지표면 데이터(예: 지표면에 대응되는 복수의 포인트를 포함하는 지표면 포인트 클라우드 데이터)를 생성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델을 통해 실시간으로 수집되는 포인트 클라우드 데이터로부터 지표면 데이터를 추출할 수 있으며, 이를 위해, 컴퓨팅 장치(100)는 지표면 데이터를 생성하기 위한 인공지능 모델을 구축할 수 있다.

예컨대, 컴퓨팅 장치(100)는 차량(10)의 센서를 통해 수집되는 포인트 클라우드 데이터와 포인트 클라우드 데이터로부터 추출된 지표면 데이터를 학습 데이터로 하여 인공지능 모델을 학습시킴으로써, 포인트 클라우드 데이터를 입력 데이터로 하여 결과 데이터로서 지표면 데이터를 추출하는 인공지능 모델을 구축할 수 있다.

여기서, 컴퓨팅 장치(100)는 차량(10) 내부에 구비되며, 차량(10)에 대한 자율주행 제어만을 수행하는 형태로 구현될 수 있으나, 이에 한정되지 않고, 경우에 따라 컴퓨팅 장치(100)는 차량(10) 외부에 별도로 구비되는 중앙 서버로서, 소정의 지역 내에 위치하는 모든 차량에 대한 자율주행 제어를 수행하는 형태로 구현될 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 네트워크(400)를 통해 사용자 단말(200)과 연결될 수 있으며, 사용자 단말(200)로 각종 정보(예: 소정의 지역에 대한 고정밀 지도, 자율주행 제어를 위한 제어명령 및 제어명령에 따른 차량(10)의 동작 정보 등)를 제공할 수 있다.

여기서, 사용자 단말(200)은 차량(10) 내에 구비되는 인포테인먼트 시스템 또는 차량(10)의 탑승자(예: 차량 운전자, 동승자 등)의 스마트폰(Smartphone) 일 수 있으나, 이에 한정되지 않고, 사용자 단말(200)은 휴대성과 이동성이 보장되는 무선 통신 장치로서, 차량(10) 내부에 탑승하는 탑승자가 소지할 수 있는 휴대용 단말일 수 있다. 예를 들어, 사용자 단말(200)은 내비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트 패드(Smartpad), 태블릿 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 여기서, 네트워크(400)는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미할 수 있다. 예를 들어, 네트워크(400)는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함할 수 있다.

또한, 여기서, 무선 데이터 통신망은 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등을 포함할 수 있으나, 이에 한정되지는 않는다.

일 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 컴퓨팅 장치(100)와 연결될 수 있으며, 컴퓨팅 장치(100)가 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법을 수행하기 위해 필요한 각종 정보 및 데이터(예: 포인트 클라우드 데이터 및 지표면 데이터)를 저장 및 관리하거나, 컴퓨팅 장치(100)로부터 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법을 수행함에 따라 생성되는 각종 정보 및 데이터(예: 지표면 데이터 및 학습 데이터 등)을 제공받아 저장 및 관리할 수 있다. 예를 들어, 외부 서버(300)는 컴퓨팅 장치(100)의 외부에 별도로 구비되는 저장 서버일 수 있으나, 이에 한정되지 않는다. 이하, 도 2를 참조하여, 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법을 수행하는 컴퓨팅 장치(100)의 하드웨어 구성에 대해 설명하도록 한다.

도 2는 본 발명의 다른 실시예에 따른 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법을 수행하는 컴퓨팅 장치의 하드웨어 구성도이다.

도 2를 참조하면, 다양한 실시예에서, 컴퓨팅 장치(100)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.

또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.

다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.

버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.

스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 프로세스를 수행하는 경우, 스토리지(150)는 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 프로세스를 제공하기 위하여 필요한 각종 정보를 저장할 수 있다.

스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.

일 실시예에서, 컴퓨터 프로그램(151)은 소정의 지역에 대한 포인트 클라우드 데이터를 수집하는 단계, 기 생성된 지표면 맵을 이용하여 수집된 포인트 클라우드 데이터로부터 지표면 데이터를 추출하는 단계 및 수집된 포인트 클라우드 데이터 및 추출된 지표면 데이터를 학습 데이터로 하여 인공지능 모델을 학습시키는 단계를 포함하는 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 3 내지 9를 참조하여, 컴퓨팅 장치(100)에 의해 수행되는 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법에 대해 설명하도록 한다.

도 3은 본 발명의 또 다른 실시예에 따른 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법의 순서도이다.

도 3을 참조하면, S110 단계에서, 컴퓨팅 장치(100)는 소정의 지역에 대한 포인트 클라우드 데이터(Raw Point Cloud Data)(예: 도 6의 20)를 수집할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 소정의 지역 내에 위치하는 센서 데이터 수집 차량 또는 소정의 지역 내에 구비되는 센서(예: 라이다(Lidar), 레이더(Radar), 심도 카메라(Depth camera))를 통해 소정의 지역을 스캔함에 따라 생성되는 3차원 포인트 클라우드 데이터를 수집할 수 있으나, 이에 한정되지 않는다.

S120 단계에서, 컴퓨팅 장치(100)는 S110 단계를 거쳐 수집된 포인트 클라우드 데이터로부터 지표면 데이터(Surface Point Cloud Data)를 추출할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 기 생성된 지표면 맵(Surface map)을 이용하여 포인트 클라우드 데이터로부터 지표면 데이터를 추출할 수 있다.

여기서, 기 생성된 지표면 맵은 소정의 지역의 지표면에 대한 정보를 포함하는 포인트 클라우드 격자맵으로, 복수의 격자 각각에 포함된 포인트의 좌표 정보와 고도 정보를 포함하는 지표면 포인트 클라우드 데이터일 수 있으나, 이에 한정되지 않는다.

또한, 여기서, 기 생성된 지표면 맵은 소정의 지역에 대하여 기 수집된 포인트 클라우드 데이터를 후 처리함에 따라 생성된 것일 수 있다. 예컨대, 지표면 맵은 사용자로부터 소정의 지역에 대하여 기 수집된 포인트 클라우드 데이터에 포함된 복수의 포인트 중 지표면에 대응되는 포인트들을 입력받은 후, 사용자로부터 입력받은 포인트 즉, 포인트 클라우드 데이터로부터 지표면에 대응되는 포인트들만을 추출하여 생성해둔 맵일 수 있으나, 이에 한정되지 않는다.

이때, 컴퓨팅 장치(100)는 소정의 지역에 대하여 수집된 포인트 클라우드 데이터로부터 지표면 데이터를 보다 정확하게 추출하기 위한 목적으로, 포인트 클라우드 데이터에 대한 전처리 작업을 수행함으로써, 전처리된 포인트 클라우드 데이터(예: 도 7의 30)를 생성할 수 있다. 이하, 도 4 및 5를 참조하여 보다 구체적으로 설명하도록 한다.

도 4는 다양한 실시예에서, 포인트 클라우드 데이터를 전처리하는 방법을 설명하기 위한 순서도이다.

도 4를 참조하면, S210 단계에서, 컴퓨팅 장치(100)는 포인트 클라우드 데이터에 대한 전처리 작업으로, 포인트 클라우드 데이터와 지표면 맵 간의 캘리브레이션(Calibration)을 수행할 수 있다.

소정의 지역에 대하여 수집된 포인트 클라우드 데이터의 경우, 포인트 클라우드 데이터의 수집 환경의 차이로 인해 포인트 클라우드 데이터와 지표면 맵의 좌표계가 상이할 수 있다. 예컨대, 포인트 클라우드 데이터의 수집 시점, 포인트 클라우드 데이터를 수집하는 센서가 구비된 차량의 크기, 부착/설치 위치, 차량의 흔들림 및 도로의 환경 변화 등으로 인해 지표면 맵의 좌표계와 상이한 좌표계를 가지는 포인트 클라우드 데이터가 수집될 수 있다.

이와 같이, 포인트 클라우드 데이터와 지표면 맵이 상이한 좌표계를 가질 경우, 지표면 맵을 이용하여 포인트 클라우드 데이터로부터 정확한 지표면 데이터를 추출할 수 없다는 문제가 있다.

이러한 점을 고려하여, 컴퓨팅 장치(100)는 포인트 클라우드 데이터와 지표면 맵 간의 캘리브레이션을 수행하여 포인트 클라우드 데이터의 좌표계와 지표면 맵의 좌표계를 일치시킴으로써, 포인트 클라우드 데이터로부터 정확한 지표면 데이터를 추출할 수 있는 환경을 구축할 수 있다.

여기서, 포인트 클라우드 데이터와 지표면 맵 간의 캘리브레이션을 수행하는 방법은 다양한 기술들이 공지되어 있고, 이러한 공지 기술들을 선택적으로 적용할 수 있는 바, 본 명세서에서는 캘리브레이션 방법에 대하여 구체적으로 한정하지 않는다.

예컨대, 컴퓨팅 장치(100)는 캘리브레이션을 위해 사전에 정의된 변환 행렬을 통해 포인트 클라우드 데이터와 지표면 맵 간의 캘리브레이션을 수행하거나, 포인트 클라우드 데이터에 포함된 지표면의 위치와 지표면 맵에 포함된 지표면의 위치를 이용하여 변환 행렬을 계산하고, 계산된 변환 행렬을 이용하여 포인트 클라우드 데이터와 지표면 맵 간의 캘리브레이션을 수행함으로써, 포인트 클라우드 데이터의 좌표계를 지표면 맵의 좌표계로 변환시킬 수 있다.

또한, 컴퓨팅 장치(100)는 포인트 클라우드 데이터에 포함된 복수의 포인트들을 X 축 및 Y 축 중 적어도 하나의 축 방향으로 평행이동 시키거나 Z 축을 중심으로 회전이동 시킴으로써, 포인트 클라우드 데이터와 지표면 맵 간의 캘리브레이션을 수행할 수 있으나, 이에 한정되지 않는다.

S220 단계에서, 컴퓨팅 장치(100)는 포인트 클라우드 데이터에 대한 전처리 작업으로, 포인트 클라우드 데이터에 대한 튜닝(Tuning)을 수행할 수 있다.

정교한 지표면 데이터를 추출하기 위해 포인트 클라우드 데이터와 지표면 맵 간의 캘리브레이션을 수행하더라도, 포인트 클라우드 데이터에 포함된 각종 노이즈나 측위 오차 또는 포인트 클라우드 데이터와 지표면 맵 간의 매칭 오차로 인해 지표면 데이터 추출 성능이 저하될 수 있는 바, 컴퓨팅 장치(100)는 포인트 클라우드 데이터에 대한 튜닝을 수행하여 포인트 클라우드 데이터를 보다 정교하게 보정함으로써, 지표면 데이터 추출 성능이 저하되는 것을 방지할 수 있다. 이하, 도 5를 참조하여 설명하도록 한다.

도 5는 다양한 실시예에서, 포인트 클라우드 데이터의 전처리 과정 중 튜닝 과정을 수행하는 방법을 설명하기 위한 순서도이다.

도 5를 참조하면, S310 단계에서, 컴퓨팅 장치(100)는 포인트 클라우드 데이터와 지표면 맵의 높이 차이에 관한 파라미터를 추출할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 하기의 수학식 1을 이용하여 포인트 클라우드 데이터와 지표면 맵의 높이 차이에 관한 파라미터(d)를 추출할 수 있다.

<수학식 1>

여기서,

는 포인트 클라우드 데이터의 제1 포인트에 대응되는 파라미터,

는 제1 포인트 및 제1 포인트에 대응되는 지표면 맵의 제2 포인트 간의 높이 차이,

는 제1 포인트의 X 좌표 및

는 제1 포인트의 Y 좌표를 의미할 수 있다.

즉, 컴퓨팅 장치(100)는 포인트 클라우드 데이터에 포함된 제1 포인트와 지표면 맵에 포함된 복수의 제2 포인트 중 제1 포인트에 대응되는 제2 포인트 간의 높이 차이를 산출할 수 있고, 산출된 높이 차이(크기 값)를 표준화함으로써, 제1 포인트에 대응하는 파라미터(d)를 추출할 수 있으며, 상기의 과정을 거쳐 포인트 클라우드 데이터에 포함된 모든 제1 포인트 각각에 대응하는 파라미터를 산출할 수 있다.

여기서, 지표면 맵에 포함된 복수의 제2 포인트 중 제1 포인트에 대응되는 제2 포인트는 지표면 맵에 포함된 복수의 포인트 중 제1 포인트와 XY 평면 상에 최단 거리에 위치하는 포인트를 의미할 수 있으나, 이에 한정되지 않는다.

S320 단계에서, 컴퓨팅 장치(100)는 S310 단계를 거쳐 추출된 파라미터(d)를 이용하여 포인트 클라우드 데이터와 지표면 맵 간의 일치율을 산출할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 하기의 수학식 2를 이용하여 포인트 클라우드 데이터와 지표면 맵 간의 일치율(r)을 산출할 수 있다.

<수학식 2>

여기서,

은 포인트 클라우드 데이터와 지표면 맵 간의 일치율,

은 포인트 클라우드 데이터에 포함된 복수의 제1 포인트 중 파라미터가 기준 값 이하인 제1 포인트의 수 및

은 포인트 클라우드 데이터에 포함된 복수의 제1 포인트 중 파라미터가 기준 값을 초과하는 제1 포인트의 수를 의미할 수 있다.

즉, 컴퓨팅 장치(100)는 포인트 클라우드 데이터에 포함된 전체 제1 포인트 수 대비 파라미터가 기준 값 이하인 제1 포인트의 수의 비율 즉, 포인트 클라우드 데이터와 지표면 맵 간의 일치율로서, 포인트 클라우드 데이터에 포함된 복수의 제1 포인트 중 지표면으로 판단되는 제1 포인트의 비율을 산출할 수 있다.

S330 단계에서, 컴퓨팅 장치(100)는 포인트 클라우드 데이터에 대한 보정을 수행할 수 있다. 예컨대, 컴퓨팅 장치(100)는 포인트 클라우드 데이터를 X 축, Y 축 및 Z 축 중 적어도 하나의 축 방향으로 임의의 크기만큼 평행 이동(translation) 시키거나 X 축, Y 축 및 Z 축 중 적어도 하나의 축을 기준으로 임의의 크기만큼 회전 이동(rotation) 시킬 수 있으나, 이에 한정되지 않는다.

일 실시예로, 컴퓨팅 장치(100)는 앞서 캘리브레이션 단계에서 수행한 평행 이동 및 회전 이동과는 상이한 평행 이동 및 회전 이동을 수행함으로써 포인트 클라우드 데이터에 대한 보정을 수행할 수 있다. 예컨대, 컴퓨팅 장치(100)가 포인트 클라우드 데이터에 포함된 복수의 포인트들을 X 축 및 Y 축 방향으로 평행이동 시키고 Z 축을 중심으로 회전이동 시켜 포인트 클라우드 데이터와 지표면 맵 간의 캘리브레이션을 수행한 경우, X 축 및 Y 축을 기준으로 한 회전이동과 Z 축 방향으로의 평행이동 시킴으로써, 포인트 클라우드 데이터에 대한 보정을 수행할 수 있으나, 이에 한정되지 않는다.

S340 단계에서, 컴퓨팅 장치(100)는 S330 단계를 거쳐 포인트 클라우드 데이터에 대한 보정을 수행함에 따른 일치율 변화량을 산출할 수 있고, 산출된 일치율 변화량이 기 설정된 값 이상인지를 판단할 수 있다. 예컨대, 여기서 일치율 변화량은 일치율의 증가량일 수 있고, 기 설정된 값은 양의 값일 수 있다.

예컨대, 컴퓨팅 장치(100)는 보정 전 포인트 클라우드 데이터와 지표면 맵 간의 일치율인 제1 일치율과 보정된 포인트 클라우드 데이터와 지표면 맵 간의 일치율인 제2 일치율 간의 차이를 이용하여 포인트 클라우드 데이터가 보정됨에 따른 일치율 변화량을 산출할 수 있고, 산출된 일치율 변화량이 기 설정된 값(예: 1%, 3%, 5%, 10% 등) 이상인지를 판단할 수 있다.

이때, 컴퓨팅 장치(100)는 일치율 변화량이 기 설정된 값 이상인 경우(즉, 기 설정된 수준 이상으로 일치율이 증가하는 경우), S330 단계를 거쳐 수행된 포인트 클라우드 데이터에 대한 보정을 채택함으로써, 포인트 클라우드 데이터를 보정하여 보정된 포인트 클라우드 데이터를 생성할 수 있고, 이후 S330 단계를 재 수행함으로써, 보정된 포인트 클라우드에 대한 재 보정을 수행할 수 있다.

즉, 컴퓨팅 장치(100)는 일치율 변화량이 기 설정된 값 미만이 될 때까지 S330 단계 및 S340 단계를 반복적으로 수행 즉, 포인트 클라우드 데이터를 보정함에 따른 일치율 변화량을 지속적으로 체크하고, 일치율 변화량이 기 설정된 값 미만이 될 때까지 포인트 클라우드 데이터에 대한 보정을 반복적으로 수행할 수 있다.

S350 단계에서, 컴퓨팅 장치(100)는 S340 단계를 거쳐 산출된 일치율 변화량이 기 설정된 값 미만인 경우(즉, 기 설정된 수준 미만으로 일치율이 증가하거나, 오히려 일치율이 감소하는 경우), S330 단계에서 수행된 보정을 철회하고, 현재 상태의 포인트 클라우드 데이터(예: 가장 마지막 보정을 수행하기 이전의 포인트 클라우드 데이터)를 확정하여 지표면 데이터를 추출하기 위한 최종 버전의 포인트 클라우드 데이터로 채택할 수 있다.

다시, 도 4를 참조하면, S230 단계에서, 컴퓨팅 장치(100)는 지표면 맵을 이용하여, 보정된 포인트 클라우드 데이터로부터 지표면 데이터(예: 도 8의 40)를 추출할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 보정된 포인트 클라우드 데이터에 포함된 복수의 제1 포인트 중 지표면 맵에 포함된 복수의 제2 포인트에 대응되는 제1 포인트를 선택하고, 선택된 제1 포인트만을 추출 즉, 보정된 포인트 클라우드 데이터에 포함된 복수의 제1 포인트 중 지표면에 대응되는 제1 포인트만을 추출할 수 있고, 추출된 제1 포인트만을 이용하여 지표면 데이터(지표면 포인트 클라우드 데이터)를 생성할 수 있다. 그러나, 이에 한정되지 않는다.

다시, 도 3를 참조하면, S130 단계에서, 컴퓨팅 장치(100)는 S110 단계를 거쳐 수집된 포인트 클라우드 데이터 및 S120 단계를 거쳐 추출된 지표면 데이터를 이용하여 인공지능 모델을 학습시킬 수 있다.

여기서, 인공지능 모델(예: 신경망)은 하나 이상의 네트워크 함수로 구성되며, 하나 이상의 네트워크 함수는 일반적으로 ‘노드’라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 ‘노드’들은 ‘뉴런(neuron)’들로 지칭될 수도 있다. 하나 이상의 네트워크 함수는 적어도 하나 이상의 노드들을 포함하여 구성된다. 하나 이상의 네트워크 함수를 구성하는 노드(또는 뉴런)들은 하나 이상의 ‘링크’에 의해 상호 연결될 수 있다.

인공지능 모델 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.

하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 인공지능 모델이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.

전술한 바와 같이, 인공지능 모델은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호 연결되어 인공지능 모델 내에서 입력 노드 및 출력 노드 관계를 형성한다. 인공지능 모델 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 인공지능 모델의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 인공지능 모델이 존재하는 경우, 두 개의 인공지능 모델들은 서로 상이한 것으로 인식될 수 있다.

인공지능 모델을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 인공지능 모델 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.

최초 입력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 인공지능 모델 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 인공지능 모델을 구성하는 노드들을 의미할 수 있다. 본 발명의 일 실시예에 따른 인공지능 모델은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 인공지능 모델일 수 있다.

인공지능 모델은 하나 이상의 히든 레이어를 포함할 수 있다. 히든 레이어의 히든 노드는 이전의 레이어의 출력과 주변 히든 노드의 출력을 입력으로 할 수 있다. 각 히든 레이어 별 히든 노드의 수는 동일할 수도 있고 상이할 수도 있다. 입력 레이어의 노드의 수는 입력 데이터의 데이터 필드의 수에 기초하여 결정될 수 있으며 히든 노드의 수와 동일할 수도 있고 상이할 수도 있다. 입력 레이어에 입력된 입력 데이터는 히든 레이어의 히든 노드에 의하여 연산될 수 있고 출력 레이어인 완전 연결 레이어(FCL: fully connected layer)에 의해 출력될 수 있다.

다양한 실시예에서, 인공지능 모델은 딥러닝(Deep learning) 모델일 수 있다. 예컨대, 인공지능 모델은 FCN, ResNet 50 모델 등 2차원 이미지의 분류 및 의미적 분할(semantic segmentation)을 수행하는 모델일 수 있으나, 이에 한정되지 않는다.

딥러닝 모델(예: 딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)은 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 인공지능 모델을 의미할 수 있다. 딥러닝 모델을 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다.

딥러닝 모델은 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있으나, 이에 한정되지 않는다.

다양한 실시예에서, 네트워크 함수는 오토 인코더를 포함할 수도 있다. 여기서, 오토 인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 인공 신경망의 일종일 수 있다.

오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. 각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 차원 감소 레이어와 차원 복원 레이어의 노드는 대칭일 수도 있고 아닐 수도 있다. 또한, 오토 인코더는 비선형 차원 감소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 남은 센서들의 수와 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 지역에 대하여 수집된 포인트 클라우드 데이터를 입력 데이터로 하고, 포인트 클라우드 데이터로부터 추출된 지표면 데이터를 정답 데이터로 하는 학습 데이터를 생성할 수 있고, 학습 데이터를 이용하여 지도 학습(Supervised learning) 방법에 따라 인공지능 모델을 학습시킴으로써, 실시간으로 수집되는 포인트 클라우드 데이터(예: 도 6의 20)를 입력으로 하여 지표면 데이터(예: 도 9의 50)를 추출하는 인공지능 모델을 구축할 수 있다.

일례로, 입력 데이터인 포인트 클라우드 데이터가 인공지능 모델에 입력되고, 인공지능 모델의 출력과 정답 데이터인 지표면 데이터를 비교함으로써, 오류(error)가 계산될 수 있다.

이후, 계산된 오류는 인공지능 모델에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 인공지능 모델의 각 레이어의 각 노드들의 연결 가중치가 업데이트될 수 있다. 여기서, 업데이트되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다.

입력 데이터에 대한 인공지능 모델의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 인공지능 모델의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 인공지능 모델의 학습 초기에는 높은 학습률을 사용하여 인공지능 모델이 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다.

인공지능 모델의 학습에서 일반적으로 학습 데이터는 실제 데이터(즉, 학습된 인공지능 모델을 이용하여 처리하고자 하는 데이터)의 부분집합일 수 있다. 따라서, 과적합(overfitting)과 같이 학습 데이터에 대한 오류는 감소하나 실제 데이터에 대해서는 오류가 증가하는 학습 사이클이 존재할 수 있다.

이러한 과적합을 막기 위하여 다양한 최적화 방법이 사용될 수 있다. 예컨대, 과적합을 막기 위해 학습 데이터를 증가시키거나, 레귤라이제이션(regularization), 학습의 과정에서 네트워크의 노드 일부를 생략하는 드롭아웃(dropout) 등의 방법이 적용될 수 있으나, 이에 한정되지 않는다.

전술한 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 컴퓨팅 장치
200 : 사용자 단말
300 : 외부 서버
400 : 네트워크

Claims (10)

1. 컴퓨팅 장치에 의해 수행되는 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법에 있어서,
   소정의 지역에 대한 포인트 클라우드 데이터를 수집하는 단계;
   기 생성된 지표면 맵 - 상기 기 생성된 지표면 맵은 상기 소정의 지역에 대하여 기 수집된 포인트 클라우드 데이터로부터 지표면에 대응되는 포인트들만을 추출하여 생성된 맵임 - 을 이용하여 상기 수집된 포인트 클라우드 데이터로부터 지표면 데이터를 추출하는 단계; 및
   상기 수집된 포인트 클라우드 데이터 및 상기 추출된 지표면 데이터를 학습 데이터로 하여 인공지능 모델을 학습시키는 단계를 포함하는,
   포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법.
2. 제1항에 있어서,
   상기 지표면 데이터를 추출하는 단계는,
   상기 수집된 포인트 클라우드 데이터와 상기 기 생성된 지표면 맵 간의 캘리브레이션(Calibration)을 통해 상기 수집된 포인트 클라우드 데이터의 좌표계와 상기 기 생성된 지표면 맵의 좌표계를 일치시키는 단계를 포함하는,
   포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법.
3. 컴퓨팅 장치에 의해 수행되는 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법에 있어서,
   소정의 지역에 대한 포인트 클라우드 데이터를 수집하는 단계;
   기 생성된 지표면 맵을 이용하여 상기 수집된 포인트 클라우드 데이터로부터 지표면 데이터를 추출하는 단계; 및
   상기 수집된 포인트 클라우드 데이터 및 상기 추출된 지표면 데이터를 학습 데이터로 하여 인공지능 모델을 학습시키는 단계를 포함하며,
   상기 지표면 데이터를 추출하는 단계는,
   상기 수집된 포인트 클라우드 데이터와 상기 기 생성된 지표면 맵의 높이 차이에 관한 파라미터를 추출하는 단계;
   상기 추출된 파라미터를 이용하여 상기 수집된 포인트 클라우드 데이터와 상기 기 생성된 지표면 맵 간의 일치율을 산출하는 단계;
   상기 산출된 일치율을 이용하여 상기 수집된 포인트 클라우드 데이터를 보정하는 단계; 및
   상기 기 생성된 지표면 맵을 이용하여 상기 보정된 포인트 클라우드 데이터로부터 지표면 데이터를 추출하는 단계를 포함하는,
   포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법.
4. 제3항에 있어서,
   상기 파라미터를 추출하는 단계는,
   상기 수집된 포인트 클라우드 데이터에 포함된 제1 포인트와 상기 기 생성된 지표면 맵에 포함된 제2 포인트 - 상기 기 생성된 지표면 맵에 포함된 제2 포인트는 상기 기 생성된 지표면 맵에 포함된 복수의 포인트 중 상기 제1 포인트와 XY 평면 상에 최단 거리에 위치하는 포인트임 - 간의 높이 차이를 산출하는 단계; 및
   상기 산출된 높이 차이를 표준화하여 상기 제1 포인트에 대응하는 파라미터를 추출하는 단계를 포함하는,
   포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법.
5. 제3항에 있어서,
   상기 일치율을 산출하는 단계는,
   상기 수집된 포인트 클라우드 데이터와 상기 기 생성된 지표면 맵 간의 일치율로서, 상기 수집된 포인트 클라우드 데이터에 포함된 전체 포인트 수 대비 상기 추출된 파라미터가 기준 값 이하인 포인트 수의 비율을 산출하는 단계를 포함하는,
   포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법.
6. 제3항에 있어서,
   상기 수집된 포인트 클라우드 데이터를 보정하는 단계는,
   상기 수집된 포인트 클라우드 데이터에 대한 보정 - 상기 수집된 포인트 클라우드 데이터에 대한 보정은 상기 수집된 포인트 클라우드 데이터를 X 축, Y 축 및 Z 축 중 적어도 하나의 축 방향으로 임의의 크기만큼 평행 이동시키거나 X 축, Y 축 및 Z 축 중 적어도 하나의 축을 기준으로 임의의 크기만큼 회전 이동시키는 보정을 포함함 - 을 수행함에 따른 일치율 변화량을 산출하는 단계; 및
   상기 산출된 일치율 변화량이 기 설정된 값 이상인 경우 상기 수집된 포인트 클라우드 데이터에 대한 보정을 채택하고, 상기 산출된 일치율 변화량이 상기 기 설정된 값 미만인 경우 상기 수집된 포인트 클라우드 데이터에 대한 보정을 철회하는 단계를 포함하는,
   포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법.
7. 제3항에 있어서,
   상기 지표면 데이터를 추출하는 단계는,
   상기 보정된 포인트 클라우드 데이터에 포함된 복수의 제1 포인트 중 상기 기 생성된 지표면 맵에 포함된 복수의 제2 포인트에 대응되는 제1 포인트만을 추출하는 단계; 및
   상기 추출된 제1 포인트를 이용하여 지표면 데이터를 생성하는 단계를 포함하는,
   포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법.
8. 제1항에 있어서,
   상기 인공지능 모델을 학습시키는 단계는,
   상기 수집된 포인트 클라우드 데이터를 입력 데이터로 하고, 상기 추출된 지표면 데이터를 정답 데이터로 하여 지도 학습 방법에 따라 상기 인공지능 모델을 학습시키는 단계를 포함하는,
   포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법.
9. 프로세서;
   네트워크 인터페이스;
   메모리; 및
   상기 메모리에 로드(load) 되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
   상기 프로세서는,
   상기 컴퓨터프로그램에 포함된 하나 이상의 인스트럭션을 실행함으로써, 제1항 또는 제3항의 방법을 수행하는,
   포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법을 수행하는 컴퓨팅 장치.
10. 컴퓨팅 장치와 결합되어,
    제1항 또는 제3항의 방법을 실행시키기 위하여 컴퓨팅 장치로 판독 가능한 기록매체에 저장된, 컴퓨터프로그램.

Images