WO2022145506A1

WO2022145506A1 - 데이터 취득 상황 정보를 포함하는 인공지능 학습용 계층적 데이터셋 생성 방법 및 시스템

Info

Publication number: WO2022145506A1
Application number: PCT/KR2020/019273
Authority: WO
Inventors: 민경원; 손행선; 이선영; 김윤정; 심영보
Original assignee: 한국전자기술연구원
Priority date: 2020-12-28
Filing date: 2020-12-29
Publication date: 2022-07-07
Also published as: US20240005197A1; KR20220094187A; KR102665684B1

Abstract

데이터 취득 상황 정보를 포함하는 인공지능 학습용 계층적 데이터셋 생성 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 GT 데이터셋 생성 방법은, 차량 데이터를 획득하여 저장하고, 차량에 설치된 센서에서 발생되는 센서 데이터를 획득하여 저장하며, 데이터 취득 당시의 상황에 대한 정보인 상황 정보를 생성하여 저장한다. 이에 의해, GT 디스크립터를 생성함에 있어 센서 데이터 취득 당시의 상황 정보를 디스크립터에 계층적으로 기술한 계층적 데이터셋을 통해, 다양한 취득 당시의 상황, 조건을 GT 기술자 상에서 용이하게 분석, 분류 가능하게 하여, 효율적으로 인공지능 네트워크를 학습시킴으로써, 궁극적으로 인공지능 네트워크가 높은 인식 성능을 갖을 수 있게 된다.

Description

데이터 취득 상황 정보를 포함하는 인공지능 학습용 계층적 데이터셋 생성 방법 및 시스템

본 발명은 학습용 GT 데이터셋 생성 기술에 관한 것으로, 더욱 상세하게는 자율주행을 위한 딥러닝 또는 머신러닝 등의 인공지능 네트워크를 학습시킴에 있어 필요한 데이터셋을 자동으로 생성하는 방법에 관한 것이다.

인공지능 네트워크를 학습함에 있어 다양한 방법들이 사용되고 있는데 대표적으로 사용되는 방법은 지도 학습(Supervised Learning) 방법이다.

이는 통산 참값을 가지고 있는 GT(Ground Truth)를 특정 상황 및 조건에서 취득된 센서 신호(통상 센서의 입력으로 시변하는 특성을 가지는 카메라, 라이다 등과 같은 2D 또는 3D 정보이며 레이더, 소리 등 기타 다른 센서에 대해서도 가능)와 동일 좌표계로 마킹하여 하나의 데이터셋을 구성하고, 인공지능 네트워크에 센서 신호를 입력하여 출력된 인공지능 네트워크의 판정 결과를 GT와 비교 평가하는 지도 과정을 특정 이하로 오류가 감소할 때 까지 반복적으로 수행하여 최종적으로 인공지능 네트워크의 주요 파라미터를 학습시키는 방법이다.

이러한 지도학습에 사용되는 인공지능 학습용 데이터셋은 도 1에 도시된 바와 같이 XML, JSON과 같은 디스크립션 언어를 이용하여 디스크립터(Descriptor) 형태로 기술된 GT와 센서 입력 정보의 쌍으로 제공된다.

하지만 통상적으로 인공지능 네트워크의 성능은 어떠한 조건(날씨, 조명, 특정 지역/도로 조건 또는 걷거나 뛰거나 앉아있는 행인이 포함된 또는 특정 방향으로 움직이거나 정차한 특정 차량이 포함된/미포함된), 상황(혼잡 상황, 사고 상황 등)의 학습 데이터셋을 각각의 조건 별로 얼마의 양으로 적절하게 입력하여 학습시키는가에 따라 그 특성과 성능이 크게 좌우 된다.

이와 같이 인공지능 네트워크의 학습 성능이 데이터셋의 조건, 상황에 따라 크게 영향을 받음에도 불구하고, 기존의 학습 데이터셋은 입력 센서 정보에 GT 디스크립터 만을 쌍으로 기술하는 형태로 구성됨으로써 취득 조건, 상황 정보를 구분할 수 없어 효과적인 인공지능 학습이 어렵고, 사용자의 경험에 의해 반복적으로 학습 조건을 변경하면서 학습해야 하는 문제점이 존재한다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 기존 데이터셋이 가지는 한계를 해결하고자 다양한 취득 당시의 상황, 조건을 GT 기술자 상에서 용이하게 분석, 분류 가능하게 하여 효율적으로 인공지능 네트워크를 학습시키고 학습된 인공지능 네트워크가 높은 인식 성능을 갖을 수 있도록 하기 위한 방안으로, GT 디스크립터를 생성함에 있어 센서 데이터 취득 당시의 상황 정보를 디스크립터에 계층적으로 기술한 계층적 데이터셋 생성 방법 및 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, GT 데이터셋 생성 방법은, 차량 데이터를 획득하여 저장하는 단계; 차량에 설치된 센서에서 발생되는 센서 데이터를 획득하여 저장하는 단계; 및 데이터 취득 당시의 상황에 대한 정보인 상황 정보를 생성하여 저장하는 단계;를 포함한다.

상황 정보가 저장되는 영역은, 차량 데이터가 저장되는 영역, 센서 데이터가 저장되는 영역 및 어노테이션이 저장되는 영역의 상위에 위치할 수 있다.

그리고, 상황 정보는, 데이터 취득 당시의 상황을 재현하는데 참조되는 정보일 수 있다.

상황 정보 생성 및 저장 단계는, 센서 데이터들을 종합적으로 분석하여, 상황 정보를 생성할 수 있다.

상황 정보는, 데이터가 취득된 행정 구역상 주소, 도로 환경, 일자, 기상 상태에 대한 정보를 포함할 수 있다.

차량 데이터는, 차량 자체에 대한 정보와 차량에 장착된 센서들에 대한 정보를 포함하고, 센서 데이터 저장 단계는, 센서들에서 생성되는 센서 데이터들을 인터폴레이션, 업샘플링 및 다운샘플링 중 적어도 하나를 통해 동기화하여 저장할 수 있다.

본 발명의 일 실시예에 따른, GT 데이터셋 생성 방법은, 센서 데이터에 대한 GT 정보를 획득하여 저장하는 단계;를 더 포함하고, 어노테이션 획득 및 저장 단계는, 센서 데이터를 입력받아 GT 정보를 추론하는 인공지능 네트워크를 이용하여 생성한 후, 수동으로 수정이 가능한 GT 정보를 획득할 수 있다.

한편, 본 발명의 다른 실시예에 따른, GT 데이터셋 생성 시스템은, 차량 데이터를 획득하고, 차량에 설치된 센서에서 발생되는 센서 데이터를 획득하는 획득부; 데이터 취득 당시의 상황에 대한 정보인 상황 정보를 생성하는 프로세서; 및 획득부를 통해 획득한 차량 데이터와 센서 데이터 및 프로세서에 의해 생성된 상황 정보를 저장하는 저장부;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, GT 디스크립터를 생성함에 있어 센서 데이터 취득 당시의 상황 정보를 디스크립터에 계층적으로 기술한 계층적 데이터셋을 통해, 다양한 취득 당시의 상황, 조건을 GT 기술자 상에서 용이하게 분석, 분류 가능하게 하여, 효율적으로 인공지능 네트워크를 학습시킴으로써, 궁극적으로 인공지능 네트워크가 높은 인식 성능을 갖을 수 있게 된다.

도 1. 센서(영상) 입력에 GT 마킹된 데이터셋 및 GT 디스크립터의 예

도 2. 본 발명의 실시예에서 제시하는 GT 데이터셋 계층 구조

도 3. 본 발명의 일 실시예에 따른 계층적 GT 데이터셋 생성 방법

도 4. GT 자동 생성 방법

도 5. Superset Class와 GT Class와의 관계

도 6. 본 발명의 다른 실시예에 따른 계층적 GT 데이터셋 생성 시스템

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

지도 학습 방식의 인공지능 네트워크의 성능은 분류하고자 하는 데이터셋 들에 대하여 학습 과정에서 학습이 균일하게 진행되고, 분류하고자 하는 데이터셋이 존재하는 다양한 조건과 상황에 대해서도 또한 적절하게 학습되었을 경우에 과적합(Overfitting)에 빠지지 않은 상태로 높은 인식률을 보이게 된다.

위와 같이 분류하고자 하는 데이터셋이 학습 과정에서 고르게 분포하고, 다양한 조건과 상황에 대해 학습이 수행되기 위해서는, 데이터셋의 생성 과정에서 이러한 분류 정보가 적절하게 기입되어 DB 상에서 다양한 조건에 따라 분류될 수 있어야 한다.

이에 본 발명의 실시예에서는 GT 디스크립터를 생성함에 있어 센서 데이ㅓㅌ 취득 당시의 정보를 이용하여 디스크립터에 이들 정보를 계층적으로 기술하여 GT 데이터셋을 생성한다.

도 2는 본 발명의 실시예에서 제시하는 GT 데이터셋(GT 디스크립터)의 계층 구조를 도시한 도면이다.

발명의 실시예에서 제시하는 GT 데이터셋은, 도시된 바와 같이, 데이터 셋 헤더(110), World 정보(120), Vehicle 정보(130), Data(140) 및 Annotation(150)을 포함하는 계층 구조를 갖는다.

최상위 계층에 데이터 셋 헤더(110)이, 그 하위 계층에 World 정보(120)가, 그 하위 계층에 Vehicle 정보(130)가, 그 하위 계층에 Data(140)와 Annotation(150)이 위치한다.

데이터 셋 헤더(110)는 GT 데이터셋의 라이선스 정보, 제작기관 정보 및 배포관련 정보를 포함한다.

World 정보(120)는 데이터 취득 당시의 상황을 재현하는데 참조되는 정보로써 데이터 취득 당시의 상황에 대한 정보가 저장되는데, 구체적으로 다음의 정보들을 포함한다.

1) 취득 영역 : 데이터를 취득한 장소로 GPS 위치 정보 보다 포괄적인 상위 개념의 위치 정보로, 행정 구역상 주소(시/도, 구, 동, 면 등)를 활용할 수 있다.

2) 도로 환경 : 데이터를 취득한 도로의 종류에 대한 정보로, 고속 도로, 일반 국도, 자전거 전용 도로, 비포장 도로, 기타 등으로 구분된다.

3) 취득 일자 : 데이터를 취득한 일자로 GPS 시간 정보를 기반으로 YYYY_MM_DD 형식으로 생성할 수 있다.

4) 기상 상태 : 데이터를 취득한 당시의 기상 정보로, 새벽/주간/야간/밤, 날씨(맑음, 흐림, 안개, 비, 눈 등) 등을 조합하여 생성하며, 구체적 기상 상태 조건(예를 들어, 비오는 날씨의 강수 조건, 강수량 등)이 더 포함될 수 있다.

World 정보(120)에 저장되는 데이터 취득 상황 정보는 후술할 센서 데이터들을 종합적으로 분석하여 생성한다.

Vehicle 정보(130)는 데이터 취득 차량(또는 장치)에 대한 정보와 그에 장착된 센서에 대한 정보가 저장되는데, 구체적으로 다음의 정보들을 포함한다.

1) 데이터셋을 취득한 차량의 모델

2) 데이터셋을 취득한 차량의 좌표 기준점

3) 차량에 장착된 데이터 취득 센서의 규격 링크

4) 센서 정보

- 센서 종류, 장착 위치, 장착 환경(각도, 기울기), 장착 개수 및 센서별 특징(해상도, 화각, 주파수, 채널 수, 동작 주파수 등)

- 캘리브레이션을 위한 센서 intrinsic, extrinsic 파라미터 정보

- 센서별 저장 데이터 포맷 (raw, jpec, PCD 등)

Data(140)는 차량에 설치된 센서에서 발생되는 센서 데이터가 저장되는데, 센서의 데이터 취득 시점에서 데이터 취득 환경 조건의 물리적 변화량을 추정하기 위해 센서의 데이터 취득 시점에 맞추어 생성되며, 구체적으로 다음의 데이터들을 포함한다.

1) GPS 시간 정보에 기반한 데이터 취득 시점의 년/월/일/시/분/초/밀리초 정보

2) 위 데이터 취득 시점에서 차량의 x,y,z 자세 정보

3) 위 데이터 취득 시점에서 차량의 가/감속값

4) 위 데이터 취득 시점에서 차량의 조향값

5) 위 데이터를 취득한 차량의 엔진 RPM 및 기어 단수

6) 위 변화량과 취득 데이터를 연계하기 위한 위 데이터 취득 시점에서 취득된 센서 데이터 파일 리스트

Annotation(150)는 센서 데이터에 대한 GT 정보, 객체 별 부가(attribute) 정보 등의 어노테이션 정보가 저장되며, 구체적으로 다음과 같은 정보를 포함한다.

1) 취득된 센서 데이터의 경로

2) 취득 센서의 종류 및 index

3) GT 형태 정의 및 이에 따른 GT 정보(class id, 2D/3D bbox 좌표, Segmentation등 전술한 통상적인 GT정보 )

4) 객체의 속성(visibility, 특징정보)

도 2에 도시된 계층적 GT 데이터셋을 생성하는 과정에 대해, 이하에서 도 3을 참조하여 상세히 설명한다. 도 3은 본 발명의 일 실시예에 따른 계층적 GT 데이터셋 생성 방법의 설명에 제공되는 도면이다.

계층적 GT 데이터셋 생성을 위해, 먼저, GT 데이터셋의 라이선스 정보, 제작기관 정보 및 배포관련 정보를 획득하여 최상위 계층의 데이터 셋 헤더(110)에 저장한 후에, 데이터 취득 차량(또는 장치)에 대한 정보와 그에 장착된 센서에 대한 정보를 획득하여 Vehicle 정보(130)에 저장한다(S210).

다음, 차량에 설치된 센서에서 발생되는 센서 데이터들(차량 위치정보, 차량 자세정보, 차량 거동정보 등)을 획득하고(S220), 획득한 센서 데이터들을인터폴레이션, 업샘플링 또는 다운샘플링하여 취득 주기가 다른 센서 데이터들을 동일 주기로 동기화하며(S230), 동기화된 센서 데이터를 동일 좌표계로 융합하여 Description 정보를 생성하여 Data(140)에 저장한다(S240).

이후, S340단계에서 Data(140)에 저장된 센서 데이터들을 종합적으로 분석하여 데이터 취득 당시의 상황 정보를 생성하고, 생성한 데이터 취득 상황 정보를 World 정보(120)에 저장한다(S250).

이를 테면, 차량의 GPS 위치 좌표들을 종합하여 차량의 이동 영역을 검지하고 검지된 영역을 행정 구역상 주소로 변환하고, 차량의 이동 구간을 검지하고 검지된 구간의 도로 종류를 파악하며, GPS 시간 정보들을 종합하여 데이터 취득 일자를 도출하며, 취득 일자와 행정 구역상 주소를 기초로 기상청 서버로부터 기상 상태 정보를 획득할 수 있다.

다음, Data(140)에 저장된 센서 데이터들 중 GT 마킹이 필요한 센서 데이터에 대한 GT 정보를 생성하여 Annotation(150)에 저장한다(S260).

이때, 데이터 Annotation을 통한 GT 정보의 생성은, 도 4에 도시된 바와 같이, 먼저 Annotation 하고자 하는 데이터셋의 클래스를 포함하는 Superset을 이용하여 특정 인공지능 네트워크를 학습시킨 후, 해당 네트워크에 Annotation하고자 하는 데이터를 입력하여 학습된 결과에 따라 입력 데이터에서 데이터셋 클래스에 해당하는 해당 객체의 정보를 인지하도록 하여 데이터셋의 GT를 추출하며, 과정으로 추출된 GT 정보에 보완이 필요할 경우 추출된 GT를 수동으로 수정 보완하여 업데이트 할 수 있도록 한다.

특정 인공지능 네트워크를 학습하는데 이용되는 Superset 클래스는 도 5에 도시된 바와 같이 GT 클래스를 포함하는, 즉, GT 클래스 외에 다른 클래스들을 더 포함하는 학습 데이터셋으로 구현한다.

위 과정을 통해 최종 생성된 GT 데이터셋은 통상의 GT 디스크립터에 포함된 객체의 종류 및 위치 정보 뿐 아니라, 데이터가 취득된 환경, 위치, 동작 등 각종정보를 포함하므로 다양한 취득 당시의 상황, 조건을 GT 기술자 상에서 용이하게 분석, 분류 가능하게 하여 최종적으로 효율적으로 인공지능 알고리즘을 학습하며 또한 학습된 인공지능 알고리즘이 높은 인식 성능을 제공할 수 있다.

도 6은 본 발명의 다른 실시예에 따른 계층적 GT 데이터셋 생성 시스템의 블럭도이다. 본 발명의 실시예에 따른 계층적 GT 데이터셋 생성 시스템은, 도시된 바와 같이, 통신부(310), 출력부(320), 프로세서(330), 입력부(340) 및 저장부(350)를 포함하는 컴퓨팅 시스템으로 구현 가능하다.

통신부(310)는 데이터 취득 차량(또는 장치)와 통신 연결하여, GT 데이터셋 생성에 필요한 정보와 데이터를 획득하는 획득수단이고, 입력부(340)는 사용자 입력을 통해 GT 데이터셋 생성에 필요한 정보와 데이터를 획득하는 획득수단이다.

프로세서(330)는 통신부(310)와 입력부(340)를 통해 획득하는 정보와 데이터를 이용하여, 도 3에 도시된 절차들을 수행하여, 도 2에 도시된 구조의 계층적 GT 데이터셋을 생성하고, 생성된 GT 데이터셋을 저장부(350)에 저장한다.

출력부(320)는 프로세서(330)에 의한 처리 과정 및 결과가 표시되는 디스플레이이다.

지금까지, 데이터 취득 상황 정보를 포함하는 인공지능 학습용 계층적 데이터셋 생성 방법 및 시스템에 대해 바람직한 실시예들을 들어 상세히 설명하였다.

기존의 기술은 단순히 입력 센서정보에 GT 디스크립터 만을 쌍으로 기술하는 형태로 구성됨으로써, 취득조건, 상황 정보를 구분할 수 없어 효과적인 인공지능 학습이 어려운 문제점이 존재하였다.

이에 반해 본 발명의 실시에에서는, 계층적으로 구성되는 GT 디스크립터에 센서 취득당시의 정보를 효과적으로 기술하고 이를 가시화 할 수 있도록 하여, 인공지능 알고리즘 학습시 상대적으로 비중이 낮거나 혹은 포함되지 않은 상황, 조건정보를 효과적으로 분석할 수 있도록 함으로써 최종적으로 인공지능 알고리즘의 학습 효율과 인식 성능 향상에 기여할 수 있다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims

차량 데이터를 획득하여 저장하는 단계;

차량에 설치된 센서에서 발생되는 센서 데이터를 획득하여 저장하는 단계; 및

데이터 취득 당시의 상황에 대한 정보인 상황 정보를 생성하여 저장하는 단계;를 포함하는 것을 특징으로 하는 GT 데이터셋 생성 방법.
청구항 1에 있어서,

상황 정보가 저장되는 영역은,

차량 데이터가 저장되는 영역, 센서 데이터가 저장되는 영역 및 어노테이션이 저장되는 영역의 상위에 위치하는 것을 특징으로 하는 GT 데이터셋 생성 방법.
청구항 1에 있어서,

상황 정보는,

데이터 취득 당시의 상황을 재현하는데 참조되는 정보인 것을 특징으로 하는 GT 데이터셋 생성 방법.
청구항 3에 있어서,

상황 정보 생성 및 저장 단계는,

센서 데이터들을 종합적으로 분석하여, 상황 정보를 생성하는 것을 특징으로 하는 GT 데이터셋 생성 방법.
청구항 3에 있어서,

상황 정보는,

데이터가 취득된 행정 구역상 주소, 도로 환경, 일자, 기상 상태에 대한 정보를 포함하는 것을 특징으로 하는 GT 데이터셋 생성 방법.
청구항 1에 있어서,

차량 데이터는,

차량 자체에 대한 정보와 차량에 장착된 센서들에 대한 정보를 포함하고,

센서 데이터 저장 단계는,

센서들에서 생성되는 센서 데이터들을 인터폴레이션, 업샘플링 및 다운샘플링 중 적어도 하나를 통해 동기화하여 저장하는 것을 특징으로 하는 GT 데이터셋 생성 방법.
청구항 1에 있어서,

센서 데이터에 대한 GT 정보를 획득하여 저장하는 단계;를 더 포함하고,

어노테이션 획득 및 저장 단계는,

센서 데이터를 입력받아 GT 정보를 추론하는 인공지능 네트워크를 이용하여 생성한 후, 수동으로 수정이 가능한 GT 정보를 획득하는 것을 특징으로 하는 GT 데이터셋 생성 방법.
차량 데이터를 획득하고, 차량에 설치된 센서에서 발생되는 센서 데이터를 획득하는 획득부;

데이터 취득 당시의 상황에 대한 정보인 상황 정보를 생성하는 프로세서; 및

획득부를 통해 획득한 차량 데이터와 센서 데이터 및 프로세서에 의해 생성된 상황 정보를 저장하는 저장부;를 포함하는 것을 특징으로 하는 GT 데이터셋 생성 시스템.