KR20220080975A - 주행환경 정적객체인지 ai 데이터 처리 방법 및 이를 위한 장치 - Google Patents

Abstract

주행환경에서의 정적객체를 인지하는 인공지능의 학습데이터세트를 처리하는 학습데이터세트 처리방법을 공개한다. 서버는, 크라우드 소싱에 기반하여 블랙박스 영상을 수집하여, 수집된 상기 블랙박스 영상에서 데이터 편향을 제거하고 개인정보를 비식별 처리함으로써, 상기 수집된 블랙박스 영상으로부터 정제된 영상 데이터를 생성하는 데이터 수집 단계, 학습데이터를 구성하는 대분류 카테고리들을 기준으로 상기 정제된 영상 데이터를 분류하고, 상기 정제된 영상 데이터로부터 유효한 이미지 데이터를 추출하는 단계, 및 상기 정제된 영상 데이터 및 상기 유효한 이미지 데이터로부터 학습데이터세트를 생성하는 단계를 실행한다.

Description

주행환경 정적객체인지 AI 데이터 처리 방법 및 이를 위한 장치{Driving environment static object recognition AI data processing method and device therefor}

본 발명은 컴퓨팅 기술을 이용하여 AI 제품ㅇ서비스 및 기술 개발에 활용가치가 높은 대규모 AI 학습용 데이터를 구축하는 기술 및 이에 관한 응용서비스 기술에 관한 것이다. 특히 크라우드 소싱 데이터 수집 및 구축방식을 활용하여 차선/횡단보도, 신호등, 도로표지판 등 도로 주행과 관련된 정적객체인지 AI 데이터를 구축하는 기술 및 이에 관한 응용서비스 기술에 관한 것이다.

주행환경 정적객체인지 AI 데이터는 자율자동차의 적성검사 항목에 해당한다. 자율주행자동차가 주행하기 위해, 인지-판단-제어 단계 중에서 첫 번째 항목이 인지이며, 주행환경 정적객체(차로의 차선, 횡단보도, 신호등, 도로표지)는 "자율주행자동차 운전면허 시험제도" 중 학과시험 항목에 해당한다. 자율주행자동차가 상용화되기 위한 첫 걸음으로서 정적객체 인식기술의 발전이 요구되고 있다.

자율주행자동차 관련 기술이 발전함에 따라 국내ㆍ외에서 자율주행에 필요한 각종 단말기와 센서 등 장착의 순차적 의무화가 추진되고 있으며, 이를 바탕으로 해외에서부터 2020년대 초중반에 걸쳐 자율주행 상용화에 필요한 면허ㆍ보험ㆍ안전 및 보안ㆍ인증 분야의 법 및 제도가 완비될 것으로 예상된다.

현재 운전을 보조하는 수준의 레벨 2 자율주행 기술인 첨단 운전자 지원 시스템(Advanced Driver Assistance System, ADAS) 상용화 완료 후 해외 완성차 제조업체를 중심으로 일부 레벨 3~4 자율주행 기술의 구현이 확대되고 있다.

대표적인 자율주행 기술은, 영상인식센서를 통하여 전방 차선을 인식하고 스티어링 휠(핸들)을 제어하여 차선을 유지하는 차선유지지원시스템(Lane Keeping Assist System, LKAS) 기술, 표지판을 인식하여 속도조절, 방향전환 및 추월을 지원하는 도로표지판인식(Traffic Sign Recognition, TSR) 기술, 차간거리 제어기능과 차선유지기능 등을 조합하여 차선이 보이지 않는 경우에도 주변 차량의 주행 궤적을 인지하여 선행차량과 일정한 간격을 유지하는 혼잡구간주행지원시스템(Traffic Jam Assist, TJA) 기술 등이 있다. 본 발명은 상기 차선유지지원시스템 및 도로표지판인식에 관련되어 있다.

운전자의 책임소재가 급격하게 감소되는 레벨 3~4 이상의 자율주행자동차 제작을 위해서는 정적ㆍ동적 장애물을 인식하는 카메라ㆍ레이더(Radio Detection and Ranging, RADAR)ㆍ라이다(Light Detection and Ranging, LIDAR) 등의 주행환경 인식센서와 GPS 기반 측위, 도로시설ㆍ신호ㆍ표지 등의 정보를 제공하는 정밀도로지도, 각종 시설ㆍ환경 및 교통정보를 교환하는 V2V(Vehicle to Vehicle) 및 V2I(Vehicle to Infra) 등의 요소 기술이 추가적으로 필요하다.

자율주행 기술 완성도 제고를 위해서는 차선 및 횡단보도와 신호등/도로표지와 같은 도로 상의 정적객체에 대한 자동차 AI의 인식성능 향상이 필요하다. 자율주행 단계가 올라갈수록 인공지능 의존도는 계속 증가할 것이며, 자율주행 주행은 정적객체 인식이 아주 중요하며 차선을 인식하여 주행하는 것이 제어 완성도를 높이는 방법이다. 이에 따라 차선정보 획득을 위한 데이터세트 확보 및 Ground Truth 정보가 필요하다.

자율주행 고도화를 위해서 주변 인프라 정보를 획득하여 자기차량센서와 융합을 통해 제어를 수행하는 자율협력 주행이 도입되고 있어 차량간 통신을 통해 신호등 정보 등에 대해 획득이 가능하여 자율주행의 수준을 높이고 있다. 이와 같이 자율협력 주행이 도입되고 있어 차량 간 통신을 통해 신호등 정보 등에 대해 획득이 가능하지만 통신지연 등 데이터의 완결성을 보장하기는 어렵다. 이에 신호등 정보에 대한 인식을 통해 교차로 등에서의 딜레마 현상은 해소가 가능하지만 자율주행차량의 최종 제어판단은 차량의 자기 센서를 통해 판단하는 것이 필요하여 영상센서를 이용한 신호등 인식 등에 개발이 필수적으로 대두되고 있어 딥러닝 기반 개발을 위해 많은 다양한 환경에서의 양질의 신호등 데이터셋이 필요하다. 정밀지도의 도입으로 다양한 서비스가 가능하지만, 센서만으로 자율주행차량의 위치를 정확히 판단하기는 어려운 상황이 존재할 수 있다. 보행자를 보호를 위해 횡단보도에 정확히 정차하는 것은 정밀지도 정보기반으로도 가능하지만 최종적으로 차량에서의 정지선 판단이 필요해 보이며 많은 다양한 환경에서의 양질의 데이터가 필요한 상황이다.

자율주행 및 차세대 지능형 교통서비스(C-ITS)를 위해서는 자동차가 주행하면서 카메라를 통해 센싱하는 다양한 정적객체를 인지하는 것이 요구된다. 자율주행에서는 주행 가능 경로를 판단하고 해당 경로로 주행하기 위한 횡방향 차량 제어를 위해서는, 다양한 환경에서 다양한 형태의 차선을 인지하는 것이 필요하다. 또한, 자율주행차량은 다양한 도로 교통상황을 인지하기 위해 교통 신호등, 도로표지판, 횡단보도 등을 카메라를 통해 센싱 및 인지하는 것이 필요하다.

본 발명에서는 주행환경에서 도로 상 또는 주변에 나타나는 정적객체를 인지하는 AI 장치를 위해 준비되어야 하는 데이터를 수집하고 가공하여 준비하는 기술을 제공하고자 한다.

본 발명의 일 관점에 따라 제공되는 인공지능 학습용 데이터를 구축하기 위한 프로세스는 데이터 수집/획득, 전처리, AI작업, 교정/검증으로 이루어질 수 있다. 본 발명은 특히 데이터 수집 범위가 수도권, 광역시, 고속도로 국도의 차선, 횡단보도, 신호등, 도로표지판인 것에 관한 것이다.

본 발명의 일 관점에 따라 원천 데이터 확보 서버(1)를 포함하는 크라우드소싱 플랫폼 시스템에서, 주행환경에서의 정적객체를 인지하는 인공지능의 학습데이터세트를 처리하는 학습데이터세트 처리방법이 제공될 수 있다. 상기 처리방법은, 상기 원천 데이터 확보 서버(1)가, 크라우드 소싱에 기반하여 블랙박스 영상을 수집하여, 수집된 상기 블랙박스 영상에서 데이터 편향을 제거하고 개인정보를 비식별 처리함으로써, 상기 수집된 블랙박스 영상으로부터 정제된 영상 데이터를 생성하는 데이터 수집 단계(S10); 상기 원천 데이터 확보 서버(1)가, 학습데이터를 구성하는 대분류 카테고리들을 기준으로 상기 정제된 영상 데이터를 분류하고, 상기 정제된 영상 데이터로부터 유효한 이미지 데이터를 추출하는 단계(S20); 및 상기 정제된 영상 데이터 및 상기 유효한 이미지 데이터로부터 학습데이터세트를 생성하는 단계(S50);를 포함한다.

이때, 상기 데이터 수집 단계는, 상기 원천 데이터 확보 서버(1)가, 상용차 운전자인 운전자 패널이 운행하는 상용차에 설치된 블랙박스로부터 영상 데이터를 수집하고, 고화질 블랙박스를 장착한 차량을 운행하는 전문 패널이 운행하는 차량으로부터 영상 데이터를 수집하여 상기 블랙박스 영상을 보완하는 단계; 및 상기 원천 데이터 확보 서버(1)가, 여객 자동차 운송 사업자의 서버로부터 구매한 영상 데이터로 상기 블랙박스 영상을 보완하는 단계를 포함할 수 있다.

이때, 상기 데이터 수집 단계는, 상기 원천 데이터 확보 서버(1)가, 수집된 상기 블랙박스 영상에서 데이터 편향을 제거하기 위하여, 최초 블랙박스 영상 수집 시 수도권/광역시별로 제한된 인원수의 참여자로부터 상기 블랙박스 영상을 수집하는 단계; 상기 수집한 블랙박스 영상의 데이터와 GPS 정보 매칭을 통해 각 영상 데이터의 권역을 분류하는 단계; 상기 수집한 블랙박스 영상의 데이터와 GPS 정보 매칭을 통해 각 영상 데이터가 수집된 장소의 도로 유형을 분류하는 단계; 미리 저장된 자동차 DB를 통해 상기 각각의 블랙박스 영상을 제공한 차량의 자동차 유형의 분류를 수행하는 단계; 및 상기 수집한 블랙박스 영상을 상기 권역, 상기 도로 유형, 및 상기 자동차 유형에 따라 분류하고 편향이 생기지 않도록 상기 수집한 블랙박스 영상에 대한 필터링을 수행하는 단계를 포함할 수 있다.

이때, 상기 데이터 수집 단계는, 상기 원천 데이터 확보 서버(1)가, 상기 개인정보를 비식별 처리하기 위하여, 상기 수집한 각각의 블랙박스 영상의 출발지 및 도착지 시점의 전후 구간을 삭제하는 단계; 상기 수집한 각각의 블랙박스 영상에서 영상 외의 음성 정보 삭제하는 단계; 상기 수집한 각각의 블랙박스 영상에서 전방 주행 차량 및 옆 차선 차량의 차량번호를 비식별 처리하는 단계; 상기 수집한 각각의 블랙박스 영상에서 교통사고 장면을 삭제하는 단계; 상기 수집한 각각의 블랙박스 영상에서 횡단보도 정차 시 보행자 비식별 처리를 수행하는 단계; 및 상기 수집한 각각의 블랙박스 영상에서 블랙박스 영상 내 촬영시간 및 위치 정보를 비식별 처리하는 단계를 포함할 수 있다.

이때, 상기 생성된 학습데이터세트는 표지판, 차선 및 횡단보도, 신호등, 및 기타표식 중 어느 하나의 카테고리로 분류되어 있을 수 있다.

이때, 상기 생성된 학습데이터세트는, 수집된 상기 블랙박스 영상의 동영상 데이터에 대한 소스 위치, 해상도, 촬영된 차량의 종류, 촬영 시간, 촬영된 도로의 유형, 및 촬영된 지역에 관한 정보를 포함하며, 수집된 상기 블랙박스 영상의 각 이미지 데이터에 대한 파일 이름, 촬영 시간, 촬영 위치, 촬영 시 차량의 속도, 촬영 시 날씨, 촬영한 도로의 차로 수, 및 라벨링된 이미지를 포함 URL에 관한 정보를 포함하며, 상기 각 이미지 데이터로부터 추출되는 정적객체의 영역을 한정하는 바운딩 박스의 폭, 높이, 및 좌상단의 x, y좌표, 및 상기 바운딩 박스에 포함된 정적객체의 클래스 ID를 포함할 수 있다.

이때, 상기 대분류 카테고리들은 각각 복수 개의 서브 카테고리들로 더 구분되고, 상기 데이터를 추출하는 단계는, 상기 대분류 카테고리를 기준으로 분류를 수행할 학습 모델을 위한 학습데이터 세트를 구축하여 상기 구축된 학습데이터 세트를 이용하여 학습 모델을 생성하는 단계; 상기 생성된 학습 모델을 이용하여 상기 유효한 이미지 데이터로부터 상기 복수 개의 서브 카테고리에 관한 정적객체를 추출하고, 상기 유효한 이미지 데이터 내에서 상기 추출된 정적객체가 존재하는 위치에 관한 정보인 바운딩 박스(bounding box), 상기 바운딩 박스에 관한 아노테이션을 생성하는 단계를 포함할 수 있다.

이때, 상기 데이터를 추출하는 단계는, 상기 생성된 아노테이션에 따라, 상기 아노테이션에 대응하는 이미지 및 상기 이미지에 대응하는 동영상을 상기 대분류 카테고리들 중 어느 하나의 카테고리로 분류함으로써, 상기 대분류 카테고리에 따른 동영상과 전처리된 이미지 데이터를 생성하는 단계를 더 포함할 수 있다.

이때, 상기 크라우드소싱 플랫폼 시스템은 프로모션 서버(2)를 더 포함하며, 상기 프로모션 서버는, 영상 활용 및 보상 지급에 대한 개인의 개인정보 활용 동의 프로세스를 처리하는 개인정보활용동의 파트; 주어진 현금 보상 체계에 따라 포인트 대신 현금을 상기 개인에게 제공하는 보상 파트; 및 영상 수집 프로모션 안내 콘텐츠를 상기 개인에게 제공하는 콘텐츠 파트를 포함할 수 있다.

본 발명의 일 양상에 따른 원천데이터 확보 방법은, 첫째, 크라우드소싱 기반 기초 데이터 수집 방법으로서 일반 사용자가 자신의 블랙박스로 기촬영한 영상을 수집하여 수집된 데이터를 전처리하는 기술을 포함하며, 둘째, 모집된 상용차(택시, 화물차, 버스)와 전문 촬영 패널 고용을 통해 영상데이터를 보완하여 수집하는 기술을 포함하며, 셋째, 영상 데이터 보유 기관 조사를 통한 요구 영상을 직접 구매하는 방법을 포함할 수 있다.

본 발명의 일 양상에 따라 제공되는 텍스트 및 아노테이션 생성방법은, AI 학습용 데이터셋 저작도구를 이용하여 확보된 원천데이터를 자동으로 분류하고 검색하는 단계 및 원천데이터 내에 존재하는 문자 및 이미지 인식하여 이로부터 텍스트 및 아노테이션 자동 생성하는 단계를 포함할 수 있다.

본 발명의 일 관점에 따라 제공하는, 자율주행 및 차세대 지능형 교통서비스에서 객체 인지 AI 학습데이터에 필수적인 원천 데이터에 대한 공간적 범위는 고속도로, 국도, 수도권 및 광역권의 도시고속화도로 및 6차선 이상의 도로를 포함할 수 있다.

본 발명의 일 관점에 따라 제공하는, 자율주행 및 차세대 지능형 교통서비스에서 객체 인지 AI 학습데이터에 필수적인 원천 데이터에 대한 내용적 범위는 노면표시 (차선) 및 횡단지시, 신호등, 도로교통표지판, 규제 표지, 지시 표지, 기타 표지판, 도로공사 구간 전용 표지, 노면 색깔 유도선, 및 ITS 시설물을 포함할 수 있다.

구체적으로, 상기 노면표시 (차선) 및 횡당지시는 노면표시는 도로교통의 안전과 원활한 소통을 도모하고 도로 구조를 보존하기 위한 목적으로 제시된 것으로서, 독자적으로 또는 교통안전표지와 신호기를 보완하여 도로이용자에게 규제 또는 지시의 내용을 전달하는 기능을 제공할 수 있다.

구체적으로, 상기 신호등은 도로에서의 위험 방지 및 교통안전과 원활한 소통 확보를 위한 목적으로 설치된 것으로서, 도로교통에 관하여 문자ㆍ기호 또는 등화로써 진행ㆍ정지ㆍ방향전환ㆍ주의 등 신호를 표시하여 다양한 교통류에 우선권을 할당하는 기능을 수행할 수 있다.

구체적으로, 상기 도로표지판은, 도로이용자에게 일관성 있고 통일된 방법으로 교통안전과 원활한 소통을 도모하고 도로구조와 도로시설물을 보호하기 위해 필요한 각종 정보를 제공하는 목적으로 제공된 것으로서, 교통안전표지는 단독으로 설치되거나, 노면표시 및 신호기와 유기적, 보완적으로 결합하여 설치되는 교통안전시설물로서 교통안전표지의 목적을 달성할 수 있도록 도로이용자에게 주의, 규제, 지시 등의 내용을 전달하는 기능을 제공할 수 있다.

구체적으로, 상기 기타 항목으로 분류된 원천 데이터는 자율주행차량 주행 시 운행판단에 영향을 미치는 정적 데이터로 결정될 수 있다. 예컨대 도로공사 구간 전용 표지, 노면 색깔 유도선, 기타 ITS 시설물 등으로 분류될 수 있다.

본 발명의 일 관점에 따라 수집되는 자료는, 블랙박스 영상으로서 차량 내 설치된 영상 촬영 장치로 획득 가능한 실주행 영상일 수 있다. 일반적인 블랙박스 영상 데이터인 30fps, HD(1366x768) 또는 FHD(1920x1080) 수준의 영상자료가 수집될 수 있다. 차량에서 촬영한 영상 데이터로부터 학습용 이미지 데이터 추출하여 학습데이터 셋으로 가공할 수 있다.

블랙박스 기반 주행 영상 데이터는, 첫째, 날씨(비, 눈, 흐림 등)와 시간(야간, 주간)에 영향을 받으며, 둘째, 유리, 빗방울에 의한 빛 번짐 현상 심하며, 셋째, 촬영 카메라 모듈 성능에 따라 수집 영상 품질이 상이하며, 넷째, 블랙박스 자체 시간 설정이 잘못된 경우, 영상 녹화 시간 매핑이 어려우며, 다섯째, GPS 정보 기록을 위해서 별도 외장 모듈 설치 필요하며 (대부분 GPS 모듈 별도), 여섯째, 광시야각을 지원하는 경우, 영상 좌우 왜곡이 있으며, 일곱째, 촬영 영상 상단 또는 하단에 영상 촬영 시간과 위치, 속도 등이 동시 기록된다는 문제점이 있다.

본 발명의 일 관점에 따라 수집되는 사용자 영상은 크라우드소싱을 통해 수집한 교통 정보 영상일 수 있다. 이를 위해 본 발명에 따라 제공되는 장치는 교통 정보 수집 참여에 따라 참여자에게 포인트 및 혜택을 제공하도록 되어 있을 수 있다.

본 발명의 일 관점에 따라 제공되는 장치는, 수집된 사용자 영상 데이터에 대해 GPS 매칭을 통해 데이터 정제하는 단계를 수행하도록 되어 있을 수 있다. 이때, 지역별, 시간별, 날씨별, 차종별, 도로유형별 데이터 편향이 방지된, 주어진 시간 예컨대 1,000시간의 영상 데이터를 획득할 수 있다.

이때, 상기 장치는 개인정보 보호를 위한 영상 비식별화 처리 수행할 수 있다. 예컨대 출발지/도착지 클립을 삭제할 수 있다. 정제된 영상에서 이미지 추출을 통해 이미지 데이터를 확보할 수 있다. 데이터 정제 과정을 통해 대분류 수준 데이터를 분류할 수 있다. 수집된 영상의 사용자 입력 또는 1차 검수를 통해 이동 구간, 날씨 등 정보를 획득할 수 있다.

<전체 시스템>

본 발명의 일 관점에 따라 제공되는 원천 데이터 수집 방법은, 첫째, 크라우드소싱 방식을 통해 블랙박스 영상을 우선 확보하는 단계, 둘째, 데이터 수집 편향을 방지하기 위해서 상기 확보된 블랙박스 영상을 GPS 매칭을 통해 지역별, 차종별, 도로유형별로 분류하는 단계, 셋째, 패널을 선정하여 선정된 패널의 차량에 촬영장치를 설치하고 설치된 촬영장치로부터 영상 데이터를 수거함으로써 패널을 통해 영상 데이터를 보완하는 단계, 넷째, 영상 공급업체의 서버로부터 획득한 영상으로부터 요구 영상을 식별하여 식별된 요구 영상을 구매함으로써 영상 데이터를 보완하는 단계를 포함할 수 있다.

구체적으로 상기 크라우드소싱 플랫폼을 활용하는 경우, 저렴한 가격에 빠르게 많은 데이터 확보 가능지만, 데이터 편향 방지를 위해서 학습데이터 가공 전 활용 가능한 데이터 전처리를 할 수 있고, 별도 개인정보활용동의 절차를 수행하기 위한 단계를 실행할 수 있다.

구체적으로 상기 패널 활용의 경우, 패널 모집을 통해 원천 데이터 편향 수집 방지 가능하다는 장점 및 별도 장비 설치를 통해 원천 데이터 품질 관리 가능하다는 장점이 있으나, 원천 데이터 확보 시간이 오래 걸린다.

구체적으로 상기 데이터 직접 구매 방법의 경우, 원천 데이터 확보 기업 조사가 필요하며, 크라우드소싱이나 패널 활용에 비해 비싸다. 그러나 별도 패널 고용 없이 빠른 영상 데이터 확보가 가능하며 별도 인력 고용이 필요 없다.

<크라우드소싱 플랫폼>

본 발명의 일 관점에 따라 제공되는 크라우드소싱 플랫폼 시스템은, (1) 영상 추가 수집 프로모션을 통해 영상 제공에 따른 추가 포인트(또는 현금)를 개인에게 지급하기 위한 프로모션 서버, (2) 대용량 영상 데이터 전송을 위해 제공되는 파일 업로드 및 추가 서버 스토리지 장치, 및 (3) 원천 데이터 확보 서버를 포함할 수 있다.

상기 원천 데이터 확보 서버는 (1) 기수집된 주행정보와 영상 정보를 서로 매칭하여 분류함으로써 영상과 주행 정보를 서로 매칭하는 매칭 파트, 및 (2) 지역, 사용자, 주행 정보 매칭을 이용하여 데이터 수집 편향 방지를 위한 기능을 수행하는 편향제거 파트를 포함할 수 있다.

상기 프로모션 서버는 (1) 영상 활용 및 보상 지급에 대한 개인의 개인정보 활용 동의 프로세스를 처리하는 개인정보활용동의 파트, (2) 주어진 현금 보상 체계에 따라 포인트 대신 현금을 상기 개인에게 제공하는 보상 파트, 및 (3) 영상 수집 프로모션 안내 콘텐츠를 상기 개인에게 제공하는 콘텐츠 파트를 포함할 수 있다.

상기 크라우드소싱 플랫폼 시스템은 학습데이터 대비 10배수의 영상 데이터를 수집하도록 되어 있을 수 있다. 이때, (1) 정적객체를 포함하는 영상 조건에 따라 영상을 수집하고, (2) 데이터 매칭 분류를 위해 영상 메타데이터를 분석하고, 사용자 입력을 가능하게 하는 기능을 더 포함할 수 있다.

상기 크라우드소싱 플랫폼 시스템은 영상 데이터 수집을 위하여, 상기 파일 업로드 및 추가 서버 스토리지 장치와 같은 웹하드를 이용하여 상기 영상 데이터를 수집할 수 있다.

이때, 상기 개인정보활용동의 파트는 영상 정보 활용에 대한 동의를 상기 개인으로부터 입력받을 수 있다.

이때, 상기 매칭 파트는 GPS 정보 매칭 여부를 검증함으로써, 영상과 주행정보가 서로 매칭되었는지 여부를 인증할 수 있으며, 영상 내 포함 정보 식별을 위하여 사용자 입력 방식의 1차 입력을 받아들일 수 있다. 상기 1차 입력은 지역도로인지 아니면 고속도로 또는 국도인지 여부를 구분하는 입력일 수 있다.

이때, 상기 보상 파트는 상기 매칭 결과에 따라 포인트 또는 현금 보상을 상기 개인이게 제공하는 프로세스를 수행하도록 되어 있을 수 있다.

이때, 상기 파일 업로드 및 추가 서버 스토리지 장치와 같은 웹하드를 통해 영상 데이터가 상기 개인으로부터 업로드될 수 있다. 업로드된 영상은 상기 원천 데이터 확보 서버가 이용할 수 있다.

이때, 상기 편향제거 파트는 기보유 주행 정보와 추가로 수집한 영상 정보 매칭을 통한 편향 방지 기능을 수행할 수 있다.

<패널 모집 방식의 영상 데이터 보완>

상기 크라우드소싱 플랫폼 시스템을 통해 획득한 영상 데이터에는 원하는 영상 데이터가 포함되어 있지 않을 수 있다. 이를 극복하기 위하여 본 발명의 일 관점에 따른 영상 데이터 보완 방법에서는 모집된 패널을 이용할 수 있다.

상기 크라우드소싱 플랫폼 시스템을 통해 획득한 원천 데이터를 분류하고, 시내/시외, 고속도로/국도, 날씨, 시간대별 수집 데이터를 한정하여 패널 모집을 통해 초기 수집 데이터 보완할 수 있다.

패널의 선정은 상기 크라우드소싱 플랫폼 시스템을 통해 획득한 원천 데이터에 따라 이루어질 수 있다.

패널은 상용차 운전자 패널과 전문 패널로 구분될 수 있다.

상기 상용차 운전자 패널은 운행거리가 상대적으로 긴 운전자 대상으로 선정될 수 있다. 상기 전문 패널은 일종의 고용된 패널로서 QHD급 블랙박스 설치를 통해 고화질 영상 데이터 수집하는 패널을 의미할 수 있다. 패널들이 확보한 영상 데이터는 웹하드를 이용한 온라인 접수하거나 또는 직접 수거할 수 있다.

<데이터 직접 구매 방식의 영상 데이터 보완>

여객 자동차 운송 사업에 사용되는 차량의 경우, 교통사고 상황 파악, 범죄 예방 및 증거 확보를 위해 영상기록장치가 의무 장착될 수 있다. 시내/시외버스 운송사업자와 같은 여객 자동차 운송 사업자 대상으로 데이터를 직접 구매할 수 있다.

구매한 영상 데이터와 이미지 데이터는 정제될 수 있다. 구매한 상기 영상 데이터의 정제과정에서, 블랙박스 영상과 GPS 정보 매칭을 통해 지역, 차종, 도로유형 분류, 비식별화 처리를 통해 원본 영상 데이터 확보할 수 있다. 구매한 상기 영상 데이터로부터 영상 프레임 단위 이미지를 추출하고, 전처리 영상 인식을 통해 대분류 수준(횡단보도, 표지판, 신호등) 분류, 이미지 데이터 확보를 실행할 수 있다.

<데이터 정제 프로세스>

본 발명의 일 관점에 따라 제공되는 데이터 정제 방법은, 상술한 상기 크라우드소싱 플랫폼 시스템을 이용하여 확보한 영상 데이터와 이미지 데이터를 정제할 수 있다.

상기 원천 데이터 확보 서버는 블랙박스 영상과 GPS 정보 매칭을 통해 지역, 차종, 도로유형 분류, 비식별화 처리를 통해 원본 영상 데이터를 확보할 수 있다. 또한 영상 프레임 단위 이미지를 추출하고, 전처리 영상 인식을 통해 대분류 수준(횡단보도, 표지판, 신호등) 분류하여 이미지 데이터를 확보할 수 있다.

상기 원천 데이터 확보 서버는, (1) 크라우드소싱 기반 블랙박스 영상을 수집하는 단계, (2) 수집된 영상에 있어서의 데이터 편향을 제거하는 단계, (3) 수집된 영상에서 일부 정보의 비식별처리를 수행하는 단계, (4) 수집된 영상에서 이미지를 추출하는 단계, 및 (5) 추출한 이미지로부터 정제된 데이터를 획득하는 단계를 실행하도록 되어 있을 수 있다.

상기 원천 데이터 확보 서버는, 수집 영상 데이터에 대한 편향 방지를 위하여, (1) 최초 블랙박스 영상 수집 시 수도권/광역시별 참여자 인원수를 제한하는 단계, (2) 제보된 블랙박스 영상 데이터와 GPS 정보 매칭을 통해 ① 수도권/광역시 권역 분류, ② 고속도로/국도 분류, ③ 자동차 DB를 통해 차종 분류를 수행할 수 있다.

상기 원천 데이터 확보 서버는, 수집 영상 데이터에 대해 다음과 같은 단계를 포함하는 비식별화 처리를 수행하는 프로세스를 실행할 수 있다. 첫째 단계에서, 수집 영상으로부터 출발지 및 도착지 시점의 전/후 구간을 삭제하고, 둘째 단계에서, 수집 영상으로부터 영상 외 음성 정보 삭제하고, 셋째 단계에서, 수집 영상으로부터 전방 주행 차량 및 옆 차선 차량의 차량번호를 비식별처리할 수 있고, 넷째 단계에서, AI 학습데이터 가공 전에 교통사고 장면을 삭제하고, 다섯째 단계에서, 횡단보도 정차 시 보행자 비식별 처리를 수행하고, 여섯째 단계에서, 블랙박스 영상 내 촬영시간 및 위치 정보를 비식별 처리할 수 있다. 위 둘째 내지 여섯째 단계는 차량의 출발 및 도착을 제외한 사이 구간에서의 주행 영상에 대하여 실행하는 것일 수 있다.

<인공지능 학습용 데이터 설계>

본 발명의 일 관점에 따라 제공되는 인공지능 학습용 데이터는 다음과 같은 특징을 가질 수 있다.

본 발명의 일 관점에 의해 완성된 AI 학습데이터는 외부에 공개하여 누구라도 쉽게 활용할 수 있도록 제공될 수 있다. 따라서 데이터 접근성을 충분히 고려하여 AI 학습데이터를 설계할 수 있다.

본 발명에서 이용되는 메타정보는 자율주행 AI 학습을 위한 정보를 저장하도록 설계될 수 있다. 또한, 작업자에 의한 아노테이션과 AI 인식결과 비교, 검사를 위한 기능을 고려하여 설계될 수 있다.

본 발명의 일 관점에 의해 완성된 AI 학습데이터는, 표지판, 차선 및 횡단보도, 신호등, 및 기타표식으로 지칭되는 대분류(카테고리)로 구분될 수 있다. 상기 표지판 대분류는 규제 표지판과 지시 표지판이라는 중분류로 더 나뉠 수 있다. 상기 차선 및 횡단보도 대분류는 중앙선, 버스전용차선, 유턴, 일반 차선, 길가장자리구역, 진로변경제한선, 스태거드 횡단보도, 대각선 횡단보도, 및 일반 횡단보도라는 중분류로 더 나뉠 수 있다. 상기 신호등 대분류는, 차량신호 4색등, 차량신호 3색등, 차량신호 3색등, 차량신호 2색등, 및 보행신호 2색등이라는 중분류로 더 나뉠 수 있다. 상기 기타 표식 대분류는 공사표지판과 가변정보판이라는 중분류로 더 나뉠 수 있다. 상기 각각의 중분류들은 각각 소정의 1개 이상의 소분류로 나뉠 수 있다.

본 발명의 일 실시예에서, 카테고리별 각 클래스에 대한 충분한 학습데이터를 수집하기 위해, 크라우드 소싱 기반 데이터 수집 플랫폼을 이용하여 예컨대 3,000 시간 이상의 동영상 원천 데이터를 수집할 수 있다. 일 실시예에서 원천 영상 데이터를 지역별 그리고 카테고리의 대분류와 중분류의 분류 기준별로 분류하고, 중분류의 클래스별로 학습데이터를 구축할 수 있다.

<AI 데이터의 형태>

본 발명의 일 관점에 따라 제공되는 AI 시스템에서 사용되는 데이터는 다음과 같은 특정을 가질 수 있다.

본 발명의 일 관점에 따라 제공되는 데이터 세트는 (1) 원본 동영상(FHD 해상도), (2) 이미지(jpg), (3) 아노테이션(json)(=주석), (4) 데이터 셋 목록(json-클래스 종류 포함)이다.

아노테이션 항목은 동영상 데이터에 대한 소스 위치, 해상도, 촬영된 차량의 종류(트럭/버스/승용차 등), 촬영 시간, 촬영된 도로의 유형(고속도로/국도), 촬영된 지역(수도권/광역권)의 기록을 위해 제공될 수 있다. 또한 상기 동영상에서 추출된 각 이미지 데이터에 대한 파일 이름, 촬영 시간, 촬영 위치, 촬영 시 차량의 속도, 촬영 시 날씨, 촬영한 도로의 차로 수, 라벨링된 이미지를 포함 URL의 기록을 위해 제공될 수 있다. 또한, 각 이미지에서 추출되는 다수 N개의 클래스에 대해, 클래스 ID (대분류 -> 중분류 -> 클래스)와 바운딩 박스의 위치(왼쪽 상단의 좌표(x, y)와 폭과 높이)를 정의하여 제시할 수 있다.

본 발명의 일 관점에서는, 아노테이션 형식으로서 json 형식을 사용할 수 있다. 오픈 데이터 세트에는 매트랩(matlab)과 같은 별도의 툴이 있어야 가능한 형태가 있으나 본 발명에서는 범용성을 고려하여 별도의 툴이 없이 가능한 json 형식을 이용할 수 있다.

<인공지능 학습용 데이터 구축>

본 발명이 일 관점에 따라 제공되는 학습데이터 제작 프로세스는 데이터 수집 단계(S10), 데이터 전처리 단계(S20), 데이터 가공 단계(S30), 데이터 검증 단계(S40), 및 학습데이터세트 생성의 단계(S50)를 포함할 수 있다.

상기 데이터 수집 단계(S10)에서는, 크라우드 소싱 기반 블랙박스 영상 수집, 수집된 영상에 대한 편향 제거, 그리고 영상 비식별 처리 과정이 순차적으로 수행될 수 있다. 이는 상술한 데이터 정제 프로세스를 포함할 수 있다.

이때, 사용자 대상 블랙박스 영상과 해당 영상의 주행 시간과 주행 경로(GPS 모듈 설치 시) 데이터 수집하고, 크라우드소싱 플랫폼을 통한 해당 사용자의 주행 트립단위 OD 데이터(주행 시간, 주행 경로, 주행 거리) 수집이 가능하다. 기보유 주행 정보와 추가로 수집한 영상 정보 매칭을 통한 편향 방지, 원천 데이터 확보가 가능하다.

이때, 수집 영상 데이터에 대한 데이터 편향 제거를 위하여, 최초 블랙박스 영상 수집 시 수도권/광역시별 참여자 인원수를 제한하고, 제보된 블랙박스 영상 데이터와 GPS 정보 매칭을 통해 ① 수도권/광역시 권역 분류, ② 고속도로/국도 분류, 및 ③ 자동차 DB를 통해 차종 분류를 실행할 수 있다. 수집된 영상을 권역, 도로 유형, 자동차 유형에 따라 분류하고 편향이 생기지 않도록 수집된 동영상에 대한 필터링 수행이 이루어질 수 있다.

그리고 상술한 바와 같이, 개인정보보호를 위해 수집 영상 데이터에 대해 비식별화 처리 수행이 이루어질 수 있다.

한편, 획득한 동영상 데이터에서 스틸사진 추출 시 다음이 고려될 수 있다. 이미 그 위치를 확보하여 저장하고 있는 도로 상의 정적객체 대상으로부터 차량의 속도 기준으로 거리를 고려하여 특정 지점 또는 교통정체로 발생하는 중복사진을 제거할 수 있다.

상기 데이터 전처리 단계(S20)에서, 수집 및 정제된 영상 데이터에 대해, 학습데이터의 카테고리 중 대분류인 차선/횡단보도, 신호등, 교통표지판, 기타표식을 분류하고, 영상 데이터로부터 유효한 이미지 데이터를 추출할 수 있다.

상기 데이터 전처리 단계(S20)는 다음 단계들을 포함할 수 있다.

즉, 단계(S21)에서, 준비된 대분류 카테고리를 기준으로 분류를 수행할 학습 모델을 위한 학습데이터 세트(예컨대 4개의 대분류와 56개의 중분류에 대한 총 109개의 클래스에 대한)을 구축하며, 학습을 통해 학습 모델을 생성할 수 있다.

상기 대분류 카테고리(클래스)들은 각각 복수 개의 서브 카테고리들(중분류, 소분류)로 더 구분될 수 있다.

단계(S22)에서, 생성된 학습 모델을 이용하여 상기 유효한 이미지 데이터로부터 상기 복수 개의 서브 카테고리에 관한 정적객체를 추출하고, 상기 유효한 이미지 데이터 내에서 상기 추출된 정적객체가 존재하는 위치에 관한 정보인 바운딩 박스(bounding box), 상기 바운딩 박스에 관한 아노테이션을 자동으로 생성할 수 있다.

단계(S23)에서, 상기 생성된 아노테이션에 따라 해당 동영상과 이미지를 대분류에 따라 분류를 수행함으로서, 대분류 항목에 따른 동영상과 전처리된 이미지 데이터를 생성할 수 있다.

상기 데이터 가공 단계(S30)에서는, 상기 데이터 전처리 단계(S20)에서 생성된 바운딩 박스(bounding box)와 아노테이션을 검수자가 확인 및 수정을 수행할 수 있다. 모든 확인 및 수정 작업은 모든 입력작업은 빠르고 정확한 입력을 위해 Key-In방식, Selection방식, 후검증방식, 프리셋(Preset)방식, 자동입력방식, Cross Field Check, Related Field Copy, Reject Packet, Reject Page등 다양한 입력방식을 지원할 수 있다.

상기 데이터 검증 단계(S40)에서, 데이터 검증은 딥러닝 알고리즘을 활용한 에러율 검출로 전수 검사를 수행하며, 에러 검출 등 이상이 있는 학습데이터에 대하여 검수자가 직접 확인하고 수정하는 절차로 진행될 수 있다.

딥러닝 학습모델을 통해 비정상 아노테이션 데이터를 자동으로 검색할 수 있고, 학습로그에 에러가 검출된 데이터는 데이터 검증과정으로 통해 수정 요청될 수 있으며, 최종 검수를 마친 데이터를 통해 학습데이터 세트를 생성할 수 있으며, 그리고 최종 검수된 학습데이터 세트를 통한 딥러닝 학습 모델의 고도화 수행을 할 수 있다.

<학습데이터 제작 및 저장을 위한 인프라>

본 발명의 일 양상에 따라 학습데이터 제작 및 저장을 위한 인프라 시스템이 제공될 수 있다. 상기 인프라 시스템은 (1) 인공지능과 작업자 간의 협력을 적용한 공정관리 시스템과 (2) 인공지능 AI 인식엔진을 활용한 데이터 수집 분석 시스템을 포함할 수 있다

기존 학습데이터 구축과정은 보통 이미지 처리, 색인정보 입력 및 등록 등 일련의 과정에서 전문적 작업자에 의존한 품질 관리를 하고 있다.

본 발명에서는 단기간에 많은 학습데이터를 확보해야 할 수 있도록, 다수의 작업자 및 크라우드 소싱 방식을 활용한다. 따라서, 데이터의 품질 확보를 위해 프로세스 정형화, 표준화를 위한 공정관리 자동화가 필요하다. 따라서 대상업무별 가이드라인, 지침을 탑재(작업자가 쉽게 참조할 수 있도록)한 공정관리 시스템을 활용하여, 인공지능 학습용 데이터의 최상의 품질을 확보할 수 있다. 공정관리 시스템은 그 과정의 일부에 사람이 포함된 관리 시스템일 수 있다.

본 발명의 일 양상에 따라 제공되는 학습데이터 생성기술은, 데이터 수집, 데이터 전처리, 데이터 가공, 데이터 검증, 학습데이터 세트 생성의 단계로 구성될 수 있다.

이때, 상기 데이터 가공 단계는 사람인 검수자의 검증과 AI의 협업 프로세스로 이루어질 수 있다. 내부 인원의 검수를 통해 높은 정확도를 가진 작업자를 검수자로 선별하여 다수교차 검사 기준을 통과한 데이터만 최종 생산 완료 처리될 수 있다. 수집된 데이터의 모든 과정을 공정관리 플랫폼과 아노테이션 툴에 의해 수행될 수 있다. 1차 아노테이션(객체 추출과 메타, 그리고 대분류 동영상 분류)은 인공지능으로 수행하며, 2차 검증 및 수정을 인력에 의해 수행될 수 있다. 최종 AI 알고리즘 학습 후 데이터 세트 유효성 검증 추가 수행하여 품질을 확보할 수 있다.

이때, 상술한 데이터 수집 분석 시스템은, 상기 공정관리 시스템의 일부 과정에 참여하는 시스템으로서, 획득한 AI 학습용 데이터를 AI 요소기술을 적용하여 대상 데이터를 자동으로 분류하고 검색할 수 있도록 학습할 수 있다.

영상데이터 전처리 단계에서, 수집된 사용자 동영상 데이터에서 예컨대 164개 클래스에 대한 객체를 인식하여, 인식된 객체에 따라 동영상 데이터를 대분류에 따라 자동 분류 및 아노테이션 자동화 기능(메타 생성)을 수행할 수 있다.

본 발명의 일 양상에 따른 원천데이터 확보 방법은, 첫째, 크라우드소싱 기반 기초 데이터 수집 방법으로서 일반 사용자가 자신의 블랙박스로 기촬영한 영상을 수집하여 수집된 데이터를 전처리하는 기술을 포함하며, 둘째, 모집된 상용차(택시, 화물차, 버스)와 전문 촬영 패널 고용을 통해 영상데이터를 보완하여 수집하는 기술을 포함하며, 셋째, 영상 데이터 보유 기관 조사를 통한 요구 영상을 직접 구매하는 방법을 포함할 수 있다.

본 발명의 일 양상에 따라 제공되는 텍스트 및 아노테이션 생성방법은, AI 학습용 데이터셋 저작도구를 이용하여 확보된 원천데이터를 자동으로 분류하고 검색하는 단계 및 원천데이터 내에 존재하는 문자 및 이미지 인식하여 이로부터 텍스트 및 아노테이션 자동 생성하는 단계를 포함할 수 있다.

본 발명의 일 관점에 따라 제공하는, 자율주행 및 차세대 지능형 교통서비스에서 객체 인지 AI 학습데이터에 필수적인 원천 데이터에 대한 공간적 범위는 고속도로, 국도, 수도권 및 광역권의 도시고속화도로 및 6차선 이상의 도로를 포함할 수 있다.

본 발명의 일 관점에 따라 제공하는, 자율주행 및 차세대 지능형 교통서비스에서 객체 인지 AI 학습데이터에 필수적인 원천 데이터에 대한 내용적 범위는 노면표시 (차선) 및 횡단지시, 신호등, 도로교통표지판, 규제 표지, 지시 표지, 기타 표지판, 도로공사 구간 전용 표지, 노면 색깔 유도선, 및 ITS 시설물을 포함할 수 있다.

구체적으로, 상기 노면표시 (차선) 및 횡당지시는 노면표시는 도로교통의 안전과 원활한 소통을 도모하고 도로 구조를 보존하기 위한 목적으로 제시된 것으로서, 독자적으로 또는 교통안전표지와 신호기를 보완하여 도로이용자에게 규제 또는 지시의 내용을 전달하는 기능을 제공할 수 있다.

구체적으로, 상기 신호등은 도로에서의 위험 방지 및 교통안전과 원활한 소통 확보를 위한 목적으로 설치된 것으로서, 도로교통에 관하여 문자ㅇ기호 또는 등화로써 진행ㅇ정지ㅇ방향전환ㅇ주의 등 신호를 표시하여 다양한 교통류에 우선권을 할당하는 기능을 수행할 수 있다.

구체적으로, 상기 도로표지판은, 도로이용자에게 일관성 있고 통일된 방법으로 교통안전과 원활한 소통을 도모하고 도로구조와 도로시설물을 보호하기 위해 필요한 각종 정보를 제공하는 목적으로 제공된 것으로서, 교통안전표지는 단독으로 설치되거나, 노면표시 및 신호기와 유기적, 보완적으로 결합하여 설치되는 교통안전시설물로서 교통안전표지의 목적을 달성할 수 있도록 도로이용자에게 주의, 규제, 지시 등의 내용을 전달하는 기능을 제공할 수 있다.

구체적으로, 상기 기타 항목으로 분류된 원천 데이터는 자율주행차량 주행 시 운행판단에 영향을 미치는 정적 데이터로 결정될 수 있다. 예컨대 도로공사 구간 전용 표지, 노면 색깔 유도선, 기타 ITS 시설물 등으로 분류될 수 있다.

본 발명의 일 관점에 따라 수집되는 자료는, 블랙박스 영상으로서 차량 내 설치된 영상 촬영 장치로 획득 가능한 실주행 영상일 수 있다. 일반적인 블랙박스 영상 데이터인 30fps, HD(1366x768) 또는 FHD(1920x1080) 수준의 영상자료가 수집될 수 있다. 차량에서 촬영한 영상 데이터로부터 학습용 이미지 데이터 추출하여 학습데이터 셋으로 가공할 수 있다.

블랙박스 기반 주행 영상 데이터는, 첫째, 날씨(비, 눈, 흐림 등)와 시간(야간, 주간)에 영향을 받으며, 둘째, 유리, 빗방울에 의한 빛 번짐 현상 심하며, 셋째, 촬영 카메라 모듈 성능에 따라 수집 영상 품질이 상이하며, 넷째, 블랙박스 자체 시간 설정이 잘못된 경우, 영상 녹화 시간 매핑이 어려우며, 다섯째, GPS 정보 기록을 위해서 별도 외장 모듈 설치 필요하며 (대부분 GPS 모듈 별도), 여섯째, 광시야각을 지원하는 경우, 영상 좌우 왜곡이 있으며, 일곱째, 촬영 영상 상단 또는 하단에 영상 촬영 시간과 위치, 속도 등이 동시 기록된다는 문제점이 있다.

본 발명의 일 관점에 따라 수집되는 사용자 영상은 크라우드소싱을 통해 수집한 교통 정보 영상일 수 있다. 이를 위해 본 발명에 따라 제공되는 장치는 교통 정보 수집 참여에 따라 참여자에게 포인트 및 혜택을 제공하도록 되어 있을 수 있다.

본 발명의 일 관점에 따라 제공되는 장치는, 수집된 사용자 영상 데이터에 대해 GPS 매칭을 통해 데이터 정제하는 단계를 수행하도록 되어 있을 수 있다. 이때, 지역별, 시간별, 날씨별, 차종별, 도로유형별 데이터 편향이 방지된, 주어진 시간 예컨대 1,000시간의 영상 데이터를 획득할 수 있다.

이때, 상기 장치는 개인정보 보호를 위한 영상 비식별화 처리 수행할 수 있다. 예컨대 출발지/도착지 클립을 삭제할 수 있다. 정제된 영상에서 이미지 추출을 통해 이미지 데이터를 확보할 수 있다. 데이터 정제 과정을 통해 대분류 수준 데이터를 분류할 수 있다. 수집된 영상의 사용자 입력 또는 1차 검수를 통해 이동 구간, 날씨 등 정보를 획득할 수 있다.

<전체 시스템>

본 발명의 일 관점에 따라 제공되는 원천 데이터 수집 방법은, 첫째, 크라우드소싱 방식을 통해 블랙박스 영상을 우선 확보하는 단계, 둘째, 데이터 수집 편향을 방지하기 위해서 상기 확보된 블랙박스 영상을 GPS 매칭을 통해 지역별, 차종별, 도로유형별로 분류하는 단계, 셋째, 패널을 선정하여 선정된 패널의 차량에 촬영장치를 설치하고 설치된 촬영장치로부터 영상 데이터를 수거함으로써 패널을 통해 영상 데이터를 보완하는 단계, 넷째, 영상 공급업체의 서버로부터 획득한 영상으로부터 요구 영상을 식별하여 식별된 요구 영상을 구매함으로써 영상 데이터를 보완하는 단계를 포함할 수 있다.

구체적으로 상기 크라우드소싱 플랫폼을 활용하는 경우, 저렴한 가격에 빠르게 많은 데이터 확보 가능지만, 데이터 편향 방지를 위해서 학습데이터 가공 전 활용 가능한 데이터 전처리를 할 수 있고, 별도 개인정보활용동의 절차를 수행하기 위한 단계를 실행할 수 있다.

구체적으로 상기 패널 활용의 경우, 패널 모집을 통해 원천 데이터 편향 수집 방지 가능하다는 장점 및 별도 장비 설치를 통해 원천 데이터 품질 관리 가능하다는 장점이 있으나, 원천 데이터 확보 시간이 오래 걸린다.

구체적으로 상기 데이터 직접 구매 방법의 경우, 원천 데이터 확보 기업 조사가 필요하며, 며, 크라우드소싱이나 패널 활용에 비해 비싸다. 그러나 별도 패널 고용 없이 빠른 영상 데이터 확보가 가능하며 별도 인력 고용이 필요 없다.

<크라우드소싱 플랫폼>

본 발명의 일 관점에 따라 제공되는 크라우드소싱 플랫폼 시스템은, (1) 영상 추가 수집 프로모션을 통해 영상 제공에 따른 추가 포인트(또는 현금)를 개인에게 지급하기 위한 프로모션 서버, (2) 대용량 영상 데이터 전송을 위해 제공되는 파일 업로드 및 추가 서버 스토리지 장치, 및 (3) 원천 데이터 확보 서버를 포함할 수 있다.

상기 원천 데이터 확보 서버는 (1) 기수집된 주행정보와 영상 정보를 서로 매칭하여 분류함으로써 영상과 주행 정보를 서로 매칭하는 매칭 파트, 및 (2) 지역, 사용자, 주행 정보 매칭을 이용하여 데이터 수집 편향 방지를 위한 기능을 수행하는 편향제거 파트를 포함할 수 있다.

상기 프로모션 서버는 (1) 영상 활용 및 보상 지급에 대한 개인의 개인정보 활용 동의 프로세스를 처리하는 개인정보활용동의 파트, (2) 주어진 현금 보상 체계에 따라 포인트 대신 현금을 상기 개인에게 제공하는 보상 파트, 및 (3) 영상 수집 프로모션 안내 콘텐츠를 상기 개인에게 제공하는 콘텐츠 파트를 포함할 수 있다.

상기 크라우드소싱 플랫폼 시스템은 학습데이터 대비 10배수의 영상 데이터를 수집하도록 되어 있을 수 있다. 이때, (1) 정적객체를 포함하는 영상 조건에 따라 영상을 수집하고, (2) 데이터 매칭 분류를 위해 영상 메타데이터를 분석하고, 사용자 입력을 가능하게 하는 기능을 더 포함할 수 있다.

상기 크라우드소싱 플랫폼 시스템은 영상 데이터 수집을 위하여, 상기 파일 업로드 및 추가 서버 스토리지 장치와 같은 웹하드를 이용하여 상기 영상 데이터를 수집할 수 있다.

이때, 상기 개인정보활용동의 파트는 영상 정보 활용에 대한 동의를 상기 개인으로부터 입력받을 수 있다.

이때, 상기 매칭 파트는 GPS 정보 매칭 여부를 검증함으로써, 영상과 주행정보가 서로 매칭되었는지 여부를 인증할 수 있으며, 영상 내 포함 정보 식별을 위하여 사용자 입력 방식의 1차 입력을 받아들일 수 있다. 상기 1차 입력은 지역도로인지 아니면 고속도로 또는 국도인지 여부를 구분하는 입력일 수 있다.

이때, 상기 보상 파트는 상기 매칭 결과에 따라 포인트 또는 현금 보상을 상기 개인이게 제공하는 프로세스를 수행하도록 되어 있을 수 있다.

이때, 상기 파일 업로드 및 추가 서버 스토리지 장치와 같은 웹하드를 통해 영상 데이터가 상기 개인으로부터 업로드될 수 있다. 업로드된 영상은 상기 원천 데이터 확보 서버가 이용할 수 있다.

이때, 상기 편향제거 파트는 기보유 주행 정보와 추가로 수집한 영상 정보 매칭을 통한 편향 방지 기능을 수행할 수 있다.

<패널 모집 방식의 영상 데이터 보완>

상기 크라우드소싱 플랫폼 시스템을 통해 획득한 영상 데이터에는 원하는 영상 데이터가 포함되어 있지 않을 수 있다. 이를 극복하기 위하여 본 발명의 일 관점에 따른 영상 데이터 보완 방법에서는 모집된 패널을 이용할 수 있다.

상기 크라우드소싱 플랫폼 시스템을 통해 획득한 원천 데이터를 분류하고, 시내/시외, 고속도로/국도, 날씨, 시간대별 수집 데이터를 한정하여 패널 모집을 통해 초기 수집 데이터 보완할 수 있다.

패널의 선정은 상기 크라우드소싱 플랫폼 시스템을 통해 획득한 원천 데이터에 따라 이루어질 수 있다.

패널은 상용차 운전자 패널과 전문 패널로 구분될 수 있다.

상기 상용차 운전자 패널은 운행거리가 상대적으로 긴 운전자 대상으로 선정될 수 있다. 상기 전문 패널은 일종의 고용된 패널로서 QHD급 블랙박스 설치를 통해 고화질 영상 데이터 수집하는 패널을 의미할 수 있다. 패널들이 확보한 영상 데이터는 웹하드를 이용한 온라인 접수하거나 또는 직접 수거할 수 있다.

<데이터 직접 구매 방식의 영상 데이터 보완>

여객 자동차 운송 사업에 사용되는 차량의 경우, 교통사고 상황 파악, 범죄 예방 및 증거 확보를 위해 영상기록장치가 의무 장착될 수 있다. 시내/시외버스 운송사업자와 같은 여객 자동차 운송 사업자 대상으로 데이터를 직접 구매할 수 있다.

구매한 영상 데이터와 이미지 데이터는 정제될 수 있다. 구매한 상기 영상 데이터의 정제과정에서, 블랙박스 영상과 GPS 정보 매칭을 통해 지역, 차종, 도로유형 분류, 비식별화 처리를 통해 원본 영상 데이터 확보할 수 있다. 구매한 상기 영상 데이터로부터 영상 프레임 단위 이미지를 추출하고, 전처리 영상 인식을 통해 대분류 수준(횡단보도, 표지판, 신호등) 분류, 이미지 데이터 확보를 실행할 수 있다.

<데이터 정제 프로세스>

본 발명의 일 관점에 따라 제공되는 데이터 정제 방법은, 상술한 상기 크라우드소싱 플랫폼 시스템을 이용하여 확보한 영상 데이터와 이미지 데이터를 정제할 수 있다.

상기 원천 데이터 확보 서버는 블랙박스 영상과 GPS 정보 매칭을 통해 지역, 차종, 도로유형 분류, 비식별화 처리를 통해 원본 영상 데이터를 확보할 수 있다. 또한 영상 프레임 단위 이미지를 추출하고, 전처리 영상 인식을 통해 대분류 수준(횡단보도, 표지판, 신호등) 분류하여 이미지 데이터를 확보할 수 있다.

상기 원천 데이터 확보 서버는, (1) 크라우드소싱 기반 블랙박스 영상을 수집하는 단계, (2) 수집된 영상에 있어서의 데이터 편향을 제거하는 단계, (3) 수집된 영상에서 일부 정보의 비식별처리를 수행하는 단계, (4) 수집된 영상에서 이미지를 추출하는 단계, 및 (5) 추출한 이미지로부터 정제된 데이터를 획득하는 단계를 실행하도록 되어 있을 수 있다.

상기 원천 데이터 확보 서버는, 수집 영상 데이터에 대한 편향 방지를 위하여, (1) 최초 블랙박스 영상 수집 시 수도권/광역시별 참여자 인원수를 제한하는 단계, (2) 제보된 블랙박스 영상 데이터와 GPS 정보 매칭을 통해 ① 수도권/광역시 권역 분류, ② 고속도로/국도 분류, ③ 자동차 DB를 통해 차종 분류를 수행할 수 있다.

상기 원천 데이터 확보 서버는, 수집 영상 데이터에 대해 다음과 같은 단계를 포함하는 비식별화 처리를 수행하는 프로세스를 실행할 수 있다. 첫째 단계에서, 수집 영상으로부터 출발지 및 도착지 시점의 전/후 구간을 삭제하고, 둘째 단계에서, 수집 영상으로부터 영상 외 음성 정보 삭제하고, 셋째 단계에서, 수집 영상으로부터 전방 주행 차량 및 옆 차선 차량의 차량번호를 비식별처리할 수 있고, 넷째 단계에서, AI 학습데이터 가공 전에 교통사고 장면을 삭제하고, 다섯째 단계에서, 횡단보도 정차 시 보행자 비식별 처리를 수행하고, 여섯째 단계에서, 블랙박스 영상 내 촬영시간 및 위치 정보를 비식별 처리할 수 있다. 위 둘째 내지 여섯째 단계는 차량의 출발 및 도착을 제외한 사이 구간에서의 주행 영상에 대하여 실행하는 것일 수 있다.

<인공지능 학습용 데이터 설계>

본 발명의 일 관점에 따라 제공되는 인공지능 학습용 데이터는 다음과 같은 특징을 가질 수 있다.

본 발명의 일 관점에 의해 완성된 AI 학습데이터는 외부에 공개하여 누구라도 쉽게 활용할 수 있도록 제공될 수 있다. 따라서 데이터 접근성을 충분히 고려하여 AI 학습데이터를 설계할 수 있다.

본 발명에서 이용되는 메타정보는 자율주행 AI 학습을 위한 정보를 저장하도록 설계될 수 있다. 또한, 작업자에 의한 아노테이션과 AI 인식결과 비교, 검사를 위한 기능을 고려하여 설계될 수 있다.

본 발명의 일 관점에 의해 완성된 AI 학습데이터는, 표지판, 차선 및 횡단보도, 신호등, 및 기타표식으로 지칭되는 대분류(카테고리)로 구분될 수 있다. 상기 표지판 대분류는 규제 표지판과 지시 표지판이라는 중분류로 더 나뉠 수 있다. 상기 차선 및 횡단보도 대분류는 중앙선, 버스전용차선, 유턴, 일반 차선, 길가장자리구역, 진로변경제한선, 스태거드 횡단보도, 대각선 횡단보도, 및 일반 횡단보도라는 중분류로 더 나뉠 수 있다. 상기 신호등 대분류는, 차량신호 4색등, 차량신호 3색등, 차량신호 3색등, 차량신호 2색등, 및 보행신호 2색등이라는 중분류로 더 나뉠 수 있다. 상기 기타 표식 대분류는 공사표지판과 가변정보판이라는 중분류로 더 나뉠 수 있다. 상기 각각의 중분류들은 각각 소정의 1개 이상의 소분류로 나뉠 수 있다.

본 발명의 일 실시예에서, 카테고리별 각 클래스에 대한 충분한 학습데이터를 수집하기 위해, 크라우드 소싱 기반 데이터 수집 플랫폼을 이용하여 예컨대 3,000 시간 이상의 동영상 원천 데이터를 수집할 수 있다. 일 실시예에서 원천 영상 데이터를 지역별 그리고 카테고리의 대분류와 중분류의 분류 기준별로 분류하고, 중분류의 클래스별로 학습데이터를 구축할 수 있다.

<AI 데이터의 현태>

본 발명의 일 관점에 따라 제공되는 AI 시스템에서 사용되는 데이터는 다음과 같은 특정을 가질 수 있다.

본 발명의 일 관점에 따라 제공되는 데이터 세트는 (1) 원본 동영상(FHD 해상도), (2) 이미지(jpg), (3) 아노테이션(json)(=주석), (4) 데이터 셋 목록(json-클래스 종류 포함)이다.

아노테이션 항목은 동영상 데이터에 대한 소스 위치, 해상도, 촬영된 차량의 종류(트럭/버스/승용차 등), 촬영 시간, 촬영된 도로의 유형(고속도로/국도), 촬영된 지역(수도권/광역권)의 기록을 위해 제공될 수 있다. 또한 상기 동영상에서 추출된 각 이미지 데이터에 대한 파일 이름, 촬영 시간, 촬영 위치, 촬영 시 차량의 속도, 촬영 시 날씨, 촬영한 도로의 차로 수, 라벨링된 이미지를 포함 URL의 기록을 위해 제공될 수 있다. 또한, 각 이미지에서 추출되는 다수 N개의 클래스에 대해, 클래스 ID (대분류 -> 중분류 -> 클래스)와 바운딩 박스의 위치(왼쪽 상단의 좌표(x, y)와 폭과 높이)를 정의하여 제시할 수 있다.

본 발명의 일 관점에서는, 아노테이션 형식으로서 json 형식을 사용할 수 있다. 오픈 데이터 세트에는 매트랩(matlab)과 같은 별도의 툴이 있어야 가능한 형태가 있으나 본 발명에서는 범용성을 고려하여 별도의 툴이 없이 가능한 json 형식을 이용할 수 있다.

<인공지능 학습용 데이터 구축>

본 발명이 일 관점에 따라 제공되는 학습데이터 제작 프로세스는 데이터 수집 단계(S10), 데이터 전처리 단계(S20), 데이터 가공 단계(S30), 데이터 검증 단계(S40), 및 학습데이터세트 생성의 단계(S50)를 포함할 수 있다.

상기 데이터 수집 단계(S10)에서는, 크라우드 소싱 기반 블랙박스 영상 수집, 수집된 영상에 대한 편향 제거, 그리고 영상 비식별 처리 과정이 순차적으로 수행될 수 있다. 이는 상술한 데이터 정제 프로세스를 포함할 수 있다.

이때, 사용자 대상 블랙박스 영상과 해당 영상의 주행 시간과 주행 경로(GPS 모듈 설치 시) 데이터 수집하고, 크라우드소싱 플랫폼을 통한 해당 사용자의 주행 트립단위 OD 데이터(주행 시간, 주행 경로, 주행 거리) 수집이 가능하다. 기보유 주행 정보와 추가로 수집한 영상 정보 매칭을 통한 편향 방지, 원천 데이터 확보가 가능하다.

이때, 수집 영상 데이터에 대한 데이터 편향 제거를 위하여, 최초 블랙박스 영상 수집 시 수도권/광역시별 참여자 인원수를 제한하고, 제보된 블랙박스 영상 데이터와 GPS 정보 매칭을 통해 ① 수도권/광역시 권역 분류, ② 고속도로/국도 분류, 및 ③ 자동차 DB를 통해 차종 분류를 실행할 수 있다. 수집된 영상을 권역, 도로 유형, 자동차 유형에 따라 분류하고 편향이 생기지 않도록 수집된 동영상에 대한 필터링 수행이 이루어질 수 있다.

그리고 상술한 바와 같이, 개인정보보호를 위해 수집 영상 데이터에 대해 비식별화 처리 수행이 이루어질 수 있다.

한편, 획득한 동영상 데이터에서 스틸사진 추출 시 다음이 고려될 수 있다. 이미 그 위치를 확보하여 저장하고 있는 도로 상의 정적객체 대상으로부터 차량의 속도 기준으로 거리를 고려하여 특정 지점 또는 교통정체로 발생하는 중복사진을 제거할 수 있다.

상기 데이터 전처리 단계(S20)에서, 수집 및 정제된 영상 데이터에 대해, 학습데이터의 카테고리 중 대분류인 차선/횡단보도, 신호등, 교통표지판, 기타표식을 분류하고, 영상 데이터로부터 유효한 이미지 데이터를 추출할 수 있다.

상기 데이터 전처리 단계(S20)는 다음 단계들을 포함할 수 있다.

즉, 단계(S21)에서, 준비된 대분류 카테고리를 기준으로 분류를 수행할 학습 모델을 위한 학습데이터 세트(예컨대 4개의 대분류와 56개의 중분류에 대한 총 109개의 클래스에 대한)을 구축하며, 학습을 통해 학습 모델을 생성할 수 있다.

상기 대분류 카테고리(클래스)들은 각각 복수 개의 서브 카테고리들(중분류, 소분류)로 더 구분될 수 있다.

단계(S22)에서, 생성된 학습 모델을 이용하여 상기 유효한 이미지 데이터로부터 상기 복수 개의 서브 카테고리에 관한 정적객체를 추출하고, 상기 유효한 이미지 데이터 내에서 상기 추출된 정적객체가 존재하는 위치에 관한 정보인 바운딩 박스(bounding box), 상기 바운딩 박스에 관한 아노테이션을 자동으로 생성할 수 있다.

단계(S23)에서, 상기 생성된 아노테이션에 따라 해당 동영상과 이미지를 대분류에 따라 분류를 수행함으로서, 대분류 항목에 따른 동영상과 전처리된 이미지 데이터를 생성할 수 있다.

상기 데이터 가공 단계(S30)에서는, 상기 데이터 전처리 단계(S20)에서 생성된 bounding box와 아노테이션을 검수자가 확인 및 수정을 수행할 수 있다. 모든 확인 및 수정 작업은 모든 입력작업은 빠르고 정확한 입력을 위해 Key-In방식, Selection방식, 후검증방식, Preset방식, 자동입력방식, Cross Field Check, Related Field Copy, Reject Packet, Reject Page등 다양한 입력방식을 지원할 수 있다.

상기 데이터 검증 단계(S40)에서, 데이터 검증은 딥러닝 알고리즘을 활용한 에러율 검출로 전수 검사를 수행하며, 에러 검출 등 이상이 있는 학습데이터에 대하여 검수자가 직접 확인하고 수정하는 절차로 진행될 수 있다.

딥러닝 학습모델을 통해 비정상 아노테이션 데이터를 자동으로 검색할 수 있고, 학습로그에 에러가 검출된 데이터는 데이터 검증과정으로 통해 수정 요청될 수 있으며, 최종 검수를 마친 데이터를 통해 학습데이터 세트를 생성할 수 있으며, 그리고 최종 검수된 학습데이터 세트를 통한 딥러닝 학습 모델의 고도화 수행을 할 수 있다.

<학습데이터 제작 및 저장을 위한 인프라>

본 발명의 일 양상에 따라 학습데이터 제작 및 저장을 위한 인프라 시스템이 제공될 수 있다. 상기 인프라 시스템은 (1) 인공지능과 작업자 간의 협력을 적용한 공정관리 시스템과 (2) 인공지능 AI 인식엔진을 활용한 데이터 수집 분석 시스템을 포함할 수 있다

기존 학습데이터 구축과정은 보통 이미지 처리, 색인정보 입력 및 등록 등 일련의 과정에서 전문적 작업자에 의존한 품질 관리를 하고 있다.

본 발명에서는 단기간에 많은 학습데이터를 확보해야 할 수 있도록, 다수의 작업자 및 크라우드 소싱 방식을 활용한다. 따라서, 데이터의 품질 확보를 위해 프로세스 정형화, 표준화를 위한 공정관리 자동화가 필요하다. 따라서 대상업무별 가이드라인, 지침을 탑재(작업자가 쉽게 참조할 수 있도록)한 공정관리 시스템을 활용하여, 인공지능 학습용 데이터의 최상의 품질을 확보할 수 있다. 공정관리 시스템은 그 과정의 일부에 사람이 포함된 관리 시스템일 수 있다.

본 발명의 일 양상에 따라 제공되는 학습데이터 생성기술은, 데이터 수집, 데이터 전처리, 데이터 가공, 데이터 검증, 학습데이터 세트 생성의 단계로 구성될 수 있다.

이때, 상기 데이터 가공 단계는 사람인 검수자의 검증과 AI의 협업 프로세스로 이루어질 수 있다. 내부 인원의 검수를 통해 높은 정확도를 가진 작업자를 검수자로 선별하여 다수교차 검사 기준을 통과한 데이터만 최종 생산 완료 처리될 수 있다. 수집된 데이터의 모든 과정을 공정관리 플랫폼과 아노테이션 툴에 의해 수행될 수 있다. 1차 아노테이션(객체 추출과 메타, 그리고 대분류 동영상 분류)은 인공지능으로 수행하며, 2차 검증 및 수정을 인력에 의해 수행될 수 있다. 최종 AI 알고리즘 학습 후 데이터 세트 유효성 검증 추가 수행하여 품질을 확보할 수 있다.

이때, 상술한 데이터 수집 분석 시스템은, 상기 공정관리 시스템의 일부 과정에 참여하는 시스템으로서, 획득한 AI 학습용 데이터를 AI 요소기술을 적용하여 대상 데이터를 자동으로 분류하고 검색할 수 있도록 학습할 수 있다.

영상데이터 전처리 단계에서, 수집된 사용자 동영상 데이터에서 예컨대 164개 클래스에 대한 객체를 인식하여, 인식된 객체에 따라 동영상 데이터를 대분류에 따라 자동 분류 및 아노테이션 자동화 기능(메타 생성)을 수행할 수 있다.

본 발명의 일 관점에 따라 원천 데이터 확보 서버(1)를 포함하는 크라우드소싱 플랫폼 시스템에서, 주행환경에서의 정적객체를 인지하는 인공지능의 학습데이터세트를 처리하는 학습데이터세트 처리방법을 제공할 수 있다. 상기 학습데이터세트 처리방법은, 상기 원천 데이터 확보 서버(1)가, 크라우드 소싱에 기반하여 블랙박스 영상을 수집하여, 수집된 상기 블랙박스 영상에서 데이터 편향을 제거하고 개인정보를 비식별 처리함으로써, 상기 수집된 블랙박스 영상으로부터 정제된 영상 데이터를 생성하는 데이터 수집 단계(S10); 상기 원천 데이터 확보 서버(1)가, 학습데이터를 구성하는 대분류 카테고리들을 기준으로 상기 정제된 영상 데이터를 분류하고, 상기 정제된 영상 데이터로부터 유효한 이미지 데이터를 추출하는 단계(S20); 및 상기 정제된 영상 데이터 및 상기 유효한 이미지 데이터로부터 학습데이터세트를 생성하는 단계(S50);를 포함할 수 있다.

이때, 상기 데이터 수집 단계는, 상기 원천 데이터 확보 서버(1)가, 상용차 운전자인 운전자 패널이 운행하는 상용차에 설치된 블랙박스로부터 영상 데이터를 수집하고, 고화질 블랙박스를 장착한 차량을 운행하는 전문 패널이 운행하는 차량으로부터 영상 데이터를 수집하여 상기 블랙박스 영상을 보완하는 단계; 및 상기 원천 데이터 확보 서버(1)가, 여객 자동차 운송 사업자의 서버로부터 구매한 영상 데이터로 상기 블랙박스 영상을 보완하는 단계를 더 포함할 수 있다.

이때, 상기 데이터 수집 단계는, 상기 원천 데이터 확보 서버(1)가, 수집된 상기 블랙박스 영상에서 데이터 편향을 제거하기 위하여, 최초 블랙박스 영상 수집 시 수도권/광역시별로 제한된 인원수의 참여자로부터 상기 블랙박스 영상을 수집하는 단계; 상기 수집한 블랙박스 영상의 데이터와 GPS 정보 매칭을 통해 각 영상 데이터의 권역을 분류하는 단계; 상기 수집한 블랙박스 영상의 데이터와 GPS 정보 매칭을 통해 각 영상 데이터가 수집된 장소의 도로 유형을 분류하는 단계; 미리 저장된 자동차 DB를 통해 상기 각각의 블랙박스 영상을 제공한 차량의 자동차 유형의 분류를 수행하는 단계; 및 상기 수집한 블랙박스 영상을 상기 권역, 상기 도로 유형, 및 상기 자동차 유형에 따라 분류하고 편향이 생기지 않도록 상기 수집한 블랙박스 영상에 대한 필터링을 수행하는 단계를 포함할 수 있다.

이때, 상기 데이터 수집 단계는, 상기 원천 데이터 확보 서버(1)가, 상기 개인정보를 비식별 처리하기 위하여, 상기 수집한 각각의 블랙박스 영상의 출발지 및 도착지 시점의 전후 구간을 삭제하는 단계; 상기 수집한 각각의 블랙박스 영상에서 영상 외의 음성 정보 삭제하는 단계; 상기 수집한 각각의 블랙박스 영상에서 전방 주행 차량 및 옆 차선 차량의 차량번호를 비식별 처리하는 단계; 상기 수집한 각각의 블랙박스 영상에서 교통사고 장면을 삭제하는 단계; 상기 수집한 각각의 블랙박스 영상에서 횡단보도 정차 시 보행자 비식별 처리를 수행하는 단계; 및 상기 수집한 각각의 블랙박스 영상에서 블랙박스 영상 내 촬영시간 및 위치 정보를 비식별 처리하는 단계를 포함할 수 있다.

이때, 상기 생성된 학습데이터세트는 표지판, 차선 및 횡단보도, 신호등, 및 기타표식 중 어느 하나의 카테고리로 분류되어 있을 수 있다.

이때, 상기 생성된 학습데이터세트는, 수집된 상기 블랙박스 영상의 동영상 데이터에 대한 소스 위치, 해상도, 촬영된 차량의 종류, 촬영 시간, 촬영된 도로의 유형, 및 촬영된 지역에 관한 정보를 포함하며, 수집된 상기 블랙박스 영상의 각 이미지 데이터에 대한 파일 이름, 촬영 시간, 촬영 위치, 촬영 시 차량의 속도, 촬영 시 날씨, 촬영한 도로의 차로 수, 및 라벨링된 이미지를 포함 URL에 관한 정보를 포함하며, 상기 각 이미지 데이터로부터 추출되는 정적객체의 영역을 한정하는 바운딩 박스의 폭, 높이, 및 좌상단의 x, y좌표, 및 상기 바운딩 박스에 포함된 정적객체의 클래스 ID를 포함할 수 있다.

이때, 상기 대분류 카테고리들은 각각 복수 개의 서브 카테고리들로 더 구분되고, 상기 데이터를 추출하는 단계는, 상기 대분류 카테고리를 기준으로 분류를 수행할 학습 모델을 위한 학습데이터 세트를 구축하여 상기 구축된 학습데이터 세트를 이용하여 학습 모델을 생성하는 단계; 상기 생성된 학습 모델을 이용하여 상기 유효한 이미지 데이터로부터 상기 복수 개의 서브 카테고리에 관한 정적객체를 추출하고, 상기 유효한 이미지 데이터 내에서 상기 추출된 정적객체가 존재하는 위치에 관한 정보인 바운딩 박스(bounding box), 상기 바운딩 박스에 관한 아노테이션을 생성하는 단계를 포함할 수 있다.

이때, 상기 데이터를 추출하는 단계는, 상기 생성된 아노테이션에 따라, 상기 아노테이션에 대응하는 이미지 및 상기 이미지에 대응하는 동영상을 상기 대분류 카테고리들 중 어느 하나의 카테고리로 분류함으로써, 상기 대분류 카테고리에 따른 동영상과 전처리된 이미지 데이터를 생성하는 단계를 더 포함할 수 있다.

이때, 상기 크라우드소싱 플랫폼 시스템은 프로모션 서버(2)를 더 포함하며, 상기 프로모션 서버는, 영상 활용 및 보상 지급에 대한 개인의 개인정보 활용 동의 프로세스를 처리하는 개인정보활용동의 파트; 주어진 현금 보상 체계에 따라 포인트 대신 현금을 상기 개인에게 제공하는 보상 파트; 및 영상 수집 프로모션 안내 콘텐츠를 상기 개인에게 제공하는 콘텐츠 파트를 포함할 수 있다.

본 발명에 따르면 주행환경에서 도로 상 또는 주변에 나타나는 정적객체를 인지하는 AI 장치를 위해 준비되어야 하는 데이터를 수집하고 가공하여 준비하는 기술을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 크라우드소싱 플랫폼 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 학습데이터세트 처리방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 원천 영상 데이터 확보를 위한 과정을 구분하여 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따라 학습데이터 처리방법을 간략하게 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 데이터 정제 프로세스를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 아노테이션을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 임의의 이미지에서 추출되는 클래스 ID 및 바운딩 박스의 위치에 대한 정보를 나타낸 것이다.
도 8은 도 2의 단계(S20)의 데이터 전처리 단계의 수행 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 학습모델의 생성과정을 설명하기 위한 도면이다.

이하, 본 발명의 실시예를 첨부한 도면을 참고하여 설명한다. 그러나 본 발명은 본 명세서에서 설명하는 실시예에 한정되지 않으며 여러 가지 다른 형태로 구현될 수 있다. 본 명세서에서 사용되는 용어는 실시예의 이해를 돕기 위한 것이며, 본 발명의 범위를 한정하고자 의도된 것이 아니다. 또한, 이하에서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.

도 1은 본 발명의 일 실시예에 따른 크라우드소싱 플랫폼 시스템을 설명하기 위한 도면이다.

크라우드소싱 플랫폼 시스템(100)은 주행환경에서의 정적객체를 인지하는 인공지능의 학습데이터세트를 처리할 수 있다.

크라우드소싱 플랫폼 시스템(100)은 원천 데이터 확보 서버(1), 프로모션 서버(2), 및 스토리지 장치(3)를 포함할 수 있다.

원천 데이터 확보 서버(1)는 매칭 파트(11) 및 편향제거 파트(12)를 포함할 수 있다.

매칭 파트(11)는 기수집된 주행정보와 영상 정보를 서로 매칭하여 분류함으로써 영상과 주행 정보를 서로 매칭할 수 있다. 또한, 상기 매칭 파트(11)는 GPS 정보 매칭 여부를 검증함으로써, 영상과 주행정보가 서로 매칭되었는지 여부를 인증할 수 있으며, 영상 내 포함 정보 식별을 위하여 사용자 입력 방식의 1차 입력을 받아들일 수 있다. 상기 1차 입력은 지역도로인지 아니면 고속도로 또는 국도인지 여부를 구분하는 입력일 수 있다.

편향제거 파트(12)는 지역, 사용자, 주행 정보 매칭을 이용하여 데이터 수집 편향 방지를 위한 기능을 수행할 수 있다. 즉, 편향제거 파트(12)는 기보유 주행 정보와 추가로 수집한 영상 정보 매칭을 통한 편향 방지 기능을 수행할 수 있다.

프로모션 서버(2)는 영상 추가 수집 프로모션을 통해 영상 제공에 따른 추가 포인트(또는 현금)를 개인에게 지급할 수 있다. 이를 위하여, 프로모션 서버(2)는 개인정보활용동의 파트(21), 보상 파트(22), 및 콘텐츠 파트(23)를 포함할 수 있다.

개인정보활용동의 파트(21)는 영상 활용 및 보상 지급에 대한 개인의 개인정보 활용 동의 프로세스를 수행할 수 있다.

보상 파트(22)는 주어진 현금 보상 체계에 따라 포인트 대신 현금을 상기 개인에게 제공하는 프로세스를 수행할 수 있다. 또는, 보상 파트(22)는 원천 데이터 확보 서버(1)의 매칭 파트(11)의 매칭 결과에 따라 포인트 또는 현금 보상을 상기 개인에게 제공하는 프로세스를 수행할 수 있다.

콘텐츠 파트(23)는 영상 수집 프로모션 안내 콘텐츠를 상기 개인에게 제공하는 프로세스를 수행할 수 있다.

스토리지 장치(3)는 대용량 영상 데이터 전송을 위해 파일 업로드 및 추가 기능을 제공할 수 있다.

스토리지 장치(3)는 영상 DB(31), 주행기술 DB(32), 및 차종식별 데이터베이스(33)를 포함할 수 있다.

영상 DB(31)에는 원본 영상 예컨대, 블랙박스 영상으로서 차량 내 설치된 영상 촬영 장치로 획득한 실주행 영상이 저장될 수 있다. 일반적인 블랙박스 영상 데이터인 30fps, HD(1366x768) 또는 FHD(1920x1080) 수준의 영상자료가 수집될 수 있다. 그리고 영상 DB(31)에는 예컨대, 크라우드소싱을 통해 수집한 교통 정보 영상이 저장될 수도 있다. 또한, 영상 DB(31)에는 모집된 패널을 통해 수집한 영상이 저장될 수도 있다.

주행기술 DB(32)는 주행정보를 저장하고 있을 수 있다. 주행정보는 크라우드소싱 플랫폼을 통한 해당 사용자의 주행 트립단위 OD 데이터로서 주행시간, 주행경로, 주행거리 등의 정보를 포함할 수 있다.

차종식별 DB(33)는 블랙박스 영상 데이터에 대하여 차종을 분류하여 저장할 수 있다.

도 2는 본 발명의 일 실시예에 따른 학습데이터세트 처리방법을 설명하기 위한 도면이다.

단계(S10)에서, 원천 데이터 확보 서버(1)가, 크라우드소싱에 기반하여 블랙박스 영상을 수집하여, 수집된 상기 블랙박스 영상에서 데이터 편향을 제거하고 개인정보를 비식별 처리함으로써, 상기 수집된 블랙박스 영상으로부터 정제된 영상 데이터를 생성할 수 있다.

이때, 원천 데이터 확보 서버(1)는, 상용차 운전자인 운전자 패널이 운행하는 상용차에 설치된 블랙박스로부터 영상 데이터를 수집하고, 고화질 블랙박스를 장착한 차량을 운행하는 전문 패널이 운행하는 차량으로부터 영상 데이터를 수집하여 상기 블랙박스 영상을 보완할 수 있다. 그리고 원천 데이터 확보 서버(1)는, 여객 자동차 운송 사업자의 서버로부터 구매한 영상 데이터로 상기 블랙박스 영상을 보완할 수 있다.

이때, 영상 데이터 보완의 경우, 원천 데이터 확보 서버(1)가 획득한 원천 데이터를 먼저 분류하고, 시내/시외, 고속도로/국도, 날씨, 시간대별 수집 데이터를 한정하여 패널 모집을 통해 초기 수집 데이터 보완할 수 있다.

단계(S20)에서, 원천 데이터 확보 서버(1)가, 학습데이터를 구성하는 대분류 카테고리들을 기준으로 상기 정제된 영상 데이터를 분류하고, 상기 정제된 영상 데이터로부터 유효한 이미지 데이터를 추출할 수 있다.

단계(S30)에서, 상기 데이터 전처리 단계인 단계(S20)에서 생성된 바운딩 박스(bounding box)와 아노테이션을 검수자가 확인 및 수정을 수행할 수 있다. 모든 확인 및 수정 작업은 모든 입력작업은 빠르고 정확한 입력을 위해 Key-In방식, Selection방식, 후검증방식, Preset방식, 자동입력방식, Cross Field Check, Related Field Copy, Reject Packet, Reject Page등 다양한 입력방식을 지원할 수 있다.

이때, 단계(S30)를 수행하기 위하여 단계(S30')에서, 검수자 관리가 이루어질 수 있다. 검수자 관리 단계는 사용자를 등록하는 단계, 검수자를 배정하는 단계, 및 데이터를 배정하는 단계를 포함할 수 있다.

데이터 검증 단계(S40)에서, 데이터 검증은 딥러닝 알고리즘을 활용한 에러율 검출로 전수 검사를 수행하며, 에러 검출 등 이상이 있는 학습데이터에 대하여 검수자가 직접 확인하고 수정하는 절차로 진행될 수 있다.

단계(S50)에서, 상기 검증 절차가 완료된 데이터를 기반으로 학습데이터세트(데이터 세트 A, B 등)를 생성할 수 있다.

도 3은 본 발명의 일 실시예에 따른 원천 영상 데이터 확보를 위한 과정을 구분하여 설명하기 위한 도면이다.

원천 영상 데이터 확보를 위하여 크게 세 개의 단계를 구분하여 설명할 수 있다.

제1단계에서, 원천 데이터 확보 서버(1)가 크라우드소싱 기반으로 기초 데이터를 확보할 수 있다. 이때, 영상 수집 인프라를 구축하고, 크라우드소싱 기반 영상 데이터를 수집한 후, 데이터를 정제 및 분류하여 크라우드소싱 영상 데이터를 준비할 수 있다.

제2단계에서, 제1단계의 보완으로서, 패널 모집 방식의 영상 데이터를 확보할 수 있다. 이때, 패널(상용차(택시, 화물차, 버스) 등)을 모집하여 선정한 후 선정된 패널의 차량에 촬영장치를 설치할 수 있다. 설치된 촬영장치로부터 영상 데이터를 수거함으로써 패널을 통해 영상 데이터를 추가적으로 준비할 수 있다.

제3단계에서, 제1단계 및 제2단계의 추가적인 보완으로서, 데이터를 직접 구매할 수 있다. 이때, 영상 공급업체를 조사하고, 요구 영상을 식별하여 영상 데이터를 구매함으로써 영상 데이터를 추가적으로 준비할 수 있다.

원천 영상 데이터는 상술한 제1단계, 제2단계, 제3단계에서 각각 확보한 크라우드소싱 영상 데이터, 패널 수집 영상 데이터, 및 구매한 영상 데이터를 포함할 수 있다.

도 4는 본 발명의 일 실시예에 따라 학습데이터 처리방법을 간략하게 도시한 것이다.

크라우드소싱을 통해 교통 영상 데이터를 수집할 수 있다. 이때, 교통 영상 제공자(즉, 교통 정보 수집 참여자)에게 포인트 및 혜택을 제공할 수 있다.

수집된 영상 데이터는 영상DB(31)에 저장될 수 있다.

영상DB(31), 주행기록DB(32), 및 차종식별DB(33)를 종합하여, 지역, 유형, 시간, 날짜 등의 조건으로 영상 필터링을 진행할 수 있다. 이렇게 필터링 된 영상은 AI 학습 데이터 가공을 위한 원천 데이터로 이용될 수 있다.

도 5는 본 발명의 일 실시예에 따른 데이터 정제 프로세스를 설명하기 위한 도면이다.

이하의 단계들은, 원천 데이터 확보 서버(1)가 수행하는 단계들일 수 있다.

단계(S110)에서, 크라우드소싱에 기반하여 블랙박스 영상을 수집할 수 있다. 이때, 최초 블랙박스 영상 수집 시 수도권/광역시별로 제한된 인원수의 참여자로부터 상기 블랙박스 영상을 수집할 수 있다.

단계(S120)에서, 상기 블랙박스 영상에서 데이터 편향을 제거할 수 있다.

구체적으로 단계(S120)은 아래의 단계(S121) 내지 단계(S124)를 포함할 수 있다.

단계(S121)에서, 상기 수집한 블랙박스 영상의 데이터와 GPS 정보 매칭을 통해 각 영상 데이터의 권역(수도권/광역시)을 분류할 수 있다.

단계(S122)에서, 상기 수집한 블랙박스 영상의 데이터와 GPS 정보 매칭을 통해 각 영상 데이터가 수집된 장소의 도로 유형(고속도로/국도)을 분류할 수 있다.

단계(S123)에서, 미리 저장된 자동차 DB(차종식별DB)를 통해 상기 각각의 블랙박스 영상을 제공한 차량의 자동차 유형의 분류를 수행할 수 있다.

단계(S124)에서, 상기 수집한 블랙박스 영상을 상기 권역, 상기 도로 유형, 및 상기 자동차 유형에 따라 분류하고 편향이 생기지 않도록 상기 수집한 블랙박스 영상에 대한 필터링을 수행할 수 있다.

단계(S130)에서, 상기 편향이 제거된 영상에서 개인정보를 비식별 처리할 수 있다.

구체적으로 단계(S130)은 아래의 단계(S131) 내지 단계(S136)를 포함할 수 있다.

단계(S131)에서, 상기 수집한 각각의 블랙박스 영상의 출발지 및 도착지 시점의 전후 구간을 삭제할 수 있다. 이때, 상기 수집한 각각의 블랙박스 영상은 편향이 제거된 영상을 의미할 수 있다.

단계(S132)에서, 상기 수집한 각각의 블랙박스 영상에서 영상 외의 음성 정보 삭제할 수 있다.

단계(S133)에서, 상기 수집한 각각의 블랙박스 영상에서 전방 주행 차량 및 옆 차선 차량의 차량번호를 비식별 처리할 수 있다.

단계(S134)에서, 상기 수집한 각각의 블랙박스 영상에서 교통사고 장면을 삭제할 수 있다.

단계(S135)에서, 상기 수집한 각각의 블랙박스 영상에서 횡단보도 정차 시 보행자 비식별 처리를 수행할 수 있다.

단계(S136)에서, 상기 수집한 각각의 블랙박스 영상에서 블랙박스 영상 내 촬영시간 및 위치 정보를 비식별 처리할 수 있다.

단계(S140)에서, 비식별 처리된 영상에서 이미지를 추출할 수 있다. 즉, 영상 프레임 단위의 이미지를 추출할 수 있다.

단계(S150)에서, 추출된 이미지에서 유효한 이미지 데이터를 선정하고, 상기 선정된 유효한 이미지에서 각 서브 카테고리에 관한 정적객체를 추출할 수 있다.

도 6은 본 발명의 일 실시예에 따라 아노테이션을 설명하기 위한 도면이다.

단계(S150) 이후에, 상기 유효한 이미지 데이터 내에서 상기 추출된 정적객체가 존재하는 위치에 관한 정보인 바운딩 박스(bounding box)에 관한 아노테이션을 생성할 수 있다.

아노테이션 항목은 동영상 정보, 이미지 정보, 및 클래스정보의 기록을 위해 제공될 수 있다.

동영상 정보의 경우, 아노테이션 항목은 동영상 데이터에 대한 소스 위치, 해상도, 촬영된 차량의 종류(트럭/버스/승용차 등), 촬영 시간, 촬영된 도로의 유형(고속도로/국도), 촬영된 지역(수도권/광역권)의 기록을 위해 제공될 수 있다.

이미지 정보의 경우, 아노테이션 항목은 상기 동영상에서 추출된 각 이미지 데이터에 대한 파일 이름, 촬영 시간, 촬영 위치, 촬영 시 차량의 속도, 촬영 시 날씨, 촬영한 도로의 차로 수, 라벨링된 이미지를 포함 URL의 기록을 위해 제공될 수 있다.

또한, 아노테이션 항목은 각 이미지에서 추출되는 다수 N개의 클래스에 대해, 클래스 ID (대분류 -> 중분류 -> 클래스)와 바운딩 박스의 위치(왼쪽 상단의 좌표(x, y)와 폭과 높이)를 정의하여 제시할 수 있다.

도 7은 본 발명의 일 실시예에 따라 임의의 이미지에서 추출되는 클래스 ID 및 바운딩 박스의 위치에 대한 정보를 나타낸 것이다.

참조부호 B1~B4는 바운딩 박스를 나타낸 것이고, 참조부호 C1~C4는 각 바운딩 박스(B1~B4)에 대한 아노테이션을 나타낸 것이다.

아노테이션은 클래스 ID와 바운딩 박스의 위치에 대한 정보를 제시할 수 있다. 예컨대, 참조부호 C1은 바운딩 박스(B1)에 관한 것으로서 클래스 ID는 가변정보판이고, 바운딩 박스(B1)의 위치 정보는 (x=570, y=274)(폭=618,높이=310)일 수 있다. 예컨대, 참조부호 C2는 바운딩 박스(B2)에 관한 것으로서 클래스 ID는 중앙선이고, 바운딩 박스(B2)의 위치 정보는 (x=242, y=550)(폭=523, 높이=380)일 수 있다.

도 8은 도 2의 단계(S20)의 데이터 전처리 단계의 수행 과정을 설명하기 위한 도면이다.

이때, 대분류 카테고리들은 차선/횡단보도, 신호등, 교통표지판, 기타표식을 포함할 수 있다.

상기 대분류 카테고리들은 각각 복수 개의 서브 카테고리들로 더 구분될 수 있다.

단계(S20)은 아래의 단계(S21) 내지 단계(S23)를 포함할 수 있다.

단계(S21)에서, 상기 대분류 카테고리를 기준으로 분류를 수행할 학습 모델을 위한 학습데이터 세트를 구축하여 상기 구축된 학습데이터 세트를 이용하여 학습 모델을 생성할 수 있다.

단계(S22)에서, 상기 생성된 학습 모델을 이용하여 상기 유효한 이미지 데이터로부터 상기 복수 개의 서브 카테고리에 관한 정적객체를 추출하고, 상기 유효한 이미지 데이터 내에서 상기 추출된 정적객체가 존재하는 위치에 관한 정보(좌표)인 바운딩 박스(bounding box)에 관한 아노테이션을 생성할 수 있다.

단계(S23)에서, 상기 생성된 아노테이션에 따라, 상기 아노테이션에 대응하는 이미지 및 상기 이미지에 대응하는 동영상을 상기 대분류 카테고리들 중 어느 하나의 카테고리로 분류함으로써, 상기 대분류 카테고리에 따른 동영상과 전처리된 이미지 데이터를 생성할 수 있다.

도 9는 본 발명의 일 실시예에 따른 학습모델의 생성과정을 설명하기 위한 도면이다.

단계(S10) 내지 단계(S40)은 도 2를 통해 상술한 바와 동일하다.

단계(S40)에서, 배정된 검수자가 좌표를 통한 데이터 검색 및 전수 검수를 수행할 수 있다.

이후, 학습로그를 확인하여 에러가 검출된 경우, 다시 데이터 검증 단계인 단계(S40)을 수행하고, 에러가 검출되지 않은 경우, 학습모델을 생성할 수 있다. 즉, 최종 검수를 마친 데이터를 통해 학습데이터세트를 생성할 수 있으며, 이를 통해 딥러닝 학습 모델의 고도화 수행이 가능하다.

상기 생성된 학습데이터세트는 표지판, 차선 및 횡단보도, 신호등, 및 기타표식 중 어느 하나의 카테고리로 분류될 수 있다.

상기 생성된 학습데이터세트는 수집된 상기 블랙박스 영상의 동영상 데이터에 대한 소스 위치, 해상도, 촬영된 차량의 종류, 촬영 시간, 촬영된 도로의 유형, 및 촬영된 지역에 관한 정보를 포함할 수 있다.

또한, 상기 생성된 학습데이터세트는 수집된 상기 블랙박스 영상의 각 이미지 데이터에 대한 파일 이름, 촬영 시간, 촬영 위치, 촬영 시 차량의 속도, 촬영 시 날씨, 촬영한 도로의 차로 수, 및 라벨링된 이미지를 포함 URL에 관한 정보를 포함할 수 있다.

또한, 상기 생성된 학습데이터세트는 상기 각 이미지 데이터로부터 추출되는 정적 개체의 영역을 한정하는 바운딩 박스의 폭, 높이, 및 좌상단의 x, y좌표, 및 상기 바운딩 박스에 포함된 정적객체의 클래스 ID를 포함할 수 있다.

상술한 본 발명의 실시예들을 이용하여, 본 발명의 기술 분야에 속하는 자들은 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에 다양한 변경 및 수정을 용이하게 실시할 수 있을 것이다. 특허청구범위의 각 청구항의 내용은 본 명세서를 통해 이해할 수 있는 범위 내에서 인용관계가 없는 다른 청구항에 결합될 수 있다.

Claims (9)

1. 원천 데이터 확보 서버를 포함하는 크라우드소싱 플랫폼 시스템에서, 주행환경에서의 정적객체를 인지하는 인공지능의 학습데이터세트를 처리하는 학습데이터세트 처리방법으로서,
   상기 원천 데이터 확보 서버가, 크라우드 소싱에 기반하여 블랙박스 영상을 수집하여, 수집된 상기 블랙박스 영상에서 데이터 편향을 제거하고 개인정보를 비식별 처리함으로써, 상기 수집된 블랙박스 영상으로부터 정제된 영상 데이터를 생성하는 데이터 수집 단계;
   상기 원천 데이터 확보 서버가, 학습데이터를 구성하는 대분류 카테고리들을 기준으로 상기 정제된 영상 데이터를 분류하고, 상기 정제된 영상 데이터로부터 유효한 이미지 데이터를 추출하는 단계; 및
   상기 정제된 영상 데이터 및 상기 유효한 이미지 데이터로부터 학습데이터세트를 생성하는 단계;
   를 포함하는,
   학습데이터세트 처리방법.
2. 제1항에 있어서,
   상기 데이터 수집 단계는,
   상기 원천 데이터 확보 서버가, 상용차 운전자인 운전자 패널이 운행하는 상용차에 설치된 블랙박스로부터 영상 데이터를 수집하고, 고화질 블랙박스를 장착한 차량을 운행하는 전문 패널이 운행하는 차량으로부터 영상 데이터를 수집하여 상기 블랙박스 영상을 보완하는 단계; 및
   상기 원천 데이터 확보 서버가, 여객 자동차 운송 사업자의 서버로부터 구매한 영상 데이터로 상기 블랙박스 영상을 보완하는 단계;
   를 더 포함하는,
   학습데이터세트 처리방법.
3. 제1항에 있어서,
   상기 데이터 수집 단계는,
   상기 원천 데이터 확보 서버가, 수집된 상기 블랙박스 영상에서 데이터 편향을 제거하기 위하여,
   최초 블랙박스 영상 수집 시 수도권/광역시별로 제한된 인원수의 참여자로부터 상기 블랙박스 영상을 수집하는 단계;
   상기 수집한 블랙박스 영상의 데이터와 GPS 정보 매칭을 통해 각 영상 데이터의 권역을 분류하는 단계;
   상기 수집한 블랙박스 영상의 데이터와 GPS 정보 매칭을 통해 각 영상 데이터가 수집된 장소의 도로 유형을 분류하는 단계;
   미리 저장된 자동차 DB를 통해 상기 각각의 블랙박스 영상을 제공한 차량의 자동차 유형의 분류를 수행하는 단계; 및
   상기 수집한 블랙박스 영상을 상기 권역, 상기 도로 유형, 및 상기 자동차 유형에 따라 분류하고 편향이 생기지 않도록 상기 수집한 블랙박스 영상에 대한 필터링을 수행하는 단계;
   를 포함하는,
   학습데이터세트 처리방법.
4. 제1항에 있어서,
   상기 데이터 수집 단계는,
   상기 원천 데이터 확보 서버가, 상기 개인정보를 비식별 처리하기 위하여,
   상기 수집한 각각의 블랙박스 영상의 출발지 및 도착지 시점의 전후 구간을 삭제하는 단계;
   상기 수집한 각각의 블랙박스 영상에서 영상 외의 음성 정보 삭제하는 단계;
   상기 수집한 각각의 블랙박스 영상에서 전방 주행 차량 및 옆 차선 차량의 차량번호를 비식별 처리하는 단계;
   상기 수집한 각각의 블랙박스 영상에서 교통사고 장면을 삭제하는 단계;
   상기 수집한 각각의 블랙박스 영상에서 횡단보도 정차 시 보행자 비식별 처리를 수행하는 단계; 및
   상기 수집한 각각의 블랙박스 영상에서 블랙박스 영상 내 촬영시간 및 위치 정보를 비식별 처리하는 단계
   를 포함하는,
   학습데이터세트 처리방법.
5. 제1항에 있어서, 상기 생성된 학습데이터세트는 표지판, 차선 및 횡단보도, 신호등, 및 기타표식 중 어느 하나의 카테고리로 분류되어 있는, 학습데이터세트 처리방법.
6. 제1항에 있어서,
   상기 생성된 학습데이터세트는,
   수집된 상기 블랙박스 영상의 동영상 데이터에 대한 소스 위치, 해상도, 촬영된 차량의 종류, 촬영 시간, 촬영된 도로의 유형, 및 촬영된 지역에 관한 정보를 포함하며,
   수집된 상기 블랙박스 영상의 각 이미지 데이터에 대한 파일 이름, 촬영 시간, 촬영 위치, 촬영 시 차량의 속도, 촬영 시 날씨, 촬영한 도로의 차로 수, 및 라벨링된 이미지를 포함 URL에 관한 정보를 포함하며,
   상기 각 이미지 데이터로부터 추출되는 정적객체의 영역을 한정하는 바운딩 박스의 폭, 높이, 및 좌상단의 x, y좌표, 및 상기 바운딩 박스에 포함된 정적객체의 클래스 ID를 포함하는,
   학습데이터세트 처리방법.
7. 제1항에 있어서,
   상기 대분류 카테고리들은 각각 복수 개의 서브 카테고리들로 더 구분되고,
   상기 데이터를 추출하는 단계는,
   상기 대분류 카테고리를 기준으로 분류를 수행할 학습 모델을 위한 학습데이터 세트를 구축하여 상기 구축된 학습데이터 세트를 이용하여 학습 모델을 생성하는 단계;
   상기 생성된 학습 모델을 이용하여 상기 유효한 이미지 데이터로부터 상기 복수 개의 서브 카테고리에 관한 정적객체를 추출하고, 상기 유효한 이미지 데이터 내에서 상기 추출된 정적객체가 존재하는 위치에 관한 정보인 바운딩 박스, 상기 바운딩 박스에 관한 아노테이션을 생성하는 단계
   를 포함하는,
   학습데이터세트 처리방법.
8. 제7항에 있어서,
   상기 데이터를 추출하는 단계는,
   상기 생성된 아노테이션에 따라, 상기 아노테이션에 대응하는 이미지 및 상기 이미지에 대응하는 동영상을 상기 대분류 카테고리들 중 어느 하나의 카테고리로 분류함으로써, 상기 대분류 카테고리에 따른 동영상과 전처리된 이미지 데이터를 생성하는 단계;
   를 더 포함하는,
   학습데이터세트 처리방법.
9. 제1항에 있어서,
   상기 크라우드소싱 플랫폼 시스템은 프로모션 서버를 더 포함하며,
   상기 프로모션 서버는,
   영상 활용 및 보상 지급에 대한 개인의 개인정보 활용 동의 프로세스를 처리하는 개인정보활용동의 파트;
   주어진 현금 보상 체계에 따라 포인트 대신 현금을 상기 개인에게 제공하는 보상 파트; 및
   영상 수집 프로모션 안내 콘텐츠를 상기 개인에게 제공하는 콘텐츠 파트;
   를 포함하는 것을 특징으로 하는,
   학습데이터세트 처리방법.

Images