KR20240001929A - 자율주행용 차량 데이터 수집 방법, 장치 및 차량 - Google Patents

자율주행용 차량 데이터 수집 방법, 장치 및 차량 Download PDF

Info

Publication number
KR20240001929A
KR20240001929A KR1020220078847A KR20220078847A KR20240001929A KR 20240001929 A KR20240001929 A KR 20240001929A KR 1020220078847 A KR1020220078847 A KR 1020220078847A KR 20220078847 A KR20220078847 A KR 20220078847A KR 20240001929 A KR20240001929 A KR 20240001929A
Authority
KR
South Korea
Prior art keywords
vehicle
data
sensor data
driving
around
Prior art date
Application number
KR1020220078847A
Other languages
English (en)
Inventor
안택현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020220078847A priority Critical patent/KR20240001929A/ko
Priority to US18/100,918 priority patent/US20230415769A1/en
Publication of KR20240001929A publication Critical patent/KR20240001929A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

자율주행용 차량 데이터 수집 방법, 장치 및 차량이 개시된다.
상기 차량 데이터 수집 방법은, 차량 주위의 센서 데이터를 획득하는 단계; 상기 획득된 센서 데이터 및 기 누적된 센서 데이터에 기반하는 학습 데이터에 기초하여 인식 중복성 값을 출력하는 단계; 주변 장치로부터 특이 상황 메시지를 수신하는 단계; 상기 인식 중복성 값과 상기 특이 상황 메시지에 근거하여, 상기 획득된 센서 데이터를 포함하는 주행 데이터를 수집할지 여부를 판단하는 단계; 및 상기 주행 데이터의 수집에 응답하여, 상기 주행 데이터를 수집하여 관리하는 단계를 포함한다.

Description

자율주행용 차량 데이터 수집 방법, 장치 및 차량{METHOD, DEVICE AND VEHICLE FOR COLLECTING VEHICLE DATA FOR AUTONOMOUS DRIVING}
본 개시는 자율주행용 차량 데이터 수집 방법, 장치 및 차량에 관한 것이며, 보다 구체적으로 차량 및 이의 주변 장치로부터 획득되는 데이터 중 중복되지 않는 유의미한 데이터를 수집하여 자원 부담을 경감함과 아울러서, 학습 개선에 기여하는 자율주행용 차량 데이터 수집 방법, 장치 및 차량에 대한 것이다.
정밀한 결과를 산출하기 위한 용이한 딥러닝 학습기술이 발전해 감에 따라, 학습에 사용되는 데이터의 요구가 늘어가고 있다.
자율주행 차량에는 주변상황 인식에 필요한 센서가 다양하게 배치되어 있다. 이러한 센서로는 예컨대, 다수의 카메라, 다수 LiDAR, 다수 레이더 센서 등일 수 있다. 예를 들어, 모든 센서의 정보를 실시간의 기준이 되는 20~30 fps (frame per second) 로 저장한다면, 1 시간의 주행 기록을 저장하더라도 TB (Tera byte) 단위의 방대한 저장공간이 필요하다.
저장된 데이터를 실제 학습에 사용하려면 참값을 연동시켜주는 주석작업이 필요하다. 최근에는 반자동화를 통해 효율성이 증대되고 있으나, 참값을 연동하는 주석 작업은 종국적으로 수작업이 요구된다.
상술한 방대한 데이터들은 많은 양으로 중복되어 있다. 예를 들어, 차량이 1분간 교차로에 정지되고, 정지 시간 동안 1개의 카메라로 30 fps로 촬영한다면, 30x60 = 1800 개의 영상이 획득되며, 이들 중 약 1700개 이상이 중복된 정보가 존재할 수 있다. 전술의 예시에서는 1개의 카메라 센서에 국한되고 있으므로, 실제 다수의 센서가 차량에 탑재되는 경우, 다수 센서의 데이터의 중복 개수는 급격하게 증가하게 된다. 이러한 중복 데이터에 대한 주석 작업은 막대한 인적 자원, 하드웨어적 자원 및 노력이 수반되어 이들 측면에서 자원 낭비를 유발한다.
본 개시의 기술적 과제는 차량 및 이의 주변 장치로부터 획득되는 데이터 중 중복되지 않는 유의미한 데이터를 수집하여 자원 부담을 경감함과 아울러서, 학습 개선에 기여하는 자율주행용 차량 데이터 수집 방법, 장치 및 차량을 제공하는데 그 목적이 있다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 자율주행용 차량 데이터 수집 방법이 제공된다. 상기 차량 데이터 수집 방법은, 차량 주위의 센서 데이터를 획득하는 단계; 상기 획득된 센서 데이터 및 기 누적된 센서 데이터에 기반하는 학습 데이터에 기초하여 인식 중복성 값을 출력하는 단계; 주변 장치로부터 특이 상황 메시지를 수신하는 단계; 상기 인식 중복성 값과 상기 특이 상황 메시지에 근거하여, 상기 획득된 센서 데이터를 포함하는 주행 데이터를 수집할지 여부를 판단하는 단계; 및 상기 주행 데이터의 수집에 응답하여, 상기 주행 데이터를 수집하여 관리하는 단계를 포함한다.
본 개시의 다른 실시예에 따르면, 상기 센서 데이터는 상기 차량 주위의 상황과 관련된 2차원 및 3차원 영상 데이터 중 적어도 하나를 포함할 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 인식 중복성 값을 출력하는 단계는 인식 중복성을 연산하는 인공 신경망을 이용하여 수행될 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 인식 중복성 값을 출력하는 단계에서의 상기 센서 데이터는 동일 시간 구간에 획득된 복수 유형의 센서 데이터로 구성될 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 인식 중복성 값은 상기 차량 주위에 인식되는 객체 타입 별 세부 중복성 값으로 출력될 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 객체 타입은 상기 차량의 주행가능영역으로 인식되는 객체, 상기 차량 주변의 도로 표식 객체, 상기 차량 주변의 마커 및 상기 차량 주변의 랜드마크 객체 중 적어도 하나를 포함할 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 특이 상황 메시지는 상기 주변 장치의 센서 데이터에 기초하여 상기 차량 주위에 특이 상황의 발생 여부를 통지하는 메시지로 구성될 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 차량 주위에 발생된 상황이 교통 장애, 위험 우려 이벤트 및 사고 중 적어도 하나의 종류로 판단되는 경우, 상기 특이 상황 메시지는 상기 주변 장치에 의해, 특이 상황 발생 및 발생된 상황과 관련된 종류를 포함하도록 구성될 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 주행 데이터는 상기 센서 데이터와 함께, 상기 차량의 동작과 상기 차량의 컴포넌트의 기능을 제어하는 제어 데이터 및 상기 차량의 상태와 관련된 상태 데이터를 포함할 수 있다.
본 개시의 또 다른 실시예에 따르면, 상기 주변 장치는 V2X(Vehicle to Everything) 통신되는 장치이며, 상기 차량 주위의 다른 차량, 드론 및 노변 기지국(Road Side Unit; RSU) 중 적어도 하나를 포함할 수 있다.
본 개시의 다른 양상에 따르면, 자율주행용 차량 데이터 수집 장치가 제공된다. 상기 차량 데이터 수집 장치는, 주위 환경을 감지하는 센서부; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함한다. 상기 프로세서는, 차량 주위의 센서 데이터를 획득하고, 상기 획득된 센서 데이터 및 기 누적된 센서 데이터에 기반하는 학습 데이터에 기초하여 인식 중복성 값을 출력하고, 주변 장치로부터 특이 상황 메시지를 수신하고, 상기 인식 중복성 값과 상기 특이 상황 메시지에 근거하여, 상기 획득된 센서 데이터를 포함하는 주행 데이터를 수집할지 여부를 판단하고, 상기 주행 데이터의 수집에 응답하여, 상기 주행 데이터를 수집하여 관리하도록 구성된다.
본 개시의 또 다른 양상에 따르면, 차량이 제공된다. 상기 차량은, 주위 환경을 감지하는 센서부; 주행을 구현하는 구동부; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 상기 적어도 하나의 인스트럭션을 실행하며 상기 구동부를 제어하는 프로세서를 포함한다. 상기 프로세서는, 상기 차량 주위의 센서 데이터를 획득하고, 상기 획득된 센서 데이터 및 기 누적된 센서 데이터에 기반하는 학습 데이터에 기초하여 인식 중복성 값을 출력하고, 상기 주변 장치로부터 특이 상황 메시지를 수신하고, 상기 인식 중복성 값과 상기 특이 상황 메시지에 근거하여, 상기 획득된 센서 데이터를 포함하는 주행 데이터를 수집할지 여부를 판단하고, 상기 주행 데이터의 수집에 응답하여, 상기 주행 데이터를 수집하여 관리하도록 구성된다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 차량 및 이의 주변 장치로부터 획득되는 데이터 중 중복되지 않는 유의미한 데이터를 수집하여 자원 부담을 경감함과 아울러서, 학습 개선에 기여하는 자율주행용 차량 데이터 수집 방법, 장치 및 차량을 제공할 수 있다.
구체적으로, 본 개시에서는 자율 주행을 위한 데이터 수집시, 차량의 인식 센서 및 주변 장치의 센서들로부터 획득되는 센서 데이터로부터, 인식 데이터 중복성 및 특이 상황 발생 여부를 계산하여, 선별적으로 주행 데이터를 저 장 할 수 있다. 이에 따라, 중복 데이터가 차량의 메모리를 불필요하게 점유하는 것을 방지하며, 이후 학습 데이터로 사용할 경우에도 기존에 보유한 인식 시스템으로 명확하게 인식되지 않는 영상 데이터를 보완할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 실시예에 따른 자율주행용 차량 데이터 수집 방법이 적용되는 시스템을 예시한 도면이다.
도 2는 본 개시의 실시예에 따른 자율주행용 차량 데이터 수집 장치를 구비하는 자율주행용 차량의 구성도이다.
도 3은 인식 중복성 값을 출력하기 위한 모델을 예시한 도면이다.
도 4는 본 개시의 실시예에 따른 자율주행용 차량 데이터 수집 방법에 관한 순서도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결 관계 뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들 간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제 1 구성요소는 다른 실시 예에서 제 2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제 2 구성요소를 다른 실시 예에서 제 1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
본 개시에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나(at least one of A, B, C or combination thereof)"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명하기로 한다.
도 1은 본 개시의 실시예에 따른 자율주행용 차량 데이터 수집 방법이 적용되는 시스템을 예시한 도면이다. 본 개시에서, 시스템(10)은 자율주행용 차량 데이터 수집 시스템이며, 차량(100), 주변 장치(200), 네트워크, 이들과 통신되어 차량(100), 주변 장치(200)로부터 다양한 정보 및 기능을 제공받는 사용자 디바이스들을 포함할 수 있다.
도 1을 참조하면, 차량(100)이 주변 장치(200) 또는 다른 디바이스와 통신을 수행할 수 있다. 차량(100)은 사용자를 운반하는 수단으로서 이동할 수 있는 디바이스를 지칭할 수 있다. 차량은 4륜 자동차, 예컨대 승용차, SUV, 화물 적재가능한 이동체일 수 있으며, 4륜 초과의 자동차, 예컨대 대형 트럭, 컨테이너 운반차량, 중장비 차량 등일 수 있으며, 이에 제한되지 않는다. 차량(100)은 유인 운행 또는 자율 주행(반자율 및 완전자율 주행 포함)으로 구현될 수 있다. 본 개시에서는 설명의 편의를 위해 차량(100)이 자율 주행체인 점을 예시하여 설명한다.
한편, 차량(100)은 주변 장치(200)와 V2X(Vehicle to Everything) 통신을 수행할 수 있다. 차량(100)은 셀룰라 통신, WAVE 통신, DSRC(Dedicated Short Range Communication) 또는 그 밖에 다른 통신 방식에 기초하여 다른 차량(200a), 다른 디바이스 또는 외부 서버와 통신을 수행할 수 있다. 다른 디바이스는 예컨대, 관리자에 의해 원격 제어되거나 무인 자율로 운영되는 드론(200b) 및 교통 인프라, 예를 들어 노변 기지국(Road Side Unit; RSU; 200c) 중 적어도 하나를 포함할 수 있다. 셀룰러 통신망으로서 LTE, 5G와 같은 통신망, WiFi 통신망, WAVE 통신망 등이 이용될 수 있다. 또한, DSRC와 같이 차량에서 사용되는 근거리 통신망 등이 사용될 수 있으며, 상술한 실시예로 한정되지 않는다.
또한, 일 예로, 차량의 통신과 관련하여, 차량 보안을 위해 사용자 디바이스와 통신을 수행할 수 있는 모듈과 외부 서버와 통신을 수행할 수 있는 모듈이 분리되어 존재할 수 있다. 일 예로, 차량은 블루투스, NFC 통신처럼 차량의 일정 범위 내의 디바이스에 대해서만 보안에 기초하여 통신을 수행할 수 있다. 일 예로, 차량과 사용자의 개인 소유 디바이스는 상호 간의 통신만을 수행하기 위한 통신 모듈을 포함할 수 있다. 즉, 차량과 사용자의 개인 디바이스는 외부 통신망과 차단된 통신망을 이용할 수 있다. 또한, 일 예로, 차량은 외부 서버와 통신을 수행하는 통신 모듈을 포함할 수 있다. 또한, 일 예로, 상술한 모듈은 하나의 모듈로 구현될 수 있다. 즉, 하나의 모듈에 기초하여 차량은 다른 디바이스와 통신을 수행할 수 있으며, 상술한 실시예로 한정되지 않는다. 즉, 차량에서 통신 방법은 다양한 방법에 기초하여 구현될 수 있으며, 상술한 실시예로 한정되지 않는다.
도 2는 본 개시의 실시예에 따른 자율주행용 차량 데이터 수집 장치를 구비하는 차량의 구성도이다. 본 개시에서는 설명의 편의를 위해, 차량(100)과 통신하는 주변 장치(200)가 다른 차량인 것으로 예시되나, 주변 장치(200)는 도 1에서 설명된 드론(200b) 및 노변 기지국(200c) 등일 수 있다. 차량(100)은 주변 장치(200)로 예시되는 다른 차량에게 특이 상황 메시지를 전송하기 위해, 주변 장치(200)와 관련하여 도시된 구성요소들을 구비할 수 있다. 아울러, 주변 장치(200)가 차량인 경우, 주변 장치(200)도 중복되는 주행 데이터를 배제하기 위해, 차량(100)과 관련하여 도시된 구성요소들을 가질 수 있다.
차량(100)은 자율 주행되는 이동체이며, 주행 중에 차량(100) 주위의 다양한 상황을 감지하는 센서 데이터, 주행 중에 발생하는 차량(100)의 컴포넌트에 대한 상태 데이터 및 상기 컴포넌트에 차량(100)에 필요한 동작을 지시하는 제어 데이터 등을 포함하는 주행 데이터를 실시간으로 수집할 수 있다. 이를 위해, 차량(100)은 본 개시의 실시예에 따른 자율주행용 데이터 수집 장치를 구비할 수 있다
차량(100)은 구체적으로, 센서부(102), 송수신부(104), 메모리(106), 구동부(126) 및 프로세서(110)를 포함할 수 있다. 상술한 요소는 본 실시예에 따른 자율주행용 데이터 수집 장치를 구성할 수 있다.
센서부(102)는 차량(100)에 탑재된 다양한 센서 모듈을 포함할 수 있다. 센서부(102)는 차량(100) 주위의 상황을 인식할 수 있는 2차원 및 3차원 중 적어도 하나의 영상 데이터를 취득하는 센서, 측위 센서, 차량(100)의 자세 및 방위 계측 센서, 거리 센서 및 충돌 센서 등을 포함할 수 있으며, 이에 제한되지 않는다. 2차원 및 3차원 영상 데이터를 획득하는 센서는 예컨대, 카메라 센서, 라이다(LiDAR; Light Detection and Ranging) 센서 및 레이더 센서 중 적어도 하나를 포함할 수 있다. 센서부(102)는 로우 데이터(raw data)인 센서 데이터를 주기적으로 획득할 수 있다.
송수신부(104)는 주변 장치(200)와 통신, 예컨대 V2X 통신을 지원하는 모듈을 구비할 수 있으며, 주변 장치(200)의 센서부(102)를 통해 획득한 센서 데이터, 특이 상황 메시지 등을 수신할 수 있다.
메모리(106)는 본 개시의 실시예에 따른 자율주행용 차량 데이터 수집 방법을 실행하기 위한 프로그램 내지 어플리케이션을 내장하고, 프로세서(110)는 상기 프로그램 등을 메모리(106)로부터 호출하여 실행시킬 수 있다. 메모리(106)는 차량(100)의 과거 주행에서 발생된 주행 데이터를 다양한 상황 별로 저장할 수 있다. 메모리(106)는 학습 데이터 관리부(108)를 이용하여, 상황 별로 주석 작업이 수행된 주행 데이터를 학습 데이터로 관리할 수도 있다. 학습 데이터는 차량(100)에서 생성되거나, 외부 장치로부터 수신될 수도 있다.
구동부(126)는 차량(100) 내에 주행 및 편의를 위해 설치된 컴포넌트이며, 예를 들어 차량(100)에 필요한 다양한 동작이 구현되는 액츄에이터일 수 있다. 구동부(126)는 차량(100)을 주행시키기 위한 동력 계통, 조향 계통, 에너지 관리 계통 등을 포함할 수 있다. 또한, 구동부(126)는 안전한 주행에 필요한 조명 계통, 냉각 계통, 편의를 위해 공조 계통 등을 포함할 수 있다. 구동부(126)는 사용자 지시 또는 프로세서(110)의 설정에 기반하는 프로세서(110)의 제어 데이터에 제어될 수 있다.
프로세서(110)는 중복성 생성부(112), 데이터 선별부(114), 데이터 수집부(116), 제어 처리부(118) 및 중복성 학습부(124)를 포함할 수 있다.
중복성 생성부(112)는 센서부(102)로 획득된 센서 데이터, 및 중복성 학습부(124)를 이용하여, 기 누적된 센서 데이터에 대해 처리된 학습 데이터에 기초하여, 인식 중복성 값을 출력할 수 있다.
도 3은 인식 중복성 값을 출력하기 위한 모델을 예시한 도면이다.
인식 중복성 값은 인식 중복성을 연산하는 인공 신경망을 이용하여 출력될 수 있다. 인식 중복성 값을 산출하는데 입력되는 센서 데이터는 동일 시간 구간에 획득된 복수 유형의 센서 데이터로 구성될 수 있다.
도 3을 예로 들어 구체적으로 설명하면, 시간 t 에 센서부(102)로부터 얻은 로 데이터는 In t (n=image, LiDAR, 레이더와 같은 개별 센싱 정보)이며, 인식 중복성은 Pt= [p1 t, p2 t,…,pm t] 일 수 있다. pm t 는 시간 t에서 로 데이터들로부터 획득한 m 번째 인식 타입에 대한 인식 중복성일 수 있다.
즉, 인식 중복성 값은 차량(100) 주위에 인식되는 객체 타입 별 세부 중복성 값으로 출력될 수 있다. 객체 타입은 차량(100)의 주행가능영역으로 인식되는 객체, 차량(100) 주변의 도로 표식 객체, 차량(100) 주변의 마커 및 차량(100) 주변의 랜드마크 객체 중 적어도 하나를 포함할 수 있다. 상술한 m은 예를 들어, 주행가능영역 인식, 객체 인식, 차선, 마커 인식과 같은 주변환경에 대한 인식 타입일 수 있다. 이와 같이 정의될 경우, 중복성 생성부(112)는 도 3에 예시된 인식 중복성 생성 인공 신경망(200)에 의해 중복성을 생성할 수 있다.
보다 구체적으로, 센서부(102)는 차량(100)의 다양한 위치에 배치되는 복수의 카메라 센서 및 라이다 센서를 구비할 수 있다. 복수의 카메라 센서는 동일한 시간 t에 각각 다수의 2차 영상 데이터를 취득할 수 있다. 라이다 센서는 동일한 시간 t에 복수의 3차원 영상 데이터를 취득할 수 있다. 동일한 시간 t에 획득된 2차원 및 3차원 영상 데이터는 인식 중복성 연산의 입력으로 사용될 수 있다.
시간 t에 입력된 영상 데이터는 인공 신경망에서, 학습 데이터 관리부(106)로부터 수신되는 학습 데이터, 예컨대 기 누적된 동종/이종 센서의 데이터에 기반하는 학습 데이터과 함께 분석될 수 있다. 학습 데이터는 예컨대, 입력된 영상 데이터와 동일한 위치 및/또는 객체 타입을 포함하는 데이터로 선별될 수 있다. 예컨대, 입력된 영상 데이터가 객체 타입으로서 상호 구별되는 복수의 랜드 마크 객체들, 주행가능영역으로 인식되는 복수의 주행영역 객체들을 포함하면, 학습 데이터 역시 상기 객체들을 포함하도록 선정될 수 있다.
인식 중복성 연산은 복수의 동일 객체들을 이용하여 입력된 영상 데이터와 학습 데이터를 서로 정합하고, 랜드 마크 객체(예컨대, p1 t, p2 t,…,pk t) 및 주행영역 객체(예를 들어, pk+1 t, pk+2 t,…,pm t) 별로 각각 값을 도출할 수 있다. 각 도출된 값에 의해, 입력 데이터의 전체적인 중복성이 평가되거나, 각 객체 별로 세부 중복성이 산출될 수 있다. 인식 중복성 값은 전체적인 중복성 및 세부 중복성 중 적어도 하나를 포함하는 값일 수 있다.
데이터 선별부(114)는 주변 장치(200)로부터 수신된 특이 상황 메시지 및 인식 중복성 값에 근거하여, 취득된 센서 데이터를 포함하는 주행 데이터를 수집할지 여부를 판단할 수 있다. 주행 데이터는 예를 들어, 센서 데이터와 함께, 차량(100)의 동작과 차량(100)의 컴포넌트의 기능을 제어하는 제어 데이터 및 차량(100)의 상태와 관련된 상태 데이터를 포함할 수 있다.
제어 및 상태 데이터는 차량 제어 및 다양한 상태를 관리하는 제어 처리부(118)에서 생성되어 관리될 수 있다. 제어 데이터는 제어 데이터 생성 모듈(120)에 의해 생성되며, 상기 컴포넌트에 대한 상태를 인식하여 생성된 상태 데이터는 상태 데이터 관리 모듈(122)에 의해 관리될 수 있다.
제어 및 상태 데이터는 중복성 생성부(112)에서 수행되는 중복성 연산에 사용되지 않으며, 주행에 필요한 나머지 데이터일 수 있다. 제어 및 상태 데이터는 구동부(126)를 동작시키기 위한 데이터, 및 주행에 따른 차량(100)의 컴포넌트의 상태를 지시하는 데이터를 포함할 수 있다. 예컨대, 제어 및 상태 데이터는 차량 제어에 필요한 CAN 정보, 차량의 현재 위치를 나타내는 GPS/IMU 정보, 네비게이션 정보 등일 수 있다. 있다. 제어 및 상태 데이터는 추후 자율주행에 필요한 인식 이 외에 판단, 제어를 위해 사용될 수 있다
데이터 수집부(116)는 데이터 선별부(114)에서 주행 데이터 수집이 필요하다고 판단한 경우, 주행 데이터를 수집하여 관리할 수 있다. 데이터 수집부(116)는 데이터 선별부(114)로부터 지시된 입력에 기반하여, 센서부(101)와 제어 처리부(118)로부터 취득한 데이터를 선별하여 저장한다.
데이터 수집부(116)는 경우에 따라, 송수신부(104)를 통해 취득된 주변 장치(200)의 센서 데이터를 선별하여 저장할 수 있다. 이와 같이 수집된 데이터에 대해 추가적으로 정제 및 주석 작업이 수행된 후, 주석 처리된 데이터는 학습 데이터 관리부(108)에 추가될 수 있다. 아울러, 학습 데이터는 중복성 학습부(124)로 전달되어, 중복성 학습부(124)는 특이 상황과 연계되는 학습 데이터에 기반하여, 특이 상황에 적합한 차량 제어 처리를 학습할 수 있으며, 특이 상황이 재차 발생되는 경우, 학습된 제어 처리와 관련된 정보들을 프로세서(110)의 VCU 등에 제공할 수 있다.
한편, 주변 장치(200)는 센서부(202), 프로세서(110) 및 차량(100)과의 V2X 통신을 지원하여 특이 상황 메시지를 전송하는 송수신부(208)를 포함할 수 있다.
센서부(202)는 차량(100)의 센서부(102)와 유사하게 구성될 수 있다. 프로세서(110)는 주변 장치의 센서 데이터에 기초하여 차량(100) 주위에 특이 상황의 발생 여부를 식별하여 특이 상황의 발생 여부를 통지하는 특이 상황 메시지를 생성하는 특이 상황 식별부(206)를 포함할 수 있다. 특이 상황 식별부(206)는 차량(100) 주위에 발생된 상황이 교통 장애, 위험 우려 이벤트 및 사고 중 적어도 하나의 종류로 판단되는 경우, 특이 상황 식별부(206)는 특이 상황 발생 및 발생된 상황과 관련된 종류를 전부 포함하도록 특이 상황 메시지를 생성할 수 있다. 특이 상황은 예컨대, 사고, 공사, 정체, 무단횡단 등일 수 있으며, 이에 제한되지 않고 다양할 수 있다.
이하에서는, 도 1 내지 4를 참조하여 본 개시의 다른 실시예에 따른 자율주행용 차량 데이터 수집 방법에 대해 설명하기로 한다. 도 4는 본 개시의 실시예에 따른 자율주행용 차량 데이터 수집 방법에 관한 순서도이다. 본 개시에서는 도 2 및 도 3에 따른 차량 및 주변 장치를 예시하여 설명하기로 한다.
먼저, 차량(100)은 센서부(102)로부터 주위의 상황을 인식할 수 있는 2차원 및 3차원 영상 데이터 중 적어도 하나의 센서 데이터를 획득할 수 있다(S105).
중복성 생성부(112)는 획득된 센서 데이터 및 학습 데이터 관리부(108)에 기 누적된 센서 데이터에 기반하는 학습 데이터에 기초하여, 인식 중복성 값을 출력할 수 있다(S110).
구체적으로, 인식 중복성 값은 도 3에 예시된 인식 중복성을 연산하는 인공 신경망을 이용하여 연산될 수 있다. 인공 신경망에 입력되는 센서 데이터는 동일 시간 구간에 획득된 복수 유형의 센서 데이터로 구성될 수 있다. 인식 중복성 값은 차량(100) 주위에 인식되는 객체 타입 별 세부 중복성 값으로 출력될 수 있다. 객체 타입은 차량(100)의 주행가능영역으로 인식되는 객체, 차량(100) 주변의 도로 표식 객체, 차량(100) 주변의 마커 및 차량(100) 주변의 랜드마크 객체 중 적어도 하나를 포함할 수 있다. 이에 대한 상세한 설명은 도 3을 통해 서술되어 생략하기로 한다.
다음으로, 데이터 선별부(114)는 주변 장치(200)로부터 특이 상황 메시지를 수신할 수 있다(S115).
특이 상황 메시지는 주변 장치(200)의 센서 데이터에 기초하여 차량(100) 주위에 특이 상황의 발생 여부를 통지하는 메시지로 구성될 수 있다. 차량(100) 주위에 발생된 상황이 교통 장애, 위험 우려 이벤트 및 사고 중 적어도 하나의 종류로 판단되는 경우, 특이 상황 메시지는 주변 장치(200)에 의해, 특이 상황 발생 및 발생된 상황과 관련된 종류를 포함할 수 있다.
다음으로, 데이터 선별부(114)는 인식 중복성 값과 주변 장치(200)로부터 수신된 특이 상황 메시지에 근거하여, 획득된 센서 데이터를 포함하는 주행 데이터를 수집할지 여부를 판단할 수 있다(S120).
예를 들어, 데이터 선별부(114)는 인식 중복성 값의 연산에 활용된 센서 데이터의 획득 시간 당시에 특이 상황 메시지가 특이 상황 없음으로 통지되는지 여부를 확인할 수 있다. 또한, 데이터 선별부(114)는 인식 중복성 값에서 동일 시간 구간의 다양한 종류의 센서 데이터가 소정 기준값 이상으로 중복성이 있는지를 확인할 수 있다.
특이 상황 메시지가 특이 상황 없음으로 통지됨과 아울러서 인식 중복성 값이 소정 기준값으로 중복성 있는 것을 확인하면, 데이터 선별부(114)는 데이터 수집부(116)를 주행 데이터를 수집하지 않도록 제어할 수 있다. 또한, 데이터 수집부(116)는 주행 데이터를 메모리(106) 또는 학습 데이터 관리부(108)에 저장하지 않을 수 있다(S125). 상술한 바와 같이, 주행 데이터는 센서 데이터와 함께, 차량(100)의 동작과 차량(100)의 컴포넌트의 기능을 제어하는 제어 데이터 및 차량(100)의 상태와 관련된 상태 데이터를 포함할 수 있다.
이와는 달리, 데이터 선별부(114)가 센서 데이터의 중복성이 있더라도 특이 상황 메시지가 특이 상황으로 통지되거나, 특이 상황의 통지가 없더라도 센서 데이터의 중복성이 없다면, 소정 시간 구간에 획득된 주행 데이터를 수집하여 저장할 필요가 있다고 결정할 수 있다. 이러한 결정에 응답하여, 데이터 수집부(116)가 주행 데이터를 수집하여(S130), 학습 데이터로 편입하여(S135) 관리하도록 제어할 수 있다.
특이 상황은 빈번하게 발생하지 않으므로, 통상적인 주행 데이터는 특이 상황과 관련되지 않을 가능성이 높음과 아울러서, 평소의 학습데이터에 특이 상황이 존재할 가능성도 매우 적다. 따라서 특이 상황이 발생될 때의 주행 데이터 또는 학습 데이터에 대한 인식률은 낮을 수 있다. 특이 상황의 발생 전후에 상기 상황과 관련된 정보가 존재할 확률이 매우 높으나, 자신의 차량의 위치에서 정확한 인식은 곤란한 경우가 많다. 본 개시의 실시예에 의하면, 자신의 차량에서 해당 이벤트를 식별하기 전부터 주변 장치와의 V2X 통신을 통해 특이 상황 여부를 통지받아 선별적으로 유의미한 데이터를 취득할 수 있다. 또한, 유의미한 데이터를 수집하여 자원 부담을 경감할 수 있으며, 주석 작업량이 획기적으로 감소되어, 학습 개선에 기여할 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (20)

  1. 차량 주위의 센서 데이터를 획득하는 단계;
    상기 획득된 센서 데이터 및 기 누적된 센서 데이터에 기반하는 학습 데이터에 기초하여 인식 중복성 값을 출력하는 단계;
    주변 장치로부터 특이 상황 메시지를 수신하는 단계;
    상기 인식 중복성 값과 상기 특이 상황 메시지에 근거하여, 상기 획득된 센서 데이터를 포함하는 주행 데이터를 수집할지 여부를 판단하는 단계; 및
    상기 주행 데이터의 수집에 응답하여, 상기 주행 데이터를 수집하여 관리하는 단계를 포함하는, 자율주행용 차량 데이터 수집 방법.
  2. 제 1 항에 있어서,
    상기 센서 데이터는 상기 차량 주위의 상황과 관련된 2차원 및 3차원 영상 데이터 중 적어도 하나를 포함하는, 자율주행용 차량 데이터 수집 방법.
  3. 제 1 항에 있어서,
    상기 인식 중복성 값을 출력하는 단계는 인식 중복성을 연산하는 인공 신경망을 이용하여 수행되는, 자율주행용 차량 데이터 수집 방법.
  4. 제 1 항에 있어서,
    상기 인식 중복성 값을 출력하는 단계에서의 상기 센서 데이터는 동일 시간 구간에 획득된 복수 유형의 센서 데이터로 구성되는, 자율주행용 차량 데이터 수집 방법.
  5. 제 1 항에 있어서,
    상기 인식 중복성 값은 상기 차량 주위에 인식되는 객체 타입 별 세부 중복성 값으로 출력되는, 자율주행용 차량 데이터 수집 방법.
  6. 제 5 항에 있어서,
    상기 객체 타입은 상기 차량의 주행가능영역으로 인식되는 객체, 상기 차량 주변의 도로 표식 객체, 상기 차량 주변의 마커 및 상기 차량 주변의 랜드마크 객체 중 적어도 하나를 포함하는, 자율주행용 차량 데이터 수집 방법.
  7. 제 1 항에 있어서,
    상기 특이 상황 메시지는 상기 주변 장치의 센서 데이터에 기초하여 상기 차량 주위에 특이 상황의 발생 여부를 통지하는 메시지로 구성되는, 자율주행용 차량 데이터 수집 방법.
  8. 제 7 항에 있어서,
    상기 차량 주위에 발생된 상황이 교통 장애, 위험 우려 이벤트 및 사고 중 적어도 하나의 종류로 판단되는 경우, 상기 특이 상황 메시지는 상기 주변 장치에 의해, 특이 상황 발생 및 발생된 상황과 관련된 종류를 포함하도록 구성되는, 자율주행용 차량 데이터 수집 방법.
  9. 제 1 항에 있어서,
    상기 주행 데이터는 상기 센서 데이터와 함께, 상기 차량의 동작과 상기 차량의 컴포넌트의 기능을 제어하는 제어 데이터 및 상기 차량의 상태와 관련된 상태 데이터를 포함하는, 자율주행용 차량 데이터 수집 방법.
  10. 제 1 항에 있어서,
    상기 주변 장치는 V2X(Vehicle to Everything) 통신되는 장치이며, 상기 차량 주위의 다른 차량, 드론 및 노변 기지국(Road Side Unit; RSU) 중 적어도 하나를 포함하는, 자율주행용 차량 데이터 수집 방법.
  11. 주위 환경을 감지하는 센서부;
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하되,
    상기 프로세서는,
    차량 주위의 센서 데이터를 획득하고,
    상기 획득된 센서 데이터 및 기 누적된 센서 데이터에 기반하는 학습 데이터에 기초하여 인식 중복성 값을 출력하고,
    주변 장치로부터 특이 상황 메시지를 수신하고,
    상기 인식 중복성 값과 상기 특이 상황 메시지에 근거하여, 상기 획득된 센서 데이터를 포함하는 주행 데이터를 수집할지 여부를 판단하고,
    상기 주행 데이터의 수집에 응답하여, 상기 주행 데이터를 수집하여 관리하도록 구성되는 자율주행용 차량 데이터 수집 장치.
  12. 제 11 항에 있어서,
    상기 센서 데이터는 상기 차량 주위의 상황과 관련된 2차원 및 3차원 영상 데이터 중 적어도 하나를 포함하는, 자율주행용 차량 데이터 수집 장치.
  13. 제 11 항에 있어서,
    상기 인식 중복성 값의 출력은 인식 중복성을 연산하는 인공 신경망을 이용하여 수행되는, 자율주행용 차량 데이터 수집 장치.
  14. 제 11 항에 있어서,
    상기 인식 중복성 값의 출력에서의 상기 센서 데이터는 동일 시간 구간에 획득된 복수 유형의 센서 데이터로 구성되는, 자율주행용 차량 데이터 수집 장치.
  15. 제 11 항에 있어서,
    상기 인식 중복성 값은 상기 차량 주위에 인식되는 객체 타입 별 세부 중복성 값으로 출력되는, 자율주행용 차량 데이터 수집 장치.
  16. 제 15 항에 있어서,
    상기 객체 타입은 상기 차량의 주행가능영역으로 인식되는 객체, 상기 차량 주변의 도로 표식 객체, 상기 차량 주변의 마커 및 상기 차량 주변의 랜드마크 객체 중 적어도 하나를 포함하는, 자율주행용 차량 데이터 수집 장치.
  17. 제 11 항에 있어서,
    상기 특이 상황 메시지는 상기 주변 장치의 센서 데이터에 기초하여 상기 차량 주위에 특이 상황의 발생 여부를 통지하는 메시지로 구성되는, 자율주행용 차량 데이터 수집 장치.
  18. 제 17 항에 있어서,
    상기 차량 주위에 발생된 상황이 교통 장애, 위험 우려 이벤트 및 사고 중 적어도 하나의 종류로 판단되는 경우, 상기 특이 상황 메시지는 상기 주변 장치에 의해, 특이 상황 발생 및 발생된 상황과 관련된 종류를 포함하도록 구성되는, 자율주행용 차량 데이터 수집 장치.
  19. 제 11 항에 있어서,
    상기 주행 데이터는 상기 센서 데이터와 함께, 상기 차량의 동작과 상기 차량의 컴포넌트의 기능을 제어하는 제어 데이터 및 상기 차량의 상태와 관련된 상태 데이터를 포함하는, 자율주행용 차량 데이터 수집 장치.
  20. 주위 환경을 감지하는 센서부;
    주행을 구현하는 구동부;
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 적어도 하나의 인스트럭션을 실행하며 상기 구동부를 제어하는 프로세서를 포함하되,
    상기 프로세서는,
    상기 차량 주위의 센서 데이터를 획득하고,
    상기 획득된 센서 데이터 및 기 누적된 센서 데이터에 기반하는 학습 데이터에 기초하여 인식 중복성 값을 출력하고,
    상기 주변 장치로부터 특이 상황 메시지를 수신하고,
    상기 인식 중복성 값과 상기 특이 상황 메시지에 근거하여, 상기 획득된 센서 데이터를 포함하는 주행 데이터를 수집할지 여부를 판단하고,
    상기 주행 데이터의 수집에 응답하여, 상기 주행 데이터를 수집하여 관리하도록 구성되는 차량.
KR1020220078847A 2022-06-28 2022-06-28 자율주행용 차량 데이터 수집 방법, 장치 및 차량 KR20240001929A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220078847A KR20240001929A (ko) 2022-06-28 2022-06-28 자율주행용 차량 데이터 수집 방법, 장치 및 차량
US18/100,918 US20230415769A1 (en) 2022-06-28 2023-01-24 Method, device, and vehicle for collecting vehicle data for autonomous driving

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220078847A KR20240001929A (ko) 2022-06-28 2022-06-28 자율주행용 차량 데이터 수집 방법, 장치 및 차량

Publications (1)

Publication Number Publication Date
KR20240001929A true KR20240001929A (ko) 2024-01-04

Family

ID=89324271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220078847A KR20240001929A (ko) 2022-06-28 2022-06-28 자율주행용 차량 데이터 수집 방법, 장치 및 차량

Country Status (2)

Country Link
US (1) US20230415769A1 (ko)
KR (1) KR20240001929A (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607484B2 (en) * 2017-12-28 2020-03-31 Intel Corporation Privacy-preserving distributed visual data processing
US10983524B2 (en) * 2018-04-12 2021-04-20 Baidu Usa Llc Sensor aggregation framework for autonomous driving vehicles

Also Published As

Publication number Publication date
US20230415769A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
US10983520B2 (en) Teleassistance data prioritization for self-driving vehicles
JP6494719B2 (ja) 交通信号マップ作成及び検出
US20230056023A1 (en) Vehicle-road driving intelligence allocation
US10202126B2 (en) Teleassistance data encoding for self-driving vehicles
US10732625B2 (en) Autonomous vehicle operations with automated assistance
WO2020164237A1 (zh) 用于驾驶控制的方法、装置、设备、介质和系统
US11585669B2 (en) Vehicle routing using connected data analytics platform
US9836661B2 (en) System and method for collision avoidance
US20210331686A1 (en) Systems and Methods for Handling Autonomous Vehicle Faults
CN111295319B (zh) 车辆控制方法、相关设备及计算机存储介质
US10202206B2 (en) System and method for aircraft power management
CN109298713B (zh) 指令发送方法、装置及系统、自动驾驶车辆
EP4148526A1 (en) Simulation method for autonomous vehicle and method for controlling autonomous vehicle
US20160163209A1 (en) System and method for aircraft fleet management
US11529966B2 (en) Risk prediction on a peer-to-peer network
US20230415762A1 (en) Peer-to-peer occupancy estimation
US11626012B2 (en) Hierarchical integrated traffic management system for managing vehicles
CN111833597A (zh) 具有规划控制的交通情形中的自主决策
WO2023103459A1 (zh) 车辆控制方法、决策服务器及存储介质
Lee et al. Implementation of a collision avoidance system to assist safe driving based on data fusion in vehicular networks
KR20240001929A (ko) 자율주행용 차량 데이터 수집 방법, 장치 및 차량
US20240233534A1 (en) Multi-level disengagement service for autonomous vehicles
US20240046790A1 (en) Augmented path planning for automotive applications
US20240181650A1 (en) Road debris detection and removal system
EP4432042A1 (en) Automatic driving system, server, and vehicle

Legal Events

Date Code Title Description
E902 Notification of reason for refusal