KR20230099518A - 자율 주행 학습 데이터 취득 장치 및 그 방법 - Google Patents

자율 주행 학습 데이터 취득 장치 및 그 방법 Download PDF

Info

Publication number
KR20230099518A
KR20230099518A KR1020210188955A KR20210188955A KR20230099518A KR 20230099518 A KR20230099518 A KR 20230099518A KR 1020210188955 A KR1020210188955 A KR 1020210188955A KR 20210188955 A KR20210188955 A KR 20210188955A KR 20230099518 A KR20230099518 A KR 20230099518A
Authority
KR
South Korea
Prior art keywords
learning
input data
recognition logic
data
processor
Prior art date
Application number
KR1020210188955A
Other languages
English (en)
Inventor
김영현
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020210188955A priority Critical patent/KR20230099518A/ko
Priority to US17/884,058 priority patent/US20230202510A1/en
Publication of KR20230099518A publication Critical patent/KR20230099518A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 자율 주행 차량의 학습 데이터를 선택적으로 취득하는 자율 주행 학습 데이터 취득 장치 및 그 방법에 관한 것으로, 본 발명에 의하면, 정보획득부가, 자율 주행에 관한 인식 로직의 입력 데이터를 획득하고, 프로세서가, 기 학습된 인공 신경망 기반의 학습 모델을 통해, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하고, 입력 데이터 중 인식 로직의 학습에 필요하다고 판단되는 입력 데이터를 저장부에 저장할 수 있다. 본 발명을 통해, 자율 주행 차량의 데이터 저장 장치의 저장 공간을 효율적으로 사용하며, 사용자들이 운행하는 자율 주행 차량에서 양질의 학습 데이터를 효과적으로 취득하는 효과를 제공할 수 있다.

Description

자율 주행 학습 데이터 취득 장치 및 그 방법{APPARATUS FOR ACQUIRING AUTONOMOUS DRIVING LEARNING DATA AND METHOD THEREOF}
본 발명은 자율 주행 학습 데이터 취득 장치 및 그 방법에 관한 것으로, 보다 상세하게는 자율 주행 차량의 학습 데이터를 선택적으로 취득하는 자율 주행 학습 데이터 취득 장치 및 그 방법에 관한 것이다.
자율 주행 기술 개발을 위해서는 다양한 학습 영상 등의 GT(Ground-Truth) 데이터를 확보하는 것이 필요하다. 자율 주행 기술에 관한 학습 데이터 취득은 실제 자율 주행 차량의 주행을 통해 획득될 수 있다. 시중에 판매되어 사용자가 주행하는 차량을 통해 학습 데이터를 획득하거나 또는 학습 데이터 취득을 목적으로 실험적으로 주행하는 차량을 통해 학습 데이터를 획득하는 방법이 있다. 후자의 경우 소요되는 시간적 문제와 확보되는 데이터의 다양성에 대한 한계 때문에 전자와 같이 시중에 판매된 차량에서 자동으로 전송해 주는 데이터를 획득하는 것이 효과적인 방법이다.
하지만, 이러한 방법을 사용하게 되면, 다량의 데이터 확보가 가능하지만 차량의 이동 장소에 따른 다양한 데이터는 확보되지 못할 수 있다. 또한, 데이터를 선택적으로 획득하지 않고, 입력된 모든 데이터를 저장하는 경우 저장 용량 부족의 문제가 발생할 수 있다. 그리고, 일부 사용자가 악의적인 의도를 가지고 차량을 운행하여 오류를 발생시킬 수 있는 데이터를 취득하는 경우 문제가 발생할 수 있다. 따라서, 이러한 문제점을 극복하고 효율적으로 학습 데이터를 취득하기 위한 기술의 개발이 필요하다.
본 발명의 실시 예는, 자율 주행 차량의 학습 데이터를 선택적으로 취득하는 자율 주행 학습 데이터 취득 장치 및 그 방법을 제공하고자 한다.
본 발명의 다른 실시 예는, 다양한 장소에 따른 자율 주행 학습 데이터를 선택적으로 획득하기 위한 자율 주행 학습 데이터 취득 장치 및 그 방법을 제공하고자 한다.
본 발명의 또 다른 실시 예는, 자율 주행 차량의 데이터 저장 장치의 저장 공간을 효율적으로 사용하기 위한 자율 주행 학습 데이터 취득 장치 및 그 방법을 제공하고자 한다.
본 발명의 또 다른 실시 예는, 획득된 데이터 중 악의적인 자율 주행 학습 데이터를 제외하기 위한 자율 주행 학습 데이터 취득 장치 및 그 방법을 제공하고자 한다.
본 발명의 또 다른 실시 예는, 사용자들이 운행하는 자율 주행 차량에서 양질의 학습 데이터를 효과적으로 취득하는 자율 주행 학습 데이터 취득 장치 및 그 방법을 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른 자율 주행 학습 데이터 취득 장치는 자율 주행 차량에 구비되어, 자율 주행에 관한 인식 로직의 입력 데이터를 획득하는 정보획득부, 상기 입력 데이터 중 상기 인식 로직의 학습에 필요하다고 판단되는 입력 데이터를 저장하는 저장부, 및 기 학습된 인공 신경망(ANN, Artificial Neural Network) 기반의 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 프로세서를 포함할 수 있다.
일 실시 예에 있어서, 상기 정보획득부는, 상기 자율 주행 차량의 주변 물체에 대한 영상을 획득하는 카메라, 상기 주변 물체의 위치를 검출하는 라이다(LiDAR, Light Detection And Ranging), 레이더(Radar, Radio Detecting And Ranging) 또는 초음파 센서 중 적어도 하나 이상을 포함할 수 있다.
일 실시 예에 있어서, 서버와 통신하는 통신부를 더 포함하고, 상기 프로세서는, 상기 통신부를 통해, 상기 서버로부터 상기 학습 모델의 업데이트가 가능한지 여부를 확인하고, 상기 학습 모델의 업데이트가 가능한 경우, 상기 서버를 통해 학습 모델을 업데이트할 수 있다.
일 실시 예에 있어서, 서버와 통신하는 통신부를 더 포함하고, 상기 프로세서는, 기 설정된 데이터 전송 조건이 만족되면, 상기 저장부에 저장된 입력 데이터를 상기 통신부를 통해 상기 서버로 전송할 수 있다.
일 실시 예에 있어서, 상기 데이터 전송 조건은, 상기 자율 주행 차량이 충전되는 조건 또는 상기 자율 주행 차량이 차고지에 입고되는 조건 중 적어도 하나 이상을 포함할 수 있다.
일 실시 예에 있어서, 상기 인식 로직은, 상기 입력 데이터를 기반으로, 상기 자율 주행 차량의 주변 물체에 대한 검출(Detection), 인식(Recognition), 분류(Classification) 또는 분할(Segmentation) 중 적어도 하나 이상을 수행하는 로직을 포함할 수 있다.
일 실시 예에 있어서, 상기 프로세서는, 상기 획득된 입력 데이터 및 상기 획득된 입력 데이터를 상기 인식 로직에 적용한 결과를 기반으로, 상기 학습 모델을 통해 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단할 수 있다.
일 실시 예에 있어서, 상기 획득된 입력 데이터를 상기 인식 로직에 적용한 결과는, 상기 자율 주행 차량의 주변 물체의 2차원 위치에 대한 정보, 상기 주변 물체의 3차원 위치에 대한 정보, 상기 주변 물체의 종류 또는 신뢰도 중 적어도 하나 이상을 포함할 수 있다.
일 실시 예에 있어서, 상기 주변 물체의 2차원 위치에 대한 정보는, 상기 주변 물체의 바운딩 박스(Bounding box)의 위치 좌표에 대한 정보를 포함할 수 있다.
일 실시 예에 있어서, 상기 주변 물체의 3차원 위치에 대한 정보는, 상기 주변 물체의 위치, 크기 또는 진입각 중 적어도 하나 이상에 대한 정보를 포함할 수 있다.
일 실시 예에 있어서, 상기 프로세서는, 상기 학습 모델을 통해, 벡터값을 산출하고, 상기 산출된 벡터값 및 상기 벡터값이 포함되는 벡터 공간에서 기 설정된 초평면을 기반으로, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단할 수 있다.
일 실시 예에 있어서, 상기 프로세서는, 하나 이상의 콘볼루션 신경망(Convolution Neural Network), 배치 정규화(Batch-normalization) 또는 활성화 레이어(Activation layer) 중 적어도 하나 이상을 포함하는 인공 신경망 기반의 상기 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단할 수 있다.
일 실시 예에 있어서, 상기 프로세서는, 상기 학습 모델을 통해 출력된 결과값이 기 설정된 임계치를 초과하는지 여부를 기반으로, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단할 수 있다.
본 발명의 다른 일 실시 예에 따른 자율 주행 학습 데이터 취득 방법은 자율 주행 차량에 구비되는 정보획득부가, 자율 주행에 관한 인식 로직의 입력 데이터를 획득하는 단계, 프로세서가, 기 학습된 인공 신경망 기반의 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계, 및 상기 프로세서가, 상기 입력 데이터 중 상기 인식 로직의 학습에 필요하다고 판단되는 입력 데이터를 저장부에 저장하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 프로세서가, 기 설정된 데이터 전송 조건이 만족되면, 서버와 통신하는 통신부를 통해, 상기 저장부에 저장된 입력 데이터를 상기 서버로 전송하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 상기 프로세서가, 기 학습된 인공 신경망 기반의 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계는, 상기 프로세서가, 상기 획득된 입력 데이터 및 상기 획득된 입력 데이터를 상기 인식 로직에 적용한 결과를 기반으로, 상기 학습 모델을 통해 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 획득된 입력 데이터를 상기 인식 로직에 적용한 결과는, 상기 자율 주행 차량의 주변 물체의 2차원 위치에 대한 정보, 상기 주변 물체의 3차원 위치에 대한 정보, 상기 주변 물체의 종류 또는 신뢰도 중 적어도 하나 이상을 포함할 수 있다.
일 실시 예에 있어서, 상기 프로세서가, 기 학습된 인공 신경망 기반의 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계는, 상기 프로세서가, 상기 학습 모델을 통해, 벡터값을 산출하는 단계, 및 상기 프로세서가, 상기 산출된 벡터값 및 상기 벡터값이 포함되는 벡터 공간에서 기 설정된 초평면을 기반으로, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 프로세서가, 기 학습된 인공 신경망 기반의 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계는, 상기 프로세서가, 하나 이상의 콘볼루션 신경망, 배치 정규화 또는 활성화 레이어 중 적어도 하나 이상을 포함하는 인공 신경망 기반의 상기 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 프로세서가, 기 학습된 인공 신경망 기반의 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계는, 상기 프로세서가, 상기 학습 모델을 통해 출력된 결과값이 기 설정된 임계치를 초과하는지 여부를 기반으로, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계를 포함할 수 있다.
본 발명에 따른 자율 주행 학습 데이터 취득 장치 및 그 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 자율 주행 차량의 학습 데이터를 선택적으로 취득하는 자율 주행 학습 데이터 취득 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 다양한 장소에 따른 자율 주행 학습 데이터를 선택적으로 획득하기 위한 자율 주행 학습 데이터 취득 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 자율 주행 차량의 데이터 저장 장치의 저장 공간을 효율적으로 사용하기 위한 자율 주행 학습 데이터 취득 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 획득된 데이터 중 악의적인 자율 주행 학습 데이터를 제외하기 위한 자율 주행 학습 데이터 취득 장치 및 그 방법을 제공할 수 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 사용자들이 운행하는 자율 주행 차량에서 양질의 학습 데이터를 효과적으로 취득하는 자율 주행 학습 데이터 취득 장치 및 그 방법을 제공할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 자율 주행 학습 데이터 취득 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 자율 주행 학습 데이터 취득 장치가 인식 로직의 학습에 필요한 데이터를 판단하는 과정을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 자율 주행 학습 데이터 취득 장치가 저장된 학습 데이터를 서버에 전송하는 과정을 나타내는 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 따른 자율 주행 학습 데이터 취득 장치가 서버로부터 인식 로직의 학습에 필요한 데이터를 판단하는 학습 모델을 업데이트하는 과정을 나타내는 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 자율 주행 학습 데이터 취득 장치에 대한 인식 로직을 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 인식 로직의 학습에 필요한 데이터를 판단하는 학습 모델을 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 인식 로직의 학습에 필요한 데이터를 판단하는 학습 모델이 출력하는 벡터를 나타내는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 자율 주행 학습 데이터 취득 방법을 나타내는 흐름도이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 도 1 내지 도 8을 참조하여, 본 발명의 실시 예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 자율 주행 학습 데이터 취득 장치를 나타내는 블록도이다.
본 발명에 따른 자율 주행 학습 데이터 취득 장치(100)는 차량의 내부 또는 외부에 구현될 수 있다. 이때, 자율 주행 학습 데이터 취득 장치(100)는 차량의 내부 제어 유닛들과 일체로 형성될 수 있으며, 별도의 하드웨어 장치로 구현되어 연결 수단에 의해 차량의 제어 유닛들과 연결될 수도 있다.
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 차량과 일체로 구현될 수도 있고, 차량과 별개의 구성으로 차량에 설치/부착되는 형태로 구현될 수도 있고, 또는 일부는 차량과 일체로 구현되고, 다른 일부는 차량과 별개의 구성으로 차량에 설치/부착되는 형태로 구현될 수도 있다.
도 1을 참조하면, 자율 주행 학습 데이터 취득 장치(100)는 정보획득부(110), 저장부(120) 및 프로세서(130)를 포함할 수 있다.
정보획득부(110)는 자율 주행 차량에 구비되어, 자율 주행에 관한 인식 로직의 입력 데이터를 획득할 수 있다.
일 예로, 인식 로직은 입력 데이터를 기반으로, 자율 주행 차량의 주변 물체에 대한 검출(Detection), 인식(Recognition), 분류(Classification) 또는 분할(Segmentation) 중 적어도 하나 이상을 수행하는 로직을 포함할 수 있다.
일 예로, 인식 로직은 기 학습된 인공 신경망(ANN, Artificial Neural Network) 기반의 학습 모델을 포함하여 구현될 수 있다.
일 예로, 인식 로직은 하나 이상의 콘볼루션 신경망(Convolution Neural Network), 배치 정규화(Batch-normalization) 또는 활성화 레이어(Activation layer) 중 적어도 하나 이상을 포함하는 인공 신경망 기반의 학습 모델을 포함하여 구현될 수 있다.
인식 로직에 대해서는 추후 도 5를 통해 구체적으로 설명하기로 한다.
일 예로, 정보획득부(110)는 자율 주행 차량의 주변 물체에 대한 영상을 획득하는 카메라, 주변 물체의 위치를 검출하는 라이다(LiDAR, Light Detection And Ranging), 레이더(Radar, Radio Detecting And Ranging) 또는 초음파 센서 중 적어도 하나 이상을 포함할 수 있다.
이 때, 인식 로직에 대한 입력 데이터는 카메라 영상, 라이다 센서 데이터, 레이더 센서 데이터, 초음파 센서 데이터 또는 이러한 데이터에 대한 차량 내 통신 신호(예를 들어, CAN(Controller Area Network) 신호) 중 적어도 하나 이상을 포함할 수 있다.
일 예로, 정보획득부(110)는 프로세서(130)와 무선 또는 유선 통신을 통해 연결되어, 직접 또는 간접적으로 프로세서(130)에 획득된 입력 데이터를 전달할 수 있다.
저장부(120)는 입력 데이터 중 인식 로직의 학습에 필요하다고 판단되는 입력 데이터를 저장할 수 있다.
일 예로, 저장부(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 또는 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 또는 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
일 예로, 저장부(120)는 통신부(110)를 통해 수신된 데이터, 프로세서(130)를 동작하는데 필요한 데이터, 프로세서(130)를 동작하는데 필요한 알고리즘, 인식 로직 또는 기 학습된 인공 신경망 기반의 학습 모델 중 적어도 하나 이상을 저장할 수 있다.
일 예로, 저장부(120)는 통신부(110) 및/또는 프로세서(130)와 연결되어, 저장되어 있는 정보를 통신부(110) 및/또는 프로세서(130)에 제공할 수 있다.
프로세서(130)는 정보획득(110), 저장부(120) 등과 전기적으로 연결될 수 있고, 각 구성들을 전기적으로 제어할 수 있으며, 소프트웨어의 명령을 실행하는 전기 회로가 될 수 있으며, 이에 의해 후술하는 다양한 데이터 처리 및 계산을 수행할 수 있다. 프로세서(130)는 예를 들어, 차량에 탑재되는 ECU(Electronic Control Unit), MCU(Micro Controller Unit) 또는 다른 하위 제어기일 수 있다.
프로세서(130)는 기 학습된 인공 신경망 기반의 학습 모델을 통해, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단할 수 있다.
일 예로, 기 학습된 인공 신경망 기반의 학습 모델은 입력 데이터의 품질을 평가할 수 있다.
기 학습된 인공 신경망은 자율 주행 차량 제조 시, 저장부(120)에 저장되거나, 또는 제조 이후에 서버로부터 다운로드 될 수 있다.
일 예로, 프로세서(130)는 하나 이상의 콘볼루션 신경망, 배치 정규화 또는 활성화 레이어 중 적어도 하나 이상을 포함하는 인공 신경망 기반의 학습 모델을 통해, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단할 수 있다.
일 예로, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 학습 모델은 하나 이상의 콘볼루션 레이어(Convolution layer)를 포함할 수 있다.
일 예로, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 학습 모델은 각각의 레이어(Layer)마다 데이터를 정규화하는 레이어를 포함하여 변형된 분포가 출력되지 않도록 조절할 수 있다.
일 예로, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 학습 모델은 ReLU(Rectified Linear Unit) 등의 활성화 함수 기반의 활성화 레이어를 포함할 수 있다.
일 예로, 프로세서(130)는 획득된 입력 데이터 및 획득된 입력 데이터를 인식 로직에 적용한 결과를 기반으로, 학습 모델을 통해 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단할 수 있다.
일 예로, 프로세서(130)는 획득된 입력 데이터를 인식 로직에 적용한 결과와 가 병합된 데이터를 학습 모델의 입력값으로 하여, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단할 수 있다.
일 예로, 획득된 입력 데이터를 인식 로직에 적용한 결과는 자율 주행 차량의 주변 물체의 2차원 위치에 대한 정보, 주변 물체의 3차원 위치에 대한 정보, 주변 물체의 종류 또는 신뢰도 중 적어도 하나 이상을 포함할 수 있다.
일 예로, 프로세서(130)는 획득된 입력 데이터와 자율 주행 차량의 주변 물체의 2차원 위치에 대한 정보, 주변 물체의 3차원 위치에 대한 정보, 주변 물체의 종류에 대한 정보 또는 신뢰도에 대한 정보 중 적어도 하나 이상이 병합된 데이터를 학습 모델의 입력값으로 하여, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단할 수 있다.
일 예로, 주변 물체의 2차원 위치에 대한 정보는 주변 물체의 바운딩 박스(Bounding box)의 위치 좌표에 대한 정보를 포함할 수 있다.
일 예로, 주변 물체의 2차원 위치에 대한 정보는 영상 내에 또는 타 센서를 통해 획득된 센서 정보를 통해 2차원 좌표계 상에 위치된 주변 물체의 바운딩 박스의 위치 좌표에 대한 정보를 포함할 수 있다.
일 예로, 주변 물체의 2차원 위치에 대한 정보는 주변 물체의 바운딩 박스의 X좌표의 최소값, Y좌표의 최소값, X좌표의 최대값 및 Y좌표의 최대값에 대한 정보를 포함할 수 있다.
일 예로, 프로세서(130)는 주변 물체의 바운딩 박스의 X좌표의 최소값, Y좌표의 최소값, X좌표의 최대값 및 Y좌표의 최대값에 대한 정보를 산출할 수 있다.
일 예로, 주변 물체의 3차원 위치에 대한 정보는 주변 물체의 위치, 크기 또는 진입각 중 적어도 하나 이상에 대한 정보를 포함할 수 있다.
일 예로, 주변 물체의 3차원 위치에 대한 정보는 주변 물체의 중심 또는 특징점의 X좌표, Y좌표 및 Z좌표에 대한 정보를 포함할 수 있다.
일 예로, 주변 물체의 3차원 위치에 대한 정보는 주변 물체의 전고, 전폭 및 전장에 대한 정보를 포함할 수 있다.
일 예로, 주변 물체의 3차원 위치에 대한 정보는 자율 주행 차량의 진행 방향을 기준으로, 주변 물체가 이동하는 방향의 각도에 대한 정보를 포함할 수 있다.
일 예로, 프로세서(130)는 학습 모델을 통해, 벡터값을 산출하고, 산출된 벡터값 및 벡터값이 포함되는 벡터 공간에서 기 설정된 초평면을 기반으로, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단할 수 있다.
구체적으로, 프로세서(130)는 학습 모델을 통해, 결과값을 산출하는 과정의 중간 단계에서 하나의 벡터를 산출할 수 있다. 그리고, 프로세서(130)는 산출된 하나의 벡터를 판단 기준이 되는 기 설정된 초평면을 통해 평가하여, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단할 수 있다.
일 예로, 프로세서(130)는 학습 모델을 통해 출력된 결과값이 기 설정된 임계치를 초과하는지 여부를 기반으로, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단할 수 있다.
구체적으로, 프로세서(130)는 학습 모델을 통해, 하나의 최종 결과값을 산출할 수 있으며, 결과값은 0과 1 사이의 실수일 수 있다. 그리고, 프로세서(130)는 산출된 결과값이 특정 임계치 이상인지 여부를 기반으로, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단할 수 있다.
도시되지는 않았지만, 자율 주행 학습 데이터 취득 장치(100)는 서버와 통신하는 통신부를 더 포함할 수 있다.
일 예로, 통신부(미도시)는 다양한 통신 방식을 이용하여 데이터를 서버와 송수신할 수 있다. 예를 들면, 통신부(미도시)는 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), 초광대역(UWB, Ultra-Wide Band) 통신, 근거리 무선 통신(NFC, Near Field Communication) 방식을 이용할 수 있다.
일 예로, 통신부(미도시)는 실시간으로 또는 특정 주기로, 서버와 통신할 수 있다.
일 예로, 통신부(미도시)와 통신하는 서버는 자율 주행 학습 데이터의 수집, 저장 및 관리를 수행하는 서버일 수 있다.
일 예로, 프로세서(130)는 통신부(미도시)를 통해, 서버로부터 학습 모델의 업데이트가 가능한지 여부를 확인하고, 학습 모델의 업데이트가 가능한 경우, 서버를 통해 학습 모델을 업데이트할 수 있다.
일 예로, 프로세서(130)는 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 학습 모델의 업데이트가 가능한 것으로 확인되는 경우, 서버로부터 업데이트 파일을 다운로드 받아, 저장부(120)에 저장된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 학습 모델을 업데이트할 수 있다.
일 예로, 프로세서(130)는 기 설정된 데이터 전송 조건이 만족되면, 저장부(120)에 저장된 입력 데이터를 통신부(미도시)를 통해 서버로 전송할 수 있다.
일 예로, 프로세서(130)는 자율 주행 차량의 주행이 종료되고, 서버에 데이터를 전송하기 적합한 환경으로 판단되는 경우, 저장부(120)에 저장된 입력 데이터를 통신부(미도시)를 통해 서버로 전송할 수 있다.
일 예로, 데이터 전송 조건은 자율 주행 차량이 충전되는 조건 또는 자율 주행 차량이 차고지에 입고되는 조건 중 적어도 하나 이상을 포함할 수 있다.
일 예로, 프로세서(130)는 데이터 전송 조건을 확인하기 위해, 자율 주행 차량의 BMS(Battery Management System)와 연결되어, 자율 주행 차량이 충전 중인지 여부를 확인할 수 있다.
일 예로, 프로세서(130)는 데이터 전송 조건을 확인하기 위해, 자율 주행 차량의 GPS(Global Positioning System)와 연결되어, 자율 주행 차량이 충전 중인지 여부를 확인할 수 있다.
일 예로, 프로세서(130)는 자율 주행 차량의 주행이 종료되고, 자율 주행 차량이 전기차이며 충전소에서 충전되는 경우 또는 자율 주행 차량이 플릿 차량이며 차고지에 입고되는 경우, 서버에 데이터를 전송하기 적합한 환경으로 판단하여, 저장부(120)에 저장된 입력 데이터를 통신부(미도시)를 통해 서버로 전송할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 자율 주행 학습 데이터 취득 장치가 인식 로직의 학습에 필요한 데이터를 판단하는 과정을 나타내는 흐름도이다.
도 2를 참조하면, 자율 주행 학습 데이터 취득 장치(100)는 자율 주행 차량의 입력 데이터를 획득할 수 있다(S201).
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 자율 주행 차량에 구비된 다양한 센서를 통해 자율 주행에 관한 데이터를 획득할 수 있다.
자율 주행 학습 데이터 취득 장치(100)는 인식 로직을 작동할 수 있다(S202).
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 획득된 입력 데이터를 입력으로 하여, 자율 주행 차량의 주변 환경을 인식하는 인식 로직을 작동하여, 인식 로직의 결과를 산출할 수 있다.
자율 주행 학습 데이터 취득 장치(100)는 인식 로직 결과와 입력 데이터를 취합할 수 있다(S203).
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 인식 로직의 결과와 입력 데이터가 합병된 새로운 데이터를 생성할 수 있다.
자율 주행 학습 데이터 취득 장치(100)는 기 학습된 인공 신경망 기반의 학습 모델을 작동할 수 있다(S204).
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 인식 로직의 결과와 입력 데이터가 합병된 새로운 데이터를 입력으로 하여, 기 학습된 인공 신경망 기반의 학습 모델을 작동할 수 있다.
자율 주행 학습 데이터 취득 장치(100)는 학습 모델을 통해, 입력 데이터가 인식 로직의 학습에 필요한 데이터인지 여부를 확인할 수 있다(S205).
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 인식 로직의 결과와 입력 데이터가 합병된 새로운 데이터를 입력으로 한, 학습 모델의 출력값을 기반으로, 입력 데이터가 인식 로직의 학습에 필요한 데이터인지 여부를 확인할 수 있다.
자율 주행 학습 데이터 취득 장치(100)는 입력 데이터가 인식 로직의 학습에 필요한 데이터가 아닌 것으로 확인되는 경우, 다시 S204로 돌아가 기 학습된 인공 신경망 기반의 학습 모델을 작동시킬 수 있다.
자율 주행 학습 데이터 취득 장치(100)는 입력 데이터가 인식 로직의 학습에 필요한 데이터인 것으로 확인되는 경우, 입력 데이터를 저장할 수 있다.
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 입력 데이터가 인식 로직의 학습에 필요한 데이터인 것으로 확인되는 경우, 저장부(120)에 입력 데이터를 저장하고, 입력 데이터가 인식 로직의 학습에 필요한 데이터가 아닌 것으로 확인되는 경우, 입력 데이터를 저장하지 않을 수 있다.
도 3은 본 발명의 일 실시 예에 따른 자율 주행 학습 데이터 취득 장치가 저장된 학습 데이터를 서버에 전송하는 과정을 나타내는 흐름도이다.
도 3을 참조하면, 자율 주행 학습 데이터 취득 장치(100)는 데이터 전송 조건이 만족되었는지 여부를 확인할 수 있다(S301).
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 자율 주행 차량의 주행이 종료되고, 서버에 데이터를 전송하기 적합한 환경(자율 주행 차량이 전기차인 경우에는 충전소에서 충전 중인 조건, 자율 주행 차량이 플릿 차량인 경우에는 차고지에 입고되는 조건)인지 여부를 판단할 수 있다.
자율 주행 학습 데이터 취득 장치(100)는 데이터 전송 조건이 만족되지 않은 것으로 확인된 경우, 다시 S301로 돌아가 데이터 전송 조건이 만족되었는지 여부를 확인할 수 있다.
자율 주행 학습 데이터 취득 장치(100)는 데이터 전송 조건이 만족된 것으로 확인된 경우, 저장된 입력 데이터를 서버에 전송할 수 있다(S302).
자율 주행 학습 데이터 취득 장치(100)가 데이터 전송 조건을 확인하여 조건을 만족하는 경우에만 데이터를 서버에 전송함으로써, 자율 주행 차량의 안정성을 도모할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 따른 자율 주행 학습 데이터 취득 장치가 서버로부터 인식 로직의 학습에 필요한 데이터를 판단하는 학습 모델을 업데이트하는 과정을 나타내는 흐름도이다.
도 4를 참조하면, 자율 주행 학습 데이터 취득 장치(100)는 자율 주행 차량에 저장된 기 학습된 인공 신경망 기반의 학습 모델을 로드할 수 있다(S401).
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 입력 데이터가 획득되면 저장부(120)에 저장된 기 학습된 인공 신경망 기반의 학습 모델을 로드할 수 있다.
자율 주행 학습 데이터 취득 장치(100)는 학습 모델이 서버로부터 업데이트 가능한지 여부를 확인할 수 있다(S402).
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 통신부를 통해 서버와 통신하여, 저장부(120)에 저장되어 입력 데이터가 인식 로직의 학습에 필요한지 판단하는 학습 모델의 업데이트가 가능한지 여부를 확인할 수 있다.
자율 주행 학습 데이터 취득 장치(100)는 학습 모델이 서버로부터 업데이트 가능한 것으로 확인된 경우, 자율 주행 차량의 학습 모델을 업데이트할 수 있다(S403).
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 통신부를 통해 서버로부터 업데이트 파일을 다운받아 저장부(120)에 저장되어 입력 데이터가 인식 로직의 학습에 필요한지 판단하는 학습 모델을 최신 버전으로 업데이트할 수 있다.
자율 주행 학습 데이터 취득 장치(100)는 자율 주행 차량의 학습 모델을 업데이트한 후(S403), 학습 모델을 동작할 수 있다(S404).
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 업데이트된 최신 버전의 학습 모델을 동작하여, 입력 데이터가 인식 로직의 학습에 필요한 데이터인지 여부를 확인할 수 있다.
자율 주행 학습 데이터 취득 장치(100)는 학습 모델이 서버로부터 업데이트 가능하지 않은 것으로 확인된 경우, 학습 모델을 동작할 수 있다(S404).
자율 주행 학습 데이터 취득 장치(100)는 학습 모델이 서버로부터 업데이트 가능하지 않은 것으로 확인된 경우, 기존에 저장부(120)에 저장되어 있는 학습 모델이 최신 버전이므로, 저장된 학습 모델을 동작하여, 입력 데이터가 인식 로직의 학습에 필요한 데이터인지 여부를 확인할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 자율 주행 학습 데이터 취득 장치에 대한 인식 로직을 나타내는 도면이다.
도 5를 참조하면, 자율 주행 차량의 주변 환경을 인식하는 인식 로직(502)은 기 학습된 인공 신경망 기반의 학습 모델을 통해 구현될 수 있다.
일 예로, 인식 로직(502)은 자율 주행 차량의 주변 영상을 포함하는 입력 데이터를 입력으로 받아 동작할 수 있다.
도시되지 않은 다른 일 예로, 인식 로직은 라이다 센서 데이터, 레이더 센서 데이터, 초음파 센서 데이터 또는 이러한 데이터에 대한 차량 내 통신 신호 중 적어도 하나 이상을 입력으로 받아 동작할 수 있다.
일 예로, 인식 로직(502)을 구현하는 인공 신경망 기반의 학습 모델은 하나 이상의 콘볼루션 레이어(conv1, conv2, conv3, conv4, conv5, …)를 포함할 수 있다.
일 예로, 각각의 콘볼루션 레이어는 데이터를 정규화하는 레이어를 포함할 수 있다.
일 예로, 인식 로직(502)은 입력 데이터(502)가 콘볼루션 레이어(conv1, conv2, conv3, conv4, conv5, …)를 거쳐 산출된 데이터를 하나 이상의 덴스 레이어(Dense layer) 또는 완전 연결 레이어(Fully connected layer)의 입력으로 하여, 최종 인식 로직 결과(503)를 산출할 수 있다.
일 예로, 인식 로직 결과(503)는 자율 주행 차량 주변 물체의 위치에 대한 정보, 자율 주행 차량 주변 물체의 종류에 대한 정보 또는 인식에 대한 신뢰도에 대한 정보 중 적어도 하나 이상을 포함할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 인식 로직의 학습에 필요한 데이터를 판단하는 학습 모델을 나타내는 도면이다.
도 6을 참조하면, 입력 데이터 평가 학습 모델(603)은 입력 데이터(601) 및 인식 로직 결과(602)를 기반으로, 입력 데이터 평가 결과(605)를 산출할 수 있다.
일 예로, 입력 데이터 평가 학습 모델(603)은 기 학습된 인공 신경망 기반의 학습 모델을 통해 구현될 수 있다.
일 예로, 입력 데이터 평가 학습 모델(603)은 하나 이상의 콘볼루션 레이어(conv1, conv2, conv3, conv4, conv5, …)를 포함할 수 있다.
여기서, 입력 데이터 평가 학습 모델(603)에 사용되는 콘볼루션 레이어 구조는 인식 모델(502)에 사용되는 콘볼루션 레이어의 구조와 상이할 수 있다.
일 예로, 입력 데이터(601)는 자율 주행 차량의 카메라 영상, 라이다 센서 데이터, 레이더 센서 데이터, 초음파 센서 데이터 또는 이러한 데이터에 대한 차량 내 통신 신호 중 적어도 하나 이상을 포함할 수 있다.
일 예로, 입력 데이터(601)는 인식 로직(502)의 입력 데이터(501)와 동일할 수 있다.
일 예로, 인식 로직 결과(602)는 객체 인식 정보를 포함할 수 있다.
일 예로, 인식 로직 결과(602)는 주변 물체의 2차원 위치에 대한 정보, 주변 물체의 3차원 위치에 대한 정보, 주변 물체의 종류 또는 신뢰도 중 적어도 하나 이상이 병합된 데이터를 포함할 수 있다.
일 예로, 입력 데이터 평가 학습 모델(603)은 입력 데이터(601)를 하나 이상의 콘볼루션 레이어에 적용시켜 산출된 출력값 및 인식 로직 결과(602)를 병합한 데이터를 하나 이상의 덴스 레이어 또는 완전 연결 레이어의 입력으로 하여, 입력 데이터 평가 결과(605)를 최종적으로 산출할 수 있다.
일 예로, 입력 데이터 평가 결과(605)는 0과 1 사이의 실수값일 수 있다.
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 입력 데이터 평가 결과(605)가 특정 임계치 이상인지 여부를 기반으로, 입력 데이터(601)가 인식 로직(502)의 학습에 필요한 데이터인지 여부를 판단할 수 있다
일 예로, 입력 데이터 평가 학습 모델(603)이 입력 데이터 평가 결과(605)를 산출하는 과정에서, 하나의 입력 데이터 평가 중간 단계의 벡터(604)를 산출할 수 있다.
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 입력 데이터 평가 중간 단계의 벡터(604)를 기반으로, 입력 데이터(601)를 평가할 수 있으며, 이에 대하여는 이어지는 도 7을 통해 구체적으로 설명하기로 한다.
도 7은 본 발명의 일 실시 예에 따른 인식 로직의 학습에 필요한 데이터를 판단하는 학습 모델이 출력하는 벡터를 나타내는 도면이다.
도 7을 참조하면, 입력 데이터 평가 중간 단계의 벡터는 벡터 공간(701) 상에 특정될 수 있다.
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 벡터 공간(701) 상에서 정의된 입력 데이터 평가를 위한 초평면(hyperplane, 702)을 기반으로, 입력 데이터를 평가할 수 있다.
일 예로, 자율 주행 학습 데이터 취득 장치(100)는 입력 데이터 평가 중간 단계의 벡터가 벡터 공간(701) 상에 초평면(702)을 기준으로 한 위치에 따라, 입력 데이터가 인식 로직 학습에 필요한 데이터인지 여부를 판단할 수 있다.
Case1의 영상 데이터는 주변 차량이 횡단 보도가 있는 교차로를 지나 자율 주행 차량의 옆을 지나고 있는 영상에 대한 데이터이며, 주변 차량에 대한 검출 신뢰도는 85%일 수 있다.
Case2의 영상 데이터는 자전거가 도로 옆을 지나고 있는 영상에 대한 데이터이며, 자전거에 대한 검출 신뢰도는 95%일 수 있다.
Case3의 영상 데이터는 극심한 저조도 상황에 대한 영상으로, 타겟이 되는 객체를 식별할 수 없는 영상일 수 있다.
일 예로, Case1 및 Case2에 대응하는 입력 데이터 평가 중간 단계의 벡터가 벡터 공간(701) 상 초평면(702)을 기준으로 동일한 방향에 위치하고, Case3에 대응하는 입력 데이터 평가 중간 단계의 벡터가 벡터 공간(701) 상 초평면(702)을 기준으로 다른 방향에 위치할 수 있다.
이 경우, 자율 주행 학습 데이터 취득 장치(100)는 Case1 및 Case2에 대응하는 입력 데이터를 인식 로직 데이터의 학습에 필요한 데이터로 판단할 수 있고, Case3에 대응하는 입력 데이터를 인식 로직 데이터의 학습에 필요하지 않은 데이터로 판단할 수 있다.
이러한 방법을 통해, 자율 주행 학습 데이터 취득 장치(100)는 훼손되거나, 인식 로직의 학습에 불필요한 상황의 데이터를 구분할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 자율 주행 학습 데이터 취득 방법을 나타내는 흐름도이다.
도 8을 참조하면, 자율 주행 학습 데이터 취득 방법은 자율 주행에 관한 인식 로직의 입력 데이터를 획득하는 단계(S810), 기 학습된 인공 신경망 기반의 학습 모델을 통해, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 단계(S820) 및 입력 데이터 중 인식 로직의 학습에 필요하다고 판단되는 입력 데이터를 저장하는 단계(S830)를 포함할 수 있다.
자율 주행에 관한 인식 로직의 입력 데이터를 획득하는 단계(S810)는 정보획득부(110)를 통해 수행될 수 있다.
기 학습된 인공 신경망 기반의 학습 모델을 통해, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 단계(S820)는 프로세서(130)를 통해 수행될 수 있다.
일 예로, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 단계(S820)는 프로세서(130)가, 획득된 입력 데이터 및 획득된 입력 데이터를 인식 로직에 적용한 결과를 기반으로, 학습 모델을 통해 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 단계를 포함할 수 있다.
일 예로, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 단계(S820)는 프로세서(130)가, 학습 모델을 통해, 벡터값을 산출하는 단계 및 프로세서(130)가, 산출된 벡터값 및 벡터값이 포함되는 벡터 공간에서 기 설정된 초평면을 기반으로, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 단계를 포함할 수 있다.
일 예로, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 단계(S820)는 프로세서(130)가, 하나 이상의 콘볼루션 신경망, 배치 정규화 또는 활성화 레이어 중 적어도 하나 이상을 포함하는 인공 신경망 기반의 학습 모델을 통해, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 단계를 포함할 수 있다.
일 예로, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 단계(S820)는 프로세서(130)가, 학습 모델을 통해 출력된 결과값이 기 설정된 임계치를 초과하는지 여부를 기반으로, 획득된 입력 데이터가 인식 로직의 학습에 필요한지 여부를 판단하는 단계를 포함할 수 있다.
입력 데이터 중 인식 로직의 학습에 필요하다고 판단되는 입력 데이터를 저장하는 단계(S830)는 프로세서(130)를 통해 수행될 수 있다.
도시되지는 않았지만, 자율 주행 학습 데이터 취득 방법은 프로세서(130)가, 기 설정된 데이터 전송 조건이 만족되면, 서버와 통신하는 통신부를 통해, 저장부(120)에 저장된 입력 데이터를 서버로 전송하는 단계를 더 포함할 수 있다.
본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리 및/또는 스토리지)에 상주할 수도 있다.
예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 자율 주행 차량에 구비되어, 자율 주행에 관한 인식 로직의 입력 데이터를 획득하는 정보획득부;
    상기 입력 데이터 중 상기 인식 로직의 학습에 필요하다고 판단되는 입력 데이터를 저장하는 저장부; 및
    기 학습된 인공 신경망(ANN, Artificial Neural Network) 기반의 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 프로세서를 포함하는 자율 주행 학습 데이터 취득 장치.
  2. 제 1 항에 있어서,
    상기 정보획득부는,
    상기 자율 주행 차량의 주변 물체에 대한 영상을 획득하는 카메라, 상기 주변 물체의 위치를 검출하는 라이다(LiDAR, Light Detection And Ranging), 레이더(Radar, Radio Detecting And Ranging) 또는 초음파 센서 중 적어도 하나 이상을 포함하는 자율 주행 학습 데이터 취득 장치.
  3. 제 1 항에 있어서,
    서버와 통신하는 통신부를 더 포함하고,
    상기 프로세서는,
    상기 통신부를 통해, 상기 서버로부터 상기 학습 모델의 업데이트가 가능한지 여부를 확인하고,
    상기 학습 모델의 업데이트가 가능한 경우, 상기 서버를 통해 학습 모델을 업데이트하는 자율 주행 학습 데이터 취득 장치.
  4. 제 1 항에 있어서,
    서버와 통신하는 통신부를 더 포함하고,
    상기 프로세서는,
    기 설정된 데이터 전송 조건이 만족되면, 상기 저장부에 저장된 입력 데이터를 상기 통신부를 통해 상기 서버로 전송하는 자율 주행 학습 데이터 취득 장치.
  5. 제 4 항에 있어서,
    상기 데이터 전송 조건은,
    상기 자율 주행 차량이 충전되는 조건 또는 상기 자율 주행 차량이 차고지에 입고되는 조건 중 적어도 하나 이상을 포함하는 자율 주행 학습 데이터 취득 장치.
  6. 제 1 항에 있어서,
    상기 인식 로직은,
    상기 입력 데이터를 기반으로, 상기 자율 주행 차량의 주변 물체에 대한 검출(Detection), 인식(Recognition), 분류(Classification) 또는 분할(Segmentation) 중 적어도 하나 이상을 수행하는 로직을 포함하는 자율 주행 학습 데이터 취득 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    상기 획득된 입력 데이터 및 상기 획득된 입력 데이터를 상기 인식 로직에 적용한 결과를 기반으로, 상기 학습 모델을 통해 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 자율 주행 학습 데이터 취득 장치.
  8. 제 7 항에 있어서,
    상기 획득된 입력 데이터를 상기 인식 로직에 적용한 결과는,
    상기 자율 주행 차량의 주변 물체의 2차원 위치에 대한 정보, 상기 주변 물체의 3차원 위치에 대한 정보, 상기 주변 물체의 종류 또는 신뢰도 중 적어도 하나 이상을 포함하는 자율 주행 학습 데이터 취득 장치.
  9. 제 8 항에 있어서,
    상기 주변 물체의 2차원 위치에 대한 정보는,
    상기 주변 물체의 바운딩 박스(Bounding box)의 위치 좌표에 대한 정보를 포함하는 자율 주행 학습 데이터 취득 장치.
  10. 제 8 항에 있어서,
    상기 주변 물체의 3차원 위치에 대한 정보는,
    상기 주변 물체의 위치, 크기 또는 진입각 중 적어도 하나 이상에 대한 정보를 포함하는 자율 주행 학습 데이터 취득 장치.
  11. 제 1 항에 있어서,
    상기 프로세서는,
    상기 학습 모델을 통해, 벡터값을 산출하고,
    상기 산출된 벡터값 및 상기 벡터값이 포함되는 벡터 공간에서 기 설정된 초평면을 기반으로, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 자율 주행 학습 데이터 취득 장치.
  12. 제 1 항에 있어서,
    상기 프로세서는,
    하나 이상의 콘볼루션 신경망(Convolution Neural Network), 배치 정규화(Batch-normalization) 또는 활성화 레이어(Activation layer) 중 적어도 하나 이상을 포함하는 인공 신경망 기반의 상기 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 자율 주행 학습 데이터 취득 장치.
  13. 제 1 항에 있어서,
    상기 프로세서는,
    상기 학습 모델을 통해 출력된 결과값이 기 설정된 임계치를 초과하는지 여부를 기반으로, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 자율 주행 학습 데이터 취득 장치.
  14. 자율 주행 차량에 구비되는 정보획득부가, 자율 주행에 관한 인식 로직의 입력 데이터를 획득하는 단계;
    프로세서가, 기 학습된 인공 신경망 기반의 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계; 및
    상기 프로세서가, 상기 입력 데이터 중 상기 인식 로직의 학습에 필요하다고 판단되는 입력 데이터를 저장부에 저장하는 단계를 포함하는 자율 주행 학습 데이터 취득 방법.
  15. 제 14 항에 있어서,
    상기 프로세서가, 기 설정된 데이터 전송 조건이 만족되면, 서버와 통신하는 통신부를 통해, 상기 저장부에 저장된 입력 데이터를 상기 서버로 전송하는 단계를 더 포함하는 자율 주행 학습 데이터 취득 방법.
  16. 제 14 항에 있어서,
    상기 프로세서가, 기 학습된 인공 신경망 기반의 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계는,
    상기 프로세서가, 상기 획득된 입력 데이터 및 상기 획득된 입력 데이터를 상기 인식 로직에 적용한 결과를 기반으로, 상기 학습 모델을 통해 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계를 포함하는 자율 주행 학습 데이터 취득 방법.
  17. 제 16 항에 있어서,
    상기 획득된 입력 데이터를 상기 인식 로직에 적용한 결과는,
    상기 자율 주행 차량의 주변 물체의 2차원 위치에 대한 정보, 상기 주변 물체의 3차원 위치에 대한 정보, 상기 주변 물체의 종류 또는 신뢰도 중 적어도 하나 이상을 포함하는 자율 주행 학습 데이터 취득 방법.
  18. 제 14 항에 있어서,
    상기 프로세서가, 기 학습된 인공 신경망 기반의 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계는,
    상기 프로세서가, 상기 학습 모델을 통해, 벡터값을 산출하는 단계; 및
    상기 프로세서가, 상기 산출된 벡터값 및 상기 벡터값이 포함되는 벡터 공간에서 기 설정된 초평면을 기반으로, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계를 포함하는 자율 주행 학습 데이터 취득 방법.
  19. 제 14 항에 있어서,
    상기 프로세서가, 기 학습된 인공 신경망 기반의 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계는,
    상기 프로세서가, 하나 이상의 콘볼루션 신경망, 배치 정규화 또는 활성화 레이어 중 적어도 하나 이상을 포함하는 인공 신경망 기반의 상기 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계를 포함하는 자율 주행 학습 데이터 취득 방법.
  20. 제 14 항에 있어서,
    상기 프로세서가, 기 학습된 인공 신경망 기반의 학습 모델을 통해, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계는,
    상기 프로세서가, 상기 학습 모델을 통해 출력된 결과값이 기 설정된 임계치를 초과하는지 여부를 기반으로, 상기 획득된 입력 데이터가 상기 인식 로직의 학습에 필요한지 여부를 판단하는 단계를 포함하는 자율 주행 학습 데이터 취득 방법.
KR1020210188955A 2021-12-27 2021-12-27 자율 주행 학습 데이터 취득 장치 및 그 방법 KR20230099518A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210188955A KR20230099518A (ko) 2021-12-27 2021-12-27 자율 주행 학습 데이터 취득 장치 및 그 방법
US17/884,058 US20230202510A1 (en) 2021-12-27 2022-08-09 Apparatus for acquiring autonomous driving learning data and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210188955A KR20230099518A (ko) 2021-12-27 2021-12-27 자율 주행 학습 데이터 취득 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20230099518A true KR20230099518A (ko) 2023-07-04

Family

ID=86898241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210188955A KR20230099518A (ko) 2021-12-27 2021-12-27 자율 주행 학습 데이터 취득 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20230202510A1 (ko)
KR (1) KR20230099518A (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7048358B2 (ja) * 2018-03-07 2022-04-05 矢崎総業株式会社 車両用表示投影装置
US20210271259A1 (en) * 2018-09-14 2021-09-02 Tesla, Inc. System and method for obtaining training data
KR20190110073A (ko) * 2019-09-09 2019-09-27 엘지전자 주식회사 인공 지능 모델을 갱신하는 인공 지능 장치 및 그 방법
JP2022059540A (ja) * 2020-10-01 2022-04-13 株式会社Subaru 電動車両のバッテリ管理システム、及び、電動車両

Also Published As

Publication number Publication date
US20230202510A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
CN108528458B (zh) 用于车辆尺寸预测的系统和方法
CN109466548B (zh) 用于自主车辆操作的地面参照确定
CN110325818B (zh) 经由多模融合的联合3d对象检测和取向估计
US20180074506A1 (en) Systems and methods for mapping roadway-interfering objects in autonomous vehicles
CN108073170B (zh) 用于自主车辆的自动化协同驾驶控制
US10395144B2 (en) Deeply integrated fusion architecture for automated driving systems
US10489665B2 (en) Systems and methods for determining the presence of traffic control personnel and traffic control signage
CN109552212B (zh) 用于自主车辆中的雷达定位的系统和方法
CN110799989A (zh) 一种障碍物检测方法、设备、可移动平台及存储介质
US10339400B1 (en) Traffic light detection using multiple cameras
US20190026588A1 (en) Classification methods and systems
US10922969B2 (en) Systems, methods and apparatuses for detecting elevated freeways to prevent engaging cruise features
US20220205804A1 (en) Vehicle localisation
EP3703008A1 (en) Object detection and 3d box fitting
US20230360234A1 (en) Detection of environmental changes to delivery zone
US20210323565A1 (en) Vehicle control device, automated driving vehicle development system, vehicle control method, and program
US20220266856A1 (en) Platform for perception system development for automated driving systems
US20190347805A1 (en) Adaptive data collecting and processing system and methods
CN112689234A (zh) 室内车辆定位方法、装置、计算机设备和存储介质
KR20230099518A (ko) 자율 주행 학습 데이터 취득 장치 및 그 방법
US11983918B2 (en) Platform for perception system development for automated driving system
US11386675B2 (en) Device and method for generating vehicle data, and system
JP2016130896A (ja) 障害物識別装置、及び障害物識別システム
JP2020067818A (ja) 画像選択装置及び画像選択方法
US20230419540A1 (en) Systems and methods for efficient object tracking as a service via edge