KR20200046139A - 차량을 제어하는 방법 및 장치 - Google Patents

차량을 제어하는 방법 및 장치 Download PDF

Info

Publication number
KR20200046139A
KR20200046139A KR1020180122251A KR20180122251A KR20200046139A KR 20200046139 A KR20200046139 A KR 20200046139A KR 1020180122251 A KR1020180122251 A KR 1020180122251A KR 20180122251 A KR20180122251 A KR 20180122251A KR 20200046139 A KR20200046139 A KR 20200046139A
Authority
KR
South Korea
Prior art keywords
vehicle
driving
model
information
controlling
Prior art date
Application number
KR1020180122251A
Other languages
English (en)
Other versions
KR102521657B1 (ko
Inventor
하미숙
장철훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180122251A priority Critical patent/KR102521657B1/ko
Priority to US16/516,614 priority patent/US11550326B2/en
Priority to CN201910921046.XA priority patent/CN111055842B/zh
Publication of KR20200046139A publication Critical patent/KR20200046139A/ko
Application granted granted Critical
Publication of KR102521657B1 publication Critical patent/KR102521657B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/03—Protecting confidentiality, e.g. by encryption
    • H04W12/037—Protecting confidentiality, e.g. by encryption of the control plane, e.g. signalling traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/50—Magnetic or electromagnetic sensors
    • B60W2420/506—Inductive sensors, i.e. passive wheel sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B60W2556/60—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/304—Acceleration sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/03—Protecting confidentiality, e.g. by encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

일 실시예에 따른 차량을 제어하는 방법 및 장치는 차량의 주행 환경에 대한 정보를 획득하고, 정보에 기초하여 추출된 사용자의 주행 특징을 제1 모델에 인가함으로써 제1 모델의 중간 출력 값을 획득하며, 사용자의 주행 특징 및 중간 출력 값 중 적어도 하나를 포함하는 사용자 주행 정보를 서버에게 전송하고, 서버 로부터 수신한, 사용자 주행 정보에 기초하여 결정된 차량 제어 정보에 기초하여 제1 모델을 갱신하며, 갱신된 제1 모델에 의해 차량을 제어한다.

Description

차량을 제어하는 방법 및 장치{METHOD AND APPARATUS OF CONTROLLING VEHICEL}
아래의 실시예들은 차량을 제어하는 방법 및 장치에 관한 것이다.
차량 및 기타 운송 수단의 조향을 보조하기 위한 다양한 시각 정보 증강 현실(Visual Information Augmentation)이 제공되고 있다. 그 중 임의의 주행 영상으로부터 차선 표시 또는 도로 정보 등을 추출하는 다양한 방법들이 이용될 수 있다. 이와 같이, 주행 영상으로부터 획득된 정보를 이용하여 차량의 주행 상황을 인식하거나, 또는 차량을 제어하는 경우, 학습을 위해 대용량의 데이터가 요구되며, 대용량의 데이터를 최적화하는 데에 많은 처리 시간이 소요될 수 있다. 또한, 대용량의 데이터가 직접 노출되는 경우, 사용자가 언제 어디를 다녀왔는지 등에 대한 개인 정보가 노출되는 문제 또한 존재한다.
일 측에 따르면, 차량을 제어하는 방법은 차량의 주행 환경에 대한 정보를 획득하는 단계; 상기 주행 환경에 대한 정보에 기초하여 추출된 사용자의 주행 특징 을 제1 모델에 인가함으로써 상기 제1 모델의 중간 출력 값을 획득하는 단계; 상기 사용자의 주행 특징 및 상기 중간 출력 값 중 적어도 하나를 포함하는 사용자 주행 정보를 서버에게 전송하는 단계; 상기 서버로부터, 상기 사용자 주행 정보에 기초하여 결정된 차량 제어 정보를 수신하는 단계; 상기 차량 제어 정보에 기초하여 상기 제1 모델을 갱신하는 단계; 및 상기 갱신된 제1 모델에 의해 상기 차량을 제어하는 단계를 포함한다.
상기 제1 모델은 복수의 레이어들을 포함하는 신경망을 포함하고, 상기 주행 특징에 기초하여 상기 차량의 주행 상황을 인식하고, 상기 차량을 제어할 수 있다.
상기 중간 출력값을 획득하는 단계는 상기 제1 모델의 복수의 레이어들 중 중간 레이어의 출력값을 획득하는 단계를 포함할 수 있다.
상기 서버는 신경망에 기반한 제2 모델을 포함하고, 상기 제2 모델은 상기 사용자의 주행 패턴에 최적화된 차량 제어 정보를 출력할 수 있다.
상기 제2 모델은 제로-샷 학습(zero-shot learning) 방법에 의해 학습될 수 있다.
상기 최적화된 차량 제어 정보는 상기 제1 모델의 파라미터 값을 포함할 수 있다.
상기 제1 모델을 갱신하는 단계는 상기 차량 제어 정보에 기초하여, 상기 제1 모델의 중간 레이어 이후의 레이어들을 갱신하는 단계를 포함할 수 있다.
상기 서버에게 전송하는 단계는 상기 주행 환경에 대한 정보를 암호화하여 상기 서버에게 전송하는 단계를 포함할 수 있다.
상기 차량을 제어하는 방법은 상기 주행 환경에 대한 정보에 기초하여, 상기 주행 환경에서의 사용자의 주행 특징을 추출하는 단계를 더 포함할 수 있다.
상기 주행 환경에 대한 정보를 획득하는 단계는 이미지 센서, 레이더, 라이다, 자이로 센서, 가속도 센서, 및 GPS 센서 중 적어도 하나를 이용하여 상기 주행 환경에 대한 정보를 획득하는 단계를 포함할 수 있다.
일 측에 따르면, 차량을 제어하는 장치는 차량의 주행 환경에 대한 정보를 획득하는 센서들; 상기 주행 환경에 대한 정보에 기초하여 추출된 사용자의 주행 특징을 제1 모델에 인가함으로써 상기 제1 모델의 중간 출력 값을 획득하는 프로세서; 및 상기 사용자의 주행 특징 및 상기 중간 출력 값 중 적어도 하나를 포함하는 사용자 주행 정보를 서버에게 전송하고, 상기 서버로부터, 상기 사용자 주행 정보에 기초하여 결정된 차량 제어 정보를 수신하는 통신 인터페이스를 포함하고, 상기 프로세서는 상기 차량 제어 정보에 기초하여 상기 제1 모델을 갱신하고, 상기 갱신된 제1 모델에 의해 상기 차량을 제어한다.
상기 제1 모델은 복수의 레이어들을 포함하는 신경망을 포함하고, 상기 주행 특징에 기초하여 상기 차량의 주행 상황을 인식하고, 상기 차량을 제어할 수 있다.
상기 프로세서는 상기 제1 모델의 복수의 레이어들 중 중간 레이어의 출력값을 획득할 수 있다.
상기 서버는 신경망에 기반한 제2 모델을 포함하고, 상기 제2 모델은 상기 사용자의 주행 패턴에 최적화된 차량 제어 정보를 출력할 수 있다.
상기 제2 모델은 제로-숏 학습(zero-shot leaning) 방법에 의해 학습될 수 있다.
상기 최적화된 차량 제어 정보는 상기 제1 모델의 파라미터 값을 포함할 수 있다.
상기 프로세서는 상기 차량 제어 정보에 기초하여, 상기 제1 모델의 중간 레이어 이후의 레이어들을 갱신할 수 있다.
상기 프로세서는 상기 주행 환경에 대한 정보를 암호화하고, 상기 통신 인터페이스는 상기 암호화된 주행 환경에 대한 정보를 상기 서버에게 전송할 수 있다.
상기 프로세서는 상기 주행 환경에 대한 정보에 기초하여, 상기 주행 환경에서의 사용자의 주행 특징을 추출할 수 있다.
도 1은 일 실시예에 따른 차량을 제어하는 방법을 설명하기 위한 도면.
도 2는 일 실시예에 따라 차량을 제어하는 방법을 나타낸 흐름도.
도 3은 다른 실시예에 따른 차량을 제어하는 방법을 설명하기 위한 도면.
도 4는 일 실시예에 따른 차량을 제어하는 방법의 동작 흐름도.
도 5는 일 실시예에 따른 차량을 제어하는 장치의 블록도.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 차량을 제어하는 방법을 설명하기 위한 도면이다. 도 1을 참조하면, 일 실시예에 따른 차량을 제어하는 장치(이하, 제어 장치)(110) 및 서버(130) 간의 동작이 도시된다. 제어 장치(110)는 차량 자체일 수도 있고, 차량에 내제되거나, 또는 포함된 장치일 수도 있다. 제어 장치(110)는 예를 들어, 스마트 폰과 같은 사용자 단말로서, 도커(docker)를 통해 차량에 결합될 수도 있다. '차량'은 도로 위로 주행 중인 다양한 운송 수단을 의미하는 것으로서, 예를 들어, 자율 주행 차량, 첨단 운전자 지원 시스템(Advanced Driver Assistance System; ADAS)을 구비한 지능형 차량 등을 포함할 수 있다.
제어 장치(110)는 차량의 주행 환경에 대한 정보를 획득할 수 있다. 주행 환경에 대한 정보는 사용자(운전자)가 어떤 주행 환경에서 어떻게 행동(운전)하는지 에 대한 정보에 해당하며, 예를 들어, 차량의 주행 영상 및 해당 주행 영상이 획득된 시점에 대응하는 차량의 제어 파라미터를 포함할 수 있다. 여기서, 주행 영상은 차량의 주행 시 및/또는 차량의 정차 시에 차량에 장착되어 차량의 전면(font view), 또는 양 측면(side view) 등을 촬영하도록 구성된 촬영 장치를 통해 획득될 수 있다. 또는 주행 영상은 통신 인터페이스(도 5의 통신 인터페이스(540) 참조)를 통해 제어 장치(110)의 외부로부터 수신한 차량의 전면 및 양 측면 중 적어도 하나의 외부 영상(external image)일 수 있다. 주행 영상은 예를 들어, 주변 차량, 차선, 연석, 인도, 주변 환경 등을 포함하는 도로 영상, 및/또는 도로 노면 영상 등을 포함할 수 있다. 주행 영상은 컬러 영상 이외에도 적외선 영상, 깊이 영상, 스테레오 영상 등과 같이 다양한 영상들을 포함할 수 있다. 주행 영상은 하나의 프레임(Frame)을 포함할 수도 있고, 복수 개의 프레임들을 포함할 수도 있다. 주행 영상은 2D 주행 영상 및 3D 주행 영상을 포함할 수 있다.
또한, 차량의 '제어 파라미터'는 예를 들어, 액셀러레이터(accelerate), 브레이크(brake), 조향 핸들(steering wheel) 등과 같이 차량의 조향 및/또는 주행 제어와 관련된 파라미터일 수 있다.
전술한 바와 같이 차량의 주행 환경에 대한 정보는 예를 들어, 해당 차량의 사용자가 언제, 어느 장소에, 어떠한 운전 패턴으로 운전하여 갔는지 등과 같이 개인 정보를 포함할 수 있다. 따라서, 일 실시예에서는 주행 환경에 대한 정보, 다시 말해 주행 영상 및 차량의 제어 파라미터의 원본 데이터(raw data)에 대한 외부 전송을 금지함으로써 개인 정보를 보호할 수 있다. 원본 데이터(raw data)는 예를 들어, 주행 영상, 레이더 신호, 라이다 신호, 차량의 속도, 브레이크 작동, 액셀러레이터의 작동, 조향 핸들의 작동, 및 전류 등과 관련되 데이터일 수 있다.
보다 구체적으로, 제어 장치(110)는 주행 영상 및/또는 차량의 제어 파라미터를 다양한 방법에 의해 수치화된 정보(Distilled Knowledge)로 가공하여 서버(130)에게 전송할 수 있다. 이때, 수치화된 정보는 예를 들어, 주행 환경에 대한 정보에 기초하여 추출된 사용자의 주행 특징(예를 들어, 특징 벡터 또는 특징 맵), 주행 환경에 대한 정보를 신경망 또는 다양한 함수 등에 의해 처리한 중간 값, 및 소프트 레벨(soft level) 등을 포함할 수 있다. 소프트 레벨(soft level)은 예를 들어, 원본 데이터(주행 영상)에서 어디에 어떠한 객체가 있는지에 대한 정보(확률 정보)에 해당할 수 있다. 제어 장치(110)에서 주행 환경에 대한 정보를 처리하는 과정에서 산출된 중간 값들은 예를 들어, 언-노운 벡터(unknown vector)의 형태를 가질 수 있다. 일 실시예에서는 원본 데이터가 아닌, 원본 데이터의 처리 과정에서 산출된 중간 값들을 수치화된 정보로 전송함으로써 별도의 암호화 과정이 없이도 사용자 개인 정보를 보호할 수 있다. 실시예에 따라서, 제어 장치(110)는 주행 환경에 대한 정보(예를 들어, 차량의 제어 파라미터)를 별로도 암호화하여 서버(130)에게 전송할 수도 있다.
서버(130)는 수치화된 정보를 이용하여 차량의 제어 동작을 인식하는 소프트웨어를 최적화할 수 있다. 여기서, 소프트웨어는 예를 들어, 사용자의 주행 정보(수치화된 정보)를 기초로, 사용자가 어떻게 행동(운전)할 지를 예측할 수 있다. 서버(130)는 수치화된 정보를 최적화 함으로써 원본 데이터를 처리하는 경우에 비해 신속하고 효율적으로 최적화된 차량 제어 정보를 결정 또는 산출할 수 있다. 서버(130)는 예를 들어, 사용자의 주행 패턴에 최적화된 모델의 파라미터 값을 포함하는 최적화된 차량 제어 정보를 제어 장치(110)에게 전송할 수 있다.
제어 장치(110)는 서버(130)로부터 수신한 최적화된 차량 제어 정보를 이용하여 해당 사용자에게 최적화 되도록 차량을 제어할 수 있다.
도 2는 일 실시예에 따라 차량을 제어하는 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 제어 장치는 차량의 주행 환경에 대한 정보를 획득한다(210). 제어 장치는 예를 들어, 이미지 센서, 레이더, 라이다, 자이로 센서, 가속도 센서, 및 GPS 센서 중 적어도 하나를 이용하여 주행 환경에 대한 정보를 획득할 수 있다.
제어 장치는 주행 환경에 대한 정보에 기초하여 추출된 사용자의 주행 특징 을 제1 모델에 인가함으로써 제1 모델의 중간 출력 값을 획득한다(220). 제어 장치는 주행 환경에 대한 정보에 기초하여, 주행 환경에서의 사용자의 주행 특징을 추출할 수 있다. 주행 특징은 예를 들어, 제1 모델에 포함된 일부 레이어들에 의해 추출될 수도 있고, 별도의 신경망 또는 특징 추출 함수에 의해 추출될 수도 있다. 주행 특징은 예를 들어, 특징 벡터(feature vector) 또는 특징 맵(feature map)의 형태일 수 있다.
제1 모델은 예를 들어, 입력 레이어, 히든 레이어(hidden layer), 및 출력 레이어와 같은 복수의 레이어들을 포함하는 신경망을 포함할 수 있다. 여기서, 제1 모델은 예를 들어, 주행 특징에 기초하여 차량의 주행 상황을 인식하고, 차량을 제어하는 차량의 주행 모델일 수 있다. 신경망은 예를 들어, 컨볼루션 신경망(Convolution Neural Network; CNN), 심층 신경망(Deep Neural Network; DNN) 및 재귀 신경망(Recurrent Neural Network; RNN) 일 수 있다.
제어 장치는 제1 모델의 복수의 레이어들 중 중간 레이어의 출력값을 획득할 수 있다. 중간 레이어는 예를 들어, 히든 레이어일 수 있다.
제어 장치는 사용자의 주행 특징 및 중간 출력 값 중 적어도 하나를 포함하는 사용자 주행 정보를 서버에게 전송한다(230). 제어 장치는 사용자의 주행 특징과 중간 출력 값을 따로 전송할 수도 있고, 함께 전송할 수도 있다.
제어 장치는 서버로부터, 사용자 주행 정보에 기초하여 결정된 차량 제어 정보를 수신한다(240). 이때, 서버는 예를 들어, 신경망에 기반한 제2 모델을 포함할 수 있다. 제2 모델은 예를 들어, 사용자의 주행 패턴에 최적화된 차량 제어 정보를 출력하는 주행 학습 모델일 수 있다. 최적화된 차량 제어 정보는 예를 들어, 제1 모델의 파라미터 값을 포함할 수 있다. 제2 모델은 예를 들어, 제로-샷 학습(zero-shot learning) 방법에 의해 학습될 수 있다. '제로-샷 학습'은 학습 데이터의 클래스와 정답 데이터의 클래스 간의 교집합이 공집합이 되도록 학습하는 방법으로서, 다시 말해, 학습 데이터에 없는 클래스를 잘 맞추도록 학습하는 방법이다. 제로-샷 학습 방법에 따르면, 클래스의 레이블 간에 의미적인 관계(semantic relationship)를 기초로 학습 데이터에 없던 클래스를 어느 정도 잘 예측할 수 있다.
제어 장치는 차량 제어 정보에 기초하여 제1 모델을 갱신한다(250). 제어 장치는 차량 제어 정보에 기초하여, 제1 모델의 중간 레이어 이후의 레이어들을 갱신할 수 있다. 예를 들어, 단계(220)에서 제1 모델의 레이어들 중 3번 레이어에서의 출력 값을 획득했다고 하자. 이 경우, 제어 장치는 차량 제어 정보에 기초하여, 단계(250)에서 제1 모델의 3번 레이어 이후, 다시 말해 4번 레이어부터 출력 레이어까지를 갱신할 수 있다.
제어 장치는 갱신된 제1 모델에 의해 차량을 제어한다(260). 제어 장치는 갱신된 제1 모델에서 출력되는 (최적화된) 제어 파라미터에 의해 차량을 제어할 수 있다.
도 3은 다른 실시예에 따른 차량을 제어하는 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 일 실시예에 따라 차량을 제어하기 위한 제어 장치(310)와 서버(330)의 구조가 도시된다.
제어 장치(310)는 무단 외부 전송 차단 장치(313) 및 신경망 기반의 제1 모델(315)을 포함할 수 있다.
무단 외부 전송 차단 장치(313)는 주행 환경에 대한 정보, 다시 말해 주행 영상 및 차량의 제어 파라미터의 원본 데이터에 대한 외부 전송을 금지하는 장치일 수 있다. 무단 외부 전송 차단 장치(313)는 사용자의 동의를 획득한 경우를 제외한 나머지 경우에 기본적으로 주행 환경에 대한 정보의 원본 데이터에 대한 외부 전송을 차단할 수 있다.
제1 모델(315)은 주행 환경에 대한 정보에 기초하여 사용자의 주행 특징(예를 들어, 특징 벡터 또는 특징 맵)을 추출하는 제1 신경망과 주행 특징에 기초하여 차량의 주행 상황을 인식하고, 차량을 제어하는 제2 신경망을 포함할 수 있다. 제1 신경망은 주행 환경에 대한 정보에 기초하여 사용자의 주행 특징을 추출하는 함수로 구현될 수도 있다. 제1 신경망과 제2 신경망은 제1 모델(315)과 같이 하나의 신경망으로 구성될 수도 있고, 별도의 신경망으로 구성될 수도 있다.
예를 들어, 제어 장치(310)가 제1 모델(315)의 제2 레이어에서 제1 모델(315)의 중간 출력 값(F2(x))을 획득했다고 하자. 제어 장치(310)는 제1 모델(315)의 중간 출력 값(F2(x))을 서버(330)에게 전송할 수 있다. 아울러, 제어 장치(310)는 제1 모델(315)을 거쳐 출력된 차량의 제어 파라미터(317)를 서버(330)에게 전송할 수 있다. 차량의 제어 파라미터(317)는 예를 들어, 이진 신호의 형태로 암호화(변환)되어 전송될 수 있다.
서버(330)의 제2 모델(335)은 중간 출력 값(F2(x))을 입력으로 받아 사용자의 주행 패턴에 최적화된 차량 제어 정보를 출력할 수 있다. 이때, 제2 모델(335)은 제어 장치(310)로부터 전송된 차량의 제어 파라미터(317) 또한 수신할 수 있다. 제2 모델(335)은 중간 출력 값(F2(x)) 이외에도 제어 파라미터(317)를 함께 반영하여 최종적으로 최적화된 차량 제어 정보를 출력할 수 있다. 이때, 최적화된 차량 제어 정보는 중간 출력 값(F2(x))에 기초하여 제2 모델(335)에서 최적화된 제어 파라미터(337)를 포함할 수 있다. 최적화된 제어 파라미터(337)는 제1 모델(315)을 위한 (최적화된) 파라미터 값으로 제공되어 제1 모델(315)을 갱신하는 데에 이용될 수 있다.
도 4는 일 실시예에 따른 차량을 제어하는 방법의 동작 흐름도이다. 도 4를 참조하면, 차량을 제어를 위해 제어 장치(410)과 서버(430) 간에 수행되는 동작이 도시된다. 제어 장치(410)는 제1 모델(415)을 포함할 수 있다. 서버(430)는 제2 모델(435)을 포함할 수 있다.
제어 장치(410)는 차량의 센서 데이터를 획득할 수 있다(401). 이때, 센서 데이터는 주행 환경에 대한 정보를 포함하며, 예를 들어, 이미지 센서, 레이더, 라이다, 자이로 센서, 가속도 센서, 및 GPS(Global Positioning System) 센서로부터 획득될 수 있다.
제어 장치(410)는 예를 들어, 특징 감지 모듈에 의해 센서 데이터로부터 사용자의 주행 특징에 해당하는 특징 맵(feature map)을 생성할 수 있다(402). 특징 감지 모듈은 센서 데이터로터 특징을 추출하는 별도의 신경망 또는 특징 추출 함수를 포함할 수 있다. 제어 장치(410)는 특징 맵을 포함하는 사용자의 주행 특징을 주행 특징 수치 형태로 서버(430)에게 전송할 수 있다. 이때, 서버(430)는 제어 장치(410)로부터 수신한 사용자의 주행 특징을 저장할 수 있다(404).
제어 장치(410)는 단계(402)에서 생성한 사용자의 주행 특징(특징 맵)을 제1 모델(415)에 인가하여 차량 주행 중의 주행 상황을 인식하고, 제어 파라미터를 결정할 수 있다(403). 이때, 제어 장치(410)는 제1 모델(415)의 중간 출력 값을 획득할 수 있다. 단계(403)에서, 제어 장치(410)는 제1 모델(415)의 중간 출력 값을 포함하는 사용자 주행 정보를 서버(430)에게 전송할 수 있다. 아울러, 제어 장치(410)는 제1 모델(415)에서 출력된 제어 파라미터를 서버(430)에게 전송할 수도 있다.
서버(430)는 단계(404)에서 저장한 사용자의 주행 특징을 기초로 제2 모델(435)을 최적화하도록 학습할 수 있다(405). 아울러, 서버(430)는 제어 장치(410)로부터 수신한 사용자 주행 정보 및/또는 제어 파라미터를 제2 모델(435)에 인가하여 사용자의 주행 패턴에 최적화되도록 차량 제어(406)를 학습한 결과에 따라 최적화된 차량 제어 정보를 결정할 수 있다(407). 실시예에 따라서, 서버(403)는 제어 장치(410)가 전송한 주행 특징 수치 중 GPS 센서 데이터에 해당하는 값을 이용하여 해당 주행 환경에 대한 정보가 획득된 위치(예를 들어, 국가) 별로 차량 제어 정보가 결정되도록 제2 모델(435)을 학습할 수도 있다.
서버(430)는 최적화된 차량 제어 정보를 제어 장치(410)의 제1 모델(415)로 전송할 수 있다. 제어 장치(410)는 단계(403)에서 주행 중에 인식한 주행 상황 및 제어 파라미터에, 서버(430)가 전송한 최적화된 차량 제어 정보를 더 고려하여 제1 모델(415)을 갱신할 수 있다.
제어 장치(410)는 갱신된 제1 모델에 의해 차량을 제어할 수 있다(408).
도 5는 일 실시예에 따른 차량을 제어하는 장치의 블록도이다. 도 5를 참조하면, 일 실시예에 따른 차량을 제어하는 장치('제어 장치')(500)는 센서들(510), 프로세서(520), 메모리(530), 및 통신 인터페이스(540)를 포함한다. 센서들(510), 프로세서(520), 메모리(530), 및 통신 인터페이스(540)는 통신 버스(505)를 통해 서로 연결될 수 있다.
센서들(510)은 차량의 주행 환경에 대한 정보를 획득(또는 감지)한다. 센서들(510)은 예를 들어, 이미지 센서, 레이더, 라이다, 자이로 센서, 가속도 센서, 및 GPS(Global Positioning System) 센서 등을 포함할 수 있다. 이미지 센서는 차량의 주행 영상을 획득할 수 있다. 레이더 및/또는 라이다는 차량의 주행 영상 이외에도 해당 주행 영상에 대응되는 차량의 속도, 거리, 위치 등을 획득할 수 있다. 자이로 센서와 가속도 센서는 해당 시점의 주행 영상에 대응하는 차량의 속도, 및 자세 등을 감지할 수 있다. GPS 센서는 주행 영상에 대응하는 차량의 위치(예를 들어, 글로벌 좌표)를 감지할 수 있다.
프로세서(520)는 센서들(510)이 획득한 주행 환경에 대한 정보에 기초하여, 주행 환경에서의 사용자의 주행 특징을 추출할 수 있다. 프로세서(520)는 주행 환경에 대한 정보를 암호화할 수 있다. 통신 인터페이스(540)는 프로세서(520)가 암호화한 주행 환경에 대한 정보를 서버에게 전송할 수 있다.
프로세서(520)는 주행 환경에 대한 정보에 기초하여 추출된 사용자의 주행 특징을 제1 모델에 인가함으로써 제1 모델의 중간 출력 값을 획득한다. 제1 모델은 복수의 레이어들을 포함하는 신경망을 포함할 수 있다. 제1 모델은 차량의 주행 모델일 수 있다. 제1 모델의 신경망은 주행 특징에 기초하여 차량의 주행 상황을 인식하고, 차량을 제어할 수 있다. 프로세서(520)는 제1 모델의 복수의 레이어들 중 중간 레이어의 출력값을 획득할 수 있다.
메모리(530)는 센서들(510)이 획득한 주행 환경에 대한 정보를 저장할 수 있다. 메모리(530)는 프로세서(520)가 정보로부터 추출한 사용자의 주행 특징 및 제1 모델의 중간 출력 값을 저장할 수 있다.
통신 인터페이스(540)는 사용자의 주행 특징 및 중간 출력 값 중 적어도 하나를 포함하는 사용자 주행 정보를 서버에게 전송한다. 이때, 서버는 신경망에 기반한 제2 모델을 포함할 수 있다. 제2 모델은 예를 들어, 주행 학습 모델일 수 있다. 제2 모델은 사용자 주행 정보를 입력받아 사용자의 주행 패턴에 최적화된 차량 제어 정보를 출력할 수 있다. 최적화된 차량 제어 정보는 제1 모델의 파라미터 값을 포함할 수 있다. 제2 모델은 예를 들어, 제로-샷 학습 방법에 의해 학습될 수 있다.
통신 인터페이스(540)는 서버로부터, 사용자 주행 정보에 기초하여 결정된 차량 제어 정보를 수신한다.
프로세서(520)는 통신 인터페이스(540)를 통해 수신한 차량 제어 정보에 기초하여 제1 모델을 갱신한다. 차량 제어 정보에 기초하여, 제1 모델의 중간 레이어 이후의 레이어들을 갱신할 수 있다. 프로세서(520)는 갱신된 제1 모델에 의해 차량을 제어한다.
또한, 프로세서(520)는 도 1 내지 도 4를 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(520)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(520)는 프로그램을 실행하고, 제어 장치(500)를 제어할 수 있다. 프로세서(520)에 의하여 실행되는 프로그램 코드는 메모리(530)에 저장될 수 있다.
메모리(530)는 전술한 프로세서(520)에서의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(530)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(530)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(530)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 차량의 주행 환경에 대한 정보를 획득하는 단계;
    상기 주행 환경에 대한 정보에 기초하여 추출된 사용자의 주행 특징을 제1 모델에 인가함으로써 상기 제1 모델의 중간 출력 값을 획득하는 단계;
    상기 사용자의 주행 특징 및 상기 중간 출력 값 중 적어도 하나를 포함하는 사용자 주행 정보를 서버에게 전송하는 단계;
    상기 서버로부터, 상기 사용자 주행 정보에 기초하여 결정된 차량 제어 정보를 수신하는 단계;
    상기 차량 제어 정보에 기초하여 상기 제1 모델을 갱신하는 단계; 및
    상기 갱신된 제1 모델에 의해 상기 차량을 제어하는 단계
    를 포함하는, 차량을 제어하는 방법.
  2. 제1항에 있어서,
    상기 제1 모델은
    복수의 레이어들을 포함하는 신경망을 포함하고,
    상기 주행 특징에 기초하여 상기 차량의 주행 상황을 인식하고, 상기 차량을 제어하는, 차량을 제어하는 방법.
  3. 제1항에 있어서,
    상기 중간 출력값을 획득하는 단계는
    상기 제1 모델의 복수의 레이어들 중 중간 레이어의 출력값을 획득하는 단계
    를 포함하는, 차량을 제어하는 방법.
  4. 제1항에 있어서,
    상기 서버는
    신경망에 기반한 제2 모델을 포함하고,
    상기 제2 모델은
    상기 사용자의 주행 패턴에 최적화된 차량 제어 정보를 출력하는, 차량을 제어하는 방법.
  5. 제4항에 있어서,
    상기 제2 모델은
    제로-샷 학습(zero-shot learning) 방법에 의해 학습되는, 차량을 제어하는 방법.
  6. 제4항에 있어서,
    상기 최적화된 차량 제어 정보는
    상기 제1 모델의 파라미터 값을 포함하는, 차량을 제어하는 방법.
  7. 제1항에 있어서,
    상기 제1 모델을 갱신하는 단계는
    상기 차량 제어 정보에 기초하여, 상기 제1 모델의 중간 레이어 이후의 레이어들을 갱신하는 단계
    를 포함하는, 차량을 제어하는 방법.
  8. 제1항에 있어서,
    상기 서버에게 전송하는 단계는
    상기 주행 환경에 대한 정보를 암호화하여 상기 서버에게 전송하는 단계
    를 포함하는, 차량을 제어하는 방법.
  9. 제1항에 있어서,
    상기 주행 환경에 대한 정보에 기초하여, 상기 주행 환경에서의 사용자의 주행 특징을 추출하는 단계
    를 더 포함하는, 차량을 제어하는 방법.
  10. 제1항에 있어서,
    상기 주행 환경에 대한 정보를 획득하는 단계는
    이미지 센서, 레이더, 라이다, 자이로 센서, 가속도 센서, 및 GPS 센서 중 적어도 하나를 이용하여 상기 주행 환경에 대한 정보를 획득하는 단계
    를 포함하는, 차량을 제어하는 방법.
  11. 하드웨어와 결합되어 제1항 내지 제10항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  12. 차량의 주행 환경에 대한 정보를 획득하는 센서들;
    상기 주행 환경에 대한 정보에 기초하여 추출된 사용자의 주행 특징을 제1 모델에 인가함으로써 상기 제1 모델의 중간 출력 값을 획득하는 프로세서; 및
    상기 사용자의 주행 특징 및 상기 중간 출력 값 중 적어도 하나를 포함하는 사용자 주행 정보를 서버에게 전송하고, 상기 서버로부터, 상기 사용자 주행 정보에 기초하여 결정된 차량 제어 정보를 수신하는 통신 인터페이스
    를 포함하고,
    상기 프로세서는
    상기 차량 제어 정보에 기초하여 상기 제1 모델을 갱신하고, 상기 갱신된 제1 모델에 의해 상기 차량을 제어하는, 차량을 제어하는 장치.
  13. 제12항에 있어서,
    상기 제1 모델은
    복수의 레이어들을 포함하는 신경망을 포함하고,
    상기 주행 특징에 기초하여 상기 차량의 주행 상황을 인식하고, 상기 차량을 제어하는, 차량을 제어하는 장치.
  14. 제12항에 있어서,
    상기 프로세서는
    상기 제1 모델의 복수의 레이어들 중 중간 레이어의 출력값을 획득하는, 차량을 제어하는 장치.
  15. 제12항에 있어서,
    상기 서버는
    신경망에 기반한 제2 모델을 포함하고,
    상기 제2 모델은 상기 사용자의 주행 패턴에 최적화된 차량 제어 정보를 출력하는, 차량을 제어하는 장치.
  16. 제15항에 있어서,
    상기 제2 모델은
    제로-숏 학습(zero-shot leaning) 방법에 의해 학습되는, 차량을 제어하는 장치.
  17. 제15항에 있어서,
    상기 최적화된 차량 제어 정보는
    상기 제1 모델의 파라미터 값을 포함하는, 차량을 제어하는 장치.
  18. 제12항에 있어서,
    상기 프로세서는
    상기 차량 제어 정보에 기초하여, 상기 제1 모델의 중간 레이어 이후의 레이어들을 갱신하는, 차량을 제어하는 장치.
  19. 제12항에 있어서,
    상기 프로세서는
    상기 주행 환경에 대한 정보를 암호화하고,
    상기 통신 인터페이스는
    상기 암호화된 주행 환경에 대한 정보를 상기 서버에게 전송하는, 차량을 제어하는 장치.
  20. 제12항에 있어서,
    상기 프로세서는
    상기 주행 환경에 대한 정보에 기초하여, 상기 주행 환경에서의 사용자의 주행 특징을 추출하는, 차량을 제어하는 장치.
KR1020180122251A 2018-10-15 2018-10-15 차량을 제어하는 방법 및 장치 KR102521657B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180122251A KR102521657B1 (ko) 2018-10-15 2018-10-15 차량을 제어하는 방법 및 장치
US16/516,614 US11550326B2 (en) 2018-10-15 2019-07-19 Method and apparatus for controlling vehicle
CN201910921046.XA CN111055842B (zh) 2018-10-15 2019-09-26 用于控制车辆的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180122251A KR102521657B1 (ko) 2018-10-15 2018-10-15 차량을 제어하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200046139A true KR20200046139A (ko) 2020-05-07
KR102521657B1 KR102521657B1 (ko) 2023-04-14

Family

ID=70161295

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180122251A KR102521657B1 (ko) 2018-10-15 2018-10-15 차량을 제어하는 방법 및 장치

Country Status (3)

Country Link
US (1) US11550326B2 (ko)
KR (1) KR102521657B1 (ko)
CN (1) CN111055842B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102546509B1 (ko) * 2023-01-26 2023-06-26 주식회사 베리워즈 e-모빌리티를 위한 지능형 속도제어 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102633140B1 (ko) * 2018-10-23 2024-02-05 삼성전자주식회사 주행 정보를 결정하는 방법 및 장치
CN112651456B (zh) * 2020-12-31 2023-08-08 遵义师范学院 基于rbf神经网络的无人车控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120107774A (ko) * 2011-03-22 2012-10-04 한국전자통신연구원 차량의 복합 고장을 예측하기 위한 장치 및 방법
KR20130065823A (ko) * 2011-12-01 2013-06-20 동의대학교 산학협력단 Ｅｄｒ과 차량진단기능이 내장된 운행정보 확인 장치 및 그의 데이터 처리 방법
KR20180097247A (ko) * 2017-02-23 2018-08-31 주식회사 만도 사용자 친화적 차량 제어 시스템 및 방법

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3622744B2 (ja) 2001-11-15 2005-02-23 株式会社デンソー 車両の走行制御装置
DE102010014565B4 (de) * 2010-04-10 2021-10-14 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Erkennung eines Fahrwiderstandes eines Kraftfahrzeugs
DE102012203733B3 (de) 2012-03-09 2013-12-19 Ford Global Technologies, Llc Verfahren und Vorrichtung zum autonomen Bremsen eines Kraftfahrzeugs nach einer Erstkollision
KR20140147298A (ko) 2013-06-19 2014-12-30 주식회사 제노보 디지털 운행기록 장치
US9898759B2 (en) * 2014-03-28 2018-02-20 Joseph Khoury Methods and systems for collecting driving information and classifying drivers and self-driving systems
EP3845426A1 (en) * 2015-02-10 2021-07-07 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
CN107531244B (zh) * 2015-04-21 2020-04-21 松下知识产权经营株式会社 信息处理系统、信息处理方法、以及记录介质
KR20160144597A (ko) 2015-06-09 2016-12-19 주식회사 만도 차량용 진단통신 시스템 및 그의 데이터 보안방법
US10706642B2 (en) * 2015-09-24 2020-07-07 Ford Global Technologies, Llc Efficient telematics data upload
KR101710982B1 (ko) 2015-10-14 2017-02-28 국민대학교산학협력단 컴퓨터 수행 가능한 운전자 의도 판단 방법, 이를 수행하는 장치 및 이를 저장하는 기록매체
KR102137213B1 (ko) * 2015-11-16 2020-08-13 삼성전자 주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
WO2017163538A1 (ja) * 2016-03-25 2017-09-28 ソニー株式会社 情報処理装置
US10202127B2 (en) 2016-05-19 2019-02-12 Toyota Jidosha Kabushiki Kaisha User profile-based automatic parameter tuning system for connected vehicles
US10139823B2 (en) * 2016-09-13 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method and device for producing vehicle operational data based on deep learning techniques
EP3485337B1 (en) * 2016-09-23 2020-10-21 Apple Inc. Decision making for autonomous vehicle motion control
US10343685B2 (en) * 2016-09-28 2019-07-09 Baidu Usa Llc Physical model and machine learning combined method to simulate autonomous vehicle movement
KR102013372B1 (ko) 2016-10-18 2019-08-23 동국대학교 산학협력단 영상 특징맵 생성 장치 및 방법
US20180129900A1 (en) * 2016-11-04 2018-05-10 Siemens Healthcare Gmbh Anonymous and Secure Classification Using a Deep Learning Network
KR20180061686A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 자율 주행 경로 생성 방법 및 그 장치
KR20180068511A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
KR20180074373A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 운송 장치 및 운송 장치 제어 방법
CN110225852B (zh) * 2017-01-24 2023-01-17 福特全球技术公司 用于自主车辆的反馈
WO2018139871A1 (en) * 2017-01-27 2018-08-02 Samsung Electronics Co., Ltd. Method, electronic apparatus, and system of sharing vehicle performance information among vehicles
CN106652645A (zh) * 2017-03-16 2017-05-10 百度在线网络技术（北京）有限公司 车辆驾驶训练设备、车辆驾驶训练设备的操作方法和装置
US10474157B2 (en) * 2017-06-06 2019-11-12 Baidu Usa Llc Data-based control error detection and parameter compensation system
US10671082B2 (en) * 2017-07-03 2020-06-02 Baidu Usa Llc High resolution 3D point clouds generation based on CNN and CRF models
US11080537B2 (en) * 2017-11-15 2021-08-03 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
CN107862346B (zh) * 2017-12-01 2020-06-30 驭势科技（北京）有限公司 一种进行驾驶策略模型训练的方法与设备
US10586132B2 (en) * 2018-01-08 2020-03-10 Visteon Global Technologies, Inc. Map and environment based activation of neural networks for highly automated driving
CN111133447B (zh) * 2018-02-18 2024-03-19 辉达公司 适于自主驾驶的对象检测和检测置信度的方法和系统
WO2019168869A1 (en) * 2018-02-27 2019-09-06 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
CN108437997A (zh) * 2018-03-12 2018-08-24 北京汽车研究总院有限公司 一种驾驶信息分享方法、装置、车辆及网络服务器
US10836379B2 (en) * 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
US10908609B2 (en) * 2018-04-30 2021-02-02 Toyota Research Institute, Inc. Apparatus and method for autonomous driving

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120107774A (ko) * 2011-03-22 2012-10-04 한국전자통신연구원 차량의 복합 고장을 예측하기 위한 장치 및 방법
KR20130065823A (ko) * 2011-12-01 2013-06-20 동의대학교 산학협력단 Ｅｄｒ과 차량진단기능이 내장된 운행정보 확인 장치 및 그의 데이터 처리 방법
KR20180097247A (ko) * 2017-02-23 2018-08-31 주식회사 만도 사용자 친화적 차량 제어 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102546509B1 (ko) * 2023-01-26 2023-06-26 주식회사 베리워즈 e-모빌리티를 위한 지능형 속도제어 시스템

Also Published As

Publication number Publication date
CN111055842B (zh) 2024-02-13
US20200117205A1 (en) 2020-04-16
CN111055842A (zh) 2020-04-24
KR102521657B1 (ko) 2023-04-14
US11550326B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
US11400959B2 (en) Method and system to predict one or more trajectories of a vehicle based on context surrounding the vehicle
KR102463175B1 (ko) 객체 인식 방법 및 장치
US11137762B2 (en) Real time decision making for autonomous driving vehicles
KR102521657B1 (ko) 차량을 제어하는 방법 및 장치
US11142190B2 (en) System and method for controlling autonomous driving vehicle
JP2020123351A (ja) 自律走行車両を学習、テスティング及び検証をするために仮想走行環境に対するドメイン適応された交通シナリオを生成するための方法及び装置
KR20200075344A (ko) 검출기, 객체 검출 방법, 학습기 및 도메인 변환을 위한 학습 방법
US20180253647A1 (en) Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles
CN111860227B (zh) 训练轨迹规划模型的方法、装置和计算机存储介质
US20200175691A1 (en) Real time object behavior prediction
KR20180068511A (ko) 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
JP2022516288A (ja) 階層型機械学習ネットワークアーキテクチャ
US11348263B2 (en) Training method for detecting vanishing point and method and apparatus for detecting vanishing point
US11604075B2 (en) Systems and methods for deriving planned paths for vehicles using path priors
EP3660735B1 (en) A compressive environmental feature representation for vehicle behavior prediction
CN115339453B (zh) 车辆换道决策信息生成方法、装置、设备和计算机介质
EP4028935A1 (en) Method for determining an environmental model of a scene
CN112037142A (zh) 一种图像去噪方法、装置、计算机及可读存储介质
US20220057992A1 (en) Information processing system, information processing method, computer program product, and vehicle control system
US20220366263A1 (en) Training distilled machine learning models using a pre-trained feature extractor
KR102426479B1 (ko) 오브젝트 결정 모델을 갱신하는 방법 및 장치
US11866051B2 (en) Systems and methods for fusing road friction to enhance vehicle maneuvering
US20230056475A1 (en) System and method for a scenario-based event trigger
CN115759264A (zh) 基于感知场的驾驶相关操作
KR20240024735A (ko) 가상 필드 주행 관련 작동

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant