KR102179933B1 - 복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법, 대응되게 설계된 전처리 유닛 및 차량 - Google Patents

복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법, 대응되게 설계된 전처리 유닛 및 차량 Download PDF

Info

Publication number
KR102179933B1
KR102179933B1 KR1020190008644A KR20190008644A KR102179933B1 KR 102179933 B1 KR102179933 B1 KR 102179933B1 KR 1020190008644 A KR1020190008644 A KR 1020190008644A KR 20190008644 A KR20190008644 A KR 20190008644A KR 102179933 B1 KR102179933 B1 KR 102179933B1
Authority
KR
South Korea
Prior art keywords
processing
sensor
control devices
sensor data
bus
Prior art date
Application number
KR1020190008644A
Other languages
English (en)
Other versions
KR20190089776A (ko
Inventor
페터 슈리히트
스테판 숄츠
Original Assignee
폭스바겐 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔게젤샤프트 filed Critical 폭스바겐 악티엔게젤샤프트
Publication of KR20190089776A publication Critical patent/KR20190089776A/ko
Application granted granted Critical
Publication of KR102179933B1 publication Critical patent/KR102179933B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40241—Flexray
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40267—Bus for use in transportation systems
    • H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 제어 장치 네트워크의 복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법에 관한 것이다. 제어 장치는 적어도 하나의 통신 버스(102, 104, 106)를 통해 적어도 하나의 센서(112-114)에 연결되고, 적어도 하나의 센서(112-114)의 센서 데이터는 적어도 2 개의 상이한 제어 장치(131-133)에 의해 단계적으로 처리된다. 이 경우 양 제어 장치(131-133)에서 적어도 하나의 처리 단계는 처리의 결과가 변환을 통해 서로 전환될 수 있도록 다른 단계와 일치하거나 또는 적어도 동등하도록 이루어진다. 본 발명은 적어도 하나의 센서(112-114)의 센서 데이터가 공급되는 전처리 유닛(110)이 제공되고, 이 전처리 유닛(110)에서 센서 데이터의 처리는 적어도 하나의 일치하는 처리 단계(M11 & M21, M12 & M22, M13 & M23)에서 수행되고, 처리된 센서 데이터는 개별적인 추가 처리를 위해 적어도 2 개의 상이한 제어 장치(131-133)로 전송되는 것을 특징으로 한다.

Description

복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법, 대응되게 설계된 전처리 유닛 및 차량{METHOD FOR PROCESSING SENSOR DATA IN A PLURALITY OF CONTROL DEVICES, CORRESPONDINGLY DESIGNED PREPROCESSING UNIT, AND VEHICLE}
본 발명은 센서 데이터의 검출, 프로세싱 및 처리의 기술 분야에 관한 것이다. 이 경우 센서 데이터는 복수의 제어 장치로 전달되며, 이 제어 장치는 차례로 개별적인 평가를 위해 센서 데이터를 필요로 한다. 특히, 이것은 차량에서의 주변 검출을 위한 센서 데이터의 제공을 포함한다. 본 발명은 또한 상응하게 설계된 전처리 유닛, 전처리 유닛을 포함하는 차량, 및 상응하게 설계된 컴퓨터 프로그램에 관한 것이다.
현대 자동차에는 많은 개수의 제어 장치가 설치되어 있다. 구동 트레인 단독에 대해서만 복수의 제어 장치가 사용되는데, 즉 예를 들어 엔진 제어 장치, 변속기 제어 장치, ESP 제어 장치 등이 사용된다. 또한 언급될 수 있는 것은 샤시 영역의 제어를 담당하는 제어 장치의 종류이다. 그러한 것은 전자식 샤시 조정을 위한 제어 장치 또는 주행 다이내믹 제어를 위한 제어 장치 또는 예를 들어 속도 의존적인 파워 스티어링과 같은, 조향 지원 장치로서 기능하는 제어 장치이다. 또한 운전자 지원을 위한 특정 기능을 수행하는 제어 장치도 있다. 이러한 것들은 예를 들어 속도 조절 제어 장치, 거리 조절 제어 장치, 주차 지원 장치, 비상 제동 지원 제어 장치 등이다. 또한, 차량 차체 영역에 설치되고 특정 편의 기능을 제공하는 다른 제어 장치가 있다. 예로서 도어 또는 윈도우 리프트 제어 장치, 공기 조화 제어 장치, 시트 조절 제어 장치, 에어백 제어 장치 등이 언급될 수 있다. 이 경우 또한 주변 관측을 위한 복수의 카메라, 네비게이션 장치, 레이더(RADAR) 또는 라이더(LIDAR) 장치, 통신 모듈 및 TV, 라디오, 비디오 및 음악 기능이 있는 엔터테인먼트 모듈과 같은 센서의 종류가 있다.
일반적으로 상이한 범주의 제어 장치는 장치 범주에 대응하도록 설계된 별도의 버스를 통해 각각 네트워크화된다. 따라서 차량에서 복수의 상이한 버스 시스템이 사용될 수 있다. 이 경우 상이한 버스 시스템은 게이트웨이를 통해 서로 연결되어, 데이터 교환을 가능하게 할 수 있다. 구동 트레인 제어 장치의 영역에서 일반적으로 CAN 버스가 마찬가지로 편의 제어 장치 영역에서도 사용된다. 인포테인먼트 영역에서, 이더넷 기술에 기초한 버스 시스템과 같은 다른 버스 시스템도 사용되는데, 예를 들어 IEEE 802.3 표준에 따른 표준 제품군을 기반으로 하는 AVB(Audio Video Bridging)가 있다. 도파관을 통한 데이터 전송이 수행되는 버스 시스템도 또한 사용될 수 있다. 예를 들어 MOST 버스(Media Oriented System Transport) 또는 D2B 버스(Domestic Digital Bus)가 언급될 수 있다.
자동차 분야의 주요 버스는 ISO 표준에 따른 CAN 버스(Controller Area Network)이다. CAN 버스는 80 년대에 개발되었고, 1994 년에 표준화되었다. 해당 ISO 표준은 번호 ISO 11898이다. 표준 ISO 11898-2인 1 Mbit/s까지의 고속 영역에 대한 표준이 있다. 이 경우 표준 ISO 11898-3인 125 kBit/s까지의 저속 영역에 대한 표준이 있다. 데이터양이 증가함에 따라 CAN 버스에서 버스 로드가 점점 증가하게 된다. 이로 인해 CAN 버스가 추가로 개발되었다. 확장된 CAN 버스는 CAN FD 버스라는 용어로 알려져 있다. 여기서 FD는 플렉서블 데이터 레이트(flexible data rate)를 나타낸다. 이러한 CAN 버스 변형예에서는 데이터 레이트가 전환된다. 중재 단계에 대해서는 기존 CAN 버스에서와 같이 데이터 레이트가 낮게 유지된다. 사용자 데이터의 전송을 위해서는 보다 높은 데이터 레이트로 전환된다. CAN-FD 메시지의 사용자 데이터를 더 빨리 전송하면, 버스 사용 기간이 단축된다; 버스 부하가 감소된다. 전송 지속 시간이 기존 CAN 메시지에서와 동일한 프레임 내에 유지되면, CAN-FD 메시지로 더 많은 양의 데이터를 전송할 수 있다. 따라서 그것은 또한 CAN FD로 구현되었다. CAN FD에서 8 바이트 사용자 데이터 필드의 길이 대신에 64 바이트 사용자 데이터 필드의 길이를 사용한다. 데이터 레이트는 예를 들어 500 kbit/s로부터 2 Mbit/s로 변환 시 사용자 데이터 필드의 전송을 위해 증가한다.
자동차 산업에서는 차량에 설치된 전기 시스템의 양 및 복잡성 측면에서 인식되는 추세가 있으며, 전자 장치에 의해 구현되거나 또는 지원되는 차량 기능의 개수가 크게 늘어나고 있다. 이러한 추세는 협동 또는 자율 주행 분야의 발전으로 인해 더욱 강화되고 있다. 이것을 고려하기 위해, 이미 오랫동안 더 이상 제어 장치당 개별 센서가 설치되는 것이 아니라, 센서는 제어 장치에 또한 연결되는 버스 시스템에 연결된다. 따라서, 센서 데이터는 이러한 센서 데이터를 필요로 하는 모든 제어 장치로 전송될 수 있다.
(부분적) 자동 주행의 기능적 개발은 인식, 장면 이해, 위치 설정 및 예측의 범주 내에서 처리되어야 하는 복수의 센서를 기반으로 한다. 이 경우 또한 이미지 처리 뉴럴 네트워크, 즉 콘볼루션 뉴럴 네트워크(Convolutional Neural Network)(CNNs)를 사용한다. 여기서 기존의 신호 처리와 유사하게, 비디오 카메라, (Radio Detection and Ranging에 해당하는) 레이더, (Light Detection and Ranging에 해당하는) 라이더, 초음파 또는 적외선 센서와 같은 센서로부터 오는 소스 신호는 복수의 단계를 통해 처리된다. 여기에는 특히 신호의 필수 성분을 필터링하는 하나 이상의 필터 단계가 포함된다. 신호 처리의 목표는 특징 맵(Feature Maps)을 형성하는 것이다.
여기서 복수의 처리 모듈의 경우에, 복수의 CNNs에서 (추가 처리를 위해 충분한) 동등한 필터를 사용하는 것은 거의 불가피하다. 따라서, 특정 제어 장치가 동일한 방식으로 또는 적어도 유사한 방식으로 센서 데이터를 처리해야 한다는 문제점이 여전히 존재한다. 상이한 제어 장치에 센서 원 데이터를 전송하면 통신 버스에서 가능하게는 높은 데이터양이 발생하여, 이로 인해 높은 버스 이용 능력이 발생할 수 있다. 또한, 센서 데이터의 각각 동일 또는 유사한 처리를 수행할 수 있기 위해 제어 장치가 상응하는 계산 용량을 가져야 하는 문제점이 있다. 얼마나 많은 제어 장치가 동일한 센서 데이터를 처리해야 하는지에 따라, 이미지 처리 단계를 여러 번 실행하게 되면 계산 요구가 증가하고 이에 따라 하드웨어, 시간 및 에너지 요구 사항이 증가할 수 있다. 증가된 에너지 소비의 문제는 특히 전기 자동차에 대해 중요한 역할을 한다.
DE 10 2015 104 934 A1호로부터, 자동차의 주변 관측 시, 자유 공간에 관한 정보, 검출된 오브젝트가 없는 공간을 센서 원 데이터로서 센서 측 제어 장치에 저장하는 것이 공지되어 있다. 정보는 통신 인터페이스를 통해 주변 영역 맵을 생성하는 처리 장치로 전송된다.
DE 10 2015 210 881 A1호로부터, 차량의 위치 및/또는 배향을 결정하기 위한 방법 및 장치가 공지되어 있다. 이 경우 적어도 2 개의 센서가 제공되며, 이 센서의 데이터는 융합된다. 품질 평가를 위해 뉴럴 네트워크가 사용된다.
DE 10 2015 220 616 A1호로부터, 센서 데이터를 제공하고 평가하기 위한 방법 및 장치가 공지되어 있으며, 여기서 자동차의 평가 유닛에서 센서 데이터의 평가를 독점적으로 수행하는 접근법이 추구된다. 평가는 외부에서 이루어지지 않는데, 즉 센서 유닛은 처리된 센서 데이터를 송신하는 것이 아니라, 센서 원 데이터를 송신한다.
US 2017/0039436 A1호로부터, CNN을 사용하여 라이더 센서의 이미지 데이터를 평가하는 것이 공지되어 있다. 이로써 이미지의 결정된 특징, 특히 주행 차선 표시가 추출된다.
US 2017/0300763 A1호로부터, 비디오 카메라 데이터로부터 이러한 특징을 추출하는 것이 공지되어 있다. 또한 이를 위해 CNN이 사용된다. 이 경우 복수의 카메라의 이미지 평가에 대한 결과가 하나의 전체 결과로 융합된다.
본 발명의 목적은 위에서 설명한 단점들을 회피하는 센서 데이터를 처리하기 위한 방법을 제공하는 것이다. 특히, 상이한 제어 장치에서 센서 데이터의 다중 평가를 위한 계산 노력이 감소되어야 한다.
이러한 목적은 본원의 청구범위 제 1 항에 따른 센서 데이터를 처리하는 복수의 계산 유닛이 연결되는 통신 네트워크에서 센서 데이터를 처리하기 위한 방법, 제 10 항에 따른 상응하게 설계된 전처리 유닛 및 제 15 항에 따른 상응하게 설계된 차량을 통해 달성된다.
종속항들은 이들 조치에 대한 다음의 설명에 대응되도록 본 발명의 유리한 개발 및 개선을 포함한다.
본 발명의 중심 대상은 (부분적) 자동 주행의 처리 체인을 따라 통합된 추가 처리를 위해 뉴럴 네트워크에 의해 센서 정보를 처리하기 위한 방법 및 계산 유닛에 관한 것이다.
여기서 필요한 경우 기존 CNNs 세트의 최적화 방법을 사용하여 후속하는 KI 모듈이 필요한 경우 적응된 형식으로 제한 없이 그 기능을 실행할 수 있는 특징 맵 세트(KONSOL)가 결정된다. 특징 맵은 들어오는 데이터 스트림의 뉴럴 네트워크에 의해 계산되며, (부분적) 자동 주행의 모든 모듈 및 제어 장치에서 사용될 수 있다.
특히 도로 교통에서 차량의 주변에 대한 인식에서 KI 모듈, 종종 깊은 뉴럴 네트워크가 폴딩 레이어와 함께 사용된다. 센서 시스템의 방향으로 제 1 폴딩 레이어(처리 KI 모듈을 통해 통합됨)의 아웃소싱의 형태로 원 데이터를 전처리함으로써 데이터가 압축되고, 센서 시스템과 추가 처리 사이의 기능 특이성 인터페이스가 정의되며, 상기 추가 처리는 일 측면에서는 센서 시스템 그리고 다른 측면에서는 처리 모듈의 개선을 허용하고 기술 발전을 촉진할 뿐만 아니라 경쟁 우위도 제공한다.
구체적으로 본 제안은 복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법에 관한 것으로서, 상기 제어 장치는 적어도 하나의 통신 버스를 통해 적어도 하나의 센서에 연결된다. 이 경우 상기 적어도 하나의 센서의 센서 데이터는 적어도 2 개의 상이한 제어 장치에 의해 단계적으로 처리된다. 양 제어 장치에서 적어도 하나의 처리 단계는 일치하거나 또는 적어도 동등하다. 여기서 동등하다는 것은 상기 처리의 결과가 변환을 통해 서로 전환될 수 있다는 것을 의미한다. 상기 방법은 적어도 하나의 센서의 센서 데이터가 공급되는 전처리 유닛이 제공되며, 상기 전처리 유닛에서 센서 데이터의 처리는 적어도 하나의 일치하는 처리 단계에서 수행되고, 상기 처리된 센서 데이터는 개별적인 추가 처리를 위해 적어도 2 개의 상이한 제어 장치로 전송되는 것을 특징으로 한다. 이 방법의 장점은 개별 제어 장치에서 계산 시간 또는 계산 능력을 절약한다는 것에 있다. 이는 하드웨어 요구 사항이 감소되고 그리고/또는 에너지 요구 사항이 감소되고 그에 상응하게 또한 열 방출에 대한 노력이 감소되도록 작용한다. 중요한 장점은 또한 보다 적은 데이터가 제어 장치로 전송되어야 하고, 이를 통해 버스 이용 능력이 감소되거나 또는 다른 적용에 대해 더 많은 버스 용량이 제공된다는 것이다. 센서 데이터의 전처리는 즉 제어 장치로 전달되는 데이터 스트림의 압축을 발생시킬 수 있고, 따라서 (부분적) 자동 주행에 적용될 때 차량에서의 버스 시스템은 부담이 완화된다. 이러한 방법은 또한 (부분적) 자동 주행 기능을 위한 시스템의 모듈화를 허용한다. 또한 전처리된 센서 데이터를 전달하기 위한 인터페이스를 표준화할 수 있는 가능성도 열어준다. 이러한 인터페이스 표준화의 장점은 연결되어 인터페이스를 조작하는 센서 시스템의 선택에 대한 유연성에 있다.
구현을 위해, 계산 결과를 전환하기 위한 상기 변환(적응)은 제어 장치에서 수행되어, 변환된 형태의 상기 계산 결과가 개별적인 추가 처리를 위해 요구되는 경우 유리하다.
상기 방법은 이미징 센서로부터의 데이터 처리에 유리하게 사용될 수 있다. 이 경우, 적어도 2 개의 상이한 제어 장치는 2 개의 이미지 처리 제어 장치와 관련된다.
이미징 센서의 단계적인 처리의 통상적인 방법은 필터링 및/또는 이미지 처리가 뉴럴 네트워크, 특히 컨벌루션 뉴럴 네트워크(CNN)에 의해 수행되는 이미지 처리에 대응한다.
이 경우, 유리하게는 단계에서의 이미지 처리에 의해 이미지의 전형적인 특징이 추출되고, 특징 맵이 형성된다.
본 발명에 따른 처리 단계의 통합은 전처리 유닛에 복수의 전형적인 특징 추출 단계를 배치하고 이에 따라 집중시킴으로써 이루어진다. 관련된 단계는 이를 통해 추가 처리하는 제어 장치에 여러 번 제공될 필요가 없다.
해당 CNN을 통해 추출될 수 있는 이미지의 전형적인 특징은 에지, 윤곽, 라인, 영역, 콘트라스트, 밝기, 색상, 선명도, 노이즈 성분 등이다.
전처리 유닛은 바람직하게는 별도의 계산 유닛으로서 통신 버스에 연결되거나, 마찬가지로 센서 데이터를 처리해야 하는 제어 장치의 모듈로서, 또는 중앙 게이트웨이 제어 장치의 모듈로서 제공될 수 있다.
통신 버스로서 차량 영역에서 사용되는 직렬 통신 버스가 고려된다. 특히, 이는 제어기 영역 네트워크 버스에 대응하는 CAN 버스, 제어기 영역 네트워크 버스 플렉서블 데이터 레이트에 대응하는 CAN FD 버스, 또는 FlexRay 버스, 또는 이더넷 버스 유형일 수 있다.
본 발명에 따른 방법을 수행하는데 사용되는 대응하는 전처리 유닛에 대해, 상기 방법과 관련하여 상응하는 조치에서 설명된 것과 동일한 장점이 얻어진다.
전처리 유닛은 하나 이상의 센서의 출력 데이터 스트림을 인터페이스 포맷으로 조정하는 것을 제공한다. 이러한 전처리 유닛은 센서 모델 유형별이지만 기본적으로 센서에 구속받지 않는 효율적인 데이터 전송을 제공한다.
인터페이스 포맷은 센서 정보의 기능 특이성 압축을 나타내며, 센서 모델과 독립적이다. 여기에서 기능 특이성이라 함은 부분적 기능성에 대한 인터페이스의 의존성을 명확히 의미하는 것이 아니라, 오히려 예를 들어 (부분적) 자동 주행의 전체 처리 체인과 같이 조작 기능에 대한 특이성을 의미한다. 인터페이스 호환 압축 센서 데이터를 사용하면 결과 성분(원 정보를 사용하지 않고)에 의한 정보의 손실 없는 추가 처리가 허용될 수 있지만, 그러나 반드시 원 데이터의 손실 없는 또는 기본적으로 손실 없는 복원은 아닐 수도 있다. 따라서, 원 데이터의 추가 처리에 대해 의미론적으로 뿐만 아니라 물리적으로도 관련성이 있는 모든 특성이 전송된다.
인터페이스는 센서에 의한 데이터 제공과 센서 정보의 기능 특이성 처리의 명확하게 정의된 경계를 나타낸다. 인터페이스는 품질 요구 사항 및 관련 특징(Features)의 정의에 의해 정의된다. 품질 요구 사항에는 신뢰도와 같은 센서 특징 특이성 요구 사항뿐만 아니라 최대 허용 대기 시간과 같은 처리 요구 사항도 포함된다.
나열된 장점들은 대응하는 전처리 유닛이 설치되는 차량에도 또한 적용된다.
제안된 방법에 대한 일반적인 적용 분야는 자동차 분야의 통신 네트워크이다. 여기에서는 주로 제어기 영역 네트워크 버스에 대응하는 CAN 버스, 제어기 영역 네트워크 버스 플렉서블 데이터 레이트에 대응하는 CAN FD 버스, FlexRay 버스, 이더넷 버스 또는 선형 네트워크 버스에 대응하는 LIN 버스 유형의 직렬 버스 시스템이 사용된다.
본 발명의 실시예들이 도면에 도시되어 있으며, 이하에서는 도면을 참조하여 보다 상세하게 설명된다.
도 1은 구동 장치, 샤시 및 운전자 지원 장치의 영역의 자동차 전자 부품을 갖는 차량을 도시한다.
도 2는 구동 장치, 샤시 및 운전자 지원 장치의 영역에 대한 차량 통신 네트워크에 대한 블록도를 도시한다.
도 3은 대응하는 레이어에서 동일하거나 또는 유사한 특징 분석을 갖는 2 개의 제어 장치에서의 센서 데이터의 개별 처리의 원리를 도시한다.
도 4는 2 개의 제어 장치에서 전처리 유닛에서 동일하거나 또는 유사한 특징 분석을 위한 센서 데이터의 공통 전처리의 원리를 도시한다.
본 설명은 본 발명에 따른 개시의 원리를 설명한다. 따라서, 당업자는 본 명세서에 명시적으로 기술되지는 않았지만, 그러나 본 발명에 따른 개시의 원리를 구현하고 동일하게 그 범위가 보호되는 다양한 장치들을 고안할 수 있다는 것을 이해할 것이다.
도 1은 다양한 전자 부품을 갖는 차량(10)을 도시한다. 승용차(Pkw)가 도시되어 있다. 그러나 임의의 다른 차량도 마찬가지로 차량으로서 고려된다. 다른 차량의 예로는 버스, 상업용 차량, 특히 트럭(Lkw), 농업 기계, 건설 기계, 오토바이, 철도 차량 등이 있다. 본 발명은 일반적으로 육상 차량, 철도 차량, 선박 및 항공기에 적용될 수 있다. 본 발명의 적용은 주로 차량 분야에 대해 고려된다. 그러나 CAN 버스와 마찬가지로 필드 버스 영역에서의 적용, 즉 자동화 기술, 프로세스 기술 등에서의 적용도 고려된다.
현대 자동차에서는 다양한 전자 제어 장치가 사용된다. 도 1에는 일부 제어 장치와 센서의 네트워크가 도시되어 있다. 이 경우 3 개의 상이한 종류의 제어 장치가 구별된다. 한 종류의 제어 장치는 각각 별도로 네트워크화되어 있다. 각각의 통신 버스는 중앙 게이트웨이 제어 장치(140)를 통해 연결된다. 인포테인먼트 영역에 대한 제어 장치의 종류의 제어 장치는 버스(102)를 통해 네트워크화된다. 그것들에 연결된 부품은 온보드 유닛(111), 레이더 센서(112), 후방 카메라(113), 전방 카메라(114) 및 LCD 디스플레이 유닛(115)이다. 또한, 전처리 유닛(110)이 여기에 연결되어 있으며, 그 기능은 개별적으로 이하에서 더 상세하게 설명된다. 여기서 레이더(RADAR) 센서(112)(Radio Detection and Ranging에 대응)는 레이더 크루즈 컨트롤 시스템을 구현하거나 또는 거리 경고 또는 충돌 경고 장치를 구현하기 위한 센서로서 기능한다. 이를 위해, (Light Detection and Ranging에 대응하는) 라이더(LIDAR) 장치가 추가적으로 또는 대안적으로 사용될 수 있다(도시되지 않음). 다른 제어 장치가 연결될 수 있지만, 그러나 도시되지는 않는다.
구동 트레인에 대한 제어 장치의 종류의 제어 장치는 버스(104)를 통해 네트워크화된다. 여기에는 제어 장치인 엔진 제어 장치(121), ESP 제어 장치(122) 및 변속기 제어 장치(123)가 연결되어 있다. 또한 버스(104)에는 휠 회전 속도 센서(124-127)가 연결되어 있다. 도면 부호 129는 진단 인터페이스를 나타낸다. 다른 제어 장치 및/또는 센서가 연결될 수 있지만, 그러나 도시되지는 않는다.
샤시 및 운전자 지원 장치의 영역에 대한 제어 장치의 종류의 제어 장치는 버스(106)를 통해 네트워크화된다. 여기에는 제어 장치인 샤시 제어 장치(131) 및 비상 제동 지원 제어 장치(132) 및 거리 조절 제어 장치(133)가 연결되어 있다. 다른 제어 장치 및/또는 센서가 연결될 수 있지만, 그러나 도시되지는 않는다.
거리 조절 제어 장치(133)는 카메라 센서(및 가능하게는 레이더 및 라이더와 같은 다른 센서)로부터의 이미지 평가에 기초하여 선행 차량의 거리 및 속도에 따라 차량의 속도를 조절한다.
도 2는 인포테인먼트, 구동 장치, 샤시 및 운전자 지원 장치의 영역의 Kfz 전자 장치에 대한 해당 블록 다이어그램을 도시한다. 도 2에서 동일한 구성 요소는 도 1과 동일한 구성 요소를 나타낸다. 3 개의 별도의 통신 버스(102, 104, 106)는 선형 버스로서 구현된다. 여기서 통신 버스(102, 104 및 106)에 대한 버스 프로토콜은 거기에서 네트워크화된 제어 장치들의 요구에 따라 설계될 수 있다. 예를 들어, 샤시 및 운전자 지원 장치의 영역에 대한 통신 버스(106)를 2 개의 통신 버스(102 및 104)보다 더 높은 데이터 레이트에 대해 설계하는 것이 유용할 수 있다. 샤시와 관련된 센서 신호에 대해, 예를 들어 안락함 특징 포트홀을 인식하는 경우, 그에 상응하게 댐퍼 설정을 조정할 수 있기 위해, 매우 빠르게 반응해야 한다.
상이한 통신 버스들(102, 104, 106)에 연결되어 있는 가입자들 간에 데이터를 교환하기 위한 목적으로, 게이트웨이(140)가 제공된다. 이것은 3 개의 상이한 버스 시스템(102, 104 및 106) 모두에 연결된다. 게이트웨이(140)는 하나의 통신 버스를 통해 수신한 데이터 패킷을 변환하여, 이들이 다른 통신 버스의 전송 포맷으로 거기에 전송될 수 있도록 설계된다. 도시된 바와 같이, 게이트웨이(140)는 중앙 장치로서 버스(102), 버스(104)뿐만 아니라 버스(106)에도 연결되어 있다. 따라서 이는, 데이터가 상이한 버스 시스템 간에 교환되어야 할 때, 필요한 모든 포맷 변환을 수행한다.
구동 트레인의 통신 버스(104)에 연결되어 있는 구성 요소(129)는 진단 인터페이스를 나타낸다. 여기서, 외부 진단 컴퓨터(도시되지 않음)가 연결될 수 있고, 이 외부 진단 컴퓨터를 통해 다양한 제어 장치의 에러 메모리에 에러 메모리 엔트리가 질의될 수 있다.
도시된 예에서, 버스 시스템(102 및 104)은 CAN 버스로서 구현되고, 버스(106)는 CAN FD 버스로서 구현된다. 물리적 전송 매체로서 모든 버스 시스템(102, 104, 106)에는, 정보의 전송을 위해 대칭 차동 전압이 인가되는 트위스팅된 2 선식 라인이 사용된다. 전압은 송신기가 원하는 비트 스트림에 따라 생성(인코딩)하는 심볼을 나타낸다. 수신기는 생성된 심볼 스트림을 다시 사용하여, 포함된 비트를 다시 획득(디코딩)한다.
통신 네트워크(102)에서, 전처리 유닛(110)이 제공된다. 전처리 유닛(110)은 하나 이상의 센서의 출력 데이터 스트림의 압축을 제공한다. 이 경우, 인공 지능(KI) 기술의 방법뿐만 아니라 고전적인 신호 처리 기술도 사용될 수 있다. 이러한 전처리 유닛은 센서 모델 유형별이지만 기본적으로 센서에 구속받지 않는 효율적인 데이터 전송을 제공한다.
이는 이미지 처리 단계를 예로 들어 설명될 수 있다. 이 경우, 전처리 유닛(110)는 이미지 처리 제어 장치인 거리 조절 제어 장치(133) 및 비상 제동 지원 제어 장치(132)의 통합 단계가 결합되어 있는 계산 유닛에 대응한다. 이미지 처리 단계는 소위 콘볼루션 뉴럴 네트워크(CNNs)로서, 특징 맵을 생성한다. 이 경우 이미지 처리 뉴럴 네트워크도 또한 사용된다. 특히 기본 특징을 추출하는 CNNs는 전처리 단계에 통합된다. 이러한 특징의 예는 예를 들어 윤곽, 에지, 콘트라스트, 라인, 영역, 밝기, 색상, 선명도 또는 노이즈 크기이다. 단계들은 해당 특징을 인식/추출하거나 또는 해당 특징을 적응시키도록 설계될 수 있다. 적응은 예를 들어 해당 특징을 완화하거나 또는 보강하는 것이다. 완전함을 요구하지 않는 그러한 단계의 예는 다음과 같다: 윤곽 추출 단계, 에지 인식 단계, 에지 강조 단계, 콘트라스트 강화 단계, 라인 인식 단계, 영역 인식 단계, 형상 인식 단계, 밝기 조정 단계, 색상 인식 단계, 색상 조정 단계, 선명도 향상 단계, 노이즈 감소 레벨. CNNs의 구조 및 작동 방식은 일반적으로 알려져 있다고 가정한다.
원리를 더 명확히 하기 위해, 통상적인 처리 방법이 먼저 도 3의 예를 사용하여 설명된다. 2 개의 병렬 처리 브랜치가 도시되어 있다. 동일한 참조 부호는 도 1 및 도 2에서와 동일한 구성 요소를 나타낸다. 상부 브랜치는 거리 조절 제어 장치(133)에서 전방 카메라(114)에 의해 기록된 이미지 데이터의 처리를 나타낸다. 이미지 데이터는 비디오 카메라로 구현될 수 있는 전방 카메라로부터 유래한다. 이는 예를 들어 25 또는 30 Hz의 일반적인 이미지 레이트로 SD 또는 HD 해상도의 이미지를 제공한다. 이미지 데이터는 CAN 버스(102)를 통해 게이트웨이 제어 장치(140)로, 그리고 또한 CAN FD 버스(106)를 통해 거리 조절 제어 장치(133)로 압축되지 않은 상태로 전송될 것이다. 이미지 데이터의 단계적 처리는 단계(M11 내지 M1i)에서 수행된다. 이 경우 개별 단계는 CNNs으로 설계될 수 있다. CNNs는 도 3에서 단계마다 레이어로서 도시되는 특징 맵을 계산한다. 각 단계에서 추출된 어떤 특징 맵이 동일하거나 또는 동등한 것인지는 도 3에서 강조되어 있다. 처리 단계(M11)에서, 최하위 특징 맵은 처리 단계(M21)에서의 제 2 최상위 특징 맵과 동등하다. 처리 단계(M12)에서, 최하위 특징 맵에 후속하는 2 개의 특징 맵은 제 3 최하위 특징 맵에 후속하는 처리 단계(M21)에서의 3 개의 특징 맵과 동등하다. 우선, 단계(M11)에서는 콘트라스트 강화, 선명도 향상 또는 노이즈 감소와 같은 기본 프로세싱이 수행된다. 다음 단계(M12 내지 M1i)에서, 이미지 프로세싱은 더욱 복잡해지므로, 그 안에서 전체 이미지 시퀀스 및 얼굴 또는 차량과 같은 복잡한 개념이 인식되고 처리된다. 이것은 차량의 환경에서 실제 오브젝트를 인식하게 한다. 거리 조절에서는 적어도 선행하는 차량이 인식되어야 하며, 또한 선행하는 차량까지의 거리도 결정되어야 한다.
하위 브랜치는 비상 제동 지원 제어 장치(132)에서의 이미지 데이터의 처리를 나타낸다. 여기에서는 전방 카메라(114)의 이미지 데이터가 또한 평가된다. 이미지 데이터는 게이트웨이 제어 장치(140)를 통해 비상 제동 지원 제어 장치(132)로 또한 전달될 것이다. 이미지 평가는 단계(M21 내지 M2i)에서 수행된다. 이 경우 상위 브랜치에서와 매우 유사한 이미지 평가가 수행된다. 마지막으로는, 또한 선행하는 차량에 대한 거리를 결정하는 것에 대한 것이다. 그러나 또한 선행하는 또는 다가오는 차량에 접근하는 속도도 또한 결정되어야 한다. 이를 통해 후방 단계의 이미지 프로세싱은 달라진다. 그러나 또한, 다른 트래픽 가입자/오브젝트가 인식되어야 하므로, 그로 인해 심층적인 이미지 평가가 이루어져야 한다. 병렬 브랜치에서의 다중 이미지 평가는 부분적으로 중복되고, 에너지를 소비하며, 높은 하드웨어 비용을 필요로 한다. 또한, 이미지 데이터는, 필요하다면, 상이한 이미지 처리 제어 장치에 여러 번 전송되어야 한다. 이는 통신 버스에 따라 버스 이용 능력과 관련하여 문제점을 의미할 수 있다.
양 기능인 거리 조절 제어 장치 및 비상 제동 지원 장치는, 별도의 제어 장치에 대해, 연결된 센서 시스템의 센서 원 데이터를 처리한다. 이 경우 제 1 전처리에서는 필터(전형적인 이미지 처리 또는 학습된 폴딩 코어)를 사용하여 데이터의 보정(콘트라스트 조정, 커팅) 이외에도 센서 원 데이터로부터 다른 특징 맵(소위 필터 채널)이 생성된다. 설명된 바와 같이, 이러한 특징 맵은 예를 들어 에지의 분포, 색상 전이, 콘트라스트 변경, ... 등에 관련될 수 있다(도 3의 레이어(M11) 및 레이어(M21) 참조). 그런 다음 이 특징 맵은 처리의 결과로 고차원 특징(패턴, 에지 특성, 형상)의 분포를 위한 맵으로 확장된다(도 3의 레이어(M12/M13) 및 레이어(M22/M23) 참조).
여기서 두 가지 기능 사이에는 서로 다른 처리 깊이에 해당하는 특징 맵이 있다(완전히 동일하거나 또는 선형 조합을 통해 서로 전환 가능한 필터 채널): 비상 제동 지원 제어 장치(132)뿐만 아니라 거리 조절 제어 장치(133)도 에지(레이어(M11)), 인식된 차량, 도로 상의 오브젝트 및 차선의 프로파일(고급 특징)에 대해 민감하다. 이러한 특징을 별도로 중복 계산하는 것은 불필요하고, 시간이 많이 걸리고 에너지가 많이 소모된다. 센서 융합(예를 들어, 전방 카메라(114) 및 레이더 센서(112))의 영역에서, 이는 또한 두 센서 신호의 융합 및 양 기능에 의해 사용되는 센서 정보의 처리(공통으로, 별도로 또는 부분적으로 별도로)에 관련될 수 있다.
도 3에서, 처리 단계(M11 및 M12)에서 R로 표시된 특징 맵은 처리 단계(M21 및 M22)에서 G로 표시된 특징 맵과 동일하거나 또는 동등하다. 여기서 동등하다는 것은 특징 맵(G)이 특징 맵(R)과 동일하거나 또는 (선형) 조합이라는 것을 의미한다. 후속 단계에서 B로 표시된 특징 맵은 GR로 표시된 특징 맵과 동등하지 않으며, 각 경우에 시스템의 적절한 기능을 보장하기 위해 개별적으로 계산되어야 한다.
따라서, 본 발명의 일 제안은 병렬 브랜치에서의 처리를 적어도 부분적으로 통합하는 것이다. 이를 위해, 전처리 단계(110)가 사용된다. 전처리 단계(110)를 갖는 통합된 처리의 원리는 도 4에 도시되어 있다.
본 발명에 따른 전처리 유닛(110)에서는 이제 비상 제동 지원 장치(132) 및 거리 조절 제어 장치(133)의 실행에 필요한 모든 특징 맵이 센서 근처에서 공동으로 계산(데이터 보정, 센서 융합, 특징 계산)되고, 그 후 결과는 차량 전기 시스템을 통해 양 지원 시스템에 대한 제어 장치(133, 132)로 전송된다.
전처리 단계(110)에서의 처리는 센서 정보의 기능 특이성 압축을 나타내며, 센서 모델과 독립적이다. 이 경우, 기능 특이성이라 함은 부분적 기능성에 대한 의존성을 명확히 의미하는 것이 아니라, 오히려 예를 들어 (부분적) 자동 주행의 후속 처리 체인 전체에 대한 특이성을 의미한다. 압축된 센서 데이터는 결과 성분(센서 원 데이터의 사용 없이)에 의한 정보의 손실 없는 추가 처리를 가능하게 하지만, 그러나 반드시 센서 원 데이터의 손실 없는 또는 기본적으로 손실 없는 복원은 아닐 수도 있다. 따라서, 센서 원 데이터의 추가 처리 특성에 대해 의미론적으로 뿐만 아니라 물리적으로도 관련성이 있는 모든 특성이 전송된다. 압축은 예를 들어 필터링(예를 들어, 노이즈 감소)에 의해 또는 특징들의 추출에 의해 형성되고, 이 경우 예를 들어 특징 맵을 통해 이미지에 있는 특징의 위치만이 전송되어야 하며, 이들 특징에 대해 실제 이미지 컨텐츠는 더 이상 전송되지 않아야 한다. 도 4의 예에서는, 단계(M11 및 M21 또는 M12 및 M22)의 처리가 통합된다. 이들 단계는 이 경우 제어 장치(133 및 132)에 더 이상 제공될 필요가 없다. 다음 단계(M13 또는 M23)에서만 제어 장치(133, 132)에서 개별적으로 이미지 프로세싱이 다시 수행된다. 전처리 단계(110)에서의 이미지 프로세싱의 통합된 결과만이 게이트웨이(140) 및 또한 제어 장치(133 및 132)로 전달된다. 이 경우 적어도 제어 장치(133 및 132) 중 하나에서 결과의 적응/프로젝션이 추가 처리 이전에 행해져야 할 필요가 있을 수 있다. 그렇지 않으면, 전처리 유닛(110)에 이 단계를 통합하는 것이 가능하지 않을 것이다. 적응은 목표 제어 장치에서 개별적인 추가 처리를 위해 데이터를 준비하기 위해 목표 제어 장치에서 전송된 결과에 의해 수행되어야 하는 산술 계산(변환)으로 구성된다. 여기서 가장 상이한 산술 계산을 사용할 수 있다. 완전함을 요구하지 않는 좌표 변환의 예는 다음과 같다: 스케일링, 변환, 회전, 반사, 전단 등이 있다. 그러나 필터 채널의 선형 조합과 같은 다른 변환도 또한 고려된다. 제어 장치 네트워크의 설계에 있어서, 전처리된 이미지 데이터를 필요로 하는 제어 장치가 이용 가능한 것이 공지되어 있기 때문에, 개별 제어 장치는 전달된 결과의 적응을 계산하기 위해 각각의 관련 적응 레이어를 구비할 수도 있다.
전처리 유닛(110)에서, 비상 제동 지원 장치(132) 및 거리 조절 제어 장치(133)의 실행에 필요한 모든 특징 맵이 센서 근처에서 공동으로 계산된다(데이터 보정, 센서 융합). 이들은 R, B 및 GR로 표시된 특징 맵이다. 그 결과는 그 후 차량 전기 시스템을 통해 두 지원 시스템 모두를 위해 제어 장치(133 및 132)로 전달된다. 거리 조절 제어 장치(133)에는 특징 맵(R, B)이 전달된다; 비상 제동 지원 장치(132)에는 특징 맵(R, GR)이 전달된다. 비상 제동 지원 장치(132)의 실행에 필요한 특징 맵(G)은 이 경우 R로 표시된 특징 맵의 대응하는 (선형) 조합을 통해 계산될 수 있다. 통합된 인식은 여기서 특정 정의된 인터페이스의 형태로 제공될 수 있거나(하향식 접근) 또는 두 기능의 계산된 통합(상향식 접근 방식)으로부터 발생할 수 있다.
또 다른 실시예에서, 전처리 후에 또한 전처리 유닛(110)에 남겨진 이미지의 나머지는 또한 압축될 수 있다. 이를 위해, MPEG2 비디오 코딩, JPEG 코딩, H.264 코딩 등과 같은 비디오 코딩 영역의 공지된 압축 방법이 이용 가능할 것이다. 그러나, 이러한 경우 이미지를 더 프로세싱할 수 있도록, 수신 제어 장치에서 해당 디코딩이 수행되어야 한다. 여기서 언급된 비디오 코딩 방법은 손실이 있다는 점을 유의해야 한다. 따라서 손실은 도로 표지판, 차선 표시, 포트홀, 차량, 보행자 등과 같은 원하는 오브젝트가 더 이상 디코딩된 이미지에서 인식될 수 없도록 작용하지 않는 것이 보장되어야 한다. 그러나 이용 가능하고 또한 대안적으로 사용될 수도 있는 이미지 압축의 손실 없는 방법도 존재한다.
다른 유형의 압축은 헤더 압축 방법 중 하나에 의해 얻을 수 있다. 예로는 ROHC(Robust Header Compression) 및 반 자콥슨(van Jacobson) TCP/IP 헤더 압축이 있으며, 이들은 버스 이용 능력을 줄이기 위해 특히 이더넷 영역에서 중요하다.
본 개시는 여기에 설명된 실시예들에 제한되지 않는다. 본 기술 분야의 당업자뿐만 아니라 개시 내용에 관련되는 당업자에 의해서도 고려될 다양한 조정 및 수정을 위한 여지가 있다.
확장된 실시예에서는, 샤시 제어 장치(131)의 포트홀 인식 기능도 또한 통합될 것이다. 또한, 샤시 제어 장치(131)에서, 전방 카메라(114)의 이미지의 이미지 평가가 수행된다. 이를 통해 전체 시스템의 효율성을 더욱 향상된다.
또한 다른 적용 가능성은 차선 변경 지원 장치(자체 차선 및 인접 차선의 후속 트래픽 모니터링) 및 출차 지원 장치(출차 시 교차 트래픽 모니터링)를 위한 후방 레이더 시스템의 공동 사용이다.
본 명세서에서 언급된 모든 예들뿐만 아니라 조건부 예제는 이러한 특정 언급된 예를 제한하지 않고 이해되어야 한다. 따라서 예를 들어 여기에 제시된 블록 다이어그램은 예시적인 회로의 개념도를 나타낸다는 것을 당업자는 이해할 것이다. 유사한 방식으로, 도시된 흐름도, 상태 전이 다이어그램, 의사 코드 등은 실질적으로 컴퓨터 판독 가능 매체에 저장되어 이에 따라 컴퓨터 또는 프로세서에 의해 실행될 수 있는 프로세스를 나타내기 위한 다양한 변형예를 나타낸다는 것을 인식해야 한다.
제안된 방법 및 관련 장치는 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 이들의 조합의 다양한 형태로 구현될 수 있다는 것을 이해해야 한다. 특수 목적 프로세서에는 ASICs(Application Specific Integrated Circuits), RISC(Reduced Instruction Set Computer) 및/또는 FPGAs(Field Programmable Gate Arrays)가 포함될 수 있다. 바람직하게는, 제안된 방법 및 장치는 하드웨어와 소프트웨어의 조합으로서 구현된다. 소프트웨어는 바람직하게는 프로그램 저장 장치 상에 애플리케이션 프로그램으로서 설치된다. 통상적으로, 이는 예를 들어 하나 이상의 중앙 처리 장치(CPU), 랜덤 액세스 메모리(RAM), 및 하나 이상의 입력/출력(I/O) 인터페이스(들)와 같은 하드웨어를 포함하는 컴퓨터 플랫폼 기반 기계이다. 또한 컴퓨터 플랫폼에는 일반적으로 운영 체제가 설치된다. 본 명세서에 설명된 다양한 프로세스 및 기능은 애플리케이션 프로그램의 일부일 수 있거나 또는 운영 체제를 통해 실행되는 부분일 수 있다.
10 차량 102 데이터 버스 - 운전자 지원 장치
104 데이터 버스 - 구동 장치 106 데이터 버스 - 샤시
110 전처리 유닛 111 온보드 유닛
112 레이더 센서 113 후방 카메라
114 전방 카메라 121 엔진 제어 장치
122 ESP 제어 장치 123 변속기 제어 장치
124 휠 회전 속도 센서 125 휠 회전 속도 센서
126 휠 회전 속도 센서 127 휠 회전 속도 센서
129 진단 인터페이스 131 샤시 제어 장치
132 운전자 지원 제어 장치 133 거리 조절 제어 장치
134 LCD 디스플레이 유닛 140 게이트웨이
M11 - M1i 특징 맵을 계산하기 위한 상이한 단계(경로 1)
M21 - M2i는 특징 맵을 계산하기 위한 상이한 단계(경로 2)

Claims (15)

  1. 복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법으로서,
    상기 복수의 제어 장치는 적어도 하나의 통신 버스(102, 104, 106)를 통해 적어도 하나의 센서(112-114)에 연결되고, 상기 적어도 하나의 센서(112-114)의 상기 센서 데이터는 적어도 2 개의 상이한 제어 장치(131-133)에 의해 단계적으로 처리되고, 상기 적어도 2 개의 상이한 제어 장치(131-133)에서 적어도 하나의 처리 단계는 상기 처리의 결과가 변환을 통해 서로 전환될 수 있도록 일치하거나 또는 적어도 동등한 것이며,
    상기 적어도 하나의 센서(112-114)의 상기 센서 데이터가 공급되는 전처리 유닛(110)이 제공되고, 상기 전처리 유닛(110)에서 상기 센서 데이터의 상기 처리는 상기 적어도 하나의 일치하는 처리 단계(M11 & M21, M12 & M22, M13 & M23)에서 수행되고, 상기 처리된 센서 데이터는 개별적인 추가 처리를 위해 상기 적어도 2 개의 상이한 제어 장치(131-133)로 전송되며,
    상기 적어도 하나의 센서(112-114)는 이미징 센서이고, 상기 적어도 2 개의 상이한 제어 장치(131-133)는 이미지 처리 제어 장치와 관련되며,
    상기 이미징 센서(112-114)의 상기 단계적 처리는 필터링 및 이미지 처리 중 적어도 하나가 뉴럴 네트워크에 의해 수행되는 이미지 처리에 대응하며,
    단계(M11, M21, M12, M22)에서의 상기 이미지 처리에 의해 이미지의 전형적인 특징이 추출되고 특징 맵이 형성되며,
    상기 전처리 유닛(110)에는 복수의 전형적인 특징 추출 단계(M11, M21, M12, M22)가 제공되는 것인, 복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법.
  2. 제 1 항에 있어서,
    계산 결과를 전환하기 위한 상기 변환은 상기 제어 장치에서 수행되어, 변환된 형태의 상기 계산 결과가 상기 개별적인 추가 처리를 위해 요구되는 것인, 복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 전형적인 특징은 특징, 에지, 윤곽, 라인, 영역, 콘트라스트, 밝기, 색상, 선명도, 노이즈 성분 중 하나 이상과 관련되는 것인, 복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 전처리 유닛(110)은 별도의 계산 유닛으로서 상기 통신 버스(102, 104, 106)에 연결되거나, 상기 센서 데이터를 처리하는 제어 장치의 모듈로서 또는 중앙 게이트웨이 제어 장치(140)의 모듈로서 제공되는 것인, 복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 적어도 하나의 통신 버스(102, 104, 106)는 제어기 영역 네트워크 버스에 대응하는 CAN 버스, 제어기 영역 네트워크 버스 플렉서블 데이터 레이트에 대응하는 CAN FD 버스, 또는 FlexRay 버스, 또는 이더넷 버스 유형의 직렬 통신 버스인 것인, 복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법.
  6. 통신 시스템에 대한 전처리 유닛에 있어서,
    통신 버스(102, 104, 106) - 상기 통신 버스(102, 104, 106)를 통해 상기 전처리 유닛은 적어도 하나의 센서(112-114)로부터 센서 데이터를 수신함 - 에 대한 인터페이스, 및 상기 센서 데이터를 처리하기 위한 적어도 하나의 처리 단계(M11 & M21, M12 & M22, M13 & M23)를 포함하고,
    상기 전처리 유닛은 상기 처리된 센서 데이터를 상기 통신 버스에 대한 동일한 인터페이스를 통해 또는 다른 인터페이스를 통해, 적어도 2 개의 상이한 제어 장치(131-133)에 의한 개별적인 추가 처리를 위해, 상기 적어도 2 개의 상이한 제어 장치(131-133)에 전달하고,
    상기 적어도 하나의 센서(112-114)는 이미징 센서이고, 상기 적어도 2 개의 상이한 제어 장치(131-133)는 이미지 처리 제어 장치와 관련되며,
    상기 이미징 센서(112-114)의 상기 단계적 처리는 필터링 및 이미지 처리 중 적어도 하나가 뉴럴 네트워크에 의해 수행되는 이미지 처리에 대응하며,
    단계(M11, M21, M12, M22)에서의 상기 이미지 처리에 의해 이미지의 전형적인 특징이 추출되고 특징 맵이 형성되며,
    상기 전처리 유닛에는 복수의 전형적인 특징 추출 단계(M11, M21, M12, M22)가 제공되는 것인 통신 시스템에 대한 전처리 유닛.
  7. 제 6 항에 있어서,
    상기 전형적인 특징은 특징, 에지, 윤곽, 라인, 영역, 콘트라스트, 밝기, 색상, 선명도, 노이즈 성분 중 하나 이상과 관련되는 것인, 통신 시스템에 대한 전처리 유닛.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 전처리 유닛은 별도의 계산 유닛으로서 상기 통신 버스(102, 104, 106)에 연결되거나, 상기 센서 데이터를 처리하는 제어 장치의 모듈로서 또는 중앙 게이트웨이 제어 장치(140)의 모듈로서 제공되는 것인, 통신 시스템에 대한 전처리 유닛.
  9. 차량에 있어서,
    상기 차량에 제 6 항 또는 제 7 항에 따른 전처리 유닛이 설치되는 것을 특징으로 하는 차량.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020190008644A 2018-01-23 2019-01-23 복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법, 대응되게 설계된 전처리 유닛 및 차량 KR102179933B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018200982.1 2018-01-23
DE102018200982.1A DE102018200982A1 (de) 2018-01-23 2018-01-23 Verfahren zur Verarbeitung von Sensordaten in einer Anzahl von Steuergeräten, entsprechend ausgelegte Vorverarbeitungseinheit sowie Fahrzeug

Publications (2)

Publication Number Publication Date
KR20190089776A KR20190089776A (ko) 2019-07-31
KR102179933B1 true KR102179933B1 (ko) 2020-11-17

Family

ID=64755328

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190008644A KR102179933B1 (ko) 2018-01-23 2019-01-23 복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법, 대응되게 설계된 전처리 유닛 및 차량

Country Status (5)

Country Link
US (1) US10922557B2 (ko)
EP (1) EP3528230A1 (ko)
KR (1) KR102179933B1 (ko)
CN (1) CN110065500B (ko)
DE (1) DE102018200982A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796206B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
DE102019201316A1 (de) * 2019-02-01 2020-08-06 Robert Bosch Gmbh Teilnehmerstation für ein serielles Bussystem und Verfahren zur Kommunikation in einem seriellen Bussystem
US11188766B2 (en) * 2019-02-05 2021-11-30 Honda Motor Co., Ltd. System and method for providing context aware road-user importance estimation
EP3959645A1 (en) * 2019-04-24 2022-03-02 Sony Group Corporation Sensing apparatus and control system for automotive
KR20210051719A (ko) 2019-10-31 2021-05-10 삼성에스디에스 주식회사 센서 측정값 전처리 방법 및 이를 이용한 기계 학습 방법
DE102019130609A1 (de) * 2019-11-13 2021-05-20 Ford Global Technologies, Llc Verfahren zum Bestimmen eines Reglers für eine Regelstrecke
CN111601267B (zh) * 2020-04-01 2023-04-07 吉利汽车研究院（宁波）有限公司 一种传感器数据共享方法、装置、设备及存储介质
KR102155562B1 (ko) * 2020-07-07 2020-09-15 (주) 한일프로텍 차량 네트워크에 대한 시뮬레이션 및 모니터링 정보를 제공하는 시스템
DE102020119743A1 (de) * 2020-07-27 2022-01-27 Bayerische Motoren Werke Aktiengesellschaft System und verfahren zur verarbeitung von informations-signalen
US10902291B1 (en) * 2020-08-04 2021-01-26 Superb Ai Co., Ltd. Methods for training auto labeling device and performing auto labeling related to segmentation while performing automatic verification by using uncertainty scores and devices using the same
US10902290B1 (en) * 2020-08-04 2021-01-26 Superb Ai Co., Ltd. Methods for training auto labeling device and performing auto labeling related to object detection while performing automatic verification by using uncertainty scores and devices using the same
US10885387B1 (en) * 2020-08-04 2021-01-05 SUPERB Al CO., LTD. Methods for training auto-labeling device and performing auto-labeling by using hybrid classification and devices using the same
US20220261658A1 (en) * 2021-02-18 2022-08-18 Volkswagen Aktiengesellschaft Apparatus, system and method for translating sensor label data between sensor domains
DE102021201628B4 (de) 2021-02-19 2023-07-13 Vitesco Technologies GmbH Computerimplementiertes Verfahren und Vorrichtung zur Codierung und Verarbeitung von hochdimensionalen Sensorpfaddaten einer Sensoreinheit zur Steuerung eines Fahrzeugs
DE102021113850A1 (de) 2021-05-28 2022-12-01 Valeo Schalter Und Sensoren Gmbh Übertragung von Sensorinformation eines Umgebungssensors basierend auf Transformation in den Frequenzbereich
DE102021113853A1 (de) 2021-05-28 2022-12-01 Valeo Schalter Und Sensoren Gmbh Übertragung von Sensorinformation von einem Umgebungssensor an ein Steuergerät unter Verwendung eines trainierten neuronalen Netzwerks
EP4116871A1 (en) * 2021-07-08 2023-01-11 Argo AI GmbH Method and processing unit for processing sensor data of several different sensors with an artificial neural network in a vehicle
CN116962475B (zh) * 2023-09-21 2023-12-12 南京能可瑞科技有限公司 一种电动汽车与充电桩的通信控制器及通信数据处理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008020458A2 (en) * 2006-08-18 2008-02-21 Ananya Innovations Limited A method and system to detect drowsy state of driver

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9007197B2 (en) 2002-05-20 2015-04-14 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
KR100629798B1 (ko) 2004-11-03 2006-09-28 현대모비스 주식회사 전자제어유닛 통합제어 장치
DE102005036953A1 (de) * 2005-08-05 2007-02-08 Robert Bosch Gmbh Verfahren zum Erzeugen von Umwelthypothesen für Fahrerassistenzfunktionen
DE102009048493A1 (de) * 2009-09-25 2011-04-07 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzsystem für ein Fahrzeug, Fahrzeug mit einem Fahrerassistenzsystem und Verfahren zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs
DE102011083254A1 (de) 2011-09-23 2013-03-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Koppeln eines ersten Sensors mit zumindest einem zweiten Sensor
DE102011088020A1 (de) * 2011-12-08 2013-06-13 Bayerische Motoren Werke Aktiengesellschaft Kommunikationseinrichtung für ein Kraftfahrzeug
CN106030609B (zh) * 2013-12-04 2020-07-03 移动眼视力科技有限公司 用于模仿前车的系统和方法
SG10201403292WA (en) 2014-06-16 2016-01-28 Ats Group Ip Holdings Ltd Fusion of data from heterogeneous sources
CN107004138A (zh) 2014-12-17 2017-08-01 诺基亚技术有限公司 利用神经网络的对象检测
DE102015201723A1 (de) * 2015-02-02 2016-08-04 Robert Bosch Gmbh Fahrerassistenzsystem für ein Kraftfahrzeug
DE102015104938A1 (de) 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer Information über eine Zugehörigkeitsbeurteilung eines Erfassungspunkts zu einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs an einer Kommunikationsschnittstelle sowie Computerprogrammprodukt, Sensoreinrichtung für ein Kraftfahrzeug und Kraftfahrzeug
DE102015104934A1 (de) 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen von Freirauminformationen in einem Umgebungsbereich eines Kraftfahrzeugs als Sensor-Rohdaten an einer Kommunikationsschnittstelle, Sensoreinrichtung, Verarbeitungseinrichtung und Kraftfahrzeug
WO2016183074A1 (en) * 2015-05-10 2016-11-17 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US10460230B2 (en) 2015-06-04 2019-10-29 Samsung Electronics Co., Ltd. Reducing computations in a neural network
DE102015210881A1 (de) 2015-06-15 2016-12-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung von Position und/oder Orientierung eines Fahrzeugs
CN107810508A (zh) 2015-06-26 2018-03-16 圣蒂安斯公众有限公司 根据传感器数据推导运动行为
US9710714B2 (en) 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
DE102016205139B4 (de) 2015-09-29 2022-10-27 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Charakterisierung von Objekten
DE102015220616A1 (de) 2015-10-22 2017-04-27 Volkswagen Ag Verfahren und Vorrichtung zur Bereitstellung und Auswertung von Sensordaten für mindestens ein Fahrerassistenzsystem in einem Kraftfahrzeug
US9418546B1 (en) 2015-11-16 2016-08-16 Iteris, Inc. Traffic detection with multiple outputs depending on type of object detected
US10373019B2 (en) 2016-01-13 2019-08-06 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
EP3219564B1 (en) * 2016-03-14 2018-12-05 IMRA Europe S.A.S. Driving prediction with a deep neural network
US20170277955A1 (en) * 2016-03-23 2017-09-28 Le Holdings (Beijing) Co., Ltd. Video identification method and system
US20170300763A1 (en) 2016-04-19 2017-10-19 GM Global Technology Operations LLC Road feature detection using a vehicle camera system
DE102017108255A1 (de) 2016-04-19 2017-10-19 GM Global Technology Operations LLC Parallele detektion von primitiven in einer szene unter verwendung eines rundum-kamerasystems
US10255522B2 (en) * 2016-06-17 2019-04-09 Facebook, Inc. Generating object proposals using deep-learning models
US10943148B2 (en) * 2016-12-02 2021-03-09 Apple Inc. Inspection neural network for assessing neural network reliability
US10997421B2 (en) * 2017-03-30 2021-05-04 Hrl Laboratories, Llc Neuromorphic system for real-time visual activity recognition
US20180300763A1 (en) 2017-04-12 2018-10-18 Campaign Partners, Inc. Non-profit funding campaign management employing a predictive analytics intelligence platform
CN111587407B (zh) * 2017-11-10 2024-01-23 辉达公司 用于安全且可靠的自主车辆的系统和方法
US10528823B2 (en) * 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
US10657390B2 (en) * 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
US10528054B2 (en) * 2017-12-18 2020-01-07 GM Global Technology Operations LLC Detecting features from multi-modal images
US10739459B2 (en) * 2018-01-12 2020-08-11 Ford Global Technologies, Llc LIDAR localization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008020458A2 (en) * 2006-08-18 2008-02-21 Ananya Innovations Limited A method and system to detect drowsy state of driver

Also Published As

Publication number Publication date
KR20190089776A (ko) 2019-07-31
CN110065500A (zh) 2019-07-30
EP3528230A1 (de) 2019-08-21
US20190228236A1 (en) 2019-07-25
CN110065500B (zh) 2022-06-03
US10922557B2 (en) 2021-02-16
DE102018200982A1 (de) 2019-08-08

Similar Documents

Publication Publication Date Title
KR102179933B1 (ko) 복수의 제어 장치에서 센서 데이터를 처리하기 위한 방법, 대응되게 설계된 전처리 유닛 및 차량
US10576968B2 (en) Control system, relay device and control method
US9889859B2 (en) Dynamic sensor range in advanced driver assistance systems
CN111754389A (zh) 保留语义的风格转移
CN109246126B (zh) 车载自动驾驶系统的数据通信方法及装置
US9592764B2 (en) Redundant object detection for driver assistance systems
CN110895674A (zh) 用于基于自我中心视觉的未来车辆定位的系统和方法
US11043990B2 (en) Vehicular secured communication system
CN112477782B (zh) 实现汽车中电子控制功能的系统、方法以及汽车
US11981348B2 (en) Automated driving control system and automated driving control apparatus
US20220266831A1 (en) Method, system and computer program product for automatically adapting at least one driving assistance function of a vehicle to a trailer operating state
CN114340956B (zh) 车载网络系统
CN115376095A (zh) 用于在驾驶场景中完成联合风险定位和推理的系统和方法
CN115376347A (zh) 智驾域控制器以及车辆的控制方法
JP2020204839A (ja) 外部環境認識装置
WO2021020294A1 (ja) 車両制御システム
WO2020250528A1 (ja) 外部環境認識装置
US10539957B2 (en) Methods and systems for enabling a vehicle to park remotely
Nithin et al. Advanced driver assistance system using FPGA
WO2021182255A1 (ja) 通信装置および通信システム
US20240275403A1 (en) On-board autoencoder for vehicles
US12030444B2 (en) Selective actuation of vehicle components using two control modules
US20230379188A1 (en) Vehicle data protection
CN114521179B (zh) 中央运算装置
KR20220152271A (ko) 정보 신호를 처리하기 위한 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant