WO2020101328A1 - 운전 지원 시스템 및 방법 - Google Patents

운전 지원 시스템 및 방법 Download PDF

Info

Publication number
WO2020101328A1
WO2020101328A1 PCT/KR2019/015369 KR2019015369W WO2020101328A1 WO 2020101328 A1 WO2020101328 A1 WO 2020101328A1 KR 2019015369 W KR2019015369 W KR 2019015369W WO 2020101328 A1 WO2020101328 A1 WO 2020101328A1
Authority
WO
WIPO (PCT)
Prior art keywords
driving
vehicle
program
mobile device
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/015369
Other languages
English (en)
French (fr)
Inventor
이윤태
채준석
이영기
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electro Mechanics Co Ltd
Original Assignee
Samsung Electro Mechanics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electro Mechanics Co Ltd filed Critical Samsung Electro Mechanics Co Ltd
Priority to CN201980037861.8A priority Critical patent/CN112272632B/zh
Priority to KR1020207025000A priority patent/KR20210077651A/ko
Priority to DE112019005650.6T priority patent/DE112019005650T5/de
Priority to US17/053,841 priority patent/US11858528B2/en
Publication of WO2020101328A1 publication Critical patent/WO2020101328A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0013—Optimal controllers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data

Definitions

  • the present disclosure relates to a driving support system and method.
  • Autonomous or self-driving vehicles or semi-autonomous or auxiliary driving vehicles, are increasingly used to achieve driving efficiency and driving convenience as well as reduction in traffic accidents.
  • the driver In order to implement such autonomous / self-driving or semi-autonomous / secondary driving behavior, simply by providing the driver with information about the driving experience, the driver needs to supervise one or more of braking, acceleration and / or steering.
  • Driving additionally or alternatively, the passenger only needs to perform driving upon request by the vehicle, or the vehicle does not ask the passenger to perform any driving function, or even the vehicle does not
  • driving assistance may include lane departure warning or avoidance, collision avoidance or automated emergency braking, or blind spot warning.
  • Such a vehicle implementation may implement these different levels of information, assistance and / or autonomy by providing these various abilities of information services, driving assistance, semi-autonomy, autonomous and fully autonomous driving through each driving program in the vehicle. Therefore, many automakers, non-automakers, and non-manufacturing companies and research institutes use a variety of driving programs for each of these different levels of information, assistance and / or autonomy, through an advanced driver assistance system (ADAS).
  • ADAS advanced driver assistance system
  • a driving support system for interfacing with an individual vehicle including a camera system for generating image information of a vehicle's periphery, a vehicle controller for generating driving information for a vehicle, and a communication port is connected to the communication port,
  • a driving support terminal including one or more processors configured to acquire image information and / or driving information using a communication port, the driving support terminal being generated by the driving support terminal and provided to the vehicle through a control signal provided to the vehicle It is configured to execute at least a part of the driving program of the driving support terminal based on the image and / or driving information in order to control the vehicle for one or more auxiliary driving and / or autonomous operation.
  • the driving program of the driving support terminal may include a driving assistance program and / or an autonomous driving program.
  • the vehicle controller may be configured to execute a vehicle driving program including a vehicle driving assistance program and / or a vehicle autonomous driving program stored in the vehicle memory to control the vehicle.
  • the one or more processors of the driving support terminal further determine which of the driving assistance program of the driving program of the driving assistance terminal and the vehicle driving assistance program of the vehicle driving program is the highest ADAS level driving assistance program and / or the driving assistance terminal In order to determine which of the autonomous driving programs of the driving program and the autonomous driving program of the vehicle driving program is the highest ADAS level autonomous driving program, to control the vehicle with respect to one or more assisted driving and / or autonomous operation by the vehicle It can be configured to run the ADAS level driving assistance program and / or the highest ADAS level autonomous driving program.
  • the one or more processors of the driving support terminal further performs a first determination as to which function of the driving program of the driving support terminal has a higher function level than the corresponding function of the vehicle driving program, and Perform a second determination as to which function of the driving program is not provided by the vehicle driving program, and / or determine a third determination as to which function of the vehicle driving program is not provided by the driving program of the driving support terminal It is configured to perform, and to control the vehicle for one or more auxiliary driving and / or autonomous operation by the vehicle of the driving support terminal based on any one or any combination of the first judgment, the second judgment and the third judgment
  • the implemented driving program function may be configured to be controlled by the vehicle.
  • the driving support system is a mobile device including a mobile device driving assistance program and / or a mobile device autonomous driving program based on image information and / or driving information to control the vehicle for one or more assisted driving and / or autonomous operation by the vehicle.
  • the apparatus may further include a mobile device having one or more processors configured to execute at least a portion of the device driving program, and the one or more processors of the mobile device or one or more processors of the driving support terminal may further include: Determine which of the driving assistance programs, the mobile device driving assistance programs, and the vehicle driving assistance programs is the highest ADAS level driving assistance program and / or the autonomous driving program of the driving program of the driving assistance terminal, the mobile device autonomous driving program And a vehicle autonomous driving program, which is the highest ADAS level autonomous driving program, and has the highest ADAS level driving assistance to control the vehicle with respect to one or more assisted driving and / or autonomous operation by the vehicle. It can be configured to run a program and / or the highest ADAS level autonomous driving program.
  • the driving support system is a mobile device including a mobile device driving assistance program and / or a mobile device autonomous driving program based on image information and / or driving information to control the vehicle for one or more assisted driving and / or autonomous operation by the vehicle.
  • the apparatus may further include a mobile device having one or more processors configured to execute at least a portion of the device driving program, and the one or more processors of the mobile device or one or more processors of the driving support terminal may further include: Performing a first determination as to which function and which function of the mobile device driving program has a higher function level than the corresponding function of the vehicle driving program, which function of the driving program of the driving support terminal and the mobile device driving program Perform a second determination as to which function of the function is not provided by the vehicle driving program, and / or which function of the vehicle driving program is not provided by the driving program of the driving support terminal and the mobile device driving program
  • the driving support terminal is configured to perform the third determination, and the driving program, the mobile device driving program, and the vehicle driving program of the driving support terminal
  • the driving program of the driving support terminal, the mobile device driving program, and the vehicle driving program based on any one or any combination of the first judgment, the second judgment, and the third judgment, the driving program and the mobile driving of the driving assistance terminal It may include a selection between the corresponding functions of the program, and one or more processors of the mobile device, or one or more processors of the driving support terminal, may be configured to select a function having a predetermined higher function from these corresponding functions. Can be.
  • the one or more processors of the driving support terminal may have a higher function level than any of the function of the driving program of the driving support terminal and the function of the mobile device driving program of the mobile device communicating with the driving support terminal than the corresponding function of the vehicle driving program.
  • the driving assistance system may further include a mobile device, and the mobile device has one or more processors and a memory storing a mobile device driving program including a mobile device driving assist program and / or a mobile device autonomous driving program.
  • the driving program of the driving support terminal, the mobile device driving program, and the optional implementation of the vehicle driving program based on any one or any combination of the first determination, the second determination, and the third determination are driving programs and mobile driving programs of the driving assistance terminal
  • one or more processors of the driving support terminal may be configured to select a function having a predetermined higher function from this corresponding function.
  • At least one processor of the driving support terminal further includes a driving assistance program of the driving program of the driving assistance terminal, a mobile device driving assistance program of the driving program of the mobile device communicating with the driving assistance terminal, and a vehicle driving assistance program of the vehicle driving program.
  • the driving assistance system may further include a mobile device, and the mobile device has one or more processors and a memory storing a mobile device driving program including a mobile device driving assist program and / or a mobile device autonomous driving program.
  • the driving assistance program may be configured to generate a driving assistance control signal and driving assistance information, and the driving assistance control signal may be used to auxiliaryly control an auxiliary driving operation of the vehicle to display driving assistance information. It is a signal.
  • the driving assistance information of the vehicle may include information instructing the driver to control at least one of a steering operation, a braking operation, and an acceleration operation of the vehicle.
  • the driving assistance program may be configured to generate a driving assistance control signal, and the driving assistance control signal may assist driving of the vehicle to auxiliaryly control at least one of a steering operation, a braking operation, and an acceleration operation of the vehicle. It may be a signal for controlling the operation.
  • Signals for controlling the assist driving operation of the vehicle to assist in controlling at least one of the steering operation, braking operation and acceleration operation of the vehicle include: detected obstacle assistance avoidance, detected rear collision assistance avoidance, predicted and / or detected It may include controlling at least one of a steering operation, a braking operation, and an acceleration operation of the vehicle in order to prevent or correct lane departure assistance and / or to change a secondary lane determined by the driving program.
  • the driving assistance control signal is a signal for controlling the secondary driving operation of the vehicle so as to display driving assistance information generated by the driving assistance program indicating information on at least one of the steering operation, braking operation, and acceleration operation of the auxiliaryly controlled vehicle. Can be.
  • the autonomous driving program may be configured to generate a driving control signal, and the driving control signal controls the autonomous driving operation of the vehicle to control at least one of a steering operation, a braking operation, and an acceleration operation of the vehicle without auxiliary control by the driver. It can be a signal.
  • Generating a driving control signal includes performing any one or two or more of any combination of predicting an occluded object, determining a lane change, recognizing pedestrians, recognizing road changes, and recognizing road signs, and driving control based on the results of the performance And generating a signal.
  • One or more processors of the driving support terminal load one or more artificial intelligence models from the memory of the driving support system, any one or two or more of occluded object prediction, lane change determination, pedestrian recognition, road change recognition, and road sign recognition And one or more artificial intelligence processors configured to perform any combination and generate a driving control signal based on the results of the performance.
  • the one or more artificial intelligence processors may include one or more neuromorphic processors, and the one or more artificial intelligence models may be respective neural network models.
  • the one or more processors may be configured to perform post-processing on the acquired image information and / or other image information obtained by the driving support terminal model, and the one or more processors may include one or more artificial intelligence processors, and a driving program Executing at least a portion of may include executing one or more neural network models provided with post-processed acquired image information and / or other post-processed image information.
  • the one or more processors may be configured to perform post-processing on the acquired image information and / or other image information obtained by the driving assistance terminal model, and the one or more processors may include one or more artificial intelligence processors, and one or more The processor executes one or more neural network models using one or more artificial intelligence processors provided with post-processed acquired image information and / or other post-processed image information to post-processed acquired image information and / or other post-processed images. It may be configured to implement a navigation program using information.
  • the one or more processors are configured to be connected to a communication port to obtain driving information, and may be configured to acquire other image information from another camera separate from a vehicle communicating with the driving support terminal, and image information different from the obtained driving information It may be configured to execute at least a part of the driving program based on.
  • the one or more processors are configured to generate an image of the vehicle's periphery from other image information, and can be configured to provide the vehicle with an image of the vehicle's periphery for display by the vehicle.
  • the driving support terminal may include an OBD type connection terminal, and the driving support terminal is connected to a communication port using an OBD type connection terminal.
  • Image information may be obtained from the vehicle and / or other image information may be obtained from a camera separate from the vehicle, and one or more processors may use the image information and / or other image information and driving information to at least one of the navigation programs. It may be further configured to implement.
  • the driving support terminal may be connected to a communication port using a C type USB terminal connection.
  • the driving support terminal may include a memory for storing the driving assistance program and the autonomous driving program, and the one or more processors may include a neural processing unit that generates driving assistance information through execution of at least a part of the driving program.
  • the neural processing unit includes an image input receiver to which an image obtained from a camera system is input, an image preprocessor configured to extract a region of the image of interest from the image input to the image receiver, and a target recognition neural network model implemented to recognize a target from the image of interest And a driving assistance information generator configured to execute at least a part of the driving assistance program and / or the autonomous driving program on the recognized target.
  • the driving support system is a mobile device including a mobile device driving assistance program and / or a mobile device autonomous driving program based on image information and / or driving information to control the vehicle for one or more assisted driving and / or autonomous operation by the vehicle.
  • the apparatus may further include a mobile device having one or more processors configured to execute at least a portion of the device driving program, and the one or more processors of the mobile device or one or more processors of the driving support terminal may further include: Determine which of the driving assistance programs and the mobile device driving assistance programs is the highest ADAS level driving assistance program and / or which of the driving programs of the driving assistance terminal's autonomous driving program and the mobile device autonomous driving program has the highest ADAS level autonomous driving It is configured to determine whether the program, and may be configured to execute the highest ADAS level driving assistance program and / or the highest ADAS level autonomous driving program to control the vehicle for one or more assisted driving and / or autonomous operation by the vehicle. .
  • the driving assistance system is a mobile device driving system including a mobile device assistance program and / or a mobile device autonomous driving program based on images and / or driving information to control the vehicle for one or more assisted driving and / or autonomous operation by the vehicle.
  • the apparatus may further include a mobile device having one or more processors configured to execute at least a portion of the program, and the one or more processors of the mobile device or one or more processors of the driving support terminal may further include functions of a driving program of the driving support terminal and Perform a first determination as to which of the functions of the mobile device driving program has a higher function level, and determine a second determination as to which function of the driving program of the driving support terminal is not provided by the mobile device driving program May be configured to perform and / or perform a third determination as to which function of the mobile device driving program is not provided by the driving program of the driving support terminal, one or more assisted driving and / or autonomous operation by the vehicle
  • the driving program and the mobile device driving program of the driving support terminal are controlled by the driving support terminal or
  • a driving support method for interfacing with an individual vehicle including a camera system that generates image information of a vehicle's periphery, a vehicle controller that generates vehicle driving information, and a communication port includes: Connecting with the communication port to obtain image information and / or driving information using the communication port, one or more assisted driving and / or by the vehicle via a control signal generated by the driving support terminal or mobile device by the device
  • a control signal generated by the driving support terminal or mobile device by the device
  • at least a part of a device driving program including a driving assistance program and / or an autonomous driving program of a driving support terminal or mobile device as a device is executed.
  • providing a control signal generated to the vehicle to control the vehicle for one or more assisted driving and / or autonomous operation by the vehicle.
  • the method determines which of the driving assistance program of the device driving program and any vehicle driving assistance program among the driving programs configured to be implemented by the vehicle implements the generation of the control signal by the driving support terminal or the mobile device and / or the vehicle
  • the method may further include determining which of the driving program configured to be implemented by the autonomous driving program of the device driving program and any vehicle autonomous driving program implements the generation of the control signal by the driving support terminal or the mobile device.
  • the method further includes determining which of the respective functions of the device driving program and / or any vehicle driving program configured to be implemented by the vehicle is implemented for generating a control signal by the driving support terminal or the mobile device. Can be.
  • a driving support system for interfacing with an individual vehicle including a camera system that generates image information of a vehicle's periphery, a vehicle controller that generates vehicle driving information, and a communication port includes at least a mobile device driving program.
  • a smart phone having one or more processors configured to execute a portion, the mobile device driving program is configured to run the vehicle for one or more assisted driving and / or autonomous operation by the vehicle through control signals generated by the smartphone and provided to the vehicle. It includes a mobile device driving assistance program and / or a mobile device autonomous driving program based on image information and / or driving information for control and is stored in the included memory of the smartphone.
  • the vehicle controller may be configured to execute a vehicle driving program including a vehicle driving assistance program and / or a vehicle autonomous driving program stored in the vehicle memory to control the vehicle.
  • the one or more processors of the smartphone further determine which of the mobile device driving assistance program and vehicle driving program is the highest ADAS level driving assistance program and / or which of the mobile device autonomous driving program and vehicle autonomous driving program is the most Configured to determine whether it is a high ADAS level autonomous driving program, the highest ADAS level driving assistance program determined to control the vehicle for one or more assisted driving and / or autonomous operation by the vehicle, and / or the highest ADAS level autonomous driving program determined It can be configured to run.
  • the one or more processors of the smartphone further perform a first determination as to which function of the mobile device driving program has a higher function level than the corresponding function of the vehicle driving program, and which function of the mobile device driving program Configured to perform a second determination as to whether it is not provided by the vehicle driving program, and / or to perform a third determination as to which function of the vehicle driving program is not provided by the mobile device driving program,
  • the mobile device driving program and the vehicle driving program are smartphones based on any one or any combination of the first judgment, the second judgment, and the third judgment. By selectively implementing it as controlled by, it can be configured to control the implemented driving program by the vehicle.
  • the mobile device driving assistance program may be configured to generate driving assistance information for controlling the auxiliary driving operation of the vehicle in order to display driving assistance information.
  • the driving assistance information of the vehicle may include information instructing the driver to control at least one of a steering operation, a braking operation, and an acceleration operation of the vehicle.
  • the mobile device driving assistance program may be configured to generate a driving assistance control signal, and the driving assistance control signal may assist at least one of a steering operation, braking operation, and acceleration operation of the vehicle. It is a signal that controls the auxiliary driving operation of the vehicle to control.
  • Signals that control the vehicle's auxiliary driving motion to assist in controlling at least one of the vehicle's steering, braking, and acceleration actions include: detected obstacle assistance avoidance, detected rear collision assistance avoidance, predicted and / or detected It may include auxiliary control of at least one of a steering operation, a braking operation, and an acceleration operation of the vehicle in order to prevent or correct lane departure assistance and / or change a secondary lane determined by the mobile device driving program.
  • the driving assistance control signal controls the secondary driving operation of the vehicle so as to display driving assistance information generated by the mobile device driving assistance program indicating information on at least one of the steering, braking, and acceleration operations of the auxiliaryly controlled vehicle. It may be a signal.
  • the mobile device autonomous driving program can be configured to generate a driving control signal, and the driving control signal is at least one of a steering operation, braking operation, and acceleration operation of the vehicle without auxiliary control by the driver. It may be a signal that controls the autonomous driving operation of the vehicle to control one.
  • Generating a driving control signal includes performing any one or two or more of any combination of predicting an occluded object, determining a lane change, recognizing pedestrians, recognizing road changes, and recognizing road signs, and driving control based on the results of the performance And generating a signal.
  • One or more processors of the smartphone loads one or more artificial intelligence models from the memory of the smartphone, any one or two or more of occluded object prediction, lane change determination, pedestrian recognition, road change recognition and road sign recognition It may include one or more artificial intelligence processors configured to implement one or more artificial intelligence models to perform the combination, and generation of the driving control signal is based on the results of the performance.
  • the one or more artificial intelligence processors may include one or more neuromorphic processors, and the one or more artificial intelligence models may be respective neural network models.
  • the one or more processors are configured to acquire other image information from at least one camera connected to the communication port to obtain driving information, separated from the vehicle and communicating with the smartphone, and based on the obtained driving information and other image information Can be configured to execute at least a portion of the mobile device driving program.
  • At least one camera may include a camera included in a smartphone.
  • the one or more processors may be configured to generate an image of the periphery of the vehicle from other image information, and may be configured to provide the vehicle with an image generated for display by the vehicle.
  • a driving support system for interfacing with an individual vehicle including a camera system for generating image information of a periphery of a vehicle, a vehicle controller for generating driving information for a vehicle, and a communication port includes image information and / or driving Based on the information, the mobile device driving assistance program and / or the mobile device autonomous driving program is executed and at least a part of the mobile device driving program stored in the mobile device's memory is executed, and the vehicle is controlled through a control signal generated by the mobile device.
  • a mobile device including one or more processors configured to control a vehicle for one or more assisted driving and / or autonomous operation by and configured to be connected to a communication port to obtain image information and / or driving information using the communication port, And a driving support terminal including communication hardware configured to communicate the acquired image information and / or driving information to a mobile device, and to communicate the generated control signal to a vehicle, wherein the mobile device is detachably connected to the driving support terminal and It is separated from the driving support terminal and includes a computing function distinct from providing driving support.
  • the vehicle control device may be configured to execute a vehicle driving program including a vehicle driving assistance program and / or a vehicle autonomous driving program stored in the vehicle memory to control the vehicle.
  • the one or more processors of the mobile device further determine which of the mobile device driving assistance program and vehicle driving assistance program is the highest ADAS level driving assistance program and / or which of the mobile device autonomous driving program and vehicle autonomous driving program
  • the highest ADAS level is configured to determine whether it is an autonomous driving program, and the highest ADAS level driving assistance program and / or the highest ADAS level determined to control the vehicle for one or more assisted driving and / or autonomous operation by the vehicle. It can be configured to execute an autonomous driving program.
  • the one or more processors of the mobile device further perform a first determination as to which function of the driving program of the mobile device has a higher functional level than the corresponding function of the vehicle driving program, and which of the mobile device driving program
  • the vehicle is configured to perform a second determination as to whether a function is not provided by the vehicle driving program, and / or to perform a third determination as to which function of the vehicle driving program is not provided by the mobile device driving program, Selecting the mobile device driving program and the vehicle driving program based on any one or any combination of the first determination, the second determination, and the third determination to control the vehicle for one or more assisted driving and / or autonomous operation by the
  • it may be configured to control the implemented driving program by the vehicle, by the control of the mobile device.
  • the mobile device can be a smartphone.
  • the driving support terminal may further include a wireless power transmission module and a physical support, and the wireless power transmission module transmits wireless power to a mobile device that may further have a mobile wireless power module configured to receive at least wirelessly transmitted power. It can be configured in the physical support to provide.
  • the driving support terminal uses the driving support terminal driving assistance program and / or the driving support terminal autonomous driving program based on the image and / or driving information to control the vehicle for one or more auxiliary driving and / or autonomous operation by the vehicle. It may include one or more processors configured to execute at least a portion of the driving support terminal driving program including.
  • the driving support terminal receives a control signal from a mobile device and controls to be provided to the vehicle controller through a controller area network (CAN) of the vehicle for control of the vehicle for one or more auxiliary driving and / or autonomous operation by the vehicle It can be configured to provide a signal to a communication port.
  • CAN controller area network
  • the mobile device driving assistance program may be configured to generate driving assistance information to assist in controlling the secondary driving operation of the vehicle to display driving assistance information.
  • the driving assistance information of the vehicle may include information instructing the driver to control at least one of a steering operation, a braking operation, and an acceleration operation of the vehicle.
  • Instructing the driver to instruct the driver to perform warning and / or corresponding obstacle avoidance steering and / or braking for obstacle detection, providing a rear collision warning, and driving the corresponding rear collision avoidance braking May include instructing the driver, providing a lane departure warning, instructing the driver to perform a corresponding lane departure correction or maintenance steering, and / or instructing the driver of the proposed lane change determined by the driving program. have.
  • the mobile device driving assistance program may be configured to generate a driving support control signal, and the driving support control signal assists at least one of steering, braking, and acceleration operations of the vehicle. It may be a signal that controls the auxiliary driving operation of the vehicle in order to control.
  • Signals that control the vehicle's auxiliary driving motion to assist in controlling at least one of the vehicle's steering, braking, and acceleration actions include: detected obstacle assistance avoidance, detected rear collision assistance avoidance, predicted and / or detected
  • it may include controlling at least one of a steering operation, a braking operation, and an acceleration operation of the vehicle.
  • the driving assistance control signal controls the secondary driving operation of the vehicle so as to display driving assistance information generated by the mobile device driving assistance program indicating information on at least one of the steering, braking, and acceleration operations of the auxiliaryly controlled vehicle. It may be a signal.
  • the mobile device autonomous driving program can be configured to generate a driving control signal, the driving control signal being at least one of the steering, braking and acceleration operations of the vehicle without auxiliary control by the driver. It may be a signal that controls the autonomous driving operation of the vehicle to control one.
  • Generating a driving control signal includes performing any one or two or more of any combination of predicting an occluded object, determining a lane change, recognizing pedestrians, recognizing road changes, and recognizing road signs, and driving control based on the results of the performance And generating a signal.
  • the one or more processors of the mobile device load one or more artificial intelligence models from the memory of the mobile device, any one or two or more of occluded object prediction, lane change determination, pedestrian recognition, road change recognition and road sign recognition. It may include one or more artificial intelligence processors configured to implement one or more artificial intelligence models to perform the combination, and generation of the driving control signal is based on the results of the performance.
  • the one or more artificial intelligence processors may include one or more neuromorphic processors, and the one or more artificial intelligence models may be respective neural network models.
  • the one or more processors generate mobile device image information including an image of a peripheral portion of the vehicle based on image information obtained by the mobile device or other image information, and based on the generated mobile device image information. It may be configured to execute at least a part and / or to execute a navigation program based on the generated mobile device image information.
  • FIG. 1 is a block diagram illustrating a driving assistance system according to one or more embodiments.
  • FIG. 2 is a block diagram illustrating a driving assistance system according to one or more embodiments.
  • FIG. 3 is a block diagram illustrating a driving assistance system according to one or more embodiments.
  • 4 and 5 are block diagrams illustrating a driving assistance system according to one or more embodiments.
  • FIG. 6 is a block diagram illustrating a driving assistance system according to one or more embodiments.
  • FIG. 7 is a block diagram illustrating a driving assistance system according to one or more embodiments.
  • FIG. 8 is a block diagram illustrating a driving assistance system according to one or more embodiments.
  • FIG. 9 is a diagram illustrating a connection relationship between a driving support terminal and a controller of a vehicle according to one or more embodiments.
  • FIG. 10 is a perspective view illustrating a driving assistance system according to one or more embodiments.
  • FIG. 11 is a block diagram illustrating an implementation of a driving program using an NPU according to one or more embodiments.
  • 12A and 12B are cross-sectional and plan views, respectively, showing a driving assistance system according to one or more embodiments.
  • FIG. 13 is a block diagram showing a driving support system according to an embodiment of the present invention.
  • 16 and 17 are diagrams provided to explain the control operation of the camera unit by the artificial intelligence processor of the present invention.
  • first or second may be used to describe various components, but components are not limited to these terms. These terms should only be used to distinguish one component from another component.
  • a “first” component may be referred to as a “second” component, or similarly, a “second” component is referred to as a “first” component within the scope of rights according to the concepts of the present disclosure. Can be.
  • FIG. 1 is a block diagram illustrating a driving assistance system according to one or more embodiments.
  • the driving support system may include a camera unit 110, a vehicle control unit 120, a telematics control unit 130, a communication port 140, and a driving support terminal 200.
  • the camera unit 110, the vehicle control unit 120, the telematics control unit 130 and the communication port 140 may be components within the vehicle 100, such as those installed during manufacture of the vehicle 100.
  • the driving support terminal 200 can then be a hardware component that can be selectively connected to the vehicle, for example discussed below to enable communication with the driving support terminal 200 and / or the vehicle control unit 120 Connections for additional devices, such as connections and / or physical supports for examples of mobile devices 300, or connections and physical supports may be provided.
  • the vehicle control unit 120, the telematics control unit 130, the communication port 140 and the driving support terminal 200 may be each hardware or component, for example, each device or component is hardware By itself, it may be composed of hardware (eg, one or more processors) configured through execution of computer-based instructions, or a combination of hardware and hardware configured through execution of computer-based instructions, for example, As described further below, such instructions, when executed by such one or more processors, may cause one or more processors to implement any one, any combination, or any operation or method of individual devices or components described herein. It may be a composing command. Further, there are examples in which a device or component is individually identified, but each function thereof is collectively implemented by a single device or component, or each function is variously combined in any combination in two or more different devices or components. do.
  • the camera unit 110 may be mounted on a vehicle, and photograph an external area surrounding the vehicle.
  • the camera unit 110 may include one or more cameras, and may generate an image of the periphery of the vehicle.
  • the camera unit 110 may include, for example, four cameras, photograph a front area, a lateral area, and a back area of the vehicle, and generate an image of the periphery of the vehicle.
  • the camera unit 110 may provide the generated image to the communication port 140.
  • camera unit 110 may also be used with one or more cameras, for example, to reduce noise, normalize captured images, or availability from communication port 140 or vehicle control unit 120, or A driving assistance terminal 200 (and / or, for example, a neuromorphic processing unit / processor included in the driving assistance terminal 200 (and / or mobile device 300) for transmission to and from the example.
  • a driving assistance terminal 200 and / or, for example, a neuromorphic processing unit / processor included in the driving assistance terminal 200 (and / or mobile device 300) for transmission to and from the example.
  • AI artificial intelligence
  • processors which may be configured to perform pre-processing on the captured image, such as performing image processing on the captured image or image information, or one or more processors, for example, represented by a driving assistance terminal.
  • the CPU and / or GPU or processor represented by the mobile device 300 extracts features from the provided image information, such as, by way of non-limiting example, through a series of convolutional layers followed by a series of feed forward layers.
  • a trained neural network system that can be trained to recognize an object or target, and can be further configured to generate control signal output based on these extracted features, e.g., through additional trained layers of the neural network system. , It is configured to implement these artificial intelligence models.
  • one or more of these image pre-processing operations may additionally or alternatively be performed by the data processing module 150.
  • the vehicle control unit 120 may include an electronic control unit 121 and a body control module 122 and control overall operation of the vehicle.
  • the electronic control unit 121 may generate driving information including driving information and operation information of the vehicle, and may control the engine of the vehicle according to the generated driving information and operation information.
  • the vehicle includes an electronic control unit 121 to adjust acceleration and / or braking in a state near or below zero, a speed sensor, a steering sensor, a braking sensor, an acceleration sensor, a roll sensor, various driving component position or value display sensors.
  • Exemplary temperature sensor capable of generating temperature information considered by, or corresponding information considered by electronic control unit 121 to adjust acceleration and / or braking similarly in a determined wet or wet road environment. It may include one or more sensors for sensing the driving state and the operating state of the vehicle, such as an exemplary moisture or humidity sensor for generating.
  • the electronic control unit 121 may generate driving information and operation information of the vehicle from outputting such exemplary sensed values of one or more sensors.
  • the electronic control unit 121 may include a plurality of management modules, that is, a processor or computing hardware, and may manage sensed values output from sensors of the same type through an exemplary single management module.
  • a plurality of cameras of the camera unit 110 may be sensors for photographing the periphery of the vehicle, and in this case, the electronic control unit 121 may have a plurality of camera units 110 through the first management module.
  • An image of the camera can be managed, and information or signals from environmental sensors such as temperature or humidity sensors can be managed by the second management module, and each management module is configured to process corresponding received sensor information and ,
  • environmental sensors such as temperature or humidity sensors
  • each management module is configured to process corresponding received sensor information and
  • various other types of vehicles such as the above-described artificial intelligence components and / or models implemented by the electronic control unit 121 and / or meter clusters for notification of more information to the driver, for example. It is configured to perform various processing on sensor data for provision to components.
  • the electronic control unit 121 may enable or provide the generated driving information and driving information to the communication port 140, and also, as a non-limiting example, any corresponding control for information / information Electronic control unit 121 may be performing via control of the vehicle, including signals, driving assistance information and control and / or autonomous driving control, or configured to be performed by electronic control unit 141 for vehicle control
  • the communication port 140 may enable or provide other information regarding the control signal generation. Accordingly, the electronic control unit 121 may be provided with current information, assistance and / or autonomy of the driving program included in the vehicle 100, for example, by the driving support terminal 200 and / or the mobile device 300.
  • such information, assistance and / or autonomous feature or function of a driving program included in the vehicle 100 for example, as originally embedded in the electronic control unit 121 at the time of manufacture May use or provide information (and / or may be requested by the driving assistance terminal 200 and / or the mobile device 300), and one of the driving assistance terminal 200 and / or the mobile device 300 Or both complement or replace this existing driving programming of the electronic control unit 121 using, for example, driving program (s) implemented by the driving support terminal 200 and / or the mobile device 300. You can decide if you want to do it, or you can choose its function.
  • the driving program of the driving support terminal 200 and / or the mobile device 300 For consideration by the driving program of the driving support terminal 200 and / or the mobile device 300, the position or alignment of each position and / or configuration or characteristic of the camera or camera system of the camera unit 110 The registration information and / or program information or other information with each respective FOV can likewise be used by or provided to the communication port 140.
  • the driving support terminal 200 and / or the mobile device 300 acquires such various vehicle specific information for proper prediction and use of information provided by each camera of the camera unit 110 of the vehicle 100 It can be configured to communicate with a remote server.
  • the driving support terminal 200 and / or the mobile device 300 may be, for example, detected tire pressure or a non-OEM tire make and model and size indicated by the user, or other post-manufactured suspension modifications or by the user. Additional variables such as other change information that can be input or detected by the driving support terminal 200 and / or the mobile device 300 may be considered using information from the camera unit 110.
  • the driving support terminal 200 and / or the mobile device 300 may also, for example, physically support the configuration of the driving support terminal 200. And based on the location setting of the mobile device 300 in contact with the driving support terminal 200, it may have a predetermined relative position relationship.
  • the user can input the manufacturer and model of the mobile device 300 in the user interface of the driving support terminal 200 and / or the mobile device 300, or the driving support terminal 200 is simply a mobile device 300 ), Or the mobile device 300, likewise, one or more of the mobile device 300 as an additional camera for consideration by the driving support terminal 200 and / or the driving program of the mobile device 300. You can identify it yourself to register the camera's location. In addition, information about any case or skin of the mobile device 300 may be determined or similarly input by the user.
  • the driving assistance terminal 200 is positioned relative to the vehicle 100 based on information received from one or more cameras of the mobile device 300 and information from the camera unit 110.
  • Such location setting information may be input to the user interface of the driving support terminal 200 and / or the mobile device 300.
  • the communication port 140 may include an on-board diagnostics (OBD) port.
  • OBD on-board diagnostics
  • the OBD port may be provided in or near the vehicle's console, and passengers for connection to external devices such as conventional code readers used by mechanics to diagnose mechanical or electrical defects or problems in various components of the vehicle Or the driver can access it.
  • the communication port 140 can communicate with these external devices connected to the communication port 140 and components of the vehicle via controller area network (CAN) communication, or these external devices connected to the communication port 140 as shown. And a corresponding CAN network connecting the components of the vehicle, so that external devices can receive and / or transmit information directly to / from these components using the CAN network.
  • CAN controller area network
  • a CAN network may have multiple wiring or communication channels previously required between components in a vehicle to provide or transmit different information because different information may be provided or available using the same communication channel in this example.
  • the CAN network can provide multiple serial communications using the same communication channel so that it is no longer needed.
  • the communication port 140 may connect the camera unit 110, the electronic control unit 121, and the telematics control unit 130 through a CAN network.
  • the body control module 122 may control elements included in the body of the vehicle.
  • the body control module 122 may control a wiper, light, electric seat, sunroof, air conditioning system, and the like.
  • the telematics control unit 130 may include a wireless communication module, and may perform wireless communication with one or more external devices outside the vehicle.
  • the telematics control unit 130 may be configured to perform mobile communication, Wi-Fi communication, Bluetooth communication, or short-range or long-distance communication, as a non-limiting example.
  • the telematics control unit 130 may receive external environment information of the vehicle through mobile communication, provide external environment information received by the driving support terminal 200 through Wi-Fi communication, or the driving support terminal 200 ) (Or, for example, the mobile device 300) may request and receive the received external environment information.
  • the telematics control unit 130 may be configured to provide an alternative communication channel with the communication port 140 as an alternative to, for example, the OBD port, thus driving support terminal 200 (and / or
  • the mobile device 300 may interface with the electronic control unit 121 or other components of the vehicle through a CAN network.
  • the driving support terminal 200 may be connected to the communication port 140, the driving information and operation information of the vehicle generated by the electronic control unit 121 and the image captured by the camera unit 110 or these captured The aforementioned pre-processed image information of the image can be obtained.
  • the driving support terminal 200 may serve as a communication mediator or translation / translation between the aforementioned mobile device 300 and the communication port 140.
  • the driving support terminal 200 may include a first communication terminal (Type_OBD) configured to be paired with the communication port 140.
  • the first communication terminal (Type_OBD) may have an OBD type connection terminal.
  • the driving support terminal 200 may additionally or alternatively receive external environment information from the telematics control unit 130 and establish a communication channel between the telematics control unit 130 and the communication port 140. You can access the CAN network through.
  • the driving support terminal 200 and the telematics control unit 130 may transmit and receive data to and from each other through respective Wi-Fi communication modules.
  • the driving support terminal 200 also includes, for example, a communication module that provides mobile communication or other remote network wireless communication, and requests external environment information from a remote server in the example below or the mobile device of the present example. This can be requested from 300, and the mobile device 300 includes such a communication module.
  • the term module refers to a hardware component.
  • the function of the telematics control unit 130 may be implemented by corresponding hardware of the communication port 140, and the driving support terminal 200 directly communicates with the communication port 140 through such Wi-Fi communication. Can be connected.
  • the driving support terminal 200 may be connected to the communication port 140, obtain driving information and operation information of the vehicle, and / or image information generated by the camera unit 110 Alternatively, note that the corresponding pre-processed image information can be obtained, and examples are not limited thereto.
  • the Wi-Fi communication module (s) can be provided in the camera unit 110, for example in a corresponding management module or in each camera, and in the communication port 140.
  • the driving support terminal 200 may perform wireless communication with the camera unit 110 and the communication port 140, and may obtain driving information and operation information of the vehicle and various image information. .
  • the camera unit 110 represents one or more cameras and / or camera systems, and by way of non-limiting example, the driving assistance system is further supported by the vehicle 100 in some examples, or the vehicle 100 ) Is selectively mounted, or is mounted in or on the vehicle 100, connected to the driving support terminal 200 or the mobile device 300 by wire, or the driving support terminal 200 and / or the mobile device 300.
  • the driving assistance system may further include one or more cameras of the mobile device 300 of the above-described example that can be wirelessly connected to.
  • additional camera (s) may be operated via a USB wire and a connector of the driving support terminal 200 or the mobile device 300, or as a non-limiting example, or through a peripheral device connector of the mobile device 300. It may be connected to the support terminal 200 or the mobile device 300.
  • the driving support terminal 200 is, in various examples, a driving program that provides information of different levels, a driving information and / or autonomous and / or program that provides different information, assistance and / or autonomous functions within the same level of autonomy It is configured to store at least one driving program including, to generate a variety of driving support information and / or driving control signals for exemplary levels of autonomous driving control, the camera unit 110, a corresponding management module, electronic Various available image information obtained from and / or obtained from the control unit 121 or otherwise accessed through, for example, a CAN network through the communication port 140, and, for example, CAN through the communication port 140 It is possible to variously consider the above-mentioned sensor information, vehicle driving information and operation information obtained from the network, and the aforementioned external environment information that can be obtained from the telematics control unit 130.
  • the driving support terminal 200 is provided to and / or hearing a communication port 140 that can interface with a CAN network to deliver each different information to the central information display unit of the vehicle, the instrument cluster to provide the information to the driver.
  • This information and / or driving control signal can be provided / transmitted via a sound generator for enemy indication, and braking control to the electronic braking controller, for example to activate the brake with a controlled intensity (or to reduce its application).
  • Electronic steering controller to transmit signals, to control the accelerator or to control the throttle, to send accelerator control signals to the electronic accelerator controller and to control the degree and / or speed of changes to steering or the management of current steering control.
  • the electronic control unit 121 or a corresponding controlled component may be interfaced similarly to a CAN network in order to transmit each driving control signal.
  • the driving control signals can be communicated to separate controllers of different wheel motors, brakes and steering systems.
  • corresponding stored driving programs are based on additional information from the one or more battery modules, for example, in order to maximize the battery life or charging of the one or more battery modules. And / or perform other autonomous control functions.
  • the mobile device 300 discussed below similarly, stores this driving program, directly or by using the driving assistance terminal 200 as an intermediary or translator with the vehicle, and stores this information and / Or generate a driving control signal can be provided / transmitted to the communication port 140 or the telematics control unit 130, for example, the mobile device 300 to generate the corresponding information and / or control signal Provide / transmit the coding of the command to the driving support terminal 200, or the mobile device 300 generates / generates this information and / or control signal and provides / transmits this information and / or control signal to the communication port 140 Provided / transmitted to the driving support terminal 200.
  • the driving support terminal 200 may drive, for example.
  • a communication protocol between the support terminal 200 and the mobile device 300 receives this command coding, generates information and / or control signals in a format compatible with the CAN communication protocol of the CAN network, and generates the communication port ( 140).
  • the mobile device 300 may alternatively generate and provide information and / or control signals as a communication protocol between the driving support terminal 200 and the mobile device, and the driving support terminal 200 may It simply converts information and / or control signals in a form and format compatible with the CAN network, and provides / transmits them to the communication port 140.
  • the driving support terminal 200 may provide various advanced driving support functions to the vehicle according to, for example, a driving program stored in the driving support terminal 200 (and / or stored in the mobile device 300). Thereby, it provides, for example, an advanced driver assistance system (ADAS).
  • ADAS advanced driver assistance system
  • the driving support terminal 200 in any example of the present specification may provide this advanced driving support function of a predetermined level defined in the ADAS standard. For example, during the SAE level of 0 to 2, according to the defined level of 0 to 5 of SAE J3016 from SAE International, which was initially established as the Society of Automotive Engineers, the driver's foot does not pedal. Even when the driver is not steered, the driver must constantly supervise the support features and steer, brake, or accelerate as necessary to maintain safety, so whenever a driver has multiple driver assistance features implemented or engaged Drive.
  • exemplary driver assistance features that may be involved include, by way of non-limiting examples, automatic emergency braking, blind spot warning and lane departure warning, and these features are limited to warning and temporary assistance.
  • driver assistance features that may be engaged may further include lane centering or adaptive cruise control, which features provide steering or braking / acceleration assistance to the driver, thereby
  • SAE level 2 automated driving features simultaneously provide lane centering and adaptive cruise control, and these features provide steering and braking / acceleration assistance to the driver.
  • SAE level of 0 to 2 the vehicle provides driver assistance features
  • SAE level of 3 to 5 is considered to provide the vehicle with automated driving features.
  • exemplary automated driving features include, by way of non-limiting example, traffic jam chauffeurs, and automated driving features of SAE level 4, also non-limiting examples As an illustrative example, and may or may not have a pedal / steering wheel installed, includes a local driverless taxi.
  • the automated driving feature can drive the vehicle under limited conditions and will not work unless all necessary conditions are met.
  • Automated Driving Features of SAE Level 5 All automated driving features of SAE Level 4 can be included, but the automated driving features can operate anywhere under all conditions.
  • SAE level 0 'non-automatic'
  • SAE level 1 called 'driver assistance'
  • SAE level 2 called 'partial automatic'
  • SAE level 3 called 'conditional automatic'
  • SAE level 4 called 'high level automatic'
  • SAE level 5 called 'full automatic'
  • ASDA standards An example of the exemplary ADAS standard described above is SAE J3016 from SAE, but the examples are not so limited. However, for the sake of simplicity below, these various available ADAS standards will collectively be referred to simply as ASDA standards.
  • the driving support terminal 200 may be configured to provide an advanced driving support function according to the driving program stored in the driving support terminal 200 (or the mobile device 300 in FIGS. 4 to 6).
  • the driving support terminal 200 (and / or the mobile device 300) may have different memory and processing capabilities, and in one such example, the driving support terminal 200 may be second or lower.
  • the driving program that provides the advanced driving support function corresponding to the ADAS level is limited to implement or execute, and the processing module of the driving support terminal 200 is 8 GB / 512 bit high bandwidth memory (HBM) It may include a size of 65X65 mm, a processing speed of 10 peta floating point operations per second (10 TFLOPS), and a power consumption level of 4 watts or less.
  • HBM high bandwidth memory
  • this exemplary driving support terminal 200 (and / or mobile device 300) is, by way of non-limiting example, a forward collusion warning (FCW) function, lane departure warning (lane) departure warning (LDW)) function, lane keeping assist (LKA) function, blind spot warning (BSW) function, adaptive cruise control (ACC) function, driving road It can be pre-restricted to driving programs that provide advanced driving assistance features at level 2 and below, ie not higher than level 2, which may include recognition, traffic signal recognition, and the like.
  • FCW forward collusion warning
  • LGW lane departure warning
  • LKA lane keeping assist
  • BSW blind spot warning
  • ACC adaptive cruise control
  • the driving support terminal 200 (and / or the mobile device 300) is a driving support terminal 200 for implementing or executing a driving program that provides an advanced driving support function of a third level or higher.
  • the processing module of the driving support terminal 200 may include a high bandwidth memory (HBM) of 32 GB / 1024 bits, a size of 180X120 mm, and It can have a processing speed of 100 peta floating point lead (10 TFLOPS) and a power consumption level of 6 W or less.
  • HBM high bandwidth memory
  • TFLOPS floating point lead
  • such an exemplary driving support terminal 200 includes a closed object prediction function, a lane change determination function, a pedestrian recognition function, a road change recognition function, and a road sign recognition function. It may be pre-restricted to a driving program that provides advanced driving assistance at a third level or higher specified in the ADAS standard, which may include, for example. Instead, in one example, using this exemplary memory and processing configuration or an exemplary memory and processing configuration with greater memory and processing power, the driving support terminal 200 (and / or mobile device 300) may The driving program can be pre-restricted with respect to what can be executed or implemented, and thus any driving program corresponding to any of the 0 to 5 levels of the ADAS standard can be implemented.
  • the driving support terminal 200 may include a driving program that may include a driving assistance program and / or an autonomous driving program.
  • the driving support terminal 200 (or mobile device 300), for example, because of the lower memory and processing power of the above-described example, to provide advanced driving support functions below the second level of the ADAS standard
  • the driving support terminal 200 (and / or the mobile device 300) may include only the driving assistance program.
  • the driving support terminal 200 (or mobile device 300) has a greater memory and processing capability, and is pre-limited to providing advanced driving support at a third or higher level of the ADAS standard, or ,
  • the driving program that the driving support terminal 200 can implement is one of the driving assistance program and the autonomous driving program, or Both can be included.
  • the driving support terminal 200 has such a larger memory and processing capability, and may implement functions of both the driving assistance program and the autonomous driving program as described to facilitate the description.
  • the electronic control unit 121 may include such a memory and processing configuration with exemplary smaller memory and processing power to provide advanced driving support functions at a second level or lower level of the ADAS standard.
  • the driving support terminal 200 (and / or the mobile device 300) has a larger memory and processing function of at least a third level or higher level of the ADAS standard, and either or both of the driving assistance program and the autonomous driving program It may include.
  • the driving support terminal 200 may request or otherwise obtain information about driving information, assistance, and control capabilities of the electronic control unit 121, for example, to user control Information of the electronic control unit 121 based on the comparison of the function of the driving program of the driving support terminal 200 (or the mobile device 300) with the function of the driving program of the electronic control unit 121, based on or automatically.
  • the auxiliary and / or control function may be selectively substituted or supplemented, and the driving program function of the driving support terminal 200 (and / or the mobile device 300) may be at a higher ADAS level or the electronic control unit 121 If additional or more functions or features are provided compared to the corresponding functions of the driving program, such functions of the electronic control unit 121 may include information and / or control signals of the driving support terminal 200 (or mobile device 300).
  • the driving program of the electronic control unit 121 provides the same beneficial or auxiliary function as the driving program of the driving support terminal 200, but does not provide an autonomous driving program, and the driving support terminal 200 (and / or If the driving program of the mobile device 300 includes an autonomous driving program, the driving program of the electronic control unit 121 is replaced with an autonomous driving program of the driving program of the driving support terminal 200 (or the mobile device 300). Can be.
  • the driving support terminal 200 includes image information provided from the camera unit 110 (or, for example, the pre-processed image information described above from the corresponding management module), communication port ( 140) driving assistance program and autonomy capable of generating various driving support information and / or driving control signals by considering the driving information and operation information of the vehicle obtained from 140 and external environment information obtained from the telematics control unit 130, respectively
  • a driving program including a driving program can be applied.
  • the driving assistance program and the autonomous driving program may include one or more AI models, for example, through the implementation of a neural network or other machine learning implementation.
  • the driving assistance program and the autonomous driving program are trained to output information considered by both the driving assistance program and the autonomous driving program for each different function, or are provided by, for example, the driving assistance program
  • the function can be performed based on the first characteristic of the object in the image and the corresponding resulting aspect, probability, classification, etc.
  • the autonomous driving program is based on the second characteristic of the object in the image and the corresponding resulting aspect, probability, classification, etc.
  • image information is input to the first layer of the neural network, and then, depending on the task to be achieved of the neural network model during training of the model and the functions performed according to the results of the neural network model, It may include a series of convolutional neural networks for feature extraction that can be followed by multiple feed-forward neural network layers or other repeated and bi-directionally repeated long-short term memory (LSTM) layers.
  • LSTM long-short term memory
  • these neural network models may also be utilized for multiple functions, and multiple such neural network models may be collectively utilized for a single function. Note that although the examples are discussed above with respect to artificial intelligence models having various neural network configurations, other neural network configurations and other machine learning models are also available, and the examples are not limited to the examples herein.
  • the driving support terminal 200 may detect a peripheral obstacle by implementing a corresponding artificial intelligence model that can recognize the distance to the detected peripheral obstacle as a non-limiting example. have.
  • the driving assistance terminal 200 may provide a collision warning
  • the artificial intelligence model also automatically implements emergency braking. So it can be trained to generate a control signal in this situation, or such signal can be generated based on a decision to issue a collision warning.
  • the artificial intelligence model can alternatively be trained to generate control signals for such emergency braking when the recognized distance is shorter than the shorter reference distance and / or based on other considered factors.
  • the driving support terminal 200 may detect whether the vehicle has deviated from the lane, for example, using the same or different artificial intelligence model, and when the vehicle has deviated from the lane, the driving assistance terminal 200 may warn of departure Either it may be determined to provide, or an exit warning may be automatically issued by the judgment of the artificial intelligence model, and similarly, the artificial intelligence model may simultaneously issue an auxiliary driving control signal or according to the determined larger lane departure. It can be trained to issue an auxiliary driving control signal.
  • the driving support terminal 200 in order to support the user's driving, for example, through the connected layer or LSTM layer that is repeated or repeated in both directions or similar functional components of the artificial intelligence model, detects the future moving path of the pedestrian.
  • the artificial intelligence model is designed to avoid obstacles, that is, predicted future It may be trained to issue a control signal to control steering, acceleration and / or braking to avoid pedestrians and thus predicted future pedestrians, or such avoidance may be driven by the driving assistance terminal 200 It can be controlled by a program.
  • the driving support terminal 200 can similarly support the function of maintaining and changing lanes through the same or each artificial intelligence model, thereby controlling the electronic control unit 121 to control suitable driving components of the vehicle. In order to do so, it is possible to issue driving control signals to the electronic control unit 121 or directly transmit these driving control signals to a controlled driving component of a vehicle to support driving on lane-free intersections, general roads, and offroads.
  • the driving support terminal 200 may determine the indication of the vehicle's failure using the vehicle's operation information, and may present the cause and solution of the failure to the user.
  • the driving support terminal 200 (and / or the mobile device 300) has a body control module 122 based on an internal temperature greater than the first threshold while the external temperature is greater than the second threshold.
  • the body control module 122 may be controlled based on external environment information.
  • the driving support terminal 200 (and / or the mobile device 300) can be controlled to display a preferred place in the vehicle's current driving route according to predetermined user information, and preference It presents a display and user interface that can provide an analysis of the price and reservation service of a place and / or control its display for the information display system of the vehicle 100.
  • various examples have been discussed with respect to the performance and operation of the driving support terminal 200 and the mobile device 300 with respect to the driving program that can be stored in the driving support terminal 200 and the mobile device 300.
  • the driving support terminal 200 physically supports the mobile device 300, for example, wireless charging communication, Bluetooth, Wi-Fi Or through the USB standard of USB cabling or other private connection therebetween, when communicating with the electronic control unit 121, the driving assistance terminal 200 and the mobile device 300, the driving assistance program and / or autonomous driving Providing the highest ADAS level functionality and / or additional or larger features between programs can be, for example, selected by the user or automatically, any selection and / or other automatically selected highest / largest Information and auxiliary functions and / or autonomous driving control functions may ultimately be provided, for example, unselected information and auxiliary functions and / or autonomous driving control functions are not provided.
  • each score for a function in the driving program such that a function in one driving program having a higher score than the corresponding function in another driving program can be considered to have the highest or largest function. Grants can be determined.
  • the driving support terminal 200 may have an exemplary lower-level memory and processing power processor configuration limited in advance for zeroth to second ADAS levels
  • the mobile device 300 Can have a higher memory and processing power processor configuration and can be pre-limited to third to fifth ADAS levels, so that different memory / processing configurations can be performed in parallel or concurrently with its corresponding driving program, thus All levels of driving assistance and autonomous control may be provided using, for example, a driving support terminal 200 implementing an auxiliary driving program and a mobile device 300 implementing an autonomous driving program, and provided information and assistance
  • corresponding information and control signals are obtained from the driving support terminal 200 (or directly from the mobile device 300 or the mobile device ( 300) (via the driving support terminal 200) is provided to
  • the driving support terminal 200 when the driving support terminal 200 does not store a driving program or stores a driving program having only low-level information or an auxiliary function, driving assistance of a higher or larger function of the driving program of the mobile device 300 Only the program and the autonomous driving program can be implemented, and the driving support terminal 200 only receives, for example, the above-described coded control information and communicates it to the electronic control unit 121 or a component of the vehicle.
  • the driving support terminal 200 can act as a mediator or translator to convert to a format and format compatible with the CAN network, or simply for communication to the electronic control unit 121 or for direct control of components of the vehicle.
  • the driving assistance terminal 200 may not include processing power to implement any driving program, only the mediator function and, for example, through wireless charging, the mobile device 300 It can perform only the charging function with.
  • FIG. 2 is a block diagram illustrating a driving assistance system according to one or more embodiments.
  • the driving support system in FIG. 2 may be similar to the driving support system shown in FIG. 1, so the overlapping description will not be repeated and differences will be described.
  • the driving support system may further include a data processing module 150.
  • the data processing module 150 may be a hardware component included in the vehicle 100.
  • the camera unit 110 may provide the acquired image to the data processing module 150.
  • the camera unit 110 may provide the generated image signal to the data processing module 150 through a low voltage differential signaling (LVDS) interface.
  • LVDS low voltage differential signaling
  • the data processing module 150 may be connected to the communication port 140 and obtain driving information and operation information.
  • the communication port 140 and the data processing module 150 may be connected to each other via a CAN network, and the examples herein use CAN communication protocols to connect between components in a vehicle provided by this CAN network. , But note that the examples are not so limited.
  • the data processing module 150 may process an image provided from the camera unit 110 using, for example, driving information and motion information.
  • the data processing module 150 when the data processing module 150 is implemented as a navigation device used in a vehicle, the data processing module 150 may include a navigation program, and the data processing module 150 generates post-processing data To this end, the navigation program may be applied to images provided from the camera unit 110 and driving information provided from the electronic control unit 121. The data processing module 150 may output post-processing data through a vehicle display and a speaker.
  • the data processing module 150 when the data processing module 150 includes the driving assistance program, the data processing module 150 applies the driving assistance program to the image provided from the camera unit 110 and the driving information provided from the electronic control unit 121. It can be applied and can generate post-processing data.
  • the data processing module 150 may enable the communication port 140 to use the generated post-processing data or provide it to the communication port 140, and provide an image provided from the camera unit 110 to the communication port 140 Can be used or provided to the communication port 140
  • the driving support terminal 200 may acquire or receive image and / or post-processing data through the communication port 140.
  • the driving support terminal 200 may determine whether to apply the driving program stored in the driving support terminal 200 according to, for example, post-processing data generated by the data processing module 150.
  • the driving support terminal 200 drives the received data to the driving support terminal 200 ), For example, a corresponding driving assist program and an autonomous driving program of the driving program can be applied.
  • the driving assistance terminal 200 when the driving assistance program is applied to the post-processing data provided from the data processing module 150 by the vehicle 100, for example, by the electronic control unit 121, the driving assistance terminal 200 is received. Only the autonomous driving program of the driving program of the driving support terminal 200 may be applied to the data. In other words, when the driving assistance program is applied to the post-processing data by the vehicle, the driving assistance terminal 200 in one example autonomously drives the received data without applying the driving assistance program so that system resources can be used efficiently. Only programs can be applied.
  • the driving assistance terminal 200 can compare the driving assistance program of the data processing module 150 with the driving assistance program of the driving assistance terminal 200, and the driving assistance terminal 200 )
  • the driving assistance terminal 200 processes the driving assistance program of the data processing module 150 applied Independently of the received image data
  • the driving assistance program may be applied to the received data, for example, the received image or the processed image data.
  • the driving support terminal 200 also predetermines this difference in function, and does not implement the driving assistance program of the data processing module 150, but only the image processed by the data processing module 150 and Or, it is possible to provide a command or control signal to the data processing module 150 to forward only image data.
  • FIG. 3 is a block diagram illustrating a driving assistance system according to one or more embodiments.
  • the driving support system in FIG. 3 may be similar to the driving support system shown in FIG. 2, so that overlapping description will not be repeated, and differences will be described.
  • the driving support terminal 200 may be directly connected to the communication port 140.
  • the driving support terminal 200 may be directly connected to the data processing module 150, and an image obtained from the camera unit 110 and driving of a vehicle generated by the electronic control unit 121 Information and operation information, and post-processing data generated by the data processing module 150 may be acquired.
  • the driving support terminal 200 and the data processing module 150 may be interconnected through a second connection terminal (Type_C).
  • the driving support terminal 200 and the data processing module 150 may each include a second connection terminal (Type_OBD).
  • the driving support terminal 200 and the data processing module 150 may be interconnected through a C-type USB connection terminal.
  • the aforementioned mobile device 300 has not been discussed with respect to FIGS. 2 and 3, but the discussion similarly applies to the driving program of the mobile device 300, and also, a driving support terminal connected to the mobile device 300.
  • 4 and 5 are block diagrams illustrating a driving assistance system according to one or more embodiments.
  • the driving support systems in FIGS. 4 and 5 may be similar to the driving support systems shown in FIGS. 1 to 3, so that duplicate description will not be repeated, and differences will be described.
  • the camera unit 110 in the example of FIG. 1 or the camera unit 110 and data processing module 150 in the examples of FIGS. 2 and 3 are, in different embodiments, smart It may be additionally or alternatively implemented by a mobile device 300 comprising a phone or tablet.
  • the mobile device 300 and the communication port 140 may be interconnected with each other through wireless communication, such as a Wi-Fi connection, examples are not limited thereto.
  • the mobile device 300 and the communication port 140 may also be wirelessly connected to each other through the exemplary controller area network (CAN) communication described above. Accordingly, functions of the camera unit 110 or the camera unit 110 and the data processing module 150 may be additionally performed by a camera and a processor employed in the mobile device 300.
  • CAN controller area network
  • the driving support terminal 200 may be directly connected to the mobile device 300 through the second connection terminal (Type_C).
  • the driving support terminal 200 may be directly connected to the communication port 140 through the first connection terminal (Type_OBD).
  • FIG. 6 is a block diagram illustrating a driving assistance system according to one or more embodiments.
  • the driving support system in FIG. 6 may be similar to the driving support systems shown in FIGS. 4 and 5, so that duplicate description will not be repeated and differences will be described.
  • the discussion of FIGS. 1 to 3 for the driving program of the mobile device 300 and the driving support terminal 200 is also applicable to the driving support system of FIG. 6.
  • the mobile device 300 in the example of FIG. 6 may include a function of the driving support terminal 200 illustrated in FIGS. 4 and 5.
  • functions of the driving support terminal 200 illustrated in FIGS. 4 and 5, such as the driving support terminal 200 or the implementation of the driving program of the mobile device 300 may be performed by one or more processors employed in the mobile device 300.
  • the one or more processors may have different lower memory and processing power configurations or higher memory and processing power configurations described above for each of the 0th to 2nd ADAS levels or the 3rd to 5th ADAS levels, respectively.
  • one or more processors may not be limited in advance to a specific driving assist or autonomous driving function group at the ADAS level while still having a larger memory and processing power configuration than this discussion.
  • the driving program function any such processor or any combination of these processors loads a corresponding instruction and / or artificial intelligence model, for example, one or more neural network storage parameters, for example, A software development kit (SDK) and / or software that enables an exemplary artificial intelligence model to be executed on the mobile device 300 using a particular processor of the mobile device 300 and the operating system of the mobile device 300.
  • SDK software development kit
  • API application programming interface
  • it can be implemented by a CPU, NPU, GPU and / or other processor (s) in a mobile device 300.
  • an artificial model can be used to create an artificial intelligence model. It is input as a model conversion tool for converting into a deep learning container (DLC) format, and can then be optimized using an optimization tool that generates, for example, a deep learning container format file that can be executed by an artificial intelligence application.
  • the model transformation tool may use this one or more processors of the mobile device 300, for example, with one or more Qualcomm Snapdragon processors in the SNPE example, with accelerated runtime behavior.
  • NPE SDK e.g., Qualcomm Neural Processing Engine (SNPE) that can be converted into a form and file format that can be executed by the NPE of the mobile device 300
  • SNPE a Neural Processing Engine
  • It can be stored in a converted format for the mobile device 300.
  • an exemplary artificial intelligence module Dell may be created in any of a variety of formats, such as CaffeEmit, CNTK, CoreML, Keras, MXNet, ONNX, PyTorch, TensorFlow and iOS formats for execution by such processor (s) on mobile device 300, or in its format. It can be stored, or converted to / from that format.
  • the device driver level may be implemented by the operating system of the mobile device 300, and the artificial intelligence model may, such as in an example implementing a Huawei HiAi engine or a HiHCS (hetrogenous computing system), It is selectively executed by any such process or any combination of these processors through control of the device driver level.
  • the mobile device 300 may be interconnected with the telematics control unit 130 and the communication port 140 through wireless communication, such as Wi-Fi communication, to obtain information of the vehicle 100 Can be.
  • wireless communication such as Wi-Fi communication
  • FIG. 7 is a block diagram illustrating a driving assistance system according to one or more embodiments.
  • the driving assistance terminal 200 in the example of FIG. 7 may provide, for example, an advanced driving assistance function below the second ADAS level, and the driving program of the driving assistance terminal 200 may include a driving assistance program, , For example, forward collision warning (FCW) function, lane departure warning (LDW) function, lane maintenance assist (LKA) function, blind spot warning (BSW) function, adaptive cruise control (ACC) function, driving road by this Recognition function, traffic signal recognition function, etc. can be provided or supported.
  • FCW forward collision warning
  • LW lane departure warning
  • LKA lane maintenance assist
  • BSW blind spot warning
  • ACC adaptive cruise control
  • an example of the driving support terminal 200 in the present specification includes, as a non-limiting example, an artificial intelligence processor 210, a memory unit 220, a communication module 230, and a communication terminal 240. It may include, it may further include a power terminal 250.
  • the artificial intelligence processor 210 may include a central processing unit (CPU) 211, a neural processing unit (NPU) 212, and an interface 213.
  • the NPU 212 may be a neural imitation processor
  • the CPU 211, the NPU 212, and the interface 213 may be electrically connected to each other CPU 211 and NPU 212 of the artificial intelligence processor 210.
  • the memory unit 220 may store a driving program including a driving assistance program.
  • the memory unit 220 may include a plurality of memories 221 and 222 that store driving assistance programs.
  • the CPU 211 and the NPU 212 may be connected to a plurality of different memories 221 and 222, respectively. Accordingly, according to the execution of the driving assistance program stored in the memories 221 and 222, the CPU 211 and the NPU 212 may generate driving assistance information, for example.
  • each of the plurality of memories 221 and 222 may be implemented as a high bandwidth memory (HBM).
  • HBM high bandwidth memory
  • the communication module 230 may include a Wi-Fi communication module, and may perform wireless communication with one or more external devices.
  • the communication module 230 may perform wireless communication with the vehicle's telematics control unit 130 and the mobile device 300 in any example herein.
  • a Wi-Fi communication module may also be included in camera unit 110 and communication port 140, in which case communication module 230 may include camera unit 110 and communication port ( 140).
  • the communication terminal 240 may be used as a path for transmitting and receiving data, for example, to / from a vehicle and / or to / from a mobile device 300.
  • the communication terminal 240 may have a shape of a C type USB connection terminal and an OBD type connection terminal.
  • the mobile device may include a similar artificial intelligence processor 210, memory unit 220, communication module 230 and communication terminal.
  • the power terminal 250 may be connected to a vehicle battery, for example, through an OBD connection or another, and provide power provided from the vehicle battery to each element of the driving support terminal 200.
  • the driving support terminal 200 may further include a power managing module (PMIC) 260 that adjusts the voltage of power provided from the vehicle.
  • PMIC power managing module
  • the driving support terminal 200 may further include a transmission coil 270 that provides power provided from a vehicle battery to an external device in a wireless manner.
  • the driving assistance terminal 200 is complementary to the mobile device 300 shown in FIGS. 4 and 5 similarly configured for reception of power wirelessly transmitted, for example, through inductive or resonant coupling. Through inductive or resonant coupling, it may be implemented to include a stand or support form, for example, to transmit and support power wirelessly, as shown in FIG. 10.
  • the driving support terminal 200 includes a power terminal 250 so that the driving support terminal 200 receives power from a battery of a vehicle, but examples are not limited thereto.
  • the driving assistance terminal 200 may also include a receiving coil and also receive power wirelessly.
  • FIG. 8 is a block diagram illustrating a driving assistance system according to one or more embodiments.
  • the driving support terminal 200 in the example using FIG. 8 may be a driving support terminal that provides an advanced driving support function of a third level or higher defined in the ADAS standard, and the driving program of the driving support terminal 200 is a driving assistance program And an autonomous driving program, or only an autonomous driving program.
  • the driving support terminal 200 in FIG. 8 may be similar to the mobile device 300 shown in FIG. 7, and thus, duplicate description will not be repeated, and differences will be described.
  • the memory unit 220 in FIG. 8 may include more memory than the number of memories provided in the memory unit 220 shown in FIG. 7.
  • the memory unit 220 illustrated in FIG. 8 may include four memories.
  • the CPU 211 and the NPU 212 may correspond to a plurality of different memories, and may guide the driving assistance program and the autonomous driving program.
  • the driving support terminal 200 in FIG. 7 may include a single communication terminal 240, while the driving support terminal 200 in FIG. 8 includes a plurality of communication terminals 240a, 240b, 240c, 240d).
  • the first communication terminal 240a may be a C type USB connection terminal and an OBD type connection terminal.
  • the second communication terminal 240b may be a connection terminal of the CAN network
  • the third communication terminal 240c may be a connection terminal of a gigabit multimedia serial link (GMSL)
  • the fourth communication terminal may be a communication terminal of Ethernet.
  • the mobile device 300 may include a similar artificial intelligence processor 210, a memory unit 220, a communication module 230 and a communication terminal.
  • the driving support terminal 200 described with respect to FIG. 7 provides an advanced driving support function below the second level defined in the ADAS standard
  • FIG. 8 In the example of the driving support terminal 200 may provide an advanced driving support function of a third level or higher defined in the ADAS standard. Accordingly, the driving support terminals 200 in FIGS. 7 and 8 may be different from each other, have the same memory and processing configuration, or the same terminal having two respective driving support memory and processing configurations for providing respective functions. Can be
  • the CPU may have specifications of ARM Cortex A72x2 and A53x4 @ 1.5GHz, and the NPU may have a processing speed of 10 peta floating point operations per second (TFLPOS).
  • the memory unit 220 may include 8 GB / 52 bit high-bandwidth memory, and as another example, the memory unit 220 may include 32 GB of NAND flash memory.
  • the Wi-Fi communication module of the communication module 230 may provide, for example, a speed of at least 2.2 Gbps.
  • the communication module 30 may have, for example, IEEE 802.11ac / ax standard, 4x4 MU-MIMO and 1024QAM specifications.
  • the driving support terminal 200 may have a power consumption level of 4 watts or less, and may have a size of 65X65 mm.
  • the CPU may have specifications of ARM Cortex A72x2 and A53x4 @ 1.5GHz, and the NPU may have a processing speed of 10 peta floating point operations per second (TFLPOS).
  • the memory unit 220 may include 32 GB / 1024 bit high bandwidth memory (HBM).
  • the memory unit 220 may include 64 GB of NAND flash memory.
  • the Wi-Fi communication module of the communication module 230 may provide a speed of at least 1 Gbps.
  • the communication module 30 may have, for example, IEEE 802.11ac / ax standard, 4x4 MU-MIMO and 1024QAM specifications.
  • the driving support terminal 200 may have a power consumption level of 6.6 watts or less, and may have a size of 180X120 mm.
  • FIG. 9 is a block diagram illustrating a driving assistance system according to one or more embodiments.
  • the driving support terminal 200 may be connected to a vehicle controller, for example, an electronic control unit 121, through a third communication terminal 240c.
  • the driving support terminal 200 may be connected to the electronic control unit 121 through the third communication terminal 240c and receive an image of the camera unit 110 photographing the front area, side area, and rear area of the vehicle. Can be.
  • the electronic control unit 121 may include a driving program that provides an advanced driving assistance function of the driving assistance terminal 200.
  • the driving support terminal 200 In order for the driving support terminal 200 to provide the advanced driving support function of the third level or higher defined in the ADA standard without delay, for example, high performance data processing speed and high performance data transmission / reception speed may be desirable or may be required according to the ADAS standard. Therefore, a plurality of ports may be provided to collect various data.
  • the small-sized driving support terminal 200 may not fully satisfy the above-described high-performance aspect, and thus, as a non-limiting example, such smaller-sized driving
  • the supporting terminal may mainly implement the 0th to 2nd ADAS level functions of the above-described example.
  • the driving program may be embedded in the electronic control unit 121, the vehicle may not include the driving program, or the driving program may include either or both of the driving assistance program and the autonomous driving program. .
  • a command for assisting the interaction of the driving support terminal 200 and / or the mobile device 300 with the electronic control unit 121 may be uploaded, installed, or embedded in the electronic control unit 121.
  • these commands may be provided through the communication port 140 or the electronic control unit for information and / or control signals from the driving support terminal 200 and / or the mobile device 300 provided through the CAN network.
  • a driving support terminal 200 that forwards the information or control signal to a suitable controlled vehicle component, or a replica thereof, such as an electronic control unit ( 121) may include an electronic control unit 121 that forwards to a suitable vehicle component, such as implementing its own driving program, thereby, for example, from the driving assistance terminal 200 and / or the mobile device 300.
  • Driving assistance or different in driving control from, for example, aurally and / or visually, providing or displaying information, and / or thereby driving control from the driving assistance terminal 200 and / or mobile device 300. Controls providing level autonomy.
  • the command is controlled by the electronic control unit 121 for simply forwarding the same information or control signal for the corresponding component of the vehicle, in order to receive and understand this information or control signal by the electronic control unit 121.
  • These commands as described above, the cooperation of the current assisted driving program or autonomous driving program, the function selection of these programs of the electronic control unit 121 using the assisted driving program and / or the autonomous driving program, or the driving support terminal ( 200) and / or to control function selection of the same of the mobile device 300, may further include coding or adding, modifying, or deleting the current coding of the electronic control unit 121.
  • the uploading, installation, or embedding may be an initial connection of the driving support terminal 200 and / or the mobile device 300 to the communication port 140, or the driving support terminal 200 or to start or continue the driving assistance / control function. It may be through the execution of a corresponding application or program of the mobile device 300, or, for example, commands to the electronic control unit 121 through the exemplary user interface of the driving support terminal 200 or the wireless communication module 32 Can be through user selection or permission to upload, install or embed. Additionally or alternatively, individual control modules may be installed in the vehicle to perform translation or handoff operations between the electronic control unit 121 and the control signal and this information from the driving assistance terminal 200 or the mobile device 300. Can be inserted.
  • these commands that are uploaded to the electronic control unit 121, installed, embedded, or provide translation or handoff operations through individual control modules are controlled by the driving support terminal 200 and the mobile device 300.
  • a similar interface function may be provided to provide the vehicle and the detected environment information to the driving support terminal 200 and / or the mobile device 300 for generation of.
  • the electronic control unit 121 already includes these aforementioned commands and thus replaces them with the same or compatible electronic control unit 121 such that these aforementioned commands do not need to be uploaded, installed, or embedded. Can be.
  • FIG. 11 is a block diagram illustrating an implementation of a driving program using an NPU according to one or more embodiments.
  • the NPU 212 may implement an image receiver 212a, an image preprocessor 212b, a target recognition model 212c, and a driving assistance information generator 212d, thus targeting the image obtained from the camera unit 110 And generate driving support information specific to the recognized target.
  • Information obtained from the camera unit 110 may be input to the image receiver 212a.
  • the image preprocessor 212b may perform image processing to allocate a region of interest (ROI) within the input image, and generate an image of interest from it.
  • ROI region of interest
  • the image preprocessor 212b may extract edge components of the input image, for example, through high-frequency filtering, to detect different regions of interest, and generate corresponding images of interest.
  • the image preprocessor 212b may perform normalization on the generated region of interest, such that one or more subsequent artificial intelligence models have a predetermined size, such as a trained size.
  • the image preprocessor 212b may also perform additional calibration on the brightness of the normalized image of interest.
  • the brightness value of the normalized image of interest may be calibrated using a zero-center method.
  • Image preprocessor 212b is target recognition that can represent a normalized and calibrated image of interest, e.g., an exemplary trained neural network system with a plurality of convolutional layers followed by an exemplary feed forward, RNN or classification training layer. Model 212c.
  • the target recognition model 212c is a deep learning, such as loss-based back propagation, for training images for specific purposes of an exemplary target, for example, stored parameters of various layers of a neural network system.
  • a neural network system using previously trained parameters, and accordingly, according to uploading parameters from memory, processing elements of the NRU 212 to analyze a preprocessed image of interest through multiple neural network layers.
  • the NRU 212 can recognize the target from the input image.
  • the target recognition model 212c can iteratively implement a neural network system to recognize a target for each received frame and / or for multiple detected ROIs of the input image, and to recognize the target with fairly high accuracy. Can be.
  • a number of such neural network systems may be trained to recognize each target and run in parallel, or the neural network system may be configured to perform classification of input images and recognize various trained targets.
  • the target may include traffic signals, lanes, pedestrian crossings, road signs, etc., such that the neural network system or each neural network system is an accurate target within which the neural network system or each neural network system is within predetermined accuracy or predetermined inaccuracy. Until it recognizes, it can be trained using various training images.
  • the driving support information generator 212d may implement a driving program or a component of the driving program.
  • the driving support information generator 212d may implement at least one of a driving assistance program and an autonomous driving program of a driving program read from a memory with respect to a target recognized by the target recognition model 212c, and the recognized target It is possible to generate driving support information specific to a specified, for example, the position of the recognized target and the relationship between the recognized target and other objects.
  • the described vehicle means a vehicle having at least an engineered ability to implement the corresponding described driving assistance function, and of the autonomous driving program of a specific level or a specific driving assistance function.
  • the corresponding vehicle is a vehicle with engineered capabilities for this corresponding function.
  • the vehicle may not perform or disable or disable the driving support terminal 200 that does not enable the function of the driving program of the mobile device 300 and / or the corresponding function of the mobile device 300. This includes not enabling a function of the driving support terminal 200 of the support terminal 200 and / or the mobile device 300.
  • 12A and 12B are cross-sectional and plan views, respectively, showing a driving support terminal according to one or more embodiments.
  • the driving support terminal 200 in one example includes a substrate 280, an artificial intelligence processor 210, a memory unit 220, a communication module 230, and a communication terminal 240 ), A power management module 260 and a housing 290.
  • the artificial intelligence processor 210, the memory unit 220, the communication module 230, the communication terminal 240, and the power management module 260 may be provided on the substrate 280.
  • the communication module 230 and the power management module 260 may be provided on one surface of the substrate 280, and the artificial intelligence processor 210 may be provided on the other surface of the substrate.
  • the communication terminal 240 may be provided in the artificial intelligence processor 210.
  • the exterior of the driving support terminal 200 may be formed by the housing 290, and the communication terminal 240 may extend and protrude in one direction to be connected to the external device.
  • the artificial intelligence processor 210 may include auxiliary programs and autonomous driving programs and may include loading trained parameters of the corresponding artificial intelligence model implemented by each program or selectively loading these parameters as needed. It may include a running program or may load it from memory, via a communication terminal, for example from a vehicle's communication port and / or an additional camera of the mobile device 300 and for example the mobile device 300 Driving assistance information and driving assistance and autonomous driving control may be generated using data through a communication terminal from another camera connected to the mobile device 300 through the USB connector.
  • the artificial intelligence processor 210 may include a central processing unit (CPU) and a neural processing unit (NPU), and may be integrated with the memory unit 220.
  • the communication module 230 may include a Wi-Fi communication module, and may be configured to perform wireless communication with an external device. As an example, the communication module 230 may perform wireless communication with the telematics control unit 130 illustrated in FIG. 2 and one or more cameras and mobile devices 300.
  • the power management module 260 may adjust the voltage provided from the battery of the vehicle when the power management module 260 is connected to the vehicle.
  • the communication terminal 240 may be directly connected to an external device, and may be used as a path for transmitting and receiving data, for example, directly connected to a communication port of the vehicle and / or connected to the mobile device 300.
  • the communication terminal 240 may have a shape of a C type USB connection terminal, but as described above, the communication terminal 240 may have a shape of an OBD type connection terminal.
  • FIG. 13 is a block diagram illustrating a driving support system according to an embodiment of the present invention
  • FIGS. 14 and 15 are views provided to describe a calibration operation by the image processor of the present invention
  • FIGS. 16 and 17 Is a diagram provided to explain the control operation of the camera unit by the artificial intelligence processor of the present invention.
  • the camera unit 110 of the embodiment of FIG. 1 or the camera unit 110 and data processing module 150 of the embodiments of FIGS. 2 and 3 includes a mobile device including a smartphone or tablet It may alternatively be implemented by 300. Accordingly, functions of the camera unit 110 or the camera unit 110 and the data processing module 150 may be performed by a camera unit and a controller employed in the mobile device 300.
  • the mobile device 300 may include a controller 310, a communication unit 320, a camera unit 330, a display unit 340, a power supply unit 350, and a power switch 360 have.
  • the controller 310 is electrically or functionally connected to other blocks of the mobile device 300 to control the overall operation of the mobile device 300 and signal flow between the internal blocks of the mobile device 300 and process data can do.
  • the controller 310 may include a central processing unit (CPU), an application processor, a GPU (Graphic Processing Unit), and the like.
  • the communication unit 320 may be interconnected with the external cloud 400 through a network network.
  • the network network may mean a communication network formed using a predetermined communication method.
  • the predetermined communication method may include any communication method such as a predetermined communication standard, a predetermined frequency band, a predetermined protocol, or communication through a predetermined channel.
  • Bluetooth, BLE, Wi-Fi, Zigbee, 3G, 4G, 5G may include a communication method through ultrasound, and may include short-range communication, telecommunication, wireless communication, and wired communication.
  • the vehicle 100 and the mobile device 300 may be interconnected with each other through wireless communication.
  • the communication port 140 of the vehicle 100 may be interconnected with a communication unit 320 of the mobile device 300 through wireless communication such as Wi-Fi communication.
  • the communication port 140 (see FIGS. 1 to 3) and the communication unit 320 of the mobile device 300 may be wirelessly connected to each other through controller area network (CAN) communication.
  • CAN controller area network
  • the camera unit 330 is mounted on the front or rear of the mobile device 300 to photograph an external area of the mobile device 300.
  • the camera unit 330 may provide the generated image to the controller 310.
  • the display unit 340 is provided on the front of the mobile device 300, and outputs information according to a user's input on the screen.
  • the display unit 340 may be integrally formed with a touch screen device that receives a user's touch input.
  • the power supply unit 350 is electrically connected to other blocks of the mobile device 300 to supply power required for driving other blocks.
  • the power supply unit 350 may include a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the power supply unit 350 may be provided integrally with the mobile device 300, or may be provided detachably with the mobile device 300.
  • the power switch 360 may provide power provided from the power supply unit 350 to the driving support terminal 200.
  • the controller 310 may detect whether the driving support terminal 200 is connected to the mobile device 300 and control a power supply operation of the power switch 360. For example, when the driving support terminal 200 is connected to the mobile device 300, the controller 310 controls the power switch 360 to operate, thereby providing power to the driving support terminal 200. , When the driving support terminal 200 is not connected to the mobile device 300, the controller 310 controls the power switch 360 to operate off, thereby blocking the power supply to the driving support terminal 200. .
  • the driving support terminal 200 is a non-limiting example, an artificial intelligence processor 210, an image processor 205, a model storage unit 215, a running processor 225, and a power management module ( 260).
  • the driving support terminal 200 may be directly connected to the mobile device 300 through the second connection terminal (Type_C).
  • the power managing module (PMIC) 260 may adjust the voltage of the power supplied from the mobile device 300.
  • the power management module 260 may be electrically connected to other blocks of the driving support terminal 200 to supply power required for driving other blocks.
  • the image processor 205 may pre-process an image provided from the camera unit 330 of the mobile device 300.
  • the image processor 205 receives an image from the camera unit 330 of the mobile device 300 Can be.
  • the controller 310 of the mobile device 300 primarily pre-processes the image provided from the camera unit 330, and the image processor 205 primarily pre-processes the image. can do.
  • the controller 310 of the mobile device 300 may include a separate image processor.
  • the image processor 205 corresponds to a configuration corresponding to the image preprocessor 212b of FIG. 11.
  • the image processor 205 may perform image processing to allocate a region of interest (ROI) within an image provided from the camera unit 330, and generate an image of interest from it. have.
  • the image processor 205 may extract an edge component of the input image, for example, through high-frequency filtering, to detect different regions of interest, and generate images of interest corresponding to different regions of interest.
  • the image processor 205 may perform normalization on the generated region of interest such that one or more subsequent artificial intelligence models have a predetermined size, such as a trained size.
  • the image processor 205 may also perform additional calibration on the brightness of the normalized image of interest.
  • the image processor 205 calibrates the brightness of the normalized image of interest, the brightness value of the image of interest in FIG. 13 (a) is appropriately reduced, so that the object visibility is as shown in the image of interest in FIG. 13 (b). It can be improved.
  • the brightness value of the normalized image of interest may be calibrated using a zero-center method.
  • the image processor 205 may rotate the normalized image of interest to perform additional calibration.
  • the image processor 205 rotates the image of interest in FIG. 14 (a) clockwise or counterclockwise, as shown in FIG. 14 (b), the horizontal and vertical images of the image of interest coincide with the horizontal and vertical directions. However, it can be changed.
  • the image processor 205 may provide the normalized and calibrated image of interest to the artificial intelligence processor 210.
  • the artificial intelligence processor 210 may utilize an image of interest provided from the image processor 205 as input data.
  • the artificial intelligence processor 210 is electrically or functionally connected to other blocks of the driving support terminal 200 to control the overall operation of the driving support terminal 200 and the signal flow between the internal blocks of the driving support terminal 200. And can process the data.
  • the artificial intelligence processor 210 may include an artificial neural network processing unit.
  • Artificial neural networks are models of biological neurons' operation principles and connections between neurons, and are information processing systems in which a number of neurons, called nodes or processing elements, are connected in the form of a layer structure. Artificial neural networks are models used in machine learning and are statistical learning algorithms inspired by the neural networks of biology (especially the brain of the animal's central nervous system) in machine learning and cognitive science.
  • an artificial neural network may mean an entire model having a problem-solving ability by changing the strength of synapses through learning by artificial neurons (nodes) forming a network through the combination of synapses. It may include a layer (layer), each of the layers may include a plurality of neurons (neuron). Also, an artificial neural network may include neurons and synapses connecting neurons.
  • Artificial neural networks are generally defined by the following three factors: the connection pattern between neurons in different layers, the learning process to update the weight of the connection, and the activation function that produces an output from the weighted sum of the inputs received from the previous layer. Can be.
  • the artificial neural network may include network models such as Deep Neural Network (DNN), Recurrent Neural Network (RNN), Bidirectional Recurrent Deep Neural Network (BRDNN), Multilayer Perceptron (MLP), and Convolutional Neural Network (CNN). , But is not limited to this.
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • BBDNN Bidirectional Recurrent Deep Neural Network
  • MLP Multilayer Perceptron
  • CNN Convolutional Neural Network
  • Artificial neural networks are divided into single-layer neural networks and multi-layer neural networks according to the number of layers.
  • the artificial neural network can be trained using training data.
  • learning refers to a process of determining parameters of an artificial neural network using learning data in order to achieve the purpose of classifying, regressing, or clustering input data.
  • Representative examples of the parameters of an artificial neural network include a weight applied to a synapse or a bias applied to a neuron.
  • the artificial intelligence processor 210 may receive input data and training data for model training.
  • the artificial intelligence processor 210 may infer output data by applying input data provided from the image processor 205 to a trained model stored in the model storage unit 215.
  • the artificial intelligence processor 210 may control at least one block provided in the mobile device 300 according to input data corresponding to an image of interest provided from the image processor 205.
  • the shutter speed of the camera unit 330 may be changed through the controller 310, thereby making FIG. 16 (b) ), It is possible to remove the flicker phenomenon included in the image of interest.
  • the aperture value of the camera unit 330 may be changed through the controller 310.
  • the screen brightness of the image of interest can be appropriately changed.
  • the learning processor 225 may train (or train) an artificial neural network stored in the model storage unit 215 using training data provided from the artificial intelligence processor 210.
  • the artificial intelligence processor 210 may transmit training data provided from the communication unit 320 of the mobile device 300 to the learning processor 225.
  • the communication unit 320 may download training data from the cloud 400.
  • the artificial intelligence processor 210 may receive training data through the communication unit 320 of the mobile device 300. You can download it. That is, when the driving support terminal 200 and the mobile device 300 are interconnected through the second connection terminal (Type_C), training data may be updated.
  • the driving support terminal 200 may be directly connected to the mobile device 300 through the second connection terminal (Type_C).
  • the artificial intelligence processor 210 may pre-process the input data and the training data to generate pre-processed input data and pre-processed training data. For example, pre-processing of input data performed by the artificial intelligence processor 210 may mean extracting an input feature from the input data.
  • the model storage unit 215 may store an artificial neural network.
  • the artificial neural network stored in the model storage unit 215 may include a plurality of hidden layers.
  • the artificial neural network of this embodiment is not limited thereto.
  • Artificial neural networks may be implemented in hardware, software, or a combination of hardware and software. When part or all of the artificial neural network is implemented in software, one or more instructions constituting the artificial neural network may be stored in memory.
  • the artificial neural network stored in the model storage unit 215 may be learned through the learning processor 225.
  • the model storage unit 215 may store a model being trained or trained by the learning processor 225.
  • the model storage unit 215 stores the updated model when the model is updated through learning.
  • the model storage unit 215 may classify and store the trained model as a plurality of versions according to a learning time point or a learning progress level, if necessary.
  • model storage unit 215 may include the target recognition model 212c of FIG. 11.
  • the target recognition model 212c is a deep learning, such as loss-based back propagation, for training images for specific purposes of an exemplary target, for example, stored parameters of various layers of a neural network system.
  • a neural network system using previously trained parameters, and accordingly, according to uploading parameters from memory, processing elements of the NRU 212 to analyze a preprocessed image of interest through multiple neural network layers.
  • the NRU 212 can recognize the target from the input image.
  • the target recognition model 212c can iteratively implement a neural network system to recognize a target for each received frame and / or for multiple detected ROIs of the input image, and to recognize the target with fairly high accuracy. Can be.
  • a number of such neural network systems may be trained to recognize each target and run in parallel, or the neural network system may be configured to perform classification of input images and recognize various trained targets.
  • the target may include traffic signals, lanes, pedestrian crossings, road signs, etc., such that the neural network system or each neural network system is an accurate target within which the neural network system or each neural network system is within predetermined accuracy or predetermined inaccuracy. Until it recognizes, it can be trained using various training images.
  • the driving assistance information generator 212d of FIG. 11 may be implemented by the artificial intelligence processor 210.
  • the driving assistance information generator 212d may implement a driving program or a component of the driving program.
  • the driving support information generator 212d may implement at least one of a driving assistance program and an autonomous driving program of a driving program read from a memory with respect to a target recognized by the target recognition model 212c, and the recognized target It is possible to generate driving support information specific to a specified, for example, the position of the recognized target and the relationship between the recognized target and other objects.
  • the learning processor 225 may train (or train) an artificial neural network stored in the model storage unit 215 using training data.
  • the learning processor 225 may acquire training data provided from the artificial intelligence processor 210 to learn the artificial neural network stored in the model storage unit 215. For example, the learning processor 225 may determine the optimized model parameters of the artificial neural network by repeatedly learning the artificial neural network using various well-known learning techniques. By learning using training data, the artificial neural network whose parameters have been determined may be referred to as a learning model or a trained model.
  • Examples of hardware components that can be used to perform the operations described in this application where appropriate include controllers, sensors, generators, drivers, memory, comparators, computational logic units, adders, subtractors, multipliers, dividers, integrators and bones. And any other electronic component configured to perform the operations described in the application.
  • one or more hardware components that perform the operations described in this application are implemented by computer hardware, such as one or more processors or computers.
  • the processor or component is a logic gate array, controller and computational logic unit, digital signal processor, microcomputer, programmable logic controller, field programmable gate array, programmable logic array, microprocessor or instructions in a defined manner to achieve the desired result. It may be implemented by one or more processing elements, such as any other device or combination of devices configured to perform this in response.
  • a processor or computer may be included in or coupled to a memory that stores instructions or software executed by a processor or computer.
  • a hardware component implemented by a processor or computer may execute instructions or software, such as an operating system (OS) and one or more software applications running on the OS, to perform the operations described in this application.
  • OS operating system
  • hardware components can access, manipulate, process, generate, and store data in response to execution of instructions or software.
  • processors or computers may be used, or the processor or computer may have multiple processing elements or It may include multiple types of processing elements, or both.
  • a single hardware component or two or more hardware components may be implemented by a single processor, may be implemented by two or more processors, or may be implemented by a processor and a controller.
  • One or more hardware components may be implemented by one or more processors or may be implemented by a processor and a controller, and one or more other hardware components may be implemented by one or more other processors or may be implemented by other processors and other controllers Can be.
  • the one or more processors or processors and controllers may implement a single hardware component or two or more hardware components.
  • the hardware component can have one or more different processing configurations, examples of which are single processor, independent processor, parallel processor, single-instruction multiple-data (SIMD) multiprocessing, multiple-instruction single-data (MISD) multiprocessing, and Includes multiple-instruction multiple-data (MIMD) multiple processing.
  • SIMD single-instruction multiple-data
  • MIMD multiple-instruction single-data
  • the method of performing the operations shown and discussed with respect to FIGS. 1-11 and described in the present application executes instructions or software by computing hardware, for example, to perform the operations described in the present application performed by the method. Is performed by one or more processors or computers implemented as described above. For example, a single operation or two or more operations can be performed by a single processor, by two or more processors, or by a processor and a controller. One or more operations may be performed by one or more processors or by a processor and a controller, and one or more other operations may be performed by one or more other processors or by a controller different from other processors. One or more processors or processors and controllers may perform a single operation or two or more operations.
  • Instructions or software for controlling the computing hardware eg, one or more processors or computers, to implement the hardware components and perform the methods as described above, perform operations performed by the hardware components and the methods as described above It may be written as a computer program, code segment, instruction, or any combination thereof, to individually or collectively command or configure one or more processors or computers to operate as a machine or dedicated computer for the purpose.
  • instructions or software includes machine code executed directly by a computer or one or more processors, such as machine code generated by a compiler.
  • instructions or software include high-level code executed by one or more processors or computers using an interpreter. Instructions or software use any programming language based on the block diagrams and flow charts and corresponding descriptions shown in the figures herein that disclose algorithms for performing the operations as described above and the operations performed by the hardware components. Can be written.
  • Instructions or software for controlling computing hardware eg, one or more processors or computers, to implement hardware components and perform the methods as described above, and any associated data, data files, and data structures are one or more non-transitory. It may be recorded, stored, or settled on a computer-readable storage medium. Examples of non-transitory computer-readable storage media include read-only memory (ROM), random-access programmable read only memory (PROM), electrically erasable programmable read-only memory (EPMROM), and random-access memory (RAM).
  • ROM read-only memory
  • PROM random-access programmable read only memory
  • EPMROM electrically erasable programmable read-only memory
  • RAM random-access memory
  • DRAM Dynamic random access memory
  • SRAM static random access memory
  • flash memory non-volatile memory, non-limiting Blu-ray or optical disk storage, eg CD-ROM, CD-R, CD + R, CD- RW, CD + RW, DVD-ROM, DVD-R, DVD + R, DVD-RW, DVD + RW, DVD-RAM, BD-ROM, BD-R, BD-R LTH, BD-RE, HDD (hard Disk drive (SDD), solid state drive (SDD), flash memory, multimedia card micro or card-like memory (such as secure digital (SD) or extreme digital (XD)), magnetic tape, floppy disk, magneto-optical
  • a data storage device an optical storage device, a hard disk, a solid state disk and instructions or software and any associated data, data files and data structures stored in a non-transitory manner, and instructions or instructions to enable one or more processors or computers to execute instructions

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

운전 지원 시스템 및 방법이 제공된다. 차량의 주변부의 이미지 정보를 생성하는 카메라 시스템, 차량의 운전 정보를 생성하는 차량 컨트롤러 및 통신 포트를 포함하는 개별 차량과 인터페이스하기 위한 운전 지원 시스템은, 통신 포트와 연결되고, 통신 포트를 이용하여 이미지 정보 및/또는 운전 정보를 획득하고, 운전 지원 단말 또는 모바일 장치에 의해 생성되고 차량에 제공된 제어 신호를 통해 차량에 의해 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 이미지 및/또는 운전 정보에 기초하여 운전 지원 단말 및/또는 모바일 장치의 주행 프로그램의 적어도 일부를 실행하도록 구성되는, 운전 지원 단말 및/또는 모바일 장치를 포함한다.

Description

운전 지원 시스템 및 방법
본 개시 내용은 운전 지원 시스템 및 방법에 관한 것이다.
교통 사고의 감소뿐만 아니라 운전 효율 및 운전 편의성을 이루기 위하여 자율(autonomous) 또는 자립(self) 주행 차량, 또는 반자율 또는 보조 주행 차량이 점점 많이 사용되고 있다. 이러한 자율/자립 주행 또는 반자율/보조 주행 동작을 구현하기 위하여, 단순히 운전 경험에 관한 정보를 운전자에게 제공하는 것으로부터, 운전자가 제동, 가속 및/또는 조향 중 하나 이상을 감독하는 것을 필요로 하면서 제동, 가속 및/또는 조향 중 하나 이상이 선택적으로 제어될 수 있는 주행 보조 기능을 제공하는 것에 이르기까지 이러한 차량의 제어와 관련하여 다양한 구현예에서 다루어지는 다양한 문제점이 있으며, 다른 구현예가 차량이 차량의 운전을 추가로 또는 대안적으로 수행하게 하며, 승객은 단지 차량에 의한 요청에 따라 운전을 수행할 필요가 있게 하거나, 승객이 어떠한 운전 기능도 수행하도록 차량이 요청하지 않거나 심지어 차량이 스티어링 휠과 가속 페달 및 제동 페달을 포함하지 않는 다른 더욱 자동화된 구현예가 있지만, 이러한 주행 보조 기능은 차선 이탈 경고 또는 회피, 충돌 회피 또는 자동화된 비상 제동, 또는 사각 지대 경고를 포함할 수 있다. 이러한 자동차 구현예는 차량 내의 각각의 주행 프로그램을 통하여 정보 서비스, 운전 지원, 반자율, 자율 및 완전 자율 주행의 이러한 다양한 능력을 제공하여 이러한 상이한 레벨의 정보, 보조 및/또는 자율성을 구현할 수 있다. 따라서, 많은 자동차 제조 회사, 비자동차 제조 회사 및 비제조 회사와 연구소는 첨단 운전자 보조 시스템(advanced driver assistance system(ADAS))를 통해 각각 이러한 상이한 레벨의 정보, 보조 및/또는 자율을 위한 다양한 주행 프로그램을 개발하고 있다.
또한, 자동차 제조사가, 전적으로 전자 제어 신호에 기초하여 정보 또는 다른 피드백을 제공하고 가속, 제동, 조향 등을 제어하는 설계된 능력을 갖는 엔지니어링 구성으로 자동차를 제조하여 왔거나 자동차를 제조할 것이라고 나타내지만, 이러한 제조사는 이러한 능력이 이러한 다양한 프로그램을 통해 차량에 의해 구현될 수 있게 하기에는 너무 느려, 예를 들어, 어떠한 제조사도 완전 자율 주행을 구현하기 위한 차량 내의 자율 주행 프로그램을 갖는 상용 차량을 생산하지 못한다. 따라서, 이러한 차량이 다양한 제어 신호를 통해 이러한 자동화되고 보조(assistive)/정보(informative) 구현예를 위한 물리적 능력을 가질 수 있지만, 이러한 차량이 이러한 자율 주행 프로그램 없이 또는 다양한 보조 또는 정보 프로그램 없이 출시되고 있기 때문에, 사용자는 이러한 차량을 이용할 때 아직 완전 자율 주행을 경험하지 않아왔고 그리고/또는 다양한 보조 및/또는 정보 서비스를 경험하지 않아 왔거나, 차량에 대한 제한적인 자율 및/또는 보조/정보 서비스만을 가능하게 하는 자동차 제조사의 폐쇄 시스템 또는 독점(proprietary) 주행 프로그램으로 한정될 수 있어, 예를 들어, 차량은 각각의 제어 신호에 기초한 모든 운전 컴포넌트의 이러한 보조 및/또는 정보 서비스 및 제어를 제공하는 엔지니어링 능력 또는 제조 능력을 가지지만, 예를 들어 차량의 제조사의 자율 주행 프로그램은 차량이, 대안적인 프로그래밍으로, 차량 주행의 많은 다른 정보/보조 기능 및 일부 더 많거나 완전한 자율 제어를 제공할 수 있을 때 운전자에게 단자 제한된 운전 상태 정보만을 허용한다. 또한, 이러한 제조사는 통상적으로 차량의 제조 후에, 예를 들어, 추가의 또는 대안적인 정보, 보조 및/또는 자율 기반 기능이 사용 가능함에 따라, 이러한 주행 프로그램에 대한 업데이트를 제공하지 않을 수 있다.
본 발명의 내용은 [발명을 실시하기 위한 구체적인 내용]에서 더 설명되는 엄선된 개념을 간단한 형태로 소개하기 위하여 제공된다. 본 [발명의 내용]은 청구된 내용의 주요 특징 또는 본질적인 특징을 식별하려고 의도되지 않으며, 또한 청구된 내용의 범위를 결정하는데 있어서 도움을 주는 것으로 사용되도록 의도되지 않는다.
하나의 일반적인 양태에서, 차량의 주변부의 이미지 정보를 생성하는 카메라 시스템, 차량의 운전 정보를 생성하는 차량 컨트롤러 및 통신 포트를 포함하는 개별 차량과 인터페이스하기 위한 운전 지원 시스템은, 통신 포트와 연결되고, 통신 포트를 이용하여 이미지 정보 및/또는 운전 정보를 획득하도록 구성된 하나 이상의 프로세서를 포함하는 운전 지원 단말을 포함하고, 운전 지원 단말은, 운전 지원 단말에 의해 생성되고 차량에 제공된 제어 신호를 통해 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 이미지 및/또는 운전 정보에 기초하여, 운전 지원 단말의 주행 프로그램의 적어도 일부를 실행시키도록 구성된다.
운전 지원 단말의 주행 프로그램은 주행 보조 프로그램 및/또는 자율 주행 프로그램을 포함할 수 있다.
차량 컨트롤러는, 차량을 제어하기 위하여, 차량의 메모리에 저장된 차량 주행 보조 프로그램 및/또는 차량 자율 주행 프로그램을 포함하는 차량 주행 프로그램을 실행하도록 구성될 수 있다.
운전 지원 단말의 하나 이상의 프로세서는, 추가로, 운전 지원 단말의 주행 프로그램의 주행 보조 프로그램 및 차량 주행 프로그램의 차량 주행 보조 프로그램 중 어느 것이 가장 높은 ADAS 레벨 주행 보조 프로그램인지 판단하고 그리고/또는 운전 지원 단말의 주행 프로그램의 자율 주행 프로그램 및 차량 주행 프로그램의 자율 주행 프로그램 중 어느 것이 가장 높은 ADAS 레벨 자율 주행 프로그램인지 판단하고, 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 가장 높은 ADAS 레벨 주행 보조 프로그램 및/또는 가장 높은 ADAS 레벨 자율 주행 프로그램을 실행하도록 구성될 수 있다.
운전 지원 단말의 하나 이상의 프로세서는, 추가로, 운전 지원 단말의 주행 프로그램의 어느 기능이 차량 주행 프로그램의 대응하는 기능보다 더 높은 기능 레벨을 가지는지에 대한 제1 판단을 수행하고, 운전 지원 단말의 주행 프로그램의 어느 기능이 차량 주행 프로그램에 의해 제공되지 않는지에 대한 제2 판단을 수행하고, 그리고/또는 차량 주행 프로그램의 어느 기능이 운전 지원 단말의 주행 프로그램에 의해 제공되지 않는지에 대한 제3 판단을 수행하도록 구성되고, 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 제1 판단, 제2 판단 및 제3 판단의 임의의 하나 또는 임의의 조합에 기초하여 운전 지원 단말의 주행 프로그램 및 차량 주행 프로그램을 운전 지원 단말에 의해 제어되는 바에 따라 선택적으로 구현함으로써, 구현된 주행 프로그램 기능을 차량에 의해 제어하도록 구성될 수 있다.
운전 지원 시스템은 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 이미지 정보 및/또는 운전 정보에 기초하는 모바일 장치 주행 보조 프로그램 및/또는 모바일 장치 자율 주행 프로그램을 포함하는 모바일 장치 주행 프로그램의 적어도 일부를 실행하도록 구성된 하나 이상의 프로세서를 갖는 모바일 장치를 더 포함할 수 있고, 모바일 장치의 하나 이상의 프로세서 또는 운전 지원 단말의 하나 이상의 프로세서는, 추가로, 운전 지원 단말의 주행 프로그램의 주행 보조 프로그램, 모바일 장치 주행 보조 프로그램 및 차량 주행 프로그램의 차량 주행 보조 프로그램 중 어느 것이 가장 높은 ADAS 레벨 주행 보조 프로그램인지 판단하고 그리고/또는 운전 지원 단말의 주행 프로그램의 자율 주행 프로그램, 모바일 장치 자율 주행 프로그램 및 차량 주행 프로그램의 차량 자율 주행 프로그램 중 어느 것이 가장 높은 ADAS 레벨 자율 주행 프로그램인지 판단하도록 구성되고, 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 가장 높은 ADAS 레벨 주행 보조 프로그램 및/또는 가장 높은 ADAS 레벨 자율 주행 프로그램을 실행하도록 구성될 수 있다.
운전 지원 시스템은 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 이미지 정보 및/또는 운전 정보에 기초하는 모바일 장치 주행 보조 프로그램 및/또는 모바일 장치 자율 주행 프로그램을 포함하는 모바일 장치 주행 프로그램의 적어도 일부를 실행하도록 구성된 하나 이상의 프로세서를 갖는 모바일 장치를 더 포함할 수 있고, 모바일 장치의 하나 이상의 프로세서 또는 운전 지원 단말의 하나 이상의 프로세서는, 추가로, 운전 지원 단말의 주행 프로그램의 어느 기능 및 모바일 장치 주행 프로그램의 어느 기능이 차량 주행 프로그램의 대응하는 기능보다 더 높은 기능 레벨을 가지는지에 대한 제1 판단을 수행하고, 운전 지원 단말의 주행 프로그램의 어느 기능 및 모바일 장치 주행 프로그램의 기능의 어느 기능이 차량 주행 프로그램에 의해 제공되지 않는지에 대한 제2 판단을 수행하고, 그리고/또는 차량 주행 프로그램의 어느 기능이 운전 지원 단말의 주행 프로그램 및 모바일 장치 주행 프로그램에 의해 제공되지 않는지에 대한 제3 판단을 수행하도록 구성되고, 제1 판단, 제2 판단 및 제3 판단의 임의의 하나 또는 임의의 조합에 기초하여 운전 지원 단말의 주행 프로그램, 모바일 장치 주행 프로그램 및 차량 주행 프로그램을 운전 지원 단말 또는 모바일 장치에 의해 제어되는 바에 따라 선택적으로 구현함으로써, 구현된 주행 프로그램을 차량에 의해 제어하도록 구성될 수 있다.
제1 판단, 제2 판단 및 제3 판단의 임의의 하나 또는 임의의 조합에 기초한 운전 지원 단말의 주행 프로그램, 모바일 장치 주행 프로그램 및 차량 주행 프로그램의 선택적 구현은, 운전 지원 단말의 주행 프로그램 및 모바일 주행 프로그램의 대응하는 기능들 사이의 선택을 포함할 수 있고, 모바일 장치의 하나 이상의 프로세서, 또는 운전 지원 단말의 하나 이상의 프로세서는 이러한 대응하는 기능들에서 미리 정해진 더 높은 기능을 갖는 기능을 선택하도록 구성될 수 있다.
운전 지원 단말의 하나 이상의 프로세서는, 운전 지원 단말의 주행 프로그램의 기능과, 운전 지원 단말과 통신하는 모바일 장치의 모바일 장치 주행 프로그램의 기능 중 어느 것이 차량 주행 프로그램의 대응하는 기능보다 더 높은 기능 레벨을 갖는지에 대한 제1 판단을 수행하고, 운전 지원 단말의 주행 프로그램 및 모바일 장치 주행 프로그램의 어느 기능이 차량 주행 프로그램에 의해 제공되지 않는지에 대한 제2 판단을 수행하고, 그리고/또는 차량 주행 프로그램의 어느 기능이 운전 지원 단말의 주행 프로그램 및 모바일 장치 주행 프로그램에 의해 제공되지 않는지에 대한 제3 판단을 수행하도록 구성되고, 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 제1 판단, 제2 판단 및 제3 판단의 임의의 하나 또는 임의의 조합에 기초하여 운전 지원 단말의 주행 프로그램, 모바일 장치 주행 프로그램 및 차량 주행 프로그램을 운전 지원 단말에 의해 제어되는 바에 따라 선택적으로 구현함으로써, 구현된 주행 프로그램을 차량에 의해 제어하도록 구성될 수 있다.
운전 지원 시스템은 모바일 장치를 더 포함할 수 있고, 모바일 장치는 하나 이상의 프로세서와, 모바일 장치 주행 보조 프로그램 및/또는 모바일 장치 자율 주행 프로그램을 포함하는 모바일 장치 주행 프로그램을 저장하는 메모리를 가진다.
제1 판단, 제2 판단 및 제3 판단의 임의의 하나 또는 임의의 조합에 기초한 운전 지원 단말의 주행 프로그램, 모바일 장치 주행 프로그램 및 차량 주행 프로그램의 선택적 구현이 운전 지원 단말의 주행 프로그램 및 모바일 주행 프로그램의 대응하는 기능들 사이의 선택을 포함할 수 있을 때, 운전 지원 단말의 하나 이상의 프로세서는 이러한 대응하는 기능으로부터 미리 정해진 더 높은 기능을 갖는 기능을 선택하도록 구성될 수 있다.
운전 지원 단말의 하나 이상의 프로세서는, 추가로, 운전 지원 단말의 주행 프로그램의 주행 보조 프로그램, 운전 지원 단말과 통신하는 모바일 장치의 주행 프로그램의 모바일 장치 주행 보조 프로그램 및 차량 주행 프로그램의 차량 주행 보조 프로그램 중 어느 것이 가장 높은 ADAS 레벨 주행 보조 프로그램인지 판단하고 그리고/또는 운전 지원 단말의 주행 프로그램의 자율 주행 프로그램, 모바일 장치의 주행 프로그램의 모바일 장치 자율 주행 프로그램 및 차량 주행 프로그램의 자율 주행 지원 프로그램 중 어느 것이 가장 높은 ADAS 레벨 자율 주행 프로그램인지 판단하도록 구성되고, 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 가장 높은 ADAS 레벨 주행 보조 프로그램 및/또는 가장 높은 ADAS 레벨 자율 주행 프로그램을 실행하도록 구성될 수 있다.
운전 지원 시스템은 모바일 장치를 더 포함할 수 있고, 모바일 장치는 하나 이상의 프로세서와, 모바일 장치 주행 보조 프로그램 및/또는 모바일 장치 자율 주행 프로그램을 포함하는 모바일 장치 주행 프로그램을 저장하는 메모리를 가진다.
제어 신호를 생성하기 위하여, 주행 보조 프로그램은 운전 지원 제어 신호와 운전 지원 정보를 생성하도록 구성될 수 있고, 운전 지원 제어 신호는 운전 지원 정보를 디스플레이하기 위하여 차량의 보조 주행 동작을 보조적으로 제어하기 위한 신호이다.
차량의 운전 지원 정보는 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 제어하도록 운전자에게 지시하는 정보를 포함할 수 있다.
운전자에게 지시하는 것은, 장애물 검출에 대한 경고 및/또는 대응하는 장애물 회피 조향 및/또는 제동을 수행하도록 운전자에게 지시하는 것, 후방 충돌 경고를 제공하는 것 및/또는 대응하는 후방 충돌 회피 제동을 수행하도록 운전자에게 지시하는 것, 차선 이탈 경고를 제공하는 것, 대응하는 차선 이탈 수정 또는 유지 조향을 수행하도록 운전자에게 지시하는 것 및/또는 주행 프로그램에 의해 결정된 제안된 차선 변경을 운전자에게 지시하는 것을 포함할 수 있다.
제어 신호를 생성하기 위하여, 주행 보조 프로그램은 운전 지원 제어 신호를 생성하도록 구성될 수 있고, 운전 지원 제어 신호는 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 보조적으로 제어하도록 차량의 보조 주행 동작을 제어하기 위한 신호일 수 있다.
차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 보조적으로 제어하도록 차량의 보조 주행 동작을 제어하기 위한 신호는, 검출된 장애물 보조 회피, 검출된 후방 충돌 보조 회피, 예측된 그리고/또는 검출된 차선 이탈 보조 방지 또는 수정 및/또는 주행 프로그램에 의해 결정된 보조 차선 변경을 위하여, 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 제어하는 것을 포함할 수 있다.
운전 지원 제어 신호는, 보조적으로 제어된 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나에 관한 정보를 나타내는 주행 보조 프로그램에 의해 생성된 운전 지원 정보를 디스플레이하도록 차량의 보조 주행 동작을 제어하는 신호일 수 있다.
자율 주행 프로그램은 운전 제어 신호를 생성하도록 구성될 수 있고, 운전 제어 신호는 운전자에 의한 보조 제어 없이 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 제어하기 위하여 차량의 자율 주행 동작을 제어하는 신호일 수 있다.
운전 제어 신호를 생성하는 것은, 폐색된 물체 예측, 차선 변경 결정, 보행자 인식, 도로 변경 인식 및 도로 표지 인식의 임의의 하나 또는 2 이상의 임의의 조합을 수행하는 것과, 수행의 결과에 기초하여 운전 제어 신호를 생성하는 것을 더 포함할 수 있다.
운전 지원 단말의 하나 이상의 프로세서는, 운전 지원 시스템의 메모리로부터 하나 이상의 인공 지능 모델을 로딩하고, 폐색된 물체 예측, 차선 변경 결정, 보행자 인식, 도로 변경 인식 및 도로 표지 인식의 임의의 하나 또는 2 이상의 임의의 조합을 수행하고 수행의 결과에 기초하는 운전 제어 신호의 생성하도록 구성된 하나 이상의 인공 지능 프로세서를 포함할 수 있다.
하나 이상의 인공 지능 프로세서는 하나 이상의 신경 모방(neuromorphic) 프로세서를 포함할 수 있고, 하나 이상의 인공 지능 모델은 각각의 신경망 모델일 수 있다.
하나 이상의 프로세서는 획득된 이미지 정보 및/또는 운전 지원 단말 모델에 의해 획득된 다른 이미지 정보에 후처리를 수행하도록 구성될 수 있고, 하나 이상의 프로세서는 하나 이상의 인공 지능 프로세서를 포함할 수 있고, 주행 프로그램의 적어도 일부를 실행하는 것은 후처리된 획득된 이미지 정보 및/또는 후처리된 다른 이미지 정보가 제공된 하나 이상의 신경망 모델을 실행시키는 것을 포함할 수 있다.
하나 이상의 프로세서는 획득된 이미지 정보 및/또는 운전 지원 단말 모델에 의해 획득된 다른 이미지 정보에 후처리를 수행하도록 구성될 수 있고, 하나 이상의 프로세서는 하나 이상의 인공 지능 프로세서를 포함할 수 있고, 하나 이상의 프로세서는 후처리된 획득된 이미지 정보 및/또는 후처리된 다른 이미지 정보가 제공된 하나 이상의 인공 지능 프로세서를 이용하여 하나 이상의 신경망 모델을 실행시켜 후처리된 획득된 이미지 정보 및/또는 후처리된 다른 이미지 정보를 이용하여 내비게이션 프로그램을 구현하도록 구성될 수 있다.
하나 이상의 프로세서는 운전 정보를 획득하기 위하여 통신 포트와 연결되도록 구성되고, 운전 지원 단말과 통신하는 차량과 분리된 다른 카메라로부터 다른 이미지 정보를 획득하도록 구성될 수 있고, 획득된 운전 정보와 다른 이미지 정보에 기초하여 주행 프로그램의 적어도 일부를 실행하도록 구성될 수 있다.
하나 이상의 프로세서는, 다른 이미지 정보로부터, 차량의 주변부의 이미지를 생성하도록 구성되고, 차량에 의한 디스플레이를 위하여 차량의 주변부의 이미지를 차량에 제공하도록 구성될 수 있다.
운전 지원 단말은 OBD 타입 연결 단자를 포함할 수 있고, 운전 지원 단말은 OBD 타입 연결 단자를 이용하여 통신 포트에 연결된다.
이미지 정보는 차량으로부터 획득될 수 있고 그리고/또는 다른 이미지 정보는 차량으로부터 분리된 카메라로부터 획득될 수 있고, 하나 이상의 프로세서는 이미지 정보 및/또는 다른 이미지 정보 및 운전 정보를 이용하여 내비게이션 프로그램의 적어도 하나를 구현하도록 더 구성될 수 있다.
운전 지원 단말은 C 타입 USB 단말 연결을 이용하여 통신 포트에 연결될 수 있다.
운전 지원 단말은, 주행 보조 프로그램 및 자율 주행 프로그램을 저장하는 메모리를 포함할 수 있고, 하나 이상의 프로세서는 주행 프로그램의 적어도 일부의 실행을 통해 운전 지원 정보를 생성하는 신경 처리 유닛을 포함할 수 있다.
신경 처리 유닛은, 카메라 시스템으로부터 획득된 이미지가 입력되는 이미지 입력 수신기, 이미지 수신기로 입력된 이미지로부터 관심 이미지의 영역을 추출하도록 구성된 이미지 전처리기, 관심 이미지에서 타겟을 인식하도록 구현된 타겟 인식 신경망 모델 및 인식된 타겟에 대하여 주행 보조 프로그램 및/또는 자율 주행 프로그램의 적어도 일부를 실행하도록 구성된 운전 지원 정보 생성기를 포함할 수 있다.
운전 지원 시스템은 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 이미지 정보 및/또는 운전 정보에 기초하는 모바일 장치 주행 보조 프로그램 및/또는 모바일 장치 자율 주행 프로그램을 포함하는 모바일 장치 주행 프로그램의 적어도 일부를 실행하도록 구성된 하나 이상의 프로세서를 갖는 모바일 장치를 더 포함할 수 있고, 모바일 장치의 하나 이상의 프로세서 또는 운전 지원 단말의 하나 이상의 프로세서는, 추가로, 운전 지원 단말의 주행 프로그램의 주행 보조 프로그램 및 모바일 장치 주행 보조 프로그램 중 어느 것이 가장 높은 ADAS 레벨 주행 보조 프로그램인지 판단하고 그리고/또는 운전 지원 단말의 주행 프로그램의 자율 주행 프로그램 및 모바일 장치 자율 주행 프로그램 중 어느 것이 가장 높은 ADAS 레벨 자율 주행 프로그램인지 판단하도록 구성되고, 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 가장 높은 ADAS 레벨 주행 보조 프로그램 및/또는 가장 높은 ADAS 레벨 자율 주행 프로그램을 실행하도록 구성될 수 있다.
운전 지원 시스템은 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 이미지 및/또는 운전 정보에 기초하는 모바일 장치 보조 프로그램 및/또는 모바일 장치 자율 주행 프로그램을 포함하는 모바일 장치 주행 프로그램의 적어도 일부를 실행하도록 구성된 하나 이상의 프로세서를 갖는 모바일 장치를 더 포함할 수 있고, 모바일 장치의 하나 이상의 프로세서 또는 운전 지원 단말의 하나 이상의 프로세서는, 추가로, 운전 지원 단말의 주행 프로그램의 기능 및 모바일 장치 주행 프로그램의 기능 중 어느 것이 더 높은 기능 레벨을 가지는지에 대한 제1 판단을 수행하고, 운전 지원 단말의 주행 프로그램의 어느 기능이 모바일 장치 주행 프로그램에 의해 제공되지 않는지에 대한 제2 판단을 수행하고, 그리고/또는 모바일 장치 주행 프로그램의 어느 기능이 운전 지원 단말의 주행 프로그램에 의해 제공되지 않는지에 대한 제3 판단을 수행하도록 구성될 수 있고, 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 제1 판단, 제2 판단 및 제3 판단의 임의의 하나 또는 임의의 조합에 기초하여 운전 지원 단말의 주행 프로그램 및 모바일 장치 주행 프로그램을 운전 지원 단말 또는 모바일 장치에 의해 제어되는 바에 따라 선택적으로 구현함으로써, 구현된 주행 프로그램을 차량에 의해 제어하도록 구성될 수 있다.
하나의 일반적인 양태에서, 차량의 주변부의 이미지 정보를 생성하는 카메라 시스템, 차량의 운전 정보를 생성하는 차량 컨트롤러 및 통신 포트를 포함하는 개별 차량과 인터페이스하기 위한 운전 지원 방법은, 차량으로부터 분리된 장치기, 통신 포트를 이용하여 이미지 정보 및/또는 운전 정보를 획득하도록 통신 포트와 연결되는 단계, 장치에 의해, 운전 지원 단말 또는 모바일 장치에 의해 생성된 제어 신호를 통해 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여, 이미지 정보 및/또는 운전 정보에 기초하여, 장치로서의 운전 지원 단말 또는 모바일 장치의 주행 보조 프로그램 및/또는 자율 주행 프로그램을 포함하는 장치 주행 프로그램의 적어도 일부를 실행시키는 단계 및 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 생성된 제어 신호를 차량에 제공하는 단계를 포함한다.
방법은, 차량에 의해 구현되도록 구성된 주행 프로그램 중 장치 주행 프로그램의 주행 보조 프로그램 및 임의의 차량 주행 보조 프로그램 중 어느 것이 운전 지원 단말 또는 모바일 장치에 의해 제어 신호의 생성을 구현하는지 판단하고 그리고/또는 차량에 의해 구현되도록 구성된 주행 프로그램 중 장치 주행 프로그램의 자율 주행 프로그램 및 임의의 차량 자율 주행 프로그램 중 어느 것이 운전 지원 단말 또는 모바일 장치에 의해 제어 신호의 생성을 구현하는지 판단하는 단계를 더 포함할 수 있다.
방법은, 차량에 의해 구현되도록 구성된 장치 주행 프로그램 및/또는 임의의 차량 주행 프로그램의 각각의 기능 중 어느 것이 운전 지원 단말 또는 모바일 장치에 의한 제어 신호의 생성을 위하여 구현되는지 판단하는 단계를 더 포함할 수 있다.
하나의 일반적인 양태에서, 차량의 주변부의 이미지 정보를 생성하는 카메라 시스템, 차량의 운전 정보를 생성하는 차량 컨트롤러 및 통신 포트를 포함하는 개별 차량과 인터페이스하기 위한 운전 지원 시스템은, 모바일 장치 주행 프로그램의 적어도 일부를 실행하도록 구성된 하나 이상의 프로세서를 갖는 스마트폰을 포함하고, 모바일 장치 주행 프로그램은 스마트폰에 의해 생성되고 차량에 제공된 제어 신호를 통해 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 이미지 정보 및/또는 운전 정보에 기초하는 모바일 장치 주행 보조 프로그램 및/또는 모바일 장치 자율 주행 프로그램을 포함하고 스마트폰의 포함된 메모리에 저장된다.
차량 컨트롤러는, 차량을 제어하기 위하여, 차량의 메모리에 저장된 차량 주행 보조 프로그램 및/또는 차량 자율 주행 프로그램을 포함하는 차량 주행 프로그램을 실행하도록 구성될 수 있다.
스마트폰의 하나 이상의 프로세서는, 추가로, 모바일 장치 주행 보조 프로그램 및 차량 주행 프로그램 중 어느 것이 가장 높은 ADAS 레벨 주행 보조 프로그램인지 판단하고 그리고/또는 모바일 장치 자율 주행 프로그램 및 차량 자율 주행 프로그램 중 어느 것이 가장 높은 ADAS 레벨 자율 주행 프로그램인지 판단하도록 구성되고, 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 결정된 가장 높은 ADAS 레벨 주행 보조 프로그램 및/또는 결정된 가장 높은 ADAS 레벨 자율 주행 프로그램을 실행하도록 구성될 수 있다.
스마트폰의 하나 이상의 프로세서는, 추가로, 모바일 장치 주행 프로그램의 어느 기능이 차량 주행 프로그램의 대응하는 기능보다 더 높은 기능 레벨을 가지는지에 대한 제1 판단을 수행하고, 모바일 장치 주행 프로그램의 어느 기능이 차량 주행 프로그램에 의해 제공되지 않는지에 대한 제2 판단을 수행하고, 그리고/또는 차량 주행 프로그램의 어느 기능이 모바일 장치 주행 프로그램에 의해 제공되지 않는지에 대한 제3 판단을 수행하도록 구성되고, 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 제1 판단, 제2 판단 및 제3 판단의 임의의 하나 또는 임의의 조합에 기초하여 모바일 장치 주행 프로그램 및 차량 주행 프로그램을 스마트폰에 의해 제어되는 바에 따라 선택적으로 구현함으로써, 구현된 주행 프로그램을 차량에 의해 제어하도록 구성될 수 있다.
제어 신호를 생성하기 위하여, 모바일 장치 주행 보조 프로그램은 운전 지원 정보를 디스플레이하기 위하여 차량의 보조 주행 동작을 제어하기 위한 운전 지원 정보를 생성하도록 구성될 수 있다.
차량의 운전 지원 정보는 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 제어하도록 운전자에게 지시하는 정보를 포함할 수 있다.
운전자에게 지시하는 것은, 장애물 검출에 대한 경고 및/또는 대응하는 장애물 회피 조향 및/또는 제동을 수행하도록 운전자에게 지시하는 것, 후방 충돌 경고를 제공하는 것, 대응하는 후방 충돌 회피 제동을 수행하도록 운전자에게 지시하는 것, 차선 이탈 경고를 제공하는 것, 대응하는 차선 이탈 수정 또는 유지 조향을 수행하도록 운전자에게 지시하는 것, 및/또는 모바일 장치 주행 프로그램에 의해 결정된 제안된 차선 변경을 운전자에게 지시하는 것을 포함할 수 있다.
스마트폰에 의해 제어 신호를 생성하기 위하여, 모바일 장치 주행 보조 프로그램은 운전 지원 제어 신호를 생성하도록 구성될 수 있고, 운전 지원 제어 신호는 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 보조적으로 제어하기 위하여 차량의 보조 주행 동작을 제어하는 신호이다.
차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 보조적으로 제어하기 위하여 차량의 보조 주행 동작을 제어하는 신호는, 검출된 장애물 보조 회피, 검출된 후방 충돌 보조 회피, 예측된 그리고/또는 검출된 차선 이탈 보조 방지 또는 수정 및/또는 모바일 장치 주행 프로그램에 의해 결정된 보조 차선 변경을 위하여, 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 보조적으로 제어하는 것을 포함할 수 있다.
운전 지원 제어 신호는, 보조적으로 제어된 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나에 관한 정보를 나타내는 모바일 장치 주행 보조 프로그램에 의해 생성된 운전 지원 정보를 디스플레이하도록 차량의 보조 주행 동작을 제어하는 신호일 수 있다.
스마트폰에 의해 제어 신호를 생성하기 위하여, 모바일 장치 자율 주행 프로그램은 운전 제어 신호를 생성하도록 구성될 수 있고, 운전 제어 신호는 운전자에 의한 보조 제어 없이 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 제어하기 위하여 차량의 자율 주행 동작을 제어하는 신호일 수 있다.
운전 제어 신호를 생성하는 것은, 폐색된 물체 예측, 차선 변경 결정, 보행자 인식, 도로 변경 인식 및 도로 표지 인식의 임의의 하나 또는 2 이상의 임의의 조합을 수행하는 것과, 수행의 결과에 기초하여 운전 제어 신호를 생성하는 것을 포함할 수 있다.
스마트폰의 하나 이상의 프로세서는, 스마트폰의 메모리로부터 하나 이상의 인공 지능 모델을 로딩하고, 폐색된 물체 예측, 차선 변경 결정, 보행자 인식, 도로 변경 인식 및 도로 표지 인식의 임의의 하나 또는 2 이상의 임의의 조합을 수행하기 위하여 하나 이상의 인공 지능 모델을 구현하도록 구성된 하나 이상의 인공 지능 프로세서를 포함할 수 있고, 운전 제어 신호의 생성은 수행의 결과에 기초한다.
하나 이상의 인공 지능 프로세서는 하나 이상의 신경 모방(neuromorphic) 프로세서를 포함일 수 있고, 하나 이상의 인공 지능 모델은 각각의 신경망 모델일 수 있다.
하나 이상의 프로세서는, 운전 정보를 획득하기 위하여 통신 포트와 연결되고, 차량과 분리되고 스마트폰과 통신하는 적어도 하나의 카메라로부터 다른 이미지 정보를 획득하도록 구성되고, 획득된 운전 정보와 다른 이미지 정보에 기초하여 모바일 장치 주행 프로그램의 적어도 일부를 실행하도록 구성될 수 있다.
적어도 하나의 카메라는 스마트폰 내에 포함된 카메라를 포함할 수 있다.
하나 이상의 프로세서는, 다른 이미지 정보로부터, 차량의 주변부의 이미지를 생성하도록 구성되고, 차량에 의한 디스플레이를 위하여 생성된 이미지를 차량에 제공하도록 구성될 수 있다.
하나의 일반적인 양태에서, 차량의 주변부의 이미지 정보를 생성하는 카메라 시스템, 차량의 운전 정보를 생성하는 차량 컨트롤러 및 통신 포트를 포함하는 개별 차량과 인터페이스하기 위한 운전 지원 시스템은, 이미지 정보 및/또는 운전 정보에 기초하여, 모바일 장치 주행 보조 프로그램 및/또는 모바일 장치 자율 주행 프로그램을 포함하고 모바일 장치의 메모리 내에 저장된 모바일 장치 주행 프로그램의 적어도 일부를 실행하고, 모바일 장치에 의해 생성된 제어 신호를 통해 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하도록 구성된 하나 이상의 프로세서를 포함하는 모바일 장치와, 통신 포트와 연결되도록 구성되고 통신 포트를 이용하여 이미지 정보 및/또는 운전 정보를 획득하고, 획득된 이미지 정보 및/또는 운전 정보를 모바일 장치로 통신하고, 생성된 제어 신호를 차량으로 통신하도록 구성된 통신 하드웨어를 포함하는 운전 지원 단말을 포함하고, 모바일 장치는 운전 지원 단말에 탈착 가능하게 연결되고 운전 지원 단말로부터 분리되며, 운전 지원을 제공하는 것과는 구별되는 컴퓨팅 기능을 포함한다.
차량 제어 장치는 차량을 제어하기 위하여 차량의 메모리에 저장된 차량 주행 보조 프로그램 및/또는 차량 자율 주행 프로그램을 포함하는 차량 주행 프로그램을 실행하도록 구성될 수 있다.
모바일 장치의 하나 이상의 프로세서는, 추가로, 모바일 장치 주행 보조 프로그램 및 차량 주행 보조 프로그램 중 어느 것이 가장 높은 ADAS 레벨 주행 보조 프로그램인지 판단하고 그리고/또는 모바일 장치 자율 주행 프로그램 및 차량 자율 주행 프로그램 중 어느 것이 가장 높은 ADAS 레벨 자율 주행 프로그램인지 판단하도록 구성되고, 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 판단된 가장 높은 ADAS 레벨 주행 보조 프로그램 및/또는 판단된 가장 높은 ADAS 레벨 자율 주행 프로그램을 실행하도록 구성될 수 있다.
모바일 장치의 하나 이상의 프로세서는, 추가로, 모바일 장치의 주행 프로그램의 어느 기능이 차량 주행 프로그램의 대응하는 기능보다 더 높은 기능 레벨을 가지는지에 대한 제1 판단을 수행하고, 모바일 장치 주행 프로그램의 어느 기능이 차량 주행 프로그램에 의해 제공되지 않는지에 대한 제2 판단을 수행하고, 그리고/또는 차량 주행 프로그램의 어느 기능이 모바일 장치 주행 프로그램에 의해 제공되지 않는지에 대한 제3 판단을 수행하도록 구성되고, 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 제1 판단, 제2 판단 및 제3 판단의 임의의 하나 또는 임의의 조합에 기초하여 모바일 장치 주행 프로그램 및 차량 주행 프로그램을 선택적으로 구현함으로써, 모바일 장치의 제어에 의해, 구현된 주행 프로그램을 차량에 의해 제어하도록 구성될 수 있다.
모바일 장치는 스마트폰일 수 있다.
운전 지원 단말은 무선 전력 전송 모듈과 물리적 지지부를 더 포함할 수 있고, 무선 전력 전송 모듈은, 적어도 무선으로 전송된 전력의 수신을 위하여 구성된 모바일 무선 전력 모듈을 더 가질 수 있는 모바일 장치로 무선 전력 전송을 제공하기 위하여 물리적 지지부 내에 구성될 수 있다.
운전 지원 단말은, 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 차량을 제어하기 위하여 이미지 및/또는 운전 정보에 기초하여, 운전 지원 단말 주행 보조 프로그램 및/또는 운전 지원 단말 자율 주행 프로그램을 포함하는 운전 지원 단말 주행 프로그램의 적어도 일부를 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다.
운전 지원 단말은, 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대한 차량의 제어를 위하여, 모바일 장치로부터 제어 신호를 수신하고, 차량의 CAN(controller area network)을 통해 차량 컨트롤러에 제공될 제어 신호를 통신 포트로 제공하도록 구성될 수 있다.
제어 신호의 생성을 위하여, 모바일 장치 주행 보조 프로그램은 운전 지원 정보를 디스플레이하도록 차량의 보조 주행 동작을 보조적으로 제어하기 위하여 운전 지원 정보를 생성하도록 구성될 수 있다.
차량의 운전 지원 정보는 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 제어하기 위하여 운전자에게 지시하는 정보를 포함할 수 있다.
운전자에게 지시하는 것은, 장애물 검출에 대한 경고 및/또는 대응하는 장애물 회피 조향 및/또는 제동을 수행하도록 운전자에게 지시하는 것, 후방 충돌 경고를 제공하는 것, 대응하는 후방 충돌 회피 제동을 수행하도록 운전자에게 지시하는 것, 차선 이탈 경고를 제공하는 것, 대응하는 차선 이탈 수정 또는 유지 조향을 수행하도록 운전자에게 지시하는 것 및/또는 주행 프로그램에 의해 결정된 제안된 차선 변경을 운전자에게 지시하는 것을 포함할 수 있다.
모바일 장치에 의해 제어 신호를 생성하기 위하여, 모바일 장치 주행 보조 프로그램은 운전 지원 제어 신호를 생성하도록 구성될 수 있고, 운전 지원 제어 신호는 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 보조적으로 제어하기 위하여 차량의 보조 주행 동작을 제어하는 신호일 수 있다.
차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 보조적으로 제어하기 위하여 차량의 보조 주행 동작을 제어하는 신호는, 검출된 장애물 보조 회피, 검출된 후방 충돌 보조 회피, 예측된 그리고/또는 검출된 차선 이탈 보조 방지 또는 수정 및/또는 주행 프로그램에 의해 결정된 보조 차선 변경을 위하여, 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 보조적으로 제어하는 것을 포함할 수 있다.
운전 지원 제어 신호는, 보조적으로 제어된 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나에 관한 정보를 나타내는 모바일 장치 주행 보조 프로그램에 의해 생성된 운전 지원 정보를 디스플레이하도록 차량의 보조 주행 동작을 제어하는 신호일 수 있다.
모바일 폰에 의해 제어 신호를 생성하기 위하여, 모바일 장치 자율 주행 프로그램은 운전 제어 신호를 생성하도록 구성될 수 있고, 운전 제어 신호는 운전자에 의한 보조 제어 없이 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 제어하기 위하여 차량의 자율 주행 동작을 제어하는 신호일 수 있다.
운전 제어 신호를 생성하는 것은, 폐색된 물체 예측, 차선 변경 결정, 보행자 인식, 도로 변경 인식 및 도로 표지 인식의 임의의 하나 또는 2 이상의 임의의 조합을 수행하는 것과, 수행의 결과에 기초하여 운전 제어 신호를 생성하는 것을 포함할 수 있다.
모바일 장치의 하나 이상의 프로세서는, 모바일 장치의 메모리로부터 하나 이상의 인공 지능 모델을 로딩하고, 폐색된 물체 예측, 차선 변경 결정, 보행자 인식, 도로 변경 인식 및 도로 표지 인식의 임의의 하나 또는 2 이상의 임의의 조합을 수행하기 위하여 하나 이상의 인공 지능 모델을 구현하도록 구성된 하나 이상의 인공 지능 프로세서를 포함할 수 있고, 운전 제어 신호의 생성은 수행의 결과에 기초한다.
하나 이상의 인공 지능 프로세서는 하나 이상의 신경 모방(neuromorphic) 프로세서를 포함일 수 있고, 하나 이상의 인공 지능 모델은 각각의 신경망 모델일 수 있다.
하나 이상의 프로세서는, 모바일 장치에 의해 획득된 이미지 정보 또는 다른 이미지 정보에 기초하여 차량의 주변부의 이미지를 포함하는 모바일 장치 이미지 정보를 생성하고, 생성된 모바일 장치 이미지 정보에 기초하여 모바일 장치 주행 프로그램의 적어도 일부를 실행하고 그리고/또는 생성된 모바일 장치 이미지 정보에 기초하여 내비게이션 프로그램을 실행하도록 구성될 수 있다.
다른 정보는 모바일 장치에 포함된 카메라로부터 획득될 수 있다.
도 1은 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 2는 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 3은 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 4 및 5는 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 6은 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 7은 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 8은 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 9는 하나 이상의 실시예에 따른 차량의 운전 지원 단말기 및 컨트롤러 사이의 연결 관계를 도시하는 도면이다.
도 10은 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 사시도이다.
도 11은 하나 이상의 실시예에 따른 NPU를 이용하는 주행 프로그램의 구현을 도시하는 블록도이다.
도 12a 및 12b는 각각 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 단면도 및 평면도이다.
도 13은 본 발명의 일 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 14 및 도 15는 본 발명의 이미지 프로세서에 의한 캘리브레이션 동작을 설명하기 위하여 제공되는 도이다.
도 16 및 도 17은 본 발명의 인공 지능 프로세서에 의한 카메라부의 제어 동작을 설명하기 위하여 제공되는 도이다.
도면 및 상세한 설명 전체에 걸쳐, 동일한 참조 번호는 동일한 요소를 나타낸다. 도면은 배율에 맞지 않을 수 있으며, 도면에서의 요소의 상대적인 크기, 비율 및 표시는 명료함, 예시 및 편의를 위하여 과장될 수 있다.
이어지는 상세한 설명은 독자가 본 명세서에 설명된 방법, 장치 및/또는 시스템의 포괄적인 이해를 얻는데 도움을 주도록 제공된다. 그러나, 본 명세서에 설명된 방법, 장치 및/또는 시스템의 변형물, 수정물 및 균등물은 본 출원의 개시 내용을 이해한 후에 명확하게 될 것이다. 예를 들어, 본 명세서에서 설명된 동작들의 순서는 단순이 예시적이고, 본 명세서에 설명된 것에 제한되지 않으며, 본 명세서에서 필수적으로 발생하는 동작을 제외하고는, 본 출원의 개시 내용을 이해한 후에 명확하게 됨에 따라 변경될 수 있다. 또한, 당해 기술 분야에서 공지된 특징에 대한 설명은 명확성 및 간결성을 위하여 생략될 수 있다.
본 명세서에서 설명된 특징들은 상이한 형태로 구체화될 수 있으며, 본 명세서에서 설명된 예로 한정되는 것으로 고려되어서는 안 된다. 오히려, 본 명세서에서 설명된 예는 단지 본 출원의 개시 내용을 이해한 후에 명확하게 되는 본 명세서에 설명된 방법, 장치 및/또는 시스템을 구현하는 많은 가능한 방식의 일부를 예시하기 위하여 제공되었다. 또한, 본 명세서에서의 다양한 예들은, 상이한 예시를 통해 설명되더라도, 상호 배제적이지는 않다. 예를 들어, 이러한 예들에 대하여 설명된 구조, 형상 및 크기는 본 개시 내용의 사상 및 범위를 벗어나지 않으면서 다른 예들 중 임의의 예에서 구현될 수 있다. 또한, 예들은 본 개시 내용의 사상 및 범위를 벗어나지 않으면서 요소들의 위치 또는 배열에 대한 다양한 수정을 포함한다.
더욱이, "제1" 또는 "제2와 같은 용어들이 다양한 컴포넌트를 설명하기 위하여 사용될 수 있지만, 컴포넌트들은 이 용어들에 한정되지 않는다. 이 용어들은 단지 하나의 컴포넌트를 다른 컴포넌트로부터 구별하기 위하여 사용되어야 한다. 예를 들어, "제1" 컴포넌트가 "제2" 컴포넌트라 지칭될 수 있거나, 유사하게, 본 개시 내용의 개념에 따른 권리 범위 내에서 "제2" 컴포넌트가 "제1" 컴포넌트라 지칭될 수 있다.
본 명세서에서 사용된 바와 같이, 상황이 분명하게 달리 나타내지 않는다면, 단수 형태는 복수 형태를 포함하도록 의도된다. 예를 들어, 상황이 분명하게 달리 나타내지 않는다면, 본 명세서에 사용된 바와 같이, 단수 형태는 "들"과 같은 복수의 형태를 포함하도록 의도된다. "포함한다", "구비한다" 및/또는 "가진다"와 같은 용어들은, 본 명세서에 사용될 때, 예시적인 실시예에서 언급된 특징, 완전체(integer), 동작, 요소, 컴포넌트 또는 이들의 조합/그룹의 존재를 특정하지만, 대안적인 실시예에서 하나 이상의 다른 특징, 완전체, 동작, 요소, 컴포넌트 또는 이들의 조합/그룹의 존재를 배제하지 않거나, 본 개시 내용의 상황 및 이해가 달리 나타내지 않는다면, 추가의 대안적인 실시예에서 이러한 언급된 특징, 완전체, 동작, 요소, 컴포넌트 또는 이들의 조합/그룹의 부재를 배제하지 않는다. 또한, 예 또는 실시예에 대한 "~할 수 있다"라는 용어의 사용은, 예를 들어, 예 또는 실시예가 포함할 수 있거나 구현할 수 있는 것에 관하여, 모든 예 및 실시예가 그에 한정되지 않지만 이러한 특징이 포함되거나 구현되는 적어도 하나의 예 또는 실시예가 존재한다는 것을 의미한다.
본 명세서에서 달리 정의되지 않는다면, 기술 용어 또는 과학 용어를 포함하는 본 명세서에 사용된 모든 용어들은 본 개시 내용의 이해와 일치하는 당해 기술 분야에서의 통상의 기술자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의된 용어는 관련 기술 분야 및 본 개시 내용에서의 상황적 의미와 일치하는 의미를 가지는 것으로 간주되어야 하며, 본 명세서에서 달리 정의되지 않는다면, 이상적이거나 과도하게 형식적인 의미로서 간주되어서는 안 된다.
도 1은 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 1을 참조하면, 운전 지원 시스템은 카메라 유닛(110), 차량 제어 유닛(120), 텔레마틱스 제어 유닛(130), 통신 포트(140) 및 운전 지원 단말(200)을 포함할 수 있다.
카메라 유닛(110), 차량 제어 유닛(120), 텔레마틱스 제어 유닛(130) 및 통신 포트(140)는, 차량(100)의 제조 동안 설치된 것과 같은 차량(100) 내의 컴포넌트일 있다. 운전 지원 단말(200)은 그 후에 차량에 선택적으로 연결될 수 있는 하드웨어 컴포넌트일 수 있고, 예를 들어, 운전 지원 단말(200) 및/또는 차량 제어 유닛(120)과 통신할 수 있게 하는 아래에서 논의되는 모바일 장치(300)의 예를 위한 접속부 및/또는 물리적 지지부와 같은 추가 장치를 위한 접속부, 또는 접속부 및 물리적 지지부를 제공할 수 있다. 여기에서, 차량 제어 유닛(120), 텔레마틱스 제어 유닛(130), 통신 포트(140) 및 운전 지원 단말(200)은 각각 하드웨어 또는 컴포넌트일 수 있으며, 예를 들어, 각각의 장치 또는 컴포넌트는 하드웨어만으로, 컴퓨터 기반의 명령어의 실행을 통해 구성되는 하드웨어(예를 들어, 하나 이상의 프로세서)로, 또는 하드웨어와 컴퓨터 기반의 명령어의 실행을 통해 구성되는 하드웨어의 조합으로 구성될 수 있고, 예를 들어, 아래에서 더 설명되는 바와 같이, 이러한 명령어는, 이러한 하나 이상의 프로세서에 의해 실행될 때, 본 명세서에서 설명된 개별 장치 또는 컴포넌트의 임의의 하나, 임의의 조합 또는 모든 동작이나 방법을 구현하도록 하나 이상의 프로세서를 구성하는 명령어일 수 있다. 또한, 장치 또는 컴포넌트가 개별적으로 식별되지만, 이의 각각의 기능이 단일 장치 또는 컴포넌트에 의해 집합적으로 구현되거나, 각각의 기능이 2 이상의 다른 장치 또는 컴포넌트에서 임의의 조합으로 다양하게 조합되는 예들이 존재한다.
카메라 유닛(110)은 차량에 장착될 수 있고, 차량을 둘러싸는 외부 영역을 촬영할 수 있다. 예를 들어, 카메라 유닛(110)은 하나 이상의 카메라를 포함할 수 있고, 차량의 주변부의 이미지를 생성할 수 있다. 카메라 유닛(110)은, 예를 들어, 4개의 카메라를 포함할 수 있고, 차량의 전방 영역, 측방 영역 및 후방 영역을 촬영할 수 있고, 차량의 주변부의 이미지를 생성할 수 있다. 카메라 유닛(110)은 생성된 이미지를 통신 포트(140)에 제공할 수 있다. 추가로, 카메라 유닛(110)은 또한 하나 이상의 카메라와, 예를 들어, 노이즈를 감소시키거나, 캡처된 이미지를 정규화하거나, 아니면 통신 포트(140) 또는 차량 제어 유닛(120)로부터의 이용 가능성 또는 그로의 전송을 위하여, 그리고 일례에서, 운전 지원 단말(200)(및/또는 모바일 장치(300))에 포함된 신경 모방(neuromorphic) 처리 유닛/프로세서와 같은 운전 지원 단말(200)(및/또는 도 4 내지 6의 모바일 장치(300))의 하나 이상의 인공 지능(AI) 컴포넌트 또는 프로세서에 의해 구현된 모델로의 입력을 위한 형태 또는 포맷으로의 캡처된 이미지 또는 이미지 정보의 이미지 처리를 위하여, 캡처된 이미지 또는 이미지 정보에 이미지 처리를 수행하는 것과 같이, 캡처된 이미지에 전처리를 수행하도록 구성될 수 있는 하나 이상의 프로세서를 나타낼 수 있고, 또는 운전 지원 단말에 의해 표현되는 하나 이상의 프로세서, 예를 들어, CPU 및/또는 GPU(또는 모바일 장치(300)에 의해 표현되는 프로세서)는, 비한정적인 예로서, 일련의 피드 포워드 레이어가 이어지는 일련의 컨볼루션 레이어를 통하는 것과 같이, 제공된 이미지 정보로부터 특징을 추출하거나 객체 또는 타겟을 인식하도록 훈련될 수 있고, 예를 들어, 신경망 시스템의 추가의 훈련된 레이어를 통해 이러한 추출된 특징에 기초하여 제어 신호 출력을 생성하도록 더 구성될 수 있는 훈련된 신경망 시스템과 같은, 이러한 인공 지능 모델을 구현하도록 구성된다. 다른 예에서, 도 2 및 3에 대하여 아래에서 논의되는 바와 같이, 하나 이상의 이러한 이미지 전처리 동작은 추가로 또는 대안적으로 데이터 처리 모듈(150)에 의해 수행될 수 있다.
따라서, 차량 제어 유닛(120)은 전자 제어 유닛(121) 및 바디 제어 모듈(122)을 포함할 수 있고, 차량의 전반적인 동작을 제어할 수 있다.
전자 제어 유닛(121)은 차량의 주행 정보 및 동작 정보를 포함하는 운전 정보를 생성할 수 있고, 생성된 주행 정보 및 동작 정보에 따라 차량의 엔진을 제어할 수 있다.
차량은, 속도 센서, 조향 센서, 제동 센서, 가속 센서, 롤 센서, 다양한 운전 컴포넌트 위치 또는 값 표시 센서, 영하 근처 또는 그 아래의 상태에서 가속 및/또는 제동을 조정하기 위하여 전자 제어 유닛(121)에 의해 고려되는 온도 정보를 생성할 수 있는 예시적인 온도 센서, 또는 판단된 축축하거나 젖어 있는 도로 환경에서 유사하게 가속 및/또는 제동을 조정하기 위하여 전자 제어 유닛(121)에 의해 고려되는 대응하는 정보를 생성하는 예시적인 수분 또는 습도 센서와 같은, 차량의 주행 상태 및 동작 상태를 감지하는 하나 이상의 센서를 포함할 수 있다. 전자 제어 유닛(121)은 하나 이상의 센서의 이러한 예시적인 감지된 값 출력으로부터 차량의 주행 정보와 동작 정보를 생성할 수 있다. 전자 제어 유닛(121)은 복수의 관리 모듈, 즉 프로세서나 아니면 컴퓨팅 하드웨어를 포함할 수 있으며, 예시적인 단일의 관리 모듈을 통해 동일한 종류의 센서로부터 출력된 감지된 값을 관리할 수 있다. 예를 들어, 카메라 유닛(110)의 복수의 카메라는 차량의 주변부를 촬영하는 센서일 수 있고, 이 경우에, 전자 제어 유닛(121)은 제1 관리 모듈을 통해 카메라 유닛(110)의 복수의 카메라의 이미지를 관리할 수 있고, 온도 또는 습도 센서와 같은 환경 센서로부터의 정보 또는 신호는 제2 관리 모듈에 의해 관리될 수 있고, 각각의 관리 모듈은 해당하는 수신된 센서 정보를 처리하도록 구성되고, 위에서 논의된 바와 같이, 예를 들어, 운전자에 대한 더 많은 정보 통지를 위한 계기 클러스터 및/또는 전자 제어 유닛(121)에 의해 구현되는 전술한 인공 지능 컴포넌트 및/또는 모델과 같은 차량의 다양한 다른 컴포넌트로의 제공을 위하여 센서 데이터에 다양한 처리를 수행하도록 구성된다.
전자 제어 유닛(121)은, 생성된 주행 정보 및 운전 정보를 통신 포트(140)가 사용 가능하게 하거나 그에 제공할 수 있고, 또한, 비한정적인 예로서 정보의/정보를 위한 임의의 대응하는 제어 신호, 주행 보조 정보 및 제어 및/또는 자율 주행 제어를 포함하는, 차량의 제어를 유하여 전자 제어 유닛(121)이 수행하고 있을 수 있거나 차량의 제어를 위하여 전자 제어 유닛(141)이 수행하도록 구성되는 제어 신호 생성에 관한 다른 정보를 통신 포트(140)가 사용 가능하게 하거나 그에 제공할 수 있다. 따라서, 전자 제어 유닛(121)은, 예를 들어, 운전 지원 단말(200) 및/또는 모바일 장치(300)에 의한, 차량(100)에 포함된 주행 프로그램의 현재의 정보, 보조 및/또는 자율 특징 또는 기능과의 비교를 위하여, 예를 들어, 제조시 전자 제어 유닛(121)에 원래 매립된 바와 같은, 차량(100)에 포함된 주행 프로그램의 이러한 정보, 보조 및/또는 자율 특징 또는 기능의 정보를 사용하거나 제공할 수 있고(그리고/또는 운전 지원 단말(200) 및/또는 모바일 장치(300)에 의해 요청될 수 있다), 운전 지원 단말(200) 및/또는 모바일 장치(300) 중 하나 또는 양자는, 예를 들어, 운전 지원 단말(200) 및/또는 모바일 장치(300)에 의해 구현되는 주행 프로그램(들)을 이용하여 전자 제어 유닛(121)의 이러한 기존의 주행 프로그래밍을 보충하거나 대체할지 여부를 판단할 수 있거나, 또는 이의 기능을 선택할 수 있다.
예를 들어, 상이한 차량이 차량의 제조 동안 설치된 카메라의 상이한 상대 위치, 높이 및 화각(FOV(field of view))을 가지기 때문에, 정보, 보조 및 자율 주행 모두에 대하여 수신된 이미지 정보를 적합하게 등록하기 위한 운전 지원 단말(200) 및/또는 모바일 장치(300)의 주행 프로그램에 의한 고려를 위하여, 카메라 유닛(110)의 카메라 또는 카메라 시스템의 각각의 위치 및/또는 구성 또는 특성에 관한 위치 또는 정렬 등록(registration) 정보 및/또는 다른 각각의 FOV를 갖는 프로그램 정보 또는 다른 정보는 마찬가지로 통신 포트(140)가 사용할 수 있거나 그에 제공될 수 있다. 또한, 운전 지원 단말(200) 및/또는 모바일 장치(300)는 차량(100)의 카메라 유닛(110)의 각각의 카메라에 의해 제공되는 정보의 적절한 예측 및 사용을 위하여 이러한 다양한 차량 특정 정보를 획득하기 위하여 원격 서버와 통신하도록 구성될 수 있다. 또한, 운전 지원 단말(200) 및/또는 모바일 장치(300)는, 예를 들어, 감지된 타이어 압력 또는 사용자가 표시한 비 OEM 타이어 메이크와 모델 및 크기 또는 다른 사후 제조된 서스펜션 수정 또는 사용자에 의해 입력되거나 카메라 유닛(110)으로부터의 정보를 이용하여 운전 지원 단말(200) 및/또는 모바일 장치(300)에 의해 검출 가능한 다른 변화 정보와 같은 추가 변수들을 고려할 수 있다. 모바일 장치(300) 및 운전 지원 단말(200)을 포함하는 예에서, 운전 지원 단말(200) 및/또는 모바일 장치(300)는, 또한, 예를 들어, 운전 지원 단말(200)의 물리적 지지 구성 및 운전 지원 단말(200)과 접촉하는 모바일 장치(300)의 위치 설정에 기초하여, 미리 정해진 상대 위치 관계를 가질 수 있다. 여기에서, 사용자가 운전 지원 단말(200) 및/또는 모바일 장치(300)의 사용자 인터페이스에서 모바일 장치(300)의 제조사 및 모델을 입력할 수 있거나, 운전 지원 단말(200)이 단순히 모바일 장치(300)로부터 이를 요청할 수 있거나, 또는 모바일 장치(300)가, 마찬가지로, 운전 지원 단말(200) 및/또는 모바일 장치(300)의 주행 프로그램에 의한 고려를 위해 추가 카메라로서 모바일 장치(300)의 하나 이상의 카메라의 위치를 등록하기 위하여 이를 스스로 식별할 수 있다. 또한, 모바일 장치(300)의 임의의 케이스 또는 스킨(skin)에 대한 정보가 판단되거나 유사하게 사용자에 의해 입력될 수 있다. 이러한 예에서, 비한정적인 예로서, 운전 지원 단말(200)이 모바일 장치(300)의 하나 이상의 카메라로부터 수신된 정보와 카메라 유닛(110)으로부터의 정보에 기초하여 차량(100)에 대한 이의 위치를 판단할 수 있고 그리고/또는 사용자가, 차량(100) 및 카메라 유닛(110)의 다른 카메라의 위치에 대한 모바일 장치(300)의 카메라(또는 임의의 대안적이거나 추가의 보충 카메라)의 위치의 등록을 위하여, 운전 지원 단말(200) 및/또는 모바일 장치(300)의 사용자 인터페이스에 이러한 위치 설정 정보를 입력할 수 있다.
통신 포트(140)는 온보드 진단(OBD(on-board diagnostics)) 포트를 포함할 수 있다. OBD 포트는 차량의 콘솔 내에 또는 그 근처에 마련될 수 있고, 차량의 다양한 컴포넌트에서 기계적 또는 전기적 불량 또는 문제점을 진단하기 위하여 정비공에 의해 사용되는 통상의 코드 리더와 같은 외부 장치로의 연결을 위하여 승객 또는 운전자가 액세스할 수 있다. 통신 포트(140)는 CAN(controller area network) 통신을 통해 차량의 통신 포트(140) 및 컴포넌트에 연결된 이러한 외부 장치와 통신할 수 있거나, 또는 도시된 바와 같이 통신 포트(140)에 연결된 이러한 외부 장치와 차량의 컴포넌트를 연결하는 대응하는 CAN 네트워크 사이의 네트워크 인터페이스를 제공할 수 있고, 따라서 외부 장치는 CAN 네트워크를 이용하여 이러한 컴포넌트로부터/이러한 컴포넌트로 직접 정보를 수신 및/또는 송신할 수 있다. 일례에서, CAN 네트워크는, 상이한 정보가 본 예의 동일한 통신 채널을 이용하여 제공되거나 사용 가능할 수 있기 때문에 상이한 정보를 제공하거나 전송하기 위하여 차량 내의 컴포넌트들 사이에 이전에 요구된 다수의 배선 또는 통신 채널이 더 이상 필요하지 않을 수 있도록, CAN 네트워크는 동일한 통신 채널을 이용하는 다수의 직렬 통신을 제공할 수 있다. 일례로서, 통신 포트(140)는 CAN 네트워크를 통하여 카메라 유닛(110), 전자 제어 유닛(121) 및 텔레마틱스 제어 유닛(130)을 모두 연결할 수 있다.
바디 제어 모듈(122)은 차량의 바디 내에 포함된 요소들을 제어할 수 있다. 예를 들어, 몸체 제어 모듈(122)은 와이퍼, 전등, 전동 시트, 선루프, 공조 시스템 등을 제어할 수 있다.
텔레마틱스 제어 유닛(130)은 무선 통신 모듈을 포함할 수 있고, 차량 외부에 있는 하나 이상의 외부 장치와의 무선 통신을 수행할 수 있다. 예를 들어, 텔레마틱스 제어 유닛(130)은, 비한정적인 예로서, 이동 통신, 와이파이 통신, 블루투스 통신 또는 근거리나 원거리 통신을 수행하도록 구성될 수 있다. 텔레마틱스 제어 유닛(130)은 이동 통신을 통해 차량의 외부 환경 정보를 수신할 수 있고, 와이파이 통신을 통해 운전 지원 단말(200)로 수신된 외부 환경 정보를 제공할 수 있거나, 운전 지원 단말(200)(또는 예를 들어 모바일 장치(300))은 이러한 수신된 외부환경 정보를 요청하여 수신할 수 있다. 또한, 텔레마틱스 제어 유닛(130)은, 예를 들어, OBD 포트에 대한 대안으로 통신 포트(140)와의 대안적인 통신 채널을 제공하도록 구성될 수 있고, 따라서 운전 지원 단말(200)(및/또는 모바일 장치(300))은 CAN 네트워크를 통해 전자 제어 유닛(121) 또는 차량의 다른 컴포넌트와 인터페이스할 수 있다.
따라서, 운전 지원 단말(200)은 통신 포트(140)에 연결될 수 있고, 전자 제어 유닛(121)에서 생성된 차량의 주행 정보 및 동작 정보와 카메라 유닛(110)에 의해 캡처된 이미지 또는 이러한 캡처된 이미지의 전술한 전처리 이미지 정보를 획득할 수 있다. 또한, 운전 지원 단말(200)은 전술한 모바일 장치(300)와 통신 포트(140) 사이의 통신 중재자 또는 번역/변환 역할을 할 수 있다.
운전 지원 단말(200)은 통신 포트(140)와 짝을 이루도록 구성된 제1 통신 단말(Type_OBD)을 포함할 수 있다. 일례로서, 제1 통신 단말(Type_OBD)은 OBD 타입의 연결 단자를 가질 수 있다.
운전 지원 단말(200)은, 추가로 또는 대안적으로, 텔레마틱스 제어 유닛(130)로부터 외부 환경 정보를 수신할 수 있고, 텔레마틱스 제어 유닛(130) 및 통신 포트(140) 사이의 통신 채널을 통해 CAN 네트워크에 액세스할 수 있다. 예를 들어, 운전 지원 단말(200) 및 텔레마틱스 제어 유닛(130)는 각각의 와이파이 통신 모듈을 통해 서로 데이터를 송수신할 수 있다. 더하여, 운전 지원 단말(200)은, 또한, 예를 들어, 이동 통신 또는 다른 원거리 네트워크 무선 통신을 제공하는 통신 모듈을 포함하고, 아래의 예에서 원격 서버로부터 외부 환경 정보를 요청하거나 본 예의 모바일 장치(300)로부터 이를 요청할 수 있으며, 모바일 장치(300)는 이러한 통신 모듈을 포함한다. 여기에서, 모듈이라는 용어는 하드웨어 컴포넌트를 말한다. 또 다른 예로서, 텔레마틱스 제어 유닛(130)의 기능은 통신 포트(140)의 대응하는 하드웨어에 의해 구현될 수 있고, 운전 지원 단말(200)은 이러한 와이파이 통신을 통하여 통신 포트(140)와 직접 연결될 수 있다.
본 명세서에서의 예에서, 운전 지원 단말(200)은 통신 포트(140)에 연결될 수 있고, 차량의 주행 정보 및 동작 정보를 획득할 수 있고, 그리고/또는 카메라 유닛(110)에서 생성된 이미지 정보 또는 대응하는 전처리된 이미지 정보를 획득할 수 있으며, 예들이 이에 제한되지 않는 것을 주목하라. 본 명세서에서의 다양한 예 중 어떠한 것에서도, 와이파이 통신 모듈(들)은 카메라 유닛(110) 내에, 예를 들어, 대응하는 관리 모듈 내 또는 각각의 카메라 내에, 그리고 통신 포트(140)에 제공될 수 있고, 이 경우에, 운전 지원 단말(200)은 카메라 유닛(110) 및 통신 포트(140)와의 무선 통신을 수행할 수 있으며, 차량의 주행 정보 및 동작 정보와 이러한 다양한 이미지 정보를 획득할 수 있다. 위에서 언급된 바와 같이, 카메라 유닛(110)은 하나 이상의 카메라 및/또는 카메라 시스템을 나타내며, 비한정적인 예로서, 운전 지원 시스템이 일부 예에서 차량(100)에 의해 추가로 지지되거나, 차량(100)에 선택적으로 장착되거나, 아니면 차량(100) 내에 또는 그 상에 장착되어 운전 지원 단말(200) 또는 모바일 장치(300)에 유선으로 연결되거나 운전 지원 단말(200) 및/또는 모바일 장치(300)에 무선으로 연결될 수 있는 전술한 예의 모바일 장치(300)의 하나 이상의 카메라를 더 포함할 수 있다는 것을 주목한다. 예를 들어, 이러한 추가 카메라(들)는, 비한정적인 예로서, USB 와이어 및 운전 지원 단말(200) 또는 모바일 장치(300)의 커넥터를 이용하거나 모바일 장치(300)의 주변 장치 커넥터를 통해 운전 지원 단말(200) 또는 모바일 장치(300)에 연결될 수 있다.
운전 지원 단말(200)은, 다양한 예에서 상이한 레벨의 정보를 각각 제공하는 주행 프로그램, 동일한 레벨의 자율 내에서 상이한 정보, 보조 및/또는 자율 기능을 제공하는 주행 보조 및/또는 자율 및/또는 프로그램을 포함하는 적어도 하나의 주행 프로그램을 저장하도록 구성되고, 예시적인 레벨의 자율 주행 제어를 위한 다양한 운전 지원 정보 및/또는 운전 제어 신호를 생성하기 위하여, 카메라 유닛(110), 대응하는 관리 모듈, 전자 제어 유닛(121)으로부터 획득되고 그리고/또는 얻어지거나 아니면 예를 들어 통신 포트(140)를 통해 액세스되는 CAN 네트워크를 통해 사용 가능한 다양한 가용 이미지 정보와, 예를 들어, 통신 포트(140)를 통해 CAN 네트워크로부터 획득된 전술한 예의 센서 정보, 차량의 주행 정보 및 동작 정보와, 텔레마틱스 제어 유닛(130)으로부터 획득될 수 있는 전술한 외부 환경 정보를 다양하게 고려할 수 있다. 따라서, 운전 지원 단말(200)은 정보를 운전자에게 제공하기 위하여 각각의 상이한 정보를 차량의 중앙 정보 디스플레이 유닛, 계기 클러스터로 전달하도록 CAN 네트워크와 인터페이스할 수 있는 통신 포트(140)로 그리고/또는 청각적 표시를 위한 사운드 생성기를 통해 이러한 정보 및/또는 운전 제어 신호를 제공/전송할 수 있고, 예를 들어, 제어된 세기로 브레이크를 활성화하도록(또는 이의 인가를 감소시키도록) 전자 제동 컨트롤러에 제동 제어 신호를 전송하고, 액셀러레이터를 제어하거나 아니면 스로틀을 제어하기 위하여 전자 액셀러레이터 컨트롤러에 액셀러레이터 제어 신호를 전송하고, 조향에 대한 변화의 정도 및/또는 속도 또는 현재의 조향 제어의 관리를 제어하기 위하여 전자 조향 컨트롤러 또는 EPS(electric power steering)로 조향 제어 신호를 전송함으로써, 전자 제어 유닛(121) 또는 대응하는 제어된 컴포넌트에 각각의 운전 제어 신호를 전달하기 위하여, CAN 네트워크와 유사하게 인터페이스할 수 있다. 전기 자동차의 예에서, 운전 제어 신호는 상이한 휠 모터, 브레이크 및 조향 시스템의 개별 컨트롤러에 통신될 수 있다. 또한, 이러한 전기 자동차의 예에서, 대응하는 저장된 주행 프로그램은, 예를 들어, 하나 이상의 배터리 모듈의 배터리 수명 또는 충전을 최대화하기 위하여, 하나 이상의 배터리 모듈로부터의 추가 정보에 기초하여 이러한 정보, 보조 및/또는 다른 자율 제어 기능을 수행할 수 있다. 대안적으로 또는 추가로, 아래에서 논의되는 모바일 장치(300)는, 유사하게, 직접 또는 차량과의 중재자 또는 번역기로서 운전 지원 단말(200)을 이용하여, 이러한 주행 프로그램을 저장하고, 이러한 정보 및/또는 운전 제어 신호를 생성하여 통신 포트(140) 또는 텔레마틱스 제어 유닛(130)에 제공/전송할 수 있고, 예를 들어, 모바일 장치(300)가 대응하는 정보 및/또는 제어 신호를 생성하기 위하여 명령어의 코딩을 운전 지원 단말(200)로 제공/전송하거나, 모바일 장치(300)가 이러한 정보 및/또는 제어 신호를 생성하여 이러한 정보 및/또는 제어 신호를 통신 포트(140)에 제공/전송하는 운전 지원 단말(200)로 제공/전송한다. 모바일 장치(300)가 정보 및/또는 제어 신호를 생성하기 위하여 이러한 명령어의 코딩을 운전 지원 단말(200)에 제공하는 예에서, 예를 들어, 운전 지원 단말(200)은, 예를 들어, 운전 지원 단말(200) 및 모바일 장치(300) 사이의 통신 프로토콜로, 이러한 명령어 코딩을 수신하고, CAN 네트워크의 CAN 통신 프로토콜과 양립하는 포맷의 형태로 정보 및/또는 제어 신호를 생성하여 이를 통신 포트(140)에 제공/전송한다. 비한정적인 예로서, 모바일 장치(300)는 대안적으로 운전 지원 단말(200) 및 모바일 장치 사이의 통신 프로토콜로 정보 및/또는 제어 신호를 생성하여 제공할 수 있고, 운전 지원 단말(200)은 단지 CAN 네트워크와 양립하는 형태와 포맷으로 정보 및/또는 제어 신호를 변환하여, 이를 통신 포트(140)로 제공/전송한다.
따라서, 운전 지원 단말(200)은, 예를 들어, 운전 지원 단말(200)에 저장된(그리고/또는 모바일 장치(300)에 저장된) 주행 프로그램에 따라, 차량에 다양한 첨단 운전 지원 기능을 제공할 수 있어, 이에 의해, 예를 들어, 첨단 운전자 보조 시스템(advanced driver assistance system(ADAS))을 제공한다.
본 명세서의 임의의 예에서의 운전 지원 단말(200)은 ADAS 표준에서 규정된 미리 정해진 레벨의 이러한 첨단 운전 지원 기능을 제공할 수 있다. 예를 들어, 자동차 기술자 협회(Society of Automotive Engineer)로서 초기에 설립된 SAE 인터네셔널로부터의 SAE J3016의 0 내지 5의 정의된 레벨에 따라, 0 내지 2의 SAE 레벨 동안, 운전자의 발이 페달을 밟지 않고 운전자가 조향하지 않더라도, 운전자가 지속적으로 지원 특징을 감독하여야 하고, 안전을 유지하기 위하여 필요한 바에 따라 조향하거나, 제동하거나, 가속하여야 하기 때문에, 운전자는 다수의 운전자 지원 특징이 구현되거나 관여될 때마다 운전한다. 대신에, 3 내지 5의 SAE 레벨에서, 운전자가 "운전자의 좌석"에 앉아 있더라도, 운전자는 운전자 지원 특징이 구현되거나 관여될 때 운전하지 않으며, SAE 레벨 3에서는 운전자는 차량 또는 운전자 지원 특징이 요청할 때 운전하여야 하며, SAE 레벨 4 및 5에서는 자동화된 주행 특징은 운전자가 운전을 인계받을 것을 요구하지 않을 것이다. SAE 레벨 0으로부터, 관여될 수 있는 예시적인 운전자 지원 특징은, 비한정적인 예로서, 자동 비상 제동, 사각 지대 경고 및 차선 이탈 경고를 포함하며, 이러한 특징들은 경고 및 일시적인 지원으로 제한된다. SAE 레벨 1을 이용하여, 관여될 수 있는 운전자 지원 특징은 차선 중심 조정(lane centering) 또는 적응적 크루즈 제어를 더 포함할 수 있고, 이러한 특징이 운전자에게 조향 또는 제동/가속 지원을 제공하며, 이에 비하여 SAE 레벨 2에서는, 자동화된 운전 특징은 차선 중심 조정 및 적응적 크루즈 제어를 동시에 제공하고 이러한 특징이 운전자에게 조향 및 제동/가속 지원을 제공한다. 따라서, 0 내지 2의 SAE 레벨을 이용하여, 차량은 운전자 지원 특징을 제공하며, 이에 비하여, 3 내지 5의 SAE 레벨은 차량이 자동화된 운전 특징을 제공하는 것으로 고려된다. 예를 들어, SAE 레벨 3을 이용하여, 예시적인 자동화된 운전 특징은 비한정적인 예로서 교통 혼잡 안내(traffic jam chauffeur)를 포함하며, SAE 레벨 4의 자동화된 운전 특징은, 역시 비한정적인 예로서 그리고 심지어 페달/스티어링 휠이 설치되었을 수 있거나 설치되지 않을 수 있는 예시적인 예로서, 지역 무인 택시(local driverless taxi)를 포함한다. 3 및 4의 SAE 레벨을 이용하여, 자동화된 운전 특징은 제한된 조건 하에서 차량을 운전할 수 있고, 모든 필요한 조건이 충족되지 않는다면 동작하지 않을 것이다. SAE 레벨 5의 자동화된 운전 특징 SAE 레벨 4의 모든 자동화된 운전 특징을 포함할 수 있지만, 자동화된 운전 특징은 모든 조건 하에서의 모든 곳에서 운전할 수 있다. 이러한 SAE 레벨을 세분화하는 다른 방식은 '비자동'이라 하는 SAE 레벨 0, '운전자 보조'라 하는 SAE 레벨 1, '부분 자동'이라 하는 SAE 레벨 2, '조건부 자동'이라 하는 SAE 레벨 3, '고수준 자동'이라 하는 SAE 레벨 4 및 '완전 자동'이라 하는 SAE 레벨 5와 같은 해당하는 레벨 명칭을 가진다. 전술한 예시적인 ADAS 표준의 예는 SAE로부터의 SAE J3016이지만, 예들은 이에 한정되지 않는다. 그러나, 아래의 설명의 간소화를 위하여, 이러한 다양한 사용 가능한 ADAS 표준은 집합적으로 간단하게 ASDA 표준이라 할 것이다.
따라서, 운전 지원 단말(200)은 운전 지원 단말(200)(또는 도 4 내지 6에서의 모바일 장치(300))에 저장된 주행 프로그램에 따라 첨단 운전 지원 기능을 제공하도록 구성될 수 있다.
또한, 상이한 예에서, 운전 지원 단말(200)(및/또는 모바일 장치(300))은 상이한 메모리 및 처리 능력을 가질 수 있으며, 하나의 이러한 예는 운전 지원 단말(200)이 제2 또는 더 낮은 ADAS 레벨에 대응하는 첨단 운전 지원 기능을 제공하는 주행 프로그램을 구현하거나 실행하도록 사전 제한되는 것이고, 운전 지원 단말(200)의 처리 모듈은 8 GB/512bit의 고대역폭 메모리(high bandwidth memory(HBM))를 포함할 수 있고, 65X65 mm의 크기와, 초당 10 페타 부동 소수점 연산(10 TFLOPS)의 처리 속도와, 4 와트 이하의 전력 소비 수준을 가질 수 있다. 언급된 바와 같이, 이러한 예시적인 운전 지원 단말(200)(및/또는 모바일 장치(300))은, 비한정적인 예로서, 전방 충돌 경고(forward collusion warning(FCW)) 기능, 차선 이탈 경고(lane departure warning(LDW)) 기능, 차선 유지 보조(lane keeping assist(LKA)) 기능, 사각 지대 경고(blind spot warning(BSW)) 기능, 적응적 크루즈 제어(adaptive cruise control(ACC)) 기능, 주행 도로 인식 기능, 교통 신호 인식 기능 등을 포함할 수 있는, 레벨 2 및 그 아래의, 즉 레벨 2보다 더 높지 않은 첨단 운전 지원 기능을 제공하는 주행 프로그램에 사전 제한될 수 있다.
다른 예에서, 운전 지원 단말(200)(및/또는 모바일 장치(300))은 제3 레벨 또는 그 보다 높은 레벨의 첨단 운전 지원 기능을 제공하는 주행 프로그램을 구현하거나 실행하기 위한 운전 지원 단말(200)의 사전 제한에 대응하는 메모리 및 처리 능력을 가질 수 있으며, 운전 지원 단말(200)의 처리 모듈은 32 GB/1024bit의 고대역폭 메모리(HBM)를 포함할 수 있고, 180X120 mm의 크기와, 초당 100 페타 부동 소수점 연(10 TFLOPS)의 처리 속도와, 6 W 이하의 전력 소비 수준을 가질 수 있다. 언급된 바와 같이, 이러한 예시적인 운전 지원 단말(200)(및/또는 모바일 장치(300))은, 폐색된 물체 예측 기능, 차선 변경 결정 기능, 보행자 인식 기능, 도로 변경 인식 기능, 도로 표지 인식 기능 등을 포함할 수 있는 ADAS 표준에 규정된 제3 레벨 또는 그보다 더 높은 레벨의 첨단 운전 지원 기능을 제공하는 주행 프로그램에 사전 제한될 수 있다. 이 대신에, 일례에서, 이러한 예시적인 메모리 및 처리 구성이나 더 큰 메모리 및 처리 능력을 갖는 예시적인 메모리 및 처리 구성을 이용하여, 운전 지원 단말(200)(및/또는 모바일 장치(300))은 주행 프로그램이 실행되거나 구현될 수 있는 것에 관하여 사전 제한될 수 있고, 따라서 ADAS 표준의 0 내지 5 레벨 중 임의의 것에 대응하는 임의의 주행 프로그램을 구현할 수 있다.
따라서, 운전 지원 단말(200)은 주행 보조 프로그램 및/또는 자율 주행 프로그램을 포함할 수 있는 주행 프로그램을 포함할 수 있다. 일례로서, 운전 지원 단말(200)(또는 모바일 장치(300))가, 예를 들어, 전술한 예의 하급의 메모리 및 처리 능력 때문에, ADAS 표준의 제2 레벨 이하의 첨단 운전 지원 기능을 제공하는 것으로 사전 제한되는 경우에, 운전 지원 단말(200)(및/또는 모바일 장치(300))은 단지 주행 보조 프로그램만을 포함할 수 있다.
대안적으로, 운전 지원 단말(200)(또는 모바일 장치(300))이 더 큰 메모리와 처리 기능을 가지며, ADAS 표준의 제3 레벨 또는 그보다 높은 레벨의 첨단 운전 지원 기능을 제공하는 것으로 사전 제한되거나, 운전 지원 단말(200)이 ADAS 표준의 임의의 특정 레벨 또는 레벨들에 사전 제한되지 않는 경우에, 운전 지원 단말(200)이 구현할 수 있는 주행 프로그램은 주행 보조 프로그램 및 자율 주행 프로그램 중 어느 하나 또는 양자를 포함할 수 있다. 아래의 설명에서, 일례에서, 운전 지원 단말(200)은 이러한 더 큰 메모리와 처리 능력을 가지며, 설명을 용이하게 하기 위하여 설명되는 바와 같이 주행 보조 프로그램 및 자율 주행 프로그램 모두의 기능을 구현할 수 있다.
일례에서, 전자 제어 유닛(121)은 ADAS 표준의 제2 레벨 또는 그보다 낮은 레벨의 첨단 운전 지원 기능을 제공하기 위하여 예시적인 더 작은 메모리 및 처리 능력을 갖는 이러한 메모리 및 처리 구성을 포함할 수 있는 반면, 운전 지원 단말(200)(및/또는 모바일 장치(300))은 ADAS 표준의 적어도 제3 레벨 또는 그보다 높은 레벨의 더 큰 메모리 및 처리 기능을 가지며 주행 보조 프로그램 및 자율 주행 프로그램 중 어느 하나 또는 양자를 포함할 수 있다. 운전 지원 단말(200)(및/또는 모바일 장치(300))은 전자 제어 유닛(121)의 운전 정보, 보조 및 제어 능력에 대한 정보를 요청하거나 아니면 획득할 수 있고, 예를 들어, 사용자 제어에 기초하거나 자동으로, 운전 지원 단말(200)(또는 모바일 장치(300))의 주행 프로그램의 기능과 전자 제어 유닛(121)의 주행 프로그램의 기능의 비교에 기초하여 전자 제어 유닛(121)의 정보, 보조 및/또는 제어 기능을 선택적으로 대체하거나 보충할 수 있으며, 운전 지원 단말(200)(및/또는 모바일 장치(300))의 주행 프로그램의 기능이 더 높은 ADAS 레벨이거나 전자 제어 유닛(121)의 주행 프로그램의 대응하는 기능에 비하여 추가적이거나 더 많은 기능 또는 특징을 제공한다면, 전자 제어 유닛(121)의 이러한 기능은 운전 지원 단말(200)(또는 모바일 장치(300))의 정보 및/또는 제어 신호에 의해 대체될 수 있다. 대안적으로, 전자 제어 유닛(121)의 주행 프로그램이 운전 지원 단말(200)의 주행 프로그램과 동일한 유익하거나 보조적인 기능을 제공하지만 자율 주행 프로그램을 제공하지 않고 운전 지원 단말(200)(및/또는 모바일 장치(300))의 주행 프로그램이 자율 주행 프로그램을 포함한다면, 전자 제어 유닛(121)의 주행 프로그램은 운전 지원 단말(200)(또는 모바일 장치(300))의 주행 프로그램의 자율 주행 프로그램으로 대체될 수 있다.
따라서, 운전 지원 단말(200)(및/또는 모바일 장치(300))은 카메라 유닛(110)으로부터 제공된 이미지 정보(또는 예를 들어 대응하는 관리 모듈로부터의 전술한 전처리된 이미지 정보), 통신 포트(140)로부터 획득된 차량의 주행 정보와 동작 정보 및 텔레마틱스 제어 유닛(130)으로부터 획득된 외부 환경 정보를 각각 고려하고 다양한 운전 지원 정보 및/또는 운전 제어 신호를 생성할 수 있는 주행 보조 프로그램 및 자율 주행 프로그램을 포함하는 주행 프로그램을 적용할 수 있다. 아래에서 더 논의되는 바와 같이, 주행 보조 프로그램 및 자율 주행 프로그램 중 하나 또는 양자는, 예를 들어 신경망의 구현 또는 다른 기계 학습 구현을 통해 하나 이상의 AI 모델을 포함할 수 있다. 또한, 예에서, 주행 보조 프로그램 및 자율 주행 프로그램은, 상이한 각각의 기능에 대하여 주행 보조 프로그램 및 자율 주행 프로그램 모두에 의해 고려되는 정보를 출력하도록 훈련되거나, 예를 들어, 주행 보조 프로그램에 의해 제공되는 기능이 이미지 내의 객체의 제1 특징 및 대응하는 결과적인 양태, 확률, 분류 등에 기초하여 수행될 수 있고 자율 주행 프로그램이 이미지 내의 객체의 제2 특징 및 대응하는 결과적인 양태, 확률, 분류 등에 기초하여 수행될 수 있는 것과 같이 2개의 상이한 프로그램이 각각 고려하는 각각의 상이한 정보를 출력하도록 훈련된 예시적인 훈련된 신경망 객체 검출 모델을 이용하여 객체 검출이 고려된 이미지 정보에 대하여 수행되는 경우, 인공 지능 프로세스 또는 모델을 공유할 수 있다. 이러한 예시적인 훈련된 신경망 객체 검출 모델에서, 이미지 정보는 신경망의 제1 레이어로 입력되고, 그 다음, 모델의 훈련 동안 신경망 모델의 이루고자 하는 과제 및 이러한 신경망 모델의 결과에 따라 수행된 기능에 따라, 다수의 피드 포워드 신경망 레이어 또는 다른 반복되고 양방향으로 반복되는 LSTM(long-short term memory) 레이어 등이 따를 수 있는 특징 추출을 위한 일련의 컨볼루션 신경망을 포함할 수 있다. 또한, 이러한 신경망 모델은 또한 다수의 기능을 위하여 활용될 수 있고, 다수의 이러한 신경망 모델은 단일 기능을 위하여 집합적으로 활용될 수 있다. 예들이 다양한 신경망 구성을 갖는 인공 지능 모델에 대하여 위에서 논의되지만, 다른 신경망 구성 및 다른 기계 학습 모델이 또한 사용 가능하며, 예들이 본 명세서의 예에 한정되지 않는다는 것을 주목하라.
예를 들어, 운전 지원 단말(200)(또는 모바일 장치(300))은 비한정적인 예로서 감지된 주변부 장애물까지의 거리를 인식할 수 있는 대응하는 인공 지능 모델을 구현함으로써 주변부 장애물을 감지할 수 있다. 인식된 거리가 인공 지능 모델에 의한 표시에 기초하여 기준 거리보다 더 짧을 때, 운전 지원 단말(200)은 충돌 경고를 제공할 수 있고, 다른 예에서는, 인공 지능 모델은 또한 자동으로 비상 제동을 구현하도록 이러한 상황에서 제어 신호를 생성하도록 훈련될 수 있거나, 이러한 신호는 충돌 경고를 발행하기 위한 결정에 기초하여 생성될 수 있다. 다른 예에서, 인공 지능 모델은, 대안적으로, 인식된 거리가 더 짧은 기준 거리보다 더 짧을 때 그리고/또는 다른 고려된 인자에 기초하여 이러한 비상 제동을 위한 제어 신호를 생성하도록 훈련될 수 있다. 운전 지원 단말(200)은, 예를 들어, 동일하거나 다른 인공 지능 모델을 이용하여, 차량이 차선으로부터 이탈하였는지 감지할 수 있고, 차량이 차선으로부터 이탈하였을 때, 운전 지원 단말(200)은 이탈 경고를 제공하도록 판단할 수 있거나, 이탈 경고가 인공 지능 모델의 판단에 의해 자동으로 발행될 수 있으며, 유사하게, 인공 지능 모델이, 동시에, 보조 주행 제어 신호를 발행하거나 판단된 더 큰 차선 이탈에 따라 보조 주행 제어 신호를 발행하도록 훈련될 수 있다. 운전 지원 단말(200)은, 사용자의 운전을 지원하기 위하여, 예를 들어, 반복되거나 양방향으로 반복되는 연결된 레이어 또는 LSTM 레이어나 인공 지능 모델의 유사한 기능 컴포넌트를 통하여, 검출된 보행자의 장래 이동 경로를 예측하도록 훈련될 수 있는 이러한 전술한 객체 검출 인공 지능 모델 또는 다른 인공 지능 모델을 통하여 차량 주위의 보행자를 인식할 수 있고, 위와 유사하게, 인공 지능 모델은 장애물 회피를 위하여, 즉, 예측된 장래의 보행자를 회피하도록, 그리고 이에 따라 예측된 장래의 보행자를 회피하기 위하여 조향, 가속 및/또는 제동을 제어하기 위한 제어 신호를 발행하도록 훈련될 수 있거나, 또는 이러한 회피는 운전 지원 단말(200)의 주행 프로그램에 의해 제어될 수 있다. 또한, 운전 지원 단말(200)은 유사하게 동일하거나 각각의 인공 지능 모델을 통해 차선을 유지하고 변경하는 기능을 지원할 수 있고, 이에 따라 차량의 적합한 운전 컴포넌트를 제어하도록 전자 제어 유닛(121)을 제어하기 위하여 전자 제어 유닛(121)에 운전 제어 신호를 발행하거나, 차량의 제어된 운전 컴포넌트에 직접 이러한 운전 제어 신호를 전송함으로써 차선이 없는 교차로, 일반 도로 및 오프로드 등에 대한 운전을 지원할 수 있다.
운전 지원 단말(200)(및/또는 모바일 장치(300))은 차량의 동작 정보를 이용하여 차량의 고장에 대한 표시를 결정할 수 있고, 사용자에게 고장의 원인과 해결책을 제시할 수 있다. 또한, 운전 지원 단말(200)(및/또는 모바일 장치(300))은, 외부 온도가 제2 임계값보다 더 큰 동안 제1 임계값보다 더 큰 내부 온도에 기초하여 바디 제어 모듈(122)이 차량(100)의 공조 시스템의 동작을 제어할 수 있는 예와 같이, 외부 환경 정보에 기초하여 바디 제어 모듈(122)을 제어할 수 있다.
이러한 포함된 프로세서 및 메모리에 더하여, 운전 지원 단말(200)(및/또는 모바일 장치(300))은 미리 정해진 사용자 정보에 따라 차량의 현재 주행 경로에서의 선호 장소를 디스플레이하도록 제어될 수 있고, 선호 장소의 가격 및 예약 서비스에 대한 분석을 제공하고 그리고/또는 차량(100)의 정보 디스플레이 시스템에 대한 이의 디스플레이를 제어할 수 있는 디스플레이 및 사용자 인터페이스를 나타낸다. 위에서, 다양한 예가 운전 지원 단말(200) 및 모바일 장치(300)에 저장될 수 있는 주행 프로그램에 대하여 운전 지원 단말(200) 및 모바일 장치(300)의 성능 및 동작에 관하여 논의되었다. 전자 제어 유닛(121)의 주행 프로그램의 보충 및/또는 대체의 논의와 유사하게, 운전 지원 단말(200)이 모바일 장치(300)를 물리적으로 지지하고, 예를 들어, 무선 충전 통신, 블루투스, 와이파이 또는 USB 케이블링의 USB 표준 또는 그 사이의 다른 사설 연결을 통하여, 이와 통신할 때, 전자 제어 유닛(121), 운전 지원 단말(200) 및 모바일 장치(300) 중에서 주행 보조 프로그램 및/또는 자율 주행 프로그램 사이의 가장 높은 ADAS 레벨의 기능 및/또는 추가 또는 더 큰 특징 제공은, 예를 들어, 사용자에 의해 또는 자동으로 선택될 수 있으며, 임의의 선택 및/또는 다른 자동으로 선택된 가장 높은/가장 큰 정보 및 보조 기능 및/또는 자율 주행 제어 기능이 궁극적으로 제공될 수 있으며, 예를 들어, 선택되지 않은 정보 및 보조 기능 및/또는 자율 주행 제어 기능은 제공되지 않는다. 예를 들어, 다른 주행 프로그램에서의 대응하는 기능보다 더 높은 점수를 갖는 하나의 주행 프로그램에서의 기능이 가장 높거나 가장 큰 기능을 가지는 것으로 고려될 수 있도록, 주행 프로그램에서의 기능에 대한 각각의 점수 부여가 결정될 수 있다. 더욱이, 위에서 언급된 바와 같이, 운전 지원 단말(200)이 0차(zeroth) 내지 제2 ADAS 레벨에 대하여 미리 제한된 예시적인 하급의 메모리 및 처리 능력 프로세서 구성을 가질 수 있는 반면, 모바일 장치(300)는 더 높은 메모리 및 처리 능력 프로세서 구성을 가질 수 있으며 제3 내지 제5 ADAS 레벨로 사전 제한될 수 있어, 상이한 메모리/처리 구성이 이의 해당하는 주행 프로그램과 함께 병렬로 또는 동시에 수행될 수 있고, 따라서 모든 레벨의 주행 보조 및 자율 제어는, 예를 들어, 보조 주행 프로그램을 구현하는 운전 지원 단말(200) 및 자율 주행 프로그램을 구현하는 모바일 장치(300)를 이용하여 제공될 수 있고, 제공된 정보와 보조 및 자율 주행 제어의 운전 지원 단말(200)과 모바일 장치(300)에 의한 제공을 위하여, 대응하는 정보와 제어 신호는 운전 지원 단말(200)로부터(또는 모바일 장치(300)로부터 직접 또는 모바일 장치(300)로부터 운전 지원 단말(200)을 통해) 통신 포트(140)로 제공되며, 그 다음, CAN 네트워크를 통해, 대응하는 컴포넌트로 직접 또는 전자 제어 유닛(121)으로 직접 제공된다. 다른 예로서, 운전 지원 단말(200)이 주행 프로그램을 저장하지 않거나 단지 하급의 정보 또는 보조 기능만을 갖는 주행 프로그램을 저장할 때, 모바일 장치(300)의 주행 프로그램의 더 높거나 더 큰 기능의 주행 보조 프로그램 및 자율 주행 프로그램만이 구현될 수 있고, 운전 지원 단말(200)은 단지, 예를 들어, 전술한 코딩된 제어 정보를 수신하고 이를 전자 제어 유닛(121)으로의 통신을 위하여 또는 차량의 컴포넌트의 직접 제어를 위하여 CAN 네트워크와 호환되는 형태 및 포맷으로 변환하기 위하여 중재자 또는 번역기 역할을 할 수 있거나, 단순히 전자 제어 유닛(121)으로의 통신을 위하여 또는 차량의 컴포넌트의 직접 제어를 위하여 이미 CAN 네트워크의 형태 및 포맷으로 모바일 장치(300)로부터의 이러한 제어 신호를 수신하여 이를 통신 포트(140)를 통해 전달하기 위한 중재자 역할을 할 수 있다. 유사하게, 일례에서, 운전 지원 단말(200)은 임의의 주행 프로그램을 구현하기 위한 처리 능력을 포함하지 않을 수 있고, 단지, 중재자 기능과, 예를 들어, 무선 충전을 통해, 모바일 장치(300)와의 충전 기능만을 수행할 수 있다.
도 2는 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 2에서의 운전 지원 시스템은 도 1에 도시된 운전 지원 시스템과 유사할 수 있으며, 따라서 중복되는 설명은 반복되지 않을 것이고, 차이점이 설명될 것이다.
도 2를 참조하면, 운전 지원 시스템은 데이터 처리 모듈(150)을 더 포함할 수 있다. 도 2에서, 데이터 처리 모듈(150)은 차량(100) 내에 포함된 하드웨어 컴포넌트일 수 있다.
카메라 유닛(110)은 획득된 이미지를 데이터 처리 모듈(150)에 제공할 수 있다. 일례로서, 카메라 유닛(110)은 생성된 이미지 신호를 LVDS(low voltage differential signaling) 인터페이스를 통해 데이터 처리 모듈(150)에 제공할 수 있다.
데이터 처리 모듈(150)은 통신 포트(140)에 연결될 수 있고, 주행 정보와 동작 정보를 획득할 수 있다. 일례로서, 통신 포트(140)와 데이터 처리 모듈(150)은 CAN 네트워크를 통해 서로 연결될 수 있고, 본 명세서에서의 예들이 CAN 통신 프로토콜을 이용하여 이러한 CAN 네트워크에 의해 제공된 차량 내의 컴포넌트들 사이의 연결성을 논의하지만, 예들은 이에 한정되지 않는다는 것을 주목하라. 데이터 처리 모듈(150)은, 예를 들어, 주행 정보와 동작 정보를 이용하여 카메라 유닛(110)으로부터 제공된 이미지를 처리할 수 있다.
예를 들어, 데이터 처리 모듈(150)이 차량 내에 사용되는 내비게이션 장치로서 구현될 때, 데이터 처리 모듈(150)은 내비게이션 프로그램을 포함할 수 있고, 데이터 처리 모듈(150)은 후처리 데이터를 생성하기 위하여 내비게이션 프로그램을 카메라 유닛(110)으로부터 제공된 이미지와 전자 제어 유닛(121)로부터 제공된 주행 정보에 적용할 수 있다. 데이터 처리 모듈(150)은 차량의 디스플레이 및 스피커를 통해 후처리 데이터를 출력할 수 있다.
다른 예로서, 데이터 처리 모듈(150)이 주행 보조 프로그램을 포함할 때, 데이터 처리 모듈(150)은 카메라 유닛(110)으로부터 제공된 이미지와 전자 제어 유닛(121)로부터 제공된 주행 정보에 주행 보조 프로그램을 적용할 수 있고 후처리 데이터를 생성할 수 있다.
데이터 처리 모듈(150)은 생성된 후처리 데이터를 통신 포트(140)가 사용하게 할 수 있게 하거나 통신 포트(140)에 제공할 수 있고, 카메라 유닛(110)로부터 제공된 이미지를 통신 포트(140)가 사용할 수 있게 하거나 통신 포트(140)에 제공할 수 있다
따라서, 운전 지원 단말(200)은 통신 포트(140)를 통해 이미지 및/또는 후처리 데이터를 획득하거나 수신할 수 있다.
운전 지원 단말(200)은, 예를 들어, 데이터 처리 모듈(150)에서 생성된 후처리 데이터에 따라, 운전 지원 단말(200)에 저장된 주행 프로그램을 적용할 지 여부를 판단할 수 있다.
예를 들어, 차량(100)에 의한 주행 보조 프로그램 없이 내비게이션 프로그램만이 데이터 처리 모듈(150)에서 생성된 후처리 데이터에 적용될 때, 운전 지원 단말(200)은 수신된 데이터에 운전 지원 단말(200)의 주행 프로그램, 예를 들어, 주행 프로그램의 대응하는 주행 보조 프로그램 및 자율 주행 프로그램을 적용할 수 있다.
그러나, 주행 보조 프로그램이 차량(100)에 의해, 예를 들어, 전자 제어 유닛(121)에 의해, 데이터 처리 모듈(150)로부터 제공된 후처리 데이터에 적용될 때, 운전 지원 단말(200)은 수신된 데이터에 운전 지원 단말(200)의 주행 프로그램의 자율 주행 프로그램만을 적용할 수 있다. 다른 말로 하면, 주행 보조 프로그램이 차량에 의해 후처리 데이터에 적용될 때, 시스템 자원이 효율적으로 사용될 수 있도록, 일례에서의 운전 지원 단말(200)은 주행 보조 프로그램을 적용하지 않고 수신된 데이터에 자율 주행 프로그램만을 적용할 수 있다.
심지어 주행 보조 프로그램이 후처리 데이터에 적용될 때에도, 운전 지원 단말(200)은 데이터 처리 모듈(150)의 주행 보조 프로그램을 운전 지원 단말(200)의 주행 보조 프로그램과 비교할 수 있고, 운전 지원 단말(200)의 주행 보조 프로그램의 기능이 개선되거나 데이터 처리 모듈(150)의 주행 보조 프로그램에 비하여 추가로 제공된 기능일 때, 운전 지원 단말(200)은, 데이터 처리 모듈(150)의 주행 보조 프로그램이 적용된 처리된 이미지 데이터와 독립적으로, 수신된 데이터, 예를 들어, 수신된 이미지 또는 처리된 이미지 데이터에 주행 보조 프로그램을 적용할 수 있다. 이러한 예에서, 운전 지원 단말(200)은, 또한, 기능 상의 이러한 차이를 미리 결정하고, 데이터 처리 모듈(150)의 주행 보조 프로그램을 구현하지 않고 단지 데이터 처리 모듈(150)에 의해 처리된 이미지 및/또는 이미지 데이터만을 포워드하도록 데이터 처리 모듈(150)에 명령 또는 제어 신호를 제공할 수 있다.
도 3은 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 3에서의 운전 지원 시스템은 도 2에 도시된 운전 지원 시스템과 유사할 수 있으며, 따라서 중복되는 설명은 반복되지 않을 것이고, 차이점이 설명될 것이다.
도 2는 운전 지원 단말(200)이 통신 포트(140)에 직접 연결된 예를 도시한다. 그러나, 도 3을 참조하면, 운전 지원 단말(200)은 데이터 처리 모듈(150)에 직접 연결될 수 있고, 카메라 유닛(110)에서 획득된 이미지와, 전자 제어 유닛(121)에서 생성된 차량의 주행 정보 및 동작 정보와, 데이터 처리 모듈(150)에서 생성된 후처리 데이터를 획득할 수 있다.
운전 지원 단말(200) 및 데이터 처리 모듈(150)은 제2 연결 단자(Type_C)를 통해 상호 연결될 수 있다. 운전 지원 단말(200) 및 데이터 처리 모듈(150)은 각각 제2 연결 단자(Type_OBD)를 포함할 수 있다. 일례로서, 운전 지원 단말(200) 및 데이터 처리 모듈(150)은 C-타입 USB 연결 단자를 통해 상호 연결될 수 있다.
여기에서, 전술한 모바일 장치(300)는 도 2 및 3에 대하여 논의되지 않았지만, 이 논의는 모바일 장치(300)의 주행 프로그램에 유사하게 적용되고, 또한, 모바일 장치(300)에 연결된 운전 지원 단말(200)의 협력적인 고려 사항의 전술한(그리고 아래의) 예에 적용 가능하며, 운전 지원 단말(200) 및 모바일 장치(300)의 어느 하나 또는 양자는 각각 이들의 해당하는 주행 프로그램 및 이의 선택적인 컴포넌트 및 기능을 저장하고 이를 구현하도록 구성될 수 있다.
도 4 및 5는 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 4 및 5에서의 운전 지원 시스템은 도 1 내지 3에 도시된 운전 지원 시스템과 유사할 수 있으며, 따라서 중복되는 설명은 반복되지 않을 것이고, 차이점이 설명될 것이다.
도 4를 참조하면, 상이한 예에서, 도 1의 예에서의 카메라 유닛(110) 또는 도 2 및 3의 예에서의 카메라 유닛(110) 및 데이터 처리 모듈(150)은, 상이한 실시예에서, 스마트폰 또는 태블릿을 포함하는 모바일 장치(300)에 의해 추가로 또는 대안적으로 구현될 수 있다. 모바일 장치(300) 및 통신 포트(140)는, 예를 들어, 와이파이 연결과 같은 무선 통신을 통해 서로 상호 연결될 수 있고, 예들이 이에 한정되지 않는다는 것을 주목하라. 본 명세서에서의 임의의 예에서, 모바일 장치(300) 및 통신 포트(140)는 또한 전술한 예시적인 CAN(controller area network) 통신을 통해 서로 무선으로 연결될 수 있다. 따라서, 카메라 유닛(110) 또는 카메라 유닛(110) 및 데이터 처리 모듈(150)의 기능은 모바일 장치(300)에 채용된 카메라 및 프로세서에 의해 추가로 수행될 수 있다.
도 4를 참조하면, 운전 지원 단말(200)은 제2 연결 단자(Type_C)를 통해 모바일 장치(300)에 직접 연결될 수 있다. 도 5를 참조하면, 운전 지원 단말(200)은 제1 연결 단자(Type_OBD)를 통해 통신 포트(140)에 직접 연결될 수 있다.
도 6은 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 6에서의 운전 지원 시스템은 도 4 및 5에 도시된 운전 지원 시스템과 유사할 수 있으며, 따라서 중복되는 설명은 반복되지 않을 것이고, 차이점이 설명될 것이다. 또한, 모바일 장치(300)와 운전 지원 단말(200)의 주행 프로그램에 대한 도 1 내지 3에 관한 논의도 도 6의 운전 지원 시스템에 적용 가능하다.
따라서, 도 6을 참조하면, 도 6의 예에서의 모바일 장치(300)는 도 4 및 5에 도시된 운전 지원 단말(200)의 기능을 포함할 수 있다. 따라서, 운전 지원 단말(200) 또는 모바일 장치(300)의 주행 프로그램의 구현과 같은 도 4 및 5에 도시된 운전 지원 단말(200)의 기능은 모바일 장치(300)에 채용된 하나 이상의 프로세서에 의해 수행될 수 있다. 예를 들어, 상이한 예에서, 하나 이상의 프로세서는, 0차 내지 제2 ADAS 레벨 또는 제3 내지 제5 ADAS 레벨 각각의 전술한 상이한 하급의 메모리 및 처리 능력 구성 또는 상급의 메모리 및 처리 능력 구성을 가질 수 있거나, 하나 이상의 프로세서는 이러한 논의보다 더 큰 메모리 및 처리 능력 구성을 여전히 가지면서 ADAS 레벨의 특정 주행 보조 또는 자율 주행 기능 그룹에 미리 제한되지 않을 수 있다. 또한, 본 명세서에서, 주행 프로그램 기능은, 임의의 이러한 프로세서 또는 이러한 프로세서의 임의의 조합은 대응하는 명령 및/또는 인공 지능 모델, 예를 들어, 하나 이상의 신경망 저장 파라미터를 로딩하고, 예를 들어, 모바일 장치(300)의 특정 프로세서 및 모바일 장치(300)의 운영 체계를 이용하여, 예시적인 인공 지능 모델이 모바일 장치(300)에서 실행될 수 있게 하는 소프트웨어 개발 키트(SDK(software development kit) 및/또는 API(application programming interface)를 사용하는 예와 같이, CPU, NPU, GPU 및/또는 모바일 장치(300)의 다른 프로세서(들)에 의해 구현될 수 있다. 예를 들어, 인공 모델은 인공 지능 모델을 DLC(deep learning container) 포맷으로 변환하기 위한 모델 변환 도구로 입력되고, 그 다음, 예를 들어, 인공 지능 애플리케이션에 의해 실행될 수 있는 딥 러닝 컨테이너 포맷 파일을 생성하는 최적화 도구를 이용하여 최적화될 수 있다. 더욱 특별한 예로서, 모델 변환 도구는 이러한 인공 지능 모델을 모바일 장치(300)의 하나 이상의 프로세서를 이용하여, 예를 들어, SNPE 예에서 하나 이상의 퀄컴 스냅드래곤 프로세서에 의해, 가속 런타임 동작을 가지면서 모바일 장치(300)의 NPE에 의해 실행될 수 있는 형태 및 파일 포맷으로 변환할 수 있는 신경 처리 엔진(Neural Processing Engine(NPE)) SDK(예를 들어, 스냅드래곤 신경 처리 엔진(Snapdragon Neural Processing Engine(SNPE))의 일부(들)일 수 있다. 이러한 변환은 모바일 장치(300)에 의해 또는 원격 장치나 서버에 의해 수행되고, 모바일 장치(300)에 의해 저장되고 실행되는 주행 프로그램 명령어에 따른 선택적인 실행을 위하여 모바일 장치(300)에 변환된 포맷으로 저장될 수 있다. 다른 예로서, 본 명세서에서, 예시적인 인공 지능 모델은, 모바일 장치(300)의 이러한 프로세서(들)에 의한 실행을 위하여 CaffeEmit, CNTK, CoreML, Keras, MXNet, ONNX, PyTorch, TensorFlow 및 iOS 포맷과 같은 임의의 다양한 포맷으로 생성되거나, 그 포맷으로 저장되거나, 또는 그 포맷으로/그 포맷으로부터 변환될 수 있다. 다른 예 또는 추가의 예에서, 장치 드라이버 레벨은 모바일 장치(300)의 운영 체계에 의해 구현될 수 있고, 인공 지능 모델은, 화웨이 HiAi 엔진 또는 HiHCS(hetrogenous computing system)를 구현하는 예에서와 같이, 장치 드라이버 레벨의 제어를 통해 임의의 이러한 프로세스 또는 이러한 프로세서의 임의의 조합에 의해 선택적으로 실행된다. 일례에서, 모바일 장치(300)는, 예를 들어, 와이파이 통신과 같은 무선 통신을 통해 텔레마틱스 제어 유닛(130) 및 통신 포트(140)와 상호 연결될 수 있고, 차량(100)의 정보를 획득할 수 있다. 도 6에 대하여 여기에서 논의되는 모바일 장치(300)의 논의된 사용 가능한 구성 및 능력은 임의의 다른 도면 또는 모든 다른 도면에 대하여 논의되는 다양한 예에서의 이러한 모바일 장치(300)에 대한 본 명세서에서의 모든 참조에 적용 가능하며, 이러한 임의의 다른 도면 또는 모든 다른 도면을 이용하여 논의된 사용 가능한 구성 및 능력의 이러한 추가적이거나 대안적인 논의는 도 6의 모바일 장치(300)에도 적용 가능하다.
도 7은 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 7의 예에서의 운전 지원 단말(200)은 예를 들어 제2 ADAS 레벨 이하의 첨단 운전 지원 기능을 제공할 수 있으며, 운전 지원 단말(200)의 주행 프로그램은 주행 보조 프로그램을 포함할 수 있고, 예를 들어, 이에 의해 전방 충돌 경고(FCW) 기능, 차선 이탈 경고(LDW) 기능, 차선 유지 보조(LKA) 기능, 사각 지대 경고(BSW) 기능, 적응적 크루즈 제어(ACC)기능, 주행 도로 인식 기능, 교통 신호 인식 기능 등을 제공하거나 지원할 수 있다.
도 7을 참조하면, 본 명세서에서의 운전 지원 단말(200) 예는, 비한정적인 예로서, 인공 지능 프로세서(210), 메모리 유닛(220), 통신 모듈(230) 및 통신 단자(240)를 포함할 수 있으며, 전력 단자(250)를 더 포함할 수 있다.
인공 지능 프로세서(210)는 중앙 처리 유닛(central processing unit(CPU)(211), 신경 처리 유닛(neural processing unit(NPU))(212) 및 인터페이스(213)를 포함할 수 있다. 예를 들어, NPU(212)는 신경 모방 프로세서일 수 있다. CPU(211), NPU(212) 및 인터페이스(213)는 서로 전기적으로 연결될 수 있다. 인공 지능 프로세서(210)의 CPU(211) 및 NPU(212)는 인터페이스(213)를 통해 통신 모듈(230), 통신 단자(240) 및 전력 단자(250)에 연결될 수 있다.
메모리 유닛(220)은 주행 보조 프로그램을 포함하는 주행 프로그램을 저장할 수 있다. 메모리 유닛(220)은 주행 보조 프로그램을 저장하는 복수의 메모리(221, 222)를 포함할 수 있다. CPU(211) 및 NPU(212)는 복수의 상이한 메모리(221, 222)에 각각 연결될 수 있다. 따라서, 메모리(221, 222)에 저장된 주행 보조 프로그램의 실행에 따라, CPU(211) 및 NPU(212)는, 예를 들어, 운전 지원 정보를 생성할 수 있다. 일례에서, 복수의 메모리(221, 222) 각각은 고대역폭 메모리(high bandwidth memory(HBM))로서 구현될 수 있다.
통신 모듈(230)은 와이파이 통신 모듈을 포함할 수 있고, 하나 이상의 외부 장치와 무선 통신을 수행할 수 있다. 예를 들어, 통신 모듈(230)은, 본 명세서의 임의의 예에서, 차량의 텔레마틱스 제어 유닛(130) 및 모바일 장치(300)와의 무선 통신을 수행할 수 있다. 본 명세서에서의 임의의 다양한 예에서, 와이파이 통신 모듈은 또한 카메라 유닛(110) 및 통신 포트(140)에 포함될 수 있고, 이 경우에, 통신 모듈(230)은 카메라 유닛(110) 및 통신 포트(140)와의 무선 통신을 수행할 수 있다.
통신 단자(240)는, 예를 들어, 차량으로/차량으로부터 그리고 모바일 장치(300)로/모바일 장치(300)로부터, 데이터를 송수신하기 위한 경로로서 사용될 수 있다. 예를 들어, 통신 단자(240)는 C 타입 USB 연결 단자 및 OBD 타입 연결 단자의 형상을 가질 수 있다. 상술한 바와 유사하게, 일례에서, 모바일 장치는 유사한 인공 지능 프로세서(210), 메모리 유닛(220), 통신 모듈(230) 및 통신 단자를 포함할 수 있다.
전력 단자(250)는, 예를 들어, OBD 연결 또는 다른 것을 통해, 차량의 배터리에 연결될 수 있고, 차량의 배터리로부터 제공된 전력을 운전 지원 단말(200)의 각각의 요소에 제공할 수 있다. 상이한 예에서, 운전 지원 단말(200)은 차량으로부터 제공된 전력의 전압을 조정하는 전력 관리 모듈(power managing module(PMIC))(260)을 더 포함할 수 있다. 운전 지원 단말(200)은 차량의 배터리로부터 제공된 전력을 무선 방식으로 외부 장치에 제공하는 전송 코일(270)을 더 포함할 수 있다. 이 경우에, 운전 지원 단말(200)은, 예를 들어, 유도 또는 공진 커플링을 통해 무선으로 전송된 전력의 수신을 위하여 유사하게 구성된 도 4 및 5에 도시된 모바일 장치(300)로의 상보적인 유도 또는 공진 커플링을 통해, 예를 들어, 도 10에 도시된 바와 같이 전력을 무선으로 전송하고 지지하도록, 스탠드 또는 지지 형태를 포함하는 것으로 구현될 수 있다.
일례에서, 운전 지원 단말(200)은 운전 지원 단말(200)이 차량의 배터리로부터 전력을 수신하도록 전력 단자(250)를 포함하지만, 예들은 이에 한정되지 않는다. 본 명세서에서의 임의의 다양한 예에서, 운전 지원 단말(200)은 또한 수신 코일을 포함할 수 있고 역시 무선으로 전력을 수신할 수 있다.
도 8은 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 8을 이용한 일례에서의 운전 지원 단말(200)은 ADAS 표준에 규정된 제3 레벨 이상의 첨단 주행 지원 기능을 제공하는 운전 지원 단말일 수 있고, 운전 지원 단말(200)의 주행 프로그램은 주행 보조 프로그램 및 자율 주행 프로그램을 포함할 수 있거나, 자율 주행 프로그램만을 포함할 수 있고, 일례에서, 이에 의해 폐색된 물체 예측 기능, 차선 변경 결정 기능, 보행자 인식 기능, 도로 변경 인식 기능, 도로 표지 인식 기능 등을 제공하거나 지원할 수 있다. 도 8에서의 운전 지원 단말(200)은 도 7에 도시된 모바일 장치(300)와 유사할 수 있으며, 따라서 중복되는 설명은 반복되지 않을 것이고, 차이점이 설명될 것이다.
도 8을 참조하면, 도 8에서의 메모리 유닛(220)은 도 7에 도시된 메모리 유닛(220)에 제공된 메모리의 개수보다 더 많은 개수의 메모리를 포함할 수 있다. 예를 들어, 도 7에서의 메모리 유닛(220)이 2개의 메모리를 포함하는 경우에, 도 8에 도시된 메모리 유닛(220)은 4개의 메모리를 포함할 수 있다. 메모리 유닛(220)에서, CPU(211) 및 NPU(212)는 서로 상이한 복수의 메모리에 대응할 수 있고, 주행 보조 프로그램 및 자율 주행 프로그램을 안내할 수 있다.
도 8을 참조하면, 도 7에서의 운전 지원 단말(200)은 단일 통신 단자(240)를 포함할 수 있는 반면, 도 8에서의 운전 지원 단말(200)은 복수의 통신 단자(240a, 240b, 240c, 240d)를 포함할 수 있다.
제1 통신 단자(240a)는 C 타입 USB 연결 단자 및 OBD 타입 연결 단자일 수 있다. 제2 통신 단자(240b)는 CAN 네트워크의 연결 단자일 수 있고, 제3 통신 단자(240c)는 GMSL(gigabit multimedia serial link)의 연결 단자일 수 있고, 제4 통신 단자는 이더넷의 통신 단자일 수 있다. 상술한 바와 유사하게, 일례에서, 모바일 장치(300)는 유사한 인공 지능 프로세서(210), 메모리 유닛(220), 통신 모듈(230) 및 통신 단자를 포함할 수 있다.
도 7 및 8에서의 운전 지원 단말(200)을 비교하면, 도 7에 대하여 설명된 운전 지원 단말(200)은 ADAS 표준에서 규정된 제2 레벨 이하의 첨단 운전 지원 기능을 제공하는 반면, 도 8의 예에서의 운전 지원 단말(200)은 ADAS 표준에서 규정된 제3 레벨 이상의 첨단 운전 지원 기능을 제공할 수 있다. 따라서, 도 7 및 8에서의 운전 지원 단말(200)은 서로 상이할 수 있거나, 메모리와 처리 구성을 갖거나 또는 각각의 기능을 제공하기 위한 2개의 각각의 운전 지원 메모리 및 처리 구성을 갖는 동일한 단말일 수 있다.
도 7에서의 운전 지원 단말(200)의 일례에서, CPU는 ARM Cortex A72x2 and A53x4 @1.5GHz의 사양을 가질 수 있고, NPU는 초당 10 페타 부동 소수점 연산(TFLPOS)의 처리 속도를 가질 수 있다. 이러한 예에서, 메모리 유닛(220)은 8GB/52bit의 고대역폭 메모리를 포함할 수 있고, 다른 예로서, 메모리 유닛(220)은 32 GB의 NAND 플래시 메모리를 포함할 수 있다. 통신 모듈(230)의 와이파이 통신 모듈은, 예를 들어, 적어도 2.2 Gbps의 속도를 제공할 수 있다. 통신 모듈(30)은, 예를 들어, IEEE 802.11ac/ax 표준, 4x4 MU-MIMO 및 1024QAM의 사양을 가질 수 있다. 이러한 예에서, 운전 지원 단말(200)은 4 와트 이하의 전력 소비 레벨을 가질 수 있고, 65X65 mm의 크기를 가질 수 있다.
도 8에서의 운전 지원 단말(200)의 일례에서, CPU는 ARM Cortex A72x2 and A53x4 @1.5GHz의 사양을 가질 수 있고, NPU는 초당 10 페타 부동 소수점 연산(TFLPOS)의 처리 속도를 가질 수 있다. 이러한 예에서, 메모리 유닛(220)은 32GB/1024bit의 고대역폭 메모리(HBM)를 포함할 수 있다. 다른 예로서, 메모리 유닛(220)은 64 GB의 NAND 플래시 메모리를 포함할 수 있다. 통신 모듈(230)의 와이파이 통신 모듈은, 예를 들어, 적어도 1 Gbps의 속도를 제공할 수 있다. 통신 모듈(30)은, 예를 들어, IEEE 802.11ac/ax 표준, 4x4 MU-MIMO 및 1024QAM의 사양을 가질 수 있다. 이러한 예에서, 운전 지원 단말(200)은 6.6 와트 이하의 전력 소비 레벨을 가질 수 있고, 180X120 mm의 크기를 가질 수 있다.
도 9는 하나 이상의 실시예에 따른 운전 지원 시스템을 도시하는 블록도이다.
도 9를 참조하면, 운전 지원 단말(200)은 제3 통신 단자(240c)를 통해, 차량의 컨트롤러, 예를 들어, 전자 제어 유닛(121)에 연결될 수 있다. 운전 지원 단말(200)은 제3 통신 단자(240c)를 통해 전자 제어 유닛(121)에 연결될 수 있고, 차량의 전방 영역, 측방 영역 및 후방 영역을 촬영하는 카메라 유닛(110)의 이미지를 수신할 수 있다. 이 경우에, 전자 제어 유닛(121)은 운전 지원 단말(200)의 첨단 주행 지원 기능을 제공하는 주행 프로그램을 포함할 수 있다.
운전 지원 단말(200)이 지연 없이 ADA 표준에서 규정된 제3 레벨 이상의 첨단 주행 지원 기능을 제공하기 위하여, 예를 들어, 고성능 데이터 처리 속도 및 고성능 데이터 송수신 속도가 바람직하거나 ADAS 표준에 따라 요구될 수 있고, 따라서 복수의 포트가 다양한 데이터를 수집하도록 마련될 수 있다. 그러나, 예시적인 처리, 메모리 및 통신 사양에 따라, 작은 크기의 운전 지원 단말(200)의 에는 전술한 고성능 양태를 완전히 충족하지 못할 수 있고, 따라서, 비한정적인 예로서, 이러한 더 작은 크기의 운전 지원 단말은 주로 전술한 예의 0차 내지 제2 ADAS 레벨 기능을 구현할 수 있다.
일례에서, 주행 프로그램이 전자 제어 유닛(121)에 임베딩될 수 있거나, 차량이 주행 프로그램을 포함하지 않을 수 있거나, 또는 주행 프로그램이 주행 보조 프로그램 및 자율 주행 프로그램 중 어느 하나 또는 양자를 포함할 수 있다.
일례에서, 전자 제어 유닛(121)으로 운전 지원 단말(200) 및/또는 모바일 장치(300)의 상호 작용을 돕기 위한 명령어가 전자 제어 유닛(121)에 업로드되거나, 설치되거나, 임베디드될 수 있다. 예를 들어, 이러한 명령어는 통신 포트(140)를 통해 제공되거나 아니면 CAN 네트워크를 통해 제공된 운전 지원 단말(200) 및/또는 모바일 장치(300)로부터의 정보 및/또는 제어 신호에 대한 전자 제어 유닛(121)에 의한 수신 및 이해를 도울 수 있고, 이러한 정보 또는 제어 신호에 대한 이러한 이해는 정보 또는 제어 신호를 제어되는 적합한 차량 컴포넌트로 포워딩하는 운전 지원 단말(200) 또는 이를 복제하여 마치 전자 제어 유닛(121)이 자신의 주행 프로그램을 구현하는 것처럼 적합한 차량 컴포넌트에 포워딩하는 전자 제어 유닛(121)을 포함할 수 있어, 예를 들어, 이에 의해 운전 지원 단말(200) 및/또는 모바일 장치(300)로부터, 예를 들어, 청각적 및/또는 시각적으로, 정보의 제공 또는 디스플레이를 제어하고, 그리고/또는 이에 의해 운전 지원 단말(200) 및/또는 모바일 장치(300)로부터의 운전 제어에서 주행 보조 또는 상이한 레벨의 자율을 제공하는 것을 제어한다. 명령어는, 전자 제어 유닛(121)에 의한 이러한 정보 또는 제어 신호에 대한 수신과 이해를 위하여, 차량의 대응하는 컴포넌트에 대한 동일한 정보 또는 제어 신호를 단순히 포워딩하기 위한 전자 제어 유닛(121)의 제어된 수동성을 위하여, 또는 예를 들어, 운전 지원 단말(200) 및/또는 모바일 장치(300)로부터의 정보 또는 제어 신호에 추가하여 전자 제어 유닛(121)의 주행 프로그램에 따라 정보 또는 제어 신호를 발행하지 않거나, 아니면 이러한 정보 또는 제어 신호가 사용자/운전자에게 수신된 정보를 디스플레이(또는 청각적으로 재생산) 하는 것을 방지하거나 제어 신호를 이용하여 대응하는 컴포넌트를 방지함으로써 운전 지원 단말(200) 및 모바일 장치(300)에 의하여 이러한 대응하는 컴포넌트에 직접 제공되는 동일한 제어 또는 제어 신호와 간섭하게나 이를 인터럽트하지 않도록 전자 제어 유닛(121)을 제어하기 위하여, 전자 제어 유닛(121)의 코딩 또는 제어의 추가, 수정 또는 현재 코딩의 삭제를 더 포함할 수 있다. 이러한 명령어는, 전술한 바와 같이, 현재의 보조 주행 프로그램 또는 자율 주행 프로그램의 협동, 보조 주행 프로그램 및/또는 자율 주행 프로그램을 이용한 전자 제어 유닛(121)의 이러한 프로그램의 기능 선택, 또는 운전 지원 단말(200) 및/또는 모바일 장치(300)의 동일한 것의 기능 선택을 제어하기 위하여, 전자 제어 유닛(121)의 코딩 또는 제어의 추가, 수정 또는 현재 코딩의 삭제를 더 포함할 수 있다. 이러한 업로딩, 설치 또는 임베딩은 통신 포트(140)로의 운전 지원 단말(200) 및/또는 모바일 장치(300)의 초기 연결 또는 이러한 주행 보조/제어 기능을 시작하거나 계속하기 위하여 운전 지원 단말(200) 또는 모바일 장치(300)의 대응하는 애플리케이션 또는 프로그램의 실행을 통할 수 있거나, 또는 예를 들어 운전 지원 단말(200) 또는 무선 통신 모듈(32)의 예시적인 사용자 인터페이스를 통하여 전자 제어 유닛(121)에 명령어를 업로드, 설치 또는 임베딩하기 위한 사용자 선택 또는 허가를 통할 수 있다. 추가로 또는 대안적으로, 운전 지원 단말(200) 또는 모바일 장치(300)로부터의 이러한 정보 및 제어 신호와 전자 제어 유닛(121) 사이의 번역 또는 핸드오프 동작을 수행하기 위하여 개별 제어 모듈이 차량 내에 삽입될 수 있다. 또한, 전자 제어 유닛(121)에 업로드되거나, 설치되거나, 임베딩되거나 또는 개별 제어 모듈을 통해 번역 또는 핸드오프 동작을 제공하는 이러한 명령어는 운전 지원 단말(200) 및 모바일 장치(300)에 의한 이러한 제어의 생성을 위하여 운전 지원 단말(200) 및/또는 모바일 장치(300)에 차량 및 감지된 환경 정보를 제공하기 위하여 유사한 인터페이스 기능을 제공할 수 있다. 또한, 일례에서, 전자 제어 유닛(121)은 이러한 전술한 명령어를 이미 포함하여 이에 따라 이러한 전술한 명령이 업로드되거나, 설치되거나 또는 임베딩될 필요가 없도록 동일하거나 양립 가능한 전자 제어 유닛(121)으로 대체될 수 있다.
도 11은 하나 이상의 실시예에 따른 NPU를 이용하는 주행 프로그램의 구현예를 도시하는 블록도이다.
NPU(212)는 이미지 수신기(212a), 이미지 전처리기(212b), 타겟 인식 모델(212c) 및 운전 지원 정보 생성기(212d)를 구현할 수 있고, 따라서, 카메라 유닛(110)에서 획득된 이미지에서 타겟을 인식하고 인식된 타켓에 특정된 운전 지원 정보를 생성할 수 있다.
카메라 유닛(110)에서 획득된 정보는 이미지 수신기(212a)로 입력될 수 있다.
이미지 전처리기(212b)는 입력 이미지 내에서 관심 영역(region of interest(ROI))를 할당하기 위하여 이미지 처리를 수행할 수 있고, 이로부터 관심 이미지를 생성할 수 있다. 일례로서, 이미지 전처리기(212b)는, 예를 들어, 고주파수 필터링을 통해, 입력 이미지의 에지 성분을 추출하여 상이한 관심 영역을 검출할 수 있고, 대응하는 관심 이미지를 생성할 수 있다. 예를 들어, 이미지 전처리기(212b)는, 예를 들어, 하나 이상의 후속 인공 지능 모델이 훈련된 크기와 같은 미리 정해진 크기를 갖도록, 생성된 관심 영역에 정규화를 수행할 수 있다. 이미지 전처리기(212b)는 또한 정규화된 관심 이미지의 밝기(brightness)에 대하여 추가로 캘리브레이션을 수행할 수 있다. 일례로서, 정규화된 관심 이미지의 밝기 값은 중앙 영위(zero-center) 방식을 이용하여 캘리브레이션될 수 있다. 이미지 전처리기(212b)는 정규화되고 캘리브레이션된 관심 이미지를, 예를 들어, 예시적인 피드 포워드, RNN 또는 분류 훈련 레이어가 이어지는 복수의 컨볼레이션 레이어를 갖는 예시적인 훈련된 신경망 시스템을 나타낼 수 있는 타겟 인식 모델(212c)에 제공할 수 있다.
타겟 인식 모델(212c)은 신경망 시스템의 다양한 레이어의 저장된 파라미터, 예를 들어, 예시적인 타겟의 특정 목적을 위하여 이미지를 훈련하는 것에 대하여, 손실 기반 역전파(loss-based back propagation)와 같은 딥 러닝을 통하여 이전에 훈련된 파라미터를 이용하여 신경망 시스템을 구현할 수 있고, 따라서, 메모리로부터 파라미터를 업로드하는 것에 따라, 다수의 신경망 레이어를 통해 전처리된 관심 이미지를 분석하기 위하여 NRU(212)의 요소를 처리하여, NRU(212)는 입력 이미지에서 타겟을 인식할 수 있다. 일례로서, 타겟 인식 모델(212c)은 수신된 프레임마다 타겟을 인식하기 위하여 그리고/또는 입력 이미지의 다수의 검출된 ROI를 위하여, 신경망 시스템을 반복적으로 구현할 수 있고, 상당히 높은 정확성으로 타겟을 인식할 수 있다. 다수의 이러한 신경망 시스템은 각각의 시스템이 해당하는 타겟을 인식하기 위하여 훈련되어 병렬로 수행될 수 있거나, 신경망 시스템은 입력된 이미지의 분류를 수행하고 다양한 훈련된 타겟을 인식하도록 구성될 수 있다. 예를 들어, 타겟은 교통 신호, 차선, 횡단 보도, 도로 표지 등을 포함할 수 있어, 신경망 시스템 또는 각각의 신경망 시스템은 신경망 시스템 또는 각각의 신경망 시스템이 미리 정해진 정확성 또는 미리 정해진 부정확성 내에서 정확한 타겟을 인식할 때까지 다양한 훈련 이미지를 이용하여 훈련될 수 있다.
운전 지원 정보 생성기(212d)는 주행 프로그램 또는 주행 프로그램의 컴포넌트를 구현할 수 있다. 예를 들어, 운전 지원 정보 생성기(212d)는 타겟 인식 모델(212c)에서 인식된 타겟에 대하여 메모리로부터 판독된 주행 프로그램의 주행 보조 프로그램 및 자율 주행 프로그램 중 적어도 하나를 구현할 수 있으며, 인식된 타겟에 특정된, 예를 들어, 인식된 타겟의 위치 및 인식된 타겟과 다른 객체 등의 관계에 특정된 운전 지원 정보를 생성할 수 있다. 본 명세서에서, 각각의 해당하는 논의를 위하여, 설명된 차량은 적어도 대응하는 설명된 운전 지원 기능을 구현하기 위한 엔지니어링된 능력을 갖는 자동차를 의미하며, 특정 레벨 또는 특정 주행 보조 기능의 자율 주행 프로그램의 구현을 논의하는 예에서, 대응하는 차량은 이러한 대응하는 기능을 위한 엔지니어링된 능력을 갖는 차량이다. 대안적으로, 차량이 저어도 하나의 운전 지원 기능을 구현하기 한 적어도 엔지니어링된 능력을 갖는 차량이라 하더라도, 예들은 차량의 기능을 판정하고, 차량이 수행할 수 없는 운전 지원 단말(200) 및/또는 모바일 장치(300)의 주행 프로그램의 기능을 이네이블하지 않는 운전 지원 단말(200) 및/또는 모바일 장치(300)의 대응하는 기능을 차량이 수행할 수 없거나 이를 디스에이블하거나 또는 구현하지 않는 운전 지원 단말(200) 및/또는 모바일 장치(300)의 운전 지원 단말(200)의 기능을 이네이블하지 않는 것을 포함한다.
도 12a 및 12b는 각각 하나 이상의 실시예에 따른 운전 지원 단말을 도시하는 단면도와 평면도이다.
도 12를 참조하면, 비한정적인 예로서, 일례에서의 운전 지원 단말(200)은 기판(280), 인공 지능 프로세서(210), 메모리 유닛(220), 통신 모듈(230), 통신 단자(240), 전력 관리 모듈(260) 및 하우징(290)을 포함할 수 있다.
인공 지능 프로세서(210), 메모리 유닛(220), 통신 모듈(230), 통신 단자(240) 및 전력 관리 모듈(260)은 기판(280) 상에 마련될 수 있다. 통신 모듈(230) 및 전력 관리 모듈(260)은 기판(280)의 일면에 마련될 수 있고, 인공 지능 프로세서(210)는 기판의 타면에 마련될 수 있다. 통신 단자(240)는 인공 지능 프로세서(210)에 마련될 수 있다. 비한정적인 예에서, 운전 지원 단말(200)의 외부는 하우징(290)에 의해 형성될 수 있고, 통신 단자(240)는 외부 장치에 연결되도록 하나의 방향으로 연장하여 돌출할 수 있다.
인공 지능 프로세서(210)는 보조 프로그램 및 자율 주행 프로그램을 포함할 수 있고 각각의 프로그램에 의해 구현되는 대응하는 인공 지능 모델의 훈련된 파라미터를 로딩하거나 필요한 바에 따라 이러한 파라미터를 선택적으로 로딩하는 것을 포함할 수 있는 주행 프로그램을 포함하거나 또는 이를 메모리로부터 로딩할 수 있고, 통신 단자를 통해, 예를 들어, 차량의 통신 포트로부터 그리고/또는 모바일 장치(300)의 추가 카메라 및 예를 들어 모바일 장치(300)의 USB 커넥터를 통해 모바일 장치(300)에 연결된 다른 카메라로부터, 통신 단자를 통해 데이터를 이용하여 운전 지원 정보와 주행 보조 및 자율 주행 제어를 생성할 수 있다. 비한정적인 예로서, 인공 지능 프로세서(210)는 중앙 처리 유닛(CPU) 및 신경 처리 유닛(NPU)을 포함할 수 있고, 메모리 유닛(220)과 통합될 수 있다.
통신 모듈(230)은 와이파이 통신 모듈을 포함할 수 있고, 외부 장치와의 무선 통신을 수행하도록 구성될 수 있다. 일례로서, 통신 모듈(230)은 도 2에 도시된 텔레마틱스 제어 유닛(130)과, 하나 이상의 카메라 및 모바일 장치(300)와의 무선 통신을 수행할 수 있다. 전력 관리 모듈(260)은 전력 관리 모듈(260)이 차량에 연결될 때 차량의 배터리로부터 제공된 전압을 조정할 수 있다. 통신 단자(240)는 외부 장치에 직접 연결될 수 있고, 예를 들어, 차량의 통신 포트에 직접 연결되고 그리고/또는 모바일 장치(300)에 연결된, 데이터를 송수신하기 위한 경로로서 사용될 수 있다.
도 12에서, 통신 단자(240)는 C 타입의 USB 연결 단자의 형상을 가질 수 있으나, 전술한 바와 같이, 통신 단자(240)는 OBD 타입의 연결 단자의 형상을 가질 수 있다.
도 13은 본 발명의 일 실시예에 따른 운전 지원 시스템을 도시하는 블록도이고, 도 14 및 도 15는 본 발명의 이미지 프로세서에 의한 캘리브레이션 동작을 설명하기 위하여 제공되는 도이고, 도 16 및 도 17은 본 발명의 인공 지능 프로세서에 의한 카메라부의 제어 동작을 설명하기 위하여 제공되는 도이다.
도 13의 운전 지원 시스템은 도 1 내지 도 12의 운전 지원 시스템과 유사하므로, 중복되는 설명은 반복되지 않고 차이점을 중심으로 설명하도록 한다.
도 13를 참조하면, 도 1의 실시예의 카메라 유닛(110) 또는 도 2 및 도 3의 실시예에서의 카메라 유닛(110) 및 데이터 처리 모듈(150)은, 스마트폰 또는 태블릿을 포함하는 모바일 장치(300)에 의해 대안적으로 구현될 수 있다. 따라서, 카메라 유닛(110) 또는 카메라 유닛(110) 및 데이터 처리 모듈(150)의 기능은 모바일 장치(300)에 채용된 카메라부 및 컨트롤러에 의해 수행될 수 있다.
도 13을 참조하면, 모바일 장치(300)는 컨트롤러(310), 통신부(320), 카메라부(330), 디스플레이부(340), 전원 공급부(350), 및 전원 스위치(360)를 포함할 수 있다.
컨트롤러(310)는 모바일 장치(300)의 다른 블록들과 전기적 또는 기능적으로 연결되어, 모바일 장치(300)의 전반적인 동작 및 모바일 장치(300)의 내부 블록들 간의 신호 흐름을 제어하고, 데이터를 처리할 수 있다. 컨트롤러(310)는 중앙 처리 장치(Central Processing Unit: CPU), 어플리케이션 프로세서(Application Processor), GPU(Graphic Processing Unit) 등을 포함할 수 있다.
통신부(320)는 외부 클라우드(400)와 네트워크 망을 통해 상호 연결될 수 있다. 네트워크 망이란 소정의 통신 방식을 이용하여 형성된 통신망을 의미할 수 있다. 소정의 통신 방식이라 함은 소정의 통신 규격, 소정의 주파수 대역, 소정의 프로토콜 또는 소정의 채널을 통한 통신 등 모든 통신 방식을 포함할 수 있다. 예를 들면, 블루투스, BLE, Wi-Fi, Zigbee, 3G, 4G, 5G, 초음파를 통한 통신 방식 등을 포함할 수 있으며, 근거리 통신, 원거리 통신, 무선 통신 및 유선 통신을 모두 포함할 수 있다.
한편, 차량(100) 및 모바일 장치(300)는 무선 통신을 통해 서로 상호 연결될 수 있다. 일 예로, 차량(100)의 통신 포트(140, 도 1 내지 도 3 참조)는, 모바일 장치(300)의 통신부(320)와 와이파이 통신과 같은 무선 통신을 통해 상호 연결될 수 있다. 다른 예로, 통신 포트(140, 도 1 내지 도 3 참조) 및 모바일 장치(300)의 통신부(320)는 CAN(controller area network) 통신을 통해 서로 무선으로 연결될 수 있다.
카메라부(330)는 모바일 장치(300)의 전면 또는 후면에 장착되어, 모바일 장치(300)의 외부 영역을 촬영할 수 있다. 카메라부(330)는 생성된 이미지를 컨트롤러(310)에 제공할 수 있다.
디스플레이부(340)는 모바일 장치(300)의 전면에 마련되어, 사용자의 입력에 따른 정보를 화면에 출력할 수 있다. 일 예로, 디스플레이부(340)는 사용자의 터치 입력을 수신하는 터치스크린 장치와 일체로 형성될 수 있다.
전원 공급부(350)는 모바일 장치(300)의 다른 블록들과 전기적으로 연결되어, 다른 블록들의 구동에 필요한 전원을 공급할 수 있다. 일 예로, 전원 공급부(350)는 재충전 불가능한 1차 전지, 또는 재충전 가능한 2차 전지, 또는 연료 전지를 포함할 수 있다. 전원 공급부(350)는 모바일 장치(300) 내부에 일체로 마련될 수 있고, 모바일 장치(300)와 탈부착 가능하게 마련될 수도 있다.
전원 스위치(360)는 전원 공급부(350)로부터 제공되는 전원을 운전 지원 단말(200)에 제공할 수 있다. 컨트롤러(310)는 운전 지원 단말(200)과 모바일 장치(300)의 연결 여부를 감지하여, 전원 스위치(360)의 전원 제공 동작을 제어할 수 있다. 일 예로, 컨트롤러(310)는 운전 지원 단말(200)이 모바일 장치(300)에 연결된 경우, 전원 스위치(360)가 온 동작하도록 제어하여, 운전 지원 단말(200)에 전원을 제공하고, 일 예로, 컨트롤러(310)는 운전 지원 단말(200)이 모바일 장치(300)에 연결되지 않은 경우, 전원 스위치(360)가 오프 동작하도록 제어하여, 운전 지원 단말(200)으로의 전원 제공을 차단할 수 있다.
도 13을 참조하면, 운전 지원 단말(200)은 비한정적인 예로서, 인공 지능 프로세서(210), 이미지 프로세서(205), 모델 저장부(215), 러닝 프로세서(225), 및 전력 관리 모듈(260)을 포함할 수 있다. 운전 지원 단말(200)은 제2 연결 단자(Type_C)를 통해 모바일 장치(300)에 직접 연결될 수 있다.
전력 관리 모듈(power managing module(PMIC))(260)은 모바일 장치(300)으로부터 제공된 전원의 전압을 조정할 수 있다. 전력 관리 모듈(260)은, 운전 지원 단말(200)의 다른 블록들과 전기적으로 연결되어, 다른 블록들의 구동에 필요한 전원을 공급할 수 있다.
이미지 프로세서(205)는 모바일 장치(300)의 카메라부(330)으로부터 제공되는 이미지를 전처리 할 수 있다. 운전 지원 단말(200)과 모바일 장치(300)가 제2 연결 단자(Type_C)를 통해, 상호 연결되는 경우, 이미지 프로세서(205)는 모바일 장치(300)의 카메라부(330)로부터 이미지를 제공받을 수 있다.
실시예에 따라, 모바일 장치(300)의 컨트롤러(310)가 카메라부(330)로부터 제공되는 이미지를 1차적으로 전처리하고, 이미지 프로세서(205)는 1차적으로 전처리된 이미지를, 2차적으로 전처리할 수 있다. 이를 위하여, 모바일 장치(300)의 컨트롤러(310)는 별도의 이미지 프로세서를 포함할 수 있다. 이미지 프로세서(205)는 도 11의 이미지 전처리기(212b)에 대응되는 구성에 해당한다.
일 예로, 이미지 프로세서(205)는 카메라부(330)로부터 제공되는 이미지 내에서 관심 영역(region of interest(ROI))를 할당하기 위하여 이미지 처리를 수행할 수 있고, 이로부터 관심 이미지를 생성할 수 있다. 일 예로, 이미지 프로세서(205)는, 예를 들어, 고주파수 필터링을 통해, 입력 이미지의 에지 성분을 추출하여 상이한 관심 영역을 검출할 수 있고, 상이한 관심 영역에 대응하는 관심 이미지를 생성할 수 있다. 예를 들어, 이미지 프로세서(205)는, 예를 들어, 하나 이상의 후속 인공 지능 모델이 훈련된 크기와 같은 미리 정해진 크기를 갖도록, 생성된 관심 영역에 정규화를 수행할 수 있다. 이미지 프로세서(205)는 또한 정규화된 관심 이미지의 밝기(brightness)에 대하여 추가로 캘리브레이션을 수행할 수 있다. 이미지 프로세서(205)가 정규화된 관심 이미지의 밝기(brightness)를 캘리브레이션 하는 경우, 도 13(a)의 관심 이미지의 밝기 값이 적절하게 감소되어, 도 13(b)의 관심 이미지와 같이 사물 시인성이 개선될 수 있다. 일 예로, 정규화된 관심 이미지의 밝기 값은 중앙 영위(zero-center) 방식을 이용하여 캘리브레이션될 수 있다.
한편, 이미지 프로세서(205)는 정규화된 관심 이미지를 회전시켜, 추가로 캘리브레이션을 수행할 수 있다. 이미지 프로세서(205)가 도 14(a)의 관심 이미지를 시계 방향 또는 반시계 방향으로 회전하여 캘리브레이션 하는 경우, 도 14(b)와 같이, 관심 이미지의 가로 및 세로가 수평 방향 및 수직 방향과 일치하게, 변경될 수 있다.
이미지 프로세서(205)는 정규화되고 캘리브레이션된 관심 이미지를 인공 지능 프로세서(210)에 제공할 수 있다. 인공 지능 프로세서(210)는 이미지 프로세서(205)로부터 제공되는 관심 이미지를 입력 데이터로 활용할 수 있다.
인공 지능 프로세서(210)는 운전 지원 단말(200)의 다른 블록들과 전기적 또는 기능적으로 연결되어, 운전 지원 단말(200)의 전반적인 동작 및 운전 지원 단말(200)의 내부 블록들 간의 신호 흐름을 제어하고, 데이터를 처리할 수 있다.
인공 지능 프로세서(210)는 인공 신경망 처리 유닛을 포함할 수 있다.
인공신경망은 생물학적 뉴런의 동작원리와 뉴런간의 연결 관계를 모델링한 것으로 노드(node) 또는 처리 요소(processing element)라고 하는 다수의 뉴런들이 레이어(layer) 구조의 형태로 연결된 정보처리 시스템이다. 인공 신경망은 기계 학습에서 사용되는 모델로써, 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다.
구체적으로 인공신경망은 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.인공 신경망은 복수의 레이어(layer)를 포함할 수 있고, 레이어들 각각은 복수의 뉴런(neuron)을 포함할 수 있다. 또한 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다.
인공 신경망은 일반적으로 다음의 세가지 인자, 즉 다른 레이어의 뉴런들 사이의 연결 패턴, 연결의 가중치를 갱신하는 학습 과정, 이전 레이어로부터 수신되는 입력에 대한 가중 합으로부터 출력값을 생성하는 활성화 함수에 의해 정의될 수 있다.
인공 신경망은, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)와 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다.
인공신경망은 계층 수에 따라 단층 신경망(Single-Layer Neural Networks)과 다층 신경망(Multi-Layer Neural Networks)으로 구분된다.
인공 신경망은 훈련 데이터(training data)를 이용하여 학습(training)될 수 있다. 여기서 학습이란, 입력 데이터를 분류(classification)하거나 회귀분석(regression)하거나 군집화(clustering)하는 등의 목적을 달성하기 위하여, 학습 데이터를 이용하여 인공 신경망의 파라미터(parameter)를 결정하는 과정을 의미할 수 있다. 인공 신경망의 파라미터의 대표적인 예시로써, 시냅스에 부여되는 가중치(weight)나 뉴런에 적용되는 편향(bias)을 들 수 있다.
인공 지능 프로세서(210)는 입력 데이터 및 모델 학습을 위한 훈련 데이터 등을 입력받을 수 있다.
인공 지능 프로세서(210)는 이미지 프로세서(205)로부터 제공되는 입력 데이터를 모델 저장부(215)에 저장된 학습된 모델(a trained model)에 적용하여, 출력 데이터를 추론할 수 있다.
한편, 인공 지능 프로세서(210)는 이미지 프로세서(205)로부터 제공되는 관심 이미지에 해당하는 입력 데이터에 따라, 모바일 장치(300)에 구비되는 적어도 하나의 블록을 제어할 수 있다.
일 예로, 도 16(a)와 같이, 관심 이미지에 플리커(Flicker) 현상이 포함된 경우, 컨트롤러(310)를 통해, 카메라부(330)의 셔터 속도를 변경할 수 있고, 이로써, 도 16(b)와 같이, 관심 이미지에 포함된 플리커 현상을 제거할 수 있다.
다른 예로, 도 17(a)와 같이, 관심 이미지의 화면 밝기가 어두운 경우, 컨트롤러(310)를 통해, 카메라부(330)의 조리개 값을 변경할 수 있고, 이로써, 도 17(b)와 같이, 관심 이미지의 화면 밝기를 적절히 변경할 수 있다.
러닝 프로세서(225)는 인공 지능 프로세서(210)로부터 제공되는 훈련 데이터를 이용하여 모델 저장부(215)에 저장되는 인공 신경망을 훈련(training, 또는 학습)시킬 수 있다.
인공 지능 프로세서(210)는 모바일 장치(300)의 통신부(320)로부터 제공되는 훈련 데이터를 러닝 프로세서(225)로 전달할 수 있다. 통신부(320)는 클라우드(400)로부터 훈련 데이터를 다운로드 할 수 있다. 운전 지원 단말(200)과 모바일 장치(300)가 제2 연결 단자(Type_C)를 통해, 상호 연결되는 경우, 인공 지능 프로세서(210)는 모바일 장치(300)의 통신부(320)를 통해, 훈련 데이터를 다운로드 할 수 있다. 즉, 운전 지원 단말(200)과 모바일 장치(300)가 제2 연결 단자(Type_C)를 통해, 상호 연결되는 경우, 훈련 데이터가 업데이트 될 수 있다.
운전 지원 단말(200)은 제2 연결 단자(Type_C)를 통해 모바일 장치(300)에 직접 연결될 수 있다.
인공 지능 프로세서(210)는 입력 데이터 및 훈련 데이터를 전처리하여, 전처리된 입력 데이터 및 전처리된 훈련 데이터를 생성할 수 있다. 일 예로, 인공 지능 프로세서(210)에서 수행하는 입력 데이터에 대한 전처리는, 입력 데이터로부터 입력 특징점(input feature)을 추출하는 것을 의미할 수 있다.
모델 저장부(215)는 인공 신경망을 저장할 수 있다. 모델 저장부(215)에 저장되는 인공 신경망은 복수의 은닉층을 포함할 수 있다. 다만, 본 실시예의 인공 신경망이 이에 한정되는 것은 아니다. 인공 신경망은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 인공 신경망의 일부 또는 전부가 소프트웨어로 구현되는 경우, 인공 신경망을 구성하는 하나 이상의 명령어는 메모리에 저장될 수 있다.
모델 저장부(215)에 저장된 인공 신경망은 러닝 프로세서(225)를 통하여 학습될 수 있다. 모델 저장부(215)는 러닝 프로세서(225)에 의해 학습 중인 또는 학습된 모델을 저장할 수 있다. 모델 저장부(215)는 학습을 통하여 모델이 업데이트되면 업데이트 된 모델을 저장한다. 모델 저장부(215)는 필요에 따라 학습된 모델을 학습 시점 또는 학습 진척도 등에 따라 복수의 버전으로 구분하여 저장할 수 있다.
일 예로, 모델 저장부(215)는 도 11의 타겟 인식 모델(212c)을 포함할 수 있다.
타겟 인식 모델(212c)은 신경망 시스템의 다양한 레이어의 저장된 파라미터, 예를 들어, 예시적인 타겟의 특정 목적을 위하여 이미지를 훈련하는 것에 대하여, 손실 기반 역전파(loss-based back propagation)와 같은 딥 러닝을 통하여 이전에 훈련된 파라미터를 이용하여 신경망 시스템을 구현할 수 있고, 따라서, 메모리로부터 파라미터를 업로드하는 것에 따라, 다수의 신경망 레이어를 통해 전처리된 관심 이미지를 분석하기 위하여 NRU(212)의 요소를 처리하여, NRU(212)는 입력 이미지에서 타겟을 인식할 수 있다. 일례로서, 타겟 인식 모델(212c)은 수신된 프레임마다 타겟을 인식하기 위하여 그리고/또는 입력 이미지의 다수의 검출된 ROI를 위하여, 신경망 시스템을 반복적으로 구현할 수 있고, 상당히 높은 정확성으로 타겟을 인식할 수 있다. 다수의 이러한 신경망 시스템은 각각의 시스템이 해당하는 타겟을 인식하기 위하여 훈련되어 병렬로 수행될 수 있거나, 신경망 시스템은 입력된 이미지의 분류를 수행하고 다양한 훈련된 타겟을 인식하도록 구성될 수 있다. 예를 들어, 타겟은 교통 신호, 차선, 횡단 보도, 도로 표지 등을 포함할 수 있어, 신경망 시스템 또는 각각의 신경망 시스템은 신경망 시스템 또는 각각의 신경망 시스템이 미리 정해진 정확성 또는 미리 정해진 부정확성 내에서 정확한 타겟을 인식할 때까지 다양한 훈련 이미지를 이용하여 훈련될 수 있다.
한편, 도 11의 운전 지원 정보 생성기(212d)는 인공 지능 프로세서(210)에 의해 구현될 수 있다.
운전 지원 정보 생성기(212d)는 주행 프로그램 또는 주행 프로그램의 컴포넌트를 구현할 수 있다. 예를 들어, 운전 지원 정보 생성기(212d)는 타겟 인식 모델(212c)에서 인식된 타겟에 대하여 메모리로부터 판독된 주행 프로그램의 주행 보조 프로그램 및 자율 주행 프로그램 중 적어도 하나를 구현할 수 있으며, 인식된 타겟에 특정된, 예를 들어, 인식된 타겟의 위치 및 인식된 타겟과 다른 객체 등의 관계에 특정된 운전 지원 정보를 생성할 수 있다.
러닝 프로세서(225)는 훈련 데이터를 이용하여 모델 저장부(215)에 저장되는 인공 신경망을 훈련(training, 또는 학습)시킬 수 있다.
러닝 프로세서(225)는 인공 지능 프로세서(210)로부터 제공되는 훈련 데이터를 획득하여 모델 저장부(215)에 저장되는 인공 신경망을 학습할 수 있다. 일 예로, 러닝 프로세서(225)는 널리 알려진 다양한 학습 기법을 이용하여 인공 신경망을 반복적으로 학습시킴으로써, 인공 신경망의 최적화된 모델 파라미터들을 결정할 수 있다. 훈련 데이터를 이용하여 학습됨으로써, 파라미터가 결정된 인공 신경망은 학습 모델 또는 학습된 모델(a trained model)로 지칭될 수 있다.
도 1 내지 12b에 대하여 본 명세서에서 설명된 카메라, 카메라 유닛, 카메라 유닛(110), 전자 제어 유닛, 차량 제어 유닛(120), 전자 제어 유닛(121), 바디 제어 모듈(122), 컨트롤러, 통신 포트, 통신 포트(140), 텔레마틱스 제어 유닛(130), 데이터 처리 모듈, 전처리기, 데이터 처리 모듈(150), 모듈, 단말, 관리 모듈, 운전 지원 단말, 운전 지원 단말(200), 모바일 장치, 모바일 장치(300), 모바일 폰, 통신 모듈, 통신 모듈(230), 통신 단자(240, 240a-d), 전력 단자(250), 전송 코일(270), PMIC(260), 메모리 유닛(220), 메모리, 메모리(221, 222), 커넥터, 신경 모방 프로세서, 프로세서, NPU, NPU(212), CPU, CPU(211), 인터페이스, 인터페이스(213), 인공 지능 프로세서, 인공 지능 프로세스(210) 및 다른 장치, 단말, 모듈, 유닛, 디바이스 및 다른 컴포넌트는, 하드웨어 컴포넌트이거나 이에 의해 구현될 수 있다. 적절한 곳에서 본 출원에 설명된 동작을 수행하는데 사용될 수 있는 하드웨어 컴포넌트의 예는, 컨트롤러, 센서, 생성기, 드라이버, 메모리, 비교기, 연산 논리 유닛, 덧셈기, 뺄셈기, 곱셈기, 나눗셈기, 적분기 및 본 출원에서 설명된 동작을 수행하도록 구성된 임의의 다른 전자 컴포넌트를 포함한다. 다른 예에서, 본 출원에서 설명된 동작을 수행하는 하나 이상의 하드웨어 컴포넌트는 컴퓨터 하드웨어에 의해, 예를 들어, 하나 이상의 프로세서나 컴퓨터에 의해 구현된다. 프로세서 또는 컴포넌트는, 논리 게이트 어레이, 컨트롤러 및 연산 논리 유닛, 디지털 신호 프로세서, 마이크로컴퓨터, 프로그래머블 로직 컨트롤러, 필드 프로그래머블 게이트 어레이, 프로그래머블 로직 어레이, 마이크로프로세서 또는 원하는 결과를 성취하기 위하여 정의된 방식으로 명령어에 응답하여 이를 실행하도록 구성된 임의의 다른 장치 또는 장치들의 조합과 같은, 하나 이상의 처리 요소에 의해 구현될 수 있다. 일례에서, 프로세서 또는 컴퓨터는 프로세서 또는 컴퓨터에 의해 실행되는 명령어 또는 소프트웨어를 저장하는 메모리에 포함하거나 이에 연결될 수 있다. 프로세서 또는 컴퓨터에 의해 구현되는 하드웨어 컴포넌트는 본 출원에서 설명된 동작을 수행하기 위하여 운영 체계(OS) 및 OS 상에 실행되는 하나 이상의 소프트웨어 애플리케이션과 같은 명령어 또는 소프트웨어를 실행할 수 있다. 또한, 하드웨어 컴포넌트는 명령어 또는 소프트웨어의 실행에 응답하여 데이터를 액세스하고, 조작하고, 처리하고, 생성하고, 저장할 수 있다. 간소함을 위하여, 단수 형태의 "프로세서" 또는 "컴퓨터"가 본 출원에서 설명된 예의 설명에서 사용될 수 있지만, 다른 예에서, 다수의 프로세서 또는 컴퓨터가 사용되거나, 프로세서 또는 컴퓨터가 다수의 처리 요소나 다수 유형의 처리 요소를 포함할 수 있거나, 또는 이 모두가 가능하다. 예를 들어, 단일 하드웨어 컴포넌트 또는 2 이상의 하드웨어 컴포넌트는, 단일 프로세서에 의해 구현될 수 있거나, 2 이상의 프로세서에 의해 구현될 수 있거나 또는 프로세서 및 컨트롤러에 의해 구현될 수 있다. 하나 이상의 하드웨어 컴포넌트는 하나 이상의 프로세서에 의해 구현될 수 있거나 또는 프로세서와 컨트롤러에 의해 구현될 수 있고, 하나 이상의 다른 하드웨어 컴포넌트는 하나 이상의 다른 프로세서에 의해 구현될 수 있거나 다른 프로세서 및 다른 컨트롤러에 의해 구현될 수 있다. 하나 이상의 프로세서 또는 프로세서와 컨트롤러는, 단일 하드웨어 컴포넌트 또는 2 이상의 하드웨어 컴포넌트를 구현할 수 있다. 하드웨어 컴포넌트는 하나 이상의 상이한 처리 구성을 가질 수 있고, 그 예는 단일 프로세서, 독립 프로세서, 병렬 프로세서, SIMD(single-instruction multiple-data) 다중 처리, MISD(multiple-instruction single-data) 다중 처리, 및 MIMD(multiple-instruction multiple-data (MIMD) 다중 처리를 포함한다.
도 1 내지 11에 대하여 도시되고 논의되며 본 출원에서 설명된 동작을 수행하는 방법은 컴퓨팅 하드웨어에 의해, 예를 들어, 방법에 의해 수행되는 본 출원에서 설명된 동작을 수행하기 위하여 명령어 또는 소프트웨어를 실행하는 전술한 바와 같이 구현되는 하나 이상의 프로세서 또는 컴퓨터에 의해 수행된다. 예를 들어, 단일 동작 또는 2 이상의 동작은 단일 프로세서에 의해, 2 이상의 프로세서에 의해 또는 프로세서와 컨트롤러에 의해 수행될 수 있다. 하나 이상의 동작은 하나 이상의 프로세서에 의해 또는 프로세서와 컨트롤러에 의해 수행될 수 있고, 하나 이상의 다른 동작은 하나 이상의 다른 프로세서에 의해 또는 다른 프로세서와 다른 컨트롤러에 의해 수행될 수 있다. 하나 이상의 프로세서 또는 프로세서와 컨트롤러는 단일 동작 또는 2 이상의 동작을 수행할 수 있다.
하드웨어 컴포넌트를 구현하고 전술한 바와 같은 방법을 수행하도록 컴퓨팅 하드웨어, 예를 들어, 하나 이상의 프로세서 또는 컴퓨터를 제어하기 위한 명령어 또는 소프트웨어는, 하드웨어 컴포넌트에 의해 수행되는 동작과 전술한 바와 같은 방법을 수행하기 위한 기계 또는 전용 컴퓨터로서 동작하도록 하나 이상의 프로세서 또는 컴퓨터를 개별적으로 또는 집합적으로 명령하거나 구성하기 위하여, 컴퓨터 프로그램, 코드 세그먼트, 명령어 또는 이들의 임의의 조합으로서 작성될 수 있다. 일례에서, 명령어 또는 소프트웨어는 컴파일러에 의해 생성된 기계 코드와 같은 하나 이상의 프로세서 또는 컴퓨터에 의해 직접 실행되는 기계 코드를 포함한다. 다른 예에서, 명령어 또는 소프트웨어는, 인터프리터를 이용하여 하나 이상의 프로세서 또는 컴퓨터에 의해 실행되는 고수준 코드를 포함한다. 명령어 또는 소프트웨어는, 하드웨어 컴포넌트에 의해 수행되는 동작과 전술한 바와 같은 방법을 수행하기 위한 알고리즘을 개시하는 본 명세서에서의 도면에 도시된 블록도와 순서도 및 대응하는 설명에 기초하여 임의의 프로그래밍 언어를 이용하여 작성될 수 있다.
하드웨어 컴포넌트를 구현하고 전술한 바와 같은 방법을 수행하기 위하여 컴퓨팅 하드웨어, 예를 들어, 하나 이상의 프로세서 또는 컴퓨터를 제어하기 위한 명령어 또는 소프트웨어와, 임의의 연관된 데이터, 데이터 파일 및 데이터 구조는 하나 이상의 비일시적인 컴퓨터 판독 가능한 저장 매체에 기록되거나, 저장되거나, 정착될 수 있다. 비일시적인 컴퓨터 판독 가능한 저장 매체의 예는, ROM(read-only memory), PROM(random-access programmable read only memory (PROM), EEPROM(electrically erasable programmable read-only memory), RAM(random-access memory), DRAM(dynamic random access memory), SRAM(static random access memory), 플래시 메모리, 비휘발성 메모리, 비한정적인 블루레이 또는 광 디스크 저장 예로서, CD-ROM, CD-R, CD+R, CD-RW, CD+RW, DVD-ROM, DVD-R, DVD+R, DVD-RW, DVD+RW, DVD-RAM, BD-ROM, BD-R, BD-R LTH, BD-RE, HDD(hard disk drive), SDD(solid state drive), 플래시 메모리, 멀티미디어 카드 마이크로 또는 카드와 같은 카드형 메모리(예를 들어, SD(secure digital) 또는 XD(extreme digital)), 자기 테이프, 플로피 디스크, 광자기 데이터 저장 장치, 광 저장 장치, 하드 디스크, 솔리드 스테이트 디스크 및 명령어 또는 소프트웨어 및 임의의 연관된 데이터, 데이터 파일 및 데이터 구조를 비일시적인 방식으로 저장하고, 하나 이상의 프로세서 또는 컴퓨터가 명령어를 실행할 수 있도록 명령어 또는 소프트웨어와, 임의의 연관된 데이터, 데이터 파일 및 데이터 구조를 하나 이상의 프로세서 또는 컴퓨터에 제공하도록 구성된 임의의 다른 장치를 포함한다. 일례에서, 명령어 또는 소프트웨어와, 임의의 연관된 데이터, 데이터 파일 및 데이터 구조는, 명령어 및 소프트웨어와, 임의의 연관된 데이터, 데이터 파일 및 데이터 구조가 하나 이상의 프로세서 또는 컴퓨터에 의해 분산 방식으로 저장되고, 액세스되고, 실행되도록, 네트워크 연결된 컴퓨터 시스템을 통해 분산된다.
본 개시 내용이 특정 예들을 포함하지만, 본 출원의 개시 내용의 이해한 후, 형태 및 상세에서의 다양한 변경이 청구 범위 및 이의 균등물의 사상 및 범위를 벗어나지 않으면서 이러한 예들에 이루어질 수 있다는 것이 명백할 것이다. 본 명세서에서 설명된 예들은 한정의 목적이 아닌 단지 설명적 의미로 고려되어야 한다. 각각의 예에서의 특징 또는 양태에 대한 설명은 다른 예에서 유사한 특징 또는 양태에 적용 가능한 것으로 고려되어야 한다. 설명된 기술이 상이한 순서로 수행되어도, 그리고/또는 설명된 시스템, 아키텍처, 장치 또는 회로 내의 컴포넌트가 상이한 방식으로 조합되고 그리고/또는 다른 컴포넌트 또는 이들의 균등물에 의해 교체되거나 대체되더라도, 적합한 결과가 성취될 수 있다. 따라서, 본 개시 내용의 범위는 상세한 설명이 아닌 청구범위 및 이의 균등물에 의해 정의되며, 청구범위 및 이의 균등물 내의 모든 변형은 본 개시 내용에 포함되는 것으로 간주되어야 한다.

Claims (55)

  1. 개별 차량과 인터페이스하기 위한 운전 지원 시스템에 있어서, 상기 차량은 차량의 주변부의 이미지 정보를 생성하는 카메라 시스템, 상기 차량의 운전 정보를 생성하는 차량 컨트롤러 및 통신 포트를 포함하고, 상기 운전 지원 시스템은,
    상기 통신 포트와 연결되고, 상기 통신 포트를 이용하여 상기 이미지 정보 및/또는 상기 운전 정보를 획득하도록 구성된 하나 이상의 프로세서를 포함하는 운전 지원 단말을 포함하고,
    상기 운전 지원 단말은, 상기 운전 지원 단말에 의해 생성되고 상기 차량에 제공된 제어 신호를 통해 상기 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 상기 차량을 제어하기 위하여 상기 이미지 및/또는 상기 운전 정보에 기초하여, 상기 운전 지원 단말의 주행 프로그램의 적어도 일부를 실행시키도록 구성되는, 운전 지원 시스템.
  2. 제1항에 있어서,
    상기 운전 지원 단말의 상기 주행 프로그램은 주행 보조 프로그램 및/또는 자율 주행 프로그램을 포함하는, 운전 지원 시스템
  3. 제2항에 있어서,
    상기 차량 컨트롤러는, 상기 차량을 제어하기 위하여, 상기 차량의 메모리에 저장된 차량 주행 보조 프로그램 및/또는 차량 자율 주행 프로그램을 포함하는 차량 주행 프로그램을 실행하도록 구성되는, 운전 지원 시스템.
  4. 제3항에 있어서,
    상기 운전 지원 단말의 상기 하나 이상의 프로세서는, 추가로, 상기 운전 지원 단말의 상기 주행 프로그램의 상기 주행 보조 프로그램 및 상기 차량 주행 프로그램의 상기 차량 주행 보조 프로그램 중 어느 것이 가장 높은 ADAS 레벨 주행 보조 프로그램인지 판단하고 그리고/또는 상기 운전 지원 단말의 상기 주행 프로그램의 상기 자율 주행 프로그램 및 상기 차량 주행 프로그램의 상기 차량 자율 주행 프로그램 중 어느 것이 가장 높은 ADAS 레벨 자율 주행 프로그램인지 판단하도록 구성되고, 상기 차량에 의한 상기 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 상기 차량을 제어하기 위하여 상기 가장 높은 ADAS 레벨 주행 보조 프로그램 및/또는 상기 가장 높은 ADAS 레벨 자율 주행 프로그램을 실행하도록 구성되는, 운전 지원 시스템.
  5. 제3항에 있어서,
    상기 운전 지원 단말의 상기 하나 이상의 프로세서는, 상기 운전 지원 단말의 상기 주행 프로그램의 어느 기능이 상기 차량 주행 프로그램의 대응하는 기능보다 더 높은 기능 레벨을 가지는지에 대한 제1 판단을 수행하고, 상기 운전 지원 단말의 상기 주행 프로그램의 어느 기능이 상기 차량 주행 프로그램에 의해 제공되지 않는지에 대한 제2 판단을 수행하고, 그리고/또는 상기 차량 주행 프로그램의 어느 기능이 상기 운전 지원 단말의 상기 주행 프로그램에 의해 제공되지 않는지에 대한 제3 판단을 수행하도록 구성되고, 상기 차량에 의한 상기 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 상기 차량을 제어하기 위하여 상기 제1 판단, 상기 제2 판단 및 상기 제3 판단의 임의의 하나 또는 임의의 조합에 기초하여 상기 운전 지원 단말의 상기 주행 프로그램 및 상기 차량 주행 프로그램을 상기 운전 지원 단말에 의해 제어되는 바에 따라 선택적으로 구현함으로써, 구현된 주행 프로그램 기능을 상기 차량에 의해 제어하도록 구성되는, 운전 지원 시스템.
  6. 제2항에 있어서,
    상기 제어 신호를 생성하기 위하여, 상기 주행 보조 프로그램은 운전 지원 제어 신호와 운전 지원 정보를 생성하도록 구성되고, 상기 운전 지원 제어 신호는 상기 운전 지원 정보를 디스플레이하기 위하여 상기 차량의 보조 주행 동작을 보조적으로 제어하기 위한 신호인, 운전 지원 시스템.
  7. 제6항에 있어서,
    상기 차량의 상기 운전 지원 정보는 상기 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 제어하도록 운전자에게 지시하는 정보를 포함하는, 운전 지원 시스템.
  8. 제7항에 있어서,
    상기 운전자에게 지시하는 것은, 장애물 검출에 대한 경고 및/또는 대응하는 장애물 회피 조향 및/또는 제동을 수행하도록 상기 운전자에게 지시하는 것, 후방 충돌 경고를 제공하는 것 및/또는 대응하는 후방 충돌 회피 제동을 수행하도록 상기 운전자에게 지시하는 것, 차선 이탈 경고를 제공하는 것, 대응하는 차선 이탈 수정 또는 유지 조향을 수행하도록 상기 운전자에게 지시하는 것, 및/또는 상기 주행 프로그램에 의해 결정된 제안된 차선 변경을 상기 운전자에게 지시하는 것을 포함하는, 운전 지원 시스템.
  9. 제2항에 있어서,
    상기 제어 신호를 생성하기 위하여, 상기 주행 보조 프로그램은 운전 지원 제어 신호를 생성하도록 구성되고, 상기 운전 지원 제어 신호는 상기 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 보조적으로 제어하도록 상기 차량의 보조 주행 동작을 제어하기 위한 신호인, 운전 지원 시스템.
  10. 제9항에 있어서,
    상기 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 보조적으로 제어하도록 상기 차량의 보조 주행 동작을 제어하기 위한 신호는, 검출된 장애물 보조 회피, 검출된 후방 충돌 보조 회피, 예측된 그리고/또는 검출된 차선 이탈 보조 방지 또는 수정 및/또는 상기 주행 프로그램에 의해 결정된 보조 차선 변경을 위하여, 상기 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 제어하는 것을 포함하는, 운전 지원 시스템.
  11. 제10항에 있어서,
    상기 운전 지원 제어 신호는, 보조적으로 제어된 상기 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나에 관한 정보를 나타내는 상기 주행 보조 프로그램에 의해 생성된 운전 지원 정보를 디스플레이하도록 상기 차량의 상기 보조 주행 동작을 제어하는 신호인, 운전 지원 시스템.
  12. 제2항에 있어서,
    상기 자율 주행 프로그램은 운전 제어 신호를 생성하도록 구성되고, 상기 운전 제어 신호는 운전자에 의한 보조 제어 없이 상기 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 제어하기 위하여 상기 차량의 자율 주행 동작을 제어하는 신호를 제공하는, 운전 지원 시스템.
  13. 제12항에 있어서,
    상기 운전 제어 신호를 생성하는 것은, 폐색된 물체 예측, 차선 변경 결정, 보행자 인식, 도로 변경 인식 및 도로 표지 인식의 임의의 하나 또는 2 이상의 임의의 조합을 수행하는 것과, 상기 수행의 결과에 기초하여 상기 운전 제어 신호를 생성하는 것을 포함하는, 운전 지원 시스템.
  14. 제13항에 있어서,
    상기 운전 지원 단말의 상기 하나 이상의 프로세서는, 상기 운전 지원 시스템의 포함된 메모리로부터 하나 이상의 인공 지능 모델을 로딩하고, 상기 폐색된 물체 예측, 상기 차선 변경 결정, 상기 보행자 인식, 상기 도로 변경 인식 및 상기 도로 표지 인식의 임의의 하나 또는 2 이상의 임의의 조합을 수행하고 상기 수행의 결과에 기초하는 상기 운전 제어 신호를 생성하기 위하여 상기 하나 이상의 인공 지능 모델을 구현하도록 구성된 하나 이상의 인공 지능 프로세서를 포함하는, 운전 지원 시스템.
  15. 제14항에 있어서,
    상기 하나 이상의 인공 지능 프로세서는 하나 이상의 신경 모방(neuromorphic) 프로세서를 포함하고, 상기 하나 이상의 인공 지능 모델은 각각의 신경망 모델인, 운전 지원 시스템.
  16. 제1항에 있어서,
    상기 하나 이상의 프로세서는 획득된 상기 이미지 정보 및/또는 상기 운전 지원 단말 모델에 의해 획득된 다른 이미지 정보에 후처리를 수행하도록 구성되고, 상기 하나 이상의 프로세서는 하나 이상의 인공 지능 프로세서를 포함하고, 상기 주행 프로그램의 상기 적어도 일부를 실행하는 것은 후처리된 상기 획득된 이미지 정보 및/또는 후처리된 상기 다른 이미지 정보가 제공된 하나 이상의 신경망 모델을 실행시키는 것을 포함하는, 운전 지원 시스템.
  17. 제1항에 있어서,
    상기 하나 이상의 프로세서는 획득된 상기 이미지 정보 및/또는 상기 운전 지원 단말 모델에 의해 획득된 다른 이미지 정보에 후처리를 수행하도록 구성되고, 상기 하나 이상의 프로세서는 하나 이상의 인공 지능 프로세서를 포함하고, 상기 하나 이상의 프로세서는 후처리된 상기 획득된 이미지 정보 및/또는 후처리된 상기 다른 이미지 정보가 제공된 상기 하나 이상의 인공 지능 프로세서를 이용하여 하나 이상의 신경망 모델을 실행시켜 후처리된 상기 획득된 이미지 정보 및/또는 후처리된 상기 다른 이미지 정보를 이용하여 내비게이션 프로그램을 구현하도록 구성되는, 운전 지원 시스템.
  18. 제1항에 있어서,
    상기 하나 이상의 프로세서는 상기 운전 정보를 획득하기 위하여 상기 통신 포트와 연결되도록 구성되고, 상기 운전 지원 단말과 통신하는 상기 차량과 분리된 다른 카메라로부터 다른 이미지 정보를 획득하도록 구성되며, 획득된 상기 운전 정보와 상기 다른 이미지 정보에 기초하여 상기 주행 프로그램의 상기 적어도 일부를 실행하도록 구성되는, 운전 지원 시스템.
  19. 제18항에 있어서,
    상기 하나 이상의 프로세서는, 상기 다른 이미지 정보로부터, 상기 차량의 주변부의 이미지를 생성하도록 구성되고, 상기 차량에 의한 디스플레이를 위하여 상기 차량의 상기 주변부의 이미지를 상기 차량에 제공하도록 구성되는, 운전 지원 시스템.
  20. 제1항에 있어서,
    상기 운전 지원 단말은 OBD 타입 연결 단자를 포함하고, 상기 운전 지원 단말은 상기 OBD 타입 연결 단자를 이용하여 상기 통신 포트에 연결되는, 운전 지원 시스템.
  21. 제1항에 있어서,
    상기 이미지 정보는 상기 차량으로부터 획득되고, 그리고/또는 다른 이미지 정보는 상기 차량으로부터 분리된 카메라로부터 획득되고, 상기 하나 이상의 프로세서는 상기 이미지 정보 및/또는 상기 다른 이미지 정보 및 상기 운전 정보를 이용하여 내비게이션 프로그램의 적어도 하나를 구현하도록 더 구성되는, 운전 지원 시스템.
  22. 제21항에 있어서,
    상기 운전 지원 단말은 C 타입 USB 단말 연결을 이용하여 상기 통신 포트에 연결되는, 운전 지원 시스템.
  23. 제2항에 있어서,
    상기 운전 지원 단말은,
    상기 주행 보조 프로그램 및 상기 자율 주행 프로그램을 저장하는 메모리
    를 포함하고,
    상기 하나 이상의 프로세서는 상기 주행 프로그램의 적어도 일부의 실행을 통해 상기 운전 지원 정보를 생성하는 신경 처리 유닛을 포함하는, 운전 지원 시스템.
  24. 제23항에 있어서,
    상기 신경 처리 유닛은,
    상기 카메라 시스템으로부터 획득된 이미지가 입력되는 이미지 입력 수신기;
    상기 이미지 수신기로 입력된 상기 이미지로부터 관심 이미지의 영역을 추출하도록 구성된 이미지 전처리기;
    상기 관심 이미지에서 타겟을 인식하도록 구현된 타겟 인식 신경망 모델; 및
    인식된 상기 타겟에 대하여 상기 주행 보조 프로그램 및/또는 상기 자율 주행 프로그램의 적어도 일부를 실행하도록 구성된 운전 지원 정보 생성기
    를 포함하는, 운전 지원 시스템.
  25. 개별 차량과 인터페이스하기 위한 운전 지원 방법에 있어서, 상기 차량은 차량의 주변부의 이미지 정보를 생성하는 카메라 시스템, 상기 차량의 운전 정보를 생성하는 차량 컨트롤러 및 통신 포트를 포함하고, 상기 운전 지원 방법은,
    상기 차량으로부터 분리된 장치가, 상기 통신 포트를 이용하여 상기 이미지 정보 및/또는 상기 운전 정보를 획득하도록 상기 통신 포트와 연결되는 단계;
    상기 장치에 의해, 운전 지원 단말 또는 모바일 장치에 의해 생성된 제어 신호를 통해 상기 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 상기 차량을 제어하기 위하여, 상기 이미지 정보 및/또는 상기 운전 정보에 기초하여, 상기 장치로서의 상기 운전 지원 단말 또는 상기 모바일 장치의 주행 보조 프로그램 및/또는 자율 주행 프로그램을 포함하는 장치 주행 프로그램의 적어도 일부를 실행시키는 단계; 및
    상기 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 상기 차량을 제어하기 위하여 생성된 상기 제어 신호를 상기 차량에 제공하는 단계
    를 포함하는, 운전 지원 방법.
  26. 제25항에 있어서,
    상기 차량에 의해 구현되도록 구성된 주행 프로그램 중 상기 장치 주행 프로그램의 상기 주행 보조 프로그램 및 임의의 차량 주행 보조 프로그램 중 어느 것이 상기 운전 지원 단말 또는 모바일 장치에 의해 상기 제어 신호의 생성을 구현하는지 판단하고 그리고/또는 상기 차량에 의해 구현되도록 구성된 주행 프로그램 중 상기 장치 주행 프로그램의 상기 자율 주행 프로그램 및 임의의 차량 자율 주행 프로그램 중 어느 것이 상기 운전 지원 단말 또는 모바일 장치에 의해 상기 제어 신호의 생성을 구현하는지 판단하는 단계를 더 포함하는, 운전 지원 방법.
  27. 제25항에 있어서,
    상기 차량에 의해 구현되도록 구성된 상기 장치 주행 프로그램 및/또는 임의의 차량 주행 프로그램의 각각의 기능 중 어느 것이 상기 운전 지원 단말 또는 상기 모바일 장치에 의한 상기 제어 신호의 생성을 위하여 구현되는지 판단하는 단계를 더 포함하는, 운전 지원 방법.
  28. 개별 차량과 인터페이스하기 위한 운전 지원 시스템에 있어서, 상기 차량은 차량의 주변부의 이미지 정보를 생성하는 카메라 시스템, 상기 차량의 운전 정보를 생성하는 차량 컨트롤러 및 통신 포트를 포함하고, 상기 운전 지원 시스템은,
    모바일 장치 주행 프로그램의 적어도 일부를 실행하도록 구성된 하나 이상의 프로세서를 갖는 스마트폰을 포함하고,
    상기 모바일 장치 주행 프로그램은 상기 스마트폰에 의해 생성되고 상기 차량에 제공된 제어 신호를 통해 상기 차량에 의한 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 상기 차량을 제어하기 위하여 상기 이미지 정보 및/또는 상기 운전 정보에 기초하는 모바일 장치 주행 보조 프로그램 및/또는 모바일 장치 자율 주행 프로그램을 포함하고 상기 스마트폰의 포함된 메모리에 저장된, 운전 지원 시스템.
  29. 제28항에 있어서,
    상기 차량 컨트롤러는, 상기 차량을 제어하기 위하여, 상기 차량의 메모리에 저장된 차량 주행 보조 프로그램 및/또는 차량 자율 주행 프로그램을 포함하는 차량 주행 프로그램을 실행하도록 구성되는, 운전 지원 시스템.
  30. 제29항에 있어서,
    상기 스마트폰의 상기 하나 이상의 프로세서는, 추가로, 상기 모바일 장치 주행 보조 프로그램 및 상기 차량 주행 보조 프로그램 중 어느 것이 가장 높은 ADAS 레벨 주행 보조 프로그램인지 판단하고 그리고/또는 상기 모바일 장치 자율 주행 프로그램 및 상기 차량 자율 주행 프로그램 중 어느 것이 가장 높은 ADAS 레벨 자율 주행 프로그램인지 판단하도록 구성되고, 상기 차량에 의한 상기 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 상기 차량을 제어하기 위하여 상기 가장 높은 ADAS 레벨 주행 보조 프로그램 및/또는 상기 가장 높은 ADAS 레벨 자율 주행 프로그램을 실행하도록 구성되는, 운전 지원 시스템.
  31. 제29항에 있어서,
    상기 스마트폰의 상기 하나 이상의 프로세서는, 추가로, 상기 모바일 장치 주행 프로그램의 어느 기능이 상기 차량 주행 프로그램의 대응하는 기능보다 더 높은 기능 레벨을 가지는지에 대한 제1 판단을 수행하고, 상기 모바일 장치 주행 프로그램의 어느 기능이 상기 차량 주행 프로그램에 의해 제공되지 않는지에 대한 제2 판단을 수행하고, 그리고/또는 상기 차량 주행 프로그램의 어느 기능이 상기 모바일 장치 주행 프로그램에 의해 제공되지 않는지에 대한 제3 판단을 수행하도록 구성되고, 상기 차량에 의한 상기 하나 이상의 보조 주행 및/또는 자율 동작에 대하여 상기 차량을 제어하기 위하여 상기 제1 판단, 상기 제2 판단 및 상기 제3 판단의 임의의 하나 또는 임의의 조합에 기초하여 상기 모바일 장치 주행 프로그램 및 상기 차량 주행 프로그램을 상기 스마트폰에 의해 제어되는 바에 따라 선택적으로 구현함으로써, 구현된 주행 프로그램을 상기 차량에 의해 제어하도록 구성되는, 운전 지원 시스템.
  32. 제28항에 있어서,
    상기 제어 신호를 생성하기 위하여, 상기 모바일 장치 주행 보조 프로그램은 상기 차량의 보조 주행 동작을 제어하기 위한 운전 지원 정보를 디스플레이하기 위하여 상기 운전 지원 정보를 생성하도록 구성되는, 운전 지원 시스템.
  33. 제32항에 있어서,
    상기 차량의 상기 운전 지원 정보는 상기 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 제어하도록 운전자에게 지시하는 정보를 포함하는, 운전 지원 시스템.
  34. 제33항에 있어서,
    상기 운전자에게 지시하는 것은, 장애물 검출에 대한 경고 및/또는 대응하는 장애물 회피 조향 및/또는 제동을 수행하도록 상기 운전자에게 지시하는 것, 후방 충돌 경고를 제공하는 것, 대응하는 후방 충돌 회피 제동을 수행하도록 상기 운전자에게 지시하는 것, 차선 이탈 경고를 제공하는 것, 대응하는 차선 이탈 수정 또는 유지 조향을 수행하도록 상기 운전자에게 지시하는 것, 및/또는 상기 모바일 장치 주행 프로그램에 의해 결정된 제안된 차선 변경을 상기 운전자에게 지시하는 것을 포함하는, 운전 지원 시스템.
  35. 제28항에 있어서,
    상기 스마트폰에 의해 상기 제어 신호를 생성하기 위하여, 상기 모바일 장치 주행 보조 프로그램은 운전 지원 제어 신호를 생성하도록 구성되고, 상기 운전 지원 제어 신호는 상기 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 보조적으로 제어하기 위하여 상기 차량의 보조 주행 동작을 제어하는 신호인, 운전 지원 시스템.
  36. 제35항에 있어서,
    상기 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 보조적으로 제어하기 위하여 상기 차량의 보조 주행 동작을 제어하는 신호는, 검출된 장애물 보조 회피, 검출된 후방 충돌 보조 회피, 예측된 그리고/또는 검출된 차선 이탈 보조 방지 또는 수정 및/또는 상기 모바일 장치 주행 프로그램에 의해 결정된 보조 차선 변경을 위하여, 상기 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 보조적으로 제어하는 것을 포함하는, 운전 지원 시스템.
  37. 제36항에 있어서,
    상기 운전 지원 제어 신호는, 보조적으로 제어된 상기 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나에 관한 정보를 나타내는 상기 모바일 장치 주행 보조 프로그램에 의해 생성된 운전 지원 정보를 디스플레이하도록 상기 차량의 상기 보조 주행 동작을 제어하는 신호인, 운전 지원 시스템.
  38. 제28항에 있어서,
    상기 스마트폰에 의해 상기 제어 신호를 생성하기 위하여, 상기 모바일 장치 자율 주행 프로그램은 운전 제어 신호를 생성하도록 구성되고, 상기 운전 제어 신호는 운전자에 의한 보조 제어 없이 상기 차량의 조향 동작, 제동 동작 및 가속 동작 중 적어도 하나를 제어하기 위하여 상기 차량의 자율 주행 동작을 제어하는 신호인, 운전 지원 시스템.
  39. 제38항에 있어서,
    상기 운전 제어 신호를 생성하는 것은, 폐색된 물체 예측, 차선 변경 결정, 보행자 인식, 도로 변경 인식 및 도로 표지 인식의 임의의 하나 또는 2 이상의 임의의 조합을 수행하는 것과, 상기 수행의 결과에 기초하여 상기 운전 제어 신호를 생성하는 것을 포함하는, 운전 지원 시스템.
  40. 제39항에 있어서,
    상기 스마트폰의 상기 하나 이상의 프로세서는, 상기 스마트폰의 메모리로부터 하나 이상의 인공 지능 모델을 로딩하고, 상기 폐색된 물체 예측, 상기 차선 변경 결정, 상기 보행자 인식, 상기 도로 변경 인식 및 상기 도로 표지 인식의 임의의 하나 또는 2 이상의 임의의 조합을 수행하기 위하여 상기 하나 이상의 인공 지능 모델을 구현하도록 구성된 하나 이상의 인공 지능 프로세서를 포함하고, 상기 운전 제어 신호의 생성은 상기 수행의 결과에 기초하는, 운전 지원 시스템.
  41. 제40항에 있어서,
    상기 하나 이상의 인공 지능 프로세서는 하나 이상의 신경 모방(neuromorphic) 프로세서를 포함하고, 상기 하나 이상의 인공 지능 모델은 각각의 신경망 모델인, 운전 지원 시스템.
  42. 제28항에 있어서,
    상기 하나 이상의 프로세서는 상기 운전 정보를 획득하기 위하여 상기 통신 포트와 연결되고, 상기 차량과 분리되고 상기 스마트폰과 통신하는 적어도 하나의 카메라로부터 다른 이미지 정보를 획득하도록 구성되고, 획득된 상기 운전 정보와 상기 다른 이미지 정보에 기초하여 상기 모바일 장치 주행 프로그램의 적어도 일부를 실행하도록 구성되는, 운전 지원 시스템.
  43. 제42항에 있어서,
    상기 적어도 하나의 카메라는 상기 스마트폰 내에 포함된 카메라를 포함하는, 운전 지원 시스템.
  44. 제28항에 있어서,
    상기 하나 이상의 프로세서는, 상기 다른 이미지 정보로부터, 상기 차량의 주변부의 이미지를 생성하도록 구성되고, 상기 차량에 의한 디스플레이를 위하여 생성된 상기 이미지를 상기 차량에 제공하도록 구성되는, 운전 지원 시스템.
  45. 개별 차량과 인터페이스하기 위한 운전 지원 시스템에 있어서,
    카메라부 및 상기 카메라부의 동작을 제어하는 컨트롤러를 포함하는 모바일 장치; 및
    상기 모바일 장치와 접속되어, 상기 모바일 장치로 주행 보조 프로그램 및/또는 자율 주행 프로그램을 포함하는 운전 지원 정보를 제공하는 운전 지원 단말; 을 포함하고,
    상기 운전 지원 단말은, 상기 카메라부로터 제공되는 이미지를 전처리하여, 관심 이미지를 생성하는 이미지 프로세서, 및 상기 이미지 프로세서로부터 제공되는 상기 관심 이미지에 기초하여, 상기 운전 지원 정보를 생성하는 인공 지능 프로세서를 포함하는, 운전 지원 시스템.
  46. 제45항에 있어서, 상기 이미지 프로세서는,
    상기 카메라부로터 제공되는 이미지의 밝기값을 조절하는 운전 지원 시스템.
  47. 제45항에 있어서, 상기 이미지 프로세서는,
    상기 카메라부로터 제공되는 이미지를 회전하는 운전 지원 시스템.
  48. 제45항에 있어서, 상기 인공 지능 프로세서는,
    상기 관심 이미지에 따라, 상기 컨트롤러를 통하여, 상기 카메라부를 제어하는 운전 지원 시스템.
  49. 제48항에 있어서, 상기 인공 지능 프로세서는,
    상기 관심 이미지에 따라, 상기 카메라부의 셔터 속도를 변경하는 운전 지원 시스템.
  50. 제48항에 있어서, 상기 인공 지능 프로세서는,
    상기 관심 이미지에 따라, 상기 카메라부의 조리개 값을 변경하는 운전 지원 시스템.
  51. 제45항에 있어서, 상기 운전 지원 단말은,
    인공 신경망을 저장하는 모델 저장부; 및
    상기 인공 지능 프로세서로부터 제공되는 훈련 데이터에 따라 상기 인공 신경망을 훈련시키는 러닝 프로세서; 를 더 포함하는 운전 지원 시스템.
  52. 제51항에 있어서, 상기 인공 지능 프로세서는,
    상기 모바일 장치의 통신부를 통해, 상기 훈련 데이터를 다운로드 하는 운전 지원 시스템.
  53. 제45항에 있어서, 상기 모바일 장치는,
    전원을 공급하는 전원 공급부; 및
    상기 전원 공급부로부터 공급되는 전원을 상기 운전 지원 단말에 제공하는 전원 스위치; 를 더 포함하는 운전 지원 시스템.
  54. 제53항에 있어서, 상기 전원 스위치는,
    상기 운전 지원 단말과 상기 모바일 장치가 접속된 경우, 상기 운전 지원 단말에 전원을 제공하고, 상기 운전 지원 단말과 상기 모바일 장치가 분리된 경우, 상기 운전 지원 단말으로의 전원 제공을 차단하는 운전 지원 시스템.
  55. 제53항에 있어서, 상기 운전 지원 단말은,
    상기 모바일 장치으로부터 제공된 전원의 전압을 조정하는 전력 관리 모듈; 을 더 포함하는 운전 지원 시스템.
PCT/KR2019/015369 2018-11-13 2019-11-12 운전 지원 시스템 및 방법 Ceased WO2020101328A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980037861.8A CN112272632B (zh) 2018-11-13 2019-11-12 驾驶辅助系统和方法
KR1020207025000A KR20210077651A (ko) 2018-11-13 2019-11-12 운전 지원 시스템 및 방법
DE112019005650.6T DE112019005650T5 (de) 2018-11-13 2019-11-12 Fahrerassistenzsystem und -verfahren
US17/053,841 US11858528B2 (en) 2018-11-13 2019-11-12 Driving control system with driving assistance control and autonomous driving control

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0138841 2018-11-13
KR20180138841 2018-11-13
KRPCT/KR2019/004904 2019-04-23
PCT/KR2019/004904 WO2020101127A1 (en) 2018-11-13 2019-04-23 Driving support system and method

Publications (1)

Publication Number Publication Date
WO2020101328A1 true WO2020101328A1 (ko) 2020-05-22

Family

ID=70731563

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/KR2019/004904 Ceased WO2020101127A1 (en) 2018-11-13 2019-04-23 Driving support system and method
PCT/KR2019/015369 Ceased WO2020101328A1 (ko) 2018-11-13 2019-11-12 운전 지원 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004904 Ceased WO2020101127A1 (en) 2018-11-13 2019-04-23 Driving support system and method

Country Status (5)

Country Link
US (1) US11858528B2 (ko)
KR (1) KR20210077651A (ko)
CN (1) CN112272632B (ko)
DE (1) DE112019005650T5 (ko)
WO (2) WO2020101127A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210229697A1 (en) * 2018-11-13 2021-07-29 Samsung Electro-Mechanics Co., Ltd. Driving assistance system and method
KR20220069845A (ko) * 2020-11-20 2022-05-27 주식회사 에이치엘클레무브 차선을 검출하고 분류하기 위한 시스템 및 방법

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7199545B2 (ja) 2018-07-20 2023-01-05 メイ モビリティー，インコーポレイテッド 自律エージェントによる行動方針選択のための多視点システムおよび方法
US10614709B2 (en) 2018-07-24 2020-04-07 May Mobility, Inc. Systems and methods for implementing multimodal safety operations with an autonomous agent
US10969470B2 (en) 2019-02-15 2021-04-06 May Mobility, Inc. Systems and methods for intelligently calibrating infrastructure devices using onboard sensors of an autonomous agent
DE102019209292A1 (de) * 2019-06-26 2020-12-31 Robert Bosch Gmbh Verfahren zum Betreiben einer Umfeldsensorik eines Fahrzeugs und Umfeldsensorik
CN115003578A (zh) * 2020-01-17 2022-09-02 沃尔沃卡车集团 用于控制动力系的巡航控制系统和方法
US10997800B1 (en) * 2020-01-22 2021-05-04 Zendrive, Inc. Method and system for vehicular collision reconstruction
JP7306284B2 (ja) * 2020-01-31 2023-07-11 トヨタ自動車株式会社 車両および車両制御インターフェース
JP7259778B2 (ja) 2020-01-31 2023-04-18 トヨタ自動車株式会社 車両、及び自動運転システム
JP7234955B2 (ja) * 2020-01-31 2023-03-08 トヨタ自動車株式会社 車両
JP7306283B2 (ja) * 2020-01-31 2023-07-11 トヨタ自動車株式会社 車両
US11352023B2 (en) 2020-07-01 2022-06-07 May Mobility, Inc. Method and system for dynamically curating autonomous vehicle policies
KR20220026656A (ko) * 2020-08-25 2022-03-07 현대모비스 주식회사 차량의 주행 제어 시스템 및 방법
US11924731B2 (en) * 2020-08-25 2024-03-05 Molex CVS Bochum GmbH Telematics control units (TCUs) including sensors for monitoring vehicle interiors
CN112519766B (zh) * 2020-12-09 2022-04-22 恒大新能源汽车投资控股集团有限公司 一种车辆安全控制方法、装置和系统
WO2022132774A1 (en) 2020-12-14 2022-06-23 May Mobility, Inc. Autonomous vehicle safety platform system and method
JP7567059B2 (ja) 2020-12-17 2024-10-15 メイ モビリティー，インコーポレイテッド 自律エージェントの環境表現を動的に更新するための方法およびシステム
WO2022212944A1 (en) 2021-04-02 2022-10-06 May Mobility, Inc. Method and system for operating an autonomous agent with incomplete environmental information
KR102928306B1 (ko) * 2021-05-24 2026-02-19 에이치엘만도 주식회사 전자식 주차 브레이크 시스템 및 그 제어방법
JP7788110B2 (ja) * 2021-06-02 2025-12-18 メイ モビリティー，インコーポレイテッド 自律エージェントの遠隔支援のための方法及びシステム
CN114261398B (zh) * 2021-09-14 2024-05-14 维沃移动通信有限公司 自动驾驶方法、车载装置、移动装置和车载电子设备
JP7567734B2 (ja) 2021-09-28 2024-10-16 トヨタ自動車株式会社 車両、車両の制御方法および車両制御インターフェースボックス
US12012123B2 (en) 2021-12-01 2024-06-18 May Mobility, Inc. Method and system for impact-based operation of an autonomous agent
US12296849B2 (en) 2021-12-02 2025-05-13 May Mobility, Inc. Method and system for feasibility-based operation of an autonomous agent
KR102749821B1 (ko) * 2021-12-08 2025-01-06 주식회사 텔레칩스 사각지대 경보 장치, 시스템 및 방법
DE102021214348A1 (de) 2021-12-15 2023-06-15 Zf Friedrichshafen Ag Vorrichtung zum Erkennen von Hindernissen für einen Fahrradanhänger eines Gespanns aus Fahrrad und Fahrradanhänger
US11814072B2 (en) 2022-02-14 2023-11-14 May Mobility, Inc. Method and system for conditional operation of an autonomous agent
KR102486788B1 (ko) * 2022-04-21 2023-01-11 주식회사 셀플러스코리아 자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법
DE102022118974A1 (de) 2022-07-28 2024-02-08 Audi Aktiengesellschaft System zum Kontrollieren eines Fahrzeugs
US12027053B1 (en) 2022-12-13 2024-07-02 May Mobility, Inc. Method and system for assessing and mitigating risks encounterable by an autonomous vehicle
CN116022173A (zh) * 2023-02-22 2023-04-28 惠州市德赛西威汽车电子股份有限公司 一种智能驾驶辅助方法，系统，存储介质及车辆
JP7826981B2 (ja) * 2023-02-28 2026-03-10 トヨタ自動車株式会社 車両
DE102023208845A1 (de) * 2023-09-12 2025-03-13 Continental Automotive Technologies GmbH Verfahren und Vorrichtung zur Erfassung eines Bildes im Außenraum eines Kraftfahrzeugs sowie Kraftfahrzeug
CN117445936A (zh) * 2023-11-14 2024-01-26 阿尔特汽车技术股份有限公司 支持高级辅助驾驶系统的区域控制器及车辆
WO2026083154A1 (en) * 2024-10-14 2026-04-23 Stellantis Europe S.P.A. System and method for visualizing advertising messages on the external surface of a vehicle, based on a geo-localization of the vehicle and/or based on stored profiles of users located nearby the vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140200765A1 (en) * 2011-09-06 2014-07-17 Volkswagen Aktiengesellschaft Vehicle comfort system for using and/or controlling vehicle functions with the assistance of a mobile device
KR20160049805A (ko) * 2014-10-28 2016-05-10 현대모비스 주식회사 모바일 단말을 이용한 차량의 사각지대 정보 출력 제어 장치 및 방법
KR101730315B1 (ko) * 2015-11-05 2017-04-27 엘지전자 주식회사 영상을 공유하는 전자 기기 및 방법
KR20180024327A (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 이동단말기, 차량과 이동 단말기의 연동 시스템
KR20180043009A (ko) * 2016-10-19 2018-04-27 엘지전자 주식회사 차량 운전 보조장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100871913B1 (ko) 2006-07-10 2008-12-05 (주)컨피테크 운전자의 운전지수를 이용하는 운전 유형 분석 시스템 및그 운전 유형 분석 방법
KR20120075555A (ko) 2010-11-23 2012-07-09 김수진 스마트폰을 이용한 운전 정보 관리 시스템 및 방법
US9008890B1 (en) * 2013-03-15 2015-04-14 Google Inc. Augmented trajectories for autonomous vehicles
DE102013219887A1 (de) * 2013-10-01 2015-04-02 Volkswagen Aktiengesellschaft Verfahren für ein Fahrerassistenzsystem eines Fahrzeugs
IL286020B (en) * 2014-12-15 2022-07-01 Polaris Inc Autonomously ready vehicle
KR102368812B1 (ko) * 2015-06-29 2022-02-28 엘지전자 주식회사 차량 운전 보조 방법 및 차량
DE102015215807A1 (de) * 2015-08-19 2017-02-23 Zf Friedrichshafen Ag Entfernte Fahrerunterstützung
WO2017125788A1 (en) * 2016-01-22 2017-07-27 Devathi Srinivas S Systems and methods for enabling remotely autonomous transport in real world vehicles on road
KR101842658B1 (ko) 2016-08-11 2018-03-27 이에스이 주식회사 위험운전 경고 방법, 이를 위한 단말기 및 서버
KR102883417B1 (ko) * 2017-02-24 2025-11-06 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치
US10759362B2 (en) * 2018-01-05 2020-09-01 Byton Limited Harness for assisted driving
US10845818B2 (en) * 2018-07-30 2020-11-24 Toyota Research Institute, Inc. System and method for 3D scene reconstruction of agent operation sequences using low-level/high-level reasoning and parametric models
WO2020101127A1 (en) * 2018-11-13 2020-05-22 Samsung Electro-Mechanics Co., Ltd. Driving support system and method
US12399567B2 (en) * 2019-09-20 2025-08-26 Nvidia Corporation Vision-based teleoperation of dexterous robotic system
US12266144B2 (en) * 2019-11-20 2025-04-01 Nvidia Corporation Training and inferencing using a neural network to predict orientations of objects in images
JP7306284B2 (ja) * 2020-01-31 2023-07-11 トヨタ自動車株式会社 車両および車両制御インターフェース

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140200765A1 (en) * 2011-09-06 2014-07-17 Volkswagen Aktiengesellschaft Vehicle comfort system for using and/or controlling vehicle functions with the assistance of a mobile device
KR20160049805A (ko) * 2014-10-28 2016-05-10 현대모비스 주식회사 모바일 단말을 이용한 차량의 사각지대 정보 출력 제어 장치 및 방법
KR101730315B1 (ko) * 2015-11-05 2017-04-27 엘지전자 주식회사 영상을 공유하는 전자 기기 및 방법
KR20180024327A (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 이동단말기, 차량과 이동 단말기의 연동 시스템
KR20180043009A (ko) * 2016-10-19 2018-04-27 엘지전자 주식회사 차량 운전 보조장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210229697A1 (en) * 2018-11-13 2021-07-29 Samsung Electro-Mechanics Co., Ltd. Driving assistance system and method
US11858528B2 (en) * 2018-11-13 2024-01-02 Samsung Electro-Mechanics Co., Ltd. Driving control system with driving assistance control and autonomous driving control
KR20220069845A (ko) * 2020-11-20 2022-05-27 주식회사 에이치엘클레무브 차선을 검출하고 분류하기 위한 시스템 및 방법
KR102885011B1 (ko) * 2020-11-20 2025-11-17 주식회사 에이치엘클레무브 차선을 검출하고 분류하기 위한 시스템 및 방법

Also Published As

Publication number Publication date
KR20210077651A (ko) 2021-06-25
CN112272632A (zh) 2021-01-26
WO2020101127A1 (en) 2020-05-22
DE112019005650T5 (de) 2021-08-12
US20210229697A1 (en) 2021-07-29
US11858528B2 (en) 2024-01-02
CN112272632B (zh) 2024-12-06

Similar Documents

Publication Publication Date Title
WO2020101127A1 (en) Driving support system and method
CN111252061B (zh) 用于自动驾驶车辆的实时决策制定
JP2021536072A (ja) トレーニングデータを取得するためのシステム及び方法
CN109767637B (zh) 倒计时信号灯识别及处理的方法和装置
WO2020231153A1 (en) Electronic device and method for assisting with driving of vehicle
WO2019208965A1 (ko) 전자 장치 및 그 동작 방법
WO2020226258A1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
WO2019172645A1 (ko) 차량의 주행을 보조하는 전자 장치 및 방법
EP3974869A1 (en) Perception system error detection and re-verification
KR20190099373A (ko) 화상 처리 장치, 화상 처리 방법, 및 화상 처리 시스템
US11904853B2 (en) Apparatus for preventing vehicle collision and method thereof
WO2019208950A1 (ko) 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
WO2020139063A1 (ko) 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법
US11847837B2 (en) Image-based lane detection and ego-lane recognition method and apparatus
WO2021002519A1 (ko) 차량용 광고 제공 장치 및 차량용 광고 제공 방법
WO2021040057A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
CN115257768A (zh) 一种智能驾驶车辆环境感知方法、系统、设备及介质
WO2021054492A1 (ko) 차량용 인포테인먼트 장치 및 그의 동작 방법
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2018012084A1 (ja) 画像認識システム
WO2020004886A1 (ko) 통신용 ecu
US11435758B2 (en) Electronic control system
WO2020138760A1 (ko) 전자 장치 및 그의 제어 방법
KR102607390B1 (ko) 차량의 주변 상황 확인 방법
WO2018186625A1 (ko) 전자 장치, 그의 경고 메시지 제공 방법 및 비일시적 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19883517

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20207025000

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19883517

Country of ref document: EP

Kind code of ref document: A1