WO2021002505A1 - 자율 주행 차량용 전자 장치 및 자율 주행 차량용 전자 장치의 동작 방법 - Google Patents

자율 주행 차량용 전자 장치 및 자율 주행 차량용 전자 장치의 동작 방법 Download PDF

Info

Publication number
WO2021002505A1
WO2021002505A1 PCT/KR2019/008136 KR2019008136W WO2021002505A1 WO 2021002505 A1 WO2021002505 A1 WO 2021002505A1 KR 2019008136 W KR2019008136 W KR 2019008136W WO 2021002505 A1 WO2021002505 A1 WO 2021002505A1
Authority
WO
WIPO (PCT)
Prior art keywords
processor
vehicle
level
user
interest
Prior art date
Application number
PCT/KR2019/008136
Other languages
English (en)
French (fr)
Inventor
송치원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/008136 priority Critical patent/WO2021002505A1/ko
Publication of WO2021002505A1 publication Critical patent/WO2021002505A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots

Definitions

  • the present invention relates to an electronic device for a vehicle and a method of operating the electronic device for a vehicle.
  • a vehicle is a device that moves in a direction desired by a boarding user.
  • a typical example is a car.
  • Autonomous vehicle refers to a vehicle that can be driven automatically without human driving operation.
  • the navigation device is a device that guides a route to a vehicle occupant.
  • a navigation device according to the prior art provides a path for moving from a location of a vehicle to a set destination.
  • information required for a user is different in a passive driving state and an autonomous driving state.
  • an object of the present invention is to provide an electronic device for an autonomous vehicle that provides information suitable for the driving state of the autonomous vehicle.
  • an object of the present invention is to provide a method of operating an electronic device for an autonomous vehicle that provides information suitable for the driving state of the autonomous vehicle.
  • the electronic device for an autonomous vehicle when receiving the passive driving state information of the vehicle through the interface unit, outputs the directions information through the output device, and the interface unit It may include at least one processor for outputting, through the output device, vehicle driving related content according to the user's state when receiving autonomous driving state information of the vehicle.
  • FIG. 1 is a view showing the exterior of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a control block diagram of a vehicle according to an embodiment of the present invention.
  • FIG. 3 is a control block diagram of an electronic device for an autonomous vehicle according to an embodiment of the present invention.
  • FIG. 4 is a control block diagram of an electronic device for an autonomous vehicle according to an embodiment of the present invention.
  • FIG. 5 is a flow chart of an electronic device for an autonomous vehicle according to an embodiment of the present invention.
  • 6 to 11 are views referenced to explain the operation of an electronic device for an autonomous vehicle according to an embodiment of the present invention.
  • FIG. 1 is a view showing a vehicle according to an embodiment of the present invention.
  • a vehicle 10 is defined as a means of transport running on a road or track.
  • the vehicle 10 is a concept including a car, a train, and a motorcycle.
  • the vehicle 10 may be a concept including both an internal combustion engine vehicle including an engine as a power source, a hybrid vehicle including an engine and an electric motor as a power source, and an electric vehicle including an electric motor as a power source.
  • the vehicle 10 may be a shared vehicle.
  • the vehicle 10 may be an autonomous vehicle.
  • the electronic device 200 may be included in the vehicle 10.
  • the vehicle 10 may interact with at least one robot.
  • the robot may be an Autonomous Mobile Robot (AMR) capable of driving by magnetic force.
  • AMR Autonomous Mobile Robot
  • the mobile robot is capable of moving by itself and is free to move, and is provided with a plurality of sensors to avoid obstacles while driving, so that it can travel avoiding obstacles.
  • the mobile robot may be a flying robot (eg, a drone) having a flying device.
  • the mobile robot may be a wheel-type robot that includes at least one wheel and is moved through rotation of the wheel.
  • the mobile robot may be a legged robot that has at least one leg and is moved using the leg.
  • the robot may function as a device that complements the user's convenience of the vehicle 10. For example, the robot may perform a function of moving the luggage loaded in the vehicle 10 to the user's final destination. For example, the robot may perform a function of guiding a user who gets off the vehicle 10 to a final destination. For example, the robot may perform a function of transporting a user who gets off the vehicle 10 to a final destination.
  • At least one electronic device included in the vehicle may communicate with the robot through the communication device 220.
  • At least one electronic device included in the vehicle may provide the robot with data processed by at least one electronic device included in the vehicle.
  • at least one electronic device included in the vehicle may provide at least one of object data, HD map data, vehicle state data, vehicle location data, and driving plan data to the robot.
  • At least one electronic device included in the vehicle may receive data processed by the robot from the robot. At least one electronic device included in the vehicle may receive at least one of sensing data generated by the robot, object data, robot state data, robot position data, and movement plan data of the robot.
  • At least one electronic device included in the vehicle may generate a control signal further based on data received from the robot. For example, at least one electronic device included in the vehicle compares the information on the object generated by the object detection device 210 with the information on the object generated by the robot, and based on the comparison result, a control signal Can be created. At least one electronic device included in the vehicle may generate a control signal so that interference between the movement path of the vehicle 10 and the movement path of the robot does not occur.
  • At least one electronic device included in the vehicle may include a software module or a hardware module (hereinafter, referred to as an artificial intelligence module) that implements artificial intelligence (AI). At least one electronic device included in the vehicle may input acquired data to an artificial intelligence module and use data output from the artificial intelligence module.
  • an artificial intelligence module that implements artificial intelligence (AI).
  • At least one electronic device included in the vehicle may input acquired data to an artificial intelligence module and use data output from the artificial intelligence module.
  • the artificial intelligence module may perform machine learning on input data using at least one artificial neural network (ANN).
  • ANN artificial neural network
  • the artificial intelligence module may output driving plan data through machine learning on input data.
  • At least one electronic device included in the vehicle may generate a control signal based on data output from the artificial intelligence module.
  • At least one electronic device included in the vehicle may receive data processed by artificial intelligence from an external device through the communication device 220. At least one electronic device included in the vehicle may generate a control signal based on data processed by artificial intelligence.
  • FIG. 2 is a control block diagram of a vehicle according to an embodiment of the present invention.
  • the vehicle 10 includes an electronic device 200 for an autonomous vehicle, an object detection device 210, a communication device 220, a driving operation device 230, a main ECU 240, and a vehicle driving device. 250, a driving system 260, a sensing unit 270, and a location data generating device 280 may be included.
  • the electronic device 200 for an autonomous vehicle is a device for communicating with the vehicle 10 and a user.
  • the electronic device 200 may be referred to as a user interface device.
  • the electronic device 200 may receive a user input and provide information generated in the vehicle 10 to the user.
  • the vehicle 10 may implement a user interface (UI) or a user experience (UX) through the electronic device 200.
  • UI user interface
  • UX user experience
  • the object detection device 210 may detect an object outside the vehicle 10.
  • the object detection device 210 may include at least one sensor capable of detecting an object outside the vehicle 10.
  • the object detection device 210 may include at least one of a camera, a radar, a lidar, an ultrasonic sensor, and an infrared sensor.
  • the object detection device 210 may provide data on an object generated based on a sensing signal generated by a sensor to at least one electronic device included in the vehicle.
  • the camera may generate information on an object outside the vehicle 10 by using the image.
  • the camera may include at least one lens, at least one image sensor, and at least one processor that is electrically connected to the image sensor and processes a received signal, and generates data about an object based on the processed signal.
  • the camera may be at least one of a mono camera, a stereo camera, and an AVM (Around View Monitoring) camera.
  • the camera may use various image processing algorithms to obtain position information of an object, distance information to an object, or information on a relative speed to an object. For example, from the acquired image, the camera may acquire distance information and relative speed information from the object based on a change in the size of the object over time. For example, the camera may obtain distance information and relative speed information with an object through a pin hole model, road surface profiling, or the like. For example, the camera may obtain distance information and relative speed information with an object based on disparity information from a stereo image obtained from a stereo camera.
  • the camera may be mounted in a position where field of view (FOV) can be secured in the vehicle to photograph the outside of the vehicle.
  • the camera may be placed in the interior of the vehicle, close to the front windshield, to acquire an image of the front of the vehicle.
  • the camera can be placed around the front bumper or radiator grille.
  • the camera may be placed in the interior of the vehicle, close to the rear glass, in order to acquire an image of the rear of the vehicle.
  • the camera can be placed around the rear bumper, trunk or tailgate.
  • the camera may be disposed adjacent to at least one of the side windows in the interior of the vehicle in order to acquire an image of the vehicle side.
  • the camera may be disposed around a side mirror, a fender, or a door.
  • the radar may generate information on an object outside the vehicle 10 using radio waves.
  • the radar may include at least one processor that is electrically connected to the electromagnetic wave transmitter, the electromagnetic wave receiver, and the electromagnetic wave transmitter and the electromagnetic wave receiver, processes a received signal, and generates data for an object based on the processed signal.
  • the radar may be implemented in a pulse radar method or a continuous wave radar method according to the principle of radio wave emission.
  • the radar may be implemented in a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method according to a signal waveform among continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keyong
  • the radar detects an object by means of an electromagnetic wave, a time of flight (TOF) method or a phase-shift method, and detects the position of the detected object, the distance to the detected object, and the relative speed.
  • TOF time of flight
  • the radar may be placed at a suitable location outside of the vehicle to detect objects located in front, rear or side of the vehicle.
  • the lidar may generate information on an object outside the vehicle 10 using laser light.
  • the radar may include at least one processor that is electrically connected to the optical transmitter, the optical receiver, and the optical transmitter and the optical receiver, processes a received signal, and generates data for an object based on the processed signal. .
  • the rider may be implemented in a TOF (Time of Flight) method or a phase-shift method.
  • the lidar can be implemented either driven or non-driven. When implemented as a drive type, the lidar is rotated by a motor, and objects around the vehicle 10 can be detected. When implemented in a non-driven manner, the lidar can detect an object located within a predetermined range with respect to the vehicle by optical steering.
  • the vehicle 100 may include a plurality of non-driven lidars.
  • the radar detects an object based on a time of flight (TOF) method or a phase-shift method by means of a laser light, and determines the position of the detected object, the distance to the detected object, and the relative speed. Can be detected.
  • the lidar may be placed at an appropriate location outside the vehicle to detect objects located in front, rear or side of the vehicle.
  • the communication device 220 may exchange signals with devices located outside the vehicle 10.
  • the communication device 220 may exchange signals with at least one of an infrastructure (eg, a server, a broadcasting station) and another vehicle.
  • the communication device 220 may include at least one of a transmission antenna, a reception antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element to perform communication.
  • RF radio frequency
  • the communication device 220 may communicate with a device located outside the vehicle 10 using a 5G (for example, new radio, NR) method.
  • the communication device 220 may implement V2X (V2V, V2D, V2P, V2N) communication using a 5G method.
  • the driving operation device 230 is a device that receives a user input for driving. In the case of the manual mode, the vehicle 10 may be driven based on a signal provided by the driving operation device 230.
  • the driving operation device 230 may include a steering input device (eg, a steering wheel), an acceleration input device (eg, an accelerator pedal), and a brake input device (eg, a brake pedal).
  • the main ECU 240 may control the overall operation of at least one electronic device provided in the vehicle 10.
  • the drive control device 250 is a device that electrically controls various vehicle drive devices in the vehicle 10.
  • the drive control device 250 may include a power train drive control device, a chassis drive control device, a door/window drive control device, a safety device drive control device, a lamp drive control device, and an air conditioning drive control device.
  • the power train drive control device may include a power source drive control device and a transmission drive control device.
  • the chassis drive control device may include a steering drive control device, a brake drive control device, and a suspension drive control device.
  • the safety device driving control device may include a safety belt driving control device for controlling the safety belt.
  • the vehicle drive control device 250 may be referred to as a control Electronic Control Unit (ECU).
  • ECU control Electronic Control Unit
  • the driving system 260 may control a movement of the vehicle 10 or generate a signal for outputting information to a user based on data on an object received by the object detection device 210.
  • the driving system 260 may provide the generated signal to at least one of the electronic device 200, the main ECU 240, and the vehicle driving device 250.
  • the driving system 260 may be a concept including ADAS.
  • ADAS 260 includes an adaptive cruise control system (ACC), an automatic emergency braking system (AEB), a forward collision warning system (FCW), and a lane maintenance assistance system (LKA: Lane Keeping Assist), Lane Change Assist (LCA), Target Following Assist (TFA), Blind Spot Detection (BSD), Adaptive High Beam Control System (HBA: High) Beam Assist), Auto Parking System (APS), PD collision warning system, Traffic Sign Recognition (TSR), Traffic Sign Assist (TSA), At least one of a night vision system (NV: Night Vision), a driver status monitoring system (DSM), and a traffic jam assistance system (TJA) may be implemented.
  • ACC adaptive cruise control system
  • AEB automatic emergency braking system
  • FCW forward collision warning system
  • LKA Lane Keeping Assist
  • Lane Change Assist LCA
  • TFA Target Following Assist
  • BSD Blind Spot Detection
  • the driving system 260 may include an autonomous driving electronic control unit (ECU).
  • the autonomous driving ECU may set an autonomous driving route based on data received from at least one of other electronic devices in the vehicle 10.
  • the autonomous driving ECU is based on data received from at least one of the electronic device 200, the object detection device 210, the communication device 220, the sensing unit 270, and the position data generating device 280, You can set the driving route.
  • the autonomous driving ECU may generate a control signal so that the vehicle 10 travels along the autonomous driving path.
  • the control signal generated by the autonomous driving ECU may be provided to at least one of the main ECU 240 and the vehicle driving device 250.
  • the sensing unit 270 may sense the state of the vehicle.
  • the sensing unit 270 includes an inertial navigation unit (IMU) sensor, a collision sensor, a wheel sensor, a speed sensor, a tilt sensor, a weight detection sensor, a heading sensor, a position module, and a vehicle.
  • IMU inertial navigation unit
  • a collision sensor a wheel sensor
  • a speed sensor a speed sensor
  • a tilt sensor a weight detection sensor
  • a heading sensor a position module
  • a vehicle At least one of forward/reverse sensor, battery sensor, fuel sensor, tire sensor, steering sensor by steering wheel rotation, vehicle interior temperature sensor, vehicle interior humidity sensor, ultrasonic sensor, illuminance sensor, accelerator pedal position sensor, and brake pedal position sensor It may include.
  • the inertial navigation unit (IMU) sensor may include one or more of an acceleration sensor, a gyro sensor, and a magnetic sensor.
  • the sensing unit 270 may generate state data of the vehicle based on a signal generated by at least one sensor.
  • the sensing unit 270 includes vehicle attitude information, vehicle motion information, vehicle yaw information, vehicle roll information, vehicle pitch information, vehicle collision information, vehicle direction information, vehicle angle information, and vehicle speed.
  • the sensing unit 270 includes an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake air temperature sensor (ATS), a water temperature sensor (WTS), and a throttle position sensor. (TPS), a TDC sensor, a crank angle sensor (CAS), and the like may be further included.
  • the sensing unit 270 may generate vehicle state information based on the sensing data.
  • the vehicle status information may be information generated based on data sensed by various sensors provided inside the vehicle.
  • the vehicle status information includes vehicle attitude information, vehicle speed information, vehicle tilt information, vehicle weight information, vehicle direction information, vehicle battery information, vehicle fuel information, vehicle tire pressure information, It may include vehicle steering information, vehicle interior temperature information, vehicle interior humidity information, pedal position information, vehicle engine temperature information, and the like.
  • the sensing unit may include a tension sensor.
  • the tension sensor may generate a sensing signal based on a tension state of the seat belt.
  • the location data generating device 280 may generate location data of the vehicle 10.
  • the location data generating apparatus 280 may include at least one of a Global Positioning System (GPS) and a Differential Global Positioning System (DGPS).
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the location data generating apparatus 280 may generate location data of the vehicle 10 based on a signal generated by at least one of GPS and DGPS.
  • the location data generating apparatus 280 may correct the location data based on at least one of an IMU (Inertial Measurement Unit) of the sensing unit 270 and a camera of the object detection apparatus 210.
  • IMU Inertial Measurement Unit
  • the location data generating device 280 may be referred to as a location positioning device.
  • the location data generating device 280 may be referred to as a Global Navigation Satellite System (GNSS).
  • GNSS Global Navigation Satellite System
  • Vehicle 10 may include an internal communication system 50.
  • a plurality of electronic devices included in the vehicle 10 may exchange signals through the internal communication system 50.
  • the signal may contain data.
  • the internal communication system 50 may use at least one communication protocol (eg, CAN, LIN, FlexRay, MOST, Ethernet).
  • FIG. 3 is a control block diagram of an electronic device according to an embodiment of the present invention.
  • the electronic device 200 is a device for communicating with the vehicle 10 and a user.
  • the electronic device 200 may receive a user input and provide information generated in the vehicle 10 to the user.
  • the vehicle 10 may implement User Interfaces (UI) or User Experience (UX) through the electronic device 200.
  • the electronic device 200 may be implemented as a display device mounted on the vehicle 10, a head up display (HUD) device, a window display device, a cluster device, or the like.
  • the electronic device 200 may include an input device 310, an internal camera 320, an AR camera 325, a biometric sensor 330, an output device 350, and a processor 370.
  • the electronic device 200 may further include other components in addition to the described components, or may not include some of the described components.
  • the input device 310 is for receiving information from a user, and data generated by the input device 310 may be processed as a control signal by the processor 370.
  • the input device 310 may be disposed inside a vehicle.
  • the input device 310 may include one region of a steering wheel, one region of an instrument panel, one region of a seat, one region of each pillar, One area of the door, one area of the center console, one area of the head lining, one area of the sun visor, one area of the windshield, or a window It can be arranged in one area of the.
  • the input device 310 may include a voice input unit 311, a gesture input unit 312, a touch input unit 313, and a mechanical input unit 314.
  • the voice input unit 311 may convert a user's voice input into an electrical signal.
  • the converted electrical signal may be provided to the processor 370.
  • the voice input unit 311 may include at least one microphone.
  • the gesture input unit 312 may convert a user's gesture input into an electrical signal.
  • the converted electrical signal may be provided to the processor 370.
  • the gesture input unit 312 may include at least one of an infrared sensor and an image sensor for detecting a user's gesture input. Depending on the embodiment, the gesture input unit 312 may detect a user's 3D gesture input.
  • the gesture input unit 312 may include an optical output device that outputs a plurality of infrared light or a plurality of image sensors.
  • the gesture input unit 312 may detect a user's three-dimensional gesture input through a Time of Flight (TOF) method, a structured light method, or a disparity method.
  • the touch input unit 313 may, The user's touch input can be converted into an electrical signal.
  • the converted electrical signal may be provided to the processor 370.
  • the touch input unit 313 may include a touch sensor for sensing a user's touch input.
  • the touch input unit 313 is integrally formed with the display 351 to implement a touch screen. Such a touch screen may provide an input interface and an output interface between the vehicle 10 and the user.
  • the mechanical input unit 314 may include at least one of a button, a dome switch, a jog wheel, and a jog switch.
  • the electrical signal generated by the mechanical input unit 314 may be provided to the processor 370.
  • the mechanical input unit 314 may be disposed on a steering wheel, a center fascia, a center console, a cock pick module, or a door.
  • the internal camera 320 may acquire an image inside the vehicle.
  • the processor 370 may detect a user's state based on an image inside the vehicle.
  • the processor 370 may acquire gaze information of a user from an image inside the vehicle.
  • the processor 370 may detect a user's gesture from an image inside the vehicle.
  • the AR camera 325 may capture an image in front of the vehicle.
  • the AR camera 325 may be disposed indoors to face the vehicle front. It is preferable that the AR camera 325 is disposed close to the windshield.
  • the image captured by the AR camera 325 may be provided to the processor 370.
  • the AR camera 325 may be classified as an external component of the electronic device 200.
  • the interface unit 380 may receive image data in front of the vehicle from the AR camera 325 and transmit it to the processor 370.
  • the biometric sensor 330 may acquire biometric information of a user.
  • the biometric detection unit 330 may include a sensor capable of acquiring the user's biometric information, and may acquire user's fingerprint information, heart rate information, and the like by using the sensor.
  • the biometric information can be used for user authentication.
  • the output device 350 is for generating an output related to visual, auditory or tactile sense.
  • the output device 350 may include at least one of the display 351, the sound output device 352, and the haptic output device 353.
  • the display 351 may display graphic objects corresponding to various pieces of information.
  • the display 351 is a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. ), a 3D display, and an e-ink display.
  • the display 351 may form a layer structure with the touch input unit 313 or are integrally formed, thereby implementing a touch screen.
  • the display 351 may be implemented as a head up display (HUD).
  • the display 351 may include a projection module to output information through a windshield or an image projected on a window.
  • the display 351 may include a transparent display. The transparent display can be attached to a windshield or window.
  • the transparent display can display a predetermined screen while having a predetermined transparency.
  • Transparent display in order to have transparency, transparent display is transparent TFEL (Thin Film Elecroluminescent), transparent OLED (Organic Light-Emitting Diode), transparent LCD (Liquid Crystal Display), transmissive transparent display, transparent LED (Light Emitting Diode) display It may include at least one of. The transparency of the transparent display can be adjusted.
  • the display 351 may be implemented as at least one of a cluster 351a, a center integrated display (CID) 351b, and a head up display (HUD).
  • the display 351 may include a steering wheel area, an instrument panel area, a seat area, a pillar area, a door area, a center console area, and a headlining area. It may be disposed in one area, one area of a sun visor, or implemented in one area of a windshield or one area of a window.
  • the sound output device 352 converts an electrical signal provided from the processor 370 into an audio signal and outputs it.
  • the sound output device 352 may include at least one speaker.
  • the haptic output device 353 generates a tactile output.
  • the haptic output device 353 may operate so that the user can recognize the output by vibrating the steering wheel, the seat belt, and the seat.
  • the processor 370 includes an input device 310, an internal camera 320, an AR camera 325, a biometric detection unit 330, a memory 340, an interface unit 380, an output device 350, and a power supply unit. It is electrically connected to 390 and can exchange signals.
  • the processor 370 includes application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors, and controllers. It may be implemented using at least one of (controllers), micro-controllers, microprocessors, and electrical units for performing other functions.
  • the processor 370 may be driven by power provided from the power supply unit 390.
  • the processor 370 includes an input device 310, an internal camera 320, an AR camera 325, a biometric detection unit 330, a memory 340, an interface unit 380, an output device 350, and a power supply unit.
  • a signal can be exchanged with at least one of (390).
  • the processor 370 may receive state information of the autonomous vehicle 10 through the interface unit 380.
  • the processor 370 may receive state information of the autonomous vehicle 10 from at least one of the main ECU 340 and the driving system 260.
  • the processor 370 may receive passive driving state information of the autonomous vehicle 10 through the interface unit 380. In this case, the processor 370 may output directions information through the output device 350.
  • the processor 370 may determine a difficulty of manual driving in a specific section based on the driving situation information. For example, the processor 370 may determine that a section in which manual driving is difficult when a curve of more than a preset number of times is recognized within a predetermined distance or a complicated entrance/exit route is recognized.
  • the processor 370 may determine the user's fatigue level after receiving the information on the passive driving state of the autonomous vehicle 10. For example, the processor 370 may determine a user's fatigue level based on the internal image data of the autonomous vehicle 10 obtained by the internal camera 320. For example, the processor 370 may determine a user's fatigue level based on data acquired by the biometric sensor 330. For example, the processor 370 may determine a user's fatigue level based on the user's accumulated driving time information.
  • the processor 370 may determine a road/traffic environment condition after receiving information on a passive driving state of the autonomous vehicle 10. For example, the processor 370 may determine whether the driving section is blocked or whether rain, fog, or snow exist.
  • the processor 370 may output content for recommending switching to an autonomous driving mode or switching to a semi-autonomous driving mode based on a difficulty of manual driving, a user's fatigue, and a road/traffic environment situation.
  • the processor 370 may receive autonomous driving state information of the autonomous driving vehicle 10 through the interface unit 380. In this case, the processor 370 may output vehicle driving related content according to the user's state through the output device 350.
  • the processor 370 may determine a user's interest in driving according to the user's state.
  • the processor 370 may output content based on the degree of interest.
  • the processor 370 may receive image data inside the vehicle from the internal camera 320.
  • the processor 370 may determine a user's interest in driving based on the image data inside the vehicle.
  • the processor 370 may detect a user's posture from image data inside the vehicle.
  • the processor 370 may determine whether the user is looking at the front of the vehicle 10, whether a window is looking, or whether a map is being looked at.
  • the processor 370 may determine an interest level based on the user's posture.
  • the processor 370 may determine a user's interest in driving based on a user input. For example, the processor 370 may determine the degree of interest based on a user input for requesting traffic information or a user input for querying driving-related information.
  • the processor 370 may receive driving situation information of the autonomous vehicle 10 through the interface unit 380.
  • the processor 370 may output content based on the driving situation information and the degree of interest of the autonomous vehicle 10.
  • the driving situation information may be generated by at least one of the electronic device 200, the object detecting device 210, the sensing unit 270, and the location data generating device 280.
  • the driving situation information may include at least one of object information outside the vehicle, navigation information, and vehicle status information.
  • the object information may include information on the presence or absence of an object, location information of the object, distance information between the vehicle 100 and the object, and relative speed information between the vehicle 100 and the object.
  • the navigation information may include at least one of map information, set destination information, route information according to the destination setting, information on various objects on the route, lane information, and current location information of the vehicle.
  • the vehicle status information includes vehicle attitude information, vehicle speed information, vehicle tilt information, vehicle weight information, vehicle direction information, vehicle battery information, vehicle fuel information, vehicle tire pressure information, vehicle steering information , Vehicle interior temperature information, vehicle interior humidity information, pedal position information, vehicle engine temperature information, and the like.
  • the processor 370 may determine a user's interest in driving by dividing it into a plurality of levels. For example, the processor 370 may determine a user's interest in driving by dividing it into a first level to a third level. For example, when it is determined that the user is looking forward, the processor 370 may determine the degree of interest as the first level.
  • the first level may be understood as a level of high interest in driving of the autonomous vehicle 10.
  • the processor 370 may set the level of interest to the first level. For example, if it is determined that the user is using the user's sensory organs (eg, eyes, ears) for audiovisual content or looking at the side, the processor 370 may determine the level of interest as the second level.
  • the second level may be understood as a medium or low level of interest in driving of the autonomous vehicle 10. For example, when it is determined that the user maintains the lying position, the processor 370 may determine the degree of interest as the second level. For example, when it is determined that the user is sleeping or on the phone, the processor 370 may determine the level of interest as the third level.
  • the third level may be understood as a level in which there is no interest in driving of the autonomous vehicle 10.
  • the processor 370 may output different contents according to a plurality of levels. For example, when the degree of interest is determined as the first level, the processor 370 asks, through the output device 350, whether to perform a driving function that requires at least one of acceleration control, deceleration control, and steering control. Can be printed. For example, when the degree of interest is determined to be the first level, the processor 370, through the output device 350, is configured to check at least one of whether to change a lane, whether to overtake, whether to enter a road, or whether to enter a road. You can print the question. The processor 370 may receive a user's response matching the question through the input device 310.
  • the processor 370 may provide a control signal for at least one of acceleration control, deceleration control, and steering control based on a user's response. For example, when the degree of interest is determined to be the second level, the processor 370 may output a guide including driving situation information through the output device 350. When the degree of interest is determined to be the second level, the processor 370 may output a guide including at least one of driving schedule information and speed bump driving schedule information. For example, when the interest level is determined to be the third level, the processor 370 may deactivate the output of the content through the output device 350.
  • the memory 340 is electrically connected to the processor 270.
  • the memory 340 may store basic data for a unit, control data for controlling the operation of the unit, and input/output data.
  • the memory 340 may store data processed by the processor 370.
  • the memory 340 may be configured with at least one of ROM, RAM, EPROM, flash drive, and hard drive.
  • the memory 340 may store various data for overall operation of the electronic device 200, such as a program for processing or controlling the processor 370.
  • the memory 340 may be implemented integrally with the processor 370.
  • the interface unit 380 may exchange signals with at least one electronic device provided in the vehicle 10 by wire or wirelessly.
  • the interface unit 380 includes an object detection device 210, a communication device 220, a driving operation device 230, a main ECU 240, a vehicle driving device 250, an ADAS 260, and a sensing unit 270. And it is possible to exchange a signal with at least one of the location data generating device 280 wired or wirelessly.
  • the interface unit 380 may be composed of at least one of a communication module, a terminal, a pin, a cable, a port, a circuit, an element, and a device.
  • the interface unit 380 may receive driving situation information.
  • the power supply unit 390 may supply power to the electronic device 200.
  • the power supply unit 390 may receive power from a power source (eg, a battery) included in the vehicle 10 and supply power to the electronic device 200.
  • the power supply unit 390 may be operated according to a control signal provided from the main ECU 240.
  • the power supply unit 390 may be implemented as a switched-mode power supply (SMPS).
  • SMPS switched-mode power supply
  • the electronic device 200 may include at least one printed circuit board (PCB).
  • PCB printed circuit board
  • the input device 310, the internal camera 320, the AR camera 325, the biometric detection unit 330, the memory 340, the interface unit 380, the output device 350, the processor 370, and the power supply unit ( 390 may be electrically connected to a printed circuit board.
  • FIG. 4 is a control block diagram of an electronic device for an autonomous vehicle according to an embodiment of the present invention.
  • the processor 370 includes a driver monitoring system (DMS) 371, an internal monitoring system (IMS) 372, a voice recognition service 373, a CAN information unit 374, and a navigation unit 375. It may include.
  • the DMS 371 may perform a driver monitoring operation based on the image data inside the vehicle acquired from the internal camera 320.
  • the IMS 372 may perform a monitoring operation on the internal situation of the autonomous vehicle 10 based on the image data inside the vehicle obtained from the internal camera 320.
  • the voice recognition service 373 may perform an operation of analyzing voice data received from the microphone 311 and converting it into a control signal.
  • the CAN information unit 374 may process information received from another electronic device included in the autonomous vehicle 10.
  • the navigation unit 375 may perform a navigation-related operation.
  • the navigation unit 370 may include a traffic information service 301, a map information database 302, a route generation engine 303, a driving guidance service 304, and an autonomous driving intelligent guidance service 305.
  • the traffic information service 301 may obtain and provide traffic information.
  • the map information database 302 may acquire and store HD map data.
  • the route generation engine 303 may generate a route based on driving condition information (eg, traffic information, HD map data, object data, and vehicle condition data).
  • the driving guidance service 304 may generate and provide data for driving guidance of the vehicle 10 along a route.
  • the autonomous driving intelligent guidance service 305 may determine content to be provided according to manual driving or autonomous driving state information of the autonomous driving vehicle 10.
  • the autonomous driving intelligent guidance service 305 may output the determined content through the output devices 351 and 352.
  • the autonomous driving intelligent guidance service 305 may provide a control signal so that at least one of deceleration control, acceleration control, and steering control is performed based on a response signal from a user.
  • the control signal may be provided to the autonomous driving system 260.
  • FIG. 5 is a flow chart of an electronic device for an autonomous vehicle according to an embodiment of the present invention.
  • the processor 370 may receive driving situation information.
  • the processor 370 may recognize a change in the road/driving condition based on the driving condition information (S510).
  • the processor 370 may receive state information of the autonomous vehicle 10.
  • the processor 370 may receive information on a passive driving state of the autonomous vehicle 10.
  • the processor 370 may receive autonomous driving state information of the autonomous driving vehicle 10.
  • the processor 370 When the processor 370 receives information on the passive driving state of the autonomous vehicle 10, it may output route guidance information through the output device 350.
  • the processor 370 When the processor 370 receives the autonomous driving state information of the autonomous driving vehicle 10, it may output vehicle driving related content according to the user's state through the output device 350 (S525 ).
  • the processor 370 may determine a user's interest in driving according to the user's state (S520). In the step of outputting the content, the processor 370 may determine the degree of interest by dividing it into a plurality of levels. For example, when it is determined that the user maintains the sitting posture, the processor 370 may determine the level of interest as the first level. For example, when it is determined that the user is looking ahead, the processor 370 may determine the level of interest as the first level (S521). For example, when it is determined that the user maintains the lying position, the processor 370 may determine the degree of interest as the second level.
  • the processor 370 may determine the degree of interest as the second level. For example, when it is determined that the user is sleeping or on the phone, the processor 370 may determine the level of interest as the third level.
  • the processor 370 may determine the content (eg, question, guide) according to the degree of interest (S530).
  • the processor 370 may determine different output contents according to a plurality of levels. For example, when the degree of interest is determined to be the first level, the processor 370 may determine the output content as a question on whether to perform a driving function. For example, when the degree of interest is determined to be the second level, the processor 370 may determine the output content as a guide including driving situation information. For example, if the interest level is determined to be the third level, the processor 370 may determine not to output the content.
  • the processor 370 may determine whether the content requires a response from the user (S540).
  • the processor 370 may output the content based on the degree of interest.
  • the processor 370 may output content based on the driving situation information and the degree of interest of the autonomous vehicle 10.
  • the processor 370 may output different content according to a plurality of levels of interest (S550, S580).
  • the processor 370 may output a question about whether to perform the driving function through the output device 350 (S550). For example, when the degree of interest is determined as the first level, the processor 370 asks, through the output device 350, whether to perform a driving function that requires at least one of acceleration control, deceleration control, and steering control. Can be printed. For example, when the degree of interest is determined to be the first level, the processor 370, through the output device 350, is configured to check at least one of whether to change a lane, whether to overtake, whether to enter a road, or whether to enter a road. You can print the question.
  • the processor 370 may receive a user's response matching the question.
  • the processor 370 may analyze the user's response (S560).
  • the processor 370 may reflect the user's response to the guide or driving (S570). For example, the processor 370 may provide a control signal for at least one of acceleration control, deceleration control, and steering control based on a user's response. For example, the processor 370 may provide a control signal for changing a lane, passing, entering a road, or entering a road based on a user's response.
  • the control signal may be provided to the autonomous driving system 260.
  • the processor 370 may output a guide through the output device 350 (S580). For example, when the degree of interest is determined to be the second level, the processor 370 may output a guide including driving situation information through the output device 350. For example, when the degree of interest is determined to be the second level, the processor 370 may output a guide including at least one of driving schedule information and speed bump driving schedule information.
  • the processor 370 may deactivate the output of the content through the output device 350 when it is determined that the degree of interest is the third level.
  • 6 to 11 are views referenced to explain the operation of an electronic device for an autonomous vehicle according to an embodiment of the present invention.
  • the internal camera 320 may acquire an indoor image of the autonomous vehicle 10.
  • the processor 370 may acquire indoor image data from the internal camera 320.
  • the processor 170 may detect the state of the user 610 based on the indoor image data.
  • the processor 170 may determine a degree of interest in driving of the user 610 based on the indoor image data.
  • the processor 170 may determine whether the user 610 is looking ahead based on the indoor image data. For example, when the processor 170 maintains a sitting posture of the user 610 and detects the gaze of the user 610 facing forward, the processor 170 may determine that the user 610 is looking forward. In this case, the processor 170 may determine the level of interest in the driving of the user 610 as the first level.
  • the processor 170 may output a question 710 for confirming whether the autonomous vehicle performs a driving function through the output device 350.
  • the processor 170 may output a question through at least one of the display unit 351 and the sound output unit 352.
  • the processor 170 may receive a user's response through the input device 310.
  • the processor 170 may receive a user's response through at least one of the voice input unit 311, the gesture input unit 312, the touch input unit 313, and the mechanical input unit 314.
  • the processor 170 may generate and provide a control signal to reflect the user's response.
  • the processor 170 may determine whether the user 610 uses the user's sensory organs for audio-visual content based on indoor image data. The processor 170 may determine whether the user 610 is looking to the side based on the indoor image data. The processor 170 may determine whether the user 610 maintains a lying position based on the indoor image data.
  • the user 610 When it is determined that the user 610 uses the user's sensory organs for audio-visual content, the user 610 looks to the side, or the user 610 maintains a lying position, the user 610 ) May be determined as the second level of interest in driving.
  • the processor 170 may output a guide including driving situation information through the output device 350.
  • the processor 170 may output a guide through at least one of the display unit 351 and the sound output unit 352.
  • the processor 170 may determine whether the user 610 is sleeping based on indoor image data.
  • the processor 170 may determine whether the user 610 is on a call based on the indoor image data.
  • the processor 170 may determine the degree of interest in the driving of the user 610 as a third level.
  • the processor 170 may deactivate the question and guide output through the output device 350.
  • the above-described present invention can be implemented as a computer-readable code on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is also a carrier wave (e.g., transmission over the Internet).
  • the computer may include a processor or a control unit. Therefore, the detailed description above should not be construed as restrictive in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 인터페이스부를 통해, 차량의 수동 주행 상태 정보를 수신하는 경우, 길안내 정보를 출력 장치를 통해 출력하고, 상기 인터페이스부를 통해, 차량의 자율 주행 상태 정보를 수신하는 경우, 사용자의 상태에 따른 차량 주행 관련 컨텐츠를 출력 장치를 통해 출력하는 적어도 하나의 프로세서;를 포함하는 자율 주행 차량용 전자 장치에 관한 것이다. 자율 주행 차량용 전자 장치에서 생성된 데이터는, 5G 통신 방식을 통해 외부 장치에 전송될 수 있다. 자율 주행 차량용 전자 장치는 인공 지능 알고리즘을 이용해 구현될 수 있다. 자율 주행 차량용 전자 장치에서 생성된 데이터는, 증강 현실 컨텐츠로 구현될 수 있다.

Description

자율 주행 차량용 전자 장치 및 자율 주행 차량용 전자 장치의 동작 방법
본 발명은 차량용 전자 장치 및 차량용 전자 장치의 동작 방법에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다. 자율 주행 차량은 인간의 운전 조작 없이 자동으로 주행할 수 있는 차량을 의미한다.
한편, 내비게이션 장치는, 차량 탑승자에게 경로를 안내해 주는 장치이다. 종래 기술에 따른 내비게이션 장치는, 차량의 위치에서 설정된 목적지까지 이동하기 위한 경로를 제공한다. 그러나 자율 주행 차량의 경우, 수동 주행 상태와 자율 주행 상태에서 사용자에 필요한 정보가 다르다. 자율 주행 차량의 주행 상태에 적합하게 정보를 제공하는 내비게이션 장치에 대한 개발이 필요하다.
본 발명은 상기한 문제점을 해결하기 위하여, 자율 주행 차량의 주행 상태에 적합하게 정보를 제공하는 자율 주행 차량용 전자 장치를 제공하는데 목적이 있다.
또한, 본 발명은, 자율 주행 차량의 주행 상태에 적합하게 정보를 제공하는 자율 주행 차량용 전자 장치의 동작 방법을 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 자율 주행 차량용 전자 장치는, 인터페이스부를 통해, 차량의 수동 주행 상태 정보를 수신하는 경우, 길안내 정보를 출력 장치를 통해 출력하고, 상기 인터페이스부를 통해, 차량의 자율 주행 상태 정보를 수신하는 경우, 사용자의 상태에 따른 차량 주행 관련 컨텐츠를 출력 장치를 통해 출력하는 적어도 하나의 프로세서;를 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 자율 주행 상황에서 단순한 길안내 기능 대신, 주행 상황에 맞게 사용자에게 필요한 정보만 제공하는 효과가 있다.
둘째, 사용자의 상황에 맞춰 사용자가 요구하는 정보를 적절하게 제공하는 효과가 있다.
셋째, 사용자 편의성이 증대되는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량의 제어 블럭도이다.
도 3은 본 발명의 실시예에 따른 자율 주행 차량용 전자 장치의 제어 블럭도이다.
도 4는 본 발명의 실시예에 따른 자율 주행 차량용 전자 장치의 제어 블럭도이다.
도 5는 본 발명의 실시예에 따른 자율 주행 차량용 전자 장치의 플로우 차트이다.
도 6 내지 도 11은 본 발명의 실시예에 따른 자율 주행 차량용 전자 장치의 동작을 설명하는데 참조되는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따른 차량을 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 차량(10)은, 도로나 선로 위를 달리는 수송 수단으로 정의된다. 차량(10)은, 자동차, 기차, 오토바이를 포함하는 개념이다. 차량(10)은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다. 차량(10)은, 공유형 차량일 수 있다. 차량(10)은 자율 주행 차량일 수 있다. 차량(10)에는 전자 장치(200)가 포함될 수 있다.
한편, 차량(10)은, 적어도 하나의 로봇(robot)과 상호 작용할 수 있다. 로봇은, 자력으로 주행이 가능한 이동 로봇(Autonomous Mobile Robot, AMR)일 수 있다. 이동 로봇은, 스스로 이동이 가능하여 이동이 자유롭고, 주행 중 장애물 등을 피하기 위한 다수의 센서가 구비되어 장애물을 피해 주행할 수 있다. 이동 로봇은, 비행 장치를 구비하는 비행형 로봇(예를 들면, 드론)일 수 있다. 이동 로봇은, 적어도 하나의 바퀴를 구비하고, 바퀴의 회전을 통해 이동되는 바퀴형 로봇일 수 있다. 이동 로봇은, 적어도 하나의 다리를 구비하고, 다리를 이용해 이동되는 다리식 로봇일 수 있다.
로봇은 차량(10) 사용자의 편의를 보완하는 장치로 기능할 수 있다. 예를 들면, 로봇은, 차량(10)에 적재된 짐을 사용자의 최종 목적지까지 이동하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량(10)에서 하차한 사용자에게 최종 목적지까지 길을 안내하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량(10)에서 하차한 사용자를 최종 목적지까지 수송하는 기능을 수행할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 통신 장치(220)를 통해, 로봇과 통신을 수행할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 로봇에 차량에 포함되는 적어도 하나의 전자 장치에서 처리한 데이터를 제공할 수 있다. 예를 들면, 차량에 포함되는 적어도 하나의 전자 장치는, 오브젝트 데이터, HD 맵 데이터, 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터 중 적어도 어느 하나를 로봇에 제공할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터, 로봇에서 처리된 데이터를 수신할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 로봇에서 생성된 센싱 데이터, 오브젝트 데이터, 로봇 상태 데이터, 로봇 위치 데이터 및 로봇의 이동 플랜 데이터 중 적어도 어느 하나를 수신할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터 수신된 데이터에 더 기초하여, 제어 신호를 생성할 수 있다. 예를 들면, 차량에 포함되는 적어도 하나의 전자 장치는, 오브젝트 검출 장치(210)에 생성된 오브젝트에 대한 정보와 로봇에 의해 생성된 오브젝트에 대한 정보를 비교하고, 비교 결과에 기초하여, 제어 신호를 생성할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 차량(10)의 이동 경로와 로봇의 이동 경로간의 간섭이 발생되지 않도록, 제어 신호를 생성할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능(artificial intelligence, AI)를 구현하는 소프트웨어 모듈 또는 하드웨어 모듈(이하, 인공 지능 모듈)을 포함할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 획득되는 데이터를 인공 지능 모듈에 입력(input)하고, 인공 지능 모듈에서 출력(output)되는 데이터를 이용할 수 있다.
인공 지능 모듈은, 적어도 하나의 인공 신경망(artificial neural network, ANN)을 이용하여, 입력되는 데이터에 대한 기계 학습(machine learning)을 수행할 수 있다. 인공 지능 모듈은, 입력되는 데이터에 대한 기계 학습을 통해, 드라이빙 플랜 데이터를 출력할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능 모듈에서 출력되는 데이터에 기초하여, 제어 신호를 생성할 수 있다.
실시예에 따라, 차량에 포함되는 적어도 하나의 전자 장치는, 통신 장치(220)를 통해, 외부 장치로부터, 인공 지능에 의해 처리된 데이터를 수신할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능에 의해 처리된 데이터에 기초하여, 제어 신호를 생성할 수 있다.
도 2는 본 발명의 실시예에 따른 차량의 제어 블럭도이다.
도 2를 참조하면, 차량(10)은, 자율 주행 차량용 전자 장치(200), 오브젝트 검출 장치(210), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(240), 차량 구동 장치(250), 주행 시스템(260), 센싱부(270) 및 위치 데이터 생성 장치(280)를 포함할 수 있다.
자율 주행 차량용 전자 장치(200)(이하, 전자 장치)는 차량(10)과 사용자와의 소통을 위한 장치이다. 전자 장치(200)는, 사용자 인터페이스 장치로 명명될 수 있다. 전자 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(10)에서 생성된 정보를 제공할 수 있다. 차량(10)은, 전자 장치(200)를 통해, UI(User Interface) 또는 UX(User Experience)를 구현할 수 있다.
오브젝트 검출 장치(210)는, 차량(10) 외부의 오브젝트를 검출할 수 있다. 오브젝트 검출 장치(210)는, 차량(10) 외부의 오브젝트를 검출할 수 있는 적어도 하나의 센서를 포함할 수 있다. 오브젝트 검출 장치(210)는, 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 오브젝트 검출 장치(210)는, 센서에서 생성되는 센싱 신호에 기초하여 생성된 오브젝트에 대한 데이터를 차량에 포함된 적어도 하나의 전자 장치에 제공할 수 있다.
카메라는 영상을 이용하여 차량(10) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 카메라는 적어도 하나의 렌즈, 적어도 하나의 이미지 센서 및 이미지 센서와 전기적으로 연결되어 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다.
카메라는, 모노 카메라, 스테레오 카메라, AVM(Around View Monitoring) 카메라 중 적어도 어느 하나일 수 있다. 카메라는, 다양한 영상 처리 알고리즘을 이용하여, 오브젝트의 위치 정보, 오브젝트와의 거리 정보 또는 오브젝트와의 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 획득된 영상에서, 시간에 따른 오브젝트 크기의 변화를 기초로, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 핀홀(pin hole) 모델, 노면 프로파일링 등을 통해, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 스테레오 카메라에서 획득된 스테레오 영상에서 디스패러티(disparity) 정보를 기초로 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
카메라는, 차량 외부를 촬영하기 위해 차량에서 FOV(field of view) 확보가 가능한 위치에 장착될 수 있다. 카메라는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 카메라는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다. 카메라는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 카메라는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다. 카메라는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
레이다는 전파를 이용하여 차량(10) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 레이다는, 전자파 송신부, 전자파 수신부 및 전자파 송신부 및 전자파 수신부와 전기적으로 연결되어, 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다. 레이다는 전파 발사 원리상 펄스 레이다(Pulse Radar) 방식 또는 연속파 레이다(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이다는 연속파 레이다 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다. 레이다는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다. 레이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다는, 레이저 광을 이용하여, 차량(10) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 라이다는, 광 송신부, 광 수신부 및 광 송신부 및 광 수신부와 전기적으로 연결되어, 수신되는 신호를 처리하고, 처리된 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다. 라이다는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다. 라이다는, 구동식 또는 비구동식으로 구현될 수 있다. 구동식으로 구현되는 경우, 라이다는, 모터에 의해 회전되며, 차량(10) 주변의 오브젝트를 검출할 수 있다. 비구동식으로 구현되는 경우, 라이다는, 광 스티어링에 의해, 차량을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다를 포함할 수 있다. 라이다는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다. 라이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
통신 장치(220)는, 차량(10) 외부에 위치하는 디바이스와 신호를 교환할 수 있다. 통신 장치(220)는, 인프라(예를 들면, 서버, 방송국) 및 타 차량 중 적어도 어느 하나와 신호를 교환할 수 있다. 통신 장치(220)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(220)는, 5G(예를 들면, 뉴 라디오(new radio, NR)) 방식을 이용하여, 차량(10) 외부에 위치하는 디바이스와 통신할 수 있다. 통신 장치(220)는, 5G 방식을 이용하여, V2X(V2V, V2D, V2P,V2N) 통신을 구현할 수 있다.
운전 조작 장치(230)는, 운전을 위한 사용자 입력을 수신하는 장치이다. 메뉴얼 모드인 경우, 차량(10)은, 운전 조작 장치(230)에 의해 제공되는 신호에 기초하여 운행될 수 있다. 운전 조작 장치(230)는, 조향 입력 장치(예를 들면, 스티어링 휠), 가속 입력 장치(예를 들면, 가속 페달) 및 브레이크 입력 장치(예를 들면, 브레이크 페달)를 포함할 수 있다.
메인 ECU(240)는, 차량(10) 내에 구비되는 적어도 하나의 전자 장치의 전반적인 동작을 제어할 수 있다.
구동 제어 장치(250)는, 차량(10)내 각종 차량 구동 장치를 전기적으로 제어하는 장치이다. 구동 제어 장치(250)는, 파워 트레인 구동 제어 장치, 샤시 구동 제어 장치, 도어/윈도우 구동 제어 장치, 안전 장치 구동 제어 장치, 램프 구동 제어 장치 및 공조 구동 제어 장치를 포함할 수 있다. 파워 트레인 구동 제어 장치는, 동력원 구동 제어 장치 및 변속기 구동 제어 장치를 포함할 수 있다. 샤시 구동 제어 장치는, 조향 구동 제어 장치, 브레이크 구동 제어 장치 및 서스펜션 구동 제어 장치를 포함할 수 있다.
한편, 안전 장치 구동 제어 장치는, 안전 벨트 제어를 위한 안전 벨트 구동 제어 장치를 포함할 수 있다.
차량 구동 제어 장치(250)는, 제어 ECU(Electronic Control Unit)로 명명될 수 있다.
주행 시스템(260)는, 오브젝트 검출 장치(210)에서 수신한 오브젝트에 대한 데이터에 기초하여, 차량(10)의 움직임을 제어하거나, 사용자에게 정보를 출력하기 위한 신호를 생성할 수 있다. 주행 시스템(260)는, 생성된 신호를, 전자 장치(200), 메인 ECU(240) 및 차량 구동 장치(250) 중 적어도 어느 하나에 제공할 수 있다.
주행 시스템(260)은, ADAS를 포함하는 개념일 수 있다. ADAS(260)는, 적응형 크루즈 컨트롤 시스템(ACC : Adaptive Cruise Control), 자동 비상 제동 시스템(AEB : Autonomous Emergency Braking), 전방 충돌 알림 시스템(FCW : Foward Collision Warning), 차선 유지 보조 시스템(LKA : Lane Keeping Assist), 차선 변경 보조 시스템(LCA : Lane Change Assist), 타겟 추종 보조 시스템(TFA : Target Following Assist), 사각 지대 감시 시스템(BSD : Blind Spot Detection), 적응형 하이빔 제어 시스템(HBA : High Beam Assist), 자동 주차 시스템(APS : Auto Parking System), 보행자 충돌 알림 시스템(PD collision warning system), 교통 신호 검출 시스템(TSR : Traffic Sign Recognition), 교통 신호 보조 시스템(TSA : Trafffic Sign Assist), 나이트 비전 시스템(NV : Night Vision), 운전자 상태 모니터링 시스템(DSM : Driver Status Monitoring) 및 교통 정체 지원 시스템(TJA : Traffic Jam Assist) 중 적어도 어느 하나를 구현할 수 있다.
주행 시스템(260)은, 자율 주행 ECU(Electronic Control Unit)를 포함할 수 있다. 자율 주행 ECU는, 차량(10) 내 다른 전자 장치들 중 적어도 어느 하나로부터 수신되는 데이터에 기초하여, 자율 주행 경로를 설정할 수 있다. 자율 주행 ECU는, 전자 장치(200), 오브젝트 검출 장치(210), 통신 장치(220), 센싱부(270) 및 위치 데이터 생성 장치(280) 중 적어도 어느 하나로부터 수신되는 데이터에 기초하여, 자율 주행 경로를 설정할 수 있다. 자율 주행 ECU는, 자율 주행 경로를 따라 차량(10)이 주행하도록 제어 신호를 생성할 수 있다. 자율 주행 ECU에서 생성된 제어 신호는, 메인 ECU(240) 및 차량 구동 장치(250) 중 적어도 어느 하나로 제공될 수 있다.
센싱부(270)는, 차량의 상태를 센싱할 수 있다. 센싱부(270)는, IMU(inertial navigation unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서 및 브레이크 페달 포지션 센서 중 적어도 어느 하나를 포함할 수 있다. 한편, IMU(inertial navigation unit) 센서는, 가속도 센서, 자이로 센서, 자기 센서 중 하나 이상을 포함할 수 있다.
센싱부(270)는, 적어도 하나의 센서에서 생성되는 신호에 기초하여, 차량의 상태 데이터를 생성할 수 있다. 센싱부(270)는, 차량 자세 정보, 차량 모션 정보, 차량 요(yaw) 정보, 차량 롤(roll) 정보, 차량 피치(pitch) 정보, 차량 충돌 정보, 차량 방향 정보, 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(270)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
센싱부(270)는, 센싱 데이터를 기초로, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다.
예를 들면, 차량 상태 정보는, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다.
한편, 센싱부는, 텐션 센서를 포함할 수 있다. 텐션 센서는, 안전 벨트의 텐션 상태에 기초하여 센싱 신호를 생성할 수 있다.
위치 데이터 생성 장치(280)는, 차량(10)의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치(280)는, GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치(280)는, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여 차량(10)의 위치 데이터를 생성할 수 있다. 실시예에 따라, 위치 데이터 생성 장치(280)는, 센싱부(270)의 IMU(Inertial Measurement Unit) 및 오브젝트 검출 장치(210)의 카메라 중 적어도 어느 하나에 기초하여 위치 데이터를 보정할 수 있다.
위치 데이터 생성 장치(280)는, 위치 측위 장치로 명명될 수 있다. 위치 데이터 생성 장치(280)는, GNSS(Global Navigation Satellite System)로 명명될 수 있다.
차량(10)은, 내부 통신 시스템(50)을 포함할 수 있다. 차량(10)에 포함되는 복수의 전자 장치는 내부 통신 시스템(50)을 매개로 신호를 교환할 수 있다. 신호에는 데이터가 포함될 수 있다. 내부 통신 시스템(50)은, 적어도 하나의 통신 프로토콜(예를 들면, CAN, LIN, FlexRay, MOST, 이더넷)을 이용할 수 있다.
도 3은 본 발명의 실시예에 따른 전자 장치의 제어 블럭도이다.
도 3을 참조하면, 전자 장치(200)는, 차량(10)과 사용자와의 소통을 위한 장치이다. 전자 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(10)에서 생성된 정보를 제공할 수 있다. 차량(10)은, 전자 장치(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다. 전자 장치(200)는, 차량(10)에 장착되는 디스플레이 장치, HUD(head up display) 장치, 윈도우 디스플레이 장치, 클러스터 장치 등으로 구현될 수 있다. 전자 장치(200)는, 입력 장치(310), 내부 카메라(320), AR 카메라(325), 생체 감지부(330), 출력 장치(350) 및 프로세서(370)를 포함할 수 있다. 실시예에 따라, 전자 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력 장치(310)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력 장치(310)에 의해 생성된 데이터는, 프로세서(370)에 의해 제어 신호로 처리될 수 있다. 입력 장치(310)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력 장치(310)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다. 입력 장치(310)는, 음성 입력부(311), 제스쳐 입력부(312), 터치 입력부(313) 및 기계식 입력부(314)를 포함할 수 있다. 음성 입력부(311)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(370)에 제공될 수 있다. 음성 입력부(311)는, 적어도 하나의 마이크로 폰을 포함할 수 있다. 제스쳐 입력부(312)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(370)에 제공될 수 있다. 제스쳐 입력부(312)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다. 실시예에 따라, 제스쳐 입력부(312)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(312)는, 복수의 적외선 광을 출력하는 광출력 장치 또는 복수의 이미지 센서를 포함할 수 있다. 제스쳐 입력부(312)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.터치 입력부(313)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(370)에 제공될 수 있다. 터치 입력부(313)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다. 실시예에 따라, 터치 입력부(313)는 디스플레이(351)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(10)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다. 기계식 입력부(314)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(314)에 의해 생성된 전기적 신호는, 프로세서(370)에 제공될 수 있다. 기계식 입력부(314)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(320)는, 차량 내부 영상을 획득할 수 있다. 프로세서(370)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(370)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(370)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
AR 카메라(325)는, 차량 전방 영상을 촬영할 수 있다. AR 카메라(325)는, 차량 전방을 향하도록 실내에 배치될 수 있다. AR 카메라(325)는, 윈드 쉴드에 근접하게 배치되는 것이 바람직하다. AR 카메라(325)에서 촬영된 영상은, 프로세서(370)에 제공될 수 있다. 실시예에 따라, AR 카메라(325)는, 전자 장치(200)의 외부 구성으로 분류될 수 있다. 이경우, 인터페이스부(380)는, AR 카메라(325)로부터 차량 전방 영상 데이터를 수신하여, 프로세서(370)에 전달할 수 있다.
생체 감지부(330)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(330)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력 장치(350)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력 장치(350)는, 디스플레이(351), 음향 출력 장치(352) 및 햅틱 출력 장치(353) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이(351)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다. 디스플레이(351)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다. 디스플레이(351)는 터치 입력부(313)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 디스플레이(351)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이(351)가 HUD로 구현되는 경우, 디스플레이(351)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다. 디스플레이(351)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다. 투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
디스플레이(351)는, 클러스터(351a), CID(Center Integrated Display)(351b) 및 HUD(Head Up Display) 중 적어도 어느 하나로 구현될 수 있다. 실시예에 따라, 디스플레이(351)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역, 시트의 일 영역, 각 필러의 일 영역, 도어의 일 영역, 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역, 윈도우의 일영역에 구현될 수 있다.
음향 출력 장치(352)는, 프로세서(370)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력 장치(352)는, 적어도 하나의 스피커를 포함할 수 있다.
햅틱 출력 장치(353)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력 장치(353)는, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(370)는, 입력 장치(310), 내부 카메라(320), AR 카메라(325), 생체 감지부(330), 메모리(340), 인터페이스부(380), 출력 장치(350) 및 전원 공급부(390)과 전기적으로 연결되어 신호를 교환할 수 있다. 프로세서(370)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 프로세서(370)는, 전원 공급부(390)로부터 제공되는 전원에 의해 구동될 수 있다.
프로세서(370)는, 입력 장치(310), 내부 카메라(320), AR 카메라(325), 생체 감지부(330), 메모리(340), 인터페이스부(380), 출력 장치(350) 및 전원 공급부(390) 중 적어도 어느 하나와 신호를 교환할 수 있다.
프로세서(370)는, 인터페이스부(380)를 통해, 자율 주행 차량(10)의 상태 정보를 수신할 수 있다. 예를 들면, 프로세서(370)는, 메인 ECU(340) 및 주행 시스템(260) 중 적어도 어느 하나로부터, 자율 주행 차량(10)의 상태 정보를 수신할 수 있다.
프로세서(370)는, 인터페이스부(380)를 통해, 자율 주행 차량(10)의 수동 주행 상태 정보를 수신할 수 있다. 이 경우, 프로세서(370)는, 길안내 정보를 출력 장치(350)를 통해 출력할 수 있다.
프로세서(370)는, 자율 주행 차량(10)의 수동 주행 상태 정보를 수신한 후, 주행 상황 정보에 기초하여, 특정 구간에서 수동 운전의 난이도를 판단할 수 있다. 예를 들면, 프로세서(370)는, 소정 거리 이내에 기설정 횟수 이상의 커브가 인지되는 경우 또는 복잡한 진출입로가 인지되는 경우, 수동 운전이 어려운 구간으로 판단할 수 있다.
프로세서(370)는, 자율 주행 차량(10)의 수동 주행 상태 정보를 수신한 후, 사용자의 피로도를 판단할 수 있다. 예를 들면, 프로세서(370)는, 내부 카메라(320)에 의해 획득된 자율 주행 차량(10)의 내부 영상 데이터에 기초하여, 사용자의 피로도를 판단할 수 있다. 예를 들면, 프로세서(370)는, 생체 감지부(330)에 의해 획득된 데이터에 기초하여, 사용자의 피로도를 판단할 수 있다. 예를 들면, 프로세서(370)는, 사용자의 누적 운전 시간 정보에 기초하여, 사용자의 피로도를 판단할 수 있다.
프로세서(370)는, 자율 주행 차량(10)의 수동 주행 상태 정보를 수신한 후, 도로/교통 환경 상황을 판단할 수 있다. 예를 들면, 프로세서(370)는, 주행 구간이 막히는지 여부, 비, 안개, 눈이 존재하는지 여부를 판단할 수 있다.
프로세서(370)는, 수동 운전의 난이도, 사용자의 피로도, 도로/교통 환경 상황에 기초하여, 자율 주행 모드로의 전환 또는 반자율 주행 모드로의 전환을 추천하기 위한 컨텐츠를 출력할 수 있다.
프로세서(370)는, 인터페이스부(380)를 통해, 자율 주행 차량(10)의 자율 주행 상태 정보를 수신할 수 있다. 이 경우, 프로세서(370)는, 사용자의 상태에 따른 차량 주행 관련 컨텐츠를 출력 장치(350)를 통해 출력할 수 있다.
프로세서(370)는, 인터페이스부(380)를 통해, 자율 주행 차량(10)의 자율 주행 상태 정보를 수신하는 경우, 사용자의 상태에 따라 사용자의 주행에 대한 관심도를 판단할 수 있다. 프로세서(370)는, 관심도에 기초하여, 컨텐츠를 출력할 수 있다.
프로세서(370)는, 내부 카메라(320)로부터 차량 내부의 영상 데이터를 수신할 수 있다. 프로세서(370)는, 차량 내부의 영상 데이터에 기초하여, 사용자의 주행에 대한 관심도를 판단할 수 있다. 예를 들면, 프로세서(370)는, 차량 내부의 영상 데이터에서, 사용자의 자세를 검출할 수 있다. 예를 들면, 프로세서(370)는, 사용자가 차량(10)의 전방을 주시하는지 여부, 창문을 주시하는지 여부, 지도를 주시하는지 여부를 판단할 수 있다. 프로세서(370)는, 사용자의 자세에 기초하여, 관심도를 판단할 수 있다.
프로세서(370)는, 사용자 입력에 기초하여, 사용자의 주행에 대한 관심도를 판단할 수 있다. 예를 들면, 프로세서(370)는, 교통 정보 요청을 위한 사용자 입력 또는 주행 관련 정보 질의를 위한 사용자 입력에 기초하여, 관심도를 판단할 수 있다.
프로세서(370)는, 인터페이스부(380)를 통해, 자율 주행 차량(10)의 주행 상황 정보를 수신할 수 있다. 프로세서(370)는, 자율 주행 차량(10)의 주행 상황 정보 및 관심도에 기초하여, 컨텐츠를 출력할 수 있다. 주행 상황 정보는, 전자 장치(200), 오브젝트 검출 장치(210), 센싱부(270) 및 위치 데이터 생성 장치(280) 중 적어도 어느 하나에 의해 생성될 수 있다. 주행 상황 정보는, 차량 외부의 오브젝트 정보, 내비게이션 정보 및 차량 상태 정보 중 적어도 어느 하나를 포함할 수 있다. 오브젝트 정보는, 오브젝트의 존재 유무에 대한 정보, 오브젝트의 위치 정보, 차량(100)과 오브젝트와의 거리 정보 및 차량(100)과 오브젝트와의 상대 속도 정보를 포함할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다. 차량 상태 정보는, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다.
프로세서(370)는, 사용자의 주행에 대한 관심도를 복수의 레벨로 구분하여 판단할 수 있다. 예를 들면, 프로세서(370)는, 사용자의 주행에 대한 관심도를 제1 레벨 내지 제3 레벨로 구분하여 판단할 수 있다. 예를 들면, 프로세서(370)는, 사용자가 전방을 주시하는 것으로 판단되는 경우, 관심도를 제1 레벨로 판단할 수 있다. 제1 레벨은 자율 주행 차량(10)의 주행에 대한 관심도가 높음 수준으로 이해될 수 있다. 예를 들면, 프로세서(370)는, 사용자가 앉은 자세를 유지하는 것으로 판단되는 경우, 관심도를 제1 레벨로 설정할 수 있다. 예를 들면, 프로세서(370)는, 사용자가, 시청각 컨텐츠에 사용자의 감각 기관(예를 들면, 눈, 귀)을 이용하거나 측방을 주시하는 것으로 판단되는 경우, 관심도를 제2 레벨로 판단할 수 있다. 제2 레벨은, 자율 주행 차량(10)의 주행에 대한 관심도가 중간 또는 낮음 수준으로 이해될 수 있다. 예를 들면, 프로세서(370)는, 사용자가, 누운 자세를 유지하는 것으로 판단되는 경우, 관심도를 제2 레벨로 판단할 수 있다. 예를 들면, 프로세서(370)는, 사용자가, 수면중이거나 통화중인 것으로 판단되는 경우, 관심도를 제3 레벨로 판단할 수 있다. 제3 레벨은, 자율 주행 차량(10)의 주행에 대한 관심도가 없음 수준으로 이해될 수 있다.
프로세서(370)는, 복수의 레벨에 따라 서로 다른 컨텐츠를 출력할 수 있다. 예를 들면, 프로세서(370)는, 관심도가 제1 레벨로 판단되는 경우, 출력 장치(350)를 통해, 가속 제어, 감속 제어 및 조향 제어 중 적어도 어느 하나가 요구되는 주행 기능 수행 여부에 대한 질문을 출력할 수 있다. 예를 들면, 프로세서(370)는, 관심도가 제1 레벨로 판단되는 경우, 출력 장치(350)를 통해, 차로 변경 여부, 추월 여부, 도로 진입 여부, 도로 진출 여부 중 적어도 어느 하나를 확인하기 위한 질문을 출력할 수 있다. 프로세서(370)는, 입력 장치(310)를 통해, 질문에 매칭되는 사용자의 응답을 수신할 수 있다. 프로세서(370)는, 사용자의 응답에 기초하여, 가속 제어, 감속 제어 및 조향 제어 중 적어도 어느 하나를 위한 제어 신호를 제공할 수 있다. 예를 들면, 프로세서(370)는, 관심도가 제2 레벨로 판단되는 경우, 출력 장치(350)를 통해, 주행 상황 정보가 포함된 가이드를 출력할 수 있다. 프로세서(370)는, 관심도가 제2 레벨로 판단되는 경우, 커브 구간 주행 예정 정보 및 과속 방지턱 주행 예정 정보 중 적어도 어느 하나가 포함된 가이드를 출력할 수 있다. 예를 들면, 프로세서(370)는, 관심도가 제3 레벨로 판단되는 경우, 출력 장치(350)를 통한 컨텐츠의 출력을 비활성화할 수 있다.
메모리(340)는, 프로세서(270)와 전기적으로 연결된다. 메모리(340)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(340)는, 프로세서(370)에서 처리된 데이터를 저장할 수 있다. 메모리(340)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나로 구성될 수 있다. 메모리(340)는 프로세서(370)의 처리 또는 제어를 위한 프로그램 등, 전자 장치(200) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(340)는, 프로세서(370)와 일체형으로 구현될 수 있다.
인터페이스부(380)는, 차량(10) 내에 구비되는 적어도 하나의 전자 장치와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(380)는, 오브젝트 검출 장치(210), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(240), 차량 구동 장치(250), ADAS(260), 센싱부(270) 및 위치 데이터 생성 장치(280) 중 적어도 어느 하나와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(380)는, 통신 모듈, 단자, 핀, 케이블, 포트, 회로, 소자 및 장치 중 적어도 어느 하나로 구성될 수 있다. 인터페이스부(380)는, 주행 상황 정보를 수신할 수 있다.
전원 공급부(390)는, 전자 장치(200)에 전원을 공급할 수 있다. 전원 공급부(390)는, 차량(10)에 포함된 파워 소스(예를 들면, 배터리)로부터 전원을 공급받아, 전자 장치(200)에 전원을 공급할 수 있다. 전원 공급부(390)는, 메인 ECU(240)로부터 제공되는 제어 신호에 따라 동작될 수 있다. 전원 공급부(390)는, SMPS(switched-mode power supply)로 구현될 수 있다.
전자 장치(200)는, 적어도 하나의 인쇄 회로 기판(printed circuit board, PCB)을 포함할 수 있다. 입력 장치(310), 내부 카메라(320), AR 카메라(325), 생체 감지부(330), 메모리(340), 인터페이스부(380), 출력 장치(350), 프로세서(370) 및 전원 공급부(390)는 인쇄 회로 기판에 전기적으로 연결될 수 있다.
도 4는 본 발명의 실시예에 따른 자율 주행 차량용 전자 장치의 제어 블럭도이다.
도 4를 참조하면, 프로세서(370)는, DMS(Driver Monitoring System)(371), IMS(Internal Monitoring System)(372), 음성 인식 서비스(373), CAN 정보부(374) 및 내비게이션부(375)를 포함할 수 있다.
DMS(371)는, 내부 카메라(320)에서 획득된 차량 내부 영상 데이터에 기초하여, 운전자 모니터링 동작을 수행할 수 있다. IMS(372)는, 내부 카메라(320)에서 획득된 차량 내부 영상 데이터에 기초하여, 자율 주행 차량(10)의 내부 상황에 대한 모니터링 동작을 수행할 수 있다. 음성 인식 서비스(373)는, 마이크(311)로부터 수신되는 음성 데이터를 분석하여, 제어 신호로 전환하는 동작을 수행할 수 있다. CAN 정보부(374)는, 자율 주행 차량(10)에 포함되는 다른 전자 장치로부터 수신되는 정보를 처리할 수 있다.
내비게이션부(375)는, 내비게이션 관련 동작을 수행할 수 있다. 내비게이션부(370)는, 교통 정보 서비스(301), 지도 정보 데이터 베이스(302), 경로 생성 엔진(303), 주행 안내 서비스(304) 및 자율 주행 지능형 안내 서비스(305)를 포함할 수 있다. 교통 정보 서비스(301)는, 교통 정보를 획득하여 제공할 수 있다. 지도 정보 데이터 베이스(302)는, HD 맵 데이터를 획득하여 저장할 수 있다. 경로 생성 엔진(303)은, 주행 상황 정보(예를 들면, 교통 정보, HD 맵 데이터, 오브젝트에 대한 데이터, 차량 상태에 대한 데이터)에 기초하여, 경로를 생성할 수 있다. 주행 안내 서비스(304)는, 경로를 따른 차량(10)의 주행 안내를 위한 데이터를 생성하여 제공할 수 있다.
자율 주행 지능형 안내 서비스(305)는, 자율 주행 차량(10)의 수동 주행 또는 자율 주행 상태 정보에 따라 제공되는 컨텐츠를 결정할 수 있다. 자율 주행 지능형 안내 서비스(305)는, 결정된 컨텐츠를 출력 장치(351, 352)를 통해 출력할 수 있다. 자율 주행 지능형 안내 서비스(305)는, 사용자의 응답 신호에 기초하여, 감속 제어, 가속 제어, 조향 제어 중 적어도 어느 하나를 동한반 제어 동작이 수행되도록 제어 신호를 제공할 수 있다. 제어 신호는, 자율 주행 시스템(260)에 제공될 수 있다.
도 5는 본 발명의 실시예에 따른 자율 주행 차량용 전자 장치의 플로우 차트이다.
도 5를 참조하면, 프로세서(370)는, 주행 상황 정보를 수신할 수 있다. 프로세서(370)는, 주행 상황 정보에 기초하여, 도로/주행 상황의 변화를 인지할 수 있다(S510). S510 단계에서, 프로세서(370)는, 자율 주행 차량(10)의 상태 정보를 수신할 수 있다. 예를 들면, 프로세서(370)는, 자율 주행 차량(10)의 수동 주행 상태 정보를 수신할 수 있다. 예를 들면, 프로세서(370)는, 자율 주행 차량(10)의 자율 주행 상태 정보를 수신할 수 있다.
프로세서(370)가, 자율 주행 차량(10)의 수동 주행 상태 정보를 수신하는 경우, 길 안내 정보를 출력 장치(350)를 통해 출력할 수 있다.
프로세서(370)가, 자율 주행 차량(10)의 자율 주행 상태 정보를 수신하는 경우, 사용자의 상태에 따른 차량 주행 관련 컨텐츠를 출력 장치(350)를 통해 출력할 수 있다(S525).
컨텐츠를 출력하는 단계(S525)에서, 프로세서(370)는, 사용자의 상태에 따라 사용자의 주행에 대한 관심도를 판단할 수 있다(S520). 컨텐츠를 출력하는 단계에서, 프로세서(370)는, 관심도를 복수의 레벨로 구분하여 판단할 수 있다. 예를 들면, 프로세서(370)는, 사용자가 앉은 자세를 유지하는 것으로 판단되는 경우, 관심도를 제1 레벨로 판단할 수 있다. 예를 들면, 프로세서(370)는, 사용자가 전방을 주시하는 것으로 판단되는 경우, 관심도를 제1 레벨로 판단할 수 있다(S521). 예를 들면, 프로세서(370)는, 사용자가 누운 자세를 유지하는 것으로 판단되는 경우, 관심도를 제2 레벨로 판단할 수 있다. 예를 들면, 프로세서(370)는, 사용자가 시청각 컨텐츠(예를 들면, 영상, 음악)에 사용자의 감각 기관을 이용하거나 측방을 주시하는 것으로 판단되는 경우, 관심도를 제2 레벨로 판단할 수 있다. 예를 들면, 프로세서(370)는, 사용자가, 수면중이거나 통화중인 것으로 판단되는 경우, 관심도를 제3 레벨로 판단할 수 있다.
컨텐츠를 출력하는 단계(S525)에서, 프로세서(370)는, 관심도에 따른 컨텐츠(예를 들면, 질문, 가이드)를 결정할 수 있다(S530). 프로세서(370)는, 복수의 레벨에 따라 서로 다른 출력 컨텐츠를 결정할 수 있다. 예를 들면, 프로세서(370)는, 관심도가 제1 레벨로 판단되는 경우, 출력 컨텐츠를 주행 기능 수행 여부에 대한 질문으로 결정할 수 있다. 예를 들면, 프로세서(370)는, 관심도가 제2 레벨로 판단되는 경우, 출력 컨텐츠를 주행 상황 정보가 포함된 가이드로 결정할 수 있다. 예를 들면, 프로세서(370)는, 관심도가 제3 레벨로 판단되는 경우, 컨텐츠를 출력하지 않는 것으로 결정할 수 있다.
컨텐츠를 출력하는 단계(S525)에서, 프로세서(370)는, 컨텐츠가 사용자의 응답이 필요한 것인지 판단할 수 있다(S540).
컨텐츠를 출력하는 단계(S525)에서, 프로세서(370)는, 관심도에 기초하여, 컨텐츨르 출력할 수 있다. 프로세서(370)는, 자율 주행 차량(10)의 주행 상황 정보 및 관심도에 기초하여, 컨텐츠를 출력할 수 있다. 컨텐츠를 출력하는 단계(S525)에서, 프로세서(370)는, 관심도의 복수의 레벨에 따라 서로 다른 컨텐츠를 출력할 수 있다(S550, S580).
컨텐츠를 출력하는 단계에서, 사용자의 응답이 필요한 것으로 판단되는 경우, 프로세서(370)는, 출력 장치(350)를 통해, 주행 기능 수행 여부에 대한 질문을 출력할 수 있다(S550). 예를 들면, 프로세서(370)는, 관심도가 제1 레벨로 판단되는 경우, 출력 장치(350)를 통해, 가속 제어, 감속 제어 및 조향 제어 중 적어도 어느 하나가 요구되는 주행 기능 수행 여부에 대한 질문을 출력할 수 있다. 예를 들면, 프로세서(370)는, 관심도가 제1 레벨로 판단되는 경우, 출력 장치(350)를 통해, 차로 변경 여부, 추월 여부, 도로 진입 여부, 도로 진출 여부 중 적어도 어느 하나를 확인하기 위한 질문을 출력할 수 있다.
프로세서(370)는, 질문에 매칭되는 사용자의 응답을 수신할 수 있다. 프로세서(370)는, 사용자의 응답을 분석할 수 있다(S560).
프로세서(370)는, 사용자의 응답을 가이드 또는 주행에 반영할 수 있다(S570). 예를 들면, 프로세서(370)는, 사용자의 응답에 기초하여, 가속 제어, 감속 제어 및 조향 제어 중 적어도 어느 하나를 위한 제어 신호를 제공할 수 있다. 예를 들면, 프로세서(370)는, 사용자의 응답에 기초하여, 차로 변경, 추월, 도로 진입, 도로 진출을 위한 제어 신호를 제공할 수 있다. 여기서, 제어 신호는, 자율 주행 시스템(260)에 제공될 수 있다.
컨텐츠를 출력하는 단계에서, 사용자의 응답이 필요하지 않는 것으로 판단되는 경우, 프로세서(370)는, 출력 장치(350)를 통해, 가이드를 출력할 수 있다(S580). 예를 들면, 프로세서(370)는, 관심도가 제2 레벨로 판단되는 경우, 출력 장치(350)를 통해, 주행 상황 정보가 포함된 가이드를 출력할 수 있다. 예를 들면, 프로세서(370)는, 관심도가 제2 레벨로 판단되는 경우, 커브 구간 주행 예정 정보 및 과속 방지턱 주행 예정 정보 중 적어도 어느 하나가 포함된 가이드를 출력할 수 있다.
한편, 컨텐츠를 출력하는 단계에서, 프로세서(370)는, 관심도가 제3 레벨로 판단되는 경우, 출력 장치(350)를 통한 컨텐츠의 출력을 비활성화할 수 있다.
도 6 내지 도 11은 본 발명의 실시예에 따른 자율 주행 차량용 전자 장치의 동작을 설명하는데 참조되는 도면이다.
도 6 내지 도 7을 참조하면, 내부 카메라(320)는, 자율 주행 차량(10)의 실내 영상을 획득할 수 있다. 프로세서(370)는, 내부 카메라(320)로부터 실내 영상 데이터를 획득할 수 있다. 프로세서(170)는, 실내 영상 데이터에 기초하여, 사용자(610)의 상태를 검출할 수 있다. 프로세서(170)는, 실내 영상 데이터에 기초하여, 사용자(610)의 주행에 대한 관심도를 판단할 수 있다.
프로세서(170)는, 실내 영상 데이터에 기초하여, 사용자(610)가 전방을 주시하는지 여부를 판단할 수 있다. 예를 들면, 프로세서(170)는, 사용자(610)의 앉은 자세를 유지와 전방을 향하는 사용자(610)의 시선을 검출하는 경우, 사용자(610)가 전방을 주시하는 것으로 판단할 수 있다. 이경우, 프로세서(170)는, 사용자(610)의 주행에 대한 관심도를 제1 레벨로 판단할 수 있다.
프로세서(170)는, 관심도가 제1 레벨로 판단되는 경우, 출력 장치(350)를 통해 자율 주행 차량의 주행 기능 수행 여부 확인을 위한 질문(710)을 출력할 수 있다. 예를 들면, 프로세서(170)는, 디스플레이부(351) 및 음향 출력부(352) 중 적어도 어느 하나를 통해, 질문을 출력할 수 있다. 프로세서(170)는, 입력 장치(310)를 통해, 사용자의 응답을 수신할 수 있다. 예를 들면, 프로세서(170)는, 음성 입력부(311), 제스쳐 입력부(312), 터치 입력부(313) 및 기계식 입력부(314) 중 적어도 어느 하나를 통해, 사용자의 응답을 수신할 수 있다. 프로세서(170)는, 사용자의 응답이 반영될 수 있도록 제어 신호를 생성하여 제공할 수 있다.
도 8 내지 도 10을 참조하면, 프로세서(170)는, 실내 영상 데이터에 기초하여, 사용자(610)가 시청각 컨텐츠에 사용자의 감각 기관을 이용하는지 여부를 판단할 수 있다. 프로세서(170)는, 실내 영상 데이터에 기초하여, 사용자(610)가 측방을 주시하는지 여부를 판단할 수 있다. 프로세서(170)는, 실내 영상 데이터에 기초하여, 사용자(610)가 누운 자세를 유지하는지 여부를 판단할 수 있다.
프로세서(170)는, 사용자(610)가 시청각 컨텐츠에 사용자의 감각 기관을 이용하거나, 사용자(610)가 측방을 주시하거나, 사용자(610)가 누운 자세를 유지하는 것으로 판단되는 경우, 사용자(610)의 주행에 대한 관심도를 제2 레벨로 판단할 수 있다.
프로세서(170)는, 관심도가 제2 레벨로 판단되는 경우, 출력 장치(350)를 통해, 주행 상황 정보가 포함된 가이드를 출력할 수 있다. 예를 들면, 프로세서(170)는, 디스플레이부(351) 및 음향 출력부(352) 중 적어도 어느 하나를 통해, 가이드를 출력할 수 있다.
도 11을 참조하면, 프로세서(170)는, 실내 영상 데이터에 기초하여, 사용자(610)가 수면중인지 여부를 판단할 수 있다. 프로세서(170)는, 실내 영상 데이터에 기초하여, 사용자(610)가 통화중인지 여부를 판단할 수 있다.
프로세서(170)는, 사용자(610)가 수면중이거나 통화중인 것으로 판단되는 경우, 사용자(610)의 주행에 대한 관심도를 제3 레벨로 판단할 수 있다.
프로세서(170)는, 관심도가 제3 레벨로 판단되는 경우, 출력 장치(350)를 통한 질문 및 가이드 출력을 비활성화할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 인터페이스부를 통해, 차량의 수동 주행 상태 정보를 수신하는 경우, 길안내 정보를 출력 장치를 통해 출력하고,
    상기 인터페이스부를 통해, 차량의 자율 주행 상태 정보를 수신하는 경우, 사용자의 상태에 따른 차량 주행 관련 컨텐츠를 출력 장치를 통해 출력하는 적어도 하나의 프로세서;를 포함하는 자율 주행 차량용 전자 장치.
  2. 제 1항에 있어서,
    상기 프로세서는,
    상기 인터페이스부를 통해, 차량의 자율 주행 상태 정보를 수신하는 경우,
    상기 사용자의 상태에 따라 사용자의 주행에 대한 관심도를 판단하고, 상기 관심도에 기초하여 상기 컨텐츠를 출력하는 자율 주행 차량용 전자 장치.
  3. 제 2항에 있어서,
    상기 프로세서는,
    상기 인터페이스부를 통해, 차량의 주행 상황 정보를 수신하고, 상기 차량의 주행 상황 정보 및 상기 관심도에 기초하여, 상기 컨텐츠를 출력하는 자율 주행 차량용 전자 장치.
  4. 제 3항에 있어서,
    상기 프로세서는,
    상기 관심도를 복수의 레벨로 구분하여 판단하고, 상기 복수의 레벨에 따라 서로 다른 컨텐츠를 출력하는 자율 주행 차량용 전자 장치.
  5. 제 4항에 있어서,
    상기 프로세서는,
    사용자가 전방을 주시하는 것으로 판단되는 경우, 상기 관심도를 제1 레벨로 판단하고,
    상기 관심도가 제1 레벨로 판단되는 경우, 상기 출력 장치를 통해, 가속 제어, 감속 제어 및 조향 제어 중 적어도 어느 하나가 요구되는 주행 기능 수행 여부에 대한 질문을 출력하는 자율 주행 차량용 전자 장치.
  6. 제 5항에 있어서,
    상기 프로세서는,
    상기 관심도가 제1 레벨로 판단되는 경우, 상기 출력 장치를 통해, 차로 변경 여부, 추월 여부, 도로 진입 여부, 도로 진출 여부 중 적어도 어느 하나를 확인하기 위한 질문을 출력하는 자율 주행 차량용 전자 장치.
  7. 제 5항에 있어서,
    상기 프로세서는,
    입력 장치를 통해, 상기 질문에 매칭되는 사용자의 응답을 수신하고,
    상기 사용자의 응답에 기초하여, 가속 제어, 감속 제어 및 조향 제어 중 적어도 어느 하나를 위한 제어 신호를 제공하는 자율 주행 차량용 전자 장치.
  8. 제 4항에 있어서,
    상기 프로세서는,
    사용자가, 시청각 컨텐츠에 사용자의 감각 기관을 이용하거나 측방을 주시하는 것으로 판단되는 경우, 상기 관심도를 제2 레벨로 판단하고,
    상기 관심도가 제2 레벨로 판단되는 경우, 상기 출력 장치를 통해, 주행 상황 정보가 포함된 가이드를 출력하는 자율 주행 차량용 전자 장치.
  9. 제 8항에 있어서,
    상기 프로세서는,
    상기 관심도가 제2 레벨로 판단되는 경우, 커브 구간 주행 예정 정보 및 과속 방지턱 주행 예정 정보 중 적어도 어느 하나가 포함된 가이드를 출력하는 자율 주행 차량용 전자 장치.
  10. 제 4항에 있어서,
    상기 프로세서는,
    사용자가, 수면중이거나 통화중인 것으로 판단되는 경우, 상기 관심도를 제3 레벨로 판단하고,
    상기 관심도가 제3 레벨로 판단되는 경우, 상기 출력 장치를 통한 컨텐츠의 출력을 비활성화하는 자율 주행 차량용 전자 장치.
  11. 적어도 하나의 프로세서가, 차량의 수동 주행 상태 정보를 수신하는 경우, 길안내 정보를 출력 장치를 통해 출력하는 단계; 및
    적어도 하나의 프로세서가, 차량의 자율 주행 상태 정보를 수신하는 경우, 사용자의 상태에 따른 차량 주행 관련 컨텐츠를 상기 출력 장치를 통해 출력하는 단계;를 포함하는 자율 주행 차량용 전자 장치의 동작 방법.
  12. 제 11항에 있어서,
    상기 컨텐츠를 출력하는 단계는,
    적어도 하나의 프로세서가, 상기 사용자의 상태에 따라 사용자의 주행에 대한 관심도를 판단하는 단계;
    적어도 하나의 프로세서가, 상기 관심도에 기초하여 상기 컨텐츠를 출력하는 자율 주행 차량용 전자 장치의 동작 방법.
  13. 제 12항에 있어서,
    적어도 하나의 프로세서가, 차량의 주행 상황 정보를 수신하는 단계;를 더 포함하고,
    상기 컨텐츠를 출력하는 단계는,
    적어도 하나의 프로세서가, 상기 차량의 주행 상황 정보 및 상기 관심도에 기초하여, 상기 컨텐츠를 출력하는 단계를 포함하는 자율 주행 차량용 전자 장치의 동작 방법.
  14. 제 13항에 있어서,
    상기 컨텐츠를 제공하는 단계는,
    적어도 하나의 프로세서가, 상기 관심도를 복수의 레벨로 구분하여 판단하고, 상기 복수의 레벨에 따라 서로 다른 컨텐츠를 출력하는 단계;를 포함하는 자율 주행 차량용 전자 장치의 동작 방법.
  15. 제 14항에 있어서,
    상기 컨텐츠를 출력하는 단계는,
    적어도 하나의 프로세서가, 사용자가 전방을 주시하는 것으로 판단되는 경우, 상기 관심도를 제1 레벨로 판단하는 단계; 및
    적어도 하나의 프로세서가, 상기 관심도가 제1 레벨로 판단되는 경우, 상기 출력 장치를 통해, 가속 제어, 감속 제어 및 조향 제어 중 적어도 어느 하나가 요구되는 주행 기능 수행 여부에 대한 질문을 출력하는 단계;를 포함하는 자율 주행 차량용 전자 장치의 동작 방법.
  16. 제 15항에 있어서,
    상기 질문을 출력하는 단계는,
    적어도 하나의 프로세서가, 상기 관심도가 제1 레벨로 판단되는 경우, 상기 출력 장치를 통해, 차로 변경 여부, 추월 여부, 도로 진입 여부, 도로 진출 여부 중 적어도 어느 하나를 확인하기 위한 질문을 출력하는 단계;를 포함하는 자율 주행 차량용 전자 장치의 동작 방법.
  17. 제 16항에 있어서,
    적어도 하나의 프로세서가, 상기 질문에 매칭되는 사용자의 응답을 수신하는 단계; 및
    적어도 하나의 프로세서가, 상기 사용자의 응답에 기초하여, 가속 제어, 감속 제어 및 조향 제어 중 적어도 어느 하나를 위한 제어 신호를 제공하는 단계;를 더 포함하는 자율 주행 차량용 전자 장치의 동작 방법.
  18. 제 14항에 있어서,
    상기 컨텐츠를 출력하는 단계는,
    적어도 하나의 프로세서가, 사용자가, 시청각 컨텐츠에 사용자의 감각 기관을 이용하거나 측방을 주시하는 것으로 판단되는 경우, 상기 관심도를 제2 레벨로 판단하는 단계; 및
    적어도 하나의 프로세서가, 상기 관심도가 제2 레벨로 판단되는 경우, 상기 출력 장치를 통해, 주행 상황 정보가 포함된 가이드를 출력하는 단계;를 포함하는 자율 주행 차량용 전자 장치의 동작 방법.
  19. 제 18항에 잇어서,
    상기 가이드를 출력하는 단계는,
    적어도 하나의 프로세서가, 상기 관심도가 제2 레벨로 판단되는 경우, 커브 구간 주행 예정 정보 및 과속 방지턱 주행 예정 정보 중 적어도 어느 하나가 포함된 가이드를 출력하는 단계;를 포함하는 자율 주행 차량용 전자 장치의 동작 방법.
  20. 제 14항에 있어서,
    상기 컨텐츠를 출력하는 단계는,
    적어도 하나의 프로세서가, 사용자가, 수면중이거나 통화중인 것으로 판단되는 경우, 상기 관심도를 제3 레벨로 판단하는 단계; 및
    적어도 하나의 프로세서가, 상기 관심도가 제3 레벨로 판단되는 경우, 상기 출력 장치를 통한 컨텐츠의 출력을 비활성화하는 단계;를 포함하는 자율 주행 차량용 전자 장치의 동작 방법.
PCT/KR2019/008136 2019-07-03 2019-07-03 자율 주행 차량용 전자 장치 및 자율 주행 차량용 전자 장치의 동작 방법 WO2021002505A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/008136 WO2021002505A1 (ko) 2019-07-03 2019-07-03 자율 주행 차량용 전자 장치 및 자율 주행 차량용 전자 장치의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/008136 WO2021002505A1 (ko) 2019-07-03 2019-07-03 자율 주행 차량용 전자 장치 및 자율 주행 차량용 전자 장치의 동작 방법

Publications (1)

Publication Number Publication Date
WO2021002505A1 true WO2021002505A1 (ko) 2021-01-07

Family

ID=74100511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/008136 WO2021002505A1 (ko) 2019-07-03 2019-07-03 자율 주행 차량용 전자 장치 및 자율 주행 차량용 전자 장치의 동작 방법

Country Status (1)

Country Link
WO (1) WO2021002505A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150053477A (ko) * 2013-11-08 2015-05-18 한국전자통신연구원 내비게이션을 이용한 자율 주행 제어 장치 및 그 방법
KR20170059224A (ko) * 2015-11-20 2017-05-30 현대모비스 주식회사 운전자 시선 기반 안전운전 정보 제공 시스템 및 방법
US20170192436A1 (en) * 2016-01-05 2017-07-06 Electronics And Telecommunications Research Institute Autonomous driving service system for autonomous driving vehicle, cloud server for the same, and method for operating the cloud server
KR20170135196A (ko) * 2016-05-30 2017-12-08 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
KR20180086632A (ko) * 2017-01-23 2018-08-01 한국전자통신연구원 자율주행 차량의 행동 결정 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150053477A (ko) * 2013-11-08 2015-05-18 한국전자통신연구원 내비게이션을 이용한 자율 주행 제어 장치 및 그 방법
KR20170059224A (ko) * 2015-11-20 2017-05-30 현대모비스 주식회사 운전자 시선 기반 안전운전 정보 제공 시스템 및 방법
US20170192436A1 (en) * 2016-01-05 2017-07-06 Electronics And Telecommunications Research Institute Autonomous driving service system for autonomous driving vehicle, cloud server for the same, and method for operating the cloud server
KR20170135196A (ko) * 2016-05-30 2017-12-08 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
KR20180086632A (ko) * 2017-01-23 2018-08-01 한국전자통신연구원 자율주행 차량의 행동 결정 장치 및 방법

Similar Documents

Publication Publication Date Title
US11188741B2 (en) Method and apparatus for passenger recognition and boarding support of autonomous vehicle
KR101732983B1 (ko) 차량용 리어 콤비네이션 램프 및 이를 포함하는 차량
KR20190030091A (ko) 차량의 군집 주행 방법 및 차량
KR20180036267A (ko) 자율 주행 차량의 제어방법과 서버
KR20180037730A (ko) 차량용 디스플레이 장치 및 이를 포함하는 차량
KR20170099188A (ko) 차량 운전 보조장치 및 이를 포함하는 차량
WO2021002519A1 (ko) 차량용 광고 제공 장치 및 차량용 광고 제공 방법
KR20190023637A (ko) 차량용 어라운드 뷰 제공 장치 및 차량
KR20190041172A (ko) 자율주행 차량 및 그 제어 방법
WO2021002517A1 (ko) 공유형 차량 관리 장치 및 공유형 차량의 관리 방법
KR102035135B1 (ko) 차량 사고 정보 제공 시스템
KR20200095313A (ko) 영상 출력 장치
WO2020241971A1 (ko) 교통 사고 처리 장치 및 교통 사고 처리 방법
KR20160148394A (ko) 자율 주행 차량
KR20210017897A (ko) 차량용 전자 장치 및 그의 동작 방법
KR20160148395A (ko) 자율 주행 차량
KR101843535B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR101850857B1 (ko) 디스플레이 장치 및 이를 포함하는 차량
KR102043954B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
WO2020145440A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2021002505A1 (ko) 자율 주행 차량용 전자 장치 및 자율 주행 차량용 전자 장치의 동작 방법
KR102089955B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
KR20230028248A (ko) 제어 장치, 투영 시스템, 제어 방법 및 프로그램
WO2020004886A1 (ko) 통신용 ecu
KR20170011881A (ko) 차량용 레이더, 및 이를 구비하는 차량

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19936071

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19936071

Country of ref document: EP

Kind code of ref document: A1