WO2020145440A1 - 차량용 전자 장치 및 차량용 전자 장치의 동작 방법 - Google Patents

차량용 전자 장치 및 차량용 전자 장치의 동작 방법 Download PDF

Info

Publication number
WO2020145440A1
WO2020145440A1 PCT/KR2019/000463 KR2019000463W WO2020145440A1 WO 2020145440 A1 WO2020145440 A1 WO 2020145440A1 KR 2019000463 W KR2019000463 W KR 2019000463W WO 2020145440 A1 WO2020145440 A1 WO 2020145440A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
vehicle
processor
electronic device
area
Prior art date
Application number
PCT/KR2019/000463
Other languages
English (en)
French (fr)
Inventor
윤상열
배현주
이태경
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/000463 priority Critical patent/WO2020145440A1/ko
Priority to KR1020197024853A priority patent/KR102699613B1/ko
Priority to US16/500,801 priority patent/US20210354634A1/en
Publication of WO2020145440A1 publication Critical patent/WO2020145440A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • the present invention relates to a vehicle electronic device and a method of operating the vehicle electronic device.
  • the vehicle is a device that moves in a direction desired by a user on board.
  • a typical example is a car.
  • ADAS vehicle driver assistance systems
  • At least one sensor and processor are always operated to acquire data about an object outside the vehicle. Therefore, power for driving the sensor and the processor at all times is required.
  • a high computational amount of the processor is required.
  • a processor capable of performing a higher level of computation and power for driving it are required.
  • an object of the present invention is to provide an electronic device for a vehicle that reduces an amount of computation when generating data for an object outside the vehicle.
  • an embodiment of the present invention has an object to provide a method of operating an electronic device for a vehicle that reduces a computation amount when generating data for an object outside the vehicle.
  • a power supply for supplying power; And in a state in which the power is supplied, obtain data on an object outside the vehicle, and based on the data on the object, within a field of veiw (FOV) of at least one range sensor facing the object. It includes; a processor for determining a data processing area in the.
  • FOV field of veiw
  • the processor generates a signal for setting at least one of a frame rate and a sensing range of the at least one range sensor facing the object.
  • the interface unit for receiving data for the object further includes.
  • the processor through a communication device mounted on the vehicle, receives first data for the object from an external device, and based on the first data, the probability that the object is located A first area greater than or equal to a preset value is determined, and the first area is determined as the data processing area.
  • the processor receives the second data for the object from the camera mounted on the vehicle, and based on the second data, the second probability that the object is located is greater than or equal to a preset value. An area is determined, and the second area is determined as the data processing area.
  • a region including both the first region and the second region is determined as the data processing region.
  • the processor acquires motion planning data of a vehicle, and further determines the data processing area based on the motion planning data.
  • FIG. 1 is a view showing the appearance of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a view referred to for describing an object according to an embodiment of the present invention.
  • FIG. 3 is a block diagram referred to for describing a vehicle and an electronic device for a vehicle according to an embodiment of the present invention.
  • FIG. 4 is a block diagram referred to for describing an electronic device for a vehicle according to an embodiment of the present invention.
  • 5A is a flowchart of an electronic device for a vehicle according to an embodiment of the present invention.
  • 5B is a flow chart of the detailed algorithm of step S530 of FIG. 5A.
  • FIG. 6 is a view referred to for describing an operation of an electronic device for a vehicle according to an embodiment of the present invention.
  • FIG. 7 is a flowchart of an electronic device for a vehicle according to an embodiment of the present invention.
  • FIG 8 to 9 are views for explaining the operation of the electronic device for a vehicle according to an embodiment of the present invention.
  • FIG. 10 is a flowchart of an electronic device for a vehicle according to an embodiment of the present invention.
  • FIG. 11 is a view referred to for describing an operation of an electronic device for a vehicle according to an embodiment of the present invention.
  • the left side of the vehicle means the left side of the driving direction of the vehicle
  • the right side of the vehicle means the right side of the driving direction of the vehicle
  • FIG. 1 is a view showing the appearance of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a view referred to for describing an object according to an embodiment of the present invention.
  • FIG. 3 is a block diagram referred to for describing a vehicle and an electronic device for a vehicle according to an embodiment of the present invention.
  • the vehicle 10 is defined as a transportation means running on a road or a track.
  • the vehicle 10 is a concept including an automobile, a train, and a motorcycle.
  • the vehicle 10 may be a concept including both an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the vehicle 10 may include a vehicle electronic device 100.
  • the vehicle electronic device 100 may be mounted on the vehicle 10.
  • the vehicle electronic device 100 may set sensing parameters of at least one range sensor based on the acquired object data.
  • the object detection device 210 acquires data about an object outside the vehicle 10.
  • the data for the object is at least one of data on the existence or absence of the object, data on the position of the object, data on the distance between the vehicle 10 and the object, and data on the relative speed between the vehicle 10 and the object. It can contain one.
  • the object may be various objects related to the operation of the vehicle 10.
  • the object O is a lane (OB10), another vehicle (OB11), a pedestrian (OB12), a two-wheeled vehicle (OB13), traffic signals (OB14, OB15), light, road, structure, speeding It may include prevent jaws, topography, animals, and the like.
  • the lane OB10 may be a driving lane, a side lane next to the driving lane, or a lane driven by an opposite vehicle.
  • the lane OB10 may be a concept including left and right lines forming a lane. By car, it may be a concept including an intersection.
  • the other vehicle OB11 may be a vehicle driving around the vehicle 10.
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle 10.
  • the other vehicle OB11 may be a vehicle preceding or following the vehicle 10.
  • the pedestrian OB12 may be a person located around the vehicle 10.
  • the pedestrian OB12 may be a person located within a predetermined distance from the vehicle 10.
  • the pedestrian OB12 may be a person located on a sidewalk or a road.
  • the two-wheeled vehicle OB13 may mean a vehicle that is located around the vehicle 10 and moves using two wheels.
  • the two-wheeled vehicle OB13 may be a vehicle having two wheels positioned within a predetermined distance from the vehicle 10.
  • the two-wheeled vehicle OB13 may be a motorcycle or a bicycle located on a sidewalk or a driveway.
  • the traffic signal may include a traffic light OB15, a traffic sign OB14, a pattern or text drawn on the road surface.
  • the light may be light generated from a lamp provided in another vehicle.
  • Light can be light generated from street lights.
  • the light can be sunlight.
  • Roads may include road surfaces, curves, slopes such as uphills, downhills, and the like.
  • the structure may be an object located around the road and fixed to the ground.
  • the structure may include street lights, street trees, buildings, power poles, traffic lights, bridges, curbs, and wall surfaces. Terrain can include mountains, hills, and the like.
  • objects may be classified into moving objects and still objects.
  • the moving object may be a concept including another moving vehicle and a moving pedestrian.
  • the stationary object may be a concept including a traffic signal, a road, a structure, another stationary vehicle, and a stationary pedestrian.
  • the vehicle 10 includes a vehicle electronic device 100, a user interface device 200, an object detection device 210, a communication device 220, a driving operation device 230, a main ECU 240, and a vehicle driving device ( 250), an ADAS 260, a sensing unit 270, and a location data generating device 280.
  • the electronic device 100 may acquire data on an object OB outside the vehicle 10 and generate a signal for setting a sensing parameter of the range sensor based on the data on the object.
  • the electronic device 100 may include an interface unit 180, a power supply unit 190 memory 140, and a processor 170.
  • the interface unit 180 may exchange signals with wires or wirelessly with at least one electronic device provided in the vehicle 10.
  • the interface unit 180 includes a user interface device 200, an object detection device 210, a communication device 220, a driving operation device 230, a main ECU 240, a vehicle driving device 250, and an ADAS 260 ), at least one of the sensing unit 270 and the location data generating device 280 may exchange signals by wire or wirelessly.
  • the interface unit 180 may be configured as at least one of a communication module, terminal, pin, cable, port, circuit, device, and device.
  • the interface unit 180 may receive data for objects OB10, OB11, OB12, OB13, OB14, and OB15 outside the vehicle 10 from the communication device 220 mounted on the vehicle 10.
  • the interface unit 180 may receive data on an object outside the vehicle 10 from a camera mounted on the vehicle 10.
  • the power supply unit 190 may supply power to the electronic device 100.
  • the power supply unit 190 may receive power from a power source (for example, a battery) included in the vehicle 10 and supply power to each unit of the electronic device 100.
  • the power supply unit 190 may be operated according to a control signal provided from the main ECU 240.
  • the power supply unit 190 may be implemented as a switched-mode power supply (SMPS).
  • SMPS switched-mode power supply
  • the memory 140 is electrically connected to the processor 170.
  • the memory 140 may store basic data for the unit, control data for controlling the operation of the unit, and input/output data.
  • the memory 140 may store data processed by the processor 170.
  • the memory 140 may be configured in hardware at least one of a ROM, RAM, EPROM, flash drive, and hard drive.
  • the memory 140 may store various data for the overall operation of the electronic device 100, such as a program for processing or controlling the processor 170.
  • the memory 140 may be implemented integrally with the processor 170. According to an embodiment, the memory 140 may be classified as a sub configuration of the processor 170.
  • the processor 170 may be electrically connected to the interface unit 180 and the power supply unit 190 to exchange signals.
  • the processor 170 includes application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors, and controllers It may be implemented using at least one of (controllers), micro-controllers, microprocessors, and electrical units for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors and controllers It may be implemented using at least one of (controllers), micro-controllers, microprocessors, and electrical units for performing other functions.
  • the processor 170 may be driven by power provided from the power supply unit 190.
  • the processor 170 may receive data, process data, generate a signal, and provide a signal while the power is supplied by the power supply unit 190.
  • the processor 170 may acquire data on an object outside the vehicle 10 while the power is supplied.
  • the processor 170 is connected to the objects OB10, OB11, OB12, OB13, OB14, and OB15 from the communication device 220 mounted on the vehicle 10 through the interface unit 180 while the power is supplied. Data can be obtained.
  • the processor 170 may receive the first data for the object from the external device through the communication device 220.
  • the communication device 220 may receive data on an object from an external device of the vehicle 10 through V2X communication.
  • the external device may be at least one of another vehicle and a server. Other vehicles may detect objects and generate data about the objects based on the provided sensors (eg, camera, radar, rider, ultrasonic sensor, infrared sensor, etc.). Data generated in another vehicle may be directly transmitted to the vehicle 10 or may be transmitted to the vehicle 10 through a server.
  • the processor 170 may receive data about an object from at least one of cameras mounted on the vehicle 10 through the interface unit 180 while the power is supplied.
  • the processor 170 may receive second data for the object from the camera.
  • the camera may be classified as a sub configuration of the object detection device 210.
  • the camera may acquire at least one of a front image, a rear image, and a side image of the vehicle 10, detect an object from the image, and generate data about the object.
  • the processor 170 may generate a signal for setting sensing parameters of at least one range sensor, based on data on the object, while the power is supplied.
  • the range sensor may be understood as a sensor that generates data on an object using at least one of a time of flight (TOF) method, a structured light method, and a disparity method.
  • the range sensor may include at least one of a radar, a lidar, an ultrasonic sensor, and an infrared sensor included in the object detection device 210.
  • the processor 170 may provide a signal to the object detection device 210 so that a sensing operation of at least one range sensor toward the object is performed.
  • the processor 170 may generate a signal for setting a frame rate of at least one range sensor facing the object. For example, the processor 170 may increase the frame rate based on the data for the object. By increasing the frame rate, data for more accurate objects can be generated. For example, the processor 170, based on the data on the object, at least one range sensor, the frame rate of the signal (for example, electromagnetic waves, laser waves, ultrasonic waves, infrared waves, etc.) emitted toward the object It is possible to generate a signal for increasing.
  • the frame rate of the signal for example, electromagnetic waves, laser waves, ultrasonic waves, infrared waves, etc.
  • the processor 170 may provide a signal for setting a sensing range of at least one range sensor facing the object. For example, the processor 170 may increase the sensing range based on data about the object. By increasing the sensing range, data for more accurate objects can be generated. For example, the processor 170 may detect a sensing range of a signal (eg, electromagnetic waves, laser waves, ultrasonic waves, infrared waves, etc.) emitted from the at least one range sensor based on the data on the object. It is possible to generate a signal for increasing.
  • a signal eg, electromagnetic waves, laser waves, ultrasonic waves, infrared waves, etc.
  • the processor 170 may detect a sensing range of a signal (eg, electromagnetic waves, laser waves, ultrasonic waves, infrared waves, etc.) emitted from the at least one range sensor based on the data on the object. It is possible to generate a signal for changing.
  • a signal eg, electromagnetic waves, laser waves, ultrasonic waves, infrared waves, etc.
  • the processor 170 may determine a data processing area in a field of view (FOV) of at least one range sensor facing the object, based on the data for the object.
  • the processor 170 may determine, in the FOV of the range sensor, an area in which an object is likely to be located as a data processing area.
  • the processor 170 can reduce the data processing load by processing only data corresponding to the determined data processing area.
  • FOV field of view
  • the processor 170 may determine, through the communication device 220, a first area in which the probability that the object is located is greater than or equal to a preset value based on the first data for the object received from the external device.
  • the first data may include information about the existence of the object, location information of the object, and type information of the object. For example, a plurality of other vehicles may respectively generate data for a specific object and transmit it to the vehicle 10 through V2X.
  • the processor 170 may determine a first area by processing data received from a plurality of other vehicles and having location information about an object.
  • the processor 170 may determine the first area as a data processing area.
  • the processor 170 may determine a second area in which the probability that the object is located is greater than or equal to a preset value based on the second data for the object received from the camera mounted on the vehicle 10.
  • the second data may include information about the existence of the object, location information of the object, type information of the object, and distance information between the vehicle 10 and the object.
  • the processor 170 may determine the second area by processing data having location information of the object and distance information of the vehicle 10 and the object.
  • the processor 170 may determine the second area as a data processing area.
  • the processor 170 may provide the generated signal to the object detection device 210.
  • the object detection device 210 may control at least one range sensor based on a signal received from the electronic device 100.
  • the processor 170 may determine whether the first data and the second data match. For example, the processor 170 may determine whether the first data matches the second data based on whether the object types match. For example, when the degree of error between the first data and the second data with respect to the distance between the vehicle 10 and the object is within a reference range, the processor 170 determines that the first data and the second data match. can do. For example, the processor 170 may determine whether the first data matches the second data based on the object position data on the map data.
  • the processor 170 may generate a signal for setting sensing parameters of at least one range sensor when it is determined that the first data and the second data are inconsistent. When it is determined that the first data and the second data are inconsistent, the processor 170 may generate a signal for setting at least one of a frame rate and a sensing range of at least one range sensor facing the object. When it is determined that the first data and the second data are inconsistent, the processor 170 may determine a region including both the first region and the second region as a data processing region.
  • the processor 170 may obtain third data for the object generated based on the set sensing parameter from the range sensor.
  • the processor 170 may generate fusion data based on the first data for the object obtained from the communication device 220, the second data for the object obtained from the camera, and the third data obtained from the range sensor. have.
  • the processor 170 may fuse at least two of the first data, the second data, and the third data.
  • the processor 170 may acquire motion planning data of the vehicle 10.
  • the processor 170 may obtain motion planning data of the vehicle 10 from the main ECU 240 through the interface unit 180.
  • the motion planning data may include at least one of a moving direction data, a moving displacement data, and moving velocity data.
  • the processor 170 may generate a signal for setting sensing parameters of at least one range sensor based on the motion planning data of the vehicle 10.
  • the processor 170 may generate a signal for setting at least one of a frame rate and a sensing range of at least one range sensor facing the object, based on the motion planning data of the vehicle 10.
  • the processor 170 may further determine a data processing area in a field of veiw (FOV) of at least one range sensor facing the object based on the motion planning data of the vehicle 10. When the vehicle 10 moves, the object is moved relative to the vehicle 10.
  • the processor 170 can determine the data processing area more accurately based on the motion planning data and the data for the object.
  • FOV field of veiw
  • the electronic device 100 may include at least one printed circuit board (PCB).
  • PCB printed circuit board
  • the interface unit 180, the power supply unit 190, the memory 140, and the processor 170 may be electrically connected to a printed circuit board.
  • the user interface device 200 is a device for communication between the vehicle 10 and a user.
  • the user interface device 200 may receive user input and provide information generated in the vehicle 10 to the user.
  • the vehicle 10 may implement User Interfaces (UI) or User Experience (UX) through the user interface device 200.
  • UI User Interfaces
  • UX User Experience
  • the object detection device 210 may detect an object outside the vehicle 10.
  • the object detection device 210 may include at least one of a camera, a radar, a lidar, an ultrasonic sensor, and an infrared sensor.
  • the object detection device 210 may provide data on an object generated based on a sensing signal generated by the sensor to at least one electronic device included in the vehicle.
  • the object detection device 210 may generate dynamic data based on a sensing signal for the object.
  • the object detection device 210 may provide dynamic data to the electronic device 100.
  • the communication device 220 can exchange signals with a device located outside the vehicle 10.
  • the communication device 220 may exchange signals with at least one of an infrastructure (eg, a server) and other vehicles.
  • the communication device 220 may include at least one of a transmitting antenna, a receiving antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF device to perform communication.
  • RF radio frequency
  • the driving manipulation device 230 is a device that receives a user input for driving. In the manual mode, the vehicle 10 may be driven based on a signal provided by the driving manipulation device 230.
  • the driving manipulation device 230 may include a steering input device (eg, steering wheel), an acceleration input device (eg, an accelerator pedal), and a brake input device (eg, a brake pedal).
  • the main ECU 240 may control the overall operation of at least one electronic device provided in the vehicle 10.
  • the vehicle driving device 250 is a device that electrically controls driving of various devices in the vehicle 10.
  • the vehicle driving device 250 may include a power train driving part, a chassis driving part, a door/window driving part, a safety device driving part, a lamp driving part, and an air conditioning driving part.
  • the power train driving unit may include a power source driving unit and a transmission driving unit.
  • the chassis driving unit may include a steering driving unit, a brake driving unit, and a suspension driving unit.
  • the ADAS 260 may generate a signal for controlling the movement of the vehicle 10 or outputting information to a user, based on data on the object received from the object detection device 210.
  • the ADAS 260 may provide the generated signal to at least one of the user interface device 200, the main ECU 240, and the vehicle driving device 250.
  • the ADAS 260 includes an adaptive cruise control system (ACC: Adaptive Cruise Control), an autonomous emergency braking system (AEB), a forward collision warning system (FCW), and a lane maintenance assistance system (LKA: Lane Keeping Assist (Lane), Lane Change Assist (LCA), Target Following Assist (TFA), Blind Spot Detection (BSD), Adaptive High Beam Control System (HBA: High) Beam Assist), Auto Parking System (APS), PD collision warning system, Traffic Sign Recognition (TSR), Trafffic Sign Assist (TSA), At least one of a night vision system (NV: Night Vision), a driver status monitoring system (DSM), and a traffic jam assistance system (TJA) may be implemented.
  • ACC Adaptive Cruise Control
  • AEB autonomous emergency braking system
  • FCW forward collision warning system
  • LKA Lane Keeping Assist
  • LCA Lane Change Assist
  • TSA Blind Spot Detection
  • HBA High Beam Control System
  • APS PD
  • the sensing unit 270 may sense the state of the vehicle.
  • the sensing unit 270 includes an inertial navigation unit (IMU) sensor, a collision sensor, a wheel sensor, a speed sensor, an inclination sensor, a weight sensor, a heading sensor, a position module, and a vehicle At least one of forward/reverse sensor, battery sensor, fuel sensor, tire sensor, steering sensor by steering wheel rotation, in-vehicle temperature sensor, in-vehicle humidity sensor, ultrasonic sensor, illuminance sensor, accelerator pedal position sensor and brake pedal position sensor It may include.
  • an inertial navigation unit (IMU) sensor may include one or more of an acceleration sensor, a gyro sensor, and a magnetic sensor.
  • the sensing unit 270 may generate state data of the vehicle based on signals generated by at least one sensor.
  • the sensing unit 270 includes vehicle attitude information, vehicle motion information, vehicle yaw information, vehicle roll information, vehicle pitch information, vehicle collision information, vehicle direction information, vehicle angle information, vehicle speed Information, vehicle acceleration information, vehicle tilt information, vehicle forward/reverse information, battery information, fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, vehicle exterior illumination, accelerator pedal Sensing signals for pressure applied to the brake, pressure applied to the brake pedal, and the like can be obtained.
  • the sensing unit 270 other, accelerator pedal sensor, pressure sensor, engine speed sensor (engine speed sensor), air flow sensor (AFS), intake temperature sensor (ATS), water temperature sensor (WTS), throttle position sensor (TPS), a TDC sensor, a crank angle sensor (CAS), and the like.
  • engine speed sensor engine speed sensor
  • air flow sensor air flow sensor
  • ATS intake temperature sensor
  • WTS water temperature sensor
  • TPS throttle position sensor
  • TDC crank angle sensor
  • CAS crank angle sensor
  • the sensing unit 270 may generate vehicle state information based on the sensing data.
  • the vehicle status information may be information generated based on data sensed by various sensors provided in the vehicle.
  • the vehicle state information includes vehicle attitude information, vehicle speed information, vehicle tilt information, vehicle weight information, vehicle direction information, vehicle battery information, vehicle fuel information, vehicle tire pressure information
  • the vehicle may include steering information of the vehicle, vehicle indoor temperature information, vehicle indoor humidity information, pedal position information, and vehicle engine temperature information.
  • the location data generation device 280 may generate location data of the vehicle 10.
  • the location data generating device 280 may include at least one of a global positioning system (GPS) and a differential global positioning system (DGPS).
  • GPS global positioning system
  • DGPS differential global positioning system
  • the location data generation device 280 may generate location data of the vehicle 10 based on a signal generated from at least one of GPS and DGPS.
  • the location data generating apparatus 280 may correct the location data based on at least one of an IMU (Inertial Measurement Unit) of the sensing unit 270 and a camera of the object detection apparatus 210.
  • IMU Inertial Measurement Unit
  • the vehicle 10 may include an internal communication system 50.
  • a plurality of electronic devices included in the vehicle 10 may exchange signals through the internal communication system 50. Signals may include data.
  • the internal communication system 50 may use at least one communication protocol (eg, CAN, LIN, FlexRay, MOST, Ethernet).
  • FIG. 4 is a block diagram referred to for describing an electronic device for a vehicle according to an embodiment of the present invention.
  • the vehicle electronic device 100 may further include the object detection device 210 and the ADAS 260 individually or in combination, as compared to the vehicle electronic device described with reference to FIG. 3.
  • the object detection device 210 and the ADAS 260 may be electrically connected to the printed circuit board to which the processor 170 is electrically connected.
  • 5A is a flowchart of an electronic device for a vehicle according to an embodiment of the present invention. 5A is a flow chart of a method of operating an electronic device for a vehicle.
  • the processor 170 may determine whether another vehicle exists around the vehicle 10 (S510 ).
  • the processor 170 may provide a signal for activating the camera facing the direction in which the other vehicle is located (S515 ).
  • the processor 170 may acquire data on an object outside the vehicle 10 from an external device through V2X communication 220a.
  • the processor 170 may determine whether there are other vehicles around the vehicle 10 based on data on the object acquired through the V2X communication (S529).
  • the processor 170 may determine whether the vehicle 10 is going to change the lane based on the motion planning data received from the main ECU 240 ( S520). If the vehicle 10 is to change the lane, the processor 170 may provide a signal for activating the camera facing the lane to be changed (S525).
  • the processor 170 may acquire data on an object outside the vehicle 10 from the power supply unit 190 while receiving power. (S526).
  • the acquiring step (S526) includes: receiving (S529) the at least one processor (170) from the external device through the communication device mounted on the vehicle, the first data for the object, and at least one processor (170). A, the step of receiving the second data for the object from the camera mounted on the vehicle 10 (S530).
  • the processor 170 may receive the first data for the object from the external device through the communication device 220 mounted on the vehicle 10 (S529).
  • the first data may include information about the existence of the object, location information of the object, and type information of the object.
  • the camera may process image data to generate second data for the object (S530).
  • the processor 170 may receive second data for an object from a camera mounted on the vehicle 10.
  • the second data may include information about the existence of the object, location information of the object, type information of the object, and distance information between the vehicle 10 and the object.
  • the processor 170 may determine whether the first data matches the second data (S535). For example, the processor 170 may determine whether the first data matches the second data based on whether the object types match. For example, when the degree of error between the first data and the second data with respect to the distance between the vehicle 10 and the object is within a reference range, the processor 170 determines that the first data and the second data match. can do. For example, the processor 170 may determine whether the first data matches the second data based on the object position data on the map data.
  • the processor 170 may complete data acquisition for the object (S560).
  • the processor 170 may use data for the object obtained in step S526.
  • the processor 170 may, based on the data for the object, at least A signal for setting the sensing parameter of one range sensor may be generated (S540).
  • the at least one processor 170 may include generating a signal for setting at least one of a frame rate and a sensing range of at least one range sensor facing the object.
  • the at least one processor 170 may include increasing the frame rate of the at least one range sensor based on data about the object.
  • the processor 170 may generate a signal for setting a frame rate of at least one range sensor facing the object.
  • the processor 170 may increase the frame rate based on the data for the object.
  • the frame rate of the signal for example, electromagnetic waves, laser waves, ultrasonic waves, infrared waves, etc.
  • step S540 of generating in the state where the at least one processor 170 is supplied with power, based on the data on the object, the data processing area in the FOV of the at least one range sensor facing the object is generated. And determining.
  • the at least one processor 170 determines, based on the first data, a first area in which a probability that an object is located is equal to or greater than a preset value, and the first area as a data processing area. It may include the step of determining.
  • the at least one processor 170 determines a second area having a probability that an object is located above a preset value based on the second data, and the second area as a data processing area.
  • the at least one processor 170 determines a region including both the first region and the second region as the data processing region.
  • the generating step (S540) the at least one processor 170, based on the data for the object, increases the sensing range of the at least one range sensor or changes the sensing range can do.
  • the processor 170 may provide a signal for setting a sensing range of at least one range sensor facing the object. For example, the processor 170 may increase the sensing range based on the data for the object. By increasing the sensing range, data for more accurate objects can be generated.
  • the processor 170 may detect a sensing range of a signal (eg, electromagnetic waves, laser waves, ultrasonic waves, infrared waves, etc.) emitted from the at least one range sensor based on the data on the object. It is possible to generate a signal for increasing.
  • the processor 170 may detect a sensing range of a signal (eg, electromagnetic waves, laser waves, ultrasonic waves, infrared waves, etc.) emitted from the at least one range sensor based on the data on the object. It is possible to generate a signal for changing.
  • the processor 170 may provide the generated signal to the object detection device 210.
  • the object detection device 210 may control at least one range sensor based on a signal received from the electronic device 100.
  • the processor 170 may obtain third data for the object generated based on the set sensing parameter from the range sensor (S545).
  • the processor 170 may generate fusion data based on the first data for the object obtained from the communication device 220, the second data for the object obtained from the camera, and the third data obtained from the range sensor. Yes (S550).
  • a method of operating an electronic device for a vehicle may further include at least one processor acquiring motion planning information of the vehicle 10.
  • the determining may include determining, by the at least one processor, the data processing area based on the motion planning data.
  • 5B is a flow chart of the detailed algorithm of step S530 of FIG. 5A.
  • the processor 170 may acquire image data from a camera mounted on the vehicle 10 (S531 ).
  • the processor 170 may perform preprocessing on the obtained image (S532). Specifically, the processor 170, for the image, noise reduction (noise reduction), rectification (rectification), calibration (calibration), color enhancement (color enhancement), color space conversion (CSC), Interpolation, camera gain control, and the like can be performed. Accordingly, a clearer image may be obtained than the stereo image photographed by the camera 195.
  • the processor 170 may perform a segment on the preprocessed image (S533). Specifically, for example, the processor 170 may separate a background and a foreground from a preprocessed image.
  • the processor 170 may calculate an area unrelated to the driving of the vehicle as a background and exclude the corresponding portion. Thereby, the foreground can be relatively separated.
  • the processor 170 may divide the pre-processed image into a plurality of segments based on homogeneous pixels having similar colors.
  • the processor 170 may detect an object based on the segmented image (S534).
  • the processor 170 may detect an object, for at least one of the images. For example, the processor 170 may detect an object based on the recognized feature point. For example, the processor 170 may detect an object from the foreground separated by the image segment. For example, the processor 170 may recognize an area divided into at least one segment as an object. According to an embodiment, the processor 170 may classify objects colored in two colors into two segments, but may identify them as one object.
  • the processor 170 may classify and verify the object (S535). To this end, the processor 170, an identification method using a neural network, a support vector machine (SVM) technique, a technique identified by AdaBoost using a Haar-like feature, or a histograms of Oriented Gradients (HOG) technique, etc. Can be used.
  • SVM support vector machine
  • AdaBoost technique identified by AdaBoost using a Haar-like feature
  • HOG histograms of Oriented Gradients
  • the processor 170 compares the objects stored in the memory 140 with the detected objects to check the objects.
  • the processor 170 includes a lane (OB10), another vehicle (OB11), a pedestrian (OB12), a two-wheeled vehicle (OB13), traffic signals (OB14, OB15), light, road, structure, speed bump, terrain , Animals, etc. can be identified.
  • the processor 170 may measure the distance to the identified object (S536). For example, when the image obtained in step S531 is a stereo image, the distance to the object may be measured based on disparity data. For example, the processor 170 may measure the distance to the object based on the size change of the object obtained according to the movement of the vehicle 10. For example, the processor 170 may measure the distance to the object based on the pixel occupied by the object in the image.
  • step S536 may be repeatedly performed.
  • FIG. 6 is a view referred to for describing an operation of an electronic device for a vehicle according to an embodiment of the present invention.
  • the processor 170 may acquire data on objects 610 and 620 outside the vehicle 10 in a state in which power is supplied.
  • the objects 610 and 620 may include at least one of another vehicle 610 and a pedestrian 620.
  • the processor 170 may receive the first data for the object from the communication device 220.
  • the first data for the object may be data obtained by the communication device 220 through V2X communication.
  • the communication device 220 may receive the first data by directly or indirectly receiving a signal generated from a device capable of V2X communication provided in another vehicle 610.
  • the communication device 220 may receive the first data by directly or indirectly receiving a signal generated from the mobile terminal carried by the pedestrian 620.
  • the processor 170 may acquire motion planning data of the vehicle 10 from at least one of the vehicle driving device 250, the main ECU 240, and the ADAS 265 through the interface unit 180. .
  • the processor 170 may generate a signal for setting the frame rate of the camera photographing the pedestrian 620 side, based on the data for the pedestrian 620. For example, when acquiring data for the pedestrian 620 through the communication device 220, the processor 170 may generate a signal for setting the frame rate of the camera higher than a normal situation. By increasing the frame rate, the accuracy of the pedestrian detection algorithm can be increased.
  • the processor 170 may generate a signal for setting sensing parameters of at least one range sensor facing the pedestrian 620.
  • the processor 170 may receive data on an object of at least one range sensor acquired by a set parameter.
  • the processor 170 may fusion at least two or more of data about an object acquired by the communication device 220, data about an object acquired by a camera, and data about an object acquired by a range sensor. .
  • FIG. 7 is a flowchart of an electronic device for a vehicle according to an embodiment of the present invention.
  • FIG 8 to 9 are views for explaining the operation of the electronic device for a vehicle according to an embodiment of the present invention.
  • the processor 170 may activate the front sensor (S710).
  • the front sensor is for detecting an object located in front of the vehicle 10, and may include at least one of a camera, a radar, a lidar, an ultrasonic sensor, and an infrared sensor.
  • the processor 170 may acquire motion planning data of the vehicle 10. The processor 170 may determine whether to change the lane of the vehicle 10 based on the obtained motion planning data (S715 ).
  • the processor 170 may activate (801) the side rear sensor (S720).
  • the rear side sensor is for detecting the object 810 located in the rear side of the vehicle 10, and may include at least one of a camera, a radar, a lidar, an ultrasonic sensor, and an infrared sensor.
  • the processor 170 may activate the left rear sensor.
  • the processor 170 may activate the right rear sensor.
  • the processor 170 may transmit a lane change request signal to other vehicles and servers through the interface unit 180 and the communication device 220 using V2X (S725).
  • the communication device 220 may transmit a vehicle change request signal to at least one of the other vehicle 810 and the server via the RSU 820.
  • the processor 170 may acquire data about an object (S730).
  • the processor 170 may acquire data on the object based on the sensing data generated by the rear sensor (S733).
  • the processor 170 may acquire motion planning data of another vehicle through the communication device 220 using V2X communication (S736).
  • Motion planning data may be referred to as pass planning data.
  • the communication device 220 may receive motion planning data of another vehicle from at least one of the other vehicle 810 and the server through the RSU 820.
  • the communication device 220 may provide the received motion planning data of another vehicle to the electronic device 100.
  • the processor 170 may determine a driving situation and set a route plan of the vehicle 10 (S740). The processor 170 may determine whether to maintain the driving lane or change the lane based on the data on the object acquired in step S730. The processor 170 may set a route plan of the vehicle 10 based on the determination as to whether to maintain the driving lane or change the lane. For example, when the lane of the vehicle 10 is changed, the processor 170 provides a control signal so that the lane change of the vehicle 10 is performed when it is determined that the lane to be changed does not interfere with the path of another vehicle Can. The processor 170 generates route planning data again based on the motion planning data of the other vehicle 810 when it is determined that the lane to be changed interferes with the route of the other vehicle when the lane of the vehicle 10 is changed. can do.
  • the processor 170 may provide route planning data to at least one of the main ECU 240, the vehicle driving device 250, and the ADAS 260 through the interface unit 180.
  • the vehicle 10 can travel based on the route planning data (S750).
  • the server may receive a request signal for changing the lane of the vehicle 10 and determine whether the lane of the vehicle 10 is changeable. When it is determined that the lane change of the vehicle 10 is safe, the server may transmit a signal for allowing the lane change to the vehicle 10. The server may provide a signal for requesting speed adjustment to another vehicle driving in the lane to be changed of the vehicle 10. The vehicle 10 may perform a lane change.
  • the processor 170 may activate only the front sensor in a state in which the Lane Keeping Assist System (LKAS) mode is activated.
  • the processor 170 may transmit motion planning data to at least one of another vehicle and a server through the communication device 220 using V2X communication.
  • the processor 170 may receive a lane change permission signal through the communication device 220. In this case, the processor 170 may activate the rear sensor facing the vehicle change schedule.
  • LKAS Lane Keeping Assist System
  • FIG. 10 is a flowchart of an electronic device for a vehicle according to an embodiment of the present invention.
  • FIG. 11 is a view referred to for describing an operation of an electronic device for a vehicle according to an embodiment of the present invention.
  • the processor 170 may acquire location data of the vehicle 10 from the location data generation device 280.
  • the processor 170 may generate first relationship data between the vehicle 10 and the RSUs 1110 and 1120 (S1010).
  • the first relationship data between the vehicle 10 and the RSUs 1110 and 1120 may include at least one of absolute position data, relative position data, and distance data of the vehicle 10 and the RSU 1110 and 1120, respectively. have.
  • the server may generate second relational data between the RSUs 1110 and 1120 and the vehicle 10 (active infrastructure) (S1011).
  • the second relationship data may include at least one of absolute position data, relative position data, and distance data for each of the vehicle 10 and the RSUs 1110 and 1120.
  • the server may generate second relationship data based on the absolute position of the RSUs 1110 and 1120 and the position of the vehicle 10 on the map (manual infrastructure) (S1012).
  • the processor 170 may receive second relationship data from a server.
  • the processor 170 may compare the first relationship data and the second relationship data (S1015).
  • the processor 170 may determine at least one sensor included in the object detection device 210 as normal (S1030).
  • the processor 170 may correct the sensor data based on the second relationship data.
  • the processor 170 may correct the sensing data generated by the object detection device 210 based on the second relational data.
  • the processor 170 may determine whether the sensor calibration performance is successful (S1020). If it is determined to be successful, the processor 170 may determine at least one sensor included in the object detection device 210 as normal (S1030). When it is determined that the failure, the processor 170 may determine that at least one sensor included in the object detection device 210 is abnormal (S1035).
  • the above-described present invention can be embodied as computer readable codes on a medium on which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data readable by a computer system is stored. Examples of computer-readable media include a hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. This includes, and is also implemented in the form of a carrier wave (eg, transmission over the Internet). Also, the computer may include a processor or a control unit. Accordingly, the above detailed description should not be construed as limiting in all respects, but should be considered illustrative. The scope of the invention should be determined by rational interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 전원을 공급하는 전원을 공급하는 전원 공급부; 및 상기 전원이 공급되는 상태에서, 차량 외부의 오브젝트에 대한 데이터를 획득하고, 상기 오브젝트에 대한 데이터에 기초하여, 상기 오브젝트를 향하는 적어도 하나의 레인지 센서(range sensor)의 FOV(Field of veiw) 내에서의 데이터 처리 영역을 결정하는 프로세서;를 포함하는 차량용 전자 장치에 관한 것이다.

Description

차량용 전자 장치 및 차량용 전자 장치의 동작 방법
본 발명은 차량용 전자 장치 및 차량용 전자 장치의 동작 방법에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS : Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다.
차량 운전자 보조 시스템을 구현하기 위해서는, 차량 외부의 오브젝트에 대한 데이터 획득을 위해 상시 적어도 하나의 센서 및 프로세서가 가동된다. 그로 인해, 상시 센서 및 프로세서를 구동하기 위한 전력이 요구된다. 또한, 차량 외부의 오브젝트에 대한 데이터를 지속적으로 획득하기 위해, 프로세서의 높은 연산량이 요구된다. 더욱이, 여러 센서에서 생성된 데이터를 퓨전하기 위해서는 보다 높은 수준의 연산을 수행할 수 있는 프로세서와 이를 구동하기 위한 전력이 요구된다.
본 발명은 상기한 문제점을 해결하기 위하여, 차량 외부의 오브젝트에 대한 데이터 생성시 연산량을 감소시키는 차량용 전자 장치를 제공하는데 목적이 있다.
또한, 본 발명의 실시예는, 차량 외부의 오브젝트에 대한 데이터 생성시 연산량을 감소시키는 차량용 전자 장치의 동작 방법을 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 차량용 전자 장치는, 전원을 공급하는 전원 공급부; 및 상기 전원이 공급되는 상태에서, 차량 외부의 오브젝트에 대한 데이터를 획득하고, 상기 오브젝트에 대한 데이터에 기초하여, 상기 오브젝트를 향하는 적어도 하나의 레인지 센서(range sensor)의 FOV(Field of veiw) 내에서의 데이터 처리 영역을 결정하는 프로세서;를 포함한다.
본 발명의 실시예에 따르면, 상기 프로세서는, 상기 오브젝트를 향하는 상기 적어도 하나의 레인지 센서의 프레임 레이트(frame rate) 및 센싱 범위 중 적어도 어느 하나를 설정하기 위한 신호를 생성한다.본 발명의 실시예에 따르면, 차량에 장착된 통신 장치 및 차량에 장착된 카메라 중 적어도 어느 하나로부터, 상기 오브젝트에 대한 데이터를 수신하는 인터페이스부;를 더 포함한다.
본 발명의 실시예에 따르면, 상기 프로세서는, 차량에 장착된 통신 장치를 통해, 외부 장치로부터 상기 오브젝트에 대한 제1 데이터를 수신하고, 상기 제1 데이터에 기초하여, 상기 오브젝트가 위치할 확률이 기 설정값 이상인 제1 영역을 결정하고, 상기 제1 영역을 상기 데이터 처리 영역으로 결정한다.
본 발명의 실시예에 따르면, 상기 프로세서는, 차량에 장착된 카메라로부터 상기 오브젝트에 대한 제2 데이터를 수신하고, 상기 제2 데이터에 기초하여, 상기 오브젝트가 위치할 확률이 기 설정값 이상인 제2 영역을 결정하고, 상기 제2 영역을 상기 데이터 처리 영역으로 결정한다.
본 발명의 실시예에 따르면, 상기 제1 데이터 및 상기 제2 데이터가 불일치하는 것으로 판단되는 경우, 상기 제1 영역 및 상기 제2 영역이 모두 포함된 영역을 상기 데이터 처리 영역으로 결정한다.
본 발명의 실시예에 따르면, 상기 프로세서는, 차량의 모션 플래닝 데이터를 획득하고, 상기 모션 플래닝 데이터에 더 기초하여, 상기 데이터 처리 영역을 결정한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 오브젝트에 대한 데이터에 기초하여 레인지 센서의 센싱 파라미터를 설정함에 따라, 알고리즘 구동시 연산 로드를 저감하는 효과가 있다.
둘째, 연산 로드 저감에 따라 이용되는 전력량이 감소하는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 3은 본 발명의 실시예에 따른 차량 및 차량용 전자 장치를 설명하는데 참조되는 블럭도이다.
도 4는 본 발명의 실시예에 따른 차량용 전자 장치를 설명하는데 참조되는 블럭도이다.
도 5a는 본 발명의 실시예에 따른 차량용 전자 장치의 플로우 차트이다.
도 5b는 도 5a의 S530 단계의 세부 알고리즘의 플로우 차트이다.
도 6은 본 발명의 실시예에 따른 차량용 전자 장치의 동작을 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량용 전자 장치의 플로우 차트이다.
도 8 내지 도 9는 본 발명의 실시예에 따른 차량용 전자 장치의 동작을 설명하는데 참조되는 도면이다.
도 10은 본 발명의 실시예에 따른 차량용 전자 장치의 플로우 차트이다.
도 11은 본 발명의 실시예에 따른 차량용 전자 장치의 동작을 설명하는데 참조되는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 3은 본 발명의 실시예에 따른 차량 및 차량용 전자 장치를 설명하는데 참조되는 블럭도이다.
도 1 내지 도 3을 참조하면, 본 발명의 실시예에 따른 차량(10)은, 도로나 선로 위를 달리는 수송 수단으로 정의된다. 차량(10)은, 자동차, 기차, 오토바이를 포함하는 개념이다. 차량(10)은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
차량(10)은, 차량용 전자 장치(100)를 포함할 수 있다. 차량용 전자 장치(100)는, 차량(10)에 장착될 수 있다. 차량용 전자 장치(100)는, 획득된 오브젝트에 대한 데이터에 기초하여, 적어도 하나의 레인지 센서의 센싱 파라미터를 설정할 수 있다.
차량 운전자 보조 시스템(260)의 기능을 구현하기 위해서, 오브젝트 검출 장치(210)는, 차량(10) 외부의 오브젝트에 대한 데이터를 획득한다. 오브젝트에 대한 데이타는, 오브젝트의 존재 유무에 대한 데이타, 오브젝트의 위치에 대한 데이타, 차량(10)과 오브젝트와의 거리에 대한 데이타 및 차량(10)과 오브젝트와의 상대 속도에 대한 데이타 중 적어도 어느 하나를 포함할 수 있다.
오브젝트는, 차량(10)의 운행과 관련된 다양한 물체들일 수 있다.
도 2에 예시된 바와 같이, 오브젝트(O)는, 차로(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차로(Lane)(OB10)는, 주행 차로, 주행 차로의 옆 차로, 대향되는 차량이 주행하는 차로일 수 있다. 차로(Lane)(OB10)는, 차로(Lane)를 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다. 차로는, 교차로를 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(10)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(10)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(10)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(10)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(10)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB13)는, 차량(10)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB13)는, 차량(10)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다. 빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다. 도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다. 구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리, 연석, 벽면을 포함할 수 있다. 지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 정지 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 이동 중인 타 차량, 이동 중인 보행자를 포함하는 개념일 수 있다. 예를 들면, 정지 오브젝트는, 교통 신호, 도로, 구조물, 정지한 타 차량, 정지한 보행자를 포함하는 개념일 수 있다.
차량(10)은, 차량용 전자 장치(100), 사용자 인터페이스 장치(200), 오브젝트 검출 장치(210), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(240), 차량 구동 장치(250), ADAS(260), 센싱부(270) 및 위치 데이터 생성 장치(280)를 포함할 수 있다.
전자 장치(100)는, 차량(10) 외부의 오브젝트(OB)에 대한 데이터를 획득하고, 오브젝트에 대한 데이터이 기초하여 레인지 센서의 센싱 파라미터 설정을 위한 신호를 생성할 수 있다. 전자 장치(100)는, 인터페이스부(180), 전원 공급부(190) 메모리(140) 및 프로세서(170)를 포함할 수 있다.
인터페이스부(180)는, 차량(10) 내에 구비되는 적어도 하나의 전자 장치와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(180)는, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(210), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(240), 차량 구동 장치(250), ADAS(260), 센싱부(270) 및 위치 데이터 생성 장치(280) 중 적어도 어느 하나와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(180)는, 통신 모듈, 단자, 핀, 케이블, 포트, 회로, 소자 및 장치 중 적어도 어느 하나로 구성될 수 있다.
인터페이스부(180)는, 차량(10)에 장착된 통신 장치(220)로부터 차량(10) 외부의 오브젝트(OB10, OB11, OB12, OB13, OB14, OB15)에 대한 데이터를 수신할 수 있다. 인터페이스부(180)는, 차량(10)에 장착된 카메라로부터 차량(10) 외부의 오브젝트에 대한 데이터를 수신할 수 있다.
전원 공급부(190)는, 전자 장치(100)에 전원을 공급할 수 있다. 전원 공급부(190)는, 차량(10)에 포함된 파워 소스(예를 들면, 배터리)로부터 전원을 공급받아, 전자 장치(100)의 각 유닛에 전원을 공급할 수 있다. 전원 공급부(190)는, 메인 ECU(240)로부터 제공되는 제어 신호에 따라 동작될 수 있다. 전원 공급부(190)는, SMPS(switched-mode power supply)로 구현될 수 있다.
메모리(140)는, 프로세서(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)에서 처리된 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나로 구성될 수 있다. 메모리(140)는 프로세서(170)의 처리 또는 제어를 위한 프로그램 등, 전자 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)와 일체형으로 구현될 수 있다. 실시예에 따라, 메모리(140)는, 프로세서(170)의 하위 구성으로 분류될 수 있다.
프로세서(170)는, 인터페이스부(180), 전원 공급부(190)와 전기적으로 연결되어 신호를 교환할 수 있다. 프로세서(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(170)는, 전원 공급부(190)로부터 제공되는 전원에 의해 구동될 수 있다. 프로세서(170)는, 전원 공급부(190)에 의해 전원이 공급되는 상태에서 데이터를 수신하고, 데이터를 처리하고, 신호를 생성하고, 신호를 제공할 수 있다.
프로세서(170)는, 전원이 공급되는 상태에서, 차량(10) 외부의 오브젝트에 대한 데이터를 획득할 수 있다.
프로세서(170)는, 전원이 공급되는 상태에서, 인터페이스부(180)를 통해, 차량(10)에 장착된 통신 장치(220)로부터 오브젝트(OB10, OB11, OB12, OB13, OB14, OB15)에 대한 데이터를 획득할 수 있다. 프로세서(170)는, 통신 장치(220)를 통해 외부 장치로부터 오브젝트에 대한 제1 데이터를 수신할 수 있다. 통신 장치(220)는, V2X 통신을 통해, 차량(10) 외부 장치로부터, 오브젝트에 대한 데이터를 수신할 수 있다. 외부 장치는, 타 차량 및 서버 중 적어도 어느 하나일 수 있다. 타 차량은, 구비된 센서(예를 들면, 카메라, 레이더, 라이더, 초음파 센서, 적외선 센서 등)에 기초하여, 오브젝트를 검출하고 오브젝트에 대한 데이터를 생성할 수 있다. 타 차량에서 생성된 데이터는, 차량(10)으로 직접 전송되거나, 서버를 거쳐 차량(10)으로 전송될 수 있다.
프로세서(170)는, 전원이 공급되는 상태에서, 인터페이스부(180)를 통해, 차량(10)에 장착된 카메라 중 적어도 어느 하나로부터, 오브젝트에 대한 데이터를 수신할 수 있다. 프로세서(170)는, 카메라로부터 오브젝트에 대한 제2 데이터를 수신할 수 있다. 카메라는, 오브젝트 검출 장치(210)의 하위 구성으로 분류될 수 있다. 카메라는, 차량(10)의 전방 영상, 후방 영상 및 측방 영상 중 적어도 어느 하나를 획득하고, 영상에서 오브젝트를 검출하여, 오브젝트에 대한 데이터를 생성할 수 있다.
프로세서(170)는, 전원이 공급되는 상태에서, 오브젝트에 대한 데이터에 기초하여, 적어도 하나의 레인지 센서(range sensor)의 센싱 파라미터를 설정하기 위한 신호를 생성할 수 있다. 레인지 센서는, TOF(Time of flight) 방식, 구조광 방식 및 디스패러티 방식 중 적어도 어느 하나를 이용하여, 오브젝트에 대한 데이터를 생성하는 센서로 이해될 수 있다. 레인지 센서는, 오브젝트 검출 장치(210)에 포함된 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 어느 하나를 포함할 수 있다.
프로세서(170)는, 오브젝트를 향한 적어도 하나의 레인지 센서의 센싱 동작이 수행되도록 오브젝트 검출 장치(210)에 신호를 제공할 수 있다.
프로세서(170)는, 오브젝트를 향하는 적어도 하나의 레인지 센서의 프레임 레이트(frame rate)를 설정하기 위한 신호를 생성할 수 있다. 예를 들면, 프로세서(170)는, 오브젝트에 대한 데이터에 기초하여, 프레임 레이트를 증가시킬 수 있다. 프레임 레이트를 증가시킴으로써, 보다 정확한 오브젝트에 대한 데이터를 생성할 수 있다. 예를 들면, 프로세서(170)는, 오브젝트에 대한 데이터에 기초하여, 적어도 하나의 레인지 센서에서, 오브젝트를 향해 발사되는 신호(예를 들면, 전자파, 레이저파, 초음파, 적외선파 등)의 프레임 레이트를 증가시키기 위한 신호를 생성할 수 있다.
프로세서(170)는, 오브젝트를 향하는 적어도 하나의 레인지 센서의 센싱 범위를 설정하기 위한 신호를 제공할 수 있다. 예를 들면, 프로세서(170)는, 오브젝트에 대한 데이터에 기초하여, 센싱 범위를 증가시킬 수 있다. 센싱 범위를 증가시킴으로써, 보다 정확한 오브젝트에 대한 데이터를 생성할 수 있다. 예를 들면, 프로세서(170)는, 오브젝트에 대한 데이터에 기초하여, 적어도 하나의 레인지 센서에서, 오브젝트를 향해 발사되는 신호(예를 들면, 전자파, 레이저파, 초음파, 적외선파 등)의 센싱 범위를 증가시키기 위한 신호를 생성할 수 있다. 예를 들면, 프로세서(170)는, 오브젝트에 대한 데이터에 기초하여, 적어도 하나의 레인지 센서에서, 오브젝트를 향해 발사되는 신호(예를 들면, 전자파, 레이저파, 초음파, 적외선파 등)의 센싱 범위를 변경시키기 위한 신호를 생성할 수 있다.
프로세서(170)는, 오브젝트에 대한 데이터에 기초하여, 오브젝트를 향하는 적어도 하나의 레인지 센서의 FOV(Field of view) 내에서의 데이터 처리 영역을 결정할 수 있다. 프로세서(170)는, 레인지 센서의 FOV에서 오브젝트가 위치할 확률이 높은 영역을 데이터 처리 영역으로 결정할 수 있다. 프로세서(170)는, 결정된 데이터 처리 영역에 해당되는 데이터만 처리함으로써, 데이터 처리 부하를 저감시킬 수 있다.
프로세서(170)는, 통신 장치(220)를 통해, 외부 장치로부터 수신되는 오브젝트에 대한 제1 데이터에 기초하여, 오브젝트가 위치할 확률이 기 설정값 이상인 제1 영역을 결정할 수 있다. 제1 데이터는, 오브젝트의 존재 여부에 대한 정보, 오브젝트의 위치 정보, 오브젝트의 종류 정보를 포함할 수 있다. 예를 들면, 복수의 타 차량은 특정 오브젝트에 대한 데이터를 각각 생성하여 V2X를 통해 차량(10)에 전송할 수 있다. 프로세서(170)는, 복수의 타 차량으로부터 수신되고, 오브젝트에 대한 위치 정보를 가지는 데이터를 처리하여, 제1 영역을 결정할 수 있다. 프로세서(170)는, 제1 영역을 데이터 처리 영역으로 결정할 수 있다.
프로세서(170)는, 차량(10)에 장착된 카메라로부터 수신되는 오브젝트에 대한 제2 데이터에 기초하여, 오브젝트가 위치할 확률이 기 설정값 이상인 제2 영역을 결정할 수 있다. 제2 데이터는, 오브젝트의 존재 여부에 대한 정보, 오브젝트의 위치 정보, 오브젝트의 종류 정보, 차량(10)과 오브젝트와의 거리 정보를 포함할 수 있다. 예를 들면, 프로세서(170)는, 오브젝트의 위치 정보 및 차량(10)과 오브젝트와의 거리 정보를 가지는 데이터를 처리하여, 제2 영역을 결정할 수 있다. 프로세서(170)는, 제2 영역을 데이터 처리 영역으로 결정할 수 있다.
프로세서(170)는, 생성된 신호를 오브젝트 검출 장치(210)에 제공할 수 있다. 오브젝트 검출 장치(210)는, 전자 장치(100)로부터 수신된 신호에 기초하여, 적어도 하나의 레인지 센서를 제어할 수 있다.
프로세서(170)는, 제1 데이터 및 제2 데이터가 일치하는지 판단할 수 있다. 예를 들면, 프로세서(170)는, 오브젝트의 종류 일치 여부에 기초하여, 제1 데이터와 제2 데이터의 일치 여부를 판단할 수 있다. 예를 들면, 프로세서(170)는, 차량(10)과 오브젝트와의 거리에 대한 제1 데이터 및 제2 데이터의 오차 정도가 기준 범위 이내인 경우, 제1 데이터와 제2 데이터가 일치하는 것으로 판단할 수 있다. 예를 들면, 프로세서(170)는, 맵 데이터 상에서의 오브젝트 위치 데이터에 기초하여, 제1 데이터와 제2 데이터의 일치 여부를 판단할 수 있다.
프로세서(170)는, 제1 데이터 및 제2 데이터가 불일치하는 것으로 판단되는 경우,적어도 하나의 레인지 센서의 센싱 파라미터를 설정하기 위한 신호를 생성할 수 있다. 프로세서(170)는, 제1 데이터 및 제2 데이터가 불일치하는 것으로 판단되는 경우, 오브젝트를 향하는 적어도 하나의 레인지 센서의 프레임 레이트 및 센싱 범위 중 적어도 어느 하나를 설정하기 위한 신호를 생성할 수 있다. 프로세서(170)는, 제1 데이터 및 제2 데이터가 불일치하는 것으로 판단되는 경우, 제1 영역 및 제2 영역이 모두 포함된 영역을 데이터 처리 영역으로 결정할 수 있다.
프로세서(170)는, 레인지 센서로부터, 설정된 센싱 파라미터에 기초하여 생성된 오브젝트에 대한 제3 데이터를 획득할 수 있다. 프로세서(170)는, 통신 장치(220)로부터 획득된 오브젝트에 대한 제1 데이터, 카메라로부터 획득된 오브젝트에 대한 제2 데이터 및 레인지 센서로부터 획득된 제3 데이터에 기초하여, 퓨전 데이터를 생성할 수 있다. 프로세서(170)는, 제1 데이터, 제2 데이터 및 제3 데이터 중 적어도 2개 이상을 퓨전할 수 있다.
프로세서(170)는, 차량(10)의 모션 플래닝 데이터를 획득할 수 있다. 예를 들면, 프로세서(170)는, 인터페이스부(180)를 통해, 메인 ECU(240)로부터 차량(10)의 모션 플래닝 데이터를 획득할 수 있다. 모션 플래닝 데이터는, 차량(10)의 이동 예정 방향 데이터, 이동 예정 변위 데이터 및 이동 예정 속도 데이터 중 적어도 어느 하나를 포함할 수 있다. 프로세서(170)는, 차량(10)의 모션 플래닝 데이터에 더 기초하여, 적어도 하나의 레인지 센서의 센싱 파라미터를 설정하기 위한 신호를 생성할 수 있다. 프로세서(170)는, 차량(10)의 모션 플래닝 데이터에 더 기초하여, 오브젝트를 향하는 적어도 하나의 레인지 센서의 프레임 레이트 및 센싱 범위 중 적어도 하나를 설정하기 위한 신호를 생성할 수 있다. 프로세서(170)는, 차량(10)의 모션 플래닝 데이터에 더 기초하여, 오브젝트를 향하는 적어도 하나의 레인지 센서(range sensor)의 FOV(Field of veiw) 내에서의 데이터 처리 영역을 결정할 수 있다. 차량(10)이 움직이는 경우, 차량(10)을 기준으로 오브젝트는 상대적으로 움직이게 된다. 프로세서(170)가, 모션 플래닝 데이터 및 오브젝트에 대한 데이터에 기초함으로써, 보다 정확하게 데이터 처리 영역을 결정할 수 있게 된다.
전자 장치(100)는, 적어도 하나의 인쇄 회로 기판(printed circuit board, PCB)을 포함할 수 있다. 인터페이스부(180), 전원 공급부(190), 메모리(140) 및 프로세서(170)는, 인쇄 회로 기판에 전기적으로 연결될 수 있다.
사용자 인터페이스 장치(200)는, 차량(10)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(10)에서 생성된 정보를 제공할 수 있다. 차량(10)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
오브젝트 검출 장치(210)는, 차량(10) 외부의 오브젝트를 검출할 수 있다. 오브젝트 검출 장치(210)는, 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 오브젝트 검출 장치(210)는, 센서에서 생성되는 센싱 신호에 기초하여 생성된 오브젝트에 대한 데이터를 차량에 포함된 적어도 하나의 전자 장치에 제공할 수 있다.
오브젝트 검출 장치(210)는, 오브젝트에 대한 센싱 신호에 기초하여, 다이나믹 데이터를 생성할 수 있다. 오브젝트 검출 장치(210)는, 다이나믹 데이터를 전자 장치(100)에 제공할 수 있다.
통신 장치(220)는, 차량(10) 외부에 위치하는 디바이스와 신호를 교환할 수 있다. 통신 장치(220)는, 인프라(예를 들면, 서버) 및 타 차량 중 적어도 어느 하나와 신호를 교환할 수 있다. 통신 장치(220)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
운전 조작 장치(230)는, 운전을 위한 사용자 입력을 수신하는 장치이다. 메뉴얼 모드인 경우, 차량(10)은, 운전 조작 장치(230)에 의해 제공되는 신호에 기초하여 운행될 수 있다. 운전 조작 장치(230)는, 조향 입력 장치(예를 들면, 스티어링 휠), 가속 입력 장치(예를 들면, 가속 페달) 및 브레이크 입력 장치(예를 들면, 브레이크 페달)를 포함할 수 있다.
메인 ECU(240)는, 차량(10) 내에 구비되는 적어도 하나의 전자 장치의 전반적인 동작을 제어할 수 있다.
차량 구동 장치(250)는, 차량(10)내 각종 장치의 구동을 전기적으로 제어하는 장치이다. 차량 구동 장치(250)는, 파워 트레인 구동부, 샤시 구동부, 도어/윈도우 구동부, 안전 장치 구동부, 램프 구동부 및 공조 구동부를 포함할 수 있다. 파워 트레인 구동부는, 동력원 구동부 및 변속기 구동부를 포함할 수 있다. 샤시 구동부는, 조향 구동부, 브레이크 구동부 및 서스펜션 구동부를 포함할 수 있다.
ADAS(260)는, 오브젝트 검출 장치(210)에서 수신한 오브젝트에 대한 데이터에 기초하여, 차량(10)의 움직임을 제어하거나, 사용자에게 정보를 출력하기 위한 신호를 생성할 수 있다. ADAS(260)는, 생성된 신호를, 사용자 인터페이스 장치(200), 메인 ECU(240) 및 차량 구동 장치(250) 중 적어도 어느 하나에 제공할 수 있다.
ADAS(260)는, 적응형 크루즈 컨트롤 시스템(ACC : Adaptive Cruise Control), 자동 비상 제동 시스템(AEB : Autonomous Emergency Braking), 전방 충돌 알림 시스템(FCW : Foward Collision Warning), 차선 유지 보조 시스템(LKA : Lane Keeping Assist), 차선 변경 보조 시스템(LCA : Lane Change Assist), 타겟 추종 보조 시스템(TFA : Target Following Assist), 사각 지대 감시 시스템(BSD : Blind Spot Detection), 적응형 하이빔 제어 시스템(HBA : High Beam Assist), 자동 주차 시스템(APS : Auto Parking System), 보행자 충돌 알림 시스템(PD collision warning system), 교통 신호 검출 시스템(TSR : Traffic Sign Recognition), 교통 신호 보조 시스템(TSA : Trafffic Sign Assist), 나이트 비전 시스템(NV : Night Vision), 운전자 상태 모니터링 시스템(DSM : Driver Status Monitoring) 및 교통 정체 지원 시스템(TJA : Traffic Jam Assist) 중 적어도 어느 하나를 구현할 수 있다.
센싱부(270)는, 차량의 상태를 센싱할 수 있다. 센싱부(270)는, IMU(inertial navigation unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서 및 브레이크 페달 포지션 센서 중 적어도 어느 하나를 포함할 수 있다. 한편, IMU(inertial navigation unit) 센서는, 가속도 센서, 자이로 센서, 자기 센서 중 하나 이상을 포함할 수 있다.
센싱부(270)는, 적어도 하나의 센서에서 생성되는 신호에 기초하여, 차량의 상태 데이터를 생성할 수 있다. 센싱부(270)는, 차량 자세 정보, 차량 모션 정보, 차량 요(yaw) 정보, 차량 롤(roll) 정보, 차량 피치(pitch) 정보, 차량 충돌 정보, 차량 방향 정보, 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(270)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
센싱부(270)는, 센싱 데이터를 기초로, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다.
예를 들면, 차량 상태 정보는, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다.
위치 데이터 생성 장치(280)는, 차량(10)의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치(280)는, GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치(280)는, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여 차량(10)의 위치 데이터를 생성할 수 있다. 실시예에 따라, 위치 데이터 생성 장치(280)는, 센싱부(270)의 IMU(Inertial Measurement Unit) 및 오브젝트 검출 장치(210)의 카메라 중 적어도 어느 하나에 기초하여 위치 데이터를 보정할 수 있다.
차량(10)은, 내부 통신 시스템(50)을 포함할 수 있다. 차량(10)에 포함되는 복수의 전자 장치는 내부 통신 시스템(50)을 매개로 신호를 교환할 수 있다. 신호에는 데이터가 포함될 수 있다. 내부 통신 시스템(50)은, 적어도 하나의 통신 프로토콜(예를 들면, CAN, LIN, FlexRay, MOST, 이더넷)을 이용할 수 있다.
도 4는 본 발명의 실시예에 따른 차량용 전자 장치를 설명하는데 참조되는 블럭도이다.
도 4를 참조하면, 차량용 전자 장치(100)는, 도 3을 참조하여 설명한 차량용 전자 장치에 비해, 오브젝트 검출 장치(210) 및 ADAS(260)를 개별적 또는 조합하여 더 포함할 수 있다.
도 3의 차량용 전자 장치(100)의 프로세서(170)는, 인터페이스부(180)를 통해, 오브젝트 검출 장치(210) 및 ADAS(260)와 데이터를 교환하는데 비해, 도 4의 차량용 전자 장치(100)의 프로세서(170)는, 오브젝트 검출 장치(210) 및 ADAS(260)와 전기적으로 연결되여, 데이터를 교환할 수 있다. 이경우, 프로세서(170)가 전기적으로 연결된 인쇄 회로 기판에 오브젝트 검출 장치(210) 및 ADAS(260)가 전기적으로 연결될 수 있다.
도 5a는 본 발명의 실시예에 따른 차량용 전자 장치의 플로우 차트이다. 도 5a는, 차량용 전자 장치의 동작 방법의 플로우 차트이다.
도 5a를 참조하면, 차량(10)의 주행 방향을 향하는 카메라가 활성화 된 상태에서(S505). 프로세서(170)는, 차량(10)의 주변에 타 차량이 존재하는지 판단할 수 있다(S510).
주변에 타 차량이 존재하는 것으로 판단되는 경우, 프로세서(170)는, 타 차량이 위치하는 방향을 향하는 카메라를 활성화시키기 위한 신호를 제공할 수 있다(S515). 프로세서(170)는, V2X 통신(220a)를 통해, 외부 장치로부터, 차량(10) 외부의 오브젝트에 대한 데이터를 획득할 수 있다. 프로세서(170)는, V2X 통신(S529)을 통해 획득된 오브젝트에 대한 데이터에 기초하여, 차량(10) 주변에 타 차량이 존재하는지 판단할 수 있다.
주변에 타 차량이 존재하지 않는 것으로 판단되는 경우, 프로세서(170)는, 메인 ECU(240)로부터, 수신한 모션 플래닝 데이터에 기초하여, 차량(10)이 차로를 변경할 예정인지 판단할 수 있다(S520). 차량(10)이 차로를 변경할 예정인 경우, 프로세서(170)는, 변경 예정 차로를 향하는 카메라를 활성화시키기 위한 신호를 제공할 수 있다(S525).
차량(10)이 차로를 변경하지 않는 것으로 판단되는 경우, 프로세서(170)는, 전원 공급부(190)로부터, 전원을 공급받는 상태에서, 차량(10) 외부의 오브젝트에 대한 데이터를 획득할 수 있다(S526).
획득하는 단계(S526)는, 적어도 하나의 프로세서(170)가, 차량에 장착된 통신 장치를 통해 외부 장치로부터, 오브젝트에 대한 제1 데이터를 수신하는 단계(S529) 및 적어도 하나의 프로세서(170)가, 차량(10)에 장착된 카메라로부터, 오브젝트에 대한 제2 데이터를 수신하는 단계(S530)를 포함할 수 있다.
프로세서(170)는, 차량(10)에 장착된 통신 장치(220)를 통해 외부 장치로부터 오브젝트에 대한 제1 데이터를 수신할 수 있다(S529). 제1 데이터는, 오브젝트의 존재 여부에 대한 정보, 오브젝트의 위치 정보, 오브젝트의 종류 정보를 포함할 수 있다.
카메라는, 영상 데이터를 처리하여, 오브젝트에 대한 제2 데이터를 생성할 수 있다(S530). 프로세서(170)는, 차량(10)에 장착된 카메라로부터, 오브젝트에 대한 제2 데이터를 수신할 수 있다. 제2 데이터는, 오브젝트의 존재 여부에 대한 정보, 오브젝트의 위치 정보, 오브젝트의 종류 정보, 차량(10)과 오브젝트와의 거리 정보를 포함할 수 있다.
프로세서(170)는, 제1 데이터가 제2 데이터와 일치하는지 판단할 수 있다(S535). 예를 들면, 프로세서(170)는, 오브젝트의 종류 일치 여부에 기초하여, 제1 데이터와 제2 데이터의 일치 여부를 판단할 수 있다. 예를 들면, 프로세서(170)는, 차량(10)과 오브젝트와의 거리에 대한 제1 데이터 및 제2 데이터의 오차 정도가 기준 범위 이내인 경우, 제1 데이터와 제2 데이터가 일치하는 것으로 판단할 수 있다. 예를 들면, 프로세서(170)는, 맵 데이터 상에서의 오브젝트 위치 데이터에 기초하여, 제1 데이터와 제2 데이터의 일치 여부를 판단할 수 있다.
제1 데이터 및 제2 데이터가 일치하는 것으로 판단되는 경우, 프로세서(170)는, 오브젝트에 대한 데이터 획득을 완료할 수 있다(S560). 프로세서(170)는, S526 단계에서 획득한 오브젝트에 대한 데이터를 이용할 수 있다.제1 데이터 및 제2 데이터가 불일치하는 것으로 판단되는 경우, 프로세서(170)는, 오브젝트에 대한 데이터에 기초하여, 적어도 하나의 레인지 센서의 센싱 파라미터를 설정하기 위한 신호를 생성할 수 있다(S540).
생성하는 단계(S540)는, 적어도 하나의 프로세서(170)가, 오브젝트를 향하는 적어도 하나의 레인지 센서의 프레임 레이트 및 센싱 범위 중 적어도 어느 하나를 설정하기 위한 신호를 생성하는 단계를 포함할 수 있다.
생성하는 단계(S540)는, 적어도 하나의 프로세서(170)가, 오브젝트에 대한 데이터에 기초하여, 적어도 하나의 레인지 센서의 프레임 레이트를 증가시키는 단계를 포함할 수 있다. 프로세서(170)는, 오브젝트를 향하는 적어도 하나의 레인지 센서의 프레임 레이트(frame rate)를 설정하기 위한 신호를 생성할 수 있다. 예를 들면, 프로세서(170)는, 오브젝트에 대한 데이터에 기초하여, 프레임 레이트를 증가시킬 수 있다. 프레임 레이트를 증가시킴으로써, 보다 정확한 오브젝트에 대한 데이터를 생성할 수 있다. 예를 들면, 프로세서(170)는, 오브젝트에 대한 데이터에 기초하여, 적어도 하나의 레인지 센서에서, 오브젝트를 향해 발사되는 신호(예를 들면, 전자파, 레이저파, 초음파, 적외선파 등)의 프레임 레이트를 증가시키기 위한 신호를 생성할 수 있다.
생성하는 단계(S540)는, 적어도 하나의 프로세서(170)가, 전원을 공급받는 상태에서, 오브젝트에 대한 데이터에 기초하여, 상기 오브젝트를 향하는 적어도 하나의 레인지 센서의 FOV 내에서의 데이터 처리 영역을 결정하는 단계를 포함할 수 있다. 데이터 처리 영역을 결정하는 단계는, 적어도 하나의 프로세서(170)가, 제1 데이터에 기초하여, 오브젝트가 위치할 확률이 기 설정값 이상인 제1 영역을 결정하는 단계 및 제1 영역을 데이터 처리 영역으로 결정하는 단계를 포함할 수 있다. 데이터 처리 영역을 결정하는 단계는, 적어도 하나의 프로세서(170)가, 제2 데이터에 기초하여, 오브젝트가 위치할 확률이 기 설정값 이상인 제2 영역을 결정하는 단계 및 제2 영역을 데이터 처리 영역으로 결정하는 단계를 포함할 수 있다. 결정하는 단계는, 제1 데이터 및 제2 데이터가 불일치하는 것으로 판단되는 경우, 적어도 하나의 프로세서(170)가, 제1 영역 및 제2 영역이 모두 포함된 영역을 데이터 처리 영역으로 결정하는 단계를 포함할 수 있다.생성하는 단계(S540)는, 적어도 하나의 프로세서(170)가, 오브젝트에 대한 데이터에 기초하여, 적어도 하나의 레인지 센서의 센싱 범위를 증가시키거나 센싱 범위를 변경하는 단계를 포함할 수 있다. 프로세서(170)는, 오브젝트를 향하는 적어도 하나의 레인지 센서의 센싱 범위를 설정하기 위한 신호를 제공할 수 있다. 예를 들면, 프로세서(170)는, 오브젝트에 대한 데이터에 기초하여, 센싱 범위를 증가시킬 수 있다. 센싱 범위를 증가시킴으로써, 보다 정확한 오브젝트에 대한 데이터를 생성할 수 있다. 예를 들면, 프로세서(170)는, 오브젝트에 대한 데이터에 기초하여, 적어도 하나의 레인지 센서에서, 오브젝트를 향해 발사되는 신호(예를 들면, 전자파, 레이저파, 초음파, 적외선파 등)의 센싱 범위를 증가시키기 위한 신호를 생성할 수 있다. 예를 들면, 프로세서(170)는, 오브젝트에 대한 데이터에 기초하여, 적어도 하나의 레인지 센서에서, 오브젝트를 향해 발사되는 신호(예를 들면, 전자파, 레이저파, 초음파, 적외선파 등)의 센싱 범위를 변경시키기 위한 신호를 생성할 수 있다.
프로세서(170)는, 생성된 신호를 오브젝트 검출 장치(210)에 제공할 수 있다. 오브젝트 검출 장치(210)는, 전자 장치(100)로부터 수신된 신호에 기초하여, 적어도 하나의 레인지 센서를 제어할 수 있다.
프로세서(170)는, 레인지 센서로부터, 설정된 센싱 파라미터에 기초하여 생성된 오브젝트에 대한 제3 데이터를 획득할 수 있다(S545).
프로세서(170)는, 통신 장치(220)로부터 획득된 오브젝트에 대한 제1 데이터, 카메라로부터 획득된 오브젝트에 대한 제2 데이터 및 레인지 센서로부터 획득된 제3 데이터에 기초하여, 퓨전 데이터를 생성할 수 있다(S550).
한편, 실시예에 따라, 차량용 전자 장치의 동작 방법은, 적어도 하나의 프로세서가, 차량(10)의 모션 플래닝 정보를 획득하는 단계를 더 포함할 수 있다. 이경우, 결정하는 단계는, 적어도 하나의 프로세서가, 모션 플래닝 데이터에 더 기초하여, 데이터 처리 영역을 결정하는 단계를 포함할 수 있다.
도 5b는 도 5a의 S530 단계의 세부 알고리즘의 플로우 차트이다.
도 5b를 참조하면, 프로세서(170)는, 차량(10)에 장착된 카메라로부터 이미지 데이터를 획득할 수 있다(S531).
프로세서(170)는, 획득된 이미지에 대한, 전처리(preprocessing)를 수행할 수 있다(S532). 구체적으로, 프로세서(170)는, 이미지에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion;CSC), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 카메라(195)에서 촬영된 스테레오 이미지 보다 선명한 이미지를 획득할 수 있다.
프로세서(170)는, 전처리가 수행된 이미지에 대해, 세그먼트(segment)를 수행할 수 있다(S533). 구체적으로, 예를 들면, 프로세서(170)는, 전처리된 이미지에 대해, 배경(background)과 전경(foreground)을 분리할 수 있다.
예를 들면, 프로세서(170)는, 차량의 주행과 무관한 영역을 배경으로 연산하고, 해당 부분을 제외시킬 수 있다. 이에 의해, 상대적으로 전경이 분리될 수 있다.
예를 들면, 프로세서(170)는, 유사한 컬러를 가지는 균질한 픽셀에 기초하여, 전처리된 이미지를 복수의 세그먼트로 구분할 수 있다.
프로세서(170)는, 세그먼트된 이미지에 기초하여, 오브젝트를 검출할 수 있다(S534).
프로세서(170)는, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 예를 들면, 프로세서(170)는, 인식되는 특징점에 기초하여 오브젝트를 검출할 수 있다. 예를 들면, 프로세서(170)는, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다. 예를 들면, 프로세서(170)는, 적어도 하나의 세그먼트로 구분된 영역을 오브젝트로 인식할 수 있다. 실시예에 따라, 프로세서(170)는, 두개의 색상으로 채색된 오브젝트는 두 개의 세그먼트로 구분할 수 있지만, 하나의 오브젝트로 식별할 수 있다.
프로세서(170)는, 오브젝트를 분류하고(classify), 확인할 수 있다(verify)(S535). 이를 위해, 프로세서(170)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.
프로세서(170)는, 메모리(140)에 저장된 오브젝트들과, 검출된 오브젝트를 비교하여, 오브젝트를 확인할 수 있다. 예를 들면, 프로세서(170)는, 차로(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 확인할 수 있다.
프로세서(170)는, 확인된 오브젝트까지의 거리를 측정할 수 있다(S536). 예를 들면, S531 단계에서 획득된 이미지가 스테레오 이미지인 경우, 디스패러티 데이터에 기초하여, 오브젝트까지의 거리를 측정할 수 있다. 예를 들면, 프로세서(170)는, 차량(10)의 이동에 따라 획득되는 오브젝트의 크기 변화에 기초하여, 오브젝트와의 거리를 측정할 수 있다. 예를 들면, 프로세서(170)는, 이미지에서 오브젝트가 차지하는 픽셀에 기초하여 오브젝트와의 거리를 측정할 수 있다.
모든 오브젝트에 대한 처리가 완료되는 경우(S537), 영상 처리 단계는 종료된다. 모든 오브젝트에 대한 처리가 완료되지 않는 경우(S537), S536 단계가 반복하여 수행될 수 있다.
도 6은 본 발명의 실시예에 따른 차량용 전자 장치의 동작을 설명하는데 참조되는 도면이다.
도 6을 참조하면, 프로세서(170)는, 전원이 공급되는 상태에서, 차량(10) 외부의 오브젝트(610, 620)에 대한 데이터를 획득할 수 있다. 오브젝트(610, 620)는, 타 차량(610) 및 보행자(620) 중 적어도 어느 하나를 포함할 수 있다.
프로세서(170)는, 통신 장치(220)로부터, 오브젝트에 대한 제1 데이터를 수신할 수 있다. 오브젝트에 대한 제1 데이터는, 통신 장치(220)가 V2X 통신을 통해, 획득한 데이터일 수 있다. 통신 장치(220)는, 타 차량(610)에 구비된 V2X 통신이 가능한 장치로부터 생성된 신호를 직접적 또는 간접적으로 수신함으로써, 제1 데이터를 수신할 수 있다. 통신 장치(220)는, 보행자(620)가 소지한 이동 단말기로부터 생성된 신호를 직접적 또는 간접적으로 수신함으로써, 제1 데이터를 수신할 수 있다.
프로세서(170)는, 인터페이스부(180)를 통해, 차량 구동 장치(250), 메인 ECU(240), ADAS(265) 중 적어도 어느 하나로부터, 차량(10)의 모션 플래닝 데이터를 획득할 수 있다.
프로세서(170)는, 보행자(620)에 대한 데이터에 기초하여, 보행자(620) 쪽을 촬영하는 카메라의 프레임 레이트를 설정하기 위한 신호를 생성할 수 있다. 예를 들면, 프로세서(170)는, 통신 장치(220)를 통해, 보행자(620)에 대한 데이터를 획득하는 경우, 카메라의 프레임 레이트를 일반적인 상황보다 높게 설정하기 위한 신호를 생성할 수 있다. 프레임 레이트를 높임으로써, 보행자 검출 알고리즘의 정확성을 높일 수 있다.
프로세서(170)는, 보행자(620) 주변을 향하는 적어도 하나의 레인지 센서의 센싱 파라미터를 설정하기 위한 신호를 생성할 수 있다. 프로세서(170)는, 설정된 파라미터에 의해 획득된 적어도 하나의 레인지 센서의 오브젝트에 대한 데이터를 수신할 수 있다.
프로세서(170)는, 통신 장치(220)에 의해 획득된 오브젝트에 대한 데이터, 카메라에 의해 획득된 오브젝트에 대한 데이터, 레인지 센서에 의해 획득된 오브젝트에 대한 데이터 중 적어도 2개 이상을 퓨전할 수 있다.
도 7은 본 발명의 실시예에 따른 차량용 전자 장치의 플로우 차트이다.
도 8 내지 도 9는 본 발명의 실시예에 따른 차량용 전자 장치의 동작을 설명하는데 참조되는 도면이다.
도 7 내지 도 9를 참조하면, 프로세서(170)는, 전방 센서를 활성화할 수 있다(S710). 전방 센서는, 차량(10)의 전방에 위치하는 오브젝트를 검출하기 위한 것으로, 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 어느 하나를 포함할 수 있다.
프로세서(170)는, 차량(10)의 모션 플래닝 데이터를 획득할 수 있다. 프로세서(170)는, 획득된 모션 플래닝 데이터에 기초하여, 차량(10)의 차선 변경 예정 여부를 판단할 수 있다(S715).
차로 변경 예정인 것으로 판단되는 경우, 프로세서(170)는, 측후방 센서를 활성화(801)할 수 있다(S720). 후측방 센서는, 차량(10)의 후측방에 위치하는 오브젝트(810)를 검출하기 위한 것으로, 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 차량(10)이 주행 차로의 좌측 차로로 차로 변경 예정인 경우, 프로세서(170)는, 좌측후방 센서를 활성화할 수 있다. 예를 들면, 차량(10)이 주행 차로의 우측 차로로 차로 변경 예정인 경우, 프로세서(170)는, 우측후방 센서를 활성화할 수 있다.
프로세서(170)는, 인터페이스부(180) 및 V2X 를 이용하는 통신 장치(220)를 통해, 타 차량 및 서버에 차로 변경 요청 신호를 전송할 수 있다(S725). 통신 장치(220)는, RSU(820)를 매개로, 타 차량(810) 및 서버 중 적어도 어느 하나에 차량 변경 요청 신호를 전송할 수 있다.
프로세서(170)는, 오브젝트에 대한 데이터를 획득할 수 있다(S730). 프로세서(170)는, 측후방 센서에서 생성된 센싱 데이터에 기초하여, 오브젝트에 대한 데이터를 획득할 수 있다(S733). 프로세서(170)는, V2X 통신을 이용한 통신 장치(220)를 통해 타 차량의 모션 플래닝 데이터를 획득할 수 있다(S736). 모션 플래닝 데이터는, 패스 플래닝 데이터로 명명될 수 있다. 통신 장치(220)는, RSU(820)를 매개로, 타 차량(810) 및 서버 중 적어도 어느 하나로부터, 타 차량의 모션 플래닝 데이터를 수신할 수 있다. 통신 장치(220)는 수신한 타 차량의 모션 플래닝 데이터를 전자 장치(100)에 제공할 수 있다.
프로세서(170)는, 주행 상황을 판단하고, 차량(10)의 경로 계획을 설정할 수 있다(S740). 프로세서(170)는, S730 단계에서 획득된 오브젝트에 대한 데이터에 기초하여, 주행 차로를 유지할지 여부, 차로를 변경할지 여부를 판단할 수 있다. 프로세서(170)는, 주행 차로를 유지할지 여부, 차로를 변경할지 여부에 대한 판단에 기초하여, 차량(10)의 경로 계획을 설정할 수 있다. 예를 들면, 프로세서(170)는, 차량(10)의 차로 변경 시, 변경할 차로에 타 차량의 경로와 간섭이 없는 것으로 판단되는 경우, 차량(10)의 차로 변경이 수행되도록 제어 신호를 제공할 수 있다. 프로세서(170)는, 차량(10)의 차로 변경시, 변경할 차로에 타 차량의 경로와 간섭이 있는 것으로 판단되는 경우, 타 차량(810)의 모션 플래닝 데이터에 기초하여, 다시 경로 계획 데이터를 생성할 수 있다.
프로세서(170)는, 인터페이스부(180)를 통해, 경로 계획 데이터를 메인 ECU(240), 차량 구동 장치(250) 및 ADAS(260) 중 적어도 어느 하나에 제공할 수 있다. 차량(10)은, 경로 계획 데이터에 기초하여 주행할 수 있다(S750).
한편, 서버는, 차량(10)의 차로 변경 요청 신호를 수신하고, 차량(10)의 차로 변경 가능 여부를 판단할 수 있다. 서버는, 차량(10)의 차로 변경이 안전하다고 판단되는 경우, 차량(10)에 차로 변경을 허가하는 신호를 전송할 수 있다. 서버는 차량(10)의 변경 예정 차로에서 주행 중인 타 차량에 속도 조절을 요청하는 신호를 제공할 수 있다. 차량(10)은, 차로 변경을 수행할 수 있다.
한편, 프로세서(170)는, LKAS(Lane Keeping Assist System) 모드가 활성화된 상태에서, 전방 센서만 활성화할 수 있다. 프로세서(170)는, 차량(10)의 차로 변경시, 모션 플래닝 데이터를 V2X 통신을 이용하는 통신 장치(220)를 통해 타 차량 및 서버 중 적어도 어느 하나에 전송할 수 있다. 프로세서(170)는, 통신 장치(220)를 통해, 차로 변경 허가 신호를 수신할 수 있다. 이경우, 프로세서(170)는, 차량 변경 예정을 향하는 측후방 센서를 활성화 시킬 수 있다.
도 10은 본 발명의 실시예에 따른 차량용 전자 장치의 플로우 차트이다.
도 11은 본 발명의 실시예에 따른 차량용 전자 장치의 동작을 설명하는데 참조되는 도면이다.
도 10 내지 도 11을 참조하면, 프로세서(170)는, 위치 데이터 생성 장치(280)로부터, 차량(10)의 위치 데이터를 획득할 수 있다. 프로세서(170)는, 차량(10)과 RSU(1110, 1120)와의 제1 관계 데이터를 생성할 수 있다(S1010). 차량(10)과 RSU(1110, 1120)과의 제1 관계 데이터는, 차량(10), RSU(1110, 1120) 각각의 절대 위치 데이터, 상대 위치 데이터, 거리 데이터 중 적어도 어느 하나를 포함할 수 있다.
서버는, RSU(1110, 1120)와 차량(10)과의 제2 관계 데이터를 생성할 수 있다 (능동 인프라)(S1011). 제2 관계 데이터는, 차량(10), RSU(1110, 1120) 각각의 절대 위치 데이터, 상대 위치 데이터, 거리 데이터 중 적어도 어느 하나를 포함할 수 있다.
실시예에 따라, 서버는, 맵 상에서 RSU(1110, 1120)의 절대 위치와 차량(10)의 위치에 기초하여, 제2 관계 데이터를 생성할 수 있다(수동 인프라)(S1012).
프로세서(170)는, 서버로부터 제2 관계 데이터를 수신할 수 있다.
프로세서(170)는, 제1 관계 데이터 및 제2 관계 데이터를 비교할 수 있다(S1015).
제1 관계 데이터 및 제2 관계 데이터가 일치하는 것으로 판단되는 경우, 프로세서(170)는, 오브젝트 검출 장치(210)에 포함된 적어도 하나의 센서를 정상으로 판단할 수 있다(S1030).
제1 관계 데이터 및 제2 관계 데이터가 불일치하는 것으로 판단되는 경우, 프로세서(170)는, 제2 관계 데이터에 기초하여, 센서 데이터를 보정할 수 있다. 프로세서(170)는, 오브젝트 검출 장치(210)에서 생성되는 센싱 데이터를 제2 관계 데이터에 기초하여 보정할 수 있다.
프로세서(170)는, 센서 보정 수행이 성공인지 판단할 수 있다(S1020). 성공으로 판단되는 경우, 프로세서(170)는, 오브젝트 검출 장치(210)에 포함된 적어도 하나의 센서를 정상으로 판단할 수 있다(S1030). 실패로 판단되는 경우, 프로세서(170)는, 오브젝트 검출 장치(210)에 포함된 적어도 하나의 센서를 비정상으로 판단할 수 있다(S1035).
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
[부호의 설명]
100 : 차량용 전자 장치

Claims (10)

  1. 전원을 공급하는 전원 공급부; 및
    상기 전원이 공급되는 상태에서, 차량 외부의 오브젝트에 대한 데이터를 획득하고, 상기 오브젝트에 대한 데이터에 기초하여, 상기 오브젝트를 향하는 적어도 하나의 레인지 센서(range sensor)의 FOV(Field of veiw) 내에서의 데이터 처리 영역을 결정하는 프로세서;를 포함하는 차량용 전자 장치.
  2. 제 1항에 있어서,
    상기 프로세서는,
    차량에 장착된 통신 장치를 통해, 외부 장치로부터 상기 오브젝트에 대한 제1 데이터를 수신하고,
    상기 제1 데이터에 기초하여, 상기 오브젝트가 위치할 확률이 기 설정값 이상인 제1 영역을 결정하고,
    상기 제1 영역을 상기 데이터 처리 영역으로 결정하는 차량용 전자 장치.
  3. 제 2항에 있어서,
    상기 프로세서는,
    차량에 장착된 카메라로부터 상기 오브젝트에 대한 제2 데이터를 수신하고,
    상기 제2 데이터에 기초하여, 상기 오브젝트가 위치할 확률이 기 설정값 이상인 제2 영역을 결정하고,
    상기 제2 영역을 상기 데이터 처리 영역으로 결정하는 차량용 전자 장치.
  4. 제 3항에 있어서,
    상기 프로세서는,
    상기 제1 데이터 및 상기 제2 데이터가 불일치하는 것으로 판단되는 경우, 상기 제1 영역 및 상기 제2 영역이 모두 포함된 영역을 상기 데이터 처리 영역으로 결정하는 차량용 전자 장치.
  5. 제 1항에 있어서,
    상기 프로세서는,
    차량의 모션 플래닝 데이터를 획득하고, 상기 모션 플래닝 데이터에 더 기초하여, 상기 데이터 처리 영역을 결정하는 차량용 전자 장치.
  6. 적어도 하나의 프로세서가, 전원을 공급받는 상태에서, 차량 외부의 오브젝트에 대한 데이터를 획득하는 단계; 및
    적어도 하나의 프로세서가, 전원을 공급받는 상태에서, 상기 오브젝트에 대한 데이터에 기초하여, 상기 오브젝트를 향하는 적어도 하나의 레인지 센서의 FOV(Field of view) 내에서의 데이터 처리 영역을 결정하는 차량용 전자 장치의 동작 방법.
  7. 제 6항에 있어서,
    상기 획득하는 단계는,
    적어도 하나의 프로세서가, 차량에 장착된 통신 장치를 통해, 외부 장치로부터, 상기 오브젝트에 대한 제1 데이터를 수신하는 단계;를 포함하고,
    상기 결정하는 단계는,
    상기 제1 데이터에 기초하여, 상기 오브젝트가 위치할 확률이 기 설정값 이상인 제1 영역을 결정하는 단계 및
    상기 제1 영역을 상기 데이터 처리 영역으로 결정하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.
  8. 제 6항에 있어서,
    상기 획득하는 단계는,
    적어도 하나의 프로세서가, 차량에 장착된 카메라로부터, 상기 오브젝트에 대한 제2 데이터를 수신하는 단계;를 포함하고,
    상기 결정하는 단계는,
    적어도 하나의 프로세서가, 상기 제2 데이터에 기초하여, 상기 오브젝트가 위치할 확률이 기 설정값 이상인 제2 영역을 결정하는 단계; 및
    적어도 하나의 프로세서가, 상기 제2 영역을 상기 데이터 처리 영역으로 결정하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.
  9. 제 7항에 있어서,
    적어도 하나의 프로세서가, 상기 제1 데이터가 상기 제2 데이터와 일치하는지 판단하는 단계;를 더 포함하고,
    상기 결정하는 단계는,
    상기 제1 데이터 및 상기 제2 데이터가 불일치하는 것으로 판단되는 경우, 적어도 하나의 프로세가, 상기 제1 영역 및 상기 제2 영역이 모두 포함된 영역을 상기 데이터 처리 영역으로 결정하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.
  10. 제 7항에 있어서,
    적어도 하나의 프로세서가, 차량의 모션 플래닝 정보를 획득하는 단계;를 더 포함하고,
    상기 결정하는 단계는,
    적어도 하나의 프로세서가, 상기 모션 플래닝 데이터에 더 기초하여, 상기 데이터 처리 영역을 결정하는 단계;를 포함하는 차량용 전자 장치의 동작 방법.
PCT/KR2019/000463 2019-01-11 2019-01-11 차량용 전자 장치 및 차량용 전자 장치의 동작 방법 WO2020145440A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2019/000463 WO2020145440A1 (ko) 2019-01-11 2019-01-11 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
KR1020197024853A KR102699613B1 (ko) 2019-01-11 2019-01-11 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
US16/500,801 US20210354634A1 (en) 2019-01-11 2019-01-11 Electronic device for vehicle and method of operating electronic device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/000463 WO2020145440A1 (ko) 2019-01-11 2019-01-11 차량용 전자 장치 및 차량용 전자 장치의 동작 방법

Publications (1)

Publication Number Publication Date
WO2020145440A1 true WO2020145440A1 (ko) 2020-07-16

Family

ID=71520462

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000463 WO2020145440A1 (ko) 2019-01-11 2019-01-11 차량용 전자 장치 및 차량용 전자 장치의 동작 방법

Country Status (3)

Country Link
US (1) US20210354634A1 (ko)
KR (1) KR102699613B1 (ko)
WO (1) WO2020145440A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4116738A4 (en) * 2020-03-31 2024-03-20 Bitsensing Inc. RADAR DEVICE AND METHOD FOR CLASSIFYING OBJECTS
KR102616457B1 (ko) * 2023-06-16 2023-12-21 에이디어스 주식회사 자율 주행 차량의 에어서스펜션 작동 플래닝 생성 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6365403B2 (ko) * 1983-09-06 1988-12-15
JP2017027202A (ja) * 2015-07-17 2017-02-02 株式会社日本自動車部品総合研究所 運転支援システム
US20170372150A1 (en) * 2015-02-06 2017-12-28 Bayerische Motoren Werke Aktiengesellschaft Processing of Sensor Data for a Driver Assistance System
KR101859043B1 (ko) * 2016-08-29 2018-05-17 엘지전자 주식회사 이동단말기, 차량과 이동 단말기의 연동 시스템
KR20180064775A (ko) * 2016-12-06 2018-06-15 주식회사 만도 차량의 주행 지원 장치 및 이의 구동 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6365403B2 (ko) * 1983-09-06 1988-12-15
US20170372150A1 (en) * 2015-02-06 2017-12-28 Bayerische Motoren Werke Aktiengesellschaft Processing of Sensor Data for a Driver Assistance System
JP2017027202A (ja) * 2015-07-17 2017-02-02 株式会社日本自動車部品総合研究所 運転支援システム
KR101859043B1 (ko) * 2016-08-29 2018-05-17 엘지전자 주식회사 이동단말기, 차량과 이동 단말기의 연동 시스템
KR20180064775A (ko) * 2016-12-06 2018-06-15 주식회사 만도 차량의 주행 지원 장치 및 이의 구동 방법

Also Published As

Publication number Publication date
US20210354634A1 (en) 2021-11-18
KR20210104184A (ko) 2021-08-25
KR102699613B1 (ko) 2024-08-26

Similar Documents

Publication Publication Date Title
WO2020241955A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2020145441A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2014163307A1 (ko) 자동차 자동 운행 시스템
WO2020241954A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2021002519A1 (ko) 차량용 광고 제공 장치 및 차량용 광고 제공 방법
WO2017003013A1 (ko) 차량 주행 보조 장치, 이의 동작 방법, 및 이를 포함하는 차량
WO2021002517A1 (ko) 공유형 차량 관리 장치 및 공유형 차량의 관리 방법
WO2020096083A1 (ko) 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
WO2020091119A1 (ko) 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
WO2021002503A1 (ko) 차량용 전자 장치 및 그 동작 방법
WO2020241952A1 (ko) 자율 주행 차량 시스템 및 차량의 자율 주행 방법
WO2021002501A1 (ko) 차량용 전자 장치
WO2020145440A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2020241971A1 (ko) 교통 사고 처리 장치 및 교통 사고 처리 방법
KR20170033612A (ko) 차량운전 보조장치 및 이를 포함하는 차량
WO2021010517A1 (ko) 차량용 전자 장치 및 그의 동작 방법
WO2021215559A1 (ko) 차량을 모니터링하는 방법 및 장치
WO2020096081A1 (ko) 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
WO2020091113A1 (ko) 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
WO2021085691A1 (ko) 차량용 내비게이션의 영상 제공 방법
WO2019117572A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2021002504A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2020091114A1 (ko) 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
WO2020091120A1 (ko) 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템
WO2020101044A1 (ko) 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19908480

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19908480

Country of ref document: EP

Kind code of ref document: A1