WO2017200162A1 - 차량 운전 보조 장치 및 차량 - Google Patents

차량 운전 보조 장치 및 차량 Download PDF

Info

Publication number
WO2017200162A1
WO2017200162A1 PCT/KR2016/013737 KR2016013737W WO2017200162A1 WO 2017200162 A1 WO2017200162 A1 WO 2017200162A1 KR 2016013737 W KR2016013737 W KR 2016013737W WO 2017200162 A1 WO2017200162 A1 WO 2017200162A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
information
traffic
traffic sign
processor
Prior art date
Application number
PCT/KR2016/013737
Other languages
English (en)
French (fr)
Inventor
배현주
손근수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/302,418 priority Critical patent/US10919528B2/en
Publication of WO2017200162A1 publication Critical patent/WO2017200162A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/184—Conjoint control of vehicle sub-units of different type or different function including control of braking systems with wheel brakes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009—Priority selection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009—Priority selection
    • B60W2050/0091—Priority selection of control inputs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/20—Direction indicator values
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration

Definitions

  • the present invention relates to a vehicle driving assistance apparatus and a vehicle provided in a vehicle.
  • the vehicle is a device for moving in the direction desired by the user on board.
  • An example is a car.
  • ADAS Advanced Driver Assistance System
  • TSR Traffic Sign Recognition
  • the TSR is a system that detects a traffic signal and informs the driver based on the acquired image.
  • the TSR according to the related art has a problem in that it merely detects a traffic signal, outputs relevant information, and does not operate properly in a driving situation. Specifically, when two contradictory traffic signals are detected, there is a problem that the driver is confused by outputting all of them.
  • an embodiment of the present invention is to provide a vehicle driving assistance apparatus that outputs only a traffic sign corresponding to driving information of a vehicle.
  • an embodiment of the present invention is to provide a vehicle comprising the vehicle driving assistance device.
  • the device for obtaining a vehicle front image; An output unit; And detecting at least one traffic sign based on the vehicle front image, determining whether the traffic sign corresponds to driving information of the vehicle, and if the traffic sign corresponds to the driving information, And a processor for controlling the traffic sign to be output through the output unit.
  • the signals are output according to a predetermined priority, thereby preventing accidents caused by distracting the driver's attention.
  • FIG. 1 is a view showing the appearance of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a block diagram referred to to explain a vehicle according to an embodiment of the present invention.
  • FIG. 3A is a perspective view of a vehicle camera according to an embodiment of the present invention.
  • 3B is an exploded perspective view of a vehicle camera according to an embodiment of the present invention.
  • FIG. 3C is a cutaway side view of the vehicular camera cut along A-B of FIG. 3A, in accordance with an embodiment of the invention.
  • 3D is a perspective view of a vehicle camera according to an embodiment of the present invention.
  • 3E is an exploded perspective view of a vehicle camera according to an embodiment of the present invention.
  • FIG. 3F is a cutaway side view of the vehicular camera cut away from C-D of FIG. 3D, in accordance with an embodiment of the invention.
  • FIG. 4A is a block diagram of a vehicle driving assistance apparatus according to an embodiment of the present invention.
  • FIGS. 5A through 5B illustrate various examples of an internal block diagram of the image processor of FIG. 4B
  • FIGS. 5C through 5D are views for explaining an operation of the processor of FIGS. 5A through 5B.
  • FIG. 6 is a flow chart referenced to explain the operation of the vehicle driving assistance apparatus according to the embodiment of the present invention.
  • FIG. 7 is a diagram referred to for explaining an operation of detecting a traffic sign according to an embodiment of the present invention.
  • FIG. 8 is a diagram for describing an operation of a vehicle driving assistance apparatus when a plurality of traffic signs is detected according to an exemplary embodiment of the present invention.
  • FIG. 9 is a diagram referred to describe a traffic sign output operation according to an embodiment of the present invention.
  • FIG. 10 is a diagram for describing an operation of a vehicle driving assistance apparatus when a plurality of driving information is obtained, according to an exemplary embodiment of the present invention.
  • FIG. 11 is a diagram referred to for describing an operation of outputting a traffic sign based on a distance from a plurality of traffic signs according to an embodiment of the present invention.
  • FIG. 12 is a diagram for explaining an operation of outputting a traffic sign when a plurality of traffic signs is detected according to an embodiment of the present invention.
  • FIG. 13 is a diagram referred to for describing an operation of a vehicle driving assistance apparatus that outputs an alarm, according to an embodiment of the present invention.
  • FIG. 14 is a diagram referred to for describing an operation of a vehicle driving assistance apparatus when entering a rampway according to an exemplary embodiment of the present invention.
  • FIG. 15 is a diagram referred to for describing an operation of a vehicle driving assistance apparatus when a plurality of traffic lights are detected according to an embodiment of the present disclosure.
  • FIG. 16 is a diagram referred to for describing an operation of a vehicle driving assistance apparatus that outputs a traffic sign corresponding to lane information, according to an exemplary embodiment of the present invention.
  • 17 is a view referred to for explaining the operation of the vehicle driving assistance apparatus in the traffic jam section according to an embodiment of the present invention.
  • FIG. 18 is a diagram referred to for describing an operation of a vehicle driving assistance apparatus according to a vehicle model, according to an embodiment of the present invention.
  • the vehicle described herein may be a concept including an automobile and a motorcycle.
  • a vehicle is mainly described for a vehicle.
  • the vehicle described herein may be a concept including both an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the left side of the vehicle means the left side of the driving direction of the vehicle
  • the right side of the vehicle means the right side of the driving direction of the vehicle
  • FIG. 1 is a view showing the appearance of a vehicle according to an embodiment of the present invention.
  • the vehicle 100 may include a wheel that rotates by a power source and a steering input device for adjusting a traveling direction of the vehicle 100.
  • the vehicle 100 may be an autonomous vehicle. In the case of the autonomous vehicle, it may be switched to the autonomous driving mode or the manual mode according to the user input. When the vehicle is switched to the manual mode, the autonomous vehicle 100 may receive a driver's input for driving through the driving operation apparatus 121 of FIG. 2.
  • the vehicle 100 may include a vehicle driving assistance apparatus 400.
  • the vehicle driving assistance apparatus 400 is a device that assists a driver based on information obtained from various sensors.
  • the vehicle driving assistance apparatus 400 may be referred to as an advanced driver assistance system (ADAS).
  • ADAS advanced driver assistance system
  • a sensor used in the vehicle driving assistance apparatus 400 will be described with reference to the vehicle camera 200, but is not limited thereto.
  • a radar in addition to the vehicle camera 200, a radar, a LiDar, an ultrasonic sensor, an infrared sensor, or the like may be used.
  • the vehicle camera 200 used in the vehicle driving assistance apparatus 400 will be described with reference to the mono camera 200a and the stereo camera 200b, but the present invention is not limited thereto.
  • the vehicle camera 200 may include a triple camera, an around view monitoring (AVM) camera, a 360 degree camera, and an omnidirectional camera.
  • AVM around view monitoring
  • the vehicle camera 200 used in the vehicle driving assistance device 400 is illustrated as being mounted to the front windshield 10 so that the front of the vehicle can be photographed, but the vehicle camera 200 is a vehicle front, rear, You can shoot in the right or left room. Accordingly, the vehicle camera 200 may be disposed at a suitable position outside or inside the vehicle.
  • the overall length is the length from the front to the rear of the vehicle 100
  • the width is the width of the vehicle 100
  • the height is the length from the bottom of the wheel to the roof.
  • the full length direction L is a direction in which the full length measurement of the vehicle 100 is a reference
  • the full width direction W is a direction in which the full width measurement of the vehicle 100 is a reference
  • the total height direction H is a vehicle. It may mean the direction which is the reference of the height measurement of (100).
  • FIG. 2 is a block diagram referred to to explain a vehicle according to an embodiment of the present invention.
  • the vehicle 100 in the vehicle 100, includes a communication unit 110, an input unit 120, a sensing unit 125, a memory 130, an output unit 140, and a vehicle driving unit 150.
  • the control unit 170 may include an interface unit 180, a power supply unit 190, and a vehicle driving assistance device 400.
  • the communication unit 110 may include a short range communication module 113, a location information module 114, an optical communication module 115, and a V2X communication module 116.
  • the communicator 110 may include one or more Radio Frequency (RF) circuits or devices to communicate with other devices.
  • RF Radio Frequency
  • the short range communication module 113 is for short range communication, and includes Bluetooth TM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near field communication may be supported using at least one of Near Field Communication (NFC), Wireless-Fidelity (Wi-Fi), Wi-Fi Direct, and Wireless Universal Serial Bus (Wireless USB) technologies.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • Near field communication may be supported using at least one of Near Field Communication (NFC), Wireless-Fidelity (Wi-Fi), Wi-Fi Direct, and Wireless Universal Serial Bus (Wireless USB) technologies.
  • the short range communication module 113 may form short range wireless networks to perform short range communication between the vehicle 100 and at least one external device. For example, the short range communication module 113 may exchange data with a mobile terminal wirelessly.
  • the short range communication module 113 may receive weather information and traffic condition information of a road (for example, a transport protocol expert group (TPEG)) from a mobile terminal. For example, when the user boards the vehicle 100, the mobile terminal of the user and the vehicle 100 may perform pairing with each other automatically or by executing an application of the user.
  • TPEG transport protocol expert group
  • the location information module 114 is a module for obtaining the location of the vehicle 100, and a representative example thereof is a GPS (Global Positioning System) module.
  • GPS Global Positioning System
  • the vehicle may acquire the position of the vehicle using a signal transmitted from a GPS satellite.
  • the location information module 114 may be a component included in the sensing unit 125, not a component included in the communication unit 110.
  • the optical communication module 115 may include an optical transmitter and an optical receiver.
  • the light receiver may convert the light signal into an electrical signal to receive information.
  • the light receiver may include a photo diode (PD) for receiving light.
  • Photodiodes can convert light into electrical signals.
  • the light receiver may receive information of the front vehicle through the light emitted from the light source included in the front vehicle.
  • the light emitter may include at least one light emitting device for converting an electrical signal into an optical signal.
  • the light emitting element is a light emitting diode (LED).
  • the light emitting unit converts the electric signal into an optical signal and transmits it to the outside.
  • the light transmitting unit may emit an optical signal to the outside through the blinking of the light emitting device corresponding to the predetermined frequency.
  • the light emitting unit may include a plurality of light emitting element arrays.
  • the light emitting unit may be integrated with a lamp provided in the vehicle 100.
  • the light emitting unit may be at least one of a headlight, a taillight, a brake light, a turn signal, and a vehicle width lamp.
  • the optical communication module 115 may exchange data with another vehicle through optical communication.
  • the V2X communication module 116 is a module for performing wireless communication with a server or another vehicle.
  • the V2X module 116 includes a module capable of implementing inter-vehicle communication (V2V) or inter-vehicle communication (V2I) protocol.
  • the vehicle 100 may perform wireless communication with an external server and another vehicle through the V2X communication module 116.
  • the input unit 120 may include a driving manipulation apparatus 121, a microphone 123, and a user input unit 124.
  • the driving manipulation apparatus 121 receives a user input for driving the vehicle 100.
  • the driving manipulation unit 121 may include a steering input device, a shift input device, an acceleration input device, and a brake input device.
  • the steering input device receives a driving direction input of the vehicle 100 from the user.
  • the steering input device is preferably formed in a wheel shape to enable steering input by rotation.
  • the steering input device may be formed as a touch screen, a touch pad, or a button.
  • the shift input device receives an input of parking (P), forward (D), neutral (N), and reverse (R) of the vehicle 100 from the user.
  • the shift input device is preferably formed in the form of a lever.
  • the shift input device may be formed as a touch screen, a touch pad, or a button.
  • the acceleration input device receives an input for accelerating the vehicle 100 from a user.
  • the brake input device receives an input for deceleration of the vehicle 100 from a user.
  • the acceleration input device and the brake input device are preferably formed in the form of a pedal.
  • the acceleration input device or the brake input device may be formed as a touch screen, a touch pad, or a button.
  • the microphone 123 may process an external sound signal into electrical data.
  • the processed data may be utilized in various ways depending on the function being performed in the vehicle 100.
  • the microphone 123 may convert a user's voice command into electrical data.
  • the converted electrical data may be transferred to the controller 170.
  • the camera 122 or the microphone 123 may be a component included in the sensing unit 125, not a component included in the input unit 120.
  • the user input unit 124 is for receiving information from the user. When information is input through the user input unit 124, the controller 170 may control an operation of the vehicle 100 to correspond to the input information.
  • the user input unit 124 may include a touch input means or a mechanical input means. According to an embodiment, the user input unit 124 may be disposed in one region of the steering wheel. In this case, the driver may manipulate the user input unit 124 with a finger while holding the steering wheel.
  • the sensing unit 125 senses various situations of the vehicle 100 or external situations of the vehicle.
  • the sensing unit 125 may include a collision sensor, a wheel sensor, a speed sensor, an inclination sensor, a weight sensor, a heading sensor, a yaw sensor, a gyro sensor.
  • Position module vehicle forward / reverse sensor, battery sensor, fuel sensor, tire sensor, steering sensor, in-vehicle temperature sensor, in-vehicle sensor, ultrasonic sensor, illuminance sensor, acceleration pedal position sensor, brake pedal position Sensors, and the like.
  • the sensing unit 125 may include vehicle collision information, vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward / reverse information, battery information, fuel information.
  • the sensing signal may be obtained such as tire information, vehicle lamp information, vehicle internal temperature information, vehicle internal humidity information, steering information, vehicle external illumination, pressure applied to the accelerator pedal, pressure applied to the brake pedal, and the like.
  • the sensing unit 125 may further include an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake temperature sensor (ATS), a water temperature sensor (WTS), and a throttle position sensor. (TPS), TDC sensor, crank angle sensor (CAS), and the like.
  • AFS air flow sensor
  • ATS intake temperature sensor
  • WTS water temperature sensor
  • TPS throttle position sensor
  • TDC crank angle sensor
  • CAS crank angle sensor
  • the location information module 114 may be classified as a lower component of the sensing unit 125.
  • the sensing unit 125 may include an object sensing unit that may sense an object around a vehicle.
  • the object sensing unit may include a camera module, a radar, a rider, and an ultrasonic sensor.
  • the sensing unit 125 may detect a front object located in front of the vehicle or a rear object located in the rear of the vehicle through a camera module, a radar, a rider, or an ultrasonic sensor.
  • the object sensing unit may be classified as a component of the vehicle driving assistance apparatus 400.
  • the memory 130 is electrically connected to the controller 170.
  • the memory 130 may store basic data for the unit, control data for controlling the operation of the unit, and input / output data.
  • the memory 130 may be various storage devices such as a ROM, a RAM, an EPROM, a flash drive, a hard drive, and the like, in hardware.
  • the memory 130 may store various data for overall operation of the vehicle 100, such as a program for processing or controlling the controller 170.
  • the output unit 140 outputs the information processed by the controller 170 and may include a display device 141, a sound output unit 142, and a haptic output unit 143.
  • the display device 141 may display various graphic objects.
  • the display device 141 may display vehicle related information.
  • the vehicle related information may include vehicle control information for direct control of the vehicle, or vehicle driving assistance information for driving guide to the vehicle driver.
  • the vehicle related information may include vehicle state information indicating a current state of a vehicle or vehicle driving information related to driving of the vehicle.
  • the display device 141 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (flexible). display, a 3D display, or an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display flexible display
  • display a 3D display, or an e-ink display.
  • the display device 141 forms a layer structure with or is integrally formed with the touch sensor, thereby implementing a touch screen.
  • the touch screen may function as a user input unit 724 that provides an input interface between the vehicle 100 and the user, and may provide an output interface between the vehicle 100 and the user.
  • the display device 141 may include a touch sensor that senses a touch on the display device 141 so as to receive a control command by a touch method. Using this, when a touch is made to the display device 141, the touch sensor may sense the touch, and the controller 170 may generate a control command corresponding to the touch based on the touch sensor.
  • the content input by the touch method may be letters or numbers or menu items that can be indicated or designated in various modes.
  • the display device 141 may include a cluster so that the driver can check the vehicle status information or the vehicle driving information while driving.
  • the cluster can be located on the dashboard. In this case, the driver can check the information displayed on the cluster while keeping the gaze in front of the vehicle.
  • the display device 141 may be implemented as a head up display (HUD).
  • HUD head up display
  • information may be output through a transparent display provided in the front windshield 10.
  • the display device 141 may include a projection module to output information through an image projected onto the front windshield 10.
  • the display device 141 may include a transparent display.
  • the transparent display may be attached to the front windshield 10.
  • the transparent display may display a predetermined screen while having a predetermined transparency.
  • Transparent display in order to have transparency, transparent display is transparent thin film elecroluminescent (TFEL), transparent organic light-emitting diode (OLED), transparent liquid crystal display (LCD), transmissive transparent display, transparent light emitting diode (LED) display It may include at least one of. The transparency of the transparent display can be adjusted.
  • the display device 141 may function as a navigation device.
  • the sound output unit 142 converts the electric signal from the control unit 170 into an audio signal and outputs the audio signal. To this end, the sound output unit 142 may be provided with a speaker. The sound output unit 142 may output a sound corresponding to the operation of the user input unit 724.
  • the haptic output unit 143 generates a tactile output.
  • the haptic output unit 143 may operate by vibrating the steering wheel, the seat belt, and the seat so that the user can recognize the output.
  • the vehicle driver 150 may control operations of various vehicles.
  • the vehicle driver 150 includes a power source driver 151, a steering driver 152, a brake driver 153, a lamp driver 154, an air conditioning driver 155, a window driver 156, an airbag driver 157, and a sunroof.
  • the driver 158 and the suspension driver 159 may be included.
  • the power source driver 151 may perform electronic control of the power source in the vehicle 100.
  • the power source driver 151 may perform electronic control of the engine. Thereby, the output torque of an engine, etc. can be controlled.
  • the power source driver 151 is the engine, the speed of the vehicle may be limited by limiting the engine output torque under the control of the controller 170.
  • the power source driver 151 may control the motor. Thereby, the rotation speed, torque, etc. of a motor can be controlled.
  • the steering driver 152 may perform electronic control of a steering apparatus in the vehicle 100. As a result, the traveling direction of the vehicle can be changed.
  • the brake driver 153 may perform electronic control of a brake apparatus (not shown) in the vehicle 100.
  • the speed of the vehicle 100 may be reduced by controlling the operation of the brake disposed on the wheel.
  • the traveling direction of the vehicle 100 may be adjusted to the left or the right.
  • the lamp driver 154 may control turn on / turn off of a lamp disposed in or outside the vehicle. In addition, it is possible to control the intensity, direction, etc. of the light of the lamp. For example, control of a direction indicator lamp, a brake lamp, and the like can be performed.
  • the air conditioning driver 155 may perform electronic control of an air cinditioner (not shown) in the vehicle 100. For example, when the temperature inside the vehicle is high, the air conditioner may be operated to control cold air to be supplied into the vehicle.
  • the window driver 156 may perform electronic control on a window apparatus in the vehicle 100. For example, the opening or closing of the left and right windows of the side of the vehicle can be controlled.
  • the airbag driver 157 may perform electronic control of an airbag apparatus in the vehicle 100. For example, in case of danger, the airbag can be controlled to burst.
  • the sunroof driver 158 may perform electronic control of a sunroof apparatus (not shown) in the vehicle 100. For example, the opening or closing of the sunroof can be controlled.
  • the suspension driver 159 may perform electronic control of a suspension apparatus (not shown) in the vehicle 100. For example, when there is a curvature on the road surface, the suspension device may be controlled to control the vibration of the vehicle 100 to be reduced.
  • the vehicle driver 150 may include a chassis driver.
  • the chassis driver may be a concept including a steering driver 152, a brake driver 153, and a suspension driver 159.
  • the controller 170 may control the overall operation of each unit in the vehicle 100.
  • the controller 170 may be referred to as an electronic control unit (ECU).
  • ECU electronice control unit
  • the controller 170 may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and processors ( It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions.
  • the interface unit 180 may serve as a path to various types of external devices connected to the vehicle 100.
  • the interface unit 180 may include a port connectable with the mobile terminal, and may connect with the mobile terminal through the port. In this case, the interface unit 180 may exchange data with the mobile terminal.
  • the interface unit 180 may serve as a passage for supplying electrical energy to the connected mobile terminal.
  • the interface unit 180 may provide the mobile terminal with electrical energy supplied from the power supply unit 190.
  • the power supply unit 190 may supply power required for the operation of each component under the control of the controller 170.
  • the power supply unit 170 may receive power from a battery (not shown) in the vehicle.
  • the vehicle driving assistance apparatus 400 may assist driving of the vehicle by the driver.
  • the vehicle driving assistance apparatus 400 may include a vehicle camera 200.
  • the vehicle camera 200 may include the mono camera 200a of FIGS. 3A to 3C and the stereo camera 200b of FIGS. 3D to 3F.
  • the vehicle camera 200 may be referred to as a vehicle camera device.
  • FIG. 3A is a perspective view of a vehicle camera according to an embodiment of the present invention.
  • 3B is an exploded perspective view of a vehicle camera according to an embodiment of the present invention.
  • FIG. 3C is a cutaway side view of the vehicular camera cut along A-B of FIG. 3A, in accordance with an embodiment of the invention.
  • the vehicle camera 200 described with reference to FIGS. 3A to 3C is a single camera 200a.
  • the vehicle camera 200a may include a lens 211, an image sensor 214, and a processor 470.
  • the vehicle camera 200a may further include a processing board 220, a light shield 230, a heat dissipation member 240, and a housing 250, or may further include a combination thereof.
  • the housing 250 may include a first housing 251, a second housing 252, and a third housing 253.
  • the lens 211 may be fastened to be seated in the hole 219 formed in a portion of the first housing 251 through the nut 212 while being accommodated in the lens housing 217.
  • the image sensor 214 may include at least one photoelectric conversion element capable of converting an optical signal into an electrical signal.
  • the image sensor 214 may be a charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS).
  • CCD charge-coupled device
  • CMOS complementary metal-oxide semiconductor
  • the image sensor 214 may be located at an appropriate location inside the vehicle or outside of the vehicle, in order to acquire the vehicle exterior image or the vehicle interior image.
  • the image sensor 214 may be disposed in proximity to the front windshield 10 in the interior of the vehicle to obtain an image in front of the vehicle.
  • the image sensor 214 may be disposed around the front bumper or radiator grille.
  • the image sensor 214 may be disposed in close proximity to the rear wind shield in the interior of the vehicle to obtain an image behind the vehicle.
  • the image sensor 214 may be disposed around the rear bumper, trunk or tail gate.
  • the image sensor 214 may be disposed in proximity to at least one of the side windows in the interior of the vehicle to acquire an image of the vehicle side.
  • the image sensor 214 may be disposed around the side mirror, fender or door.
  • the image sensor 214 may be disposed at the rear end of the lens 211 to acquire an image based on the light flowing through the lens 211.
  • the image sensor 214 may be disposed vertically with respect to the ground in a state spaced apart from the lens 211 by a predetermined distance.
  • the processor 470 may be electrically connected to the image sensor 214.
  • the processor 470 may computerize an image acquired through the image sensor 214.
  • the processor 470 may control the image sensor 214.
  • the processor 470 may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors, and controllers.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors and controllers.
  • controllers micro-controllers
  • microprocessors microprocessors
  • microprocessors may be implemented using at least one of the electrical unit for performing other functions.
  • the processor 470 may be mounted on the processing board 220.
  • the processing board 220 may mount the processor 270 and the memory 440.
  • the processing board 220 may be disposed to be inclined in the full length direction.
  • the processing board 220 may be arranged such that the front or back face the front wind shield 10.
  • the processing board 220 may be disposed in parallel with the front wind shield 10.
  • the front windshield 10 provided in the vehicle 100 is generally inclined at a predetermined angle with the ground from the bonnet to the roof of the vehicle 100.
  • the vehicle camera 200a since the processing board 220 is disposed to be inclined in the full length direction, the vehicle camera 200a may be formed smaller than when the processing board 220 is vertically or horizontally disposed. Since the vehicle camera 200a is formed small, there is an advantage that a space can be further secured in the vehicle 100 by a volume that is reduced.
  • a plurality of devices or electronic components may be mounted on the processing board 220. In this case, heat may be generated due to the plurality of devices or components included in the processing board 220.
  • the processing board 220 may be disposed to be spaced apart from the image sensor 241.
  • the processing board 220 may be spaced apart from the image sensor 241 so that heat generated in the processing board 220 does not cause a problem in the performance of the image sensor 241.
  • the processing board 220 may be disposed at an optimal position such that heat generated in the processing board 220 does not affect the image sensor 241.
  • the processing board 220 may be disposed at the bottom of the image sensor 241.
  • the processing board 220 may be disposed in front of the image sensor 241.
  • One or more memories 440 may be mounted on the processing board 220.
  • the memory 440 may store an image acquired through the image sensor 241, various application data, data for controlling the processor 470, or data processed by the processor 470.
  • the memory 440 like the processor 470, is one of the main heat generating elements.
  • the memory 440 may be disposed around the processor 470.
  • the one or more memories 440 may be disposed in a shape surrounding the processor 470 with the processor 470 at the center.
  • the processor 470 and the memory 440 which are heat generating elements, may be disposed at a position furthest from the image sensor 241.
  • the processor 470 may be electrically connected to the controller 170.
  • the processor 470 may be controlled by the controller 170.
  • the light shield 230 may be disposed in front of the lens 211.
  • the light shield 230 may block light unnecessary to acquire an image into the lens 211.
  • the light shield 230 may block light reflected from the wind shield 10 or the dashboard of the vehicle.
  • the light shield 230 may block light generated from an unnecessary light source.
  • the light shield 230 may have a screen structure.
  • the light shield 230 may have a lower screen structure.
  • the shape of the light shield 230 may vary depending on the vehicle model. For example, since the curvature of the wind shield and the angle formed by the wind shield and the ground may be different according to the vehicle model, the light shield 230 may have a shape corresponding to the vehicle model on which the vehicle camera 200a is mounted. To this end, the light shield 230 may have a removable structure.
  • the heat dissipation member 240 may be disposed at the rear end of the image sensor 214.
  • the heat dissipation member 240 may contact the image sensor 214 or the image sensor board on which the image sensor 214 is mounted.
  • the heat dissipation member 240 may process heat of the image sensor 214.
  • the heat dissipation member 240 may be disposed between the image sensor 214 and the third housing 253.
  • the heat dissipation member 240 may be disposed to contact the image sensor 214 and the third housing 253. In this case, the heat dissipation member 240 may emit heat through the third housing 253.
  • the heat dissipation member 240 can be any one of a thermal pad and a thermal grease.
  • the housing 250 may include a lens housing 217, a first housing 251, a second housing 252, and a third housing 253.
  • the lens housing 217 may accommodate at least one lens 211 and protect the lens 211 from an external impact.
  • the first housing 251 may be formed to surround the image sensor 241.
  • the first housing 251 may include a hole 219.
  • the lens 211 may be connected to the image sensor 214 in a state in which the lens 211 is accommodated in the hole 219 while accommodated in the lens housing.
  • the first housing 251 may be formed thicker as it approaches the image sensor 214.
  • the first housing 251 may be formed by a die casting method.
  • a portion close to the image sensor 214 may be formed thicker than other portions.
  • the first housing 251 may be formed to have a thickness thicker than that of the third housing 253. If the housing is thick, heat transfer is slow. Therefore, when the thickness of the first housing 251 is formed thicker than the thickness of the third housing 253, the heat generated inside the vehicle camera 200a is disposed close to the front windshield 10 so that heat dissipation is achieved. There is an effect that is discharged to the outside through the third housing 253 than the difficult first housing 251.
  • the lens housing 217 and the first housing 251 may be integrally formed.
  • the second housing 252 may be located in front of the processing board 220.
  • the second housing 252 may be fastened to the first housing 251 and the third housing 253 through a predetermined fastening means.
  • the second housing 252 may have attachment means to which the light shield 230 may be attached.
  • the light shield 230 may be attached to the second housing 252 through the attachment means.
  • the first and second housings 252 and 253 may be formed of a synthetic resin material.
  • the third housing 253 may be fastened to the first housing 251 and the second housing 252 through a predetermined fastening means.
  • the first to third housings 251, 252, and 253 may be integrally formed.
  • the third housing 253 may be formed to surround the processing board 220.
  • the third housing 253 may be located at the rear or bottom of the processing board 220.
  • the third housing 253 may be formed of a thermally conductive material.
  • the third housing 253 may be formed of a metal such as aluminum. Since the third housing 253 is formed of a thermally conductive material, efficient heat dissipation may be achieved.
  • the heat inside the vehicle camera is generated by the first and second housings 251,. 252 may be discharged to the third housing 253. That is, when the vehicle camera 200a is mounted on the wind shield, since the first and second housings 251 and 252 are located close to the wind shield, heat is transmitted through the first and second housings 251 and 252. Can not be released. In this case, heat may be efficiently released through the third housing 253.
  • the third housing 253 is made of aluminum, components (eg, the image sensor 241 and the processor 470) located therein from electro-magnetic compatibility (EMC) and electrostatic discharge (ESC) may be used. ) May be advantageous to protect.
  • EMC electro-magnetic compatibility
  • ESC electrostatic discharge
  • the third housing 253 may be in contact with the processing board 220. In this case, the third housing 253 may transfer heat through a portion in contact with the processing board 220 to efficiently release heat to the outside.
  • the third housing 253 may further include a heat dissipation unit 291.
  • the heat dissipation unit 291 may include at least one of a heat sink, a heat dissipation fin, a thermal pad, and a thermal grease.
  • the heat dissipation unit 291 may emit heat generated inside the vehicle camera 200a to the outside.
  • the heat dissipation unit 291 may be located between the processing board 220 and the third housing 253.
  • the heat dissipation unit 291 may be in contact with the processing board 220 and the third housing 253 to emit heat generated by the processing board 220 to the outside.
  • the third housing 253 may further include an air discharge hole.
  • the air discharge hole is a hole for discharging high temperature air inside the vehicle camera 200a to the outside of the vehicle camera 200a.
  • An air flow unit connected to the air discharge hole may be included in the vehicle camera 200a. The air flow unit may induce high temperature air inside the vehicle camera 200a to the air discharge hole.
  • the vehicle camera 200a may further include a moisture proof unit.
  • the moisture proof part may be formed in a patch form and attached to the air outlet part.
  • the moisture proof part may be a Gore-tex material.
  • the moisture proof part may allow moisture inside the vehicle camera 200a to flow out.
  • the moisture proof unit may prevent the inflow of moisture outside the vehicle camera 200a.
  • 3D is a perspective view of a vehicle camera according to an embodiment of the present invention.
  • 3E is an exploded perspective view of a vehicle camera according to an embodiment of the present invention.
  • FIG. 3F is a cutaway side view of the vehicular camera cut away from C-D of FIG. 3D, in accordance with an embodiment of the invention.
  • the vehicle camera 200 described with reference to FIGS. 3D to 3F is a stereo camera 200b.
  • the stereo camera 200b may be all applicable to the description of the single camera 200a described with reference to FIGS. 3A to 3C. That is, each of the first and second cameras included in the stereo camera 200b may be a camera described with reference to FIGS. 3A to 3C.
  • the stereo camera 200b may include a first lens 211a, a second lens 211b, a first image sensor 214a, a second image sensor 214b, and a processor 470a.
  • the vehicle camera 200b may further include or further include a processing board 220a, a first light shield 230a, a second light shield 230b, and a housing 250a. Can be.
  • the housing may include a first lens housing 217a, a second lens housing 217b, a first housing 251a, a second housing 252a, and a third housing 253a.
  • the description of the lens 211 of FIGS. 3A to 3C may be applied.
  • the description of the image sensor 214 of FIGS. 3A to 3C may be applied.
  • a module including the first lens 211a and the first image sensor 214a may be referred to as a first image acquisition module.
  • a module including the second lens 211b and the second image sensor 214b may be referred to as a second image acquisition module.
  • the processor 470a may be electrically connected to the first image sensor 214a and the second image sensor 214b.
  • the processor 470 may computer-process an image acquired through the first image sensor 214a and the second image sensor 214b. In this case, the processor 470 may form a disparity map or perform a disparity operation based on the images acquired through the first image sensor 214a and the second image sensor 214b.
  • the processor 470a may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors, and controllers.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors and controllers.
  • controllers micro-controllers
  • microprocessors microprocessors
  • microprocessors may be implemented using at least one of the electrical unit for performing other functions.
  • the processor 470a may be mounted on the processing board 220a.
  • processing board 220a the description of the processing board 220 of FIGS. 3A to 3C may be applied.
  • the description of the light shield 230 of FIGS. 3 to 5 may be applied.
  • lens housing 217 of FIGS. 3 to 5 may be applied to the first lens housing 217a and the second lens housing 217b.
  • the description of the first housing 251 of FIGS. 3A to 3C may be applied to the first housing 251a.
  • the description of the second housing 252 of FIGS. 3A to 3C may be applied to the second housing 252a.
  • the description of the third housing 253 of FIGS. 3A to 3C may be applied.
  • FIG. 4A is a block diagram of a vehicle driving assistance apparatus according to an embodiment of the present invention.
  • the vehicle driving assistance apparatus 400 may include a vehicle camera 200, a processor 470, an interface unit 430, a memory 440, and an output unit 450.
  • the vehicle driving assistance apparatus 400 may further include a communication unit 410, an input unit 420, and a power supply unit 440, respectively, or in combination.
  • the processor 470, the interface unit 430, and the memory 440 may be classified as sub-components of the camera 200.
  • the vehicle camera 200 may function as the vehicle driving assistance device 200.
  • the vehicle camera 200 may be mounted on a portion of the vehicle 100 to acquire an image.
  • the vehicle camera 200 may be disposed in close proximity to the front windshield 10 in the interior of the vehicle in order to obtain an image of the front of the vehicle.
  • the vehicle camera 200 may be disposed around the front bumper or the radiator grille.
  • the vehicle camera 200 may be disposed in close proximity to the rear wind shield in the interior of the vehicle to acquire an image of the rear of the vehicle.
  • the vehicle camera 200 may be disposed around the rear bumper, the trunk, or the tail gate.
  • the vehicle camera 200 may be disposed close to at least one of the side windows in the interior of the vehicle, in order to acquire an image of the vehicle side.
  • the vehicle camera 200 may be arranged around the side mirror, fender or door.
  • the vehicle camera 200 may include an image sensor 214 and an actuator 401.
  • the image sensor 214 has been described with reference to FIGS. 3A to 3F.
  • the vehicle camera 200 may be a stereo camera (200b of FIGS. 3D to 3F).
  • the vehicle camera 200 may include a first camera, a second camera, and a processor 470.
  • the interface unit 430 may receive various signals, information, or data.
  • the interface unit 430 may transmit signals, information, or data processed or generated by the processor 470 to the outside.
  • the interface unit 430 performs data communication with the controller 170, the vehicle display apparatus 141, the sensing unit 125, the vehicle driver 150, and the like, by wire or wireless communication. can do.
  • the interface unit 430 may receive sensor information from the controller 170 or the sensing unit 125.
  • the sensor information may include vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle steering information, vehicle acceleration information, vehicle tilt information, vehicle forward / reverse information, battery information, fuel information. It may include at least one of tire information, vehicle lamp information (eg, turn signal information), vehicle interior temperature information, vehicle interior humidity information, and rain information.
  • GPS information vehicle position information
  • vehicle angle information vehicle speed information
  • vehicle steering information vehicle acceleration information
  • vehicle tilt information vehicle forward / reverse information
  • battery information fuel information
  • fuel information may include at least one of tire information, vehicle lamp information (eg, turn signal information), vehicle interior temperature information, vehicle interior humidity information, and rain information.
  • Such sensor information may include heading sensors, yaw sensors, gyro sensors, position modules, vehicle forward / reverse sensors, wheel sensors, vehicle speed sensors, It may be obtained from a steering angle sensor, a vehicle body tilt sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor by steering wheel steering, a vehicle internal temperature sensor, a vehicle internal humidity sensor, a rain sensor, and the like.
  • the position module may include a GPS module for receiving GPS information.
  • the interface unit 430 may receive navigation information by data communication with the controller 170, the vehicle display apparatus 141, or an additional navigation device.
  • the navigation information may include driving road information, driving lane information, destination information, route information, direction information, map information, and current location information of the vehicle.
  • the navigation information may include location information of the vehicle on the road.
  • the interface unit 430 may provide a signal to the controller 170 or the vehicle driver 150.
  • the signal may be a control signal.
  • the interface unit 430 may communicate with the power source driver 151 that controls the power source.
  • the interface unit 430 may provide a signal generated by the processor 470 to the power source driver 151.
  • the interface unit 430 may communicate with the brake driver 153 that controls the brake device.
  • the interface unit 430 may provide a signal generated by the processor 470 to the brake driver 153.
  • the interface unit 430 may communicate with a steering driver 152 that controls the steering apparatus.
  • the interface unit 430 may provide a signal generated by the processor 470 to the steering driver 152.
  • the memory 440 may store various data for operations of the overall vehicle driving assistance apparatus 400, such as a program for processing or controlling the processor 470.
  • the memory 440 may be various storage devices such as a ROM, a RAM, an EPROM, a flash drive, a hard drive, and the like, in hardware.
  • the memory 440 may be included as a sub configuration of the processor 470 according to an embodiment.
  • the memory 440 may store priorities among the plurality of traffic signs.
  • the priority among the plurality of traffic signs may be stored in the memory 440 by default.
  • the memory 440 may store the traffic light signal in priority order than the traffic signal displayed on the road surface or the traffic signal displayed on the traffic sign.
  • the memory 440 may store the priority of the hand signal as a priority over the traffic light signal.
  • the memory 440 may store the priority of the stop signal displayed on the traffic sign as the highest priority.
  • the memory 440 may store priorities among the plurality of driving information. Priority of the plurality of driving information may be stored in the memory 440 by default.
  • the memory 440 may store the priority of the turn signal information in priority over the destination information.
  • the processor 470 may be electrically connected to each unit of the vehicle driving assistance apparatus 400.
  • the processor 470 may control overall operation of each unit in the vehicle driving assistance apparatus 400.
  • the processor 470 may receive an external vehicle image captured by the vehicle camera 200.
  • the vehicle exterior image may be a vehicle front image.
  • the processor 470 may detect at least one traffic sign based on the vehicle exterior image.
  • the processor 470 may include a traffic signal displayed on a road surface, a traffic signal displayed on a traffic sign, a traffic light signal, a construction area notification signal, a traffic signal attached to another vehicle, and a hand signal based on the vehicle exterior image. At least one of) can be detected.
  • the processor 470 may acquire a traffic sign by detecting a pattern or text displayed on a road surface based on the vehicle exterior image.
  • the processor 470 may acquire a traffic sign by detecting a pattern or text displayed on a traffic sign based on the vehicle exterior image.
  • the processor 470 may acquire a traffic sign by detecting the color of the light output from the traffic light or the position of the light output on the traffic light based on the vehicle exterior image.
  • the processor 470 may acquire at least one of a traffic cone, a temporary traffic sign, a guide rod, and a guide lighting device based on the vehicle exterior image to obtain a traffic sign.
  • the processor 470 may detect another vehicle based on the vehicle exterior image, and detect a traffic signal sign attached to the vehicle body, the bumper, and the glass of the other vehicle, and acquire a traffic sign.
  • the processor 470 may obtain a traffic sign by detecting a hand signal of a traffic police officer based on the vehicle exterior image. For example, the processor 470 may detect a feature point of a hat and a uniform of a traffic police officer, and detect the traffic police officer by comparing the data with the data previously stored in the memory 440. The processor 470 may detect a predetermined motion of the traffic police officer in a state where the traffic police officer is detected, and detect a hand signal by comparing the pre-stored data to the memory 440.
  • the processor 470 may acquire driving information of the vehicle.
  • the processor 470 may detect driving information of the vehicle based on the vehicle exterior image.
  • the processor 470 may acquire driving road information, driving lane information, and the like based on the vehicle exterior image.
  • the processor 470 may acquire driving road information from the vehicle exterior image by detecting an object (eg, a toll gate, a milestone, or a traffic sign) indicating a road entrance.
  • the processor 470 may acquire driving lane information through lane detection on the outside image of the vehicle.
  • the processor 470 through the interface unit 430, the vehicle communication unit 110, the vehicle input unit 120, the vehicle sensing unit 125, the vehicle memory 130, and the vehicle display device 141.
  • the driving information of the vehicle may be obtained from the navigation device or the control unit 170 of the vehicle.
  • the processor 470 may receive navigation information from the navigation device or the display device 141 to obtain driving information of the vehicle.
  • the navigation information may include driving road information, driving lane information, destination information, route information, direction information, map information, and current location information of the vehicle.
  • the processor 470 may receive turn signal information from the input unit 120 of the vehicle or the controller 170 of the vehicle.
  • the processor 470 may receive steering information or direction information from the sensing unit 125 of the vehicle or the controller 170 of the vehicle.
  • the processor 470 may receive vehicle model information from the memory 130 of the vehicle.
  • the processor 470 may determine whether the traffic sign corresponds to driving information of the vehicle.
  • the processor 470 may determine whether the traffic sign corresponds to at least one of driving road information, driving lane information, destination information, route information, turn signal information, steering information, direction information, and vehicle model information. have.
  • the processor 470 may control the traffic sign to be output through the output unit 450 when the traffic sign matches the driving information of the vehicle.
  • the processor 470 may control the display 451 to display a graphic image corresponding to the traffic sign.
  • the processor 470 may control the sound output unit 452 to output a sound corresponding to the traffic sign.
  • the processor 470 may control the traffic sign not to be output when the traffic sign does not match the driving information of the vehicle.
  • the traffic sign corresponding to the driving information of the vehicle is output, and the traffic sign not matching the driving information of the vehicle is not output, so that only the traffic sign suitable for the driving situation can be provided to the driver. Accordingly, there is an effect of preventing confusion of the driver and providing only accurate information.
  • the processor 470 may transmit one of a steering control signal, an acceleration control signal, and a braking control signal through the interface unit 430 based on the traffic sign.
  • the driving unit 150 may be provided.
  • the processor 470 may provide a brake control signal to the brake driver 153 based on the traffic sign in which the speed limit information is displayed.
  • the processor 470 may provide an acceleration control signal to the power source driver 151 based on the traffic sign on which the uphill information is displayed.
  • the processor 470 may provide a steering control signal to the steering driver 152 based on the traffic sign in which the curve information is displayed.
  • the traffic sign may include at least one of a traffic signal displayed on a road surface, a traffic signal displayed on a traffic sign, a traffic light signal, a construction area notification signal, a traffic signal attached to another vehicle, and a han signal.
  • the traffic signal displayed on the road surface may be a pattern or text displayed on the road surface.
  • the traffic signal displayed on the traffic sign may be a pattern or text displayed on the traffic sign.
  • the traffic light signal may be a color of light output from the traffic light or a position of light output on the traffic light.
  • the construction zone notification signal may include at least one of a traffic cone, a temporary traffic sign, a guide rod, and a guide lighting device.
  • the traffic signal attached to another vehicle may be a traffic signal sign attached to a vehicle body, a bumper, and a glass of another vehicle.
  • the hand signal may be a hand signal of a traffic police officer.
  • the processor 470 may control to output a traffic signature having a higher priority among the plurality of traffic signatures based on the priority.
  • the priority may be a priority among the plurality of traffic signs stored in the memory 440.
  • the plurality of traffic signs may include information that contradicts each other.
  • the processor 470 may control not to output a low priority traffic sign.
  • the vehicle driving information may include at least one of driving road information, driving lane information, destination information, route information, turn signal information, steering information, direction information, and vehicle model information.
  • the processor 470 may determine whether the traffic sign corresponds to the driving information having the highest priority among the plurality of driving information based on the priority.
  • the priority may be a priority between a plurality of driving information stored in the memory 440.
  • the plurality of driving information may include information that contradicts each other.
  • the processor 470 may determine whether the traffic sign stored in the memory 440 corresponds to the turn signal information with a higher priority than the destination information. In this case, the processor 470 may display a traffic signal according to the driver's intention.
  • the processor 470 may detect a plurality of traffic signs based on the vehicle front image.
  • the processor 470 may calculate a distance between the vehicle 100 and each of the plurality of traffic signs.
  • the processor 470 may calculate a distance between the vehicle 100 and each of the plurality of traffic signs through the image distance detection algorithm. For example, when obtaining a stereo image, the processor 470 may calculate a distance through a disparity operation. For example, the processor 470 may calculate a distance through a pinhole model algorithm. For example, the processor 470 may calculate the distance using the actual distance and the pixel distance. For example, the processor 470 may calculate the distance using the motion vector of the object. For example, the processor 470 may calculate a distance through a change in the size of an object per pixel.
  • the processor 470 may control to output a traffic sign that is closest to the vehicle 100 among the plurality of traffic signs that match the driving information.
  • the processor 470 may detect the first traffic sign and the second traffic sign based on the vehicle front image.
  • the processor 470 outputs the first traffic sign through the output unit 450 when the first traffic sign matches the driving information and the second traffic sign does not match the driving information, and outputs the second traffic sign. Can be controlled to not output.
  • the processor 470 may receive the state information of the vehicle based on the driving manipulation signal received through the driving manipulation apparatus 121 through the interface unit 430.
  • the state information of the vehicle may include acceleration state information of the vehicle, steering state information of the vehicle, and braking state information of the vehicle.
  • the processor 470 may determine whether the state information of the vehicle based on the driving operation signal matches the output traffic sign information.
  • the processor 470 may output an alarm through the output unit 450.
  • the processor 470 outputs an alarm through the output unit 450. can do.
  • the processor 470 may obtain rampway entry status information.
  • the processor 470 may receive navigation information to obtain rampway entry status information.
  • the processor 470 may acquire a rampway entry status information by detecting a road on an external image of the vehicle or detecting a traffic sign on which a rampway is displayed.
  • the processor 470 may control the traffic sign corresponding to the driving information to be output among the plurality of traffic signs disposed on the plurality of paths forming the rampway.
  • the processor 470 may detect a plurality of traffic lights based on the vehicle front image. The processor 470 may determine whether the plurality of traffic lights match the driving information.
  • the processor 470 may control to output a traffic sign generated from a traffic light closest to the vehicle 100 among a plurality of traffic lights corresponding to the driving information.
  • the processor 470 may obtain lane information while the vehicle 100 is driving. For example, the processor 470 may receive navigation information and acquire lane information while the vehicle 100 is driving. For example, the processor 470 may detect lanes in the vehicle exterior image and acquire lane information while driving.
  • the processor 470 may detect a plurality of traffic signs based on the vehicle front image.
  • the processor 470 may control the traffic sign corresponding to the lane information to be output among the plurality of traffic signs.
  • the plurality of traffic signs may include a first traffic sign based on a traffic sign for unprotected left turn of the vehicle 100 and a second traffic sign based on a traffic light for the straightness of the vehicle 100.
  • the processor 470 may simultaneously detect a first traffic sign based on a traffic sign for unprotected left turn of the vehicle 100 and a second traffic sign based on a traffic light for straight ahead of the vehicle 100 based on the vehicle front image. Can be.
  • the processor 470 may acquire situation information of the vehicle 100 driving in the left turning lane.
  • the processor 470 may receive navigation information to obtain situation information on which the vehicle 100 is driving in a left turning lane.
  • the processor 470 may detect the lane from the vehicle exterior image, and may acquire situation information that the vehicle 100 is driving in the left turning lane.
  • the processor 470 may control the first traffic sign suitable for the driving condition information to be output and the second traffic sign not suitable for the driving condition information.
  • the plurality of traffic signs may include a first traffic sign based on a first traffic light for the right turn of the vehicle 100 and a second traffic sign based on a second traffic light for the straightening of the vehicle 100.
  • the processor 470 combines the first traffic sign based on the first traffic light for the right turn of the vehicle 100 and the second traffic sign based on the second traffic light for the straightness of the vehicle 100 based on the vehicle front image. Can be detected.
  • the processor 470 may acquire situation information of the vehicle 100 driving in the right turning lane.
  • the processor 470 may receive navigation information to obtain context information of the vehicle 100 driving in a right turn lane.
  • the processor 470 may detect the lane from the vehicle external image, and may acquire situation information while the vehicle 100 is driving in the right turning lane.
  • the processor 470 may control the first traffic sign suitable for the driving condition information to be output and the second traffic sign not suitable for the driving condition information.
  • the processor 470 may obtain driving speed information.
  • the processor 470 may control the traffic sign not to be output even when the traffic sign corresponds to the driving information when the driving speed of the vehicle 100 is equal to or less than the reference speed.
  • 4B is a diagram referred to for describing an internal configuration of a processor and signal processing of each configuration according to an embodiment of the present invention.
  • the processor 470 may include an image processor 471, a determiner 474, and a signal provider 477.
  • the image processor 471 may receive an image from the vehicle camera 200.
  • the image processor 471 may computer-process the received image using various techniques.
  • the image processor 471 may detect an object based on the received image.
  • the image processor 471 may detect at least one traffic sign based on the received image.
  • the image processor 471 may calculate a distance between the vehicle 100 and the traffic sign.
  • the image processor 471 may calculate a distance between the vehicle 100 and the traffic sign through the image distance detection algorithm. For example, when obtaining a stereo image, the image processor 471 may calculate a distance through a disparity operation. For example, the image processor 471 may calculate a distance through a pinhole model algorithm. For example, the image processor 471 may calculate the distance using the actual distance and the pixel distance. For example, the image processor 471 may calculate the distance using the motion vector of the object. For example, the image processor 471 may calculate a distance through a change in the size of an object per pixel.
  • the image processor 471 may detect a road or detect a traffic sign on which a rampway is displayed based on the received image.
  • the image processor 471 may detect the driving lane of the vehicle 100 based on the received image.
  • the image processor 471 may detect a left turn lane or a right turn lane based on the received image.
  • the determination unit 474 may perform the determination based on information received from the image processor 471, information received through the interface unit 430, or data received from the memory 440.
  • the determination unit 474 may acquire driving information of the vehicle.
  • the determination unit 474 may receive driving information of the vehicle from the image processing unit 471.
  • the determination unit 474 may communicate with the vehicle communication unit 110, the vehicle input unit 120, the vehicle sensing unit 125, the vehicle memory 130, and the vehicle through the interface unit 430.
  • the driving information of the vehicle may be obtained from the display apparatus 141, the navigation apparatus, or the controller 170 of the vehicle.
  • the determination unit 474 may determine whether the traffic sign corresponds to the driving information of the vehicle. For example, the determination unit 474 may determine whether the traffic sign corresponds to at least one of driving road information, driving lane information, destination information, route information, turn signal information, steering information, direction information, and vehicle type information. Can be.
  • the determination unit 474 may receive priority information between the plurality of traffic signs from the memory 440.
  • the determination unit 474 may determine a traffic sign having a high priority among the plurality of traffic signs based on the priority information.
  • the determination unit 474 may receive priority information among the plurality of driving information from the memory 440.
  • the determination unit 474 may determine the driving information having the highest priority among the plurality of driving information based on the priority information.
  • the signal provider 477 may provide a control signal to the output unit 450 based on the determination by the determination unit 474.
  • the signal provider 477 may provide a control signal to the output unit 450 to output a traffic sign based on the determination of the determination unit 474.
  • the signal provider 477 may provide a control signal to the output unit 450 to output a traffic sign corresponding to the driving information of the vehicle.
  • the signal provider 477 may provide a control signal to the display 451 such that a graphic image corresponding to the traffic sign is displayed.
  • the signal provider 477 may provide a control signal to the sound output unit 452 so that a sound corresponding to the traffic sign is output.
  • the signal provider 477 When the traffic sign corresponds to the driving information of the vehicle, the signal provider 477 provides a control signal to the controller 170 or the vehicle driver 150 through the interface unit 430 based on the traffic sign. can do.
  • the signal providing unit 477 may provide at least one of a braking control signal, an acceleration control signal, and a steering control signal.
  • the output unit 450 may output processed data or information to the processor 470 under the control of the processor 470.
  • the output unit 450 may include a display unit 451 and a sound output unit 452.
  • the display unit 451 may display information processed by the processor 470.
  • the display unit 451 may display an image related to the operation of the vehicle driving assistance apparatus 400.
  • the display unit 451 may include a cluster or a head up display (HUD) on the front surface of the vehicle.
  • HUD head up display
  • the display unit 451 when it is a HUD, it may include a projection module for projecting an image to the front windshield 10 or combiner of the vehicle 100.
  • the sound output unit 452 may output sound to the outside based on the audio signal processed by the processor 470. To this end, the sound output unit 452 may include at least one speaker.
  • the communication unit 410 may exchange data with another device located inside or outside the vehicle 100 in a wireless manner.
  • the other device may include a mobile terminal, a server, or another vehicle.
  • the communication unit 410 may exchange data with the mobile terminal of the vehicle driver wirelessly.
  • various data communication methods such as Bluetooth, WiFi Direct, WiFi, APiX, and NFC are possible.
  • the communication unit 410 may receive weather information, road traffic information, for example, TPEG (Transport Protocol Expert Group) information from the mobile terminal or the server.
  • TPEG Transport Protocol Expert Group
  • the user's mobile terminal and the vehicle driving assistance device 200 may perform pairing with each other automatically or by executing the user's application.
  • the communication unit 410 may receive traffic light change information from an external server.
  • the external server may be a server located at a traffic control station for controlling traffic.
  • the input unit 420 may receive a user input.
  • the input unit 420 may include a mechanical input device, a touch input device, a voice input device, or a wireless input device.
  • the mechanical input device may include a button, a lever, a jog wheel, a switch, and the like.
  • the touch input device may include at least one touch sensor.
  • the touch input device may be configured as a touch screen.
  • the voice input device may include a microphone for converting a user's voice into an electrical signal.
  • the wireless input device may receive a wireless user input that is input using a key from the outside of the vehicle 100.
  • the input unit 420 may receive a user input for opening or closing the door included in the vehicle 100.
  • the power supply unit 490 may supply power required for the operation of each component under the control of the processor 470.
  • the power supply unit 490 may receive power from a battery or the like inside the vehicle.
  • FIGS. 5A through 5B illustrate various examples of an internal block diagram of the image processor of FIG. 4B
  • FIGS. 5C through 5D are views for explaining an operation of the processor of FIGS. 5A through 5B.
  • FIG. 5A is an example of an internal block diagram of the image processor 471.
  • the image processor 471 includes an image preprocessor 501, a disparity calculator 502, an object detector 504, The object tracking unit 506 and the application unit 507 may be included.
  • the image preprocessor 501 may receive an image from the camera 200 and perform preprocessing.
  • the image preprocessing unit 501 may include noise reduction, rectification, calibration, color enhancement, and color space conversion (CSC) for an image. ), Interpolation, camera gain control, and the like. Accordingly, a sharper image may be obtained than the stereo image photographed by the camera 200.
  • CSC color space conversion
  • the disparity calculator 502 receives an image signal-processed by the image preprocessor 501, performs stereo matching on the received images, and performs a disparity according to the stereo matching.
  • a parity map can be obtained. That is, disparity information about the stereo image of the front of the vehicle may be obtained.
  • the stereo matching may be performed in units of pixels of stereo images or in units of predetermined blocks.
  • the disparity map may refer to a map in which stereo parallax information of stereo images, that is, left and right images, is numerically represented.
  • the segmentation unit 503 may perform segmentation and clustering on at least one of the images based on the disparity information from the disparity calculator 502.
  • the segmentation unit 503 may separate the background and the foreground from at least one of the stereo images based on the disparity information.
  • an area in which the disparity information is equal to or less than a predetermined value in the disparity map may be calculated in the background, and the portion may be excluded. Thereby, the foreground can be relatively separated.
  • an area in which the disparity information is greater than or equal to a predetermined value in the disparity map may be calculated in the foreground and a corresponding portion may be extracted. Thereby, the foreground can be separated.
  • the signal processing speed, the signal processing amount, and the like can be shortened in the subsequent object detection.
  • the object detector 504 may detect the object based on the image segment from the segmentation unit 503.
  • the object detector 504 may detect an object with respect to at least one of the images based on the disparity information information.
  • the object detector 504 may detect an object with respect to at least one of the images. For example, an object can be detected from the foreground separated by image segments.
  • the object verification unit 505 may classify and verify the separated object.
  • the object identification unit 505 may be identified by a neural network, a support vector machine (SVM) technique, a technique identified by AdaBoost using a haar-like feature, or a histograms of oriented gradients (HOG). Techniques can be used.
  • the object checking unit 505 may check the objects by comparing the objects stored in the memory 440 with the detected objects.
  • the object checking unit 505 may check the surrounding vehicles, lanes, road surfaces, signs, dangerous areas, tunnels, and the like, which are located around the vehicle.
  • the object tracking unit 506 may perform tracking on the identified object. For example, in order to sequentially identify the object in the obtained stereo images, calculate the motion or motion vector of the identified object, track the movement of the object, etc. based on the calculated motion or motion vector. Can be. Accordingly, it is possible to track surrounding vehicles, lanes, road surfaces, signs, danger zones, tunnels, and the like, which are located around the vehicle.
  • the application unit 507 may calculate a risk of the vehicle 100 based on various objects located around the vehicle, for example, another vehicle, a lane, a road surface, a sign, and the like. In addition, it is possible to calculate the possibility of colliding with the vehicle ahead, whether the vehicle slips.
  • the application unit 507 may output, as vehicle driving assistance information, a message for informing the user of such information, based on the calculated risk level, the possibility of collision, the slip state, or the like.
  • a control signal for attitude control or driving control of the vehicle 100 may be generated as vehicle control information.
  • the processor 470 may include an image preprocessor 501, a disparity calculator 502, a segmentation unit 503, an object detector 504, an object checker 505, and an object tracking unit ( 506 and only a part of the application unit 507 may be included.
  • the disparity calculator 502 may be excluded.
  • the segmentation unit 503 may be excluded.
  • 5B is another example of an internal block diagram of a processor.
  • the processor 470 of FIG. 5B has the same internal configuration unit as the processor 470 of FIG. 5A, but the signal processing order is different. Only the differences are described below.
  • the object detector 504 may receive a stereo image and detect an object with respect to at least one of the stereo images. Unlike FIG. 5A, based on the disparity information, for the segmented image, the object may be detected directly from the stereo image, instead of detecting the object.
  • the object verification unit 505 classifies the detected and separated objects based on the image segment from the segmentation unit 503 and the objects detected by the object detection unit 504. , Verify.
  • the object identification unit 505 may be identified by a neural network, a support vector machine (SVM) technique, a technique identified by AdaBoost using a haar-like feature, or a histograms of oriented gradients (HOG). Techniques can be used.
  • 5C and 5D are views for explaining an operating method of the processor 470 of FIGS. 5A to 5B based on stereo images obtained in the first and second frame sections, respectively.
  • the stereo camera 200b acquires a stereo image.
  • the disparity calculator 502 in the processor 470 receives the stereo images FR1a and FR1b signal-processed by the image preprocessor 501 and performs stereo matching on the received stereo images FR1a and FR1b. To obtain a disparity map 520.
  • the disparity map 520 is a leveling disparity between the stereo images FR1a and FR1b. The greater the disparity level is, the closer the vehicle is to the distance, and the smaller the disparity level is, the lower the disparity map is. We can calculate that distance of is far.
  • the disparity map when displaying such a disparity map, the disparity map may be displayed such that the larger the disparity level, the higher the luminance, and the smaller the disparity level, the lower the luminance.
  • the first to fourth lines 528a, 528b, 528c, and 528d each have a corresponding disparity level
  • the construction area 522 For example, the first front vehicle 524 and the second front vehicle 526 each have a corresponding disparity level.
  • the segmentation unit 503, the object detection unit 504, and the object confirmation unit 505 detect segments, objects, and objects for at least one of the stereo images FR1a and FR1b based on the disparity map 520. Perform object verification.
  • the first to fourth lines 538a, 538b, 538c, 538d, the construction area 532, the first front vehicle 534, and the second front vehicle 536 detect the object. And confirmation may be performed.
  • the stereo camera 200b acquires a stereo image.
  • the disparity calculator 502 in the processor 470 receives the stereo images FR2a and FR2b signal-processed by the image preprocessor 501 and performs stereo matching on the received stereo images FR2a and FR2b. To obtain a disparity map 540.
  • the first to fourth lanes 548a, 548b, 548c, 548d and the like have corresponding disparity levels, respectively, the construction area 542, the first front vehicle 544.
  • each of the second front vehicles 546 has a corresponding disparity level.
  • the first to fourth lines 558a, 558b, 558c, and 558d, the construction area 552, the first front vehicle 554, and the second front vehicle 556 detect an object. And confirmation may be performed.
  • the object tracking unit 506 may perform tracking on the identified object by comparing FIG. 5A and FIG. 5B.
  • the object tracking unit 506 may track the movement of the object based on the motion or the motion vector of each object identified in FIGS. 5A and 5B. Accordingly, tracking of a lane, a construction area, a first front vehicle, a second front vehicle, and the like located around the vehicle can be performed.
  • 5E to 5F are views for explaining the operation of the vehicle driving assistance apparatus of FIGS. 5A to 5D.
  • FIG. 5E is a diagram illustrating a vehicle front situation photographed by the stereo camera 200b provided in the vehicle.
  • the vehicle front situation is displayed in a bird eye view.
  • the first lane 642a, the second lane 644a, the third lane 646a, the fourth lane 648a is located, the first lane 642a and the second A construction area 610a is located between the lanes 644a, a first front vehicle 620a is located between the second lane 644a and the third lane 646a, and the third lane 646a and the fourth lane. It can be seen that the second front vehicle 630a is disposed between the lanes 648a.
  • FIG. 5F illustrates displaying the vehicle front situation detected by the vehicle driving assistance apparatus together with various types of information.
  • an image such as FIG. 5D may be displayed on the vehicle display apparatus 600.
  • 5F illustrates that information is displayed based on an image captured by the stereo camera 200, unlike FIG. 5E.
  • a construction area 610b is located between the lanes 644b
  • a first front vehicle 620b is located between the second lane 644b and the third lane 646b
  • the third lane 646b and the fourth lane It can be seen that the second front vehicle 630b is disposed between the lanes 648b.
  • the vehicle camera 200 performs signal processing based on the stereo image captured by the stereo camera 200b to process an object for the construction area 610b, the first front vehicle 620b, and the second front vehicle 630b. You can check.
  • the first lane 642b, the second lane 644b, the third lane 646b, and the fourth lane 648b may be identified.
  • the vehicle camera 200 based on the stereo image captured by the stereo camera 200b, the distance information for the construction area 610b, the first front vehicle 620b, the second front vehicle 630b. Can be calculated.
  • the vehicle camera 200 may receive sensor information about the vehicle from the controller 170 or the internal sensing unit 125.
  • the vehicle speed information, the gear information, the yaw rate information (yaw rate) indicating the speed at which the rotation angle (concave angle) of the vehicle changes, and the angle information of the vehicle can be received, and such information can be displayed.
  • the vehicle speed information 672, the gear information 671, and the yaw rate information 673 are displayed on the vehicle front image upper portion 670, and the angle of the vehicle is displayed on the vehicle front image lower portion 680. While the information 682 is illustrated, various examples are possible. In addition, the width information 683 of the vehicle and the curvature information 681 of the road may be displayed together with the angle information 682 of the vehicle.
  • FIG. 6 is a flow chart referenced to explain the operation of the vehicle driving assistance apparatus according to the embodiment of the present invention.
  • the processor 470 may acquire an external image of the vehicle (S610).
  • the processor 470 may acquire a vehicle front image photographed by the vehicle camera 200.
  • the processor 470 may detect at least one traffic sign based on the vehicle front image (S620).
  • the traffic sign may include at least one of a traffic signal displayed on a road surface, a traffic signal displayed on a traffic sign, a traffic light signal, a construction zone notification signal, a traffic signal attached to another vehicle, and a reception call.
  • the processor 470 may acquire vehicle driving information (S630).
  • the vehicle driving information may include at least one of driving road information, driving lane information, destination information, route information, turn signal information, steering information, direction information, and vehicle model information.
  • the processor 470 may determine whether the traffic sign corresponds to the driving information (S640).
  • the processor 470 may control the detected traffic sign to be output (S650).
  • the processor 470 may control to output a traffic signature having a higher priority among the plurality of traffic signatures according to the priority among the plurality of traffic signatures stored in the memory 440. Can be.
  • the processor 470 when a plurality of driving information is obtained, the processor 470, according to the priority of the plurality of driving information stored in the memory 440, the traffic sign corresponding to the high priority driving information of the plurality of driving information You can control the output.
  • the processor 470 may control the detected traffic sign not to be output (S660).
  • FIG. 7 is a diagram referred to for explaining an operation of detecting a traffic sign according to an embodiment of the present invention.
  • the processor 470 may receive an image captured by the camera 200.
  • Reference numeral 700 exemplifies an image corresponding to a predetermined frame among images captured by the camera 200.
  • the processor 470 may detect and obtain the traffic signs 711, 712, 713, 714, 715, and 716 based on the received image.
  • traffic signs such as various types of lanes (e.g., center line, U-turn area line, bus-only lane, course change limit line) road obstruction or direction arrow (e.g., turn left, go straight, turn right, u-turn) Can be displayed.
  • lanes e.g., center line, U-turn area line, bus-only lane, course change limit line
  • direction arrow e.g., turn left, go straight, turn right, u-turn
  • the processor 470 may detect the traffic sign 712 displayed on the road surface from the received image.
  • the traffic sign may be displayed with a traffic sign such as a caution sign, a regulatory sign, an indication sign, or an auxiliary sign.
  • the processor 470 may detect the traffic sign 711 displayed on the traffic sign from the received image.
  • the processor 470 may acquire the traffic sign 713 by detecting the color of the light output from the traffic light or the location of the light output on the traffic light, based on the vehicle exterior image.
  • the processor 470 may acquire at least one of a traffic cone, a temporary traffic sign, a guide rod, and a guide lighting device based on the vehicle exterior image to obtain a traffic sign 715.
  • the processor 470 may detect the other vehicle based on the vehicle exterior image, and detect the traffic signal sign attached to the vehicle body, the bumper, and the glass of the other vehicle, and acquire the traffic sign 716.
  • the processor 470 may acquire a traffic sign 714 by detecting a hand signal of a traffic police officer based on the vehicle exterior image. For example, the processor 470 may detect a feature point of a hat and a uniform of a traffic police officer, and detect the traffic police officer by comparing the data with the data previously stored in the memory 440. The processor 470 may detect a predetermined motion of the traffic police officer in a state where the traffic police officer is detected, and detect a hand signal by comparing the pre-stored data to the memory 440.
  • FIG. 8 is a diagram for describing an operation of a vehicle driving assistance apparatus when a plurality of traffic signs is detected according to an exemplary embodiment of the present invention.
  • the processor 470 may detect a plurality of traffic signs 811, 812, and 813 together in the received image.
  • the memory 440 may store priorities among the plurality of traffic signs.
  • the processor 470 may control to output the high priority traffic signs among the plurality of traffic signs based on the priority stored in the memory 440.
  • the plurality of traffic signs may include information that contradicts each other.
  • the processor 470 may detect the traffic sign 812 based on the traffic light signal and the traffic sign 813 based on the traffic sign together. In this case, the processor 470 may control to output a traffic sign 812 based on a traffic light according to the priority stored in the memory 440. In this case, the processor 470 may control the traffic sign 813 based on the traffic sign not to be output.
  • the processor 470 may detect a traffic sign 812 based on a traffic light and a traffic sign 811 on which a stop signal is displayed. In this case, the processor 470 may control to output the stop signal displayed on the traffic sign 811 according to the priority stored in the memory 440.
  • the processor 470 may detect the traffic sign 812 and the hand signal 814 based on the traffic light together. In this case, the processor 470 may control the hand signal 814 to be output according to the priority stored in the memory 440.
  • FIG. 9 is a diagram referred to describe a traffic sign output operation according to an embodiment of the present invention.
  • the processor 470 may control the display unit 451 to display traffic signs 931 and 932.
  • the processor 470 may control the display unit 451 to display graphic images 931 and 932 corresponding to the traffic sign.
  • the processor 470 may control the display unit 451 to display the text 931 corresponding to the detected traffic sign.
  • the processor 470 may control the display 451 to display an image 932 corresponding to the detected traffic sign.
  • the image 932 may be an image in which the processor 470 captures only a traffic sign area among the images received from the camera 200.
  • the processor 470 may output the traffic sign through the sound output unit 452.
  • the processor 470 may output the content corresponding to the traffic sign in voice.
  • FIG. 10 is a diagram for describing an operation of a vehicle driving assistance apparatus when a plurality of driving information is obtained, according to an exemplary embodiment of the present invention.
  • the processor 470 may receive a plurality of driving information.
  • the plurality of driving information may be information that contradicts each other.
  • the processor 470 may receive destination information and right turn signal information.
  • the destination information indicates the direction going straight at the intersection.
  • the right turn signal input may be received while the vehicle 100 travels in the rightmost lane.
  • the processor 470 may detect a traffic sign of the first traffic light 1011 indicating straight ahead and a traffic sign of the second traffic light 1012 indicating right turning.
  • the memory 440 may store the priority of the turn signal information at a higher priority than the destination information.
  • the processor 470 may determine whether the first traffic light 1011 and the second traffic light 1012 match the turn signal information. Since the first traffic light 1011 is a traffic light for going straight, it does not correspond to the turn signal information. Since the second traffic light 1012 is a traffic light for turning right, it corresponds to the turn signal information.
  • the processor 470 may control the output unit 450 to output a traffic sign of the second traffic light 1012 corresponding to the turn signal information.
  • the vehicle driving assistance apparatus 400 may output a traffic sign suitable for the driver's intention, and may not output a traffic sign that is not suitable for the driver's intention.
  • FIG. 11 is a diagram referred to for describing an operation of outputting a traffic sign based on a distance from a plurality of traffic signs according to an embodiment of the present invention.
  • the processor 470 may detect a plurality of traffic signs 1111 and 1112 based on the received image. Information included in each of the plurality of traffic signs 1111 and 1112 may be contradictory.
  • the processor 470 may calculate a distance between the vehicle 100 and each of the plurality of traffic signs 1111 and 1112.
  • the processor 470 controls the output unit 450 to output the traffic signs 1111 closest to the vehicle 100 among the plurality of traffic signs. can do.
  • the traffic sign 1111 closest to the vehicle 100 includes information to be applied to the vehicle at the time of driving the vehicle. In this case, there is an effect of providing the driver with the most suitable information for the vehicle 100.
  • FIG. 12 is a diagram for explaining an operation of outputting a traffic sign when a plurality of traffic signs is detected according to an embodiment of the present invention.
  • the processor 470 may detect the first traffic sign 1211 and the second traffic sign 1212 together in the received image.
  • the first traffic sign may be a traffic sign based on a traffic light for going straight ahead.
  • the second traffic sign may be a traffic sign indicating an unprotected left turn.
  • the processor 470 may receive path information of the vehicle 100. According to the route information, when the vehicle 100 needs to go straight, the processor 470 may control the output unit 450 to output the first traffic sign corresponding to the route information. In addition, the processor 470 may control not to output a second traffic sign that does not match the path information.
  • FIG. 13 is a diagram referred to for describing an operation of a vehicle driving assistance apparatus that outputs an alarm, according to an embodiment of the present invention.
  • the processor 470 may receive state information of a vehicle based on a driving manipulation signal through the interface unit 430.
  • the processor 470 may determine whether the state information matches the output traffic sign information.
  • the processor 470 may output an alarm through the output unit 450.
  • the processor 470 may detect the speed limit traffic sign displayed on the traffic sign in the received image. When the traffic sign matches the vehicle driving information, the processor 470 may control the traffic sign to be output.
  • the processor 470 may receive driving speed information of the vehicle based on the driving operation signal. If the driving speed of the vehicle is outside the speed limit corresponding to the traffic sign, the processor 470 may output an alarm through the output unit 450.
  • FIG. 14 is a diagram referred to for describing an operation of a vehicle driving assistance apparatus when entering a rampway according to an exemplary embodiment of the present invention.
  • the processor 470 may acquire rampway entrance status information.
  • the processor 470 may receive navigation information to obtain rampway entry status information. Alternatively, the processor 470 may obtain rampway entry status information based on the road shape detected from the vehicle exterior image. Alternatively, the processor 470 may detect a traffic sign on which a rampway is displayed and acquire rampway entry status information.
  • the processor 470 may control the traffic sign corresponding to the driving information to be output among the plurality of traffic signs disposed on the plurality of paths forming the rampway.
  • the processor 470 may detect a first traffic sign 1411, a second traffic sign 1412, and a third traffic sign 1413 from the received image.
  • the first traffic sign 1411 corresponds to the first path among the paths forming the ramp way. That is, the first traffic sign 1411 is a signal provided to the vehicle traveling on the first route.
  • the second traffic sign 1412 and the third traffic sign 1413 correspond to the second path of the paths forming the ramp way. That is, the second traffic sign 1412 and the third traffic sign 1413 are signals provided to the vehicle traveling on the second path.
  • the processor 470 may receive vehicle driving information.
  • vehicle driving information may include at least one of driving road information, driving lane information, destination information, route information, turn signal information, steering information, direction information, and vehicle model information.
  • the processor 470 may select one of the first path and the second path based on the vehicle driving information. For example, the processor 470 may select one of the first route and the second route based on at least one of driving lane information, destination information, route information, turn signal information, steering information, and direction information. have.
  • the processor 470 may control the output unit 450 to output the first traffic sign 1411 corresponding to the first path.
  • FIG. 15 is a diagram referred to for describing an operation of a vehicle driving assistance apparatus when a plurality of traffic lights are detected according to an embodiment of the present disclosure.
  • the processor 470 may detect the first traffic light 1511 and the second traffic light 1512 based on the received image.
  • the processor 470 may calculate a distance between the vehicle 100 and the first traffic light 1511.
  • the processor 470 may calculate a distance between the vehicle 100 and the second traffic light 1512. As illustrated in FIG. 15, the first traffic light 1511 may be closer to the vehicle 100 than the second traffic light 1512.
  • the processor 470 may determine whether the first traffic light 1511 and the second traffic light 1512 match the driving information of the vehicle.
  • the processor 470 may limit the traffic sign corresponding to the first traffic light 1511 to be output.
  • the traffic sign of the first traffic light 1511 is Go and the traffic sign of the second traffic light 1512 is Stop, so that the traffic sign and the second traffic light 1512 of the first traffic light 1511 are stopped. If all of the traffic signs are output, the driver may be confused. In this case, only the traffic sign of the first traffic light 1511 proximate to the vehicle 100 may be output, thereby preventing confusion of the driver.
  • FIG. 16 is a diagram referred to for describing an operation of a vehicle driving assistance apparatus that outputs a traffic sign corresponding to lane information, according to an exemplary embodiment of the present invention.
  • the vehicle 100 may drive in any one of a plurality of lanes 1621, 1622, and 1623 on a road.
  • each of the plurality of lanes may be defined as a left turning lane 1621, a straight lane 1622, and a right turning lane 1623.
  • the processor 470 may obtain lane information on which the vehicle 100 is driving among the plurality of lanes 1621, 1622, and 1623. For example, the processor 470 may receive navigation information and acquire lane information while driving. For example, the processor 470 may detect lanes from the received image and acquire lane information while driving.
  • the processor 470 may detect the plurality of traffic signs 1611, 1612, and 1613 based on the vehicle front image.
  • the processor 470 may control to output a traffic sign corresponding to the driving lane information among the plurality of traffic signs 1611, 1612, and 1613.
  • the plurality of traffic signs may include a first traffic sign 1611 based on a traffic sign for unprotected left turn of the vehicle 100 and a second traffic sign 1612 based on a traffic light for straight ahead of the vehicle 100. It may include.
  • the processor 470 may acquire situation information that the vehicle 100 is driving in the left turning lane 1621.
  • the processor 470 may determine whether the first traffic sign 1611 and the second traffic sign 1612 match the situation information while driving in the left turning lane 1621. In this embodiment, the first traffic sign 1611 conforms to the contextual information, and the second traffic sign 1612 does not conform to the contextual information.
  • the processor 470 may control the first traffic sign to be output and the second traffic sign to not be output.
  • the plurality of traffic signs may include a first traffic sign 1613 based on a first traffic light for a right turn driving of the vehicle 100 and a second traffic light based on a second traffic light for driving straight of the vehicle 100. It can include a sine 1612.
  • the processor 470 may acquire situation information that the vehicle 100 is driving in the right turn lane 1623.
  • the processor 470 may determine whether the first traffic sign 1613 and the second traffic sign 1612 match the situation information while driving in the right turn lane 1623. In this embodiment, the first traffic sign 1613 matches the context information and the second traffic sign 1612 does not match the context information.
  • the processor 470 may control the first traffic sign to be output and the second traffic sign to not be output.
  • 17 is a view referred to for explaining the operation of the vehicle driving assistance apparatus in the traffic jam section according to an embodiment of the present invention.
  • the processor 470 may obtain driving speed information. When the driving speed is less than or equal to the reference speed, the processor 470 may control the traffic sign 1710 not to be output even when the traffic sign 1710 matches the driving information.
  • the traffic sign 1710 may be separated from the vehicle 100 by more than a reference distance.
  • the traffic sign 1710 that is separated from the vehicle 100 by more than the reference distance is not suitable for a traffic jam. In this case, confusion of the driver can be prevented by not outputting the traffic sign 1710 which is not suitable for the congestion situation.
  • FIG. 18 is a diagram referred to for describing an operation of a vehicle driving assistance apparatus according to a vehicle model, according to an embodiment of the present invention.
  • the traffic sign to be provided may vary depending on the type of the vehicle 100.
  • the speed limit when driving on the same highway, the speed limit may vary depending on whether the driving vehicle is a passenger car or a freight car.
  • the speed limit of the passenger car may be 100 km per hour, and the speed limit of the van may be 60 km per hour.
  • the first traffic sign 1811 for the passenger car and the second traffic sign 1812 for the freight car may be arranged together on the highway.
  • the processor 470 may detect the first traffic sign based on the first traffic sign 1811 and the second traffic sign based on the second traffic sign 1812 together.
  • the processor 470 may determine whether the first traffic sign and the second traffic sign correspond to vehicle model information that is vehicle driving information.
  • vehicle model information may be stored in the memory 130 of the vehicle 100.
  • the vehicle 100 is a passenger car
  • the first traffic sign corresponds to the model information
  • the second traffic sign does not match the model information
  • the processor 470 may control the first traffic sign corresponding to the vehicle model information to be output and control the second traffic sign not to match the vehicle model information.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes implementations in the form of carrier waves (eg, transmission over the Internet).
  • the computer may also include a processor or a controller. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Abstract

본 발명은 차량 전방 영상을 획득하는 카메라; 출력부; 및 상기 차량 전방 영상을 기초로, 적어도 하나의 트래픽 사인(traffic sign)을 검출하고, 상기 트래픽 사인이, 차량의 주행 정보에 부합되는지 판단하고, 상기 트래픽 사인이, 상기 주행 정보에 부합되는 경우, 상기 출력부를 통해 상기 트래픽 사인이 출력되도록 제어하는 프로세서;를 포함하는 차량 운전 보조 장치에 관한 것이다.

Description

차량 운전 보조 장치 및 차량
본 발명은 차량에 구비되는 차량 운전 보조 장치 및 차량에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS : Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.
TSR(Traffic Sign Recognition)은, 차량 운전자 보조 시스템 중 하나이다. TSR은, 획득된 영상을 기초로, 교통 신호를 검출하여, 운전자에게 알려주는 시스템이다.
그러나, 종래 기술에 따른 TSR은, 단순하게, 교통 신호를 검출하여, 관련 정보를 출력할 뿐, 주행 상황에 적합하게 동작되지 못하는 문제가 있었다. 구체적으로, 모순되는 2개의 교통 신호가 검출되는 경우, 이들을 모두 출력함으로써 운전자에게 혼동을 주는 문제가 있었다.
또한, 무분별하게, 교통 신호를 검출하고, 이를 출력함으로써, 오히려 운전에 방해가 되는 문제가 있었다.
본 발명의 실시예는 상기한 문제점을 해결하기 위하여, 차량의 주행 정보에 부합되는 트래픽 사인만 출력되는 차량 운전 보조 장치를 제공하는데 목적이 있다.
또한, 본 발명의 실시예는 상기 차량 운전 보조 장치를 포함하는 차량을 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 장치는, 차량 전방 영상을 획득하는 카메라; 출력부; 및 상기 차량 전방 영상을 기초로, 적어도 하나의 트래픽 사인(traffic sign)을 검출하고, 상기 트래픽 사인이, 차량의 주행 정보에 부합되는지 판단하고, 상기 트래픽 사인이, 상기 주행 정보에 부합되는 경우, 상기 출력부를 통해 상기 트래픽 사인이 출력되도록 제어하는 프로세서;를 포함하는 차량 운전 보조 장치를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 차량의 주행 정보에 부합되는 트래픽 사인만을 출력함으로써, 운전자에게 필요한 정보만 제공하고, 불필요한 정보는 차단하는 효과가 있다.
둘째, 서로 모순되는 정보 중 상황에 적합한 정보만을 출력함으로써, 운전자의 혼동을 예방하는 효과가 있다.
셋째, 복수의 트래픽 사인이 검출되는 경우, 정해진 우선 순위에 따라 출력함으로써, 운전자의 주의를 분산시켜 발생되는 사고를 방지하는 효과가 있다.
넷째, 운전자 의도에 적합한 트래픽 사인을 출력함으로써, 운전자에게 필요한 정보만 제공하고, 불필요한 정보는 차단하는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 3a는 본 발명의 실시예에 따른 차량용 카메라의 사시도이다. 도 3b는 본 발명의 실시예에 따른 차량용 카메라의 분해 사시도이다. 도 3c는 본 발명의 실시예에 따라, 도 3a의 A-B를 절개한 차량용 카메라의 절개 측면도이다.
도 3d은 본 발명의 실시예에 따른 차량용 카메라의 사시도이다. 도 3e는 본 발명의 실시예에 따른 차량용 카메라의 분해 사시도이다. 도 3f는 본 발명의 실시예에 따라, 도 3d의 C-D를 절개한 차량용 카메라의 절개 측면도이다.
도 4a는 본 발명의 실시예에 따른 차량 운전 보조 장치의 블럭도이다.
도 5a 내지 도 5b는 도 4b의 영상 처리부의 내부 블록도의 다양한 예를 예시하고, 도 5c 내지 도 5d는 도 5a 내지 도 5b의 프로세서의 동작 설명에 참조되는 도면이다.
도 6은 본 발명의 실시예에 따른 차량 운전 보조 장치의 동작을 설명하는데 참조되는 플로우 차트이다.
도 7은 본 발명의 실시예에 따라 트래픽 사인을 검출하는 동작을 설명하는데 참조되는 도면이다.
도 8은 본 발명의 실시예에 따라, 복수의 트래픽 사인이 검출되는 경우 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 9는 본 발명의 실시예에 따른, 트래픽 사인 출력 동작을 설명하는데 참조되는 도면이다.
도 10은 본 발명의 실시예에 따라, 복수의 주행 정보 획득시 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 11은 본 발명의 실시예에 따라, 복수의 트래픽 사인과의 거리에 기초하여 트래픽 사인을 출력하는 동작을 설명하는데 참조되는 도면이다.
도 12는 본 발명의 실시예에 따라, 복수의 트래픽 사인이 검출되는 경우 트래픽 사인을 출력하는 동작을 설명하는데 참조되는 도면이다.
도 13은 본 발명의 실시예에 따라, 알람을 출력하는 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 14는 본 발명의 실시예에 따라, 램프 웨이 진입시 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 15는 본 발명의 실시예에 따라, 복수의 신호등이 검출되는 경우, 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 16은 본 발명의 실시예에 따라, 차선 정보에 부합되는 트래픽 사인을 출력하는 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 17은 본 발명의 실시예에 따라, 정체 구간에서의 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 18은 본 발명의 실시예에 따라, 차종에 따른 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 1을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치를 구비할 수 있다.
실시예에 따라, 차량(100)은 자율 주행 차량일 수 있다. 자율 주행 차량의 경우, 사용자 입력에 따라 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 메뉴얼 모드로 전환되는 경우, 자율 주행 차량(100)은, 주행을 위한 운전자의 입력을, 운전 조작 장치(도 2의 121)를 통해 수신할 수 있다.
차량(100)은, 차량 운전 보조 장치(400)를 포함할 수 있다. 차량 운전 보조 장치(400)는, 다양한 센서에서 획득되는 정보를 기초로, 운전자를 보조하는 장치이다. 이러한 차량 운전 보조 장치(400)는, ADAS(Advanced Driver Assistance System)로 명명될 수 있다.
이하의 설명에서, 차량 운전 보조 장치(400)에 이용되는 센서로 차량용 카메라(200)를 중심으로 설명하나, 이에 한정되지 않는다. 실시예에 따라, 센서는 차량용 카메라(200)외에, 레이다(Radar), 라이다(LiDar), 초음파 센서, 적외선 센서 등이 이용될 수 있다.
또한, 이하의 설명에서, 차량 운전 보조 장치(400)에 이용되는 차량용 카메라(200)로 모노 카메라(200a) 및 스테레오 카메라(200b)를 중심으로 설명하나, 이에 한정되지 않는다. 실시예에 따라, 차량용 카메라(200)는, 트리플 카메라, AVM(Around View Monitoring) 카메라, 360도 카메라, 전방향(omnidirectional) 카메라를 포함할 수 있다.
도면에서, 차량 운전 보조 장치(400)에 이용되는 차량용 카메라(200)가 차량 전방을 촬영할 수 있도록 프런트 윈드 쉴드(10)에 장착되는 것으로 예시되나, 차량용 카메라(200)는, 차량 전방, 후방, 우측방, 좌측방 어디든 촬영할 수 있다. 그에 따라, 차량용 카메라(200)는, 차량의 외부 또는 내부의 적절한 위치에 배치될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 2는 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 2를 참조하면, 차량(100)은, 차량(100)은, 통신부(110), 입력부(120), 센싱부(125), 메모리(130), 출력부(140), 차량 구동부(150), 제어부(170), 인터페이스부(180), 전원 공급부(190), 및 차량 운전 보조 장치(400)를 포함할 수 있다.
통신부(110)는, 근거리 통신 모듈(113), 위치 정보 모듈(114), 광통신 모듈(115) 및 V2X 통신 모듈(116)을 포함할 수 있다.
통신부(110)는, 다른 디바이스와 통신을 수행하기 위해 하나 이상의 RF(Radio Frequency) 회로 또는 소자를 포함할 수 있다.
근거리 통신 모듈(113)은, 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
이러한, 근거리 통신 모듈(113)은, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다. 예를 들면, 근거리 통신 모듈(113)은 이동 단말기와 무선으로 데이터를 교환할 수 있다. 근거리 통신 모듈(113)은 이동 단말기로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))를 수신할 수 있다. 가령, 사용자가 차량(100)에 탑승한 경우, 사용자의 이동 단말기와 차량(100)은 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링을 수행할 수 있다.
위치 정보 모듈(114)은, 차량(100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈이 있다. 예를 들면, 차량은 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 차량의 위치를 획득할 수 있다.
한편, 실시예에 따라, 위치 정보 모듈(114)은 통신부(110)에 포함되는 구성요소가 아닌, 센싱부(125)에 포함되는 구성요소일 수도 있다.
광통신 모듈(115)은, 광발신부 및 광수신부를 포함할 수 있다.
광수신부는, 광(light)신호를 전기 신호로 전환하여, 정보를 수신할 수 있다. 광수신부는 광을 수신하기 위한 포토 다이오드(PD, Photo Diode)를 포함할 수 있다. 포토 다이오드는 빛을 전기 신호로 전환할 수 있다. 예를 들면, 광수신부는 전방 차량에 포함된 광원에서 방출되는 광을 통해, 전방 차량의 정보를 수신할 수 있다.
광발신부는 전기 신호를 광 신호로 전환하기 위한 발광 소자를 적어도 하나 포함할 수 있다. 여기서, 발광 소자는 LED(Light Emitting Diode)인 것이 바람직하다. 광발신부는, 전기 신호를 광 신호로 전환하여, 외부에 발신한다. 예를 들면, 광 발신부는 소정 주파수에 대응하는 발광소자의 점멸을 통해, 광신호를 외부에 방출할 수 있다. 실시예에 따라, 광발신부는 복수의 발광 소자 어레이를 포함할 수 있다. 실시예에 따라, 광발신부는 차량(100)에 구비된 램프와 일체화될 수 있다. 예를 들면, 광발신부는 전조등, 후미등, 제동등, 방향 지시등 및 차폭등 중 적어도 어느 하나일 수 있다. 예를 들면, 광통신 모듈(115)은 광 통신을 통해 타 차량과 데이터를 교환할 수 있다.
V2X 통신 모듈(116)은, 서버 또는 타 차량과의 무선 통신 수행을 위한 모듈이다. V2X 모듈(116)은 차량간 통신(V2V) 또는 차량과 인프라간 통신(V2I) 프로토콜이 구현 가능한 모듈을 포함한다. 차량(100)은 V2X 통신 모듈(116)을 통해, 외부 서버 및 타 차량과 무선 통신을 수행할 수 있다.
입력부(120)는, 운전 조작 장치(121), 마이크로 폰(123) 및 사용자 입력부(124)를 포함할 수 있다.
운전 조작 장치(121)는, 차량(100) 운전을 위한 사용자 입력을 수신한다. 운전 조작부(121)는 조향 입력 장치, 쉬프트 입력 장치, 가속 입력 장치, 브레이크 입력 장치를 포함할 수 있다.
조향 입력 장치는, 사용자로부터 차량(100)의 진행 방향 입력을 수신한다. 조향 입력 장치는 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
쉬프트 입력 장치는, 사용자로부터 차량(100)의 주차(P), 전진(D), 중립(N), 후진(R)의 입력을 수신한다. 쉬프트 입력 장치는 레버 형태로 형성되는 것이 바람직하다. 실시예에 따라, 쉬프트 입력 장치는 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
가속 입력 장치는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신한다. 브레이크 입력 장치는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신한다. 가속 입력 장치 및 브레이크 입력 장치는 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
마이크로 폰(123)은, 외부의 음향 신호를 전기적인 데이터로 처리할 수 있다. 처리된 데이터는 차량(100)에서 수행 중인 기능에 따라 다양하게 활용될 수 있다. 마이크로폰(123)은 사용자의 음성 명령을 전기적인 데이터로 전환할 수 있다. 전환된 전기적인 데이터는 제어부(170)에 전달될 수 있다.
한편, 실시예에 따라, 카메라(122) 또는 마이크로폰(123)는 입력부(120)에 포함되는 구성요소가 아닌, 센싱부(125)에 포함되는 구성요소일 수도 있다.
사용자 입력부(124)는 사용자로부터 정보를 입력받기 위한 것이다. 사용자 입력부(124)를 통해, 정보가 입력되면, 제어부(170)는 입력된 정보에 대응되도록 차량(100)의 동작을 제어할 수 있다. 사용자 입력부(124)는 터치식 입력수단 또는 기계식 입력 수단을 포함할 수 있다. 실시예에 따라, 사용자 입력부(124)는 스티어링 휠의 일 영역에 배치될 수 있다. 이경우, 운전자는 스티어링 휠을 잡은 상태에서, 손가락으로 사용자 입력부(124)를 조작할 수 있다.
센싱부(125)는, 차량(100)의 각종 상황 또는 차량의 외부 상황을 센싱한다. 이를 위해, 센싱부(125)는, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(125)는, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 조향 정보, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(125)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
한편, 위치 정보 모듈(114)은 센싱부(125)의 하위 구성 요소로 분류될 수도 있다.
센싱부(125)는 차량 주변의 오브젝트를 감지할 수 있는 오브젝트 센싱부를 포함할 수 있다. 여기서, 오브젝트 센싱부는, 카메라 모듈, 레이더(Radar), 라이더(Lidar), 초음파 센서를 포함할 수 있다. 이경우, 센싱부(125)는, 카메라 모듈, 레이더(Radar), 라이더(Lidar) 또는 초음파 센서를 통해 차량 전방에 위치하는 전방 오브젝트 또는 차량 후방에 위치하는 후방 오브젝트를 감지할 수 있다.
한편, 실시예에 따라, 오브젝트 센싱부는, 차량 운전 보조 장치(400)의 구성 요소로 분류될 수도 있다.
메모리(130)는, 제어부(170)와 전기적으로 연결된다. 메모리(130)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(130)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(130)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
출력부(140)는, 제어부(170)에서 처리된 정보를 출력하기 위한 것으로, 디스플레이 장치(141), 음향 출력부(142) 및 햅틱 출력부(143)를 포함할 수 있다.
디스플레이 장치(141)는 다양한 그래픽 객체를 표시할 수 있다. 예를 들면, 디스플레이 장치(141)는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 차량에 대한 직접적인 제어를 위한 차량 제어 정보, 또는 차량 운전자에게 운전 가이드를 위한 차량 운전 보조 정보를 포함할 수 있다. 또한, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다.
디스플레이 장치(141)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이 장치(141)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 차량(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(724)로써 기능함과 동시에, 차량(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다. 이경우, 디스플레이 장치(141)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이 장치(141)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이 장치(141)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(170)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
한편, 디스플레이 장치(141)는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다. 클러스터는 대시보드 위에 위치할 수 있다. 이경우, 운전자는, 시선을 차량 전방에 유지한채로 클러스터에 표시되는 정보를 확인할 수 있다.
한편, 실시예에 따라, 디스플레이 장치(141)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이 장치(141)가 HUD로 구현되는 경우, 프런트 윈드 쉴드(10)에 구비되는 투명 디스플레이를 통해 정보를 출력할 수 있다. 또는, 디스플레이 장치(141)는 투사 모듈을 구비하여 프런트 윈드 쉴드(10)에 투사되는 이미지를 통해 정보를 출력할 수 있다.
한편, 실시예에 따라, 디스플레이 장치(141)는, 투명 디스플레이를 포함할 수 있다. 이경우, 투명 디스플레이는 프런트 윈드 쉴드(10)에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
실시예에 따라, 디스플레이 장치(141)는 내비게이션 장치로 기능할 수 있다.
음향 출력부(142)는 제어부(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(142)는 스피커 등을 구비할 수 있다. 음향 출력부(142)는, 사용자 입력부(724) 동작에 대응하는, 사운드를 출력하는 것도 가능하다.
햅틱 출력부(143)는 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(143)는, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
차량 구동부(150)는, 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(150)는 동력원 구동부(151), 조향 구동부(152), 브레이크 구동부(153), 램프 구동부(154), 공조 구동부(155), 윈도우 구동부(156), 에어백 구동부(157), 썬루프 구동부(158) 및 서스펜션 구동부(159)를 포함할 수 있다.
동력원 구동부(151)는, 차량(100) 내의 동력원에 대한 전자식 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부(151)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(151)가 엔진인 경우, 제어부(170)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 속도를 제한할 수 있다.
다른 예로, 전기 기반의 모터(미도시)가 동력원인 경우, 동력원 구동부(151)는, 모터에 대한 제어를 수행할 수 있다. 이에 의해, 모터의 회전 속도, 토크 등을 제어할 수 있다.
조향 구동부(152)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(153)는, 차량(100) 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량(100)의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.
램프 구동부(154)는, 차량 내, 외부에 배치되는 램프의 턴 온/턴 오프를 제어할 수 있다. 또한, 램프의 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.
공조 구동부(155)는, 차량(100) 내의 공조 장치(air cinditioner)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
윈도우 구동부(156)는, 차량(100) 내의 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량의 측면의 좌,우 윈도우들에 대한 개방 또는 폐쇄를 제어할 수 있다.
에어백 구동부(157)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 위험시, 에어백이 터지도록 제어할 수 있다.
썬루프 구동부(158)는, 차량(100) 내의 썬루프 장치(sunroof apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 썬루프의 개방 또는 폐쇄를 제어할 수 있다.
서스펜션 구동부(159)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
한편, 실시예에 따라, 차량 구동부(150)는 샤시 구동부를 포함할 수 있다. 여기서, 샤시 구동부는 조향 구동부(152), 브레이크 구동부(153) 및 서스펜션 구동부(159)를 포함하는 개념일 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
제어부(170)는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
인터페이스부(180)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(180)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 인터페이스부(180)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 인터페이스부(180)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 인터페이스부(180)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 인터페이스부(180)는 전원부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원부(170)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.
차량 운전 보조 장치(400)는, 운전자에 의한 차량의 주행을 보조할 수 있다. 차량 운전 보조 장치(400)는, 차량용 카메라(200)를 포함할 수 있다.
차량용 카메라(200)는, 도 3a 내지 도 3c의 모노 카메라(200a) 및 도 3d 내지 도 3f의 스테레오 카메라(200b)를 포함할 수 있다.
차량용 카메라(200)는, 차량용 카메라 장치로 명명될 수 있다.
도 3a는 본 발명의 실시예에 따른 차량용 카메라의 사시도이다. 도 3b는 본 발명의 실시예에 따른 차량용 카메라의 분해 사시도이다. 도 3c는 본 발명의 실시예에 따라, 도 3a의 A-B를 절개한 차량용 카메라의 절개 측면도이다.
도 3a 내지 도 3c를 참조하여 설명하는 차량용 카메라(200)는, 싱글 카메라(200a)이다.
차량용 카메라(200a)는, 렌즈(211), 이미지 센서(214) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 차량용 카메라(200a)는, 프로세싱 보드(220), 라이트 쉴드(230), 방열 부재(240), 하우징(250)을 개별적으로 더 포함하거나, 조합하여 더 포함할 수 있다.
한편, 하우징(250)은, 제1 하우징(251), 제2 하우징(252), 제3 하우징(253)을 포함할 수 있다.
렌즈(211)는, 렌즈 하우징(217)에 수용된 상태로, 너트(212)를 통해, 제1 하우징(251)의 일 부분에 형성된 홀(219)에 안착되도록 체결될 수 있다.
이미지 센서(214)는, 광신호를 전기적 신호로 변환할 수 있는 광전 변환 소자를 적어도 하나 포함할 수 있다. 예를 들면, 이미지 센서(214)는 CCD(charge-coupled device) 또는 CMOS(complimentary metal-oxide semiconductor)일 수 있다.
이미지 센서(214)는, 차량 외부 영상 또는 차량 내부 영상을 획득하기 위해, 차량의 외부 또는 차량의 내부의 적절한 곳에 위치할 수 있다.
예를 들면, 이미지 센서(214)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드(10)에 근접하게 배치될 수 있다. 또는, 이미지 센서(214)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 이미지 센서(214)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 이미지 센서(214)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 이미지 센서(214)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 이미지 센서(214)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
이미지 센서(214)는, 렌즈(211)를 통해 유입되는 광을 기초로 이미지를 획득할 수 있도록, 렌즈(211)의 후단에 배치될 수 있다. 예를 들면, 이미지 센서(214)는, 렌즈(211)와 소정 거리만큼 이격된 상태로 지면을 기준으로 수직하게 배치될 수 있다.
프로세서(470)는, 이미지 센서(214)와 전기적으로 연결될 수 있다. 프로세서(470)는, 이미지 센서(214)를 통해 획득되는 영상을 컴퓨터 처리할 수 있다. 프로세서(470)는, 이미지 센서(214)를 제어할 수 있다.
프로세서(470)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(470)는, 프로세싱 보드(220) 상에 실장될 수 있다.
프로세싱 보드(220)는, 프로세서(270) 및 메모리(440)를 실장할 수 있다.
프로세싱 보드(220)는, 전장 방향으로 경사지게 배치될 수 있다. 예를 들면, 프로세싱 보드(220)는, 전면 또는 배면이 프런트 윈드 쉴드(10)와 마주보도록 배치될 수 있다. 예를 들면, 프로세싱 보드(220)는, 프런트 윈드 쉴드(10)와 평행하게 배치될 수 있다.
차량(100)에 구비되는 프런트 윈드 쉴드(10)는 일반적으로 차량(100)의 보닛(bonnet)에서부터 루프까지 지면과 소정의 각도를 가지면서 경사지게 형성된다. 이경우, 프로세싱 보드(220)가 전장 방향으로 경사지게 배치됨으로써, 차량용 카메라(200a)는, 프로세싱 보드(220)가 수직 또는 수평되게 배치되는 경우보다 작게 형성될 수 있다. 차량용 카메라(200a)가 작게 형성됨으로써, 줄어드는 부피만큼 차량(100)내에서 공간이 더 확보될 수 있는 장점이 있다.
프로세싱 보드(220)에는 복수의 소자 또는 전자 부품들이 실장될 수 있다. 이때, 프로세싱 보드(220)에 포함되는 복수의 소자 또는 부품들로 인해 열이 발생될 수 있다.
프로세싱 보드(220)는, 이미지 센서(241)와 이격되게 배치될 수 있다. 프로세싱 보드(220)가 이미지 센서(241)와 이격되게 배치됨으로써, 프로세싱 보드(220)에서 발생되는 열이 이미지 센서(241)의 성능에 문제를 발생시키지 않도록 할 수 있다.
프로세싱 보드(220)는, 프로세싱 보드(220)에서 발생한 열이 이미지 센서(241)에 영향을 미치지 않도록 최적의 위치에 배치될 수 있다. 구체적으로, 프로세싱 보드(220)는, 이미지 센서(241)의 하단에 배치될 수 있다. 또는, 프로세싱 보드(220)는, 이미지 센서(241)의 전단에 배치될 수 있다.
프로세싱 보드(220)에는 하나 이상의 메모리(440)가 실장될 수 있다. 메모리(440)는, 이미지 센서(241)를 통해 획득되는 영상, 각종 어플리케이션 데이터, 프로세서(470) 제어를 위한 데이터 또는 프로세서(470)에서 처리되는 데이터를 저장할 수 있다. 메모리(440)는, 프로세서(470)와 마찬가지로 주요 열 발생 소자 중의 하나이다. 프로세서(470)가 프로세싱 보드(220) 중심에 배치된 상태에서, 메모리(440)는, 프로세서(470) 주변에 배치될 수 있다. 예를 들면, 하나 이상의 메모리(440)는, 프로세서(470)를 중심에 두고, 프로세서(470)를 둘러싸는 형상으로 배치될 수 있다. 이경우, 열 발생 소자인 프로세서(470) 및 메모리(440)는 이미지 센서(241)에서 가장 먼 위치에 배치될 수 있다.
프로세서(470)는, 제어부(170)에 전기적으로 연결될 수 있다. 프로세서(470)는, 제어부(170)의 제어를 받을 수 있다.
라이트 쉴드(230)는, 렌즈(211) 전단에 배치될 수 있다. 라이트 쉴드(230)는, 영상 획득에 불필요한 빛이 렌즈(211)에 유입되지 않도록 차단할 수 있다. 예를 들면, 라이트 쉴드(230)는, 윈드 쉴드(10) 또는 차량의 대쉬 보드 등에서 반사되는 빛을 차단할 수 있다. 또한, 라이트 쉴드(230)는, 불필요한 광원으로부터 생성되는 빛을 차단할 수 있다.
라이트 쉴드(230)는, 가림막 구조를 가질 수 있다. 예를 들면, 라이트 쉴드(230)는, 하부 가림막 구조를 가질 수 있다.
한편, 차종에 따라 라이트 쉴드(230)의 형상은 가변될 수 있다. 예를 들면, 차종에 따라, 윈드 쉴드의 곡률, 윈드 쉴드와 지면이 형성하는 각도가 다를 수 있으므로, 라이트 쉴드(230)는 차량용 카메라(200a)가 장착되는 차종에 대응하는 형상을 가질 수 있다. 이를 위해, 라이트 쉴드(230)는, 착탈식 구조를 가질 수 있다.
방열 부재(240)는, 이미지 센서(214) 후단에 배치될 수 있다. 방열 부재(240)는, 이미지 센서(214) 또는 이미지 센서(214)가 실장되는 이미지 센서 보드와 접촉될 수 있다. 방열 부재(240)는, 이미지 센서(214)의 열을 처리할 수 있다.
상술한 바와 같이, 이미지 센서(241)는 열에 민감하다. 방열 부재(240)는, 이미지 센서(214) 및 제3 하우징(253) 사이에 배치될 수 있다. 방열 부재(240)는, 이미지 센서(214) 및 제3 하우징(253)가 접촉되게 배치될 수 있다. 이경우, 방열 부재(240)는, 열을 제3 하우징(253)을 통해 방출할 수 있다.
예를 들면, 방열 부재(240)는, 써멀 패드 및 써멀 구리스 중 어느 하날 수 있다.
하우징(250)은, 렌즈 하우징(217) 제1 하우징(251), 제2 하우징(252) 및 제3 하우징(253)을 포함할 수 있다.
렌즈 하우징(217)은, 적어도 하나의 렌즈(211)를 수용하고, 렌즈(211)를 외부의 충격에서 보호할 수 있다.
제1 하우징(251)은, 이미지 센서(241)를 감싸도록 형성될 수 있다. 제1 하우징(251)은 홀(219)을 포함할 수 있다. 렌즈(211)는, 렌즈 하우징에 수용된 상태로 홀(219)에 안착된 상태에서, 이미지 센서(214)와 연결될 수 있다.
제1 하우징(251)은, 이미지 센서(214)에 근접할 수록 두껍게 형성될 수 있다. 예를 들면, 제1 하우징(251)은 다이 캐스팅 방식으로 형성될 수 있다. 이경우, 열에 의한 이미지 센서(214)의 성능 저하 방지를 위해, 제1 하우징(251)은, 이미지 센서(214)에 근접한 부분이 다른 부분보다 두껍게 형성될 수 있다.
제1 하우징(251)은, 제3 하우징(253)보다 두꺼운 두께를 가지도록 형성될 수 있다. 하우징의 두께가 두꺼우면 열전달이 천천히 이루어진다. 따라서, 제1 하우징(251)의 두께가 제3 하우징(253)의 두께보다 두껍게 형성되는 경우, 차량용 카메라(200a) 내부에서 발생되는 열은 프런트 윈드 쉴드(10)에 근접하게 배치되어 열방출이 어려운 제1 하우징(251)보다 제3 하우징(253)을 통해 외부로 방출되는 효과가 있다.
한편, 실시예에 따라, 렌즈 하우징(217) 및 제1 하우징(251)은 일체형으로 형성될 수 있다.
제2 하우징(252)은, 프로세싱 보드(220) 전단에 위치할 수 있다. 제2 하우징(252)은, 제1 하우징(251) 및 제3 하우징(253)과 소정의 체결 수단을 통해 체결될 수 있다.
제2 하우징(252)은, 라이트 쉴드(230)가 부착될 수 있는 부착 수단을 구비할 수 있다. 라이트 쉴드(230)는 상기 부착 수단을 통해 제2 하우징(252)에 부착될 수 있다.
제1 및 제2 하우징(252, 253)은, 합성 수지 재질로 형성될 수 있다.
제3 하우징(253)은, 제1 하우징(251) 및 제2 하우징(252)와 소정의 체결 수단을 통해 체결될 수 있다. 실시예에 따라, 제1 내지 제3 하우징(251, 252, 253)은 일체형으로 형성될 수 있다.
제3 하우징(253)은, 프로세싱 보드(220)를 감싸도록 형성될 수 있다. 제3 하우징(253)은, 프로세싱 보드(220)의 후단 또는 하단에 위치할 수 있다. 제3 하우징(253)은, 열전도성 재질로 형성될 수 있다. 예를 들면, 제3 하우징(253)은 알루미늄과 같은 금속으로 형성될 수 있다. 제3 하우징(253)이 열전도성 재질로 형성됨으로써 효율적인 열방출이 이루어질 수 있다.
제1 및 제2 하우징(251, 252)이 합성 수질 재질로 형성되고, 제3 하우징(253)이 열전도성 재질로 형성되는 경우, 차량용 카메라 내부의 열은, 제1 및 제2 하우징(251, 252) 보다 제3 하우징(253)으로 방출될 수 있다. 즉, 차량용 카메라(200a)가 윈드 쉴드에 장착되는 경우, 제1 및 제2 하우징(251, 252)은, 윈드 쉴드에 근접하게 위치하므로, 제1 및 제2 하우징(251, 252)을 통해 열이 방출될 수 없다. 이경우, 제3 하우징(253)을 통해 열이 효율적으로 방출될 수 있다.
한편, 제3 하우징(253)이 알루미늄으로 구성되는 경우, EMC(electro-magnetic compatibility) 및 ESC(electrostatic discharge)로부터 내부에 위치하는 부품들(예를 들면, 이미지 센서(241) 및 프로세서(470))을 보호하는데 유리할 수 있다.
제3 하우징(253)은 프로세싱 보드(220)와 접촉될 수 있다. 이경우, 제3 하우징(253)은, 프로세싱 보드(220)와 접촉되는 부분을 통해 열을 전달여, 외부로 효율적으로 열을 방출할 수 있다.
제3 하우징(253)은 방열부(291)를 더 포함할 수 있다. 예를 들면, 방열부(291)는 히트 싱크, 방열핀, 써멀 패드 및 써멀 구리스 중 적어도 어느 하나를 포함할 수 있다.
방열부(291)는, 차량용 카메라(200a) 내부에서 생성되는 열을 외부로 방출할 수 있다. 예를 들면, 방열부(291)는, 프로세싱 보드(220) 및 제3 하우징(253) 사이에 위치할 수 있다. 방열부(291)는, 프로세싱 보드(220) 및 제3 하우징(253)과 접촉하여, 프로세싱 보드(220)에서 생성되는 열을 외부로 방출할 수 있다.
제3 하우징(253)은, 공기 배출홀을 더 포함할 수 있다. 공기 배출홀은, 차량용 카메라(200a) 내부의 고온의 공기를 차량용 카메라(200a) 외부로 배출하기 위한 홀이다. 차량용 카메라(200a) 내부에 공기 배출홀과 연결된 공기 유동부가 포함될 수 있다. 공기 유동부는, 차량용 카메라(200a) 내부의 고온의 공기를 공기 배출홀로 유도할 수 있다.
차량용 카메라(200a)는, 방습부를 더 포함할 수 있다. 방습부는, 패치(patch) 형태로 형성되어, 공기 배출부에 부착될 수 있다. 방습부는, 고어텍스 재질을 방습 부재일 수 있다. 방습부는, 차량용 카메라(200a) 내부의 습기는 외부로 유출시킬 수 있다. 또한, 방습부는, 차량용 카메라(200a) 외부의 습기의 내부 유입을 방지할 수 있다.
도 3d은 본 발명의 실시예에 따른 차량용 카메라의 사시도이다. 도 3e는 본 발명의 실시예에 따른 차량용 카메라의 분해 사시도이다. 도 3f는 본 발명의 실시예에 따라, 도 3d의 C-D를 절개한 차량용 카메라의 절개 측면도이다.
도 3d 내지 도 3f를 참조하여 설명하는 차량용 카메라(200)는, 스테레오 카메라(200b)이다.
스테레오 카메라(200b)는 도 3a 내지 도 3c를 참조하여 설명한 싱글 카메라(200a)에 대한 설명이 모두 적용될 수 있다. 즉, 스테레오 카메라(200b)에 포함되는 제1 및 제2 카메라 각각은 도 3a 내지 도 3c를 참조하여 설명한 카메라일 수 있다.
스테레오 카메라(200b)는, 제1 렌즈(211a), 제2 렌즈(211b), 제1 이미지 센서(214a), 제2 이미지 센서(214b) 및 프로세서(470a)를 포함할 수 있다.
실시예에 따라, 차량용 카메라(200b)는, 프로세싱 보드(220a), 제1 라이트 쉴드(230a), 제2 라이트 쉴드(230b), 하우징(250a)을 개별적으로 더 포함하거나, 조합하여 더 포함할 수 있다.
한편, 하우징은, 제1 렌즈 하우징(217a), 제2 렌즈 하우징(217b), 제1 하우징(251a), 제2 하우징(252a), 제3 하우징(253a)을 포함할 수 있다.
제1 렌즈(211a) 및 제2 렌즈(211b)는, 도 3a 내지 도 3c의 렌즈(211)에 대한 설명이 적용될 수 있다.
제1 이미지 센서(214a) 및 제2 이미지 센서(214b)는, 도 3a 내지 도 3c의 이미지 센서(214)에 대한 설명이 적용될 수 있다.
한편, 제1 렌즈(211a), 제1 이미지 센서(214a)를 포함하는 모듈은 제1 이미지 획득 모듈로 명명될 수 있다. 또한, 제2 렌즈(211b), 제2 이미지 센서(214b)를 포함하는 모듈은 제2 이미지 획득 모듈로 명명될 수 있다.
프로세서(470a)는, 제1 이미지 센서(214a), 제2 이미지 센서(214b)와 전기적으로 연결될 수 있다. 프로세서(470)는, 제1 이미지 센서(214a) 및 제2 이미지 센서(214b)를 통해 획득되는 영상을 컴퓨터 처리할 수 있다. 이때, 프로세서(470)는, 제1 이미지 센서(214a) 및 제2 이미지 센서(214b)를 통해 획득되는 영상에 기초하여 디스패리티(disparity) 맵을 형성하거나, 디스패리티 연산을 수행할 수 있다.
프로세서(470a)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(470a)는, 프로세싱 보드(220a) 상에 실장될 수 있다.
프로세싱 보드(220a)는, 도 3a 내지 도 3c의 프로세싱 보드(220)에 대한 설명이 적용될 수 있다.
제1 라이트 쉴드(230a) 및 제2 라이트 쉴드(230b)는, 도 3 내지 도 5의 라이트 쉴드(230)에 대한 설명이 적용될 수 있다.
제1 렌즈 하우징(217a) 및 제2 렌즈 하우징(217b)은 도 3 내지 도 5의 렌즈 하우징(217)에 대한 설명이 적용될 수 있다.
제1 하우징(251a)은, 도 3a 내지 도 3c의 제1 하우징(251)에 대한 설명이 적용될 수 있다.
제2 하우징(252a)은, 도 3a 내지 도 3c의 제2 하우징(252)에 대한 설명이 적용될 수 있다.
제3 하우징(253a)은, 도 3a 내지 도 3c의 제3 하우징(253)에 대한 설명이 적용될 수 있다.
도 4a는 본 발명의 실시예에 따른 차량 운전 보조 장치의 블럭도이다.
도 4a를 참조하면, 차량 운전 보조 장치(400)는, 차량용 카메라(200), 프로세서(470), 인터페이스부(430), 메모리(440) 및 출력부(450)를 포함할 수 있다.
실시예에 따라, 차량 운전 보조 장치(400)는, 통신부(410), 입력부(420) 및 전원 공급부(440)를 각각 개별적으로 또는 조합하여 더 포함할 수 있다.
실시예에 따라, 도 4a에 예시된 바와는 다르게, 프로세서(470), 인터페이스부(430), 메모리(440)는, 카메라(200)의 하위 구성 요소로 분류될 수 있다. 이경우, 차량용 카메라(200)가 차량 운전 보조 장치(200)로 기능할 수 있다.
차량용 카메라(200)는, 차량(100)의 일 부분에 장착되어, 영상을 획득할 수 있다.
예를 들면, 차량용 카메라(200)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드(10)에 근접하게 배치될 수 있다. 또는, 차량용 카메라(200)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 차량용 카메라(200)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 차량용 카메라(200)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 차량용 카메라(200)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 차량용 카메라(200)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
차량용 카메라(200)는, 이미지 센서(214), 액추에이터(401)를 포함할 수 있다.
이미지 센서(214)는, 도 3a 내지 도 3f를 참조하여 설명한 바와 같다.
실시예에 따라, 차량용 카메라(200)는, 스테레오 카메라(도 3d 내지 도 3f의 200b)일 수 있다.
차량용 카메라(200)가 스테레오 카메라(200b)인 경우, 차량용 카메라(200)는, 제1 카메라, 제2 카메라 및 프로세서(470)를 포함할 수 있다.
인터페이스부(430)는, 각종 신호, 정보 또는 데이터를 수신할 수 있다. 인터페이스부(430)는, 프로세서(470)에서 처리 또는 생성된 신호, 정보 또는 데이터를 외부로 전송할 수 있다.
이를 위해, 인터페이스부(430)는, 유선 통신 또는 무선 통신 방식에 의해, 차량 내부의 제어부(170), 차량용 디스플레이 장치(141), 센싱부(125), 차량 구동부(150) 등과 데이터 통신을 수행할 수 있다.
인터페이스부(430)는, 제어부(170) 또는 센싱부(125)로부터, 센서 정보를 수신할 수 있다.
여기서, 센서 정보는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량의 조향 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보(예를 들면, 턴 시그널 정보), 차량 내부 온도 정보, 차량 내부 습도 정보, 비가 오는지에 대한 정보 중 적어도 하나를 포함할 수 있다.
이러한 센서 정보는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 조향각 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 레인 센서 등으로부터 획득될 수 있다. 한편, 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈을 포함할 수 있다.
인터페이스부(430)는, 제어부(170), 차량용 디스플레이 장치(141) 또는 별도의 내비게이션 장치와의 데이터 통신에 의해, 내비게이션 정보를 수신할 수 있다. 여기서, 내비게이션 정보는, 주행 도로 정보, 주행 차선 정보, 목적지 정보, 경로 정보, 방향 정보, 맵(map) 정보, 차량의 현재 위치 정보를 포함할 수 있다. 한편, 내비게이션 정보는 도로상에서 차량의 위치 정보를 포함할 수 있다.
인터페이스부(430)는, 제어부(170) 또는 차량 구동부(150)에, 신호를 제공할 수 있다. 여기서, 신호는 제어 신호일 수 있다.
예를 들면, 인터페이스부(430)는, 동력원을 제어하는 동력원 구동부(151)와 통신할 수 있다. 인터페이스부(430)는, 프로세서(470)에서 생성된 신호를 동력원 구동부(151)에 제공할 수 있다.
예를 들면, 인터페이스부(430)는, 브레이크 장치를 제어하는 브레이크 구동부(153)와 통신할 수 있다. 인터페이스부(430)는, 프로세서(470)에서 생성된 신호를 브레이크 구동부(153)에 제공할 수 있다.
예를 들면, 인터페이스부(430)는, 조향 장치를 제어하는 조향 구동부(152)와 통신할 수 있다. 인터페이스부(430)는, 프로세서(470)에서 생성된 신호를 조향 구동부(152)에 제공할 수 있다.
메모리(440)는, 프로세서(470)의 처리 또는 제어를 위한 프로그램 등, 차량 운전 보조 장치(400) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
메모리(440)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(440)는, 실시예에 따라, 프로세서(470)의 하위 구성으로 포함될 수 있다.
메모리(440)는, 복수의 트래픽 사인간의 우선 순위를 저장할 수 있다. 복수의 트래픽 사인간의 우선 순위는, 디폴트로 메모리(440)에 저장될 수 있다.
메모리(440)는, 신호등 신호를, 노면에 표시된 교통 신호 또는 교통 표지판에 표시된 교통 신호보다 선순위로 우선 순위를 저장할 수 있다.
메모리(440)는, 수신호를 신호등 신호보다 선순위로 우선 순위를 저장할 수 있다.
메모리(440)는, 교통 표지판에 표시된 멈춤(stop) 신호를 최우선 순위로 우선 순위를 저장할 수 있다.
메모리(440)는, 복수의 주행 정보간의 우선 순위를 저장할 수 있다. 복수의 주행 정보간의 우선 순위는, 디폴트로 메모리(440)에 저장될 수 있다.
메모리(440)는, 턴 시그널 정보가 목적지 정보보다 선순위로 우선 순위를 저장할 수 있다.
프로세서(470)는, 차량 운전 보조 장치(400)의 각 유닛과 전기적으로 연결될 수 있다.
프로세서(470)는, 차량 운전 보조 장치(400) 내의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(470)는, 차량용 카메라(200)가 촬영한 차량 외부 영상을 수신할 수 있다. 여기서, 차량 외부 영상은, 차량 전방 영상일 수 있다.
프로세서(470)는, 차량 외부 영상을 기초로, 적어도 하나의 트래픽 사인(traffic sign)을 검출할 수 있다.
예를 들면, 프로세서(470)는, 차량 외부 영상을 기초로, 노면에 표시된 교통 신호, 교통 표지판에 표시된 교통 신호, 신호등 신호, 공사 구역 알림 신호, 타 차량에 부착된 교통 신호 및 수신호(han signal) 중 적어도 어느 하나를 검출할 수 있다.
프로세서(470)는, 차량 외부 영상을 기초로, 노면에 표시된 도안 또는 텍스트를 검출하여, 트래픽 사인을 획득할 수 있다.
프로세서(470)는, 차량 외부 영상을 기초로, 교통 표지판에 표시된 도안 또는 텍스트를 검출하여, 트래픽 사인을 획득할 수 있다.
프로세서(470)는, 차량 외부 영상을 기초로, 신호등에서 출력되는 광의 색 또는 신호등 상에서 출력되는 광의 위치를 검출하여, 트래픽 사인을 획득할 수 있다.
프로세서(470)는, 차량 외부 영상을 기초로, 트래픽 콘, 임시 교통 표지판, 가이드 봉 및 가이드 조명 장치 중 적어도 어느 하나를 검출하여, 트래픽 사인을 획득할 수 있다.
프로세서(470)는, 차량 외부 영상을 기초로, 타 차량을 검출하고, 타 차량의 차체, 범퍼, 글라스에 부착된 교통 신호 표지를 검출하여, 트래픽 사인을 획득할 수 있다.
프로세서(470)는, 차량 외부 영상을 기초로, 교통 경찰관의 수신호를 검출하여, 트래픽 사인을 획득할 수 있다. 예를 들면, 프로세서(470)는, 교통 경찰관의 모자, 제복의 특징점을 검출하고, 메모리(440)에 기 저장된 데이터와 비교하여, 교통 경찰관을 검출할 수 있다. 프로세서(470)는, 교통 경찰관이 검출된 상태에서, 교통 경찰관의 정해진 모션을 검출하고, 메모리(440)에 기 저장된 데이터와 비교하여, 수신호를 검출할 수 있다.
프로세서(470)는, 차량의 주행 정보를 획득할 수 있다.
프로세서(470)는, 차량 외부 영상을 기초로, 차량의 주행 정보를 검출할 수 있다.
예를 들면, 프로세서(470)는, 차량 외부 영상을 기초로, 주행 도로 정보, 주행 차선 정보 등을 획득할 수 있다. 프로세서(470)는, 차량 외부 영상에서, 도로 진입을 나타내는 오브젝트(예를 들면, 톨게이트, 이정표, 교통 표지판) 검출을 통해, 주행 도로 정보를 획득할 수 있다. 프로세서(470)는, 차량 외부 영상에서, 차선(lane) 검출을 통해, 주행 차선 정보를 획득할 수 있다.
프로세서(470)는, 인터페이스부(430)를 통해, 차량의 통신부(110), 차량의 입력부(120), 차량의 센싱부(125), 차량의 메모리(130), 차량의 디스플레이 장치(141), 내비게이션 장치 또는 차량의 제어부(170)로부터 차량의 주행 정보를 획득할 수 있다.
예를 들면, 프로세서(470)는, 내비게이션 장치 또는 디스플레이 장치(141)로부터, 내비게이션 정보를 수신하여, 차량의 주행 정보를 획득할 수 있다. 여기서, 내비게이션 정보는, 주행 도로 정보, 주행 차선 정보, 목적지 정보, 경로 정보, 방향 정보, 맵(map) 정보, 차량의 현재 위치 정보를 포함할 수 있다.
예를 들면, 프로세서(470)는, 차량의 입력부(120) 또는 차량의 제어부(170)로부터 턴 시그널 정보를 수신할 수 있다.
예를 들면, 프로세서(470)는, 차량의 센싱부(125) 또는 차량의 제어부(170)로부터 조향 정보 또는 방향 정보를 수신할 수 있다.
예를 들면, 프로세서(470)는, 차량의 메모리(130)로부터, 차종 정보를 수신할 수 있다.
프로세서(470)는, 트래픽 사인이, 차량의 주행 정보에 부합되는지 판단할 수 있다.
예를 들면, 프로세서(470)는, 트래픽 사인이, 주행 도로 정보, 주행 차선 정보, 목적지 정보, 경로 정보, 턴 시그널 정보, 조향 정보, 방향 정보 및 차종 정보 중 적어도 어느 하나에 부합되는지 판단할 수 있다.
프로세서(470)는, 트래픽 사인이, 차량의 주행 정보에 부합되는 경우, 출력부(450)를 통해, 트래픽 사인이 출력되도록 제어할 수 있다.
프로세서(470)는, 디스플레이부(451)를 통해, 트래픽 사인에 대응되는 그래픽 이미지가 표시되도록 제어할 수 있다.
프로세서(470)는, 음향 출력부(452)를 통해, 트래픽 사인에 대응되는 음향이 출력되도록 제어할 수 있다.
프로세서(470)는, 트래픽 사인이, 차량의 주행 정보에 부합되지 않는 경우, 트래픽 사인이 출력되지 않도록 제어할 수 있다.
이와 같이, 차량의 주행 정보에 부합하는 트래픽 사인은 출력하고, 차량의 주행 정보 부합되지 않는 트래픽 사인은 출력하지 않음으로써, 주행 상황에 적합한 트래픽 사인만을 운전자에게 제공할 수 있다. 그에 따라, 운전자의 혼동을 방지하고, 정확한 정보만을 제공하는 효과가 있다.
프로세서(470)는, 트래픽 사인이, 차량의 주행 정보에 부합되는 경우, 트래픽 사인에 기초하여, 인터페이스부(430)를 통해, 조향 제어 신호, 가속 제어 신호, 제동 제어 신호 중 어느 하나를, 차량 구동부(150)에 제공할 수 있다.
예를 들면, 프로세서(470)는, 제한 속도 정보가 표시된 트래픽 사인에 기초하여, 제동 제어 신호를, 브레이크 구동부(153)에 제공할 수 있다.
예를 들면, 프로세서(470)는, 오르막 정보가 표시된 트래픽 사인에 기초하여, 가속 제어 신호를, 동력원 구동부(151)에 제공할 수 있다.
예를 들면, 프로세서(470)는, 커브 정보가 표시된 트래픽 사인에 기초하여, 조향 제어 신호를, 조향 구동부(152)에 제공할 수 있다.
한편, 트래픽 사인은, 노면에 표시된 교통 신호, 교통 표지판에 표시된 교통 신호, 신호등 신호, 공사 구역 알림 신호, 타 차량에 부착된 교통 신호 및 수신호(han signal) 중 적어도 어느 하나를 포함할 수 있다.
노면에 표시된 교통 신호는, 노면에 표시된 도안 또는 텍스트일 수 있다.
교통 표지판에 표시된 교통 신호는, 교통 표지판에 표시된 도안 또는 텍스트일 수 있다.
신호등 신호는, 신호등에서 출력되는 광의 색 또는, 신호등 상에서 출력되는 광의 위치일 수 있다.
공사 구역 알림 신호는, 트래픽 콘, 임시 교통 표지판, 가이드 봉 및 가이드 조명 장치 중 적어도 어느 하나를 포함할 수 있다.
타 차량에 부착된 교통 신호는, 타 차량의 차체, 범퍼, 글라스에 부착된 교통 신호 표지일 수 있다.
수신호는, 교통 경찰관의 수신호일 수 있다.
프로세서(470)는, 복수의 트래픽 사인이 주행 정보에 부합되는 경우, 우선 순위에 기초하여, 복수의 트래픽 사인 중 우선 순위가 높은 트래픽 사인이 출력되도록 제어할 수 있다. 여기서, 우선 순위는, 메모리(440)에 저장된, 복수의 트래픽 사인간의 우선 순위일 수 있다. 여기서, 복수의 트래픽 사인은 서로 모순되는 정보를 포함할 수 있다. 프로세서(470)는, 우선 순위가 낮은 트래픽 사인은 출력되지 않도록 제어할 수 있다.
한편, 차량 주행 정보는, 주행 도로 정보, 주행 차선 정보, 목적지 정보, 경로 정보, 턴 시그널 정보, 조향 정보, 방향 정보 및 차종 정보 중 적어도 어느 하나를 포함할 수 있다.
프로세서(470)는, 복수의 주행 정보가 획득되는 경우, 우선 순위에 기초하여, 트래픽 사인이, 복수의 주행 정보 중 우선 순위가 높은 주행 정보에 부합되는지 판단할 수 있다. 여기서, 우선 순위는, 메모리(440)에 저장된 복수의 주행 정보간의 우선 순위일 수 있다. 여기서, 복수의 주행 정보는 서로 모순되는 정보를 포함할 수 있다.
예를 들면, 프로세서(470)는, 턴 시그널 정보와 목적지 정보가 서로 부합되지 않는 경우, 목적지 정보보다 우선 순위가 높게 메모리(440)에 저장된 트래픽 사인이 턴 시그널 정보에 부합되는지 판단할 수 있다. 이경우, 프로세서(470)는, 운전자의 의도에 따른 트래픽 시그널을 표시할 수 있다.
프로세서(470)는, 차량 전방 영상을 기초로, 복수의 트래픽 사인을 검출할 수 있다.
프로세서(470)는, 차량(100)과 복수의 트래픽 사인 각각의 거리를 산출할 수 있다. 프로세서(470)는, 이미지 거리 검출 알고리즘을 통해, 차량(100)과 복수의 트래픽 사인 각각의 거리를 산출할 수 있다. 예를 들면, 프로세서(470)는, 스테레오 이미지를 획득하는 경우, 디스패러티 연산을 통해, 거리를 산출할 수 있다. 예를 들면, 프로세서(470)는, 핀홀 모델(pinhole model) 알고리즘을 통해, 거리를 산출할 수 있다. 예를 들면, 프로세서(470)는, 실제 거리와 픽셀 거리를 이용하여, 거리를 산출할 수 있다. 예를 들면, 프로세서(470)는, 오브젝트의 움직임 벡터를 이용하여, 거리를 산출할 수 있다. 예를 들면, 프로세서(470)는, 픽셀 당 오브젝트의 크기의 변화를 통해, 거리를 산출할 수 있다.
프로세서(470)는, 주행 정보에 부합되는 복수의 트래픽 사인 중, 차량(100)에 가장 근접한 트래픽 사인이 출력되도록 제어할 수 있다.
프로세서(470)는, 차량 전방 영상을 기초로, 제1 트래픽 사인 및 제2 트래픽 사인을 검출할 수 있다.
프로세서(470)는, 제1 트래픽 사인이 주행 정보에 부합되고, 제2 트래픽 사인이 주행 정보에 부합되지 않는 경우, 출력부(450)를 통해, 제1 트래픽 사인이 출력되고, 제2 트래픽 사인이 출력되지 않도록 제어할 수 있다.
프로세서(470)는, 인터페이스부(430)를 통해, 운전 조작 장치(121)를 통해 수신된 운전 조작 신호에 기초한 차량의 상태 정보를 수신할 수 있다. 여기서, 차량의 상태 정보는, 차량의 가속 상태 정보, 차량의 조향 상태 정보, 차량의 제동 상태 정보를 포함할 수 있다.
프로세서(470)는, 운전 조작 신호에 기초한 차량의 상태 정보가, 출력되는 트래픽 사인 정보와 부합되는지 판단할 수 있다.
차량의 상태 정보가, 트래픽 사인 정보와 부합되지 않는 경우, 프로세서(470)는, 출력부(450)를 통해, 알람을 출력할 수 있다.
예를 들면, 출력되는 트래픽 사인 정보가 제한 속도 정보이고, 차량의 상태 정보가 제한 속도를 초과한 상태에서 가속되는 상태인 경우, 프로세서(470)는, 출력부(450)를 통해, 알람을 출력할 수 있다.
프로세서(470)는, 램프 웨이 진입 상황 정보를 획득할 수 있다. 예를 들면, 프로세서(470)는, 내비게이션 정보를 수신하여, 램프 웨이 진입 상황 정보를 획득할 수 있다. 예를 들면, 프로세서(470)는, 차량 외부 영상에서 도로를 검출하거나, 램프 웨이가 표시된 교통 표지판을 검출하여, 램프 웨이 진입 상황 정보를 획득할 수 있다.
프로세서(470)는, 램프 웨이를 형성하는 복수의 경로 상에 각각 배치된 복수의 트래픽 사인 중, 주행 정보에 부합되는 트래픽 사인이 출력되도록 제어할 수 있다.
프로세서(470)는, 차량 전방 영상을 기초로, 복수의 신호등을 검출할 수 있다. 프로세서(470)는, 복수의 신호등이 주행 정보에 부합되는지 판단할 수 있다.
프로세서(470)는, 주행 정보에 부합되는 복수의 신호등 중, 차량(100)에 가장 근접한 신호등에서 생성되는 트래픽 사인이 출력되도록 제어할 수 있다.
프로세서(470)는, 차량(100)이 주행 중인 차선 정보를 획득할 수 있다. 예를 들면, 프로세서(470)는, 내비게이션 정보를 수신하여, 차량(100)이 주행 중인 차선 정보를 획득할 수 있다. 예를 들면, 프로세서(470)는, 차량 외부 영상에서 차선을 검출하여, 주행 중인 차선 정보를 획득할 수 있다.
프로세서(470)는, 차량 전방 영상을 기초로, 복수의 트래픽 사인을 검출할 수 있다. 프로세서(470)는, 복수의 트래픽 사인 중, 차선 정보에 부합되는 트래픽 사인이 출력되도록 제어할 수 있다.
복수의 트래픽 사인은, 차량(100)의 비보호 좌회전을 위한 교통 표지판에 기초한 제1 트래픽 사인 및 차량(100)의 직진을 위한 신호등에 기초한 제2 트래픽 사인을 포함할 수 있다.
프로세서(470)는, 차량 전방 영상을 기초로, 차량(100)의 비보호 좌회전을 위한 교통 표지판에 기초한 제1 트래픽 사인 및 차량(100)의 직진을 위한 신호등에 기초한 제2 트래픽 사인을 함께 검출할 수 있다.
프로세서(470)는, 차량(100)이 좌회전 차선에서 주행 중인 상황 정보를 획득할 수 있다. 예를 들면, 프로세서(470)는, 내비게이션 정보를 수신하여, 차량(100)이 좌회전 차선에서 주행 중인 상황 정보를 획득할 수 있다. 예를 들면, 프로세서(470)는, 차량 외부 영상에서 차선을 검출하여, 차량(100)이 좌회전 차선에서 주행 중인 상황 정보를 획득할 수 있다.
프로세서(470)는, 주행 상황 정보에 적합한 제1 트래픽 사인이 출력되고, 주행 상황 정보에 적합하지 않은 제2 트래픽 사인이 출력되지 않도록 제어할 수 있다.
복수의 트래픽 사인은, 차량(100)의 우회전을 위한 제1 신호등에 기초한 제1 트래픽 사인 및 차량(100)의 직진을 위한 제2 신호등에 기초한 제2 트래픽 사인을 포함할 수 있다.
프로세서(470)는, 차량 전방 영상을 기초로, 차량(100)의 우회전을 위한 제1 신호등에 기초한 제1 트래픽 사인 및 차량(100)의 직진을 위한 제2 신호등에 기초한 제2 트래픽 사인을 함께 검출할 수 있다.
프로세서(470)는, 차량(100)이 우회전 차선에서 주행 중인 상황 정보를 획득할 수 있다. 예를 들면, 프로세서(470)는, 내비게이션 정보를 수신하여, 차량(100)이 우회전 차선에서 주행 중인 상황 정보를 획득할 수 있다. 예를 들면, 프로세서(470)는, 차량 외부 영상에서 차선을 검출하여, 차량(100)이 우회전 차선에서 주행 중인 상황 정보를 획득할 수 있다.
프로세서(470)는, 주행 상황 정보에 적합한 제1 트래픽 사인이 출력되고, 주행 상황 정보에 적합하지 않은 제2 트래픽 사인이 출력되지 않도록 제어할 수 있다.
프로세서(470)는, 주행 속도 정보를 획득할 수 있다. 프로세서(470)는, 차량(100)의 주행 속도가 기준 속도 이하인 경우, 트래픽 사인이 주행 정보에 부합되는 경우에도, 트래픽 사인이 출력되지 않도록 제어할 수 있다.
도 4b는 본 발명의 실시예에 따른 프로세서의 내부 구성 및 각 구성의 신호처리를 설명하는데 참조되는 도면이다.
도 4b를 참조하면, 프로세서(470)는, 영상 처리부(471), 판단부(474) 및 신호 제공부(477)를 포함할 수 있다.
영상 처리부(471)는, 차량용 카메라(200)로부터 영상을 수신할 수 있다.
영상 처리부(471)는, 수신된 영상을, 다양한 기법을 이용하여 컴퓨터 처리할 수 있다.
영상 처리부(471)는, 수신된 영상을 기초로, 오브젝트를 검출할 수 있다.
영상 처리부(471)는, 수신된 영상을 기초로, 적어도 하나의 트래픽 사인(traffic sign)을 검출할 수 있다.
영상 처리부(471)는, 차량(100)과 트래픽 사인과의 거리를 산출할 수 있다.
영상 처리부(471)는, 이미지 거리 검출 알고리즘을 통해, 차량(100)과 트래픽 사인과의 거리를 산출할 수 있다. 예를 들면, 영상 처리부(471)는, 스테레오 이미지를 획득하는 경우, 디스패러티 연산을 통해, 거리를 산출할 수 있다. 예를 들면, 영상 처리부(471)는, 핀홀 모델(pinhole model) 알고리즘을 통해, 거리를 산출할 수 있다. 예를 들면, 영상 처리부(471)는, 실제 거리와 픽셀 거리를 이용하여, 거리를 산출할 수 있다. 예를 들면, 영상 처리부(471)는, 오브젝트의 움직임 벡터를 이용하여, 거리를 산출할 수 있다. 예를 들면, 영상 처리부(471)는, 픽셀 당 오브젝트의 크기의 변화를 통해, 거리를 산출할 수 있다.
영상 처리부(471)는, 수신된 영상을 기초로, 도로를 검출하거나, 램프 웨이가 표시된 교통 표지판을 검출할 수 있다.
영상 처리부(471)는, 수신된 영상을 기초로, 차량(100)의 주행 차선을 검출할 수 있다.
영상 처리부(471)는, 수신된 영상을 기초로, 좌회전 차선 또는 우회전 차선을 검출할 수 있다.
판단부(474)는, 영상 처리부(471)에서 수신된 정보, 인터페이스부(430)를 통해 수신된 정보 또는 메모리(440)에서 수신된 데이터를 기초로, 판단을 수행할 수 있다.
판단부(474)는, 차량의 주행 정보를 획득할 수 있다. 예를 들면, 판단부(474)는, 영상 처리부(471)로부터 차량의 주행 정보를 수신할 수 있다. 예를 들면, 판단부(474)는, 인터페이스부(430)를 통해, 차량의 통신부(110), 차량의 입력부(120), 차량의 센싱부(125), 차량의 메모리(130), 차량의 디스플레이 장치(141), 내비게이션 장치 도는 차량의 제어부(170)로부터 차량의 주행 정보를 획득할 수 있다.
판단부(474)는, 트래픽 사인이, 차량의 주행 정보에 부합되는지 판단할 수 있다. 예를 들면, 판단부(474)는, 트래픽 사인이, 주행 도로 정보, 주행 차선 정보, 목적지 정보, 경로 정보, 턴 시그널 정보, 조향 정보, 방향 정보 및 차종 정보 중 적어도 어느 하나에 부합되는지 판단할 수 있다.
판단부(474)는, 메모리(440)로부터 복수의 트래픽 사인간의 우선 순위 정보를 수신할 수 있다. 판단부(474)는, 상기 우선 순위 정보에 기초하여, 복수의 트래픽 사인 중 우선 순위가 높은 트래픽 사인을 결정할 수 있다.
판단부(474)는, 메모리(440)로부터 복수의 주행 정보간의 우선 순위 정보를 수신할 수 있다. 판단부(474)는, 상기 우선 순위 정보에 기초하여, 복수의 주행 정보 중 우선 순위가 높은 주행 정보를 결정할 수 있다.
신호 제공부(477)는, 판단부(474)에의 판단을 기초로, 출력부(450)에 제어 신호를 제공할 수 있다. 구체적으로, 신호 제공부(477)는, 판단부(474)의 판단을 기초로, 트래픽 사인이 출력되도록 출력부(450)에 제어 신호를 제공할 수 있다.
신호 제공부(477)는, 차량의 주행 정보에 부합하는 트래픽 사인이 출력되도록 출력부(450)에 제어 신호를 제공할 수 있다.
신호 제공부(477)는, 트래픽 사인에 대응되는 그래픽 이미지가 표시되도록 디스플레이부(451)에 제어 신호를 제공할 수 있다.
신호 제공부(477)는, 트래픽 사인에 대응되는 음향이 출력되도록 음향 출력부(452)에 제어 신호를 제공할 수 있다.
신호 제공부(477)는, 트래픽 사인이, 차량의 주행 정보에 부합되는 경우, 트래픽 사인에 기초하여, 인터페이스부(430)를 통해, 제어부(170) 또는 차량 구동부(150)에 제어 신호를 제공할 수 있다. 구체적으로, 신호 제공부(477)는, 제동 제어 신호, 가속 제어 신호 및 조향 제어 신호 중 적어도 어느 하나를 제공할 수 있다.
다시 도 4a를 참조하면, 출력부(450)는, 프로세서(470) 제어에 따라, 프로세서(470)에 처리된 데이터 또는 정보를 출력할 수 있다.
출력부(450)는, 디스플레이부(451) 및 음향 출력부(452)를 포함할 수 있다.
디스플레이부(451)는, 프로세서(470)에서 처리된 정보를 표시할 수 있다. 디스플레이부(451)는 차량 운전 보조 장치(400)의 동작과 관련한 이미지를 표시할 수 있다. 이러한 이미지 표시를 위해, 디스플레이부(451)는, 차량 내부 전면의 클러스터(cluster) 또는 HUD(Head Up Display)를 포함할 수 있다. 한편, 디스플레이부(451)가 HUD 인 경우, 차량(100)의 프런트 윈드 쉴드(10) 또는 컴바이너에 이미지를 투사하는 투사 모듈을 포함할 수 있다.
음향 출력부(452)는, 프로세서(470)에서 처리된 오디오 신호에 기초하여 음향을 외부로 출력할 수 있다. 이를 위해, 음향 출력부(452)는, 적어도 하나의 스피커를 구비할 수 있다.
통신부(410)는, 차량(100) 내부 또는 외부에 위치하는 타 디바이스와 무선(wireless) 방식으로, 데이터를 교환할 수 있다. 여기서, 타 디바이스는, 이동 단말기, 서버 또는 타 차량을 포함할 수 있다.
예를 들면, 통신부(410)는, 차량 운전자의 이동 단말기와, 무선으로 데이터를 교환할 수 있다. 무선 데이터 통신 방식으로는, 블루투스(Bluetooth), WiFi Direct, WiFi, APiX, NFC 등 다양한 데이터 통신 방식이 가능하다.
예를 들면, 통신부(410)는, 이동 단말기 또는 서버로부터, 날씨 정보, 도로의 교통 상황 정보, 예를 들면, TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다.
한편, 사용자가 차량에 탑승한 경우, 사용자의 이동 단말기와 차량 운전 보조 장치(200)는, 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링(pairing)을 수행할 수 있다.
통신부(410)는 외부 서버로부터 신호등 변경 정보를 수신할 수 있다. 여기서, 외부 서버는 교통을 관제하는 교통 관제소에 위치하는 서버일 수 있다.
입력부(420)는, 사용자 입력을 수신할 수 있다. 입력부(420)는, 기계식 입력 장치, 터치식 입력 장치, 음성 입력 장치 또는 무선 입력 장치를 포함할 수 있다.
기계식 입력 장치는, 버튼, 레버, 조그휠, 스위치 등을 포함할 수 있다.
터치식 입력 장치는, 적어도 하나의 터치 센서를 포함할 수 있다. 터치 입력 장치는 터치 스크린으로 구성될 수 있다.
음성 입력 장치는, 사용자의 음성을 전기적 신호로 전환하는 마이크를 포함할 수 있다.
무선 입력 장치는, 차량(100)의 외부에서 키를 이용해 입력되는 무선(wireless) 형태의 사용자 입력을 수신할 수 있다.
입력부(420)는, 차량(100)에 포함된 도어의 열림 (open) 또는 닫힘(close)을 위한 사용자 입력을 수신할 수 있다.
전원 공급부(490)는, 프로세서(470)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 전원 공급부(490)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
도 5a 내지 도 5b는 도 4b의 영상 처리부의 내부 블록도의 다양한 예를 예시하고, 도 5c 내지 도 5d는 도 5a 내지 도 5b의 프로세서의 동작 설명에 참조되는 도면이다.
도 5a를 참조하면, 도 5a는, 영상 처리부(471)의 내부 블록도의 일예로서, 영상 처리부(471)는, 영상 전처리부(501), 디스패러티 연산부(502), 오브젝트 검출부(504), 오브젝트 트래킹부(506), 및 어플리케이션부(507)를 포함할 수 있다.
영상 전처리부(image preprocessor)(501)는, 카메라(200)로부터의 이미지를 수신하여, 전처리(preprocessing)를 수행할 수 있다.
구체적으로, 영상 전처리부(501)는, 이미지에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion;CSC), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 카메라(200)에서 촬영된 스테레오 이미지 보다 선명한 이미지를 획득할 수 있다.
디스패러티 연산부(disparity calculator)(502)는, 영상 전처리부(501)에서 신호 처리된, 이미지를 수신하고, 수신된 이미지들에 대한 스테레오 매칭(stereo matching)을 수행하며, 스테레오 매칭에 따른, 디스패러티 맵(dispartiy map)을 획득할 수 있다. 즉, 차량 전방에 대한, 스테레오 이미지에 대한 디스패러티 정보를 획득할 수 있다.
이때, 스테레오 매칭은, 스테레오 이미지들의 픽셀 단위로 또는 소정 블록 단위로 수행될 수 있다. 한편, 디스패러티 맵은, 스테레오 이미지, 즉 좌,우 이미지의 시차(時差) 정보(binocular parallax information)를 수치로 나타낸 맵을 의미할 수 있다.
세그멘테이션부(segmentation unit)(503)는, 디스패러티 연산부(502)로부터의 디스페러티 정보에 기초하여, 이미지 중 적어도 하나에 대해, 세그먼트(segment) 및 클러스터링(clustering)을 수행할 수 있다.
구체적으로, 세그멘테이션부(503)는, 디스페러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해, 배경(background)과 전경(foreground)을 분리할 수 있다.
예를 들면, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이하인 영역을, 배경으로 연산하고, 해당 부분을 제외시킬 수 있다. 이에 의해, 상대적으로 전경이 분리될 수 있다.
다른 예로, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이상인 영역을, 전경으로 연산하고, 해당 부분을 추출할 수 있다. 이에 의해, 전경이 분리될 수 있다.
이와 같이, 스테레오 이미지에 기반하여 추출된 디스페러티 정보 정보에 기초하여, 전경과 배경을 분리함으로써, 이후의, 오브젝트 검출시, 신호 처리 속도, 신호 처리 양 등을 단축할 수 있게 된다.
다음, 오브젝트 검출부(object detector)(504)는, 세그멘테이션부(503)로부터의 이미지 세그먼트에 기초하여, 오브젝트를 검출할 수 있다.
즉, 오브젝트 검출부(504)는, 디스페러티 정보 정보에 기초하여, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다.
구체적으로, 오브젝트 검출부(504)는, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 예를 들면, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다.
다음, 오브젝트 확인부(object verification unit)(505)는, 분리된 오브젝트를 분류하고(classify), 확인할 수 있다(verify).
이를 위해, 오브젝트 확인부(505)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.
한편, 오브젝트 확인부(505)는, 메모리(440)에 저장된 오브젝트들과, 검출된 오브젝트를 비교하여, 오브젝트를 확인할 수 있다.
예를 들면, 오브젝트 확인부(505)는, 차량 주변에 위치하는, 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 확인할 수 있다.
오브젝트 트래킹부(object tracking unit)(506)는, 확인된 오브젝트에 대한 트래킹을 수행할 수 있다. 예를 들면, 순차적으로, 획득되는 스테레오 이미지들에 내의, 오브젝트를 확인하고, 확인된 오브젝트의 움직임 또는 움직임 벡터를 연산하며, 연산된 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량 주변에 위치하는, 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 트래킹할 수 있게 된다.
다음, 어플리케이션부(507)는, 차량 주변에, 위치하는 다양한 오브젝트들, 예를 들면, 다른 차량, 차선, 도로면, 표지판 등에 기초하여, 차량(100)의 위험도 등을 연산할 수 있다. 또한, 앞차와의 추돌 가능성, 차량의 슬립 여부 등을 연산할 수 있다.
그리고, 어플리케이션부(507)는, 연산된 위험도, 추돌 가능성, 또는 슬립 여부 등에 기초하여, 사용자에게, 이러한 정보를 알려주기 위한, 메시지 등을, 차량 운전 보조 정보로서, 출력할 수 있다. 또는, 차량(100)의 자세 제어 또는 주행 제어를 위한 제어 신호를, 차량 제어 정보로서, 생성할 수도 있다.
한편, 실시예에 따라, 프로세서(470)는 영상 전처리부(501), 디스페러티 연산부(502), 세그먼테이션부(503), 오브젝트 검출부(504), 오브젝트 확인부(505), 오브젝트 트래킹부(506) 및 어플리케이션부(507) 중 일부만을 포함할 수 있다. 가령, 카메라(200)가 모노 카메라로 구성되는 경우, 디스패러티 연산부(502)는 제외될 수 있다. 또한, 실시예에 따라, 세그먼테이션부(503)는 제외될 수도 있다.
도 5b는 프로세서의 내부 블록도의 다른 예이다.
도면을 참조하면, 도 5b의 프로세서(470)는, 도 5a의 프로세서(470)와 내부 구성 유닛이 동일하나, 신호 처리 순서가 다른 것에 그 차이가 있다. 이하에서는 그 차이만을 기술한다.
오브젝트 검출부(504)는, 스테레오 이미지를 수신하고, 스테레오 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 도 5a와 달리, 디스패러티 정보에 기초하여, 세그먼트된 이미지에 대해, 오브젝트를 검출하는 것이 아닌, 스테레오 이미지로부터 바로 오브젝트를 검출할 수 있다.
다음, 오브젝트 확인부(object verification unit)(505)는, 세그멘테이션부(503)로부터의 이미지 세그먼트, 및 오브젝트 검출부(504)에서 검출된 오브젝트에 기초하여, 검출 및 분리된 오브젝트를 분류하고(classify), 확인한다(verify).
이를 위해, 오브젝트 확인부(505)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.
도 5c와 도 5d는, 제1 및 제2 프레임 구간에서 각각 획득된 스테레오 이미지를 기반으로 하여, 도 5a 내지 도 5b의 프로세서(470)의 동작 방법 설명을 위해 참조되는 도면이다.
먼저, 도 5c를 참조하면, 제1 프레임 구간 동안, 스테레오 카메라(200b)는, 스테레오 이미지를 획득한다.
프로세서(470) 내의 디스패러티 연산부(502)는, 영상 전처리부(501)에서 신호 처리된, 스테레오 이미지(FR1a,FR1b)를 수신하고, 수신된 스테레오 이미지(FR1a,FR1b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(520)을 획득한다.
디스패러티 맵(dispartiy map)(520)은, 스테레오 이미지(FR1a,FR1b) 사이의 시차를 레벨화한 것으로서, 디스패러티 레벨이 클수록, 차량과의 거리가 가깝고, 디스패러티 레벨이 작을수록, 차량과의 거리가 먼 것으로 연산할 수 있다.
한편, 이러한 디스패러티 맵을 디스플레이 하는 경우, 디스패러티 레벨이 클수록, 높은 휘도를 가지고, 디스패러티 레벨이 작을수록 낮은 휘도를 가지도록 표시할 수도 있다.
도면에서는, 디스패러티 맵(520) 내에, 제1 선(line) 내지 제4 선(line) (528a,528b,528c,528d) 등이 각각 해당하는 디스패러티 레벨을 가지며, 공사 지역(522), 제1 전방 차량(524), 제2 전방 차량(526)이 각각 해당하는 디스패러티 레벨을 가지는 것을 예시한다.
세그멘테이션부(503)와, 오브젝트 검출부(504), 오브젝트 확인부(505)는, 디스패러티 맵(520)에 기초하여, 스테레오 이미지(FR1a,FR1b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.
도면에서는, 디스패러티 맵(520)을 사용하여, 제2 스테레오 이미지(FR1b)에 대한, 오브젝트 검출, 및 확인이 수행되는 것을 예시한다.
즉, 이미지(530) 내에, 제1 선 내지 제4 선(538a,538b,538c,538d), 공사 지역(532), 제1 전방 차량(534), 제2 전방 차량(536)이, 오브젝트 검출 및 확인이 수행될 수 있다.
다음, 도 5d를 참조하면, 제2 프레임 구간 동안, 스테레오 카메라(200b)는, 스테레오 이미지를 획득한다.
프로세서(470) 내의 디스패러티 연산부(502)는, 영상 전처리부(501)에서 신호 처리된, 스테레오 이미지(FR2a,FR2b)를 수신하고, 수신된 스테레오 이미지(FR2a,FR2b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(540)을 획득한다.
도면에서는, 디스패러티 맵(540) 내에, 제1 차선 내지 제4 차선(548a,548b,548c,548d) 등이 각각 해당하는 디스패러티 레벨을 가지며, 공사 지역(542), 제1 전방 차량(544), 제2 전방 차량(546)이 각각 해당하는 디스패러티 레벨을 가지는 것을 예시한다.
세그멘테이션부(503)와, 오브젝트 검출부(504), 오브젝트 확인부(505)는, 디스패러티 맵(540)에 기초하여, 스테레오 이미지(FR2a,FR2b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.
도면에서는, 디스패러티 맵(540)을 사용하여, 제2 스테레오 이미지(FR2b)에 대한, 오브젝트 검출, 및 확인이 수행되는 것을 예시한다.
즉, 이미지(550) 내에, 제1 선 내지 제4 선(558a,558b,558c,558d), 공사 지역(552), 제1 전방 차량(554), 제2 전방 차량(556)이, 오브젝트 검출 및 확인이 수행될 수 있다.
한편, 오브젝트 트래킹부(506)는, 도 5a와 도 5b를 비교하여, 확인된 오브젝트에 대한 트래킹을 수행할 수 있다.
구체적으로, 오브젝트 트래킹부(506)는, 도 5a와 도 5b에서 확인된, 각 오브젝트들의 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량 주변에 위치하는, 차선, 공사 지역, 제1 전방 차량, 제2 전방 차량 등에 대한 트래킹을 수행할 수 있게 된다.
도 5e 내지 도 5f는 도 5a 내지 도 5d의 차량 운전 보조 장치의 동작 설명에 참조되는 도면이다.
먼저, 도 5e는, 차량 내부에 구비되는 스테레오 카메라(200b)에서 촬영되는 차량 전방 상황을 예시한 도면이다. 특히, 차량 전방 상황을 버드 아이 뷰(bird eye view)로 표시한다.
도면을 참조하면, 왼쪽에서 오른쪽으로, 제1 차선(642a), 제2 차선(644a), 제3 차선(646a), 제4 차선(648a)이 위치하며, 제1 차선(642a)과 제2 차선(644a) 사이에 공사 지역(610a)이 위치하며, 제2 차선(644a)과 제3 차선(646a) 사이에 제1 전방 차량(620a)가 위치하며, 제3 차선(646a)과 제4 차선(648a) 사이에, 제2 전방 차량(630a)이 배치되는 것을 알 수 있다.
다음, 도 5f는 차량 운전 보조 장치에 의해 파악되는 차량 전방 상황을 각종 정보와 함께 표시하는 것을 예시한다. 특히, 도 5d와 같은 이미지는, 차량용 디스플레이 장치(600)에서 표시될 수도 있다.
도 5f는, 도 5e와 달리, 스테레오 카메라(200)에서 촬영되는 이미지를 기반으로하여 정보 표시가 되는 것을 예시한다.
도면을 참조하면, 왼쪽에서 오른쪽으로, 제1 차선(642b), 제2 차선(644b), 제3 차선(646b), 제4 차선(648b)이 위치하며, 제1 차선(642b)과 제2 차선(644b) 사이에 공사 지역(610b)이 위치하며, 제2 차선(644b)과 제3 차선(646b) 사이에 제1 전방 차량(620b)가 위치하며, 제3 차선(646b)과 제4 차선(648b) 사이에, 제2 전방 차량(630b)이 배치되는 것을 알 수 있다.
차량용 카메라(200)는, 스테레오 카메라(200b)에서 촬영되는 스테레오 이미지를 기반으로 하여, 신호 처리하여, 공사 지역(610b), 제1 전방 차량(620b), 제2 전방 차량(630b)에 대한 오브젝트를 확인할 수 있다. 또한, 제1 차선(642b), 제2 차선(644b), 제3 차선(646b), 제4 차선(648b)을 확인할 수 있다.
한편, 도면에서는 공사 지역(610b), 제1 전방 차량(620b), 제2 전방 차량(630b)에 대한 오브젝트 확인을 나타내기 위해, 각각 테두리로 하이라이트되는 것을 예시한다.
한편, 차량용 카메라(200)는, 스테레오 카메라(200b)에서 촬영되는 스테레오 이미지를 기반으로 하여, 공사 지역(610b), 제1 전방 차량(620b), 제2 전방 차량(630b)에 대한 거리 정보를 연산할 수 있다.
도면에서는, 공사 지역(610b), 제1 전방 차량(620b), 제2 전방 차량(630b) 각각에 대응하는, 연산된 제1 거리 정보(611b), 제2 거리 정보(621b), 제3 거리 정보(631b)가 표시되는 것을 예시한다.
한편, 차량용 카메라(200)는, 제어부(170) 또는 내부 센싱부(125)로부터 차량에 대한 센서 정보를 수신할 수 있다. 특히, 차량 속도 정보, 기어 정보, 차량의 회전각(요각)이 변하는 속도를 나타내는 요 레이트 정보(yaw rate), 차량의 각도 정보를 수신할 수 있으며, 이러한 정보들을 표시할 수 있다.
도면에서는, 차량 전방 이미지 상부(670)에, 차량 속도 정보(672), 기어 정보(671), 요 레이트 정보(673)가 표시되는 것을 예시하며, 차량 전방 이미지 하부(680)에, 차량의 각도 정보(682)가 표시되는 것을 예시하나 다양한 예가 가능하다. 그 외, 차량의 폭 정보(683), 도로의 곡률 정보(681)가, 차량의 각도 정보(682)와 함께 표시될 수 있다.
도 6은 본 발명의 실시예에 따른 차량 운전 보조 장치의 동작을 설명하는데 참조되는 플로우 차트이다.
도 6을 참조하면, 프로세서(470)는, 차량 외부 영상을 획득할 수 있다(S610). 프로세서(470)는, 차량용 카메라(200)가 촬영한 차량 전방 영상을 획득할 수 있다.
프로세서(470)는, 차량 전방 영상을 기초로, 적어도 하나의 트래픽 사인(traffic sign)을 검출할 수 있다(S620).
여기서, 트래픽 사인은, 노면에 표시된 교통 신호, 교통 표지판에 표시된 교통 신호, 신호등 신호, 공사 구역 알림 신호, 타 차량에 부착된 교통 신호 및 수신 호 중 적어도 어느 하나를 포함할 수 있다.
프로세서(470)는, 차량 주행 정보를 획득할 수 있다(S630).
여기서, 차량 주행 정보는, 주행 도로 정보, 주행 차선 정보, 목적지 정보, 경로 정보, 턴 시그널 정보, 조향 정보, 방향 정보 및 차종 정보 중 적어도 어느 하나를 포함할 수 있다.
프로세서(470)는, 트래픽 사인이 주행 정보에 부합하는지 판단할 수 있다(S640).
만약, 트래픽 사인이, 주행 정보에 부합하는 경우, 프로세서(470)는, 검출된 트래픽 사인이 출력되도록 제어할 수 있다(S650).
한편, 복수의 트래픽 사인이 검출되는 경우, 프로세서(470)는, 메모리(440)에 저장된 복수의 트래픽 사인 간의 우선 순위에 따라, 복수의 트래픽 사인 중, 우선 순위가 높은 트래픽 사인이 출력되도록 제어할 수 있다.
한편, 복수의 주행 정보가 획득되는 경우, 프로세서(470)는, 메모리(440)에 저장된 복수의 주행 정보 간의 우선 순위에 따라, 복수의 주행 정보 중 우선 순위가 높은 주행 정보에 부합되는 트래픽 사인이 출력되도록 제어할 수 있다.
만약, 트래픽 사인이, 주행 정보에 부합하지 않는 경우, 프로세서(470)는, 검출된 트래픽 사인이 출력되지 않도록 제어할 수 있다(S660).
도 7은 본 발명의 실시예에 따라 트래픽 사인을 검출하는 동작을 설명하는데 참조되는 도면이다.
도 7을 참조하면, 프로세서(470)는, 카메라(200)가 촬영한 영상을 수신할 수 있다. 지시 부호 700은, 카메라(200)가 촬영한 영상 중 소정 프레임에 해당되는 이미지를 예시한다.
프로세서(470)는, 수신된 영상을 기초로, 트래픽 사인(711, 712, 713, 714, 715, 716)을 검출하여, 획득할 수 있다.
노면에는, 다양한 종류의 차선(예를 들면, 중앙선, 유턴 구역선, 버스 전용 차선, 진로변경제한선) 노상 장애물 또는 방향 지시 화살표(예를 들면, 좌회전, 직진, 우회전, 유턴) 등의 트래픽 사인이 표시될 수 있다.
프로세서(470)는, 수신된 영상에서 노면에 표시된 트래픽 사인(712)을 검출할 수 있다.
교통 표지판에는, 주의 표지, 규제 표지, 지시 표지 또는 보조 표지 등의 트래픽 사인이 표시될 수 있다.
프로세서(470)는, 수신된 영상에서, 교통 표지판에 표시된 트래픽 사인(711)을 검출할 수 있다.
프로세서(470)는, 차량 외부 영상을 기초로, 신호등에서 출력되는 광의 색 또는 신호등 상에서 출력되는 광의 위치를 검출하여, 트래픽 사인(713)을 획득할 수 있다.
프로세서(470)는, 차량 외부 영상을 기초로, 트래픽 콘, 임시 교통 표지판, 가이드 봉 및 가이드 조명 장치 중 적어도 어느 하나를 검출하여, 트래픽 사인(715)을 획득할 수 있다.
프로세서(470)는, 차량 외부 영상을 기초로, 타 차량을 검출하고, 타 차량의 차체, 범퍼, 글라스에 부착된 교통 신호 표지를 검출하여, 트래픽 사인(716)을 획득할 수 있다.
프로세서(470)는, 차량 외부 영상을 기초로, 교통 경찰관의 수신호를 검출하여, 트래픽 사인(714)을 획득할 수 있다. 예를 들면, 프로세서(470)는, 교통 경찰관의 모자, 제복의 특징점을 검출하고, 메모리(440)에 기 저장된 데이터와 비교하여, 교통 경찰관을 검출할 수 있다. 프로세서(470)는, 교통 경찰관이 검출된 상태에서, 교통 경찰관의 정해진 모션을 검출하고, 메모리(440)에 기 저장된 데이터와 비교하여, 수신호를 검출할 수 있다.
도 8은 본 발명의 실시예에 따라, 복수의 트래픽 사인이 검출되는 경우 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 8을 참조하면, 프로세서(470)는, 수신된 영상에서 복수의 트래픽 사인(811, 812, 813)을 함께 검출할 수 있다.
메모리(440)는, 복수의 트래픽 사인 간의 우선 순위를 저장할 수 있다.
프로세서(470)는, 검출된 복수의 트래픽 사인이 주행 정보에 부합되는 경우, 메모리(440)에 저장된 우선 순위에 기초하여, 복수의 트래픽 사인 중 우선 순위가 높은 트래픽 사인이 출력되도록 제어할 수 있다. 여기서, 복수의 트래픽 사인은 서로 모순되는 정보를 포함할 수 있다.
예를 들면, 프로세서(470)는, 신호등 신호에 기초한 트래픽 사인(812) 및 교통 표지판에 기초한 트래픽 사인(813)을 함께 검출할 수 있다. 이경우, 프로세서(470)는, 메모리(440)에 저장된 우선 순위에 따라, 신호등에 기초한 트래픽 사인(812)이 출력되도록 제어할 수 있다. 이때, 프로세서(470)는, 교통 표지판에 기초한 트래픽 사인(813)은 출력되지 않도록 제어할 수 있다.
예를 들면, 프로세서(470)는, 신호등에 기초한 트래픽 사인(812) 및 멈춤(stop) 신호가 표시된 교통 표지판(811)을 함께 검출할 수 있다. 이경우, 프로세서(470)는, 메모리(440)에 저장된 우선 순위에 따라, 교통 표지판(811)에 표시된 멈춤 신호가 출력되도록 제어할 수 있다.
예를 들면, 프로세서(470)는, 신호등에 기초한 트래픽 사인(812) 및 수신호(814)를 함께 검출할 수 있다. 이경우, 프로세서(470)는, 메모리(440)에 저장된 우선 순위에 따라, 수신호(814)가 출력되도록 제어할 수 있다.
도 9는 본 발명의 실시예에 따른, 트래픽 사인 출력 동작을 설명하는데 참조되는 도면이다.
도 9를 참조하면, 프로세서(470)는, 트래픽 사인(931, 932)이 표시되도록 디스플레이부(451)를 제어할 수 있다. 구체적으로, 프로세서(470)는, 트래픽 사인에 대응되는 그래픽 이미지(931, 932)가 표시되도록 디스플레이부(451)를 제어할 수 있다.
예를 들면, 프로세서(470)는, 검출된 트래픽 사인에 대응되는 텍스트(931)가 표시되도록 디스플레이부(451)를 제어할 수 있다.
예를 들면, 프로세서(470)는, 검출된 트래픽 사인에 대응되는 이미지(932)가 표시되도록 디스플레이부(451)를 제어할 수 있다. 여기서, 이미지(932)는, 프로세서(470)가 카메라(200)로부터 수신된 이미지 중 트래픽 사인 영역만 캡쳐한 이미지일 수 있다.
한편, 프로세서(470)는 음향 출력부(452)를 통해, 트래픽 사인을 출력할 수 있다.
예를 들면, 프로세서(470)는, 트래픽 사인에 대응되는 내용을 음성으로 출력할 수 있다.
도 10은 본 발명의 실시예에 따라, 복수의 주행 정보 획득시 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 10을 참조하면, 프로세서(470)는 복수의 주행 정보를 수신할 수 있다. 복수의 주행 정보는 서로 모순되는 정보일 수 있다.
도 10에 예시된 바와 같이, 교차로 진입 전에, 프로세서(470)는, 목적지 정보와 우측 턴 시그널 정보를 수신할 수 있다. 목적지 정보는, 교차로에서 직진 방향을 나타 낸다. 차량(100)이 가장 우측에 위치한 차선 주행 중에 우측 턴 시그널 입력이 수신될 수 있다.
한편, 프로세서(470)는, 직진을 나타내는 제1 신호등(1011)의 트래픽 사인 및 우회전을 나타내는 제2 신호등(1012)의 트래픽 사인을 검출할 수 있다.
한편, 메모리(440)에는, 턴 시그널 정보가 목적지 정보보다 높은 우선 순위로 우선 순위가 저장될 수 있다.
프로세서(470)는, 제1 신호등(1011) 및 제2 신호등(1012)이 턴 시그널 정보에 부합되는지 판단할 수 있다. 제1 신호등(1011)은 직진을 위한 신호등이므로, 턴 시그널 정보에 부합되지 않는다. 제2 신호등(1012)은 우회전을 위한 신호등이므로, 턴 시그널 정보에 부합된다.
프로세서(470)는, 턴 시그널 정보에 부합되는 제2 신호등(1012)의 트래픽 사인이 출력되도록 출력부(450)를 제어할 수 있다.
이와 같이, 제어함에 따라, 차량 운전 보조 장치(400)는, 운전자의 의도에 적합한 트래픽 사인은 출력하고, 운전자의 의도에 적합하지 않는 트래픽 사인은 출력하지 않을 수 있다.
도 11은 본 발명의 실시예에 따라, 복수의 트래픽 사인과의 거리에 기초하여 트래픽 사인을 출력하는 동작을 설명하는데 참조되는 도면이다.
도 11을 참조하면, 프로세서(470)는, 수신되는 영상을 기초로, 복수의 트래픽 사인(1111, 1112)을 검출할 수 있다. 복수의 트래픽 사인(1111, 1112)에 각각 포함되는 정보는 모순될 수 있다.
프로세서(470)는 차량(100)과 복수의 트래픽 사인(1111, 1112) 각각의 거리를 산출할 수 있다.
검출된 복수의 트래픽 사인이 차량의 주행 정보에 부합되는 경우, 프로세서(470)는, 복수의 트래픽 사인 중, 차량(100)에 가장 근접한 트래픽 사인(1111)이 출력되도록 출력부(450)를 제어할 수 있다.
차량(100)에 가장 근접한 트래픽 사인(1111)이 차량 주행 시점에 차량에 적용되어야하는 정보를 포함한다. 이경우, 차량(100)에 가장 적합한 정보를 운전자에게 제공할 수 있는 효과가 있다.
도 12는 본 발명의 실시예에 따라, 복수의 트래픽 사인이 검출되는 경우 트래픽 사인을 출력하는 동작을 설명하는데 참조되는 도면이다.
도 12를 참조하면, 프로세서(470)는, 수신되는 영상에서, 제1 트래픽 사인(1211) 및 제2 트래픽 사인(1212)을 함께 검출할 수 있다.
제1 트래픽 사인은, 직진을 위한 신호등에 기초한 트래픽 사인일 수 있다. 제2 트래픽 사인은, 비보호 좌회전을 나타내는 교통 표지판일 수 있다.
프로세서(470)는, 차량(100)의 경로 정보를 수신할 수 있다. 경로 정보에 의하면, 차량(100)이 직진하여야 하는 경우, 프로세서(470)는, 경로 정보에 부합되는 제1 트래픽 사인이 출력되도록 출력부(450)를 제어할 수 있다. 또한, 프로세서(470)는, 경로 정보에 부합되지 않는 제2 트래픽 사인은 출력되지 않도록 제어할 수 있다.
도 13은 본 발명의 실시예에 따라, 알람을 출력하는 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 13을 참조하면, 프로세서(470)는, 인터페이스부(430)를 통해, 운전 조작 신호에 기초한 차량의 상태 정보를 수신할 수 있다.
프로세서(470)는, 상기 상태 정보가, 출력되는 트래픽 사인 정보에 부합되는지 판단할 수 있다.
만약, 상기 상태 정보가 출력되는 트래픽 사인 정보에 부합되지 않는 경우, 프로세서(470)는, 출력부(450)를 통해, 알람을 출력할 수 있다.
도 13에 예시된 바와 같이, 프로세서(470)는, 수신된 영상에서 교통 표지판에 표시된 제한 속도 트래픽 사인을 검출할 수 있다. 트래픽 사인이, 차량 주행 정보에 부합되는 경우, 프로세서(470)는, 트래픽 사인이 출력되도록 제어할 수 있다.
이후에, 프로세서(470)는, 운전 조작 신호에 기초한 차량의 주행 속도 정보를 수신할 수 있다. 만약, 차량의 주행 속도가, 트래픽 사인에 대응되는 제한 속도를 벗어나는 경우, 프로세서(470)는, 출력부(450)를 통해, 알람을 출력할 수 있다.
도 14는 본 발명의 실시예에 따라, 램프 웨이 진입시 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 14를 참조하면, 프로세서(470)는, 램프 웨이 진입 상황 정보를 획득할 수 있다.
프로세서(470)는, 내비게이션 정보를 수신하여, 램프 웨이 진입 상황 정보를 획득할 수 있다. 또는, 프로세서(470)는, 차량 외부 영상에서 검출된 도로 형상에 기초하여 램프 웨이 진입 상황 정보를 획득할 수 있다. 또는, 프로세서(470)는, 램프 웨이가 표시된 교통 표지판을 검출하여, 램프 웨이 진입 상황 정보를 획득할 수 있다.
프로세서(470)는, 램프 웨이를 형성하는 복수의 경로 상에 각각 배치된 복수의 트래픽 사인 중, 주행 정보에 부합되는 트래픽 사인이 출력되도록 제어할 수 있다.
도 14에 예시된 바와 같이, 프로세서(470)는, 수신된 영상에서, 제1 트래픽 사인(1411), 제2 트래픽 사인(1412) 및 제3 트래픽 사인(1413)을 검출할 수 있다.
제1 트래픽 사인(1411)은, 램프 웨이를 형성하는 경로 중 제1 경로에 대응된다. 즉, 제1 트래픽 사인(1411)은, 제1 경로를 주행하는 차량에 제공되는 신호이다.
제2 트래픽 사인(1412) 및 제3 트래픽 사인(1413)은, 램프 웨이를 형성하는 경로 중 제2 경로에 대응된다. 즉, 제2 트래픽 사인(1412) 및 제3 트래픽 사인(1413)은, 제2 경로를 주행하는 차량에 제공되는 신호이다.
프로세서(470)는, 차량 주행 정보를 수신할 수 있다. 차량 주행 정보는, 주행 도로 정보, 주행 차선 정보, 목적지 정보, 경로 정보, 턴 시그널 정보, 조향 정보, 방향 정보 및 차종 정보 중 적어도 어느 하나를 포함할 수 있다.
프로세서(470)는, 차량 주행 정보를 기초로, 제1 경로 및 제2 경로 중 어느 하나를 선택할 수 있다. 예를 들면, 프로세서(470)는, 주행 차선 정보, 목적지 정보, 경로 정보, 턴 시그널 정보, 조향 정보 및 방향 정보 중 적어도 어느 하나에 기초하여, 제1 경로 및 제2 경로 중 어느 하나를 선택할 수 있다.
제1 경로가 선택되는 경우, 프로세서(470)는, 제1 경로에 대응되는 제1 트래픽 사인(1411)이 출력되도록 출력부(450)를 제어할 수 있다.
도 15는 본 발명의 실시예에 따라, 복수의 신호등이 검출되는 경우, 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 15를 참조하면, 프로세서(470)는, 수신된 영상을 기초로, 제1 신호등(1511) 및 제2 신호등(1512)을 검출할 수 있다.
프로세서(470)는, 차량(100)과 제1 신호등(1511)과의 거리를 산출할 수 있다. 프로세서(470)는, 차량(100)과 제2 신호등(1512)과의 거리를 산출할 수 있다. 도 15에 예시된 바와 같이, 제1 신호등(1511)이 제2 신호등(1512)보다 차량(100)에 더 근접할 수 있다.
프로세서(470)는, 제1 신호등(1511) 및 제2 신호등(1512)이 차량의 주행 정보에 부합되는지 판단할 수 있다.
만약, 제1 신호등(1511) 및 제2 신호등(1512)이 차량의 주행 정보에 부합되는 경우, 프로세서(470)는, 제1 신호등(1511)에 대응되는 트래픽 사인이 출력되도록 제할 수 있다.
제1 신호등(1511)의 트래픽 사인은 고(Go)이고, 제2 신호등(1512)의 트래픽 사인은 스탑(Stop)인 상태에서, 제1 신호등(1511)의 트래픽 사인과 제2 신호등(1512)의 트래픽 사인이 모두 출력되는 경우, 운전자는 혼동될 수 있다. 이때, 차량(100)에 근접한 제1 신호등(1511)의 트래픽 사인만 출력하여, 운전자의 혼동을 방지할 수 있다.
도 16은 본 발명의 실시예에 따라, 차선 정보에 부합되는 트래픽 사인을 출력하는 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 16을 참조하면, 차량(100)은, 도로에 있는 복수의 차선(1621, 1622, 1623) 중 어느 하나의 차선에서 주행할 수 있다. 교차로에 근접한 경우, 복수의 차선 각각은, 좌회전 차선(1621), 직진 차선(1622) 및 우회전 차선(1623)으로 정의될 수 있다.
프로세서(470)는, 복수의 차선(1621, 1622, 1623) 중 차량(100)이 주행 중인 차선 정보를 획득할 수 있다. 예를 들면, 프로세서(470)는, 내비게이션 정보를 수신하여, 주행 중인 차선 정보를 획득할 수 있다. 예를 들면, 프로세서(470)는, 수신된 영상에서 차선을 검출하여, 주행 중인 차선 정보를 획득할 수 있다.
한편, 프로세서(470)는, 차량 전방 영상을 기초로, 복수의 트래픽 사인(1611, 1612, 1613)을 검출할 수 있다.
프로세서(470)는, 복수의 트래픽 사인(1611, 1612, 1613) 중, 주행 중인 차선 정보에 부합되는 트래픽 사인이 출력되도록 제어할 수 있다.
예를 들면, 복수의 트래픽 사인은, 차량(100)의 비보호 좌회전을 위한 교통 표지판에 기초한 제1 트래픽 사인(1611) 및 차량(100)의 직진을 위한 신호등에 기초한 제2 트래픽 사인(1612)을 포함할 수 있다.
만약, 차량(100)이 좌회전 차선(1621)에서 주행 중인 경우, 프로세서(470)는, 차량(100)이 좌회전 차선(1621) 주행 중인 상황 정보를 획득할 수 있다.
프로세서(470)는, 제1 트래픽 사인(1611) 및 제2 트래픽 사인(1612)이 좌회전 차선(1621) 주행 중인 상황 정보에 부합되는지 판단할 수 있다. 본 실시예에서, 제1 트래픽 사인(1611)은 상황 정보에 부합되고, 제2 트래픽 사인(1612)은 상황 정보에 부합되지 않는다.
프로세서(470)는, 제1 트래픽 사인이 출력되고, 제2 트래픽 사인이 출력되지 않도록 제어할 수 있다.
다른 예를 들면, 복수의 트래픽 사인은, 차량(100)의 우회전 주행을 위한 제1 신호등에 기초한 제1 트래픽 사인(1613) 및 차량(100)의 직진 주행을 위한 제2 신호등에 기초한 제2 트래픽 사인(1612)을 포함할 수 있다.
만약, 차량(100)이 우회전 차선(1623)에서 주행 중인 경우, 프로세서(470)는, 차량(100)이 우회전 차선(1623) 주행 중인 상황 정보를 획득할 수 있다.
프로세서(470)는, 제1 트래픽 사인(1613) 및 제2 트래픽 사인(1612)이 우회전 차선(1623) 주행 중인 상황 정보에 부합되는지 판단할 수 있다. 본 실시예에서, 제1 트래픽 사인(1613)은 상황 정보에 부합되고, 제2 트래픽 사인(1612)은 상황 정보에 부합되지 않는다.
프로세서(470)는, 제1 트래픽 사인이 출력되고, 제2 트래픽 사인이 출력되지 않도록 제어할 수 있다.
도 17은 본 발명의 실시예에 따라, 정체 구간에서의 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 17을 참조하면, 프로세서(470)는, 주행 속도 정보를 획득할 수 있다. 프로세서(470)는, 주행 속도가 기준 속도 이하인 경우, 트래픽 사인(1710)이 주행 정보에 부합되는 경우에도, 트래픽 사인(1710)이 출력되지 않도록 제어할 수 있다.
이경우, 트래픽 사인(1710)은, 차량(100)과 기준 거리 이상 떨어져있을 수 있다.
교통량이 많아, 주행 속도가 기준 속도 이하인 상태에서, 차량(100)과 기준 거리 이상 떨어진 트래픽 사인(1710)은 정체 상황에 적합하지 않다. 이경우, 정체 상황에 적합하지 않은 트래픽 사인(1710)을 출력하지 않음으로써, 운전자의 혼동을 예방할 수 있다.
도 18은 본 발명의 실시예에 따라, 차종에 따른 차량 운전 보조 장치의 동작을 설명하는데 참조되는 도면이다.
도 18을 참조하면, 같은 도로에서 주행 중인 경우에도, 차량(100)의 종류에 따라, 제공되어야 하는 트래픽 사인은 달라질 수 있다.
예를 들어, 같은 고속도로를 주행하는 경우, 주행하는 차량이 승용차인지 화물차인지에 따라 제한속도가 달라질 수 있다.
도 18에 예시된 바와 같이, 승용차의 제한 속도는 시속 100km이고, 화물차의 제한 속도는 시속 60km일 수 있다. 이경우, 고속도로에는, 승용차를 위한 제1 교통 표지판(1811)과 화물차를 위한 제2 교통 표지판(1812)이 함께 배치될 수 있다.
프로세서(470)는, 제1 교통 표지판(1811)에 기초한 제1 트래픽 사인 및 제2 교통 표지판(1812)에 기초한 제2 트래픽 사인을 함께 검출할 수 있다.
프로세서(470)는, 제1 트래픽 사인 및 제2 트래픽 사인이, 차량 주행 정보인 차종 정보에 부합되는지 판단할 수 있다. 차종 정보는 차량(100)의 메모리(130)에 저장될 수 있다.
만약, 차량(100)이 승용차인 경우, 제1 트래픽 사인은 차종 정보에 부합되고, 제2 트래픽 사인은 차종 정보에 부합되지 않는다.
프로세서(470)는, 차종 정보에 부합되는 제1 트래픽 사인이 출력되도록 제어하고, 차종 정보에 부합되지 않는 제2 트래픽 사인이 출력되지 않도록 제어할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 차량 전방 영상을 획득하는 카메라;
    출력부; 및
    상기 차량 전방 영상을 기초로, 적어도 하나의 트래픽 사인(traffic sign)을 검출하고,
    상기 트래픽 사인이, 차량의 주행 정보에 부합되는지 판단하고,
    상기 트래픽 사인이, 상기 주행 정보에 부합되는 경우, 상기 출력부를 통해 상기 트래픽 사인이 출력되도록 제어하는 프로세서;를 포함하는 차량 운전 보조 장치.
  2. 제 1항에 있어서,
    상기 프로세서는,
    상기 트래픽 사인이, 상기 주행 정보에 부합되지 않는 경우, 상기 트래픽 사인이 출력되지 않도록 제어하는 차량 운전 보조 장치.
  3. 제 1항에 있어서,
    인터페이스부;를 더 포함하고,
    상기 프로세서는,
    상기 트래픽 사인이, 상기 주행 정보에 부합되는 경우, 상기 트래픽 사인에 기초하여, 상기 인터페이스부를 통해, 조향 제어 신호, 가속 제어 신호 및 제동 제어 신호 중 적어도 어느 하나를 제공하는 차량 운전 보조 장치.
  4. 제 1항에 있어서,
    상기 트래픽 사인은,
    노면에 표시된 교통 신호, 교통 표지판에 표시된 교통 신호, 신호등 신호, 공사 구역 알림 신호, 타 차량에 부착된 교통 신호 및 수신호(hand signal) 중 적어도 어느 하나를 포함하는 차량 운전 보조 장치.
  5. 제 4항에 있어서,
    복수의 트래픽 사인간의 우선 순위를 저장하는 메모리;를 더 포함하고,
    상기 프로세서는,
    복수의 트래픽 사인이 상기 주행 정보에 부합되는 경우, 상기 우선 순위에 기초하여, 복수의 트래픽 사인 중 우선 순위가 높은 트래픽 사인이 출력되도록 제어하는 차량 운전 보조 장치.
  6. 제 5항에 있어서,
    상기 메모리는,
    상기 신호등 신호를, 상기 노면에 표시된 교통 신호 또는 상기 교통 표지판에 표시된 교통 신호보다 선순위로 상기 우선 순위를 저장하고는 차량 운전 보조 장치.
  7. 제 5항에 있어서,
    상기 메모리는,
    상기 수신호를, 상기 신호등 신호보다 선순위로 상기 우선 순위를 저장하는 차량 운전 보조 장치.
  8. 제 5항에 있어서,
    상기 메모리는,
    교통 표지판에 표시된 멈춤(stop) 신호를 최우선 순위로 상기 우선 순위를 저장하는 차량 운전 보조 장치.
  9. 제 1항에 있어서,
    상기 주행 정보는,
    주행 도로 정보, 주행 차선 정보, 목적지 정보, 경로 정보, 턴 시그널 정보, 조향 정보, 방향 정보 및 차종 정보 중 적어도 어느 하나를 포함하는 차량 운전 보조 장치.
  10. 제 9항에 있어서,
    복수의 주행 정보간의 우선 순위를 저장하는 메모리;를 더 포함하고,
    상기 프로세서는,
    복수의 주행 정보가 획득되는 경우, 상기 우선 순위에 기초하여, 상기 트래픽 사인이, 상기 복수의 주행 정보 중 우선 순위가 높은 주행 정보에 부합되는지 판단하는 차량 운전 보조 장치.
  11. 제 10항에 있어서,
    상기 메모리는,
    상기 턴 시그널 정보가 상기 목적지 정보보다 선순위로 상기 우선 순위를 저장하고,
    상기 프로세서는,
    상기 턴 시그널 정보와 상기 목적지 정보가 서로 부합되지 않는 경우, 상기 트래픽 사인이, 상기 턴 시그널 정보에 부합되는지 판단하는 차량 운전 보조 장치.
  12. 제 1항에 있어서,
    상기 프로세서는,
    상기 차량 전방 영상을 기초로, 복수의 트래픽 사인을 검출하고,
    차량과 상기 복수의 트래픽 사인 각각의 거리를 산출하고,
    상기 주행 정보에 부합되는 상기 복수의 트래픽 사인 중, 상기 차량에 가장 근접한 트래픽 사인이 출력되도록 제어하는 차량 운전 보조 장치.
  13. 제 1항에 있어서,
    상기 프로세서는,
    상기 차량 전방 영상을 기초로, 제1 트래픽 사인 및 제2 트래픽 사인을 검출하고,
    상기 제1 트래픽 사인이 상기 주행 정보에 부합되고, 상기 제2 트래픽 사인이 상기 주행 정보에 부합되지 않는 경우,
    상기 출력부를 통해, 상기 제1 트래픽 사인이 출력되고, 상기 제2 트래픽 사인이 출력되지 않도록 제어하는 차량 운전 보조 장치.
  14. 제 1항에 있어서,
    인터페이스부;를 더 포함하고,
    상기 프로세서는,
    상기 인터페이스부를 통해, 운전 조작 신호에 기초한 차량의 상태 정보가, 출력되는 트래픽 사인 정보와 부합되지 않는 경우, 상기 출력부를 통해 알람을 출력하는 차량 운전 보조 장치.
  15. 제 1항에 있어서,
    상기 프로세서는,
    램프 웨이 진입 상황 정보를 획득하고,
    상기 램프 웨이를 형성하는 복수의 경로 상에 각각 배치된 복수의 트래픽 사인 중, 상기 주행 정보에 부합되는 트래픽 사인이 출력되도록 제어하는 차량 운전 보조 장치.
  16. 제 1항에 있어서,
    상기 프로세서는,
    상기 차량 전방 영상을 기초로, 복수의 신호등을 검출하고,
    상기 주행 정보에 부합되는 복수의 신호등 중, 차량에 가장 근접한 신호등에서 생성되는 트래픽 사인이 출력되도록 제어하는 차량 운전 보조 장치.
  17. 제 1항에 있어서,
    상기 프로세서는,
    차량이 주행 중인 차선 정보를 획득하고,
    상기 차량 전방 영상을 기초로, 복수의 트래픽 사인을 검출하고,
    상기 복수의 트래픽 사인 중, 상기 차선 정보에 부합되는 트래픽 사인이 출력되도록 제어하는 차량 운전 보조 장치.
  18. 제 17항에 있어서,
    상기 복수의 트래픽 사인은,
    차량의 비보호 좌회전을 위한 교통 표지판에 기초한 제1 트래픽 사인 및 차량의 직진을 위한 신호등에 기초한 제2 트래픽 사인을 포함하고,
    상기 프로세서는,
    차량이 좌회전 차선에서 주행 중인 상황 정보를 획득하고,
    상기 제1 트래픽 사인이 출력되고, 상기 제2 트래픽 사인이 출력되지 않도록 제어하는 차량 운전 보조 장치.
  19. 제 17항에 있어서,
    상기 복수의 트래픽 사인은,
    차량의 우회전을 위한 제1 신호등에 기초한 제1 트래픽 사인 및 차량의 직진을 위한 제2 신호등에 기초한 제2 트래픽 사인을 포함하고,
    상기 프로세서는,
    차량이 우회전 차선에서 주행 중인 상황 정보를 획득하고,
    상기 제1 트래픽 사인이 출력되고, 상기 제2 트래픽 사인이 출력되지 않도록 제어하는 차량 운전 보조 장치.
  20. 제 1항에 있어서,
    상기 프로세서는,
    주행 속도 정보를 획득하고,
    차량의 주행 속도가 기준 속도 이하인 경우, 상기 트래픽 사인이, 상기 주행 정보에 부합되는 경우에도, 상기 트래픽 사인이 출력되지 않도록 제어하는 차량 운전 보조 장치.
PCT/KR2016/013737 2016-05-18 2016-11-26 차량 운전 보조 장치 및 차량 WO2017200162A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/302,418 US10919528B2 (en) 2016-05-18 2016-11-26 Vehicle driving assistance device and vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0060974 2016-05-18
KR1020160060974A KR101843774B1 (ko) 2016-05-18 2016-05-18 차량 운전 보조 장치 및 차량

Publications (1)

Publication Number Publication Date
WO2017200162A1 true WO2017200162A1 (ko) 2017-11-23

Family

ID=60325308

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/013737 WO2017200162A1 (ko) 2016-05-18 2016-11-26 차량 운전 보조 장치 및 차량

Country Status (3)

Country Link
US (1) US10919528B2 (ko)
KR (1) KR101843774B1 (ko)
WO (1) WO2017200162A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021530824A (ja) * 2018-07-28 2021-11-11 シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド スマート運転制御方法及び装置、車両、電子機器、媒体、製品

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11197042B2 (en) * 2017-12-20 2021-12-07 Intel Corporation Distributed 3D video for navigation
US10754336B2 (en) 2018-05-04 2020-08-25 Waymo Llc Using environmental information to estimate sensor functionality for autonomous vehicles
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US20220009499A1 (en) * 2018-12-07 2022-01-13 Hitachi Astemo, Ltd. Vehicle control system
KR102407317B1 (ko) 2019-07-12 2022-06-13 콘티넨탈 오토모티브 코리아(주) 차량 제어 시스템 및 그의 동작 방법
KR20210043800A (ko) * 2019-10-11 2021-04-22 현대자동차주식회사 군집 주행 제어 장치 및 그 방법
KR102200320B1 (ko) * 2019-11-26 2021-01-08 광주과학기술원 경광봉 인식 시스템 및 이를 이용한 경광봉 인식 방법
KR102367952B1 (ko) * 2020-03-19 2022-03-03 주식회사 만도모빌리티솔루션즈 비전 시스템, 그를 가지는 차량 및 그 제어 방법
US20210370933A1 (en) * 2020-05-29 2021-12-02 Here Global B.V. Methods and systems for validating path data
CN111931683B (zh) * 2020-08-25 2023-09-05 腾讯科技（深圳）有限公司 图像识别方法、装置及计算机可读存储介质
JP7384130B2 (ja) * 2020-08-31 2023-11-21 トヨタ自動車株式会社 車両の運転支援装置、車両の運転支援方法、およびプログラム
JP7470024B2 (ja) 2020-12-02 2024-04-17 株式会社Soken 画像認識装置及び画像認識方法
US11590880B1 (en) 2022-05-13 2023-02-28 Rivian Ip Holdings, Llc Predictive illumination shaping
KR20240000117A (ko) 2022-06-23 2024-01-02 성균관대학교산학협력단 다수의 데이터 처리 장치를 이용하는 중앙 데이터 처리 장치 및 이를 이용한 데이터 처리 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299570A (ja) * 2007-05-31 2008-12-11 Aisin Aw Co Ltd 運転支援装置
KR101155270B1 (ko) * 2006-01-11 2012-06-18 주식회사 현대오토넷 영상인식을 이용한 신호등 변경 통보 시스템 및 방법
KR20120084749A (ko) * 2009-10-05 2012-07-30 콘티 테믹 마이크로일렉트로닉 게엠베하 차도 표시 인식을 위한 카메라가 장착된 차량용 운전자 지원 시스템
KR20130118610A (ko) * 2012-04-20 2013-10-30 에스엘 주식회사 차량용 감지장치
KR20150106158A (ko) * 2014-03-11 2015-09-21 주식회사 만도 전용차로 위반 경고 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19842176A1 (de) * 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
US8064643B2 (en) * 2006-12-06 2011-11-22 Mobileye Technologies Limited Detecting and recognizing traffic signs
JP4941234B2 (ja) * 2007-10-31 2012-05-30 株式会社エクォス・リサーチ 道路標識表示装置
JP5078677B2 (ja) * 2008-03-04 2012-11-21 アルパイン株式会社 ナビゲーションシステム
DE102011081456A1 (de) * 2011-08-24 2013-02-28 Ford Global Technologies, Llc Vorrichtung und Verfahren zur Verkehrszeichenerkennung
WO2014115563A1 (ja) * 2013-01-28 2014-07-31 日本電気株式会社 運転支援装置、運転支援方法、および運転支援プログラムを記憶する記録媒体
JP6074315B2 (ja) * 2013-04-23 2017-02-01 富士重工業株式会社 車外環境認識装置
US9195895B1 (en) * 2014-05-14 2015-11-24 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signs
WO2016080913A1 (en) * 2014-11-18 2016-05-26 Agency For Science, Technology And Research Method and device for traffic sign recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101155270B1 (ko) * 2006-01-11 2012-06-18 주식회사 현대오토넷 영상인식을 이용한 신호등 변경 통보 시스템 및 방법
JP2008299570A (ja) * 2007-05-31 2008-12-11 Aisin Aw Co Ltd 運転支援装置
KR20120084749A (ko) * 2009-10-05 2012-07-30 콘티 테믹 마이크로일렉트로닉 게엠베하 차도 표시 인식을 위한 카메라가 장착된 차량용 운전자 지원 시스템
KR20130118610A (ko) * 2012-04-20 2013-10-30 에스엘 주식회사 차량용 감지장치
KR20150106158A (ko) * 2014-03-11 2015-09-21 주식회사 만도 전용차로 위반 경고 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021530824A (ja) * 2018-07-28 2021-11-11 シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド スマート運転制御方法及び装置、車両、電子機器、媒体、製品

Also Published As

Publication number Publication date
KR20170130197A (ko) 2017-11-28
US20190276022A1 (en) 2019-09-12
US10919528B2 (en) 2021-02-16
KR101843774B1 (ko) 2018-03-30

Similar Documents

Publication Publication Date Title
WO2017200162A1 (ko) 차량 운전 보조 장치 및 차량
WO2017183797A1 (ko) 차량용 운전 보조 장치
WO2018088615A1 (ko) 차량 주행 제어 장치 및 방법
WO2017209313A1 (ko) 차량용 디스플레이 장치 및 차량
WO2018066741A1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
WO2018079919A1 (ko) 자율 주행 차량 및 자율 주행 차량의 동작 방법
WO2018131949A1 (ko) 어라운드뷰 제공장치
WO2017138702A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2018070583A1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
WO2018012674A1 (en) Driver assistance apparatus and vehicle having the same
WO2017094952A1 (ko) 차량 외부 알람방법, 이를 실행하는 차량 운전 보조장치 및 이를 포함하는 차량
WO2019031851A1 (ko) 지도 제공 장치
WO2018230768A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2018088647A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2019117333A1 (ko) 차량에 구비된 디스플레이 장치 및 디스플레이 장치의 제어방법
WO2017030240A1 (ko) 차량 보조 장치 및 차량
WO2018056515A1 (ko) 차량용 카메라 장치 및 방법
WO2019098434A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2016182275A1 (en) Autonomous driving apparatus and vehicle including the same
WO2017217575A1 (ko) 차량에 구비된 제어장치 및 이의 제어방법
WO2017022881A1 (ko) 차량 및 그 제어방법
WO2019035652A1 (en) DRIVING ASSISTANCE SYSTEM AND VEHICLE COMPRISING THE SAME
WO2018124403A1 (ko) 차량용 카메라 장치 및 차량
WO2018110789A1 (en) Vehicle controlling technology
WO2018186709A1 (ko) 차량용 헤드 업 디스플레이 장치

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16902529

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16902529

Country of ref document: EP

Kind code of ref document: A1