WO2017209313A1 - 차량용 디스플레이 장치 및 차량 - Google Patents

차량용 디스플레이 장치 및 차량 Download PDF

Info

Publication number
WO2017209313A1
WO2017209313A1 PCT/KR2016/005681 KR2016005681W WO2017209313A1 WO 2017209313 A1 WO2017209313 A1 WO 2017209313A1 KR 2016005681 W KR2016005681 W KR 2016005681W WO 2017209313 A1 WO2017209313 A1 WO 2017209313A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
information
processor
display
unit
Prior art date
Application number
PCT/KR2016/005681
Other languages
English (en)
French (fr)
Inventor
최성환
이재호
김일완
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2016/005681 priority Critical patent/WO2017209313A1/ko
Priority to KR1020187033730A priority patent/KR102201290B1/ko
Priority to US16/306,375 priority patent/US11242068B2/en
Publication of WO2017209313A1 publication Critical patent/WO2017209313A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/188—Displaying information using colour changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • B60W2754/10—Spatial relation or speed relative to objects

Definitions

  • the present invention relates to a display device and a vehicle provided in a vehicle.
  • the vehicle is a device for moving in the direction desired by the user on board.
  • An example is a car.
  • ADAS Advanced Driver Assistance System
  • an embodiment of the present invention is to provide a vehicle display apparatus for displaying a graphic object corresponding to the object being hidden.
  • the display unit An interface unit; And when the second object is located between the vehicle and the first object, and receives information about the first object and the information about the second object located outside the vehicle through the interface unit. And a processor that controls the graphic object corresponding to the to be displayed on the display unit.
  • the driver can recognize the object.
  • 1A is a diagram illustrating an appearance of a vehicle according to an exemplary embodiment of the present invention.
  • 1B is a diagram illustrating the interior of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a block diagram referred to to explain a vehicle according to an embodiment of the present invention.
  • FIG. 3A is a perspective view of a vehicle camera according to an embodiment of the present invention.
  • 3B is an exploded perspective view of a vehicle camera according to an embodiment of the present invention.
  • FIG. 3C is a cutaway side view of the vehicular camera cut along A-B of FIG. 3A, in accordance with an embodiment of the invention.
  • FIGS. 4A-4B illustrate various examples of internal block diagrams of the processor of FIGS. 3A-3F
  • FIGS. 5A-5D are diagrams for reference to an operation description of the processor of FIGS. 4A-4B.
  • FIG. 6 is a block diagram referred to describe a vehicle display apparatus according to an embodiment of the present invention.
  • FIG. 7 is a diagram referred to for describing an internal configuration of a processor according to an embodiment of the present invention.
  • FIG 8 to 9 are views for explaining a situation in which another vehicle is covered by the road slope before the vehicle enters the slope according to an embodiment of the present invention.
  • FIGS. 8 to 9 are views referred to for describing graphic objects displayed in the context of FIGS. 8 to 9, according to an embodiment of the present invention.
  • FIG. 11 is a view referred to for explaining a situation where another vehicle is covered by a building before entering an intersection according to an exemplary embodiment of the present invention.
  • FIG. 12 is a diagram referred to in describing a graphic object displayed in the context of FIG. 11, according to an embodiment of the present invention.
  • FIG. 12 is a diagram referred to in describing a graphic object displayed in the context of FIG. 11, according to an embodiment of the present invention.
  • FIG. 13 is a diagram referred to describe a situation in which a pedestrian is covered by another vehicle while driving, according to an exemplary embodiment of the present invention.
  • FIG. 14 is a diagram referred to in describing the graphical object displayed in the context of FIG. 13, according to an embodiment of the invention.
  • FIG. 15 is a view referred to for explaining a situation in which another vehicle before the vehicle enters a corner, is covered by the terrain around the road, according to an embodiment of the present invention.
  • FIG. 16 is a diagram referred to in describing a graphic object displayed in the context of FIG. 15, according to an embodiment of the present disclosure.
  • 17 is a diagram referred to describe various graphic objects according to an embodiment of the present invention.
  • FIG. 19 is a conceptual diagram illustrating an operation of a vehicle display apparatus 600 implementing an augmented reality image through the wind shield 10 according to an embodiment of the present invention.
  • the vehicle described herein may be a concept including an automobile and a motorcycle.
  • a vehicle is mainly described for a vehicle.
  • the vehicle described herein may be a concept including both an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the left side of the vehicle means the left side of the driving direction of the vehicle
  • the right side of the vehicle means the right side of the driving direction of the vehicle
  • 1A is a diagram illustrating an appearance of a vehicle according to an exemplary embodiment of the present invention.
  • 1B is a diagram illustrating the interior of a vehicle according to an embodiment of the present invention.
  • the vehicle 100 may include a wheel that rotates by a power source and a steering input device for adjusting a traveling direction of the vehicle 100.
  • the vehicle 100 may be an autonomous vehicle. In the case of the autonomous vehicle, it may be switched to the autonomous driving mode or the manual mode according to the user input. When switching to the manual mode, the autonomous vehicle 100 may receive a steering input through the steering input device.
  • the vehicle 100 may include a vehicle driving assistance apparatus 400.
  • the vehicle driving assistance apparatus 400 is a device that assists a driver based on information obtained from various sensors.
  • the vehicle driving assistance apparatus 400 may be referred to as an advanced driver assistance system (ADAS).
  • ADAS advanced driver assistance system
  • the vehicle 100 may include an inner sensing unit 125 and an outer sensing unit 126.
  • the external sensing unit 126 may detect an object located outside the vehicle 100.
  • the external sensing unit 126 may be classified as a sub component of the vehicle driving assistance apparatus 400.
  • a sensor used in the vehicle driving assistance apparatus 400 will be described based on the vehicle camera 200, but is not limited thereto.
  • a radar 201, a LiDar 202, an ultrasonic sensor 203, and the like may be used.
  • the vehicle camera 200 used in the vehicle driving assistance device 400 is illustrated as being mounted to the front windshield 10 so that the front of the vehicle can be photographed, but the vehicle camera 200 is a vehicle front, rear, You can shoot in the right or left room. Accordingly, the vehicle camera 200 may be disposed at a suitable position outside or inside the vehicle.
  • the vehicle 100 may include a vehicle display apparatus 600.
  • the vehicle display apparatus 600 may output various information, various contents, and the like.
  • the vehicle display apparatus 600 may display a graphic object on the display unit 651.
  • the display unit 651 included in the vehicle display apparatus 600 may be implemented on the front windshield 10, the side window, or the rear glass.
  • the vehicle display apparatus 600 may be implemented as a head up display (HUD), and output information or content by projecting an image onto the front windshield 10, the side window, or the rear glass.
  • the front windshield 10, the side window or the rear glass may function as a screen.
  • a predetermined film may be attached to the front windshield 10, side window or rear glass.
  • the vehicle display apparatus 600 may include a transparent display.
  • the transparent display may be disposed in proximity to the front windshield 10, the side window or the rear glass.
  • the vehicle display apparatus 600 may output information or content through the transparent display.
  • the overall length is the length from the front to the rear of the vehicle 100
  • the width is the width of the vehicle 100
  • the height is the length from the bottom of the wheel to the roof.
  • the full length direction L is a direction in which the full length measurement of the vehicle 100 is a reference
  • the full width direction W is a direction in which the full width measurement of the vehicle 100 is a reference
  • the total height direction H is a vehicle. It may mean the direction which is the reference of the height measurement of (100).
  • FIG. 2 is a block diagram referred to to explain a vehicle according to an embodiment of the present invention.
  • the vehicle 100 may include an input unit 120, an internal sensing unit 125, an external sensing unit 126, a memory 130, an output unit 140, a vehicle driving unit 150, and a control unit ( 170, the interface unit 180, the power supply unit 190, the vehicle driving assistance device 400, the vehicle display apparatus 600, and the navigation device 300 may be included.
  • the input unit 120 may include a driving manipulation apparatus 121, a microphone 123, and a user input unit 124.
  • the driving manipulation apparatus 121 receives a user input for driving the vehicle 100.
  • the driving manipulation unit 121 may include a steering input device, a shift input device, an acceleration input device, and a brake input device.
  • the steering input device receives a driving direction input of the vehicle 100 from the user.
  • the steering input device is preferably formed in a wheel shape to enable steering input by rotation.
  • the steering input device may be formed as a touch screen, a touch pad, or a button.
  • the shift input device receives an input of parking (P), forward (D), neutral (N), and reverse (R) of the vehicle 100 from the user.
  • the shift input device is preferably formed in the form of a lever.
  • the shift input device may be formed as a touch screen, a touch pad, or a button.
  • the acceleration input device receives an input for accelerating the vehicle 100 from a user.
  • the brake input device receives an input for deceleration of the vehicle 100 from a user.
  • the acceleration input device and the brake input device are preferably formed in the form of a pedal.
  • the acceleration input device or the brake input device may be formed as a touch screen, a touch pad, or a button.
  • the microphone 123 may process an external sound signal into electrical data.
  • the processed data may be utilized in various ways depending on the function being performed in the vehicle 100.
  • the microphone 123 may convert a user's voice command into electrical data.
  • the converted electrical data may be transferred to the controller 170.
  • the camera 122 or the microphone 123 may be a component included in the sensing unit 125, not a component included in the input unit 120.
  • the user input unit 124 is for receiving information from the user. When information is input through the user input unit 124, the controller 170 may control an operation of the vehicle 100 to correspond to the input information.
  • the user input unit 124 may include a touch input means or a mechanical input means. According to an embodiment, the user input unit 124 may be disposed in one region of the steering wheel. In this case, the driver may manipulate the user input unit 124 with a finger while holding the steering wheel.
  • the internal sensing unit 125 senses various situations of the vehicle 100.
  • the sensing unit 125 may include a collision sensor, a wheel sensor, a speed sensor, an inclination sensor, a weight sensor, a heading sensor, a yaw sensor, a gyro sensor.
  • Position module vehicle forward / reverse sensor, battery sensor, fuel sensor, tire sensor, steering sensor by steering wheel rotation, vehicle interior temperature sensor, vehicle interior humidity sensor, ultrasonic sensor, illuminance sensor, accelerator pedal position sensor , Brake pedal position sensors, and the like.
  • the sensing unit 125 may include vehicle collision information, vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward / reverse information, battery information, fuel information.
  • the sensing signal may be obtained such as tire information, vehicle lamp information, vehicle internal temperature information, vehicle internal humidity information, steering wheel rotation angle, vehicle external illumination, pressure applied to the accelerator pedal, pressure applied to the brake pedal, and the like.
  • the sensing unit 125 may further include an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake temperature sensor (ATS), a water temperature sensor (WTS), and a throttle position sensor. (TPS), TDC sensor, crank angle sensor (CAS), and the like.
  • AFS air flow sensor
  • ATS intake temperature sensor
  • WTS water temperature sensor
  • TPS throttle position sensor
  • TDC crank angle sensor
  • CAS crank angle sensor
  • the external sensing unit 126 may sense an external situation of the vehicle.
  • the external sensing unit 126 may sense an object located outside the vehicle.
  • the external sensing unit 126 may include a camera 200, a radar 201, a rider 202, an ultrasonic sensor 203, and an infrared sensor 204.
  • the camera 200 may be referred to as a vehicle camera apparatus.
  • the camera 200 may include the mono camera 200a of FIGS. 3A to 3C and the stereo camera 200b of FIGS. 3D to 3F.
  • the radar 201 may include an electromagnetic wave transmitter, a receiver, and a processor.
  • the radar 201 may be implemented in a pulse radar method or a continuous wave radar method in terms of radio wave firing principle.
  • the radar 201 may be implemented in a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method according to a signal waveform among continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keyong
  • the radar 201 may detect an object based on the transmitted electromagnetic wave, and detect a distance and a relative speed with the detected object.
  • the radar 201 may provide the obtained object information to the controller 170, the vehicle driving assistance apparatus 400, or the vehicle display apparatus 600.
  • the object information may include distance information with respect to the object.
  • the rider 202 may include a laser transmitter, a receiver, and a processor.
  • the rider 202 may be implemented in a time of flight (TOF) method or a phase-shift method.
  • TOF time of flight
  • the TOF rider 202 emits a laser pulse signal and receives a reflected pulse signal reflected by the object.
  • the rider 202 may measure the distance to the object based on the time when the laser pulse signal is emitted and the reflected pulse signal is received.
  • the relative speed with the object can be measured based on the change in distance over time.
  • the phase shifter rider 202 emits a laser beam continuously modulated with a specific frequency and may measure time and distance from the object based on the amount of phase change of the signal reflected back to the object. .
  • the relative speed with the object can be measured based on the change in distance over time.
  • the rider 202 may detect an object based on the transmitted laser, and detect a distance and a relative speed with the detected object.
  • the rider 202 may provide the obtained object information to the controller 170, the vehicle driving assistance apparatus 400, or the vehicle display apparatus 600.
  • the object information may include distance information with respect to the object.
  • the ultrasonic sensor 203 may include an ultrasonic transmitter, a receiver, and a processor.
  • the ultrasonic sensor 203 may detect an object based on the transmitted ultrasonic waves, and detect a distance and a relative speed with the detected object.
  • the ultrasonic sensor 203 may provide the obtained object information to the controller 170, the vehicle driving assistance apparatus 400, or the vehicle display apparatus 600.
  • the object information may include distance information with respect to the object.
  • the memory 130 is electrically connected to the controller 170.
  • the memory 130 may store basic data for the unit, control data for controlling the operation of the unit, and input / output data.
  • the memory 130 may be various storage devices such as a ROM, a RAM, an EPROM, a flash drive, a hard drive, and the like, in hardware.
  • the memory 130 may store various data for overall operation of the vehicle 100, such as a program for processing or controlling the controller 170.
  • the output unit 140 outputs the information processed by the controller 170 and may include a sound output unit 142 and a haptic output unit 143. According to an exemplary embodiment, the vehicle display apparatus 600 may be classified as a subcomponent of the output unit 140.
  • the sound output unit 142 converts the electric signal from the control unit 170 into an audio signal and outputs the audio signal. To this end, the sound output unit 142 may be provided with a speaker. The sound output unit 142 may output a sound corresponding to the operation of the user input unit 724.
  • the haptic output unit 143 generates a tactile output.
  • the haptic output unit 143 may operate by vibrating the steering wheel, the seat belt, and the seat so that the user can recognize the output.
  • the vehicle driver 150 may control operations of various vehicles.
  • the vehicle driver 150 includes a power source driver 151, a steering driver 152, a brake driver 153, a lamp driver 154, an air conditioning driver 155, a window driver 156, an airbag driver 157, and a sunroof.
  • the driver 158 and the suspension driver 159 may be included.
  • the power source driver 151 may perform electronic control of the power source in the vehicle 100.
  • the power source driver 151 may perform electronic control of the engine. Thereby, the output torque of an engine, etc. can be controlled.
  • the power source driver 151 is an engine, the driving speed of the vehicle may be limited by limiting the engine output torque under the control of the controller 170.
  • the power source driver 151 may control the motor. Thereby, the rotation speed, torque, etc. of a motor can be controlled.
  • the steering driver 152 may perform electronic control of a steering apparatus in the vehicle 100. As a result, the traveling direction of the vehicle can be changed.
  • the brake driver 153 may perform electronic control of a brake apparatus (not shown) in the vehicle 100.
  • the speed of the vehicle 100 may be reduced by controlling the operation of the brake disposed on the wheel.
  • the traveling direction of the vehicle 100 may be adjusted to the left or the right.
  • the lamp driver 154 may control turn on / turn off of a lamp disposed in or outside the vehicle. In addition, it is possible to control the intensity, direction, etc. of the light of the lamp. For example, control of a direction indicator lamp, a brake lamp, and the like can be performed.
  • the air conditioning driver 155 may perform electronic control of an air cinditioner (not shown) in the vehicle 100. For example, when the temperature inside the vehicle is high, the air conditioner may be operated to control cold air to be supplied into the vehicle.
  • the window driver 156 may perform electronic control on a window apparatus in the vehicle 100. For example, the opening or closing of the left and right windows of the side of the vehicle can be controlled.
  • the airbag driver 157 may perform electronic control of an airbag apparatus in the vehicle 100. For example, in case of danger, the airbag can be controlled to burst.
  • the sunroof driver 158 may perform electronic control of a sunroof apparatus (not shown) in the vehicle 100. For example, the opening or closing of the sunroof can be controlled.
  • the suspension driver 159 may perform electronic control of a suspension apparatus (not shown) in the vehicle 100. For example, when there is a curvature on the road surface, the suspension device may be controlled to control the vibration of the vehicle 100 to be reduced.
  • the vehicle driver 150 may include a chassis driver.
  • the chassis driver may be a concept including a steering driver 152, a brake driver 153, and a suspension driver 159.
  • the controller 170 may control the overall operation of each unit in the vehicle 100.
  • the controller 170 may be referred to as an electronic control unit (ECU).
  • ECU electronice control unit
  • the controller 170 may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and processors ( It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions.
  • the interface unit 180 may serve as a path to various types of external devices connected to the vehicle 100.
  • the interface unit 180 may include a port connectable with the mobile terminal, and may connect with the mobile terminal through the port. In this case, the interface unit 180 may exchange data with the mobile terminal.
  • the interface unit 180 may serve as a passage for supplying electrical energy to the connected mobile terminal.
  • the interface unit 180 may provide the mobile terminal with electrical energy supplied from the power supply unit 190.
  • the power supply unit 190 may supply power required for the operation of each component under the control of the controller 170.
  • the power supply unit 190 may receive power from a battery (not shown) in the vehicle.
  • the vehicle driving assistance apparatus 400 may assist driving of the vehicle by the driver.
  • the vehicle driving assistance device 400 includes an automatic emergency braking system (hereinafter referred to as AEB: Autonomous Emergency Braking), an adaptive forward control system (hereinafter referred to as ACC: Adaptive Cruise Control), and a side approach vehicle warning system (hereinafter referred to as CTA: Cross Traffic Alert).
  • AEB Autonomous Emergency Braking
  • ACC adaptive forward control system
  • CTA Side approach vehicle warning system
  • Lane Change Assistant Lane Change Assistant
  • FCW Forward Collision Avoidance System
  • LW Lane Departure Warning
  • LKA Lane Keeping Assist
  • SAS Speed Assist System
  • TSR Traffic Sign Recognition
  • HBA High Beam Assist
  • BSD Blind Spot Detection
  • automatic emergency steering system hereafter AES: Autonomous Emergency Steering
  • curve speed warning system system hereafter, CSWS: Curve Speed Warning System
  • smart parking Can provide: (Around View Monitor or less, AVM) system, the system (hereinafter, SPAS:: Smart Parking Assist System), traffic jam assistance system (hereinafter, TJA Traffic Jam Assist) and Around View Monitor system.
  • the vehicle display apparatus 600 may display various information or various contents.
  • the vehicle display apparatus 600 may display vehicle related information.
  • the vehicle related information may include vehicle control information for direct control of the vehicle, or vehicle driving assistance information for driving guide to the vehicle driver.
  • the vehicle related information may include vehicle state information indicating a current state of a vehicle or vehicle driving information related to driving of the vehicle.
  • the display apparatus 600 may include a cluster so that the driver can check the vehicle status information or the vehicle driving information while driving.
  • the display apparatus 600 may be implemented as a head up display (HUD).
  • HUD head up display
  • the display apparatus 600 may include a projection module to output information through an image projected onto the front windshield 10.
  • the display apparatus 600 may include a transparent display.
  • the transparent display may be attached to the front windshield 10.
  • the transparent display may display a predetermined screen while having a predetermined transparency.
  • Transparent display in order to have transparency, transparent display is transparent thin film elecroluminescent (TFEL), transparent organic light-emitting diode (OLED), transparent liquid crystal display (LCD), transmissive transparent display, transparent light emitting diode (LED) display It may include at least one of. The transparency of the transparent display can be adjusted.
  • the navigation device 300 may provide navigation information to the vehicle display device 600. According to an embodiment, the navigation device 300 may be integrally formed with the vehicle display device 600.
  • the navigation information may include set destination information, route information according to the destination setting, map information related to driving of the vehicle, and current location information of the vehicle. Meanwhile, the navigation information may include location information of the vehicle on the road.
  • FIG. 3A is a perspective view of a vehicle camera according to an embodiment of the present invention.
  • 3B is an exploded perspective view of a vehicle camera according to an embodiment of the present invention.
  • FIG. 3C is a cutaway side view of the vehicular camera cut along A-B of FIG. 3A, in accordance with an embodiment of the invention.
  • the vehicle camera 200 described with reference to FIGS. 3A to 3C is a single camera 200a.
  • the vehicle camera 200a may include a lens 211, an image sensor 214, and a processor 470.
  • the vehicle camera 200a may further include a processing board 220, a light shield 230, a heat dissipation member 240, and a housing 250, or may further include a combination thereof.
  • the housing 250 may include a first housing 251, a second housing 252, and a third housing 253.
  • the lens 211 may be fastened to be seated in the hole 219 formed in a portion of the first housing 251 through the nut 212 while being accommodated in the lens housing 217.
  • the image sensor 214 may include at least one photoelectric conversion element capable of converting an optical signal into an electrical signal.
  • the image sensor 214 may be a charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS).
  • CCD charge-coupled device
  • CMOS complementary metal-oxide semiconductor
  • the image sensor 214 may be located at an appropriate location inside the vehicle or outside of the vehicle, in order to acquire the vehicle exterior image or the vehicle interior image.
  • the image sensor 214 may be disposed in proximity to the front windshield 10 in the interior of the vehicle to obtain an image in front of the vehicle.
  • the image sensor 214 may be disposed around the front bumper or radiator grille.
  • the image sensor 214 may be disposed in close proximity to the rear glass in the interior of the vehicle to obtain an image of the rear of the vehicle.
  • the image sensor 214 may be disposed around the rear bumper, trunk or tail gate.
  • the image sensor 214 may be disposed in proximity to at least one of the side windows in the interior of the vehicle to acquire an image of the vehicle side.
  • the image sensor 214 may be disposed around the side mirror, fender or door.
  • the image sensor 214 may be disposed at the rear end of the lens 211 to acquire an image based on the light flowing through the lens 211.
  • the image sensor 214 may be disposed vertically with respect to the ground in a state spaced apart from the lens 211 by a predetermined distance.
  • the processor 470 may be electrically connected to the image sensor 214.
  • the processor 470 may computerize an image acquired through the image sensor 214.
  • the processor 470 may control the image sensor 214.
  • the processor 470 may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors, and controllers.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors and controllers.
  • controllers micro-controllers
  • microprocessors microprocessors
  • microprocessors may be implemented using at least one of the electrical unit for performing other functions.
  • the processor 470 may be mounted on the processing board 220.
  • the processing board 220 may mount the processor 270 and the memory 440.
  • the processing board 220 may be disposed to be inclined in the full length direction.
  • the processing board 220 may be arranged such that the front or back face the front wind shield 10.
  • the processing board 220 may be disposed in parallel with the front wind shield 10.
  • the front windshield 10 provided in the vehicle 100 is generally inclined at a predetermined angle with the ground from the bonnet to the roof of the vehicle 100.
  • the vehicle camera 200a since the processing board 220 is disposed to be inclined in the full length direction, the vehicle camera 200a may be formed smaller than when the processing board 220 is vertically or horizontally disposed. Since the vehicle camera 200a is formed small, there is an advantage that a space can be further secured in the vehicle 100 by a volume that is reduced.
  • a plurality of devices or electronic components may be mounted on the processing board 220. In this case, heat may be generated due to the plurality of devices or components included in the processing board 220.
  • the processing board 220 may be disposed to be spaced apart from the image sensor 241.
  • the processing board 220 may be spaced apart from the image sensor 241 so that heat generated in the processing board 220 does not cause a problem in the performance of the image sensor 241.
  • the processing board 220 may be disposed at an optimal position such that heat generated in the processing board 220 does not affect the image sensor 241.
  • the processing board 220 may be disposed at the bottom of the image sensor 241.
  • the processing board 220 may be disposed in front of the image sensor 241.
  • One or more memories 440 may be mounted on the processing board 220.
  • the memory 440 may store an image acquired through the image sensor 241, various application data, data for controlling the processor 470, or data processed by the processor 470.
  • the memory 440 like the processor 470, is one of the main heat generating elements.
  • the memory 440 may be disposed around the processor 470.
  • the one or more memories 440 may be disposed in a shape surrounding the processor 470 with the processor 470 at the center.
  • the processor 470 and the memory 440 which are heat generating elements, may be disposed at a position furthest from the image sensor 241.
  • the processor 470 may be electrically connected to the controller 170.
  • the processor 470 may be controlled by the controller 170.
  • the light shield 230 may be disposed in front of the lens 211.
  • the light shield 230 may block light unnecessary to acquire an image into the lens 211.
  • the light shield 230 may block light reflected from the wind shield 10 or the dashboard of the vehicle.
  • the light shield 230 may block light generated from an unnecessary light source.
  • the light shield 230 may have a screen structure.
  • the light shield 230 may have a lower screen structure.
  • the shape of the light shield 230 may vary depending on the vehicle model. For example, since the curvature of the wind shield and the angle formed by the wind shield and the ground may be different according to the vehicle model, the light shield 230 may have a shape corresponding to the vehicle model on which the vehicle camera 200a is mounted. To this end, the light shield 230 may have a removable structure.
  • the heat dissipation member 240 may be disposed at the rear end of the image sensor 214.
  • the heat dissipation member 240 may contact the image sensor 214 or the image sensor board on which the image sensor 214 is mounted.
  • the heat dissipation member 240 may process heat of the image sensor 214.
  • the heat dissipation member 240 may be disposed between the image sensor 214 and the third housing 253.
  • the heat dissipation member 240 may be disposed to contact the image sensor 214 and the third housing 253. In this case, the heat dissipation member 240 may emit heat through the third housing 253.
  • the heat dissipation member 240 can be any one of a thermal pad and a thermal grease.
  • the housing 250 may include a lens housing 217, a first housing 251, a second housing 252, and a third housing 253.
  • the lens housing 217 may accommodate at least one lens 211 and protect the lens 211 from an external impact.
  • the first housing 251 may be formed to surround the image sensor 241.
  • the first housing 251 may include a hole 219.
  • the lens 211 may be connected to the image sensor 214 in a state in which the lens 211 is accommodated in the hole 219 while accommodated in the lens housing.
  • the first housing 251 may be formed thicker as it approaches the image sensor 214.
  • the first housing 251 may be formed by a die casting method.
  • a portion close to the image sensor 214 may be formed thicker than other portions.
  • the first housing 251 may be formed to have a thickness thicker than that of the third housing 253. If the housing is thick, heat transfer is slow. Therefore, when the thickness of the first housing 251 is formed thicker than the thickness of the third housing 253, the heat generated inside the vehicle camera 200a is disposed close to the front windshield 10 so that heat dissipation is achieved. There is an effect that is discharged to the outside through the third housing 253 than the difficult first housing 251.
  • the lens housing 217 and the first housing 251 may be integrally formed.
  • the second housing 252 may be located in front of the processing board 220.
  • the second housing 252 may be fastened to the first housing 251 and the third housing 253 through a predetermined fastening means.
  • the second housing 252 may have attachment means to which the light shield 230 may be attached.
  • the light shield 230 may be attached to the second housing 252 through the attachment means.
  • the first and second housings 252 and 253 may be formed of a synthetic resin material.
  • the third housing 253 may be fastened to the first housing 251 and the second housing 252 through a predetermined fastening means.
  • the first to third housings 251, 252, and 253 may be integrally formed.
  • the third housing 253 may be formed to surround the processing board 220.
  • the third housing 253 may be located at the rear or bottom of the processing board 220.
  • the third housing 253 may be formed of a thermally conductive material.
  • the third housing 253 may be formed of a metal such as aluminum. Since the third housing 253 is formed of a thermally conductive material, efficient heat dissipation may be achieved.
  • the heat inside the vehicle camera is generated by the first and second housings 251,. 252 may be discharged to the third housing 253. That is, when the vehicle camera 200a is mounted on the wind shield, since the first and second housings 251 and 252 are located close to the wind shield, heat is transmitted through the first and second housings 251 and 252. Can not be released. In this case, heat may be efficiently released through the third housing 253.
  • the third housing 253 is made of aluminum, components (eg, the image sensor 241 and the processor 470) located therein from electro-magnetic compatibility (EMC) and electrostatic discharge (ESC) may be used. ) May be advantageous to protect.
  • EMC electro-magnetic compatibility
  • ESC electrostatic discharge
  • the third housing 253 may be in contact with the processing board 220. In this case, the third housing 253 may transfer heat through a portion in contact with the processing board 220 to efficiently release heat to the outside.
  • the third housing 253 may further include a heat dissipation unit 291.
  • the heat dissipation unit 291 may include at least one of a heat sink, a heat dissipation fin, a thermal pad, and a thermal grease.
  • the heat dissipation unit 291 may emit heat generated inside the vehicle camera 200a to the outside.
  • the heat dissipation unit 291 may be located between the processing board 220 and the third housing 253.
  • the heat dissipation unit 291 may be in contact with the processing board 220 and the third housing 253 to emit heat generated by the processing board 220 to the outside.
  • the third housing 253 may further include an air discharge hole.
  • the air discharge hole is a hole for discharging high temperature air inside the vehicle camera 200a to the outside of the vehicle camera 200a.
  • An air flow unit connected to the air discharge hole may be included in the vehicle camera 200a. The air flow unit may induce high temperature air inside the vehicle camera 200a to the air discharge hole.
  • the vehicle camera 200a may further include a moisture proof unit.
  • the moisture proof part may be formed in a patch form and attached to the air outlet part.
  • the moisture proof part may be a Gore-tex material.
  • the moisture proof part may allow moisture inside the vehicle camera 200a to flow out.
  • the moisture proof unit may prevent the inflow of moisture outside the vehicle camera 200a.
  • 3D is a perspective view of a vehicle camera according to an embodiment of the present invention.
  • 3E is an exploded perspective view of a vehicle camera according to an embodiment of the present invention.
  • FIG. 3F is a cutaway side view of the vehicular camera cut away from C-D of FIG. 3D, in accordance with an embodiment of the invention.
  • the vehicle camera 200 described with reference to FIGS. 3D to 3F is a stereo camera 200b.
  • the stereo camera 200b may be all applicable to the description of the single camera 200a described with reference to FIGS. 3A to 3C. That is, each of the first and second cameras included in the stereo camera 200b may be a camera described with reference to FIGS. 3A to 3C.
  • the stereo camera 200b may include a first lens 211a, a second lens 211b, a first image sensor 214a, a second image sensor 214b, and a processor 470a.
  • the vehicle camera 200b may further include or further include a processing board 220a, a first light shield 230a, a second light shield 230b, and a housing 250a. Can be.
  • the housing may include a first lens housing 217a, a second lens housing 217b, a first housing 251a, a second housing 252a, and a third housing 253a.
  • the description of the lens 211 of FIGS. 3A to 3C may be applied.
  • the description of the image sensor 214 of FIGS. 3A to 3C may be applied.
  • a module including the first lens 211a and the first image sensor 214a may be referred to as a first image acquisition module.
  • a module including the second lens 211b and the second image sensor 214b may be referred to as a second image acquisition module.
  • the processor 470a may be electrically connected to the first image sensor 214a and the second image sensor 214b.
  • the processor 470 may computer-process an image acquired through the first image sensor 214a and the second image sensor 214b. In this case, the processor 470 may form a disparity map or perform a disparity operation based on the images acquired through the first image sensor 214a and the second image sensor 214b.
  • the processor 470a may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors, and controllers.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors and controllers.
  • controllers micro-controllers
  • microprocessors microprocessors
  • microprocessors may be implemented using at least one of the electrical unit for performing other functions.
  • the processor 470a may be mounted on the processing board 220a.
  • processing board 220a the description of the processing board 220 of FIGS. 3A to 3C may be applied.
  • the description of the light shield 230 of FIGS. 3 to 5 may be applied.
  • lens housing 217 of FIGS. 3 to 5 may be applied to the first lens housing 217a and the second lens housing 217b.
  • the description of the first housing 251 of FIGS. 3A to 3C may be applied to the first housing 251a.
  • the description of the second housing 252 of FIGS. 3A to 3C may be applied to the second housing 252a.
  • the description of the third housing 253 of FIGS. 3A to 3C may be applied.
  • FIGS. 4A-4B illustrate various examples of internal block diagrams of the processor of FIGS. 3A-3F
  • FIGS. 5A-5D are diagrams for reference to an operation description of the processor of FIGS. 4A-4B.
  • the processor 470 may include an image preprocessor 501, a disparity calculator 502, an object detector 504, an object tracking unit 506, and an application unit 507. .
  • the image preprocessor 501 may receive an image from the camera 200 and perform preprocessing.
  • the image preprocessing unit 501 may include noise reduction, rectification, calibration, color enhancement, and color space conversion (CSC) for an image. ), Interpolation, camera gain control, and the like. Accordingly, a sharper image may be obtained than the stereo image photographed by the camera 200.
  • CSC color space conversion
  • the disparity calculator 502 receives an image signal-processed by the image preprocessor 501, performs stereo matching on the received images, and performs a disparity according to the stereo matching.
  • a parity map can be obtained. That is, disparity information about the stereo image of the front of the vehicle may be obtained.
  • the stereo matching may be performed in units of pixels of stereo images or in units of predetermined blocks.
  • the disparity map may refer to a map in which stereo parallax information of stereo images, that is, left and right images, is numerically represented.
  • the segmentation unit 503 may perform segmentation and clustering on at least one of the images based on the disparity information from the disparity calculator 502.
  • the segmentation unit 503 may separate the background and the foreground from at least one of the stereo images based on the disparity information.
  • an area in which the disparity information is equal to or less than a predetermined value in the disparity map may be calculated in the background, and the portion may be excluded. Thereby, the foreground can be relatively separated.
  • an area in which the disparity information is greater than or equal to a predetermined value in the disparity map may be calculated in the foreground and a corresponding portion may be extracted. Thereby, the foreground can be separated.
  • the signal processing speed, the signal processing amount, and the like can be shortened in the subsequent object detection.
  • the object detector 504 may detect the object based on the image segment from the segmentation unit 503.
  • the object detector 504 may detect an object with respect to at least one of the images based on the disparity information information.
  • the object detector 504 may detect an object with respect to at least one of the images. For example, an object can be detected from the foreground separated by image segments.
  • the object verification unit 505 may classify and verify the separated object.
  • the object identification unit 505 may be identified by a neural network, a support vector machine (SVM) technique, a technique identified by AdaBoost using a haar-like feature, or a histograms of oriented gradients (HOG). Techniques can be used.
  • the object checking unit 505 may check the objects by comparing the objects stored in the memory 440 with the detected objects.
  • the object checking unit 505 may check the surrounding vehicles, lanes, road surfaces, signs, dangerous areas, tunnels, and the like, which are located around the vehicle.
  • the object tracking unit 506 may perform tracking on the identified object. For example, in order to sequentially identify the object in the obtained stereo images, calculate the motion or motion vector of the identified object, track the movement of the object, etc. based on the calculated motion or motion vector. Can be. Accordingly, it is possible to track surrounding vehicles, lanes, road surfaces, signs, danger zones, tunnels, and the like, which are located around the vehicle.
  • the application unit 507 may calculate a risk of the vehicle 100 based on various objects located around the vehicle, for example, another vehicle, a lane, a road surface, a sign, and the like. In addition, it is possible to calculate the possibility of colliding with the vehicle ahead, whether the vehicle slips.
  • the application unit 507 may output, as vehicle driving assistance information, a message for informing the user of such information, based on the calculated risk level, the possibility of collision, the slip state, or the like.
  • a control signal for attitude control or driving control of the vehicle 100 may be generated as vehicle control information.
  • the processor 470 may include an image preprocessor 501, a disparity calculator 502, a segmentation unit 503, an object detector 504, an object checker 505, and an object tracking unit ( 506 and only a part of the application unit 507 may be included.
  • the disparity calculator 502 may be excluded.
  • the segmentation unit 503 may be excluded.
  • 4B is another example of an internal block diagram of a processor.
  • the processor 470 of FIG. 4B has the same internal configuration unit as the processor 470 of FIG. 4A, but the signal processing order is different. Only the differences are described below.
  • the object detector 504 may receive a stereo image and detect an object with respect to at least one of the stereo images. Unlike FIG. 4A, based on the disparity information, for the segmented image, the object may be detected directly from the stereo image, instead of detecting the object.
  • the object verification unit 505 classifies the detected and separated objects based on the image segment from the segmentation unit 503 and the objects detected by the object detection unit 504. , Verify.
  • the object identification unit 505 may be identified by a neural network, a support vector machine (SVM) technique, a technique identified by AdaBoost using a haar-like feature, or a histograms of oriented gradients (HOG). Techniques can be used.
  • 5A and 5B are diagrams for explaining an operation method of the processor 470 based on stereo images obtained in the first and second frame sections, respectively.
  • the stereo camera 200b acquires a stereo image.
  • the disparity calculator 502 in the processor 470 receives the stereo images FR1a and FR1b signal-processed by the image preprocessor 501 and performs stereo matching on the received stereo images FR1a and FR1b. To obtain a disparity map 520.
  • the disparity map 520 is a leveling disparity between the stereo images FR1a and FR1b. The greater the disparity level is, the closer the vehicle is to the distance, and the smaller the disparity level is, the lower the disparity map is. We can calculate that distance of is far.
  • the disparity map when displaying such a disparity map, the disparity map may be displayed such that the larger the disparity level, the higher the luminance, and the smaller the disparity level, the lower the luminance.
  • the first to fourth lines 528a, 528b, 528c, and 528d each have a corresponding disparity level
  • the construction area 522 For example, the first front vehicle 524 and the second front vehicle 526 each have a corresponding disparity level.
  • the segmentation unit 503, the object detection unit 504, and the object confirmation unit 505 detect segments, objects, and objects for at least one of the stereo images FR1a and FR1b based on the disparity map 520. Perform object verification.
  • the first to fourth lines 538a, 538b, 538c, 538d, the construction area 532, the first front vehicle 534, and the second front vehicle 536 detect the object. And confirmation may be performed.
  • the stereo camera 200b acquires a stereo image.
  • the disparity calculator 502 in the processor 470 receives the stereo images FR2a and FR2b signal-processed by the image preprocessor 501 and performs stereo matching on the received stereo images FR2a and FR2b. To obtain a disparity map 540.
  • the first to fourth lanes 548a, 548b, 548c, 548d and the like have corresponding disparity levels, respectively, the construction area 542, the first front vehicle 544.
  • each of the second front vehicles 546 has a corresponding disparity level.
  • the first to fourth lines 558a, 558b, 558c, and 558d, the construction area 552, the first front vehicle 554, and the second front vehicle 556 detect an object. And confirmation may be performed.
  • the object tracking unit 506 may perform tracking on the identified object by comparing FIG. 5A and FIG. 5B.
  • the object tracking unit 506 may track the movement of the object based on the motion or the motion vector of each object identified in FIGS. 5A and 5B. Accordingly, tracking of a lane, a construction area, a first front vehicle, a second front vehicle, and the like located around the vehicle can be performed.
  • 5C to 5D are views for explaining the operation of the vehicle camera.
  • FIG. 5C is a diagram illustrating a vehicle front situation photographed by the stereo camera 200b provided in the vehicle.
  • the vehicle front situation is displayed in a bird eye view.
  • the first lane 642a, the second lane 644a, the third lane 646a, the fourth lane 648a is located, the first lane 642a and the second A construction area 610a is located between the lanes 644a, a first front vehicle 620a is located between the second lane 644a and the third lane 646a, and the third lane 646a and the fourth lane. It can be seen that the second front vehicle 630a is disposed between the lanes 648a.
  • FIG. 5D illustrates displaying of the vehicle front situation detected by the vehicle driving assistance apparatus together with various types of information.
  • an image such as FIG. 5D may be displayed on the vehicle display apparatus 600.
  • FIG. 5D illustrates that information is displayed based on an image captured by the stereo camera 200, unlike FIG. 5C.
  • a construction area 610b is located between the lanes 644b
  • a first front vehicle 620b is located between the second lane 644b and the third lane 646b
  • the third lane 646b and the fourth lane It can be seen that the second front vehicle 630b is disposed between the lanes 648b.
  • the vehicle camera 200 performs signal processing based on the stereo image captured by the stereo camera 200b to process an object for the construction area 610b, the first front vehicle 620b, and the second front vehicle 630b. You can check.
  • the first lane 642b, the second lane 644b, the third lane 646b, and the fourth lane 648b may be identified.
  • the vehicle camera 200 based on the stereo image captured by the stereo camera 200b, the distance information for the construction area 610b, the first front vehicle 620b, the second front vehicle 630b. Can be calculated.
  • the vehicle camera 200 may receive sensor information about the vehicle from the controller 170 or the internal sensing unit 125.
  • the vehicle speed information, the gear information, the yaw rate information (yaw rate) indicating the speed at which the rotation angle (concave angle) of the vehicle changes, and the angle information of the vehicle can be received, and such information can be displayed.
  • the vehicle speed information 672, the gear information 671, and the yaw rate information 673 are displayed on the vehicle front image upper portion 670, and the angle of the vehicle is displayed on the vehicle front image lower portion 680. While the information 682 is illustrated, various examples are possible. In addition, the width information 683 of the vehicle and the curvature information 681 of the road may be displayed together with the angle information 682 of the vehicle.
  • FIG. 6 is a block diagram referred to describe a vehicle display apparatus according to an embodiment of the present invention.
  • the vehicle display apparatus 600 includes a communication unit 610, an input unit 620, an interface unit 630, a memory 640, an output unit 650, a processor 670, and a power supply unit 690. ) May be included.
  • the communication unit 610 includes one or more modules that enable wireless communication between the vehicle display apparatus 600 and the mobile terminal, between the vehicle display apparatus 600 and an external server, or between the vehicle display apparatus 600 and another vehicle. can do.
  • the communication unit 610 may include one or more modules for connecting the vehicle display apparatus 600 to one or more networks.
  • the communication unit 610 may include a broadcast receiving unit 611, a wireless internet unit 612, a short range communication unit 613, a location information unit 614, and a V2X communication unit 615.
  • the broadcast receiving unit 611 receives a broadcast signal or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast includes a radio broadcast or a TV broadcast.
  • the wireless internet unit 612 is a module for wireless internet connection.
  • the wireless internet unit 612 is configured to transmit and receive wireless signals in a communication network according to wireless internet technologies.
  • wireless Internet technologies include wireless LAN (WLAN), wireless-fidelity (Wi-Fi), wireless fidelity (Wi-Fi) Direct, digital living network alliance (DLNA), wireless broadband (WiBro), WiMAX ( World Interoperability for Microwave Access (HSDPA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), and the like.
  • 612 transmits and receives data according to at least one wireless Internet technology in a range including the Internet technologies not listed above.
  • the wireless internet unit 612 may exchange data wirelessly with an external server.
  • the wireless internet unit 612 may receive weather information and road traffic information (eg, TPEG (Transport Protocol Expert Group)) information from an external server.
  • TPEG Transport Protocol Expert Group
  • the short range communication unit 613 is for short range communication, and includes Bluetooth TM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and NFC. (Near Field Communication), at least one of Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, Wireless USB (Wireless Universal Serial Bus) technology can be used to support short-range communication.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • NFC Near Field Communication
  • Wi-Fi Wireless-Fidelity
  • Wi-Fi Direct Wireless USB (Wireless Universal Serial Bus) technology can be used to support short-range communication.
  • the local area communication unit 613 may form local area wireless networks to perform local area communication between the vehicle display apparatus 600 and at least one external device.
  • the short range communication unit 613 may exchange data with the mobile terminal wirelessly.
  • the short range communication unit 613 may receive weather information and traffic condition information of a road (for example, a TPEG (Transport Protocol Expert Group)) from the mobile terminal.
  • a road for example, a TPEG (Transport Protocol Expert Group)
  • TPEG Transport Protocol Expert Group
  • the location information unit 614 is a module for obtaining location information of the vehicle 100, and a representative example thereof is a GPS (Global Positioning System) module.
  • GPS Global Positioning System
  • the vehicle may acquire position information of the vehicle using a signal transmitted from a GPS satellite.
  • the V2X communication unit 615 is a module for performing wireless communication with an external server or another vehicle.
  • the V2X module 615 includes a module capable of implementing inter-vehicle communication (V2V) or inter-vehicle communication (V2I) protocol.
  • the vehicle display apparatus 600 may perform wireless communication with an external server and another vehicle through the V2X communication module 615.
  • the V2X communication module 615 may receive location information of the first object from the first object.
  • the first object may be another vehicle or a mobile terminal.
  • the external sensing unit 126 of the vehicle 100 may continuously detect and track the first object.
  • the V2X communication module 615 may acquire location information of the first object. In this case, tracking for the first object may be continuously performed.
  • the input unit 620 may include a user input unit 621, a sound input unit 622, a gesture detector 623, and an internal camera 624.
  • the user input unit 621 is for receiving information from a user.
  • the processor 670 may control an operation of the vehicle display apparatus 600 to correspond to the input information.
  • the user input unit may include a touch input unit or a mechanical input unit.
  • the sound input unit 622 may process an external sound signal as electrical data.
  • the processed data may be utilized in various ways depending on the function being performed in the vehicle display apparatus 600.
  • the sound input unit 622 may convert a user's voice command into electrical data.
  • the converted electrical data may be transferred to the processor 670.
  • the gesture detector 623 may detect a gesture of a user.
  • the gesture detector 623 may detect a gesture of a user.
  • the gesture detector 623 may detect a two-dimensional gesture.
  • the gesture detector may include an optical output unit and a light receiver.
  • the light output unit may output infrared light.
  • the light receiving unit may receive the reflected light formed by reflecting the infrared light emitted from the light output unit to the user's hand.
  • the processor 670 may generate an input signal based on the information provided by the gesture detector 623.
  • the processor 670 may detect a gesture of the user based on the reflected light.
  • the internal camera 624 may acquire a vehicle interior image.
  • the internal camera 624 may detect a user in the captured vehicle interior image.
  • the internal camera 624 may detect the driver, the driver's hand, or the driver's finger.
  • the camera 624 may detect a passenger, a passenger's hand, or a passenger's finger sitting in the passenger seat.
  • the processor 670 may generate an input signal based on the information provided from the internal camera 624.
  • the processor 670 may generate an input signal based on the information provided from the gesture detector 623 and the information provided by the internal camera 624.
  • the interface unit 630 may receive data, information, or signals, or transmit data, information, or signals processed or generated by the processor 670 to the outside. To this end, the interface unit 630 may perform data communication with the controller 170, the internal sensing unit 125, the external sensing unit 126, the vehicle driving unit 150, and the like by a wired communication or a wireless communication method. Can be done.
  • the interface unit 630 may receive in-vehicle sensing information from the control unit 170 or the internal sensing unit 125.
  • the sensing information includes vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward / reverse information, battery information, fuel information, tire information, vehicle lamp It may include at least one of information, vehicle interior temperature information, vehicle exterior temperature information, vehicle interior humidity information, vehicle exterior illumination information.
  • the sensing information may include a heading sensor, a yaw sensor, a gyro sensor, a position module, a vehicle forward / reverse sensor, a wheel sensor, a vehicle speed sensor, It may be obtained from a vehicle body tilt sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor by steering wheel rotation, a vehicle interior temperature sensor, a vehicle exterior temperature sensor, a vehicle interior humidity sensor, an illumination sensor, and the like.
  • the position module may include a GPS module for receiving GPS information.
  • the interface unit 630 may receive object information from the external sensing unit 126.
  • the camera 200 of the external sensing unit 126 may detect lane detection (LD), surrounding vehicle detection (VD), pedestrian detection (PD), based on the acquired image, Light spot detection (BD), traffic sign detection (TSR), and road surface detection may be performed.
  • the camera 200 may generate distance information with the detected object.
  • the memory 640 is electrically connected to the processor 670.
  • the memory 640 may store basic data for the unit, control data for controlling the operation of the unit, and input / output data.
  • the memory 640 may be various storage devices such as a ROM, a RAM, an EPROM, a flash drive, a hard drive, and the like, in hardware.
  • the memory 640 may store various data for operations of the overall vehicle display apparatus 600, such as a program for processing or controlling the processor 670.
  • the memory 640 may store map data for implementing a navigation function.
  • the map data may be stored as a vehicle factory default.
  • the map data may be received from an external device through the communication unit 610 or the interface unit 630.
  • the memory 640 may be integrally formed with the processor 670.
  • the memory 640 may store coordinate value information of an eye box corresponding to the driver.
  • eye box coordinate value information may be stored in the memory 640 corresponding to each driver.
  • the eye box coordinate value information may be stored in the memory 640 corresponding to the sitting key of each driver.
  • the eye box may be a space inside the vehicle 100 having a three-dimensional volume.
  • the eye box coordinate value information may be coordinate values defining a boundary of the eye box.
  • the output unit 650 may include a display unit 651 and a sound output unit 652.
  • the display 651 may display information processed by the processor 670.
  • the display unit 651 may display vehicle related information.
  • the vehicle related information may include vehicle control information for direct control of the vehicle, or vehicle driving assistance information for driving guide to the vehicle driver.
  • the vehicle related information may include vehicle state information indicating a current state of a vehicle or vehicle driving information related to driving of the vehicle.
  • the display unit 651 may include a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (flexible). display, a 3D display, or an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display flexible display
  • display a 3D display, or an e-ink display.
  • the display unit 651 may form a layer structure or an integrated structure with the touch sensor, thereby implementing a touch screen.
  • the touch screen may serve as a user input unit that provides an input interface between the vehicle display apparatus 600 and the user, and may provide an output interface between the vehicle display apparatus 600 and the user.
  • the display unit 651 may include a touch sensor that senses a touch on the display unit 651 to receive a control command by a touch method. In this case, the display 651 may receive a touch input.
  • the touch sensor detects the touch, and the processor 670 may generate a control command corresponding to the touch based on the touch sensor.
  • the content input by the touch method may be letters or numbers or menu items that can be indicated or designated in various modes.
  • the display unit 651 may be implemented such that a screen is displayed on one area of the wind shield.
  • the display unit 651 may include a transparent display.
  • the transparent display may be attached to the wind shield.
  • the vehicle display apparatus 600 may output information through the transparent display.
  • the transparent display may display a predetermined screen while having a predetermined transparency.
  • Transparent display in order to have transparency, transparent display is transparent thin film elecroluminescent (TFEL), transparent organic light-emitting diode (OLED), transparent liquid crystal display (LCD), transmissive transparent display, transparent light emitting diode (LED) display It may include at least one of.
  • the transparency of the transparent display may be adjusted under the control of the processor 670.
  • the vehicle display apparatus 600 may be implemented as a head up display (HUD).
  • the display unit 651 may include a projection module.
  • the display apparatus 600 may output information through an image projected on the wind shield.
  • the projection module projects a beam toward a windshield or a screen provided in the vehicle.
  • the projection module may include a light source and a projection lens.
  • the projection module may implement an image corresponding to the information processed by the processor 670. That is, the projection module may implement an image by using the light generated from the light source and project the implemented image to the wind shield. At this time, it is preferable to use LED, a laser, etc. as a light source.
  • the processor 670 is electrically connected to each unit in the vehicle display apparatus 600 to control the overall operation of each unit.
  • the processor 670 may control the output unit 650 to output information or data received through the communication unit 610, the input unit 620, or the interface unit 630.
  • the processor 670 may control the output unit 650 to output information or data stored in the memory 640.
  • the processor 670 may directly output or process the received information or data.
  • the processor 670 may visually output information or data through the display 651.
  • the processor 670 may acoustically output information or data through the sound output unit 652.
  • the processor 670 may generate new information based on the information or data received through the interface unit 630.
  • the processor 670 may control the display 651 to display the generated information or a screen corresponding to the generated information.
  • the processor 670 may receive object information located outside the vehicle through the interface unit 630.
  • the processor 670 may receive object information located outside the vehicle from the external sensing unit 126 or the vehicle driving assistance apparatus 400 through the interface unit 630.
  • the object may include a lane, another vehicle, a pedestrian, a light, a traffic signal, a road, a structure, a terrain, a speed bump, an animal, and the like.
  • the lane may be a driving lane or a lane next to the driving lane.
  • Lane may be a concept including a left and right line forming a lane.
  • the other vehicle may be a vehicle that is driving around the vehicle 100.
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle 100.
  • the other vehicle may be a vehicle preceding or following the vehicle 100.
  • the other vehicle may be a vehicle traveling in the lane next to the driving lane.
  • the other vehicle may be a vehicle that is traveling in a direction crossing the driving direction of the vehicle 100 at the intersection.
  • the pedestrian may be a person located on a sidewalk or a roadway.
  • the light may be light generated by a lamp provided in another vehicle.
  • the light can be light generated from the street light.
  • the light may be sunlight.
  • the traffic signal may include a traffic light, a traffic sign, a pattern or text drawn on a road surface.
  • the road may include a road surface, a curve, an uphill slope, a slope downhill, or the like.
  • the structure may be an object located around a road and fixed to the ground.
  • the structure may include a street lamp, a roadside tree, a building, a power pole, a traffic light.
  • the features may include mountains, hills, and the like.
  • the object may be classified into a moving object and a fixed object.
  • the moving object may be a concept including another vehicle and a pedestrian.
  • the fixed object may be a concept including a traffic signal, a road, and a structure.
  • the processor 670 may receive information about a first object located outside the vehicle through the interface unit 630.
  • the first object may be an object that the vehicle driving assistance apparatus 400 or the vehicle display apparatus 600 is tracking.
  • the first object may be any one of another vehicle, a pedestrian, a speed bump, an animal, and a traffic signal.
  • the processor 670 may receive information about a second object located outside the vehicle through the interface unit 630.
  • the second object may be an object that interferes with the tracking of the first object.
  • the second object may be any one of other vehicles, roads, and structures.
  • the processor 670 may determine whether the second object is located between the vehicle 100 and the first object.
  • the processor 670 may determine whether the first object is covered by the second object in the field of view of the camera 200. When the first object is covered by the second object while being tracked, the processor 670 may determine that the first object is located between the vehicle 100 and the second object.
  • the processor 670 may generate a graphic object corresponding to the first object.
  • the processor 670 may control the display 651 to display the graphic object on the display 651.
  • the processor 670 may generate a shape corresponding to the first object as a graphic object and control the graphic object to be displayed on the display unit 651.
  • the graphic object may be text.
  • the graphic object may be a figure or a three-dimensional figure.
  • the graphic object may be a planar figure such as a polygon, an ellipse, a circle, or the like.
  • the graphic object may be a three-dimensional figure such as a polyhedron, a sphere, a cylinder, or a polygonal column.
  • the graphic object may have a shape similar to that of the first object.
  • the processor 670 may control the display unit 651 to generate a vehicle image and display the vehicle image.
  • the processor 670 may control to generate a human image and display it on the display unit 651.
  • the graphic object may be displayed on the front windshield of the vehicle 100.
  • the processor 670 may control the graphic object to be displayed in Augmented Reality.
  • the driver's eye is directed to an object located outside the vehicle 100 via the front windshield.
  • the driver may view the graphic object and the object located outside the vehicle 100 together. That is, the processor 670 may enable the driver to view the graphic object and the object located outside the vehicle 100 together.
  • the processor 670 may control to display the graphic object on an area corresponding to the second object on the front windshield. For example, the processor 670 may display the graphic object on the front windshield to appear to overlap with the second object.
  • the processor 670 may control to display the graphic object in augmented reality in an area viewed by the driver to identify the second object in the front windshield while the first object is covered by the second object.
  • the driver can recognize that the first object is in a state of being covered by the second object.
  • the processor 670 may track the first object.
  • the processor 670 may control to display the graphic object on an area corresponding to the position of the first object to be tracked on the front windshield.
  • the first object may be a moving object or a fixed object.
  • the first object When the first object is a moving object, in accordance with the movement of the vehicle 100 and the first object, the first object may be relatively moved in view of the vehicle 100. In this case, the vehicle driving assistance apparatus 400 or the external sensing unit 126 may track the first object.
  • the first object When the first object is a fixed object, according to the movement of the vehicle 100, the first object may be relatively moved in view of the vehicle 100. In this case, the vehicle driving assistance apparatus 400 or the external sensing unit 126 may track the first object.
  • an area corresponding to the first object may also continuously change on the front windshield.
  • the processor 670 may control the area in which the graphic object is displayed to change according to the movement of the first object.
  • the processor 670 may exchange data with the first object through the V2X communication unit 615.
  • the processor 670 may receive location information of another vehicle through the V2X communication unit 615.
  • the processor 670 may receive location information of the mobile terminal through the V2X communication unit 615.
  • the location information of the mobile terminal may be location information of a pedestrian.
  • the processor 670 may receive location information of the first object through the V2X communication unit 615.
  • the processor 670 may track the first object based on the received location information.
  • the external sensing unit 126 of the vehicle 100 may detect and continuously track the first object.
  • the processor 670 may receive detection information and tracking information of the first object from the external sensing unit 126 through the interface unit 630. When the first object is hidden by the second object, the processor 670 may receive location information of the first object through the V2X communication unit 615. The processor 670 may continue tracking the first object based on the received position information of the first object.
  • the processor 670 may control a change in size or a change in color of the graphic object displayed on the display unit 651 based on the distance or the relative speed between the vehicle 100 and the first object.
  • the processor 670 may obtain distance information with the first object based on the location information of the first object and the location information of the vehicle 100 obtained through the V2X communication unit 615.
  • the processor 670 may acquire speed information of the first object based on position change information of the first object over time.
  • the processor 670 may obtain relative speed information with the first object based on the speed information of the first object and the speed information of the vehicle 100.
  • the processor 670 may control the graphic object displayed on the display unit 651 to become larger.
  • the processor 670 may control the graphic object displayed on the display unit 651 to increase gradually.
  • the processor 670 may control the graphic object displayed on the display unit 651 to become smaller.
  • the processor 670 may control the graphic object displayed on the display unit 651 to become smaller.
  • the graphic object may be controlled to be displayed in a preset color according to a section corresponding to the distance between the vehicle 100 and the first object among the plurality of sections. For example, when the distance between the vehicle 100 and the first object is within the first range, the processor 670 may control the graphic object to be displayed in the first color.
  • the graphic object may be controlled to be displayed in a preset color according to a section corresponding to a relative speed between the vehicle 100 and the first object among the plurality of sections. For example, when the relative speed between the vehicle 100 and the first object is within the first range, the processor 670 may control the graphic object to be displayed in the first color.
  • the processor 670 may acquire driver gaze information through the internal camera 624.
  • the processor 670 may determine whether the first object is covered by the second object based on the driver's gaze information. That is, the processor 670 may determine whether the driver is hidden by the second object and cannot see the first object.
  • the processor 670 may, in the area corresponding to the position of the first object in the area corresponding to the second object on the front windshield, In augmented reality, graphical objects can be displayed.
  • the processor 670 may, in a state where the first object is covered by the second object, augmented reality in a region of the front windshield that the driver faces to identify the second object, corresponding to the position of the first object. You can control the display of graphical objects.
  • the processor 670 may control the display unit 651 to display a graphic object corresponding to the hidden part of the first object.
  • the processor 670 may control the graphic object corresponding to the hidden portion of the first object to be displayed in augmented reality in an extended state to the unhidden portion of the first object.
  • the graphic object is displayed to extend with the real object of the first object, thereby minimizing the heterogeneity of the graphic object felt by the user.
  • the processor 670 may acquire location information of the driver's eyes through the internal camera 624.
  • the processor 670 may obtain location information of the driver's eyes of the internal camera 624 through a distance detection algorithm.
  • the processor 670 may control the display unit 651 to change the display area of the graphic object.
  • the position of the driver's eyes must be located in the eye box. If the driver's eyes are out of the eye box, only a portion of the augmented reality image may be displayed or the augmented reality image may not be entirely visible. When the position of the driver's eyes is out of the eye box, the display area of the graphic object is controlled to be changed, so that the driver continuously recognizes the augmented reality image.
  • the processor 670 may receive state information of the vehicle through the interface unit 630.
  • the state information of the vehicle may be information generated based on data sensed by the internal sensing unit 125.
  • the state information of the vehicle includes vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward / reverse information, battery information, fuel information, tires And at least one of information, vehicle lamp information, vehicle internal temperature information, vehicle external temperature information, vehicle internal humidity information, and vehicle external illuminance information.
  • the processor 670 may control any one of a shape, a size, a position, a color, and a transparency of the graphic object displayed on the display unit 651 based on the state information.
  • the state information of the vehicle may include attitude information of the vehicle.
  • the processor 670 may receive attitude information of the vehicle.
  • the processor 670 may change the position of the graphic object displayed on the display unit 651 based on the attitude information of the vehicle.
  • the roll, pitch, and yaw of the vehicle 100 may be continuously changed.
  • the inertia may change the driver's posture and the driver's gaze.
  • the augmented reality image can be continuously provided regardless of the driver's gaze change.
  • the state information of the vehicle may include driving speed information of the vehicle.
  • the processor 670 may receive driving speed information of the vehicle.
  • the processor 670 may control the display unit 651 to change the size of the graphic object based on the driving speed information of the vehicle. For example, when the first object is a fixed object, the distance between the vehicle 100 and the first object is proportional to the speed of the vehicle 100. In this case, by controlling the size of the graphic object to be changed based on the speed of the vehicle 100, the driver intuitively recognizes the distance to the first object.
  • the processor 670 may receive driving situation information through the interface unit 630.
  • the driving situation information may include vehicle interior situation information and vehicle exterior situation information.
  • the processor 670 may receive in-vehicle situation information from the internal sensing unit 125 through the interface unit 630.
  • the vehicle interior situation information may also be referred to as vehicle state information.
  • the vehicle context information may include vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward / reverse information, battery information, fuel information, tire information, It may include at least one of vehicle lamp information, vehicle interior temperature information, vehicle exterior temperature information, vehicle interior humidity information, vehicle exterior illumination information.
  • GPS information vehicle position information
  • vehicle angle information vehicle speed information
  • vehicle acceleration information vehicle acceleration information
  • vehicle tilt information vehicle forward / reverse information
  • battery information fuel information
  • fuel information tire information
  • It may include at least one of vehicle lamp information, vehicle interior temperature information, vehicle exterior temperature information, vehicle interior humidity information, vehicle exterior illumination information.
  • the processor 670 may receive vehicle exterior situation information from the external sensing unit 126 through the interface unit 630.
  • the vehicle exterior situation information may be object information located outside the vehicle.
  • the object may include a lane, another vehicle, a pedestrian, a light, a traffic signal, a road, a structure, and the like.
  • the lane may be a driving lane or a lane next to the driving lane.
  • Lane may be a concept including a left and right line forming a lane.
  • the other vehicle may be a vehicle that is driving around the vehicle 100.
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle 100.
  • the other vehicle may be a vehicle preceding or following the vehicle 100.
  • the other vehicle may be a vehicle traveling in the lane next to the driving lane.
  • the other vehicle may be a vehicle that is traveling in a direction crossing the driving direction of the vehicle 100 at the intersection.
  • the pedestrian may be a person located on a sidewalk or a roadway.
  • the light may be light generated by a lamp provided in another vehicle.
  • the light can be light generated from the street light.
  • the light may be sunlight.
  • the traffic signal may include a traffic light, a traffic sign, a pattern or text drawn on a road surface.
  • the road may include a road surface, a curve, an uphill slope, a slope downhill, or the like.
  • the structure may be an object located around a road and fixed to the ground.
  • the structure may include street lights, street trees, buildings, power poles, mountains, traffic lights.
  • the processor 670 may control the display unit 651 to further display the graphic object corresponding to the driving situation information.
  • the processor 670 may control the display unit 651 to display an image or text corresponding to driving condition information.
  • the processor 670 may control at least one of the amount, type, and displayed area of the graphic object displayed on the display unit 651 based on the vehicle state information.
  • the processor 670 may change the area of the graphic object corresponding to the driving situation information displayed on the display unit 651 according to the driving mode of the vehicle 100.
  • the processor 670 may display the graphic object corresponding to the object information outside the vehicle in augmented reality so that it overlays the real object.
  • the processor 670 may control the graphic object corresponding to the object information outside the vehicle to be displayed on the edge of the display unit.
  • the processor 670 may control the display unit 651 to display only the vehicle situation information without displaying the vehicle situation information.
  • the processor 670 may adjust the amount of the graphic object corresponding to the driving situation information displayed on the display unit 651 according to the driving speed of the vehicle 100.
  • the processor 670 may drive the number of graphic objects displayed on the display unit 651 at a high speed (above the second reference speed). More than that can be displayed. In this case, the processor 670 may display the graphic object as augmented reality.
  • the processor 670 may drive the number of graphic objects displayed on the display unit 651 at a low speed (below the first reference speed). You can display fewer than that. In this case, the processor 670 may not display the graphic object as augmented reality.
  • the processor 670 may set the number of graphic objects displayed on the display unit 651 at a high speed (above the second reference speed). It can display more than when driving. In this case, the processor 670 may display the graphic object as augmented reality.
  • the processor 670 may adjust the amount of driving state information provided by adjusting the amount of the graphic object displayed according to the driving or stopping state of the vehicle 100.
  • the processor 670 may also control the type of graphic object to be displayed according to the driving or stopping state of the vehicle 100.
  • the graphic object In the driving state of the vehicle 100, the graphic object may be displayed as a moving image. In the stopped state of the vehicle 100, the graphic object may be displayed as a still image.
  • the processor 670 may obtain weather information through the communication unit 610.
  • the processor 670 may acquire weather information of a driving area.
  • the processor 670 may control at least one of the shape, size, position, color, and transparency of the graphic object based on the weather information.
  • the processor 670 may make the color of the graphic object darker or lower the transparency of the graphic object than when driving on a cloudy day. In this way, the visibility of the graphic object can be adjusted in response to the weather.
  • the processor 670 may obtain map information.
  • the processor 670 may obtain map information stored in the memory 640.
  • the processor 670 may acquire map information from an external server, a mobile terminal, or another vehicle through the communication unit 610.
  • the processor 670 may obtain map information from other devices (eg, navigation) in the vehicle 100 through the interface unit 630.
  • the processor 670 may obtain information about the second object based on the obtained map information.
  • the processor 670 may receive driving situation information through the interface unit 630.
  • the driving situation information may include vehicle interior situation information and vehicle exterior situation information.
  • the processor 670 may generate a 3D map around the vehicle based on the map information and the driving situation information.
  • the processor 670 may match an object on the map with object information obtained through the external sensing unit 126.
  • the processor 670 may generate 3D map information in the sensing area of the external sensing unit 126.
  • the processor 670 may further use sensing information of the internal sensing unit 125 such as vehicle position information and vehicle attitude information.
  • the processor 670 may determine, based on the positional relationship between the vehicle 100, the first object, and the second object on the 3D map, that the first object is covered by the second object in the driver's view.
  • the processor 670 may provide a signal for controlling at least one of the power source, the brake device, and the steering device based on the information about the first object and the information about the second object.
  • the processor 670 may provide a control signal to the vehicle driver 150 through the interface unit 630.
  • the processor 670 may provide a control signal to the brake driver 153 when the distance between the first object and the vehicle 100 is less than or equal to the reference distance in a situation where the first object is hidden from the second object. The distance between the vehicle 100 and the first object may be maintained.
  • the processor 670 may provide a control signal to the steering driver 152 when the distance between the first object and the vehicle 100 is less than or equal to the reference distance in a situation where the first object is hidden from the second object. Thus, collision between the vehicle 100 and the first object can be avoided.
  • the processor 670 may provide a control signal to the power source driver 151 when the distance between the first object and the vehicle 100 is greater than or equal to the reference distance in a situation where the first object is hidden from the second object. Thus, the distance between the vehicle 100 and the first object can be maintained.
  • the processor 670 may provide a control signal to operate at least one of the ADAS functions based on the information on the first object and the information on the second object.
  • the processor 670 is appropriately AEB, FCW, ACC or BSD when the distance between the first object and the vehicle 100 is less than the reference distance in a situation where the first object is hidden from the second object.
  • the control signal may be provided to be operated.
  • the processor 670 may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors (processors), It may be implemented using at least one of controllers, micro-controllers, microprocessors, and electrical units for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors processors
  • It may be implemented using at least one of controllers, micro-controllers, microprocessors, and electrical units for performing other functions.
  • the power supply unit 690 may supply power required for the operation of each component under the control of the processor 670.
  • the power supply unit 690 may receive power from a battery inside the vehicle.
  • FIG. 7 is a diagram referred to for describing an internal configuration of a processor according to an embodiment of the present invention.
  • the processor 670 may include a driver gaze information obtaining unit 671, a first object information obtaining unit 672, a second object information obtaining unit 673, a map information obtaining unit 674, and driving.
  • the context information acquisition unit 678, the determination unit 675, the first object tracking unit 679, the display control unit 676, and the signal output unit 677 may be included.
  • the driver gaze information acquisition unit 671 may acquire driver gaze information through the internal camera 624.
  • the driver gaze information acquisition unit 671 may detect the driver's eyes from the vehicle interior image acquired by the internal camera 624.
  • the driver gaze information acquisition unit 671 may acquire driver gaze information based on the driver's eye image.
  • Driver gaze information may be provided to the determination unit 675.
  • the first object information acquisition unit 672 may obtain first object information from the external sensing unit 126 through the interface unit 630.
  • the first object may be an object that the vehicle driving assistance apparatus 400 or the vehicle display apparatus 600 is tracking.
  • the first object may be any one of another vehicle, a pedestrian, and a traffic signal.
  • the first object information acquisition unit 672 may provide the first object information to the determination unit 675.
  • the second object information acquisition unit 673 may acquire second object information from the external sensing unit 126 through the interface unit 630.
  • the second object may be an object that interferes with the tracking of the first object.
  • the second object may be any one of other vehicles, roads, and structures.
  • the second object information acquisition unit 673 may provide the second object information to the determination unit 675.
  • the map information acquisition unit 674 may obtain map information from the navigation device 300 through the interface unit 630. According to an exemplary embodiment, the map information acquisition unit 674 may acquire map information stored in the memory 640, or obtain map information from a device outside the vehicle 100 through the communication unit 610.
  • the map information acquisition unit 674 may generate a 3D map.
  • the map information acquisition unit 674 may generate a 3D map by matching the object on the map with the object information acquired through the external sensing unit 126.
  • the map information acquisition unit 674 may further use sensing information of the internal sensing unit 125 such as vehicle position information and vehicle attitude information.
  • the map information acquisition unit 674 may provide map information to the determination unit 675.
  • the driving condition information obtaining unit 678 may obtain driving condition information through the interface unit 630.
  • the driving situation information may include vehicle interior situation information and vehicle exterior situation information.
  • the driving situation information acquisition unit 678 may receive vehicle interior situation information from the internal sensing unit 125 through the interface unit 630.
  • vehicle internal situation information includes vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward / reverse information, battery information, fuel information, tire information, vehicle lamp It may include at least one of information, vehicle interior temperature information, vehicle exterior temperature information, vehicle interior humidity information, vehicle exterior illumination information.
  • the driving situation information acquisition unit 678 may receive vehicle exterior situation information from the external sensing unit 126 through the interface unit 630.
  • vehicle exterior situation information may be object information located outside the vehicle.
  • the driving situation information obtaining unit 678 may provide the driving condition information to the display control unit 676.
  • the determination unit 675 may determine whether the second object is located between the vehicle 100 and the first object.
  • the determination unit 675 may determine whether the first object is covered by the second object based on the driver's gaze information.
  • the determination unit 675 may determine whether the first object is covered by the second object in the driver's eye based on the positional relationship between the vehicle 100, the first object, and the second object on the 3D map.
  • the determination unit 675 may determine whether the first object is located between the vehicle 100 and the second object based on whether the first object is covered by the second object in the field of view of the camera 200. have.
  • the determination unit 675 may determine whether the position of the driver's eyes detected through the internal camera 624 is out of the eye box.
  • the first object tracking unit 679 may track the first object through the information received from the V2X communication unit 615.
  • the V2X communication unit 615 may receive location information from the first object and provide the location information to the first object tracking unit 679.
  • the first object information obtained through the V2X communication unit 615 may be reflected in the 3D map generated by the map information acquisition unit 674.
  • the display controller 676 may control the display 651 based on the determination result of the determination unit 675.
  • the display controller 676 When the second object is located between the vehicle 100 and the first object, the display controller 676 generates a graphic object corresponding to the first object and displays the graphic object on the display 651.
  • the display unit 651 may be controlled.
  • the display controller 676 may control the display 651 to display a graphic object in augmented reality.
  • the display controller 676 may generate a shape corresponding to the first object as a graphic object and control the graphic object to be displayed on the display 651.
  • the display controller 676 may control to display the graphic object on a region corresponding to the second object on the front windshield.
  • the display controller 676 may control the graphic object to be displayed on an area corresponding to the position of the tracked first object on the front windshield.
  • the display controller 676 may control a change in the size or color of the graphic object displayed on the display 651 based on the distance or the relative speed between the vehicle 100 and the first object.
  • the display control unit 676 augments the area corresponding to the position of the first object among the areas corresponding to the second object on the front windshield. In reality, it is possible to display graphical objects.
  • the display controller 676 may control the graphic object corresponding to the hidden portion of the first object to be extended to the unobscured portion of the first object and displayed in augmented reality.
  • the display controller 676 may control the display 651 to change the display area of the graphic object.
  • the display controller 676 may control one of a shape, a size, a position, a color, and a transparency of the graphic object displayed on the display 651 based on the state information of the vehicle.
  • the vehicle state information may include vehicle attitude information, vehicle driving speed information, vehicle driving mode information, vehicle driving / stopping state information, and the like.
  • the display controller 676 may change the position of the graphic object displayed on the display unit 651 based on the attitude information of the vehicle.
  • the display controller 676 may control the display 651 to change the size of the graphic object based on the driving speed information of the vehicle.
  • the display controller 676 may control the display 651 to further display a graphic object corresponding to the driving situation information received by the driving situation information obtaining unit 678.
  • the display controller 676 may control at least one of the amount, type, and displayed area of the graphic object displayed on the display unit 651 based on the vehicle state information.
  • the signal output unit 677 may provide a signal for controlling at least one of a power source, a brake device, and a steering device based on the first object information and the second object information.
  • the signal output unit 677 may provide a signal to the vehicle driver 150 through the interface unit 630.
  • FIG 8 to 9 are views for explaining a situation in which another vehicle is covered by the road slope before the vehicle enters the slope according to an embodiment of the present invention.
  • the vehicle 100 may travel downhill as illustrated in FIG. 8.
  • the vehicle 100 may travel uphill as illustrated in FIG. 9.
  • the other vehicle 810 may not be hidden by the inclinations 820 and 830 of the road.
  • Slopes 820 and 830 of the road may be located between the vehicle 100 and another vehicle 810 preceding.
  • the other other vehicle 810 may be a first object.
  • the slopes 820 and 830 of the road may be second objects.
  • the processor 670 may acquire the information of another vehicle 810 and the inclinations 820 and 830 of the road through the interface unit 630.
  • the external sensing unit 126 of the vehicle 100 may detect inclinations 820 and 830 of another vehicle 810 and a road ahead.
  • the processor 670 may receive other vehicle 810 information and road slopes 820 and 830 information from the external sensing unit 126.
  • the processor 670 may acquire location information of another vehicle 810 through the V2X communication unit 615. Even when the other vehicle 810 is obscured by the inclinations 820 and 830 of the road, and the external sensing unit 126 does not detect the other vehicle 810, the processor 670 may also use the V2X communication unit 615. The other vehicle 810 can be continuously tracked.
  • the processor 670 acquires driver gaze information through the internal camera 624, and based on the driver gaze information, slopes 820 and 830 of the road between the vehicle 100 and another preceding vehicle 810 may be obtained. To determine if is located. The processor 670 may determine whether another preceding vehicle 810 is covered by the slopes 820 and 830 of the road, based on the driver's gaze information.
  • the processor 670 generates a 3D map, and on the 3D map, the vehicle 100 and the preceding other vehicle based on the positional relationship between the vehicle 100, the other other vehicle 810, and the roads 820 and 830. It may be determined whether the slopes 820 and 830 of the road are located between the vehicles 810. The processor 670 may determine whether another preceding vehicle 810 is covered by the slopes 820 and 830 of the road, based on the 3D map.
  • FIGS. 8 to 9 are views referred to for describing graphic objects displayed in the context of FIGS. 8 to 9, according to an embodiment of the present invention.
  • the processor 670 may perform graphic objects 1000, 1010, 1020, 1030, and 1050 corresponding to the first object. Can be generated.
  • the processor 670 may control the display unit 651 to display the graphic object.
  • the graphic objects 1000, 1010, 1020, 1030, and 1050 may be displayed on the front windshield 10 of the vehicle 100.
  • the processor 670 may control the graphic objects 1000, 1010, 1020, 1030, and 1050 to be displayed as augmented reality.
  • the processor 670 may control to display the graphic objects 1000, 1010, 1020, 1030, and 1050 on an area corresponding to the slopes 820 and 830 of the road on the front windshield 10.
  • the processor 670 may track another preceding vehicle 810 of FIGS. 8 to 9.
  • the processor 670 may receive location information of another vehicle (810 of FIGS. 8 to 9) through the V2X communication unit 615.
  • the processor 670 may track based on location information of another preceding vehicle (810 of FIGS. 8 to 9).
  • the processor 670 places the graphic objects 1000, 1010, 1020, 1030, and 1050 on the front windshield 10 in an area corresponding to the position of the tracked other vehicle (810 of FIGS. 8 to 9). You can control the display.
  • the processor 670 may display graphic objects 1000 and 1010 corresponding to other preceding vehicles 810 of FIGS. 8 to 9.
  • the processor 670 may display the text 1010 as a graphic object.
  • the processor 670 may display the arrow shape 1000 as a graphic object.
  • the processor 670 may display the arrow shape 1000 such that the direction in which the preceding other vehicle (810 of FIGS. 8 to 9) faces and the direction of the arrow shape 1000 coincide with each other.
  • the processor 670 may display, as a graphic object, the vehicle images 1020 and 1030 having a shape similar to that of another preceding vehicle (810 of FIGS. 8 to 9). have.
  • the processor 670 may adjust the size change or the color change of the vehicle images 1020 and 1030 based on the distance between the vehicle 100 and the other vehicle 810.
  • the processor 670 may display the vehicle images 1020 and 1030 larger and larger. Also, as the vehicle 100 and the other vehicle 810 move away from each other, the processor 670 may display the vehicle images 1020 and 1030 smaller and smaller.
  • the processor 670 may gradually display the colors of the vehicle images 1020 and 1030. Also, as the vehicle 100 and the other vehicle 810 move away from each other, the processor 670 may gradually display the colors of the vehicle images 1020 and 1030.
  • the processor 670 may adjust the size change or the color change of the vehicle images 1020 and 1030 based on the relative speeds of the vehicle 100 and the other vehicle 810.
  • the processor 670 may gradually display the vehicle images 1020 and 1030.
  • the processor 670 may display the vehicle images 1020 and 1030 smaller and smaller.
  • the processor 670 may gradually display the colors of the vehicle images 1020 and 1030.
  • the processor 670 may gradually display the colors of the vehicle images 1020 and 1030.
  • the processor 670 displays a partial vehicle image 1050 corresponding to the hidden portion when a portion of the preceding other vehicle 810 is covered by the slopes 820 and 830 of the road.
  • the display unit 651 may be controlled to be controlled.
  • the processor 670 may control the display unit 651 such that the partial vehicle image 1050 is displayed in augmented reality in an extended state to an unobscured portion of another vehicle 810.
  • FIG. 11 is a view referred to for explaining a situation where another vehicle is covered by a building before entering an intersection according to an exemplary embodiment of the present invention.
  • the vehicle 100 may travel at an intersection, as illustrated in FIG. 11. Before the vehicle 100 enters the intersection, another vehicle 1110 driving in the direction crossing the driving direction of the vehicle 100 may be hidden by the surrounding building 1120.
  • the building 1120 may be located between the vehicle 100 and another vehicle 1110.
  • the other vehicle 1110 driving in the direction crossing the driving direction of the vehicle 100 may be a first object.
  • the building 1120 located around the road may be a second object.
  • the processor 670 may acquire information on another vehicle 1110 and buildings around roads 1120 that are traveling in a direction crossing the driving direction of the vehicle 100 through the interface unit 630.
  • the external sensing unit 126 of the vehicle 100 detects another vehicle 1110 and the building 1120, and the processor 670 may inform other vehicle 1110 information from the external sensing unit 126. And building 1120 information.
  • the processor 670 may acquire location information of another vehicle 1110 through the V2X communication unit 615. Even when the other vehicle 1110 is hidden by the building 1120, and the external sensing unit 126 does not detect the other vehicle 1110, the processor 670 may use the other vehicle 1110 through the V2X communication unit 615. ) Can be tracked continuously.
  • the processor 670 acquires the driver gaze information through the internal camera 624, and based on the driver gaze information, another processor that is traveling in a direction crossing the driving direction of the vehicle 100 and the vehicle 100 ( It may be determined whether the building 1120 is located between 1110. The processor 670 may determine whether the other vehicle 1110 is covered by the building 1120 based on the driver's gaze information.
  • the processor 670 generates a 3D map, and determines whether the building 1120 is located between the vehicle 100 and another vehicle 1110 driving in a direction intersecting the driving direction of the vehicle 100 on the 3D map. can do.
  • the processor 670 may determine whether another vehicle 1110 is covered by the building 1120 from the driver's eye based on the 3D map.
  • FIG. 12 is a diagram referred to in describing a graphic object displayed in the context of FIG. 11, according to an embodiment of the present invention.
  • FIG. 12 is a diagram referred to in describing a graphic object displayed in the context of FIG. 11, according to an embodiment of the present invention.
  • the processor 670 may perform another vehicle 1110. ) May generate a graphic object 1210.
  • the processor 670 may control the display unit 651 to display the graphic object 1210.
  • the graphic object may be an image 1210 of the vehicle.
  • the graphic object 1210 may be displayed on the front windshield 10 of the vehicle 100.
  • the processor 670 may control the graphic object 1210 to be displayed as augmented reality.
  • the processor 670 may control the display unit 651 to display the graphic object 1210 in an area corresponding to the building 1120 in the front windshield.
  • the processor 670 may control the display unit 651 to display the graphic object 1210 in an area corresponding to the location information of another vehicle 1110 received through the V2X communication unit 615.
  • FIG. 13 is a diagram referred to describe a situation in which a pedestrian is covered by another vehicle while driving, according to an exemplary embodiment of the present invention.
  • the pedestrian 1310 crossing the roadway may be hidden by another vehicle 1320 that is stopped at a roadside as illustrated in FIG. 13.
  • Another vehicle 1320 may be located between the vehicle 100 and the pedestrian 1310.
  • the pedestrian 1310 crossing the roadway may be a first object.
  • the other vehicle 1320 stopped on the road may be a second object.
  • the processor 670 may acquire information about the pedestrian 1310 crossing the roadway and other vehicle 1320 stopped on the road through the interface unit 630.
  • the external sensing unit 126 of the vehicle 100 detects the pedestrian 1310 and the other vehicle 1320, and the processor 670 receives the pedestrian 1310 and the other from the external sensing unit 126.
  • Vehicle 1320 information may be received.
  • the processor 670 may acquire location information of the pedestrian 1310 through the V2X communication unit 615.
  • the processor 670 may communicate with the mobile terminal possessed by the pedestrian 1310 through the V2X communication unit 615 to obtain location information of the mobile terminal.
  • the location information of the mobile terminal may be information of a pedestrian. Even when the pedestrian 1310 is hidden by another vehicle 1320 and the external sensing unit 126 does not detect the pedestrian, the processor 670 continuously tracks the pedestrian 1310 through the V2X communication unit 615. can do.
  • the processor 670 acquires driver gaze information through the internal camera 624 and based on the driver gaze information, another vehicle stopped at the roadside between the vehicle 100 and the pedestrian 1310 crossing the roadway. It may be determined whether 1320 is located. The processor 670 may determine whether the pedestrian 1310 is covered by the other vehicle 1320 based on the driver's gaze information.
  • the processor 670 may generate a 3D map, and determine whether another vehicle 1320, which is stopped at a road, is positioned between the vehicle 100 and the pedestrian 1310 crossing the roadway on the 3D map. The processor 670 may determine whether the pedestrian 1310 is covered by another vehicle 1320 based on the 3D map.
  • FIG. 14 is a diagram referred to in describing the graphical object displayed in the context of FIG. 13, according to an embodiment of the invention.
  • the processor 670 may display a graphic corresponding to the pedestrian 1310.
  • the object 1410 may be created.
  • the processor 670 may control the display 651 to display the graphic object 1410.
  • the graphic object may be a pedestrian image 1410.
  • the graphic object 1410 may be displayed on the front windshield 10 of the vehicle 100.
  • the processor 670 may control the graphic object 1410 to be displayed as augmented reality.
  • the processor 670 may control the display unit 651 to display the graphic object 1410 in an area corresponding to another vehicle 1320 in the front windshield.
  • the processor 670 may control the display 651 to display the graphic object 1410 in an area corresponding to the location information of the pedestrian 1310, which is received through the V2X communication unit 615.
  • FIG. 15 is a view referred to for explaining a situation in which another vehicle before the vehicle enters a corner, is covered by the terrain around the road, according to an embodiment of the present invention.
  • the vehicle 100 may travel along a curve section as illustrated in FIG. 15. Before the vehicle 100 enters a curve section, another vehicle 1510 may be hidden by the road surface feature 1520. The terrain 1520 may be located between the vehicle 100 and another vehicle 1510.
  • the other other vehicle 1510 may be a first object.
  • the terrain 1520 located around the road may be a second object.
  • the processor 670 may acquire information of another vehicle 1510 preceding the vehicle 100 and the feature 1520 located around a road through the interface unit 630.
  • the external sensing unit 126 of the vehicle 100 detects another vehicle 1510 and the feature 1520, and the processor 670 may receive the other vehicle 1510 from the external sensing unit 126.
  • Information and feature 1520 information may be received.
  • the processor 670 may acquire location information of another vehicle 1510 through the V2X communication unit 615. Even when the other vehicle 1510 is covered by the feature 1520, and the external sensing unit 126 does not detect the other vehicle 1510, the processor 670 may use the other vehicle (V2X communication unit 615). 1510) can be tracked continuously.
  • the processor 670 acquires driver gaze information through the internal camera 624, and based on the driver gaze information, the processor 670 may include a feature (eg, a vehicle) between the vehicle 100 and another vehicle 1510 preceding the vehicle 100. 1520 may be determined. The processor 670 may determine whether another vehicle 1510 is covered by the feature 1520, based on the driver's gaze information.
  • a feature eg, a vehicle
  • the processor 670 may determine whether another vehicle 1510 is covered by the feature 1520, based on the driver's gaze information.
  • the processor 670 may generate a 3D map, and determine whether the feature 1520 is located between the vehicle 100 and another vehicle 1510 preceding the vehicle 100 on the 3D map. The processor 670 may determine whether another vehicle 1520 is covered by the feature 1520, based on the 3D map.
  • the terrain 1520 may be an object formed to have a constant volume on the ground, such as a mountain.
  • FIG. 16 is a diagram referred to in describing a graphic object displayed in the context of FIG. 15, according to an embodiment of the present disclosure.
  • the processor 670 may use a graphic object corresponding to the other vehicle 1510. 1610 may be generated.
  • the processor 670 may control the display unit 651 to display the graphic object 1610.
  • the graphic object may be a predetermined figure image 1610.
  • the graphic object 1610 may be displayed on the front windshield 10 of the vehicle 100.
  • the processor 670 may control the graphic object 1610 to be displayed as augmented reality.
  • the processor 670 may control to display the graphic object 1610 in the area corresponding to the feature 1520 in the front windshield.
  • the processor 670 may control the display 651 to display the graphic object 1610 in an area corresponding to the location information of another vehicle 1520 received through the V2X communication unit 615.
  • the processor 670 may generate a graphic object for guiding brake control based on the distance information between the vehicle 100 and the other other vehicle 1520.
  • the display unit 651 may be controlled to display augmented reality.
  • the processor 670 may overlap the driving road with the first image 1621 of the first color or the first size.
  • the first image 1621 may be an image for guiding a driver to perform the braking of the first step.
  • the processor 670 may overlap the driving road with the second image 1622 of the second color or the second size. You can mark it to be visible.
  • the second image 1622 may be an image for inducing the driver to perform the braking of the second stage.
  • the processor 670 may overlap the driving road with the third image 1623 having the third color or the third size. You can mark it to be visible.
  • the third image 1623 may be an image for inducing the driver to perform the braking of the third stage.
  • 17 is a diagram referred to describe various graphic objects according to an embodiment of the present invention.
  • the processor 670 may control the display unit 651 to display various graphic objects 1710, 1720, 1725, 1730, 1740, and 1750 as augmented reality.
  • the processor 670 may display an image 1710 corresponding to the traffic sign when the traffic sign is located nearby.
  • the processor 670 may display an image 1720 corresponding to the store in augmented reality when a shop that the passenger prefers is located nearby.
  • the vehicle display apparatus 100 may receive a user input through the sound input unit 622 and make an automatic reservation call to a store.
  • the processor 670 may display an image 1725 corresponding to the traffic light in augmented reality.
  • the processor 670 may also display signal conversion time information such as a traffic light.
  • the processor 670 may display an image 1730 corresponding to a gas station located in augmented reality. In this case, the processor 670 may display the oil price information of the surrounding gas station together.
  • the processor 670 may display an image 1740 corresponding to the lane joining point when the lane joining point is located in the vicinity. In this case, the processor 670 may also display the recommended lane guidance information for joining the lanes. In this case, the processor 670 may provide the lamp driver 154 with a control signal for turning on the turn signal to enter the lane joining point.
  • the processor 670 may display an image 1750 corresponding to the entry of the underpass when the underpass is located nearby. In this case, the processor 670 may display the air pollution degree state information before entering the underpass. In this case, the processor 670 may provide a control signal for window closing to the window driver 157 before entering the underpass. In addition, the processor 670 may provide the air conditioning driving unit 155 with a control signal for turning on the air purification function.
  • the processor 670 may output the dangerous situation avoidance information through the output unit 650.
  • the processor 670 may obtain map information.
  • the map information may include surrounding spatial information centering on the vehicle 100.
  • the map information may include information about roads, features, structures, and the like around the vehicle 100.
  • the processor 670 may receive external situation information of the vehicle 100 sensed by the external sensing unit 126.
  • the processor 670 may receive object information located outside the vehicle 100 from the external sensing unit 126.
  • the processor 670 may generate the 3D map 1800 by fusion of the map information and the external context information.
  • the processor 670 may match an object on the map with object information obtained through the external sensing unit 126.
  • the processor 670 may three-dimensionally implement the road 1811, the terrain, and the structure 1812 obtained from the map information on the 3D map. In addition, the processor 670 may three-dimensionally implement the other vehicle 1821 and the pedestrian 1822 obtained from the external situation information.
  • the processor 670 may determine, based on the positional relationship between the vehicle 100, the first object, and the second object on the 3D map, that the first object is covered by the second object in the driver's view.
  • FIG. 19 is a conceptual diagram illustrating an operation of a vehicle display apparatus 600 implementing an augmented reality image through the wind shield 10 according to an embodiment of the present invention.
  • the vehicle display apparatus 600 is a HUD.
  • the augmented reality image may be an example of a graphic object.
  • the vehicle display apparatus 600 may include a display panel 1942, a first mirror 1944, and a second mirror 1946.
  • the display panel 1942 may include a backlight unit, and under the control of the processor 670, display light for implementing an augmented reality image toward the wind shield 10.
  • the processor 670 is operatively connected with the indoor camera 624, the outdoor camera 200, and the display panel 1942, and based on the images provided from the indoor camera 624 and / or the outdoor camera 200, specific Image data for constructing an augmented reality image may be generated and provided to the display panel 1942.
  • the image data for constructing the augmented reality image may be in a bit map format.
  • the processor 670 detects a specific object 1901 existing in front of the vehicle 100 based on the front image provided from the outdoor camera 200, and corresponds to the detected object 1901.
  • Image data for constructing an augmented reality image may be provided to the display panel 1942.
  • the display panel 1942 may output display light corresponding to the augmented reality image to the first mirror 1944 based on the image data provided from the processor 670.
  • the second mirror 1946 may reflect the display light reflected from the first mirror 1944 back to the wind shield 10 so that the augmented reality image may be implemented through the wind shield 10.
  • the size of the display light corresponding to the augmented reality image may be enlarged or the projection position of the wind shield 10 may be adjusted.
  • the display light reflected by the second mirror 1946 may be projected in a predetermined area (hereinafter, display area) of the wind shield 10.
  • a reflective film may be attached to the display area 1920 so that the augmented reality image 1930 may be more clearly seen.
  • the augmented reality image is implemented by the display light projected on the wind shield 10.
  • the augmented reality image 1930 is not the display area 1920 of the wind shield 10, but the display area 1920. It may appear to be displayed outside the vehicle 100 beyond. That is, the augmented reality image 1930 may be recognized as a virtual image that appears to be floating in front of the vehicle 100 in front of a predetermined distance.
  • the augmented reality image 1930 may be a graphic object that provides information on the contour, speed, collision warning, and the like of the object 1901.
  • the eye position of the driver is an eye box 1910.
  • the eye box 1910 is a space inside a vehicle 100 having a three-dimensional volume.
  • the eye box 1910 may identify the augmented reality image 1930 through the display area 1920. Can be.
  • the driver's eyes are outside the eye box 1910, only a portion of the augmented reality image 1930 may be visible, or the augmented reality image 1930 may not be entirely visible.
  • coordinate values defining a boundary of the eye box 1910 may be stored in advance.
  • the driver when the driver's eyes are located in the eye box 1910, even if the driver can recognize the augmented reality image 1930, the driver may change the display area (see FIG. An error may occur between the real image of the object 1901 and the augmented reality image 1930 recognized through 1920. This phenomenon occurs because the distance to the augmented reality image 1930 is different from the distance to the object 1901 based on the position of the driver, and as the object 1901 becomes relatively far, the augmented reality image The error with 1930 may be gradually increased. To reduce or eliminate this error, the processor 670 may post-process the augmented reality image 1930 based on the driver's eye position.
  • the processor 670 may detect the eye position of the driver from the driver's image provided from the indoor camera 624. In an embodiment, the processor 670 may detect the driver's eyes appearing in the driver's image by using an eye tracking technique, and calculate a 3D coordinate value of the detected eyes. In another embodiment, the processor 670 may extract the driver's face contour from the driver's image using an edge detection technique, and estimate the driver's eye position based on the extracted contour.
  • Information about the reference position may be preset in the memory 640, and the processor 670 may calculate the direction and the distance of the eye position relative to the reference position by comparing the driver's eye position with the reference position. That is, the processor 670 may determine in which direction how far the driver's current eye position is from the reference position.
  • the processor 670 may determine a visual effect to be applied to the post-processing for the augmented reality image according to the direction and distance of the eye position relative to the reference position. In addition, the processor 670 may determine the size of the determined visual effect.
  • the processor 670 post-processes the augmented reality image 1930 using the determined visual effect, thereby suppressing an error with the actual image of the object 1901 generated by the change of the eye position in the eye box 1910.
  • the driver may provide the driver with improved image matching.
  • the visual effect applicable to the post-processing for the augmented reality image may include at least one of blurring, position change, size change, shape change, and tilt change for the augmented reality image. For example, as the driver's eye position is changed from side to side along the y axis, when a horizontal error occurs between the augmented reality image and the actual image of the object, the processor 670 may horizontally move the augmented reality image toward the actual image. Or through visual effects such as widening the augmented reality image, or blurring at least a portion of the augmented reality image, to compensate for the discrepancy between the two images.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes implementations in the form of carrier waves (eg, transmission over the Internet).
  • the computer may also include a processor or a controller. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Abstract

본 발명은 디스플레이부; 인터페이스부; 및 상기 인터페이스부를 통해, 차량 외부에 위치하는 제1 오브젝트에 대한 정보 및 제2 오브젝트에 대한 정보를 수신하고, 차량과 상기 제1 오브젝트 사이에, 상기 제2 오브젝트가 위치하는 경우, 상기 제1 오브젝트에 대응되는 그래픽 객체가, 상기 디스플레이부에 표시되도록 제어하는 프로세서;를 포함하는 차량용 디스플레이 장치에 관한 것이다.

Description

차량용 디스플레이 장치 및 차량
본 발명은 차량에 구비되는 디스플레이 장치 및 차량에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS : Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.
차량 주변에 위치하는 오브젝트들 중에서, 운전자의 시야에 가려지는 오브젝트들이 있다. 도로의 형태, 도로 주변에 위치하는 구조물, 지형물, 타 차량 등으로 인해, 선행하는 차량, 보행자 등이 가려지기도 한다. 오브젝트들이 다른 물체 또는 지형에 가려진 상태에서, 고속 주행 중일 때, 이러한 오브젝트들이 순간적으로 나타나는 경우, 사고가 발생될 확률이 매우 높다.
따라서, 운전자에게 이러한 오브젝트들에 대한 알리는 장치들에 대한 개발이 필요하다.
본 발명의 실시예는 상기한 문제점을 해결하기 위하여, 가려지는 오브젝트에 대응되는 그래픽 객체를 표시하는 차량용 디스플레이 장치를 제공하는데 목적이 있다.
또한, 본 발명의 실시예는 상기 장치를 포함하는 차량을 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 장치는, 디스플레이부; 인터페이스부; 및 상기 인터페이스부를 통해, 차량 외부에 위치하는 제1 오브젝트에 대한 정보 및 제2 오브젝트에 대한 정보를 수신하고, 차량과 상기 제1 오브젝트 사이에, 상기 제2 오브젝트가 위치하는 경우, 상기 제1 오브젝트에 대응되는 그래픽 객체가, 상기 디스플레이부에 표시되도록 제어하는 프로세서;를 를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 운전자의 눈에 보이지 않는 오브젝트에 대응되는 그래픽 객체를 디스플레이 장치에 표시함으로써, 운전자가 상기 오브젝트를 인지하게 하는 효과가 있다.
둘째, 그래픽 객체를 증강현실로 표시함으로써, 운전자가 직관적으로 오브젝트를 인지할 수 있게 하는 효과가 있다.
셋째, 주행 상황에 적절하게 오브젝트에 대응되는 그래픽 객체를 표시하여, 사고를 예방하는 효과가 있다.
넷째, 주행 상황에 적절하게 차량 구동부를 제어하여 사고를 예방하는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1a는 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다. 도 1b는 본 발명의 실시예에 따른 차량의 내부를 예시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 3a는 본 발명의 실시예에 따른 차량용 카메라의 사시도이다. 도 3b는 본 발명의 실시예에 따른 차량용 카메라의 분해 사시도이다. 도 3c는 본 발명의 실시예에 따라, 도 3a의 A-B를 절개한 차량용 카메라의 절개 측면도이다.
도 4a 내지 도 4b는 도 3a 내지 도 3f의 프로세서의 내부 블록도의 다양한 예를 예시하고, 도 5a 내지 도 5d는 도 4a 내지 도 4b의 프로세서의 동작 설명에 참조되는 도면이다.
도 6은 본 발명의 실시예에 따른 차량용 디스플레이 장치를 설명하는데 참조되는 블럭도이다.
도 7은 본 발명의 실시예에 따른, 프로세서의 내부 구성을 설명하는데 참조되는 도면이다.
도 8 내지 도 9는 본 발명의 실시예에 따라 차량이 경사 진입 전에, 선행하는 타 차량이 도로 경사에 가려지는 상황을 설명하는데 참조되는 도면이다.
도 10a 내지 도 10d는 본 발명의 실시예에 따라, 도 8 내지 도 9의 상황에서, 표시되는 그래픽 객체를 설명하는데 참조되는 도면이다.
도 11은 본 발명의 실시예에 따라 교차로 진입 전에, 타 차량이 건물에 가려지는 상황을 설명하는데 참조되는 도면이다.
도 12는 본 발명의 실시예에 따라, 도 11의 상황에서, 표시되는 그래픽 객체를 설명하는데 참조되는 도면이다.
도 13은 본 발명의 실시예에 따라, 주행시 보행자가 타 차량에 가려지는 상황을 설명하는데 참조되는 도면이다.
도 14는, 본 발명의 실시예에 따라, 도 13의 상황에서, 표시되는 그래픽 객체를 설명하는데 참조되는 도면이다.
도 15는 본 발명의 실시예에 따라, 차량이 코너 진입 전에, 선행하는 타 차량이 도로 주변 지형물에 가려지는 상황을 설명하는데 참조되는 도면이다.
도 16은 본 발명의 실시예에 따라, 도 15의 상황에서, 표시되는 그래픽 객체를 설명하는데 참조되는 도면이다.
도 17은 본 발명의 실시예에 따른 다양한 그래픽 객체를 설명하는데 참조되는 도면이다.
도 18은 본 발명의 실시예에 따른 3D 도면을 설명하는데 참조되는 도면이다.
도 19는 본 발명의 일 실시예에 따라, 차량용 디스플레이 장치(600)가 윈드 쉴드(10)를 통해 증강현실 이미지를 구현하는 동작을 설명하기 위한 개념도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1a는 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다. 도 1b는 본 발명의 실시예에 따른 차량의 내부를 예시한 도면이다.
도면을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치를 구비할 수 있다.
실시예에 따라, 차량(100)은 자율 주행 차량일 수 있다. 자율 주행 차량의 경우, 사용자 입력에 따라 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 메뉴얼 모드로 전환되는 경우, 자율 주행 차량(100)은 조향 입력 장치를 통해 조향 입력을 수신할 수 있다.
차량(100)은, 차량 운전 보조 장치(400)를 포함할 수 있다. 차량 운전 보조 장치(400)는, 다양한 센서에서 획득되는 정보를 기초로, 운전자를 보조하는 장치이다. 이러한 차량 운전 보조 장치(400)는, ADAS(Advanced Driver Assistance System)로 명명될 수 있다.
한편, 차량(100)은, 내부 센싱부(125) 및 외부 센싱부(126)를 포함할 수 있다. 특히, 외부 센싱부(126)는, 차량(100) 외부에 위치하는 오브젝트를 감지할 수 있다. 실시예에 따라, 외부 센싱부(126)는, 차량 운전 보조 장치(400)의 하위 구성 요소로 분류될 수도 있다.
본 명세서에서, 차량 운전 보조 장치(400)에 이용되는 센서로 차량용 카메라(200)를 중심으로 설명하나, 이에 한정되지 않는다. 실시예에 따라, 센서는 차량용 카메라(200)외에, 레이다(Radar)(201), 라이다(LiDar)(202), 초음파 센서(203)등이 이용될 수 있다.
도면에서, 차량 운전 보조 장치(400)에 이용되는 차량용 카메라(200)가 차량 전방을 촬영할 수 있도록 프런트 윈드 쉴드(10)에 장착되는 것으로 예시되나, 차량용 카메라(200)는, 차량 전방, 후방, 우측방, 좌측방 어디든 촬영할 수 있다. 그에 따라, 차량용 카메라(200)는, 차량의 외부 또는 내부의 적절한 위치에 배치될 수 있다.
차량(100)은, 차량용 디스플레이 장치(600)를 포함할 수 있다. 차량용 디스플레이 장치(600)는, 다양한 정보, 다양한 컨텐츠 등을 출력할 수 있다. 차량용 디스플레이 장치(600)는, 그래픽 객체를 디스플레이부(651)에 표시할 수 있다.
차량용 디스플레이 장치(600)에 포함되는 디스플레이부(651)는, 프런트 윈드 쉴드(10), 사이드 윈도우 또는 리어 글라스 상에 구현될 수 있다.
예를 들면, 차량용 디스플레이 장치(600)는, HUD(Head up display)로 구현되어, 프런트 윈드 쉴드(10), 사이드 윈도우 또는 리어 글라스에 영상을 투사하여 정보 또는 컨텐츠를 출력할 수 있다. 이경우, 프런트 윈드 쉴드(10), 사이드 윈도우 또는 리어 글라스는 스크린으로 기능할 수 있다. 스크린으로 기능하기 위해, 프런트 윈스 쉴드(10), 사이드 윈도우 또는 리어 글라스 상에 소정의 필름이 부착될 수 있다.
예를 들면, 차량용 디스플레이 장치(600)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는, 프런트 윈드 쉴드(10), 사이드 윈도우 또는 리어 글라스에 근접하게 배치될 수 있다. 차량용 디스플레이 장치(600)는, 투명 디스플레이를 통해, 정보 또는 컨턴츠를 출력할 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 2는 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 2를 참조하면, 차량(100)은, 입력부(120), 내부 센싱부(125), 외부 센싱부(126), 메모리(130), 출력부(140), 차량 구동부(150), 제어부(170), 인터페이스부(180), 전원 공급부(190), 차량 운전 보조 장치(400), 차량용 디스플레이 장치(600) 및 내비게이션 장치(300)를 포함할 수 있다.
입력부(120)는, 운전 조작 장치(121), 마이크로 폰(123) 및 사용자 입력부(124)를 포함할 수 있다.
운전 조작 장치(121)는, 차량(100) 운전을 위한 사용자 입력을 수신한다. 운전 조작부(121)는 조향 입력 장치, 쉬프트 입력 장치, 가속 입력 장치, 브레이크 입력 장치를 포함할 수 있다.
조향 입력 장치는, 사용자로부터 차량(100)의 진행 방향 입력을 수신한다. 조향 입력 장치는 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
쉬프트 입력 장치는, 사용자로부터 차량(100)의 주차(P), 전진(D), 중립(N), 후진(R)의 입력을 수신한다. 쉬프트 입력 장치는 레버 형태로 형성되는 것이 바람직하다. 실시예에 따라, 쉬프트 입력 장치는 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
가속 입력 장치는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신한다. 브레이크 입력 장치는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신한다. 가속 입력 장치 및 브레이크 입력 장치는 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
마이크로 폰(123)은, 외부의 음향 신호를 전기적인 데이터로 처리할 수 있다. 처리된 데이터는 차량(100)에서 수행 중인 기능에 따라 다양하게 활용될 수 있다. 마이크로폰(123)은 사용자의 음성 명령을 전기적인 데이터로 전환할 수 있다. 전환된 전기적인 데이터는 제어부(170)에 전달될 수 있다.
한편, 실시예에 따라, 카메라(122) 또는 마이크로폰(123)는 입력부(120)에 포함되는 구성요소가 아닌, 센싱부(125)에 포함되는 구성요소일 수도 있다.
사용자 입력부(124)는 사용자로부터 정보를 입력받기 위한 것이다. 사용자 입력부(124)를 통해, 정보가 입력되면, 제어부(170)는 입력된 정보에 대응되도록 차량(100)의 동작을 제어할 수 있다. 사용자 입력부(124)는 터치식 입력수단 또는 기계식 입력 수단을 포함할 수 있다. 실시예에 따라, 사용자 입력부(124)는 스티어링 휠의 일 영역에 배치될 수 있다. 이경우, 운전자는 스티어링 휠을 잡은 상태에서, 손가락으로 사용자 입력부(124)를 조작할 수 있다.
내부 센싱부(125)는, 차량(100)의 각종 상황을 센싱한다. 이를 위해, 센싱부(125)는, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(125)는, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(125)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
외부 센싱부(126)는, 차량의 외부 상황을 센싱할 수 있다. 외부 센싱부(126)는, 차량 외부에 위치하는 오브젝트를 센싱할 수 있다.
외부 센싱부(126)는, 카메라(200), 레이더(201), 라이더(202), 초음파 센서(203) 및 적외선 센서(204)를 포함할 수 있다.
카메라(200)는, 차량용 카메라 장치로 명명될 수 있다. 카메라(200)는, 도 3a 내지 도 3c의 모노 카메라(200a) 및 도 3d 내지 도 3f의 스테레오 카메라(200b)를 포함할 수 있다.
레이더(201)는, 전자파 송신부, 수신부 및 프로세서를 포함할 수 있다. 레이더(201)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 또한, 레이더(201)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(201)는 송신된 전자파를 기초로 오브젝트를 검출하고, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(201)은 획득된 오브젝트 정보를 제어부(170), 차량 운전 보조 장치(400) 또는 차량용 디스플레이 장치(600)에 제공할 수 있다. 여기서, 오브젝트 정보는 오브젝트와의 거리 정보를 포함할 수 있다.
라이더(202)는, 레이저 송신부, 수신부, 프로세서를 포함할 수 있다. 라이더 (202)는, TOF(Time of Flight) 방식 또는 페이즈쉬프트(phase-shift) 방식으로 구현될 수 있다.
TOF 방식의 라이더(202)는, 레이저 펄스 신호를 방출하고, 오브젝트에 반사되는 반사 펄스 신호를 수신한다. 라이더(202)는, 레이저 펄스 신호가 방출되고 반사 펄스 신호가 수신된 시간을 기초로 오브젝트와의 거리를 측정할 수 있다. 또한, 시간에 따른 거리의 변화를 기초로 오브젝트와의 상대 속도를 측정할 수 있다.
한편, 페이즈쉬프트 방식의 라이더(202)는, 특정 주파수를 가지고 연속적으로 변조되는 레이저 빔을 방출하고, 오브젝트에 반사되어 돌아오는 신호의 위상 변화량을 기초로 시간 및 오브젝트와의 거리를 측정할 수 있다. 또한, 시간에 따른 거리의 변화를 기초로 오브젝트와의 상대 속도를 측정할 수 있다.
라이더(202)는, 송신된 레이저를 기초로 오브젝트를 검출하고, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이더(202)는, 획득된 오브젝트 정보를 제어부(170), 차량 운전 보조 장치(400) 또는 차량용 디스플레이 장치(600)에 제공할 수 있다. 여기서, 오브젝트 정보는 오브젝트와의 거리 정보를 포함할 수 있다.
초음파 센서(203)는, 초음파 송신부, 수신부, 프로세서를 포함할 수 있다. 초음파 센서(203)은, 송신된 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(203)은 획득된 오브젝트 정보를 제어부(170), 차량 운전 보조 장치(400) 또는 차량용 디스플레이 장치(600)에 제공할 수 있다. 여기서, 오브젝트 정보는 오브젝트와의 거리 정보를 포함할 수 있다.
메모리(130)는, 제어부(170)와 전기적으로 연결된다. 메모리(130)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(130)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(130)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
출력부(140)는, 제어부(170)에서 처리된 정보를 출력하기 위한 것으로, 음향 출력부(142) 및 햅틱 출력부(143)를 포함할 수 있다. 실시예에 따라, 차량용 디스플레이 장치(600)는, 출력부(140)의 하위 구성 요소로 분류될 수도 있다.
음향 출력부(142)는 제어부(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(142)는 스피커 등을 구비할 수 있다. 음향 출력부(142)는, 사용자 입력부(724) 동작에 대응하는, 사운드를 출력하는 것도 가능하다.
햅틱 출력부(143)는 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(143)는, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
차량 구동부(150)는, 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(150)는 동력원 구동부(151), 조향 구동부(152), 브레이크 구동부(153), 램프 구동부(154), 공조 구동부(155), 윈도우 구동부(156), 에어백 구동부(157), 썬루프 구동부(158) 및 서스펜션 구동부(159)를 포함할 수 있다.
동력원 구동부(151)는, 차량(100) 내의 동력원에 대한 전자식 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부(151)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(151)가 엔진인 경우, 제어부(170)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 주행 속도를 제한할 수 있다.
다른 예로, 전기 기반의 모터(미도시)가 동력원인 경우, 동력원 구동부(151)는, 모터에 대한 제어를 수행할 수 있다. 이에 의해, 모터의 회전 속도, 토크 등을 제어할 수 있다.
조향 구동부(152)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(153)는, 차량(100) 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량(100)의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.
램프 구동부(154)는, 차량 내, 외부에 배치되는 램프의 턴 온/턴 오프를 제어할 수 있다. 또한, 램프의 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.
공조 구동부(155)는, 차량(100) 내의 공조 장치(air cinditioner)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
윈도우 구동부(156)는, 차량(100) 내의 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량의 측면의 좌,우 윈도우들에 대한 개방 또는 폐쇄를 제어할 수 있다.
에어백 구동부(157)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 위험시, 에어백이 터지도록 제어할 수 있다.
썬루프 구동부(158)는, 차량(100) 내의 썬루프 장치(sunroof apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 썬루프의 개방 또는 폐쇄를 제어할 수 있다.
서스펜션 구동부(159)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
한편, 실시예에 따라, 차량 구동부(150)는 샤시 구동부를 포함할 수 있다. 여기서, 샤시 구동부는 조향 구동부(152), 브레이크 구동부(153) 및 서스펜션 구동부(159)를 포함하는 개념일 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
제어부(170)는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
인터페이스부(180)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(180)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 인터페이스부(180)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 인터페이스부(180)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 인터페이스부(180)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 인터페이스부(180)는 전원부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.
차량 운전 보조 장치(400)는, 운전자에 의한 차량의 주행을 보조할 수 있다.
차량 운전 보조 장치(400)는, 자동 비상 제동 시스템(이하, AEB : Autonomous Emergency Braking), 적응 순향 제어 시스템 (이하, ACC : Adaptive Cruise Control), 측방 접근차량 경고 시스템 (이하, CTA : Cross Traffic Alert), 차선 변경 보조 시스템 (이하, LCA : Lane Change Assistant), 전방 충돌 회피 시스템 (이하, FCW : Foward Collision Warning), 차선 이탈 경고 시스템 (이하, LDW : Lane Departure Warning), 차선 유지 보조 시스템 (이하, LKA : Lane Keeping Assist), 속도 지원 시스템 시스템 (이하, SAS : Speed Assist System), 교통 신호 검출 시스템 (TSR : Traffic Sign Recognition), 적응형 상향등 제어 시스템 (이하, HBA : High Beam Assist), 사각 지대 감시 시스템 (이하, BSD : Blind Spot Detection), 자동 비상 조향 시스템 (이하, AES : Autonomous Emergency Steering), 커브 속도 경고 시스템 시스템 (이하, CSWS : Curve Speed Warning System), 스마트 주차 시스템 시스템 (이하, SPAS : Smart Parking Assist System), 교통 정체 지원 시스템 (이하, TJA : Traffic Jam Assist) 및 어라운드 뷰 모니터 시스템 (이하, AVM : Around View Monitor)을 제공할 수 있다.
차량용 디스플레이 장치(600)는, 다양한 정보 또는 다양한 컨텐츠를 표시할 수 있다.
예를 들면, 차량용 디스플레이 장치(600)는, 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 차량에 대한 직접적인 제어를 위한 차량 제어 정보, 또는 차량 운전자에게 운전 가이드를 위한 차량 운전 보조 정보를 포함할 수 있다. 또한, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다.
한편, 디스플레이 장치(600)는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다.
한편, 실시예에 따라, 디스플레이 장치(600)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이 장치(600)가 HUD로 구현되는 경우, 디스플레이 장치(600)는 투사 모듈을 구비하여 프런트 윈드 쉴드(10)에 투사되는 이미지를 통해 정보를 출력할 수 있다.
한편, 실시예에 따라, 디스플레이 장치(600)는, 투명 디스플레이를 포함할 수 있다. 이경우, 투명 디스플레이는 프런트 윈드 쉴드(10)에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
내비게이션 장치(300)는, 차량용 디스플레이 장치(600)에 내비게이션 정보를 제공할 수 있다. 실시예에 따라, 내비게이션 장치(300)는, 차량용 디스플레이 장치(600)와 일체형으로 형성될 수 있다.
내비게이션 정보는 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 차량 주행과 관련한, 맵(map) 정보, 차량의 현재 위치 정보를 포함할 수 있다. 한편, 내비게이션 정보는 도로상에서 차량의 위치 정보를 포함할 수 있다.
도 3a는 본 발명의 실시예에 따른 차량용 카메라의 사시도이다. 도 3b는 본 발명의 실시예에 따른 차량용 카메라의 분해 사시도이다. 도 3c는 본 발명의 실시예에 따라, 도 3a의 A-B를 절개한 차량용 카메라의 절개 측면도이다.
도 3a 내지 도 3c를 참조하여 설명하는 차량용 카메라(200)는, 싱글 카메라(200a)이다.
차량용 카메라(200a)는, 렌즈(211), 이미지 센서(214) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 차량용 카메라(200a)는, 프로세싱 보드(220), 라이트 쉴드(230), 방열 부재(240), 하우징(250)을 개별적으로 더 포함하거나, 조합하여 더 포함할 수 있다.
한편, 하우징(250)은, 제1 하우징(251), 제2 하우징(252), 제3 하우징(253)을 포함할 수 있다.
렌즈(211)는, 렌즈 하우징(217)에 수용된 상태로, 너트(212)를 통해, 제1 하우징(251)의 일 부분에 형성된 홀(219)에 안착되도록 체결될 수 있다.
이미지 센서(214)는, 광신호를 전기적 신호로 변환할 수 있는 광전 변환 소자를 적어도 하나 포함할 수 있다. 예를 들면, 이미지 센서(214)는 CCD(charge-coupled device) 또는 CMOS(complimentary metal-oxide semiconductor)일 수 있다.
이미지 센서(214)는, 차량 외부 영상 또는 차량 내부 영상을 획득하기 위해, 차량의 외부 또는 차량의 내부의 적절한 곳에 위치할 수 있다.
예를 들면, 이미지 센서(214)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드(10)에 근접하게 배치될 수 있다. 또는, 이미지 센서(214)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 이미지 센서(214)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 이미지 센서(214)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 이미지 센서(214)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 이미지 센서(214)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
이미지 센서(214)는, 렌즈(211)를 통해 유입되는 광을 기초로 이미지를 획득할 수 있도록, 렌즈(211)의 후단에 배치될 수 있다. 예를 들면, 이미지 센서(214)는, 렌즈(211)와 소정 거리만큼 이격된 상태로 지면을 기준으로 수직하게 배치될 수 있다.
프로세서(470)는, 이미지 센서(214)와 전기적으로 연결될 수 있다. 프로세서(470)는, 이미지 센서(214)를 통해 획득되는 영상을 컴퓨터 처리할 수 있다. 프로세서(470)는, 이미지 센서(214)를 제어할 수 있다.
프로세서(470)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(470)는, 프로세싱 보드(220) 상에 실장될 수 있다.
프로세싱 보드(220)는, 프로세서(270) 및 메모리(440)를 실장할 수 있다.
프로세싱 보드(220)는, 전장 방향으로 경사지게 배치될 수 있다. 예를 들면, 프로세싱 보드(220)는, 전면 또는 배면이 프런트 윈드 쉴드(10)와 마주보도록 배치될 수 있다. 예를 들면, 프로세싱 보드(220)는, 프런트 윈드 쉴드(10)와 평행하게 배치될 수 있다.
차량(100)에 구비되는 프런트 윈드 쉴드(10)는 일반적으로 차량(100)의 보닛(bonnet)에서부터 루프까지 지면과 소정의 각도를 가지면서 경사지게 형성된다. 이경우, 프로세싱 보드(220)가 전장 방향으로 경사지게 배치됨으로써, 차량용 카메라(200a)는, 프로세싱 보드(220)가 수직 또는 수평되게 배치되는 경우보다 작게 형성될 수 있다. 차량용 카메라(200a)가 작게 형성됨으로써, 줄어드는 부피만큼 차량(100)내에서 공간이 더 확보될 수 있는 장점이 있다.
프로세싱 보드(220)에는 복수의 소자 또는 전자 부품들이 실장될 수 있다. 이때, 프로세싱 보드(220)에 포함되는 복수의 소자 또는 부품들로 인해 열이 발생될 수 있다.
프로세싱 보드(220)는, 이미지 센서(241)와 이격되게 배치될 수 있다. 프로세싱 보드(220)가 이미지 센서(241)와 이격되게 배치됨으로써, 프로세싱 보드(220)에서 발생되는 열이 이미지 센서(241)의 성능에 문제를 발생시키지 않도록 할 수 있다.
프로세싱 보드(220)는, 프로세싱 보드(220)에서 발생한 열이 이미지 센서(241)에 영향을 미치지 않도록 최적의 위치에 배치될 수 있다. 구체적으로, 프로세싱 보드(220)는, 이미지 센서(241)의 하단에 배치될 수 있다. 또는, 프로세싱 보드(220)는, 이미지 센서(241)의 전단에 배치될 수 있다.
프로세싱 보드(220)에는 하나 이상의 메모리(440)가 실장될 수 있다. 메모리(440)는, 이미지 센서(241)를 통해 획득되는 영상, 각종 어플리케이션 데이터, 프로세서(470) 제어를 위한 데이터 또는 프로세서(470)에서 처리되는 데이터를 저장할 수 있다. 메모리(440)는, 프로세서(470)와 마찬가지로 주요 열 발생 소자 중의 하나이다. 프로세서(470)가 프로세싱 보드(220) 중심에 배치된 상태에서, 메모리(440)는, 프로세서(470) 주변에 배치될 수 있다. 예를 들면, 하나 이상의 메모리(440)는, 프로세서(470)를 중심에 두고, 프로세서(470)를 둘러싸는 형상으로 배치될 수 있다. 이경우, 열 발생 소자인 프로세서(470) 및 메모리(440)는 이미지 센서(241)에서 가장 먼 위치에 배치될 수 있다.
프로세서(470)는, 제어부(170)에 전기적으로 연결될 수 있다. 프로세서(470)는, 제어부(170)의 제어를 받을 수 있다.
라이트 쉴드(230)는, 렌즈(211) 전단에 배치될 수 있다. 라이트 쉴드(230)는, 영상 획득에 불필요한 빛이 렌즈(211)에 유입되지 않도록 차단할 수 있다. 예를 들면, 라이트 쉴드(230)는, 윈드 쉴드(10) 또는 차량의 대쉬 보드 등에서 반사되는 빛을 차단할 수 있다. 또한, 라이트 쉴드(230)는, 불필요한 광원으로부터 생성되는 빛을 차단할 수 있다.
라이트 쉴드(230)는, 가림막 구조를 가질 수 있다. 예를 들면, 라이트 쉴드(230)는, 하부 가림막 구조를 가질 수 있다.
한편, 차종에 따라 라이트 쉴드(230)의 형상은 가변될 수 있다. 예를 들면, 차종에 따라, 윈드 쉴드의 곡률, 윈드 쉴드와 지면이 형성하는 각도가 다를 수 있으므로, 라이트 쉴드(230)는 차량용 카메라(200a)가 장착되는 차종에 대응하는 형상을 가질 수 있다. 이를 위해, 라이트 쉴드(230)는, 착탈식 구조를 가질 수 있다.
방열 부재(240)는, 이미지 센서(214) 후단에 배치될 수 있다. 방열 부재(240)는, 이미지 센서(214) 또는 이미지 센서(214)가 실장되는 이미지 센서 보드와 접촉될 수 있다. 방열 부재(240)는, 이미지 센서(214)의 열을 처리할 수 있다.
상술한 바와 같이, 이미지 센서(241)는 열에 민감하다. 방열 부재(240)는, 이미지 센서(214) 및 제3 하우징(253) 사이에 배치될 수 있다. 방열 부재(240)는, 이미지 센서(214) 및 제3 하우징(253)가 접촉되게 배치될 수 있다. 이경우, 방열 부재(240)는, 열을 제3 하우징(253)을 통해 방출할 수 있다.
예를 들면, 방열 부재(240)는, 써멀 패드 및 써멀 구리스 중 어느 하날 수 있다.
하우징(250)은, 렌즈 하우징(217) 제1 하우징(251), 제2 하우징(252) 및 제3 하우징(253)을 포함할 수 있다.
렌즈 하우징(217)은, 적어도 하나의 렌즈(211)를 수용하고, 렌즈(211)를 외부의 충격에서 보호할 수 있다.
제1 하우징(251)은, 이미지 센서(241)를 감싸도록 형성될 수 있다. 제1 하우징(251)은 홀(219)을 포함할 수 있다. 렌즈(211)는, 렌즈 하우징에 수용된 상태로 홀(219)에 안착된 상태에서, 이미지 센서(214)와 연결될 수 있다.
제1 하우징(251)은, 이미지 센서(214)에 근접할 수록 두껍게 형성될 수 있다. 예를 들면, 제1 하우징(251)은 다이 캐스팅 방식으로 형성될 수 있다. 이경우, 열에 의한 이미지 센서(214)의 성능 저하 방지를 위해, 제1 하우징(251)은, 이미지 센서(214)에 근접한 부분이 다른 부분보다 두껍게 형성될 수 있다.
제1 하우징(251)은, 제3 하우징(253)보다 두꺼운 두께를 가지도록 형성될 수 있다. 하우징의 두께가 두꺼우면 열전달이 천천히 이루어진다. 따라서, 제1 하우징(251)의 두께가 제3 하우징(253)의 두께보다 두껍게 형성되는 경우, 차량용 카메라(200a) 내부에서 발생되는 열은 프런트 윈드 쉴드(10)에 근접하게 배치되어 열방출이 어려운 제1 하우징(251)보다 제3 하우징(253)을 통해 외부로 방출되는 효과가 있다.
한편, 실시예에 따라, 렌즈 하우징(217) 및 제1 하우징(251)은 일체형으로 형성될 수 있다.
제2 하우징(252)은, 프로세싱 보드(220) 전단에 위치할 수 있다. 제2 하우징(252)은, 제1 하우징(251) 및 제3 하우징(253)과 소정의 체결 수단을 통해 체결될 수 있다.
제2 하우징(252)은, 라이트 쉴드(230)가 부착될 수 있는 부착 수단을 구비할 수 있다. 라이트 쉴드(230)는 상기 부착 수단을 통해 제2 하우징(252)에 부착될 수 있다.
제1 및 제2 하우징(252, 253)은, 합성 수지 재질로 형성될 수 있다.
제3 하우징(253)은, 제1 하우징(251) 및 제2 하우징(252)와 소정의 체결 수단을 통해 체결될 수 있다. 실시예에 따라, 제1 내지 제3 하우징(251, 252, 253)은 일체형으로 형성될 수 있다.
제3 하우징(253)은, 프로세싱 보드(220)를 감싸도록 형성될 수 있다. 제3 하우징(253)은, 프로세싱 보드(220)의 후단 또는 하단에 위치할 수 있다. 제3 하우징(253)은, 열전도성 재질로 형성될 수 있다. 예를 들면, 제3 하우징(253)은 알루미늄과 같은 금속으로 형성될 수 있다. 제3 하우징(253)이 열전도성 재질로 형성됨으로써 효율적인 열방출이 이루어질 수 있다.
제1 및 제2 하우징(251, 252)이 합성 수질 재질로 형성되고, 제3 하우징(253)이 열전도성 재질로 형성되는 경우, 차량용 카메라 내부의 열은, 제1 및 제2 하우징(251, 252) 보다 제3 하우징(253)으로 방출될 수 있다. 즉, 차량용 카메라(200a)가 윈드 쉴드에 장착되는 경우, 제1 및 제2 하우징(251, 252)은, 윈드 쉴드에 근접하게 위치하므로, 제1 및 제2 하우징(251, 252)을 통해 열이 방출될 수 없다. 이경우, 제3 하우징(253)을 통해 열이 효율적으로 방출될 수 있다.
한편, 제3 하우징(253)이 알루미늄으로 구성되는 경우, EMC(electro-magnetic compatibility) 및 ESC(electrostatic discharge)로부터 내부에 위치하는 부품들(예를 들면, 이미지 센서(241) 및 프로세서(470))을 보호하는데 유리할 수 있다.
제3 하우징(253)은 프로세싱 보드(220)와 접촉될 수 있다. 이경우, 제3 하우징(253)은, 프로세싱 보드(220)와 접촉되는 부분을 통해 열을 전달여, 외부로 효율적으로 열을 방출할 수 있다.
제3 하우징(253)은 방열부(291)를 더 포함할 수 있다. 예를 들면, 방열부(291)는 히트 싱크, 방열핀, 써멀 패드 및 써멀 구리스 중 적어도 어느 하나를 포함할 수 있다.
방열부(291)는, 차량용 카메라(200a) 내부에서 생성되는 열을 외부로 방출할 수 있다. 예를 들면, 방열부(291)는, 프로세싱 보드(220) 및 제3 하우징(253) 사이에 위치할 수 있다. 방열부(291)는, 프로세싱 보드(220) 및 제3 하우징(253)과 접촉하여, 프로세싱 보드(220)에서 생성되는 열을 외부로 방출할 수 있다.
제3 하우징(253)은, 공기 배출홀을 더 포함할 수 있다. 공기 배출홀은, 차량용 카메라(200a) 내부의 고온의 공기를 차량용 카메라(200a) 외부로 배출하기 위한 홀이다. 차량용 카메라(200a) 내부에 공기 배출홀과 연결된 공기 유동부가 포함될 수 있다. 공기 유동부는, 차량용 카메라(200a) 내부의 고온의 공기를 공기 배출홀로 유도할 수 있다.
차량용 카메라(200a)는, 방습부를 더 포함할 수 있다. 방습부는, 패치(patch) 형태로 형성되어, 공기 배출부에 부착될 수 있다. 방습부는, 고어텍스 재질을 방습 부재일 수 있다. 방습부는, 차량용 카메라(200a) 내부의 습기는 외부로 유출시킬 수 있다. 또한, 방습부는, 차량용 카메라(200a) 외부의 습기의 내부 유입을 방지할 수 있다.
도 3d은 본 발명의 실시예에 따른 차량용 카메라의 사시도이다. 도 3e는 본 발명의 실시예에 따른 차량용 카메라의 분해 사시도이다. 도 3f는 본 발명의 실시예에 따라, 도 3d의 C-D를 절개한 차량용 카메라의 절개 측면도이다.
도 3d 내지 도 3f를 참조하여 설명하는 차량용 카메라(200)는, 스테레오 카메라(200b)이다.
스테레오 카메라(200b)는 도 3a 내지 도 3c를 참조하여 설명한 싱글 카메라(200a)에 대한 설명이 모두 적용될 수 있다. 즉, 스테레오 카메라(200b)에 포함되는 제1 및 제2 카메라 각각은 도 3a 내지 도 3c를 참조하여 설명한 카메라일 수 있다.
스테레오 카메라(200b)는, 제1 렌즈(211a), 제2 렌즈(211b), 제1 이미지 센서(214a), 제2 이미지 센서(214b) 및 프로세서(470a)를 포함할 수 있다.
실시예에 따라, 차량용 카메라(200b)는, 프로세싱 보드(220a), 제1 라이트 쉴드(230a), 제2 라이트 쉴드(230b), 하우징(250a)을 개별적으로 더 포함하거나, 조합하여 더 포함할 수 있다.
한편, 하우징은, 제1 렌즈 하우징(217a), 제2 렌즈 하우징(217b), 제1 하우징(251a), 제2 하우징(252a), 제3 하우징(253a)을 포함할 수 있다.
제1 렌즈(211a) 및 제2 렌즈(211b)는, 도 3a 내지 도 3c의 렌즈(211)에 대한 설명이 적용될 수 있다.
제1 이미지 센서(214a) 및 제2 이미지 센서(214b)는, 도 3a 내지 도 3c의 이미지 센서(214)에 대한 설명이 적용될 수 있다.
한편, 제1 렌즈(211a), 제1 이미지 센서(214a)를 포함하는 모듈은 제1 이미지 획득 모듈로 명명될 수 있다. 또한, 제2 렌즈(211b), 제2 이미지 센서(214b)를 포함하는 모듈은 제2 이미지 획득 모듈로 명명될 수 있다.
프로세서(470a)는, 제1 이미지 센서(214a), 제2 이미지 센서(214b)와 전기적으로 연결될 수 있다. 프로세서(470)는, 제1 이미지 센서(214a) 및 제2 이미지 센서(214b)를 통해 획득되는 영상을 컴퓨터 처리할 수 있다. 이때, 프로세서(470)는, 제1 이미지 센서(214a) 및 제2 이미지 센서(214b)를 통해 획득되는 영상에 기초하여 디스패리티(disparity) 맵을 형성하거나, 디스패리티 연산을 수행할 수 있다.
프로세서(470a)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(470a)는, 프로세싱 보드(220a) 상에 실장될 수 있다.
프로세싱 보드(220a)는, 도 3a 내지 도 3c의 프로세싱 보드(220)에 대한 설명이 적용될 수 있다.
제1 라이트 쉴드(230a) 및 제2 라이트 쉴드(230b)는, 도 3 내지 도 5의 라이트 쉴드(230)에 대한 설명이 적용될 수 있다.
제1 렌즈 하우징(217a) 및 제2 렌즈 하우징(217b)은 도 3 내지 도 5의 렌즈 하우징(217)에 대한 설명이 적용될 수 있다.
제1 하우징(251a)은, 도 3a 내지 도 3c의 제1 하우징(251)에 대한 설명이 적용될 수 있다.
제2 하우징(252a)은, 도 3a 내지 도 3c의 제2 하우징(252)에 대한 설명이 적용될 수 있다.
제3 하우징(253a)은, 도 3a 내지 도 3c의 제3 하우징(253)에 대한 설명이 적용될 수 있다.
도 4a 내지 도 4b는 도 3a 내지 도 3f의 프로세서의 내부 블록도의 다양한 예를 예시하고, 도 5a 내지 도 5d는 도 4a 내지 도 4b의 프로세서의 동작 설명에 참조되는 도면이다.
도 4a를 참조하면, 프로세서(470)는, 영상 전처리부(501), 디스패러티 연산부(502), 오브젝트 검출부(504), 오브젝트 트래킹부(506), 및 어플리케이션부(507)를 포함할 수 있다.
영상 전처리부(image preprocessor)(501)는, 카메라(200)로부터의 이미지를 수신하여, 전처리(preprocessing)를 수행할 수 있다.
구체적으로, 영상 전처리부(501)는, 이미지에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion;CSC), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 카메라(200)에서 촬영된 스테레오 이미지 보다 선명한 이미지를 획득할 수 있다.
디스패러티 연산부(disparity calculator)(502)는, 영상 전처리부(501)에서 신호 처리된, 이미지를 수신하고, 수신된 이미지들에 대한 스테레오 매칭(stereo matching)을 수행하며, 스테레오 매칭에 따른, 디스패러티 맵(dispartiy map)을 획득할 수 있다. 즉, 차량 전방에 대한, 스테레오 이미지에 대한 디스패러티 정보를 획득할 수 있다.
이때, 스테레오 매칭은, 스테레오 이미지들의 픽셀 단위로 또는 소정 블록 단위로 수행될 수 있다. 한편, 디스패러티 맵은, 스테레오 이미지, 즉 좌,우 이미지의 시차(時差) 정보(binocular parallax information)를 수치로 나타낸 맵을 의미할 수 있다.
세그멘테이션부(segmentation unit)(503)는, 디스패러티 연산부(502)로부터의 디스페러티 정보에 기초하여, 이미지 중 적어도 하나에 대해, 세그먼트(segment) 및 클러스터링(clustering)을 수행할 수 있다.
구체적으로, 세그멘테이션부(503)는, 디스페러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해, 배경(background)과 전경(foreground)을 분리할 수 있다.
예를 들면, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이하인 영역을, 배경으로 연산하고, 해당 부분을 제외시킬 수 있다. 이에 의해, 상대적으로 전경이 분리될 수 있다.
다른 예로, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이상인 영역을, 전경으로 연산하고, 해당 부분을 추출할 수 있다. 이에 의해, 전경이 분리될 수 있다.
이와 같이, 스테레오 이미지에 기반하여 추출된 디스페러티 정보 정보에 기초하여, 전경과 배경을 분리함으로써, 이후의, 오브젝트 검출시, 신호 처리 속도, 신호 처리 양 등을 단축할 수 있게 된다.
다음, 오브젝트 검출부(object detector)(504)는, 세그멘테이션부(503)로부터의 이미지 세그먼트에 기초하여, 오브젝트를 검출할 수 있다.
즉, 오브젝트 검출부(504)는, 디스페러티 정보 정보에 기초하여, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다.
구체적으로, 오브젝트 검출부(504)는, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 예를 들면, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다.
다음, 오브젝트 확인부(object verification unit)(505)는, 분리된 오브젝트를 분류하고(classify), 확인할 수 있다(verify).
이를 위해, 오브젝트 확인부(505)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.
한편, 오브젝트 확인부(505)는, 메모리(440)에 저장된 오브젝트들과, 검출된 오브젝트를 비교하여, 오브젝트를 확인할 수 있다.
예를 들면, 오브젝트 확인부(505)는, 차량 주변에 위치하는, 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 확인할 수 있다.
오브젝트 트래킹부(object tracking unit)(506)는, 확인된 오브젝트에 대한 트래킹을 수행할 수 있다. 예를 들면, 순차적으로, 획득되는 스테레오 이미지들에 내의, 오브젝트를 확인하고, 확인된 오브젝트의 움직임 또는 움직임 벡터를 연산하며, 연산된 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량 주변에 위치하는, 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 트래킹할 수 있게 된다.
다음, 어플리케이션부(507)는, 차량 주변에, 위치하는 다양한 오브젝트들, 예를 들면, 다른 차량, 차선, 도로면, 표지판 등에 기초하여, 차량(100)의 위험도 등을 연산할 수 있다. 또한, 앞차와의 추돌 가능성, 차량의 슬립 여부 등을 연산할 수 있다.
그리고, 어플리케이션부(507)는, 연산된 위험도, 추돌 가능성, 또는 슬립 여부 등에 기초하여, 사용자에게, 이러한 정보를 알려주기 위한, 메시지 등을, 차량 운전 보조 정보로서, 출력할 수 있다. 또는, 차량(100)의 자세 제어 또는 주행 제어를 위한 제어 신호를, 차량 제어 정보로서, 생성할 수도 있다.
한편, 실시예에 따라, 프로세서(470)는 영상 전처리부(501), 디스페러티 연산부(502), 세그먼테이션부(503), 오브젝트 검출부(504), 오브젝트 확인부(505), 오브젝트 트래킹부(506) 및 어플리케이션부(507) 중 일부만을 포함할 수 있다. 가령, 카메라(200)가 모노 카메라로 구성되는 경우, 디스패러티 연산부(502)는 제외될 수 있다. 또한, 실시예에 따라, 세그먼테이션부(503)는 제외될 수도 있다.
도 4b는 프로세서의 내부 블록도의 다른 예이다.
도면을 참조하면, 도 4b의 프로세서(470)는, 도 4a의 프로세서(470)와 내부 구성 유닛이 동일하나, 신호 처리 순서가 다른 것에 그 차이가 있다. 이하에서는 그 차이만을 기술한다.
오브젝트 검출부(504)는, 스테레오 이미지를 수신하고, 스테레오 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 도 4a와 달리, 디스패러티 정보에 기초하여, 세그먼트된 이미지에 대해, 오브젝트를 검출하는 것이 아닌, 스테레오 이미지로부터 바로 오브젝트를 검출할 수 있다.
다음, 오브젝트 확인부(object verification unit)(505)는, 세그멘테이션부(503)로부터의 이미지 세그먼트, 및 오브젝트 검출부(504)에서 검출된 오브젝트에 기초하여, 검출 및 분리된 오브젝트를 분류하고(classify), 확인한다(verify).
이를 위해, 오브젝트 확인부(505)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.
도 5a와 도 5b는, 제1 및 제2 프레임 구간에서 각각 획득된 스테레오 이미지를 기반으로 하는 프로세서(470)의 동작 방법 설명을 위해 참조되는 도면이다.
먼저, 도 5a를 참조하면, 제1 프레임 구간 동안, 스테레오 카메라(200b)는, 스테레오 이미지를 획득한다.
프로세서(470) 내의 디스패러티 연산부(502)는, 영상 전처리부(501)에서 신호 처리된, 스테레오 이미지(FR1a,FR1b)를 수신하고, 수신된 스테레오 이미지(FR1a,FR1b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(520)을 획득한다.
디스패러티 맵(dispartiy map)(520)은, 스테레오 이미지(FR1a,FR1b) 사이의 시차를 레벨화한 것으로서, 디스패러티 레벨이 클수록, 차량과의 거리가 가깝고, 디스패러티 레벨이 작을수록, 차량과의 거리가 먼 것으로 연산할 수 있다.
한편, 이러한 디스패러티 맵을 디스플레이 하는 경우, 디스패러티 레벨이 클수록, 높은 휘도를 가지고, 디스패러티 레벨이 작을수록 낮은 휘도를 가지도록 표시할 수도 있다.
도면에서는, 디스패러티 맵(520) 내에, 제1 선(line) 내지 제4 선(line) (528a,528b,528c,528d) 등이 각각 해당하는 디스패러티 레벨을 가지며, 공사 지역(522), 제1 전방 차량(524), 제2 전방 차량(526)이 각각 해당하는 디스패러티 레벨을 가지는 것을 예시한다.
세그멘테이션부(503)와, 오브젝트 검출부(504), 오브젝트 확인부(505)는, 디스패러티 맵(520)에 기초하여, 스테레오 이미지(FR1a,FR1b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.
도면에서는, 디스패러티 맵(520)을 사용하여, 제2 스테레오 이미지(FR1b)에 대한, 오브젝트 검출, 및 확인이 수행되는 것을 예시한다.
즉, 이미지(530) 내에, 제1 선 내지 제4 선(538a,538b,538c,538d), 공사 지역(532), 제1 전방 차량(534), 제2 전방 차량(536)이, 오브젝트 검출 및 확인이 수행될 수 있다.
다음, 도 5b를 참조하면, 제2 프레임 구간 동안, 스테레오 카메라(200b)는, 스테레오 이미지를 획득한다.
프로세서(470) 내의 디스패러티 연산부(502)는, 영상 전처리부(501)에서 신호 처리된, 스테레오 이미지(FR2a,FR2b)를 수신하고, 수신된 스테레오 이미지(FR2a,FR2b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(540)을 획득한다.
도면에서는, 디스패러티 맵(540) 내에, 제1 차선 내지 제4 차선(548a,548b,548c,548d) 등이 각각 해당하는 디스패러티 레벨을 가지며, 공사 지역(542), 제1 전방 차량(544), 제2 전방 차량(546)이 각각 해당하는 디스패러티 레벨을 가지는 것을 예시한다.
세그멘테이션부(503)와, 오브젝트 검출부(504), 오브젝트 확인부(505)는, 디스패러티 맵(540)에 기초하여, 스테레오 이미지(FR2a,FR2b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.
도면에서는, 디스패러티 맵(540)을 사용하여, 제2 스테레오 이미지(FR2b)에 대한, 오브젝트 검출, 및 확인이 수행되는 것을 예시한다.
즉, 이미지(550) 내에, 제1 선 내지 제4 선(558a,558b,558c,558d), 공사 지역(552), 제1 전방 차량(554), 제2 전방 차량(556)이, 오브젝트 검출 및 확인이 수행될 수 있다.
한편, 오브젝트 트래킹부(506)는, 도 5a와 도 5b를 비교하여, 확인된 오브젝트에 대한 트래킹을 수행할 수 있다.
구체적으로, 오브젝트 트래킹부(506)는, 도 5a와 도 5b에서 확인된, 각 오브젝트들의 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량 주변에 위치하는, 차선, 공사 지역, 제1 전방 차량, 제2 전방 차량 등에 대한 트래킹을 수행할 수 있게 된다.
도 5c 내지 도 5d는 차량용 카메라의 동작 설명에 참조되는 도면이다.
먼저, 도 5c는, 차량 내부에 구비되는 스테레오 카메라(200b)에서 촬영되는 차량 전방 상황을 예시한 도면이다. 특히, 차량 전방 상황을 버드 아이 뷰(bird eye view)로 표시한다.
도면을 참조하면, 왼쪽에서 오른쪽으로, 제1 차선(642a), 제2 차선(644a), 제3 차선(646a), 제4 차선(648a)이 위치하며, 제1 차선(642a)과 제2 차선(644a) 사이에 공사 지역(610a)이 위치하며, 제2 차선(644a)과 제3 차선(646a) 사이에 제1 전방 차량(620a)가 위치하며, 제3 차선(646a)과 제4 차선(648a) 사이에, 제2 전방 차량(630a)이 배치되는 것을 알 수 있다.
다음, 도 5d는 차량 운전 보조 장치에 의해 파악되는 차량 전방 상황을 각종 정보와 함께 표시하는 것을 예시한다. 특히, 도 5d와 같은 이미지는, 차량용 디스플레이 장치(600)에서 표시될 수도 있다.
도 5d는, 도 5c와 달리, 스테레오 카메라(200)에서 촬영되는 이미지를 기반으로하여 정보 표시가 되는 것을 예시한다.
도면을 참조하면, 왼쪽에서 오른쪽으로, 제1 차선(642b), 제2 차선(644b), 제3 차선(646b), 제4 차선(648b)이 위치하며, 제1 차선(642b)과 제2 차선(644b) 사이에 공사 지역(610b)이 위치하며, 제2 차선(644b)과 제3 차선(646b) 사이에 제1 전방 차량(620b)가 위치하며, 제3 차선(646b)과 제4 차선(648b) 사이에, 제2 전방 차량(630b)이 배치되는 것을 알 수 있다.
차량용 카메라(200)는, 스테레오 카메라(200b)에서 촬영되는 스테레오 이미지를 기반으로 하여, 신호 처리하여, 공사 지역(610b), 제1 전방 차량(620b), 제2 전방 차량(630b)에 대한 오브젝트를 확인할 수 있다. 또한, 제1 차선(642b), 제2 차선(644b), 제3 차선(646b), 제4 차선(648b)을 확인할 수 있다.
한편, 도면에서는 공사 지역(610b), 제1 전방 차량(620b), 제2 전방 차량(630b)에 대한 오브젝트 확인을 나타내기 위해, 각각 테두리로 하이라이트되는 것을 예시한다.
한편, 차량용 카메라(200)는, 스테레오 카메라(200b)에서 촬영되는 스테레오 이미지를 기반으로 하여, 공사 지역(610b), 제1 전방 차량(620b), 제2 전방 차량(630b)에 대한 거리 정보를 연산할 수 있다.
도면에서는, 공사 지역(610b), 제1 전방 차량(620b), 제2 전방 차량(630b) 각각에 대응하는, 연산된 제1 거리 정보(611b), 제2 거리 정보(621b), 제3 거리 정보(631b)가 표시되는 것을 예시한다.
한편, 차량용 카메라(200)는, 제어부(170) 또는 내부 센싱부(125)로부터 차량에 대한 센서 정보를 수신할 수 있다. 특히, 차량 속도 정보, 기어 정보, 차량의 회전각(요각)이 변하는 속도를 나타내는 요 레이트 정보(yaw rate), 차량의 각도 정보를 수신할 수 있으며, 이러한 정보들을 표시할 수 있다.
도면에서는, 차량 전방 이미지 상부(670)에, 차량 속도 정보(672), 기어 정보(671), 요 레이트 정보(673)가 표시되는 것을 예시하며, 차량 전방 이미지 하부(680)에, 차량의 각도 정보(682)가 표시되는 것을 예시하나 다양한 예가 가능하다. 그 외, 차량의 폭 정보(683), 도로의 곡률 정보(681)가, 차량의 각도 정보(682)와 함께 표시될 수 있다.
도 6은 본 발명의 실시예에 따른 차량용 디스플레이 장치를 설명하는데 참조되는 블럭도이다.
도 6을 참조하면, 차량용 디스플레이 장치(600)는, 통신부(610), 입력부(620), 인터페이스부(630), 메모리(640), 출력부(650), 프로세서(670) 및 전원 공급부(690)를 포함할 수 있다.
통신부(610)는, 차량용 디스플레이 장치(600)과 이동 단말기 사이, 차량용 디스플레이 장치(600)과 외부 서버 사이 또는 차량용 디스플레이 장치(600)와 타차량과의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 통신부(610)는 차량용 디스플레이 장치(600)를 하나 이상의 망(network)에 연결하는 하나 이상의 모듈을 포함할 수 있다.
통신부(610)는, 방송 수신부(611), 무선 인터넷부(612), 근거리 통신부(613), 위치 정보부(614) 및 V2X 통신부(615)를 포함할 수 있다.
방송 수신부(611)는, 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 또는 방송 관련된 정보를 수신한다. 여기서, 방송은 라디오 방송 또는 TV 방송을 포함한다.
무선 인터넷부(612)는, 무선 인터넷 접속을 위한 모듈이다. 무선 인터넷부(612)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들면, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷부(612)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 예를 들면, 무선 인터넷부(612)는 외부 서버와 무선으로 데이터를 교환할 수 있다. 무선 인터넷부(612)는 외부 서버로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))정보를 수신할 수 있다.
근거리 통신부(613)는, 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(613)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량용 디스플레이 장치(600)와 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다. 예를 들면, 근거리 통신부(613)는 이동 단말기와 무선으로 데이터를 교환할 수 있다. 근거리 통신부(613)는 이동 단말기로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))를 수신할 수 있다. 예를 들면, 사용자가 차량(100)에 탑승한 경우, 사용자의 이동 단말기와 차량용 디스플레이 장치(600)는 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링을 수행할 수 있다.
위치 정보부(614)는, 차량(100)의 위치 정보를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈이 있다. 예를 들면, 차량은 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 차량의 위치 정보를 획득할 수 있다.
V2X 통신부(615)는, 외부 서버 또는 타 차량과의 무선 통신 수행을 위한 모듈이다. V2X 모듈(615)은 차량간 통신(V2V) 또는 차량과 인프라간 통신(V2I) 프로토콜이 구현 가능한 모듈을 포함한다. 차량용 디스플레이 장치(600)는 V2X 통신 모듈(615)을 통해, 외부 서버 및 타 차량과 무선 통신을 수행할 수 있다.
V2X 통신 모듈(615)은, 제1 오브젝트로부터, 제1 오브젝트의 위치 정보를 수신할 수 있다. 여기서, 제1 오브젝트는, 타 차량 또는 이동 단말기일 수 있다. 예를 들면, 차량(100)의 외부 센싱부(126)는, 지속적으로 제1 오브젝트를 검출하고 트래킹할 수 있다. 제1 오브젝트가 트래킹되는 상태에서, 제2 오브젝트에 가려지는 경우, V2X 통신 모듈(615)은, 제1 오브젝트의 위치 정보를 획득할 수 있다. 이경우, 제1 오브젝트에 대한 트래킹은 지속적으로 이루어질 수 있다.
입력부(620)는, 사용자 입력부(621), 음향 입력부(622), 제스쳐 감지부(623) 및 내부 카메라(624)를 포함할 수 있다.
사용자 입력부(621)는, 사용자로부터 정보를 입력받기 위한 것이다. 사용자 입력부(621)를 통해, 정보가 입력되면, 프로세서(670)는 입력된 정보에 대응되도록 차량용 디스플레이 장치(600)의 동작을 제어할 수 있다. 사용자 입력부는 터치식 입력수단 또는 기계식 입력 수단을 포함할 수 있다.
음향 입력부(622)는, 외부의 음향 신호를 전기적인 데이터로 처리할 수 있다. 처리된 데이터는 차량용 디스플레이 장치(600)에서 수행 중인 기능에 따라 다양하게 활용될 수 있다. 음향 입력부(622)는, 사용자의 음성 명령을 전기적인 데이터로 전환할 수 있다. 전환된 전기적인 데이터는 프로세서(670)에 전달될 수 있다.
제스쳐 감지부(623)는, 사용자의 제스쳐를 감지할 수 있다. 제스쳐 감지부(623)는, 사용자의 제스쳐를 감지할 수 있다. 제스쳐 감지부(623)는, 2차원 제스쳐를 감지할 수 있다.
예를 들면, 제스쳐 감지부는, 광출력부 및 광수신부를 포함할 수 있다. 광출력부는, 적외선 광을 출력할 수 있다. 광수신부는, 광출력부에서 출적된 적외선 광이 사용자의 손에 반사되어 형성되는 반사광을 수신할 수 있다.
프로세서(670)는, 제스쳐 감지부(623)에서 제공되는 정보를 기초로, 입력 신호를 생성할 수 있다.
프로세서(670)는, 반사광을 기초로 사용자의 제스쳐를 감지할 수 있다.
내부 카메라(624)는, 차량 내부 영상을 획득할 수 있다. 내부 카메라(624)는, 촬영된 차량 내부 영상에서, 사용자를 검출할 수 있다.
예를 들면, 내부 카메라(624)는, 운전자, 운전자의 손 또는 운전자의 손가락을 검출할 수 있다. 또는, 카메라(624)는, 보조석에 앉은 탑승객, 탑승객의 손 또는 탑승객의 손가락을 검출할 수 있다.
프로세서(670)는, 내부 카메라(624)에서 제공되는 정보를 기초로 입력 신호를 생성할 수 있다.
프로세서(670)는, 제스쳐 감지부(623)에서 제공되는 정보 및 내부 카메라(624)에서 제공되는 정보에 기초하여, 입력 신호를 생성할 수 있다.
인터페이스부(630)는, 데이터, 정보, 신호를 수신하거나, 프로세서(670)에서 처리 또는 생성된 데이터, 정보, 신호를 외부로 전송할 수 있다. 이를 위해, 인터페이스부(630)는, 유선 통신 또는 무선 통신 방식에 의해, 차량 내부의 제어부(170), 내부 센싱부(125), 외부 센싱부(126), 차량 구동부(150) 등과 데이터 통신을 수행할 수 있다.
한편, 인터페이스부(630)는, 제어부(170) 또는 내부 센싱부(125)로부터, 차량내부 센싱 정보를 수신할 수 있다.
여기서, 센싱 정보는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차속 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 외부 온도 정보, 차량 내부 습도 정보, 차량 외부 조도 정보 중 적어도 하나를 포함할 수 있다.
이러한 센싱 정보는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 외부 온도 센서, 차량 내부 습도 센서, 조도 센서 등으로부터 획득될 수 있다. 한편, 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈을 포함할 수 있다.
인터페이스부(630)는, 외부 센싱부(126)로부터 오브젝트 정보를 수신할 수 있다.
예를 들면, 외부 센싱부(126) 중 카메라(200)는 획득되는 영상을 기초로 차선 검출(Lane Detection, LD), 주변 차량 검출(Vehicle Detection, VD), 보행자 검출(Pedestrian Detection, PD), 불빛 검출(Brightspot Detection, BD), 교통 신호 검출(Traffic Sign Recognition, TSR), 도로면 검출을 수행할 수 있다. 카메라(200)는 검출된 오브젝트와의 거리 정보를 생성할 수 있다.
메모리(640)는, 프로세서(670)와 전기적으로 연결된다. 메모리(640)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(640)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(640)는 프로세서(670)의 처리 또는 제어를 위한 프로그램 등, 차량용 디스플레이 장치(600) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
메모리(640)는, 내비게이션 기능 구현을 위한 맵 데이터를 저장할 수 있다. 여기서 맵 데이터는, 차량 출고시 디폴트로 저장될 수 있다. 또는, 맵 데이터는, 통신부(610) 또는 인터페이스부(630)를 통해 외부 디바이스로부터 수신될 수 있다.
한편, 실시예에 따라, 메모리(640)는, 프로세서(670)와 일체화되어 형성될 수 있다.
메모리(640)는, 운전자에 대응되는 아이 박스(eye box)의 좌표값 정보를 저장할 수 있다. 복수의 운전자가 차량(100)을 운행하는 경우, 각 운전자에 대응하여 아이 박스 좌표값 정보가 메모리(640)에 저장될 수 있다. 예를 들면, 아이 박스 좌표값 정보는, 각 운전자의 앉은키에 대응하여 메모리(640)에 저장될 수 있다.
아이 박스는 3차원의 부피를 가지는 차량(100) 실내의 공간일 수 있다. 아이 박스 좌표값 정보는, 아이 박스의 경계를 정의하는 좌표값들일 수 있다.
출력부(650)는, 디스플레이부(651) 및 음향 출력부(652)를 포함할 수 있다.
디스플레이부(651)는 프로세서(670)에서 처리되는 정보를 표시할 수 있다. 예를 들면, 디스플레이부(651)는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 차량에 대한 직접적인 제어를 위한 차량 제어 정보, 또는 차량 운전자에게 운전 가이드를 위한 차량 운전 보조 정보를 포함할 수 있다. 또한, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다.
디스플레이부(651)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(651)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 차량용 디스플레이 장치(600)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 차량용 디스플레이 장치(600)와 사용자 사이의 출력 인터페이스를 제공할 수 있다. 이경우, 디스플레이부(651)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(651)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이경우, 디스플레이부(651)는 터치 입력을 수신할 수 있다.
디스플레이부(651)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 프로세서(670)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
한편, 디스플레이부(651)는 윈드 쉴드의 일 영역에 화면이 표시되도록 구현될 수 있다.
디스플레이부(651)는 투명 디스플레이를 포함할 수 있다. 이경우, 투명 디스플레이는 윈드 쉴드에 부착될 수 있다. 이경우, 차량용 디스플레이 장치(600)는, 투명 디스플레이를 통해, 정보를 출력할 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다.
한편, 투명 디스플레이의 투명도는 프로세서(670)의 제어에 따라 조절될 수 있다.
차량용 디스플레이 장치(600)는, HUD(Head up display)로 구현될 수 있다. 이경우, 디스플레이부(651)는 투사 모듈을 포함할 수 있다. 이경우, 디스플레이 장치(600)는, 윈드 쉴드에 투사되는 이미지를 통해 정보를 출력할 수 있다.
투사 모듈은 윈드 쉴드 또는 차량내 구비된 스크린을 향해 빔(beam)을 투사한다. 투사 모듈은, 광원 및 투사 렌즈를 포함할 수 있다. 투사 모듈은 프로세서(670)에서 처리되는 정보에 대응하는 영상을 구현할 수 있다. 즉, 투사 모듈은 광원에서 발생한 광을 이용하여 영상을 구현하고, 구현된 영상을 윈드 쉴드에 투사할 수 있다. 이때, 광원은 LED, 레이저 등을 이용하는 것이 바람직하다.
프로세서(670)는, 차량용 디스플레이 장치(600) 내의 각 유닛과 전기적으로 연결되어, 각 유닛의 전반적인 동작을 제어한다.
프로세서(670)는, 통신부(610), 입력부(620) 또는 인터페이스부(630)를 통해 수신된 정보 또는 데이터가 출력되도록 출력부(650)를 제어할 수 있다. 프로세서(670)는, 메모리(640)에 저장된 정보 또는 데이터가 출력되도록 출력부(650)를 제어할 수 있다. 프로세서(670)는, 수신된 정보 또는 데이터를 직접 출력하거나, 가공하여 출력할 수 있다. 프로세서(670)는 정보 또는 데이터를 디스플레이(651)를 통해 시각적으로 출력할 수 있다. 프로세서(670)는 정보 또는 데이터를 음향출력부(652)를 통해 청각적으로 출력할 수 있다.
한편, 프로세서(670)는, 인터페이스부(630)를 통해 수신된 정보 또는 데이터를 기초로, 새로운 정보를 생성할 수 있다. 프로세서(670)는, 생성된 정보 또는 생성된 정보에 대응하는 화면이 표시되도록 디스플레이(651)를 제어할 수 있다.
프로세서(670)는, 인터페이스부(630)를 통해, 차량 외부에 위치하는 오브젝트 정보를 수신할 수 있다. 예를 들면, 프로세서(670)는, 인터페이스부(630)를 통해, 외부 센싱부(126) 또는 차량 운전 보조 장치(400)로부터 차량 외부에 위치하는 오브젝트 정보를 수신할 수 있다.
오브젝트는, 차선, 타 차량, 보행자, 빛, 교통 신호, 도로, 구조물, 지형물, 과속 방지턱, 동물 등을 포함할 수 있다.
차선(Lane)은, 주행 차선, 주행 차선의 옆 차선일 수 있다. 차선(Lane)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 타 차량은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다. 타 차량은, 주행 차선의 옆 차선에서 주행 하는 차량일 수 있다. 타 차량은, 교차로에서 차량(100)의 주행 방향과 교차되는 방향으로 주행중인 차량일 수 있다.
보행자는, 인도 또는 차도상에 위치하는 사람일 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
교통 신호는, 교통 신호등, 교통 표지판, 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등을 포함할 수 있다.
지형물은, 산, 언덕 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
프로세서(670)는, 인터페이스부(630)를 통해, 차량 외부에 위치하는 제1 오브젝트에 대한 정보를 수신할 수 있다.
제1 오브젝트는, 차량 운전 보조 장치(400) 또는 차량용 디스플레이 장치(600)가 트래킹 중인 오브젝트일 수 있다. 예를 들면, 제1 오브젝트는, 타 차량, 보행자, 과속 방지턱, 동물 및 교통 신호 중 어느 하나일 수 있다.
프로세서(670)는, 인터페이스부(630)를 통해, 차량 외부에 위치하는 제2 오브젝트에 대한 정보를 수신할 수 있다.
제2 오브젝트는, 제1 오브젝트 트래킹에 방해되는 오브젝트일 수 있다. 예를 들면, 제2 오브젝트는, 타 차량, 도로 및 구조물 중 어느 하나일 수 있다.
프로세서(670)는, 차량(100)과 제1 오브젝트 사이에 제2 오브젝트가 위치하는지 판단할 수 있다.
프로세서(670)는, 카메라(200)의 시야에서, 제1 오브젝트가 제2 오브젝트에 가리는지 판단할 수 있다. 제1 오브젝트가 트래킹되는 중에 제2 오브젝트에 가려지는 경우, 프로세서(670)는, 차량(100)과, 제2 오브젝트 사이에 제1 오브젝트가 위치한다고 판단할 수 있다.
차량(100)과 제1 오브젝트 사이에, 제2 오브젝트가 위치하는 경우, 프로세서(670)는, 제1 오브젝트에 대응되는 그래픽 객체를 생성할 수 있다. 프로세서(670)는, 그래픽 객체가 디스플레이부(651)에 표시되도록 디스플레이부(651)를 제어할 수 있다.
프로세서(670)는, 제1 오브젝트에 대응되는 형상을 그래픽 객체로 생성하여, 그래픽 객체가 디스플레이부(651)에 표시되도록 제어할 수 있다. 여기서, 그래픽 객체는, 텍스트일 수 있다. 또는, 그래픽 객체는 도형 또는 입체 도형일 수 있다. 예를 들면, 그래픽 객체는, 다각형, 타원, 원 등의 평면 도형일 수 있다. 또는, 그래픽 객체는, 다면체, 구, 원기둥, 다각기둥 등 입체 도형일 수 있다. 또는, 그래픽 객체는, 제1 오브젝트와 비슷한 형상일 수 있다.
예를 들면, 제1 오브젝트가 타 차량인 경우, 프로세서(670)는 차량 이미지를 생성하여 디스플레이부(651)에 표시되도록 제어할 수 있다.
예를 들면, 제1 오브젝트가 보행자인 경우, 프로세서(670)는, 사람 이미지를 생성하여 디스플레이부(651)에 표시되도록 제어할 수 있다.
한편, 그래픽 객체는, 차량(100)의 프런트 윈드 쉴드 상에 표시될 수 있다. 이경우, 프로세서(670)는, 그래픽 객체가 증강현실(Augmented Reality)로 표시되도록 제어할 수 있다.
운전자의 시선은, 프런트 윈드 쉴드를 거쳐, 차량(100) 외부에 위치하는 오브젝트를 향한다. 이때, 프런트 윈드 쉴드 상에 그래픽 객체를 표시함으로써, 운전자는, 그래픽 객체와, 차량(100) 외부에 위치하는 오브젝트를 함께 볼 수 있다. 즉, 프로세서(670)는, 운전자가 그래픽 객체와 차량(100) 외부에 위치하는 오브젝트를 함께 볼 수 있게 할 수 있다.
프로세서(670)는, 프런트 윈드 쉴드 상에서, 제2 오브젝트에 대응되는 영역에 그래픽 객체를 표시하도록 제어할 수 있다 . 예를 들면, 프로세서(670)는, 프런트 윈드 쉴드 상에 그래픽 객체를 제2 오브젝트와 겹쳐지게 보이도록 표시할 수 있다.
프로세서(670)는, 제1 오브젝트가 제2 오브젝트에 가려진 상태에서, 프런트 윈드 쉴드 중, 운전자가 제2 오브젝트를 확인하기 위해 바라보는 영역에 증강 현실로 그래픽 객체를 표시하도록 제어할 수 있다.
이와 같이 제어 함으로써, 운전자가, 제1 오브젝트가 제2 오브젝트에 가려진 상태임을 인지할 수 있게하는 효과가 있다.
프로세서(670)는, 제1 오브젝트를 트래킹할 수 있다. 프로세서(670)는, 프런트 윈드 쉴드 상에서, 트래킹되는 제1 오브젝트의 위치에 대응되는 영역에 그래픽 객체를 표시하도록 제어할 수 있다.
제1 오브젝트는, 이동 오브젝트 또는 고정 오브젝트일 수 있다.
제1 오브젝트가 이동 오브젝트인 경우, 차량(100)과 제1 오브젝트의 움직임에 따라, 차량(100) 관점에서, 제1 오브젝트는 상대적으로 움직일 수 있다. 이경우, 차량 운전 보조 장치(400) 또는 외부 센싱부(126)는, 제1 오브젝트를 트래킹할 수 있다.
제1 오브젝트가 고정 오브젝트인 경우, 차량(100)의 움직임에 따라, 차량(100) 관점에서, 제1 오브젝트는 상대적으로 움직일 수 있다. 이경우, 차량 운전 보조 장치(400) 또는 외부 센싱부(126)는, 제1 오브젝트를 트래킹할 수 있다.
제1 오브젝트가 움직임에 따라, 프런트 윈드 쉴드 상에서, 제1 오브젝트에 대응되는 영역도 지속적으로 변할 수 있다. 프로세서(670)는, 제1 오브젝트의 움직임에 따라, 그래픽 객체가 표시되는 영역이 변경되도록 제어할 수 있다.
프로세서(670)는, V2X 통신부(615)를 통해, 제1 오브젝트와 데이터를 교환할 수 있다. 예를 들면, 제1 오브젝트가 타 차량인 경우, 프로세서(670)는, V2X 통신부(615)를 통해, 타 차량의 위치 정보를 수신할 수 있다. 예를 들면, 제1 오브젝트가 보행자가 소지한 이동 단말기인 경우, 프로세서(670)는, V2X 통신부(615)를 통해, 이동 단말기의 위치 정보를 수신할 수 있다. 이경우, 이동 단말기의 위치 정보는, 보행자의 위치 정보일 수 있다.
프로세서(670)는, V2X 통신부(615)를 통해, 제1 오브젝트의 위치 정보를 수신할 수 있다. 프로세서(670)는, 수신된 위치 정보를 기초로, 제1 오브젝트를 트래킹할 수 있다.
차량(100)의 외부 센싱부(126)는, 제1 오브젝트를 검출하고 지속적으로 트래킹할 수 있다. 프로세서(670)는, 인터페이스부(630)를 통해, 외부 센싱부(126)로부터 제1 오브젝트의 검출 정보 및 트래킹 정보를 수신할 수 있다. 제1 오브젝트가 제2 오브젝트에 가려지는 경우, 프로세서(670)는, V2X 통신부(615)를 통해, 제1 오브젝트의 위치 정보를 수신할 수 있다. 프로세서(670)는, 수신된 제1 오브젝트의 위치 정보를 기초로, 제1 오브젝트의 트래킹을 지속할 수 있다.
프로세서(670)는, 차량(100)과 제1 오브젝트와의 거리 또는 상대 속도에 기초하여, 디스플레이부(651)에 표시되는 그래픽 객체의 크기의 변화 또는 색의 변화를 제어할 수 있다.
프로세서(670)는, V2X 통신부(615)를 통해 획득되는 제1 오브젝트의 위치 정보 및 차량(100)의 위치 정보를 기초로, 제1 오브젝트와의 거리 정보를 획득할 수 있다.
프로세서(670)는, 시간에 따른 제1 오브젝트의 위치 변화 정보를 기초로, 제1 오브젝트의 속도 정보를 획득할 수 있다. 프로세서(670)는, 제1 오브젝트의 속도 정보 및 차량(100)의 속도 정보를 기초로, 제1 오브젝트와의 상대 속도 정보를 획득할 수 있다.
예를 들면, 차량(100)과 제1 오브젝트와의 거리가 점점 가까워질수록, 프로세서(670)는, 디스플레이부(651)에 표시되는 그래픽 객체가 점점 커지도록 제어할 수 있다.
예를 들면, 차량(100)과 제1 오브젝트와의 상대 속도가 점점 감소할수록, 프로세서(670)는, 디스플레이부(651)에 표시되는 그래픽 객체가 점점 커지도록 제어할 수 있다.
예를 들면, 차량(100)과 제1 오브젝트와의 거리가 점점 멀어질수록, 프로세서(670)는, 디스플레이부(651)에 표시되는 그래픽 객체가 점점 작아지도록 제어할 수 있다.
예를 들면, 차량(100)과 제1 오브젝트와의 상대 속도가 점점 증가할수록, 프로세서(670)는, 디스플레이부(651)에 표시되는 그래픽 객체가 점점 작아지도록 제어할 수 있다.
복수의 구간 중, 차량(100)과 제1 오브젝트와의 거리에 해당되는 구간에 따라, 그래픽 객체가 기 설정된 색으로 표시되도록 제어할 수 있다. 예를 들면, 차량(100)과 제1 오브젝트와의 거리가 제1 범위 이내인 경우, 프로세서(670)는, 그래픽 객체가 제1 색으로 표시되도록 제어할 수 있다.
복수의 구간 중, 차량(100)과 제1 오브젝트와의 상대 속도에 해당되는 구간에 따라, 그래픽 객체가 기 설정된 색으로 표시되도록 제어할 수 있다. 예를 들면, 차량(100)과 제1 오브젝트와의 상대 속도가 제1 범위 이내인 경우, 프로세서(670)는, 그래픽 객체가 제1 색으로 표시되도록 제어할 수 있다.
프로세서(670)는, 내부 카메라(624)를 통해, 운전자 시선 정보를 획득할 수 있다. 프로세서(670)는, 운전자 시선 정보를 기초로, 운전자 시선에서, 제1 오브젝트가 제2 오브젝트에 가려지는지 판단할 수 있다. 즉, 프로세서(670)는, 운전자가 제2 오브젝트에 가려져서 제1 오브젝트를 볼 수 없는지 판단할 수 있다.
만약, 운전자의 시선에서, 제1 오브젝트가 제2 오브젝트에 가려지는 경우, 프로세서(670)는, 프런트 윈드 쉴드 상에서, 제2 오브젝트에 대응되는 영역 중, 제1 오브젝트의 위치에 대응되는 영역에, 증강 현실로, 그래픽 객체를 표시할 수 있다.
프로세서(670)는, 제1 오브젝트가 제2 오브젝트에 가려진 상태에서, 프런트 윈드 쉴드 중, 운전자가 제2 오브젝트를 확인하기 위해 바라보는 영역 중, 제1 오브젝트의 위치에 대응되는 영역에, 증강 현실로 그래픽 객체를 표시하도록 제어할 수 있다.
프로세서(670)는, 제1 오브젝트의 일부가, 제2 오브젝트에 가려지는 경우, 디스플레이부(651)에, 제1 오브젝트의 가려진 부분에 대응되는 그래픽 객체가 표시되도록 제어할 수 있다.
예를 들면, 프로세서(670)는, 제1 오브젝트의 가려진 부분에 대응되는 그래픽 객체가, 제1 오브젝트 중 가려지지 않은 부분에 연장된 상태로 증강 현실로 표시되도록 제어할 수 있다.
이와 같이, 그래픽 객체는, 제1 오브젝트의 실물과 연장되도록 표시되어, 사용자가 느끼는 그래픽 객체의 이질감을 최소화하는 효과가 있다. 또한, 사용자에게 제1 오브젝트의 존재를 더욱 명확하게 인식시키는 효과가 있다.
프로세서(670)는, 내부 카메라(624)를 통해, 운전자의 눈의 위치 정보를 획득할 수 있다. 프로세서(670)는, 거리 검출 알고리즘을 통해, 내부 카메라(624)의 운전자의 눈의 위치 정보를 획득할 수 있다.
획득된 눈의 위치가 메모리(640)에 저장된 아이 박스 밖으로 벗어난 경우, 프로세서(670)는, 그래픽 객체의 표시 영역이 변경되도록 디스플레이부(651)를 제어할 수 있다.
허상을 통해 증강현실 이미지가 구현되는 경우, 운전자가 증강현실 이미지를 인지하기 위해서는, 운전자의 눈의 위치가 아이 박스 내에 위치해야 한다. 만약, 운전자의 눈이 아이 박스 밖으로 벗어나는 경우, 증강현실 이미지의 일부분만 보이거나, 증강현실 이미지가 전부 보이지 않을 수 있다. 운전자의 눈의 위치가 아이 박스 밖으로 벗어난 경우, 그래픽 객체의 표시 영역이 변경되도록 제어함으로써, 운전자가 증강 현실 이미지를 지속적으로 인지하게 하는 효과가 있다.
프로세서(670)는, 인터페이스부(630)를 통해, 차량의 상태 정보를 수신할 수 있다. 차량의 상태 정보는, 내부 센싱부(125)에서 센싱된 데이터를 기초로 생성된 정보일 수 있다. 예를 들면, 차량의 상태 정보는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차속 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 외부 온도 정보, 차량 내부 습도 정보, 차량 외부 조도 정보 중 적어도 하나를 포함할 수 있다.
프로세서(670)는, 상태 정보에 기초하여 디스플레이부(651)에 표시되는 그래픽 객체의 모양, 크기, 위치, 색 및 투명도 중 어느 하나를 제어할 수 있다.
예를 들면, 차량의 상태 정보는, 차량의 자세 정보를 포함할 수 있다. 프로세서(670)는, 차량의 자세 정보를 수신할 수 있다. 프로세서(670)는, 차량의 자세 정보에 기초하여, 디스플레이부(651)에 표시되는 그래픽 객체의 위치를 변경할 수 있다. 구체적으로, 차량(100) 주행시, 차량(100)의 롤(roll), 피치(pitch), 요(yaw)는 지속적으로 변경될 수 있다. 롤, 피치 또는 요가 변경됨에 따라, 관성에 의해, 운전자의 자세 및 운전자의 시선도 변경될 수 있다. 이경우, 차량의 자세 정보에 기초하여, 그래픽 객체의 위치를 변경시킴으로써, 운전자의 시선 변화와 무관하게 증강 현실 이미지를 지속적으로 제공할 수 있는 효과가 있다.
예를 들면, 차량의 상태 정보는, 차량의 주행 속도 정보를 포함할 수 있다. 프로세서(670)는, 차량의 주행 속도 정보를 수신할 수 있다. 프로세서(670)는, 차량의 주행 속도 정보에 기초하여, 그래픽 객체의 크기가 변경되도록 디스플레이부(651)를 제어할 수 있다. 가령, 제1 오브젝트가 고정 오브젝트인 경우, 차량(100)과 제1 오브젝트와의 거리는 차량(100)의 속도에 비례한다. 이경우, 차량(100)의 속도에 기초하여 그래픽 객체의 크기가 변경되도록 제어함으로써, 운전자가 직관적으로 제1 오브젝트와의 거리를 인지하게 하는 효과가 있다.
프로세서(670)는, 인터페이스부(630)를 통해, 주행 상황 정보를 수신할 수 있다. 여기서, 주행 상황 정보는, 차량 내부 상황 정보 및 차량 외부 상황 정보를 포함할 수 있다.
프로세서(670)는, 인터페이스부(630)를 통해, 내부 센싱부(125)로부터 차량 내부 상황 정보를 수신할 수 있다. 차량 내부 상황 정보는, 차량 상태 정보로도 명명될 수 있다.
이때, 차량 내부 상황 정보는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차속 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 외부 온도 정보, 차량 내부 습도 정보, 차량 외부 조도 정보 중 적어도 하나를 포함할 수 있다.
프로세서(670)는, 인터페이스부(630)를 통해, 외부 센싱부(126)로부터 차량 외부 상황 정보를 수신할 수 있다.
이때, 차량 외부 상황 정보는, 차량 외부에 위치하는 오브젝트 정보일 수 있다.
오브젝트는, 차선, 타 차량, 보행자, 빛, 교통 신호, 도로, 구조물 등을 포함할 수 있다.
차선(Lane)은, 주행 차선, 주행 차선의 옆 차선일 수 있다. 차선(Lane)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 타 차량은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다. 타 차량은, 주행 차선의 옆 차선에서 주행 하는 차량일 수 있다. 타 차량은, 교차로에서 차량(100)의 주행 방향과 교차되는 방향으로 주행중인 차량일 수 있다.
보행자는, 인도 또는 차도상에 위치하는 사람일 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
교통 신호는, 교통 신호등, 교통 표지판, 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 산, 신호등을 포함할 수 있다.
프로세서(670)는, 주행 상황 정보에 대응하는 그래픽 객체가 더 표시되도록 디스플레이부(651)를 제어할 수 있다 .
예를 들면, 프로세서(670)는, 주행 상황 정보에 대응하는 이미지 또는 텍스트가 표시되도록 디스플레이부(651)를 제어할 수 있다.
프로세서(670)는, 차량 상태 정보에 기초하여, 디스플레이부(651)에 표시되는 그래픽 객체의 양, 종류, 표시되는 영역 중 적어도 어느 하나를 제어할 수 있다.
예를 들면, 프로세서(670)는, 차량(100)의 주행 모드에 따라, 디스플레이부(651)에 표시되는 주행 상황 정보에 대응되는 그래픽 객체의 영역을 변경할 수 있다.
가령, 차량(100)이 수동 주행 모드로 주행하는 경우, 프로세서(670)는, 차량 외부의 오브젝트 정보에 대응되는 그래픽 객체가 실물과 오버레이 되게 증강 현실로 표시할 수 있다.
가령, 차량(100)이 자율 주행 모드로 주행하는 경우, 프로세서(670)는, 차량 외부의 오브젝트 정보에 대응되는 그래픽 객체가 디스플레이부 테두리 영역에 표시되도록 제어할 수 있다.
가령, 차량(100)이 자율 주행 모드로 주행하는 경우, 프로세서(670)는, 차량 내부 상황 정보를 표시하지 않고, 차량 외부 상황 정보만 표시되도록 디스플레이부(651)를 제어할 수 있다.
예를 들면, 프로세서(670)는, 차량(100)의 주행 속도에 따라, 디스플레이부(651)에 표시되는 주행 상황 정보에 대응되는 그래픽 객체의 양을 조절할 수 있다.
가령, 차량(100)이 저속(제1 기준 속도 이하)으로 주행하는 경우, 프로세서(670)는, 디스플레이부(651)에 표시되는 그래픽 객체의 수를 고속(제2 기준 속도 이상)으로 주행하는 경우보다 많이 표시할 수 있다. 또한, 이경우, 프로세서(670)는, 그래픽 객체를 증강현실로 표시할 수 있다.
가령, 차량(100)이 고속(제2 기준 속도 이상)으로 주행하는 경우, 프로세서(670)는, 디스플레이부(651)에 표시되는 그래픽 객체의 수를 저속(제1 기준 속도 이하)으로 주행하는 경우보다 더 적게 표시할 수 있다. 또한, 이경우, 프로세서(670)는, 그래픽 객체를 증강현실로 표시하지 않을 수 있다.
가령, 차량(100)이 고속으로 주행하는 경우에도, 자율 주행 모드로 주행하는 경우, 프로세서(670)는, 디스플레이부(651)에 표시되는 그래픽 객체의 수를 고속(제2 기준 속도 이상)으로 주행하는 경우보다 많이 표시할 수 있다. 또한, 이경우, 프로세서(670)는, 그래픽 객체를 증강현실로 표시할 수 있다.
예를 들면, 프로세서(670)는, 차량(100)의 주행 또는 정차 상태에 따라, 표시되는 그래픽 객체의 양을 조절함으로써, 제공되는 주행 상황 정보의 양을 조절할 수 있다.
예를 들면, 프로세서(670)는, 차량(100)의 주행 또는 정차 상태에 따라, 표시되는 그래픽 객체의 타입도 제어할 수 있다. 차량(100)의 주행 상태에서는, 그래픽 객체를 무빙 이미지(moving image)로 표시할 수 있다. 차량(100)의 정차 상태에서는, 그래픽 객체를 스틸 이미지(still image)로 표시할 수 있다.
한편, 프로세서(670)는, 통신부(610)를 통해, 날씨 정보를 획득할 수 있다. 구체적으로, 프로세서(670)는, 주행 중인 지역의 날씨 정보를 획득할 수 있다. 프로세서(670)는, 날씨 정보에 기초하여, 그래픽 객체의 모양, 크기, 위치, 색 및 투명도 중 적어도 어느 하나를 제어할 수 있다.
예를 들면, 프로세서(670)는, 맑은날 주행하는 경우, 흐린날 주행하는 경우에 비해 그래픽 객체의 색을 더 진하게 하거나, 그래픽 객체의 투명도를 낮출 수 있다. 이와 같이, 제어함으로써, 날씨에 대응하여 그래픽 객체의 시인성을 조절할 수 있다.
프로세서(670)는, 맵 정보를 획득할 수 있다. 프로세서(670)는, 메모리(640)에 저장된 맵 정보를 획득할 수 있다. 프로세서(670)는, 통신부(610)를 통해, 외부 서버, 이동 단말기 또는 타 차량으로부터 맵 정보를 획득할 수 있다. 프로세서(670)는, 인터페이스부(630)를 통해, 차량(100) 내 다른 디바이스(예를 들면, 내비게이션)들로부터 맵 정보를 획득할 수 있다.
프로세서(670)는, 획득된 맵 정보를 기초로, 제2 오브젝트에 대한 정보를 획득할 수 있다.
프로세서(670)는, 인터페이스부(630)를 통해 주행 상황 정보를 수신할 수 있다. 주행 상황 정보는, 차량 내부 상황 정보 및 차량 외부 상황 정보를 포함할 수 있다.
프로세서(670)는, 맵 정보 및 주행 상황 정보를 기초로, 차량 주변의 3D 맵을 생성할 수 있다. 프로세서(670)는, 맵 상의 오브젝트와, 외부 센싱부(126)를 통해 획득한 오브젝트 정보를 매칭할 수 있다. 이경우, 프로세서(670)는, 외부 센싱부(126)의 센싱 영역 내에서 3D 맵 정보를 생성할 수 있다. 프로세서(670)는, 3D 맵 생성시, 차량의 위치 정보, 차량 자세 정보와 같은 내부 센싱부(125)의 센싱 정보를 더 이용할 수 있다.
프로세서(670)는, 3D 맵상에서, 차량(100), 제1 오브젝트 및 제2 오브젝트 간의 위치 관계를 기초로, 운전자 시선에서, 제1 오브젝트가 제2 오브젝트에 가려지는지 판단할 수 있다.
프로세서(670)는, 제1 오브젝트에 대한 정보 및 제2 오브젝트에 대한 정보에 기초하여, 동력원, 브레이크 장치 및 조향 장치 중 적어도 어느 하나를 제어하기 위한 신호를 제공할 수 있다.
프로세서(670)는, 인터페이스부(630)를 통해, 차량 구동부(150)에 제어 신호를 제공할 수 있다.
예를 들면, 프로세서(670)는, 제1 오브젝트가 제2 오브젝트에 가려져 보이지 않는 상황에서, 제1 오브젝트와 차량(100)의 거리가 기준 거리 이하인 경우, 브레이크 구동부(153)에 제어 신호를 제공하여 차량(100)과 제1 오브젝트간의 거리를 유지할 수 있다.
예를 들면, 프로세서(670)는, 제1 오브젝트가 제2 오브젝트에 가려져 보이지 않는 상황에서, 제1 오브젝트와 차량(100)의 거리가 기준 거리 이하인 경우, 조향 구동부(152)에 제어 신호를 제공하여, 차량(100)과 제1 오브젝트간의 충돌을 회피할 수 있다.
예를 들면, 프로세서(670)는, 제1 오브젝트가 제2 오브젝트에 가려져 보이지 않는 상황에서, 제1 오브젝트와 차량(100)의 거리가 기준 거리 이상인 경우, 동력원 구동부(151)에 제어 신호를 제공하여, 차량(100)과 제1 오브젝트간의 거리를 유지할 수 있다.
한편, 프로세서(670)는, 제1 오브젝트에 대한 정보 및 제2 오브젝트에 대한 정보에 기초하여, ADAS 기능중 적어도 어느하나가 동작되도록 제어 신호를 제공할 수 있다. 예를 들면, 프로세서(670)는, 제1 오브젝트가 제2 오브젝트에 가려져 보이지 않는 상황에서, 제1 오브젝트와 차량(100)의 거리가 기준 거리 이하인 경우, AEB, FCW, ACC 또는 BSD이 적절하게 동작되도록 제어 신호를 제공할 수 있다.
한편, 프로세서(670)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
전원 공급부(690)는, 프로세서(670)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(690)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
도 7은 본 발명의 실시예에 따른, 프로세서의 내부 구성을 설명하는데 참조되는 도면이다.
도 7을 참조하면, 프로세서(670)는, 운전자 시선 정보 획득부(671), 제1 오브젝트 정보 획득부(672), 제2 오브젝트 정보 획득부(673), 맵 정보 획득부(674), 주행 상황 정보 획득부(678), 판단부(675), 제1 오브젝트 트래킹부(679), 디스플레이 제어부(676) 및 신호 출력부(677)를 포함할 수 있다.
운전자 시선 정보 획득부(671)는, 내부 카메라(624)를 통해, 운전자 시선 정보를 획득할 수 있다. 운전자 시선 정보 획득부(671)는, 내부 카메라(624)가 획득한 차량 내부 영상에서, 운전자의 눈을 검출할 수 있다. 운전자 시선 정보 획득부(671)는, 운전자의 눈 이미지를 기초로 운전자 시선 정보를 획득할 수 있다.
운전자 시선 정보는, 판단부(675)에 제공될 수 있다.
제1 오브젝트 정보 획득부(672)는, 인터페이스부(630)를 통해, 외부 센싱부(126)로부터 제1 오브젝트 정보를 획득할 수 있다.
제1 오브젝트는, 차량 운전 보조 장치(400) 또는 차량용 디스플레이 장치(600)가 트래킹 중인 오브젝트일 수 있다. 예를 들면, 제1 오브젝트는, 타 차량, 보행자 및 교통 신호 중 어느 하나일 수 있다.
제1 오브젝트 정보 획득부(672)는, 제1 오브젝트 정보를 판단부(675)에 제공할 수 있다.
제2 오브젝트 정보 획득부(673)는, 인터페이스부(630)를 통해, 외부 센싱부(126)로부터 제2 오브젝트 정보를 획득할 수 있다.
제2 오브젝트는, 제1 오브젝트 트래킹에 방해되는 오브젝트일 수 있다. 예를 들면, 제2 오브젝트는, 타 차량, 도로 및 구조물 중 어느 하나일 수 있다.
제2 오브젝트 정보 획득부(673)는, 제2 오브젝트 정보를 판단부(675)에 제공할 수 있다.
맵 정보 획득부(674)는, 인터페이스부(630)를 통해, 내비게이션 장치(300)로부터 맵 정보를 획득할 수 있다. 실시예에 따라, 맵 정보 획득부(674)는, 메모리(640)에 저장된 맵 정보를 획득하거나, 통신부(610)를 통해 차량(100) 외부에 있는 디바이스로부터 맵 정보를 획득할 수 있다.
맵 정보 획득부(674)는, 3D 맵을 생성할 수 있다. 맵 정보 획득부(674)는, 맵 상의 오브젝트와, 외부 센싱부(126)를 통해 획득된 오브젝트 정보를 매칭하여, 3D 맵을 생성할 수 있다. 맵 정보 획득부(674)는, 3D 맵 생성시, 차량의 위치 정보, 차량의 자세 정보와 같은 내부 센싱부(125)의 센싱 정보를 더 이용할 수 있다.
맵 정보 획득부(674)는 맵 정보를, 판단부(675)에 제공할 수 있다.
주행 상황 정보 획득부(678)는, 인터페이스부(630)를 통해, 주행 상황 정보를 획득할 수 있다. 여기서, 주행 상황 정보는, 차량 내부 상황 정보 및 차량 외부 상황 정보를 포함할 수 있다.
주행 상황 정보 획득부(678)는, 인터페이스부(630)를 통해, 내부 센싱부(125)로부터 차량 내부 상황 정보를 수신할 수 있다. 차량 내부 상황 정보는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차속 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 외부 온도 정보, 차량 내부 습도 정보, 차량 외부 조도 정보 중 적어도 하나를 포함할 수 있다.
주행 상황 정보 획득부(678)는, 인터페이스부(630)를 통해, 외부 센싱부(126)로부터 차량 외부 상황 정보를 수신할 수 있다. 차량 외부 상황 정보는, 차량 외부에 위치하는 오브젝트 정보일 수 있다.
주행 상황 정보 획득부(678)는, 주행 상황 정보를 디스플레이 제어부(676)에 제공할 수 있다.
판단부(675)는, 차량(100)과 제1 오브젝트 사이에, 제2 오브젝트가 위치하는지 판단할 수 있다.
판단부(675)는, 운전자 시선 정보를 기초로, 운전자의 시선에서, 제1 오브젝트가 제2 오브젝트에 가려지는지 판단할 수 있다.
판단부(675)는, 3D 맵상에서, 차량(100), 제1 오브젝트 및 제2 오브젝트간의 위치 관계를 기초로, 운전자 시선에서, 제1 오브젝트가 제2 오브젝트에 가려지는지 판단할 수 있다.
판단부(675)는, 카메라(200)의 시야에서, 제1 오브젝트가 제2 오브젝트에 가리는지 여부를 기초로, 차량(100)과, 제2 오브젝트 사이에 제1 오브젝트가 위치하는지 판단할 수 있다.
판단부(675)는, 내부 카메라(624)를 통해 검출된 운전자의 눈의 위치가 아이 박스 밖으로 벗어나는지 판단할 수 있다.
제1 오브젝트 트래킹부(679)는, V2X 통신부(615)에서 수신되는 정보를 통해, 제1 오브젝트를 트래킹할 수 있다. V2X 통신부(615)는, 제1 오브젝트로부터 위치 정보를 수신하여, 제1 오브젝트 트래킹부(679)에 제공할 수 있다.
한편, 실시예에 따라, V2X 통신부(615)를 통해 획득되는 제1 오브젝트 정보는, 맵 정보 획득부(674)에서 생성된 3D 맵에 반영될 수도 있다.
디스플레이 제어부(676)는, 판단부(675)의 판단 결과를 기초로, 디스플레이부(651)를 제어할 수 있다.
디스플레이 제어부(676)는, 차량(100)과 제1 오브젝트 사이에, 제2 오브젝트가 위치하는 경우, 제1 오브젝트에 대응되는 그래픽 객체를 생성하고, 그래픽 객체가 디스플레이부(651)에 표시되도록, 디스플레이부(651)를 제어할 수 있다. 디스플레이 제어부(676)는, 증강 현실로, 그래픽 객체가 표시되도록 디스플레이부(651)를 제어할 수 있다.
디스플레이 제어부(676)는, 제1 오브젝트에 대응되는 형상을 그래픽 객체로 생성하여, 그래픽 객체가 디스플레이부(651)에 표시되도록 제어할 수 있다.
디스플레이 제어부(676)는, 프런트 윈드 쉴드 상에서, 제2 오브젝트에 대응되는 영역에 그래픽 객체를 표시하도록 제어할 수 있다.
디스플레이 제어부(676)는, 프런트 윈드 쉴드 상에서, 트래킹되는 제1 오브젝트의 위치에 대응되는 영역에 그래픽 객체를 표시하도록 제어할 수 있다.
디스플레이 제어부(676)는, 차량(100)과 제1 오브젝트와의 거리 또는 상대 속도에 기초하여, 디스플레이부(651)에 표시되는 그래픽 객체의 크기의 변화 또는 색의 변화를 제어할 수 있다.
운전자의 시선에서, 제1 오브젝트가 제2 오브젝트에 가려지는 경우, 디스플레이 제어부(676)는, 프런트 윈드 쉴드 상에서, 제2 오브젝트에 대응되는 영역 중, 제1 오브젝트의 위치에 대응되는 영역에, 증강 현실로, 그래픽 객체를 표시할 수 있다.
디스플레이 제어부(676)는, 제1 오브젝트의 가려진 부분에 대응되는 그래픽 객체가, 제1 오브젝트 중 가려지지 않은 부분에 연장되어 증강 현실로 표시되도록 제어할 수 있다.
획득된 눈의 위치가 메모리(640)에 저장된 아이 박스 밖으로 벗어난 경우, 디스플레이 제어부(676)는, 그래픽 객체의 표시 영역이 변경되도록 디스플레이부(651)를 제어할 수 있다.
디스플레이 제어부(676)는, 차량의 상태 정보에 기초하여 디스플레이부(651)에 표시되는 그래픽 객체의 모양, 크기, 위치, 색 및 투명도 중 어느 하나를 제어할 수 있다.
차량의 상태 정보는, 차량의 자세 정보, 차량의 주행 속도 정보, 차량의 주행 모드 정보 및 차량의 주행/정차 상태 정보 등을 포함할 수 있다.
디스플레이 제어부(676)는, 차량의 자세 정보에 기초하여, 디스플레이부(651)에 표시되는 그래픽 객체의 위치를 변경할 수 있다.
디스플레이 제어부(676)는, 차량의 주행 속도 정보에 기초하여, 그래픽 객체의 크기가 변경되도록 디스플레이부(651)를 제어할 수 있다.
디스플레이 제어부(676)는, 주행 상황 정보 획득부(678)에서 수신되는 주행 상황 정보에 대응되는 그래픽 객체가 더 표시되도록 디스플레이부(651)를 제어할 수 있다.
디스플레이 제어부(676)는, 차량 상태 정보에 기초하여, 디스플레이부(651)에 표시되는 그래픽 객체의 양, 종류, 표시되는 영역 중 적어도 어느 하나를 제어할 수 있다.
신호 출력부(677)는, 제1 오브젝트 정보 및 제2 오브젝트 정보에 기초하여, 동력원, 브레이크 장치 및 조향 장치 중 적어도 어느 하나를 제어하기 위한 신호를 제공할 수 있다.
신호 출력부(677)는, 인터페이스부(630)를 통해, 차량 구동부(150)에 신호를 제공할 수 있다.
도 8 내지 도 9는 본 발명의 실시예에 따라 차량이 경사 진입 전에, 선행하는 타 차량이 도로 경사에 가려지는 상황을 설명하는데 참조되는 도면이다.
도면을 참조하면, 차량(100)은, 도 8에 예시된 바와 같이 내리막을 주행할 수 있다. 차량(100)은, 도 9에 예시된 바와 같이 오르막을 주행할 수 있다. 차량(100)이 오르막 또는 내리막 진입 전에, 선행하는 타 차량(810)이 도로의 경사(820, 830)에 가려져 보이지 않을 수 있다. 차량(100)과 선행하는 타 차량(810) 사이에 도로의 경사(820, 830)가 위치할 수 있다.
여기서, 선행하는 타 차량(810)은, 제1 오브젝트일 수 있다. 도로의 경사(820, 830)는, 제2 오브젝트일 수 있다.
프로세서(670)는, 인터페이스부(630)를 통해, 선행하는 타 차량(810) 정보 및 도로의 경사(820, 830) 정보를 획득할 수 있다. 예를 들면, 차량(100)의 외부 센싱부(126)는, 선행하는 타 차량(810) 및 도로의 경사(820, 830)를 감지할 수 있다. 프로세서(670)는, 외부 센싱부(126)로부터 타 차량(810) 정보 및 도로의 경사(820, 830) 정보를 수신할 수 있다.
프로세서(670)는, V2X 통신부(615)를 통해, 타 차량(810)의 위치 정보를 획득할 수 있다. 타 차량(810)이 도로의 경사(820, 830)에 가려져, 외부 센싱부(126)가 타 차량(810)을 검출하지 못하는 경우에도, 프로세서(670)는, V2X 통신부(615)를 통해, 타 차량(810)을 지속적으로 트래킹할 수 있다.
프로세서(670)는, 내부 카메라(624)를 통해, 운전자 시선 정보를 획득하고, 운전자 시선 정보를 기초로, 차량(100)과 선행하는 타 차량(810) 사이에 도로의 경사(820, 830)가 위치하는지 판단할 수 있다. 프로세서(670)는, 운전자 시선 정보를 기초로, 운전자 시선에서, 선행하는 타 차량(810)이 도로의 경사(820, 830)에 가려지는지 판단할 수 있다.
프로세서(670)는, 3D 맵을 생성하고, 3D 맵상에서, 차량(100), 선행하는 타 차량(810) 및 도로(820, 830)간의 위치 관계를 기초로, 차량(100)과 선행하는 타 차량(810) 사이에 도로의 경사(820, 830)가 위치하는지 판단할 수 있다. 프로세서(670)는, 3D 맵을 기초로 운전자 시선에서, 선행하는 타 차량(810)이 도로의 경사(820, 830)에 가려지는지 판단할 수 있다.
도 10a 내지 도 10d는 본 발명의 실시예에 따라, 도 8 내지 도 9의 상황에서, 표시되는 그래픽 객체를 설명하는데 참조되는 도면이다.
도면을 참조하면, 차량(100)과, 제1 오브젝트 사이에, 제2 오브젝트가 위치하는 경우, 프로세서(670)는, 제1 오브젝트에 대응하는 그래픽 객체(1000, 1010, 1020, 1030, 1050)를 생성할 수 있다. 프로세서(670)는, 그래픽 객체가 표시되도록 디스플레이부(651)를 제어할 수 있다.
그래픽 객체(1000, 1010, 1020, 1030, 1050)는, 차량(100)의 프런트 윈드 쉴드(10) 상에 표시될 수 있다. 이경우, 프로세서(670)는, 그래픽 객체(1000, 1010, 1020, 1030, 1050)가 증강현실로 표시되도록 제어할 수 있다.
프로세서(670)는, 프런트 윈드 쉴드(10) 상에서, 도로의 경사(820, 830)에 대응되는 영역에 그래픽 객체(1000, 1010, 1020, 1030, 1050)를 표시하도록 제어할 수 있다.
프로세서(670)는, 선행하는 타 차량(도 8 내지 도 9의 810)을 트래킹할 수 있다. 프로세서(670)는, V2X 통신부(615)를 통해, 선행하는 타 차량(도 8 내지 도 9의 810)의 위치 정보를 수신할 수 있다. 프로세서(670)는, 선행하는 타 차량(도 8 내지 도 9의 810)의 위치 정보를 기초로, 트래킹할 수 있다.
프로세서(670)는, 프런트 윈드 쉴드(10) 상에서, 트래킹되는 선행하는 타 차량(도 8 내지 도 9의 810)의 위치에 대응되는 영역에 그래픽 객체(1000, 1010, 1020, 1030, 1050)를 표시하도록 제어할 수 있다.
도 10a에 예시된 바와 같이, 프로세서(670)는, 선행하는 타 차량(도 8 내지 도 9의 810)에 대응되는 그래픽 객체(1000, 1010)를 표시할 수 있다.
프로세서(670)는, 그래픽 객체로 텍스트(1010)를 표시할 수 있다. 프로세서(670)는, 그래픽 객체로, 화살표 형상(1000)을 표시할 수 있다. 이때, 프로세서(670)는, 선행하는 타 차량(도 8 내지 도 9의 810)이 향하는 방향과 화살표 형상(1000)의 방향이 일치되도록 화살표 형상(1000)을 표시할 수 있다.
도 10b 내지 도 10c에 예시된 바와 같이, 프로세서(670)는, 선행하는 타 차량(도 8 내지 도 9의 810)과 비슷한 형상인 차량 이미지(1020, 1030)를, 그래픽 객체로, 표시할 수 있다.
프로세서(670)는, 차량(100)과 선행하는 타 차량(810)의 거리를 기초로 차량 이미지(1020, 1030)의 크기의 변화 또는 색의 변화를 조절할 수 있다.
예를 들면, 차량(100)과 선행하는 타 차량(810)이 점점 가까워질수록, 프로세서(670)는, 차량 이미지(1020, 1030)를 점점 크게 표시할 수 있다. 또한, 차량(100)과 선행하는 타 차량(810)이 점점 멀어질수록, 프로세서(670)는, 차량 이미지(1020, 1030)를 점점 작게 표시할 수 있다.
예를 들면, 차량(100)과 선행하는 타 차량(810)이 점점 가까워질수록, 프로세서(670)는, 차량 이미지(1020, 1030)의 색을 점점 진하게 표시할 수 있다. 또한, 차량(100)과 선행하는 타 차량(810)이 점점 멀어질수록, 프로세서(670)는, 차량 이미지(1020, 1030)의 색을 점점 연하게 표시할 수 있다.
프로세서(670)는, 차량(100)과 선행하는 타 차량(810)의 상대 속도를 기초로, 차량 이미지(1020, 1030)의 크기의 변화 또는 색의 변화를 조절할 수 있다.
예를 들면, 차량(100)과 선행하는 타 차량(810)의 상대 속도가 점점 감소할수록, 프로세서(670)는, 차량 이미지(1020, 1030)를 점점 크게 표시할 수 있다. 또한, 차량(100)과 선행하는 타 차량(810)의 상대 속도가 점점 증가할수록, 프로세서(670)는, 차량 이미지(1020, 1030)를 점점 작게 표시할 수 있다.
예를 들면, 차량(100)과 선행하는 타 차량(810)의 상대 속도가 점점 감소할수록, 프로세서(670)는, 차량 이미지(1020, 1030)의 색을 점점 진하게 표시할 수 있다. 또한, 차량(100)과 선행하는 타 차량(810)의 상대 속도가 점점 증가할수록, 프로세서(670)는, 차량 이미지(1020, 1030)의 색을 점점 연하게 표시할 수 있다.
도 10d에 예시된 바와 같이, 프로세서(670)는, 선행하는 타 차량(810)의 일부가 도로의 경사(820, 830)에 가려지는 경우, 가려진 부분에 대응되는 차량 일부 이미지(1050)가 표시되도록 디스플레이부(651)를 제어할 수 있다.
프로세서(670)는, 차량 일부 이미지(1050)가 선행하는 타 차량(810) 중 가려지지 않은 부분에 연장된 상태로 증강 현실로 표시되도록 디스플레이부(651)를 제어할 수 있다.
도 11은 본 발명의 실시예에 따라 교차로 진입 전에, 타 차량이 건물에 가려지는 상황을 설명하는데 참조되는 도면이다.
도면을 참조하면, 차량(100)은, 도 11에 예시된 바와 같이, 교차로를 주행할 수 있다. 차량(100)이 교차로 진입 전에, 교차로에서 차량(100)의 주행 방향과 교차되는 방향으로 주행중인 타 차량(1110)이 주변 건물(1120)에 가려져 보이지 않을 수 있다. 차량(100)과 타 차량(1110) 사이에 건물(1120)이 위치할 수 있다.
여기서, 차량(100)의 주행 방향과 교차되는 방향으로 주행중인 타 차량(1110)은, 제1 오브젝트일 수 있다. 도로 주변에 위치하는 건물(1120)은, 제2 오브젝트일 수 있다.
프로세서(670)는, 인터페이스부(630)를 통해, 차량(100)의 주행 방향과 교차되는 방향으로 주행중인 타 차량(1110) 정보 및 도로 주변 건물(1120) 정보를 획득할 수 있다. 예를 들면, 차량(100)의 외부 센싱부(126)는, 타 차량(1110) 및 건물(1120)을 감지하고, 프로세서(670)는, 외부 센싱부(126)로부터 타 차량(1110) 정보 및 건물(1120) 정보를 수신할 수 있다.
프로세서(670)는, V2X 통신부(615)를 통해, 타 차량(1110)의 위치 정보를 획득할 수 있다. 타 차량(1110)이 건물(1120)에 가려져, 외부 센싱부(126)가 타 차량(1110)을 검출하지 못하는 경우에도, 프로세서(670)는, V2X 통신부(615)를 통해, 타 차량(1110)을 지속적으로 트래킹할 수 있다.
프로세서(670)는, 내부 카메라(624)를 통해, 운전자 시선 정보를 획득하고, 운전자 시선 정보를 기초로, 차량(100)과 차량(100)의 주행 방향과 교차되는 방향으로 주행중인 타 차량(1110) 사이에 건물(1120)이 위치하는지 판단할 수 있다. 프로세서(670)는, 운전자 시선 정보를 기초로, 운전자 시선에서, 타 차량(1110)이 건물(1120)에 가려지는지 판단할 수 있다.
프로세서(670)는, 3D 맵을 생성하고, 3D 맵상에서, 차량(100), 차량(100)의 주행 방향과 교차되는 방향으로 주행 중인 타 차량(1110) 사이에 건물(1120)이 위치하는지 판단할 수 있다. 프로세서(670)는, 3D 맵을 기초로 운전자 시선에서, 타 차량(1110)이 건물(1120)에 가려지는지 판단할 수 있다.
도 12는 본 발명의 실시예에 따라, 도 11의 상황에서, 표시되는 그래픽 객체를 설명하는데 참조되는 도면이다.
도면을 참조하면, 차량(100)과 차량(100)의 주행 방향과 교차되는 방향으로 주행 중인 타 차량(1110) 사이에 건물(1120)이 위치하는 경우, 프로세서(670)는, 타 차량(1110)에 대응되는 그래픽 객체(1210)를 생성할 수 있다. 프로세서(670)는, 그래픽 객체(1210)가 표시되도록 디스플레이부(651)를 제어할 수 있다. 여기서, 그래픽 객체는, 차량의 이미지(1210)일 수 있다.
그래픽 객체(1210)는, 차량(100)의 프런트 윈드 쉴드(10) 상에 표시될 수 있다. 이경우, 프로세서(670)는, 그래픽 객체(1210)가 증강현실로 표시되도록 제어할 수 있다.
프로세서(670)는, 프런트 윈드 쉴드에서, 건물(1120)에 대응되는 영역에 그래픽 객체(1210)를 표시하도록 디스플레이부(651)를 제어할 수 있다.
프로세서(670)는, V2X 통신부(615)를 통해 수신된, 타 차량(1110)의 위치 정보에 대응되는 영역에 그래픽 객체(1210)를 표시하도록 디스플레이부(651)를 제어할 수 있다.
도 13은 본 발명의 실시예에 따라, 주행시 보행자가 타 차량에 가려지는 상황을 설명하는데 참조되는 도면이다.
도면을 참조하면, 차량(100)은, 도 13에 예시된 바와 같이, 주행 중 차도를 건너는 보행자(1310)가 도로가에 정차되어 있는 타 차량(1320)에 가려져 보이지 않을 수 있다. 차량(100)과 보행자(1310) 사이에 타 차량(1320)이 위치할 수 있다.
여기서, 차도를 건너는 보행자(1310)는, 제1 오브젝트일 수 있다. 도로가에 정차되어 있는 타 차량(1320)는, 제2 오브젝트일 수 있다.
프로세서(670)는, 인터페이스부(630)를 통해, 차도를 건너는 보행자(1310) 정보 및 도로가에 정차되어 있는 타 차량(1320) 정보를 획득할 수 있다. 예를 들면, 차량(100)의 외부 센싱부(126)는, 보행자(1310) 및 타 차량(1320)을 감지하고, 프로세서(670)는, 외부 센싱부(126)으로부터 보행자(1310) 및 타 차량(1320) 정보를 수신할 수 있다.
프로세서(670)는, V2X 통신부(615)를 통해, 보행자(1310)의 위치 정보를 획득할 수 있다. 구체적으로, 프로세서(670)는, V2X 통신부(615)를 통해, 보행자(1310)가 소지한 이동 단말기와 통신하여, 이동 단말기의 위치 정보를 획득할 수 있다. 이때, 이동 단말기의 위치 정보는, 보행자의 정보일 수 있다. 보행자(1310)가 타 차량(1320)에 가려져, 외부 센싱부(126)가 보행자를 검출하지 못하는 경우에도, 프로세서(670)는, V2X 통신부(615)를 통해, 보행자(1310)를 지속적으로 트래킹할 수 있다.
프로세서(670)는, 내부 카메라(624)를 통해, 운전자 시선 정보를 획득하고, 운전자 시선 정보를 기초로, 차량(100)과 차도를 건너는 보행자(1310) 사이에, 도로가에 정차된 타 차량(1320)이 위치하는지 판단할 수 있다. 프로세서(670)는, 운전자 시선 정보를 기초로, 운전자 시선에서, 보행자(1310)가 타 차량(1320)에 가려지는지 판단할 수 있다.
프로세서(670)는, 3D 맵을 생성하고, 3D 맵상에서, 차량(100), 차도를 건너는 보행자(1310) 사이에 도로가에 정차된 타 차량(1320)이 위치하는지 판단할 수 있다. 프로세서(670)는, 3D 맵을 기초로, 운전자 시선에서, 보행자(1310)가 타 차량(1320)에 가려지는지 판단할 수 있다.
도 14는, 본 발명의 실시예에 따라, 도 13의 상황에서, 표시되는 그래픽 객체를 설명하는데 참조되는 도면이다.
도면을 참조하면, 차량(100)과 차도를 건너는 보행자(1310) 사이에, 도로가에 정차되어 있는 타 차량(1320)이 위치하는 경우, 프로세서(670)는, 보행자(1310)에 대응되는 그래픽 객체(1410)를 생성할 수 있다. 프로세서(670)는, 그래픽 객체(1410)가 표시되도록 디스플레이부(651)를 제어할 수 있다. 여기서, 그래픽 객체는 보행자 이미지(1410)일 수 있다.
그래픽 객체(1410)는, 차량(100)의 프런트 윈드 쉴드(10) 상에 표시될 수 있다. 이경우, 프로세서(670)는, 그래픽 객체(1410)가 증강현실로 표시되도록 제어할 수 있다.
프로세서(670)는, 프런트 윈드 쉴드에서, 타 차량(1320)에 대응되는 영역에 그래픽 객체(1410)를 표시하도록 디스플레이부(651)를 제어할 수 있다.
프로세서(670)는, V2X 통신부(615)를 통해 수신된, 보행자(1310)의 위치 정보에 대응되는 영역에 그래픽 객체(1410)를 표시하도록 디스플레이부(651)를 제어할 수 있다.
도 15는 본 발명의 실시예에 따라, 차량이 코너 진입 전에, 선행하는 타 차량이 도로 주변 지형물에 가려지는 상황을 설명하는데 참조되는 도면이다.
도면을 참조하면, 차량(100)은, 도 15에 예시된 바와 같이, 커브 구간을 주행할 수 있다. 차량(100)이 커브 구간 진입 전에, 선행하는 타 차량(1510)이 도로 주변 지형물(1520)에 가려져 보이지 않을 수 있다. 차량(100)과 타 차량(1510) 사이에 지형물(1520)이 위치할 수 있다.
여기서, 선행하는 타 차량(1510)은 제1 오브젝트일 수 있다. 도로 주변에 위치하는 지형물(1520)은, 제2 오브젝트일 수 있다.
프로세서(670)는, 인터페이스부(630)를 통해, 차량(100)에 선행하는 타 차량(1510) 정보 및 도로 주변에 위치하는 지형물(1520) 정보를 획득할 수 있다. 예를 들면, 차량(100)의 외부 센싱부(126)는, 타 차량(1510) 및 지형물(1520)을 감지하고, 프로세서(670)는, 외부 센싱부(126)로부터 타 차량(1510) 정보 및 지형물(1520) 정보를 수신할 수 있다.
프로세서(670)는, V2X 통신부(615)를 통해, 타 차량(1510)의 위치 정보를 획득할 수 있다. 타 차량(1510)이 지형물(1520)에 가려져, 외부 센싱부(126)가 타 차량(1510)을 검출하지 못하는 경우에도, 프로세서(670)는, V2X 통신부(615)를 통해, 타 차량(1510)을 지속적으로 트래킹할 수 있다.
프로세서(670)는, 내부 카메라(624)를 통해, 운전자 시선 정보를 획득하고, 운전자 시선 정보를 기초로, 차량(100)과 차량(100)에 선행하는 타 차량(1510) 사이에 지형물(1520)이 위치하는지 판단할 수 있다. 프로세서(670)는, 운전자 시선 정보를 기초로, 운전자 시선에서, 타 차량(1510)이 지형물(1520)에 가려지는지 판단할 수 있다.
프로세서(670)는, 3D 맵을 생성하고, 3D 맵상에서, 차량(100), 차량(100)에 선행하는 타 차량(1510) 사이에 지형물(1520)이 위치하는지 판단할 수 있다. 프로세서(670)는, 3D 맵을 기초로, 운전자 시선에서, 타 차량(1520)이 지형물(1520)에 가려지는지 판단할 수 있다.
한편, 지형물(1520)은, 산과 같이, 지상에서 일정한 부피를 가지게 형성되는 오브젝트일 수 있다.
도 16은 본 발명의 실시예에 따라, 도 15의 상황에서, 표시되는 그래픽 객체를 설명하는데 참조되는 도면이다.
도면을 참조하면, 차량(100)과 차량(100)에 선행하는 타 차량(1510) 사이에 지형물(1520)이 위치하는 경우, 프로세서(670)는, 타 차량(1510)에 대응되는 그래픽 객체(1610)를 생성할 수 있다. 프로세서(670)는, 그래픽 객체(1610)가 표시되도록 디스플레이부(651)를 제어할 수 있다. 여기서, 그래픽 객체는, 소정의 도형 이미지(1610)일 수 있다.
그래픽 객체(1610)는, 차량(100)의 프런트 윈드 쉴드(10) 상에 표시될 수 있다. 이경우, 프로세서(670)는, 그래픽 객체(1610)가 증강현실로 표시되도록 제어할 수 있다.
프로세서(670)는, 프런트 윈드 쉴드에서, 지형물(1520)에 대응되는 영역에 그래픽 객체(1610)를 표시하도록 제어할 수 있다.
프로세서(670)는, V2X 통신부(615)를 통해 수신된, 타 차량(1520)의 위치 정보에 대응되는 영역에 그래픽 객체(1610)를 표시하도록 디스플레이부(651)를 제어할 수 있다.
한편, 타 차량(1520)이 제2 오브젝트에 가려진 상태에서, 프로세서(670)는, 차량(100)과 선행하는 타 차량(1520)과의 거리 정보를 기초로, 브레이크 제어를 안내하는 그래픽 객체를 증강현실로 표시하도록 디스플레이부(651)를 제어할 수 있다.
예를 들면, 프로세서(670)는, 차량(100)과 타 차량(1520)간의 거리가 제1 범위 이내인 경우, 제1 색 또는 제1 크기의 제1 이미지(1621)를 주행 도로와 겹쳐지게 보이도록 표시할 수 있다 여기서, 제1 이미지(1621)는, 제1 단계의 제동이 이루어지도록 운전자를 유도하기 위한 이미지일 수 있다.
예를 들면, 프로세서(670)는, 차량(100)과 타 차량(1520)간의 거리가 제2 범위 이내인 경우, 제2 색 또는 제2 크기의 제2 이미지(1622)를 주행도로와 겹쳐지게 보이도록 표시할 수 있다. 여기서, 제2 이미지(1622)는, 제2 단계의 제동이 이루어지도록 운전자를 유도하기 위한 이미지일 수 있다.
예를 들면, 프로세서(670)는, 차량(100)과 타 차량(1520)간의 거리가 제3 범위 이내인 경우, 제3 색 또는 제3 크기의 제3 이미지(1623)를 주행도로와 겹쳐지게 보이도록 표시할 수 있다. 여기서, 제3 이미지(1623)는, 제3 단계의 제동이 이루어지도록 운전자를 유도하기 위한 이미지일 수 있다.
도 17은 본 발명의 실시예에 따른 다양한 그래픽 객체를 설명하는데 참조되는 도면이다.
프로세서(670)는, 다양한 그래픽 객체(1710, 1720, 1725, 1730, 1740, 1750)가 증강현실로 표시되도록 디스플레이부(651)를 제어할 수 있다.
예를 들면, 프로세서(670)는, 교통 표지판이 주변에 위치하는 경우, 교통 표지판에 대응되는 이미지(1710)를 표시할 수 있다.
예를 들면, 프로세서(670)는, 탑승객이 선호하는 상점이 주변에 위치하는 경우, 상점에 대응되는 이미지(1720)를 증강 현실로 표시할 수 있다. 이경우, 차량용 디스플레이 장치(100)는, 음향 입력부(622)를 통해 사용자 입력을 수신 받아, 상점에 자동 예약 전화를 걸 수 있다.
예를 들면, 프로세서(670)는, 주변에 신호등이 위치하는 경우, 신호등에 대응하는 이미지(1725)를 증강 현실로 표시할 수 있다. 이때, 프로세서(670)는, 신호등의 신호 변환 시간 정보를 함께 표시할 수 있다.
예를 들면, 프로세서(670)는, 차량(100)에 잔여 연료가 얼마 남지 않은 경우, 주변에 위치한 주유소에 대응하는 이미지(1730)를 증강 현실로 표시할 수 있다. 이때, 프로세서(670)는, 주변 주유소의 유가 정보를 함께 표시할 수 있다.
예를 들면, 프로세서(670)는, 차선 합류 지점이 주변에 위치하는 경우, 차선 합류 지점에 대응하는 이미지(1740)를 표시할 수 있다. 이때, 프로세서(670)는, 차선 합류를 위한 추천 차선 안내 정보를 함께 표시할 수 있다. 이경우, 프로세서(670)는, 차선 합류 지점 진입을 위해 방향 지시등 온(on)을 위한 제어 신호를 램프 구동부(154)에 제공할 수 있다.
예를 들면, 프로세서(670)는, 지하도가 주변이 위치하는 경우, 지하도 진입에 대응하는 이미지(1750)를 표시할 수 있다. 이때, 프로세서(670)는, 지하도 진입 전 공기 오염도 상태 정보를 함께 표시할 수 있다. 이경우, 프로세서(670)는, 지하도 진입 전에 윈도우 구동부(157)에 윈도우 클로징을 위한 제어 신호를 제공할 수 있다. 또한, 프로세서(670)는, 공조 구동부(155)에, 공기 정화기능 온(on)을 위한 제어 신호를 제공할 수 있다.
한편, 위험 상황이 회피되는 경우, 프로세서(670)는, 출력부(650)를 통해, 위험 상황 회피 정보를 출력할 수 있다.
도 18은 본 발명의 실시예에 따른 3D 도면을 설명하는데 참조되는 도면이다.
도면을 참조하면, 프로세서(670)는, 맵 정보를 획득할 수 있다. 맵 정보는, 차량(100)을 중심으로 한, 주변의 공간 정보를 포함할 수 있다. 예를 들면, 맵 정보는, 차량(100) 주변의 도로, 지형물, 구조물 등의 정보를 포함할 수 있다.
프로세서(670)는, 외부 센싱부(126)로부터 센싱된 차량(100)의 외부 상황 정보를 수신할 수 있다. 구체적으로, 프로세서(670)는, 외부 센싱부(126)로부터, 차량(100)의 외부에 위치하는 오브젝트 정보를 수신할 수 있다.
프로세서(670)는, 맵 정보 및 외부 상황 정보를 합성(fusion)하여 3D 맵(1800)을 생성할 수 있다. 프로세서(670)는, 맵 상의 오브젝트와, 외부 센싱부(126)를 통해 획득한 오브젝트 정보를 매칭할 수 있다.
프로세서(670)는, 3D 맵상에서, 맵 정보에서 획득한, 도로(1811), 지형물 및 구조물(1812)을 입체적으로 구현할 수 있다. 또한, 프로세서(670)는, 외부 상황 정보에서 획득한, 타 차량(1821) 및 보행자(1822)를 입체적으로 구현할 수 있다.
프로세서(670)는, 3D 맵상에서, 차량(100), 제1 오브젝트 및 제2 오브젝트 간의 위치 관계를 기초로, 운전자 시선에서, 제1 오브젝트가 제2 오브젝트에 가려지는지 판단할 수 있다.
도 19는 본 발명의 일 실시예에 따라, 차량용 디스플레이 장치(600)가 윈드 쉴드(10)를 통해 증강현실 이미지를 구현하는 동작을 설명하기 위한 개념도이다. 도 19에서, 차량용 디스플레이 장치(600)는 HUD인 것으로 가정한다.
이하의 설명에서, 증강현실 이미지는 그래픽 객체의 일 예일 수 있다.
도 19를 참조하면, 차량용 디스플레이 장치(600)는 디스플레이 패널(1942), 제1 미러(1944), 제2 미러(1946)를 포함할 수 있다.
디스플레이 패널(1942)에는 백 라이트 유닛이 구비되어, 프로세서(670)의 제어에 따라, 증강현실 이미지를 구현하기 위한 표시광을 윈드 쉴드(10)를 향하여 투영할 수 있다.
프로세서(670)는 실내 카메라(624), 실외 카메라(200) 및 디스플레이 패널(1942)과 기능적으로 연결되어, 실내 카메라(624) 및/또는 실외 카메라(200)로부터 제공되는 영상을 기초로, 특정 증강현실 이미지를 구성하기 위한 영상 데이터를 생성하고, 이를 디스플레이 패널(1942)에 제공할 수 있다. 예컨대, 증강현실 이미지를 구성하기 위한 영상 데이터는 비트맵(bit map) 형식일 수 있다.
일 실시예에서, 프로세서(670)는 실외 카메라(200)로부터 제공되는 전방 영상을 기초로, 차량(100)의 전방에 존재하는 특정 오브젝트(1901)를 검출하고, 검출된 오브젝트(1901)에 대응하는 증강현실 이미지를 구성하기 위한 영상 데이터를 디스플레이 패널(1942)에 제공할 수 있다.
디스플레이 패널(1942)은 프로세서(670)로부터 제공되는 영상 데이터를 기초로, 증강현실 이미지에 대응하는 표시광을 제1 미러(1944)로 출력할 수 있다. 제2 미러(1946)는 제1 미러(1944)로부터 반사된 표시광을 윈드 쉴드(10)에 재 반사함으로써, 윈드 쉴드(10)를 통해 증강현실 이미지가 구현되도록 할 수 있다. 디스플레이 패널(1942)로부터 윈드 쉴드(10)까지의 광학 경로(optical path)에 의해, 증강현실 이미지에 대응하는 표시광의 사이즈가 확대되거나 윈드 쉴드(10)에 대한 투영 위치가 조절될 수 있다.
한편, 제2 미러(1946)에 의해 반사된 표시광은 윈드 쉴드(10)의 미리 정해진 영역(이하, 표시 영역) 내에 투영될 수 있다. 표시 영역(1920)에는 증강현실 이미지(1930)가 보다 선명하게 보일 수 있도록 반사 필름이 부착될 수 있다.
이때, 윈드 쉴드(10)에 투영된 표시광에 의해 증강현실 이미지가 구현되는데, 운전자의 위치에서는 증강현실 이미지(1930)가 윈드 쉴드(10)의 표시 영역(1920)이 아닌, 표시 영역(1920) 너머의 차량(100) 외부에 표시되는 것으로 보일 수 있다. 즉, 증강현실 이미지(1930)는 차량(100)의 전방으로 소정 거리 앞에 마치 떠있는 것처럼 보이는 허상으로 인식될 수 있다. 예컨대, 증강현실 이미지(1930)는 오브젝트(1901)의 윤곽선, 속도, 충돌 경보 등에 대한 정보를 제공하는 그래픽 객체일 수 있다.
차량용 디스플레이 장치(600)가 허상을 통해 증강현실 이미지(1930)를 구현하는 경우, 운전자가 표시 영역(1920)을 통해 증강현실 이미지(1930)를 인지하기 위해서는, 운전자의 눈 위치가 아이 박스(1910) 내에 위치해야 한다. 아이 박스(1910)는 3차원의 부피를 가지는 차량(100) 실내의 공간으로서, 운전자의 눈이 아이 박스(1910) 내에 위치하는 경우, 표시 영역(1920)을 통해 증강현실 이미지(1930)를 확인할 수 있다. 반면, 운전자의 눈이 아이 박스(1910) 밖으로 벗어나는 경우, 증강현실 이미지(1930)의 일부분만이 보이거나, 증강현실 이미지(1930)가 전부 보이지 않을 수 있다. 메모리(640)에는 아이 박스(1910)의 경계를 정의하는 좌표값들이 미리 저장될 수 있다.
한편, 운전자의 눈이 아이 박스(1910) 내에 위치하는 경우, 운전자가 증강현실 이미지(1930)를 인지할 수 있다고 하더라도, 아이 박스(1910) 내에서의 눈 위치 변화에 따라, 운전자가 표시 영역(1920)을 통해 인지하게 되는 오브젝트(1901)의 실제 이미지와 증강현실 이미지(1930) 사이에는 오차가 발생할 수 있다. 이는, 운전자의 위치를 기준으로 할때, 증강현실 이미지(1930)까지의 거리와 오브젝트(1901)까지의 거리가 상이하기 때문에 발생하는 현상이며, 오브젝트(1901)가 상대적으로 멀어질수록 증강현실 이미지(1930)와의 오차는 점차적으로 증대될 수 있다. 이러한 오차를 저감 내지 해소하기 위해, 프로세서(670)는 운전자의 눈 위치를 기초로, 증강현실 이미지(1930)를 후처리할 수 있다.
구체적으로, 프로세서(670)는 실내 카메라(624)로부터 제공되는 운전자 영상으로부터, 운전자의 눈 위치를 검출할 수 있다. 일 실시예에서, 프로세서(670)는 아이 트래킹(eye tracking) 기법을 이용하여, 운전자 영상에 나타나는 운전자의 눈을 검출하고, 검출된 눈의 3차원 좌표값을 산출할 있다. 다른 실시예에서, 프로세서(670)는 에지 검출(edge detection) 기법을 이용하여, 운전자 영상으로부터 운전자의 얼굴 윤곽선을 추출하고, 추출된 윤곽선을 기초로, 운전자의 눈 위치를 추정할 수 있다.
메모리(640)에는 기준 위치에 대한 정보가 미리 설정될 수 있고, 프로세서(670)는 운전자의 눈 위치를 기준 위치와 비교하여, 기준 위치에 대한 눈 위치의 방향 및 거리를 산출할 수 있다. 즉, 프로세서(670)는 운전자의 현재 눈 위치가 기준 위치로부터 어느 방향으로 얼마만큼 떨어져 있는지 판단할 수 있다.
프로세서(670)는 기준 위치에 대한 눈 위치의 방향 및 거리에 따라, 증강현실 이미지에 대한 후처리에 적용할 시각 효과를 결정할 수 있다. 아울러, 프로세서(670)는 결정된 시각 효과의 크기를 결정할 수도 있다.
프로세서(670)는 결정된 시각 효과를 이용하여 증강현실 이미지(1930)를 후처리함으로써, 아이 박스(1910) 내에서의 눈 위치 변화에 따라 발생하는 오브젝트(1901)의 실제 이미지와의 오차를 억제하고, 보다 향상된 이미지 간 매칭 결과를 운전자에게 제공할 수 있다.
증강현실 이미지에 대한 후처리에 적용 가능한 시각 효과는, 증강현실 이미지에 대한 블러링(blurring), 위치 변경, 크기 변경, 형상 변경 및 기울기 변경 중 적어도 하나를 포함할 수 있다. 일 예로, 운전자의 눈 위치가 y축을 따라 좌우로 변화됨에 따라, 증강현실 이미지와 오브젝트의 실제 이미지 간에 수평적 오차가 발생한 경우, 프로세서(670)는 증강현실 이미지를 실제 이미지 쪽으로 수평적으로 이동시키거나, 증강현실 이미지의 폭 확장, 또는 증강현실 이미지의 적어도 일부분에 대한 블러링(blurring) 등의 시각 효과를 통해, 두 이미지 간의 불일치를 보상할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 디스플레이부;
    인터페이스부; 및
    상기 인터페이스부를 통해, 차량 외부에 위치하는 제1 오브젝트에 대한 정보 및 제2 오브젝트에 대한 정보를 수신하고,
    차량과 상기 제1 오브젝트 사이에, 상기 제2 오브젝트가 위치하는 경우, 상기 제1 오브젝트에 대응되는 그래픽 객체가, 상기 디스플레이부에 표시되도록 제어하는 프로세서;를 포함하는 차량용 디스플레이 장치.
  2. 제 1항에 있어서,
    상기 그래픽 객체는,
    차량의 프런트 윈드 쉴드 상에 표시되고,
    상기 프로세서는,
    상기 그래픽 객체가 증강현실(Augmented Reality)로 표시되도록 제어하는 차량용 디스플레이 장치.
  3. 제 2항에 있어서,
    상기 프로세서는,
    상기 프런트 윈드 쉴드 상에서, 상기 제2 오브젝트에 대응되는 영역에 상기 그래픽 객체를 표시하도록 제어하는 차량용 디스플레이 장치.
  4. 제 2항에 있어서,
    상기 프로세서는,
    상기 제1 오브젝트를 트래킹하고, 상기 프런트 윈드 쉴드 상에서, 상기 트래킹된 제1 오브젝트의 위치에 대응하는 영역에 상기 그래픽 객체를 표시하도록 제어하는 차량용 디스플레이 장치.
  5. 제 4항에 있어서,
    상기 제1 오브젝트와 데이터를 교환하는 V2X 통신부;를 더 포함하고,
    상기 프로세서는,
    상기 V2X 통신부를 통해, 상기 제1 오브젝트의 위치 정보를 수신하고, 상기 위치 정보를 기초로, 상기 제1 오브젝트를 트래킹하는 차량용 디스플레이 장치.
  6. 제 4항에 있어서,
    상기 프로세서는,
    차량과 상기 제1 오브젝트와의 거리 또는 상대 속도에 기초하여, 상기 디스플레이부에 표시되는 상기 그래픽 객체의 크기의 변화 또는 색의 변화를 제어하는 차량용 디스플레이 장치.
  7. 제 1항에 있어서,
    차량 실내 영상을 획득하는 내부 카메라;를 더 포함하고,
    상기 프로세서는,
    상기 내부 카메라를 통해, 운전자 시선 정보를 획득하고, 상기 운전자 시선 정보를 기초로, 상기 운전자 시선에서, 상기 제1 오브젝트가 상기 제2 오브젝트에 가려지는지 판단하는 차량용 디스플레이 장치.
  8. 제 7항에 있어서,
    상기 프로세서는,
    상기 운전자 시선에서, 상기 제1 오브젝트가 상기 제2 오브젝트에 가려지는 경우, 프런트 윈드 쉴드 상에서, 상기 제2 오브젝트에 대응되는 영역 중, 상기 제1 오브젝트의 위치에 대응하는 영역에, 증강현실로, 상기 그래픽 객체를 표시하는 차량용 디스플레이 장치.
  9. 제 8항에 있어서,
    상기 프로세서는,
    상기 운전자 시선에서, 상기 제1 오브젝트의 일부가, 상기 제2 오브젝트에 가려지는 경우,
    상기 디스플레이부에, 상기 제1 오브젝트의 가려진 부분에 대응되는 그래픽 객체가, 표시되도록 제어하는 차량용 디스플레이 장치.
  10. 제 9항에 있어서,
    상기 프로세서는,
    상기 제1 오브젝트의 가려진 부분에 대응되는 그래픽 객체가, 상기 제1 오브젝트 중 가려지지 않은 부분에 연장된 상태로 표시되도록 제어하는 차량용 디스플레이 장치.
  11. 제 7항에 있어서,
    운전자에 대응되는 아이 박스(eye box) 좌표 정보를 저장하는 메모리;를 더 포함하고,
    상기 프로세서는,
    상기 내부 카메라를 통해, 운전자의 눈의 위치 정보를 획득하고, 상기 눈의 위치가 상기 아이 박스 밖으로 벗어난 경우,
    상기 그래픽 객체의 표시 영역이 변경되도록 상기 디스플레이부를 제어하는 차량용 디스플레이 장치.
  12. 제 1항에 있어서,
    상기 프로세서는,
    상기 인터페이스부를 통해, 차량의 상태 정보를 수신하고, 상기 상태 정보에 기초하여, 상기 디스플레이부에 표시되는, 상기 그래픽 객체의 모양, 크기, 위치, 색 및 투명도 중 적어도 어느 하나를 제어하는 차량용 디스플레이 장치.
  13. 제 12항에 있어서,
    상기 상태 정보는, 차량의 자세 정보를 포함하고,
    상기 프로세서는,
    상기 자세 정보에 기초하여, 상기 디스플레이부에 표시되는, 상기 그래픽 객체의 위치를 변경하는 차량용 디스플레이 장치.
  14. 제 12항에 있어서,
    상기 상태 정보는, 차량의 속도 정보를 포함하고,
    상기 프로세서는,
    상기 속도 정보에 기초하여, 상기 그래픽 객체의 크기가 변경되도록 상기 드스플레이부를 제어하는 차량용 디스플레이 장치.
  15. 제 12항에 있어서,
    상기 프로세서는,
    상기 인터페이스부를 통해, 주행 상황 정보를 수신하고, 상기 주행 상황 정보에 대응되는 그래픽 객체가 더 표시되도록 상기 디스플레이부를 제어하는 차량용 디스플레이 장치.
  16. 제 15항에 있어서,
    상기 프로세서는,
    상기 상태 정보에 기초하여, 상기 디스플레이부에 표시되는 상기 주행 상황 정보에 대응되는 그래픽 객체의 양, 종류, 표시되는 영역 중 적어도 어느 하나를 제어하는 차량용 디스플레이 장치.
  17. 제 1항에 있어서,
    상기 프로세서는,
    맵 정보를 획득하고, 상기 맵 정보를 기초로 상기 제2 오브젝트에 대한 정보를 획득하는 차량용 디스플레이 장치.
  18. 제 17항에 있어서,
    상기 프로세서는,
    상기 인터페이스부를 통해, 센싱부로부터, 주행 상황 정보를 수신하고,
    상기 맵 정보 및 상기 주행 상황 정보를 기초로, 3D 맵을 생성하는 차량용 디스플레이 장치.
  19. 제 18항에 있어서,
    상기 프로세서는,
    상기 3D 맵상에서 차량, 상기 제1 오브젝트 및 상기 제2 오브젝트 간의 위치 관계를 기초로, 운전자 시선에서, 상기 제1 오브젝트가 상기 제2 오브젝트에 가려지는지 판단하는 차량용 디스플레이 장치.
  20. 제 1항에 있어서,
    상기 프로세서는,
    상기 제1 오브젝트에 대한 정보 및 상기 제2 오브젝트에 대한 정보에 기초하여, 동력원, 브레이크 장치 및 조향 장치 중 적어도 어느 하나를 제어하기 위한 신호를 제공하는 차량용 디스플레이 장치.
PCT/KR2016/005681 2016-05-30 2016-05-30 차량용 디스플레이 장치 및 차량 WO2017209313A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2016/005681 WO2017209313A1 (ko) 2016-05-30 2016-05-30 차량용 디스플레이 장치 및 차량
KR1020187033730A KR102201290B1 (ko) 2016-05-30 2016-05-30 차량용 디스플레이 장치 및 차량
US16/306,375 US11242068B2 (en) 2016-05-30 2016-05-30 Vehicle display device and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/005681 WO2017209313A1 (ko) 2016-05-30 2016-05-30 차량용 디스플레이 장치 및 차량

Publications (1)

Publication Number Publication Date
WO2017209313A1 true WO2017209313A1 (ko) 2017-12-07

Family

ID=60477569

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/005681 WO2017209313A1 (ko) 2016-05-30 2016-05-30 차량용 디스플레이 장치 및 차량

Country Status (3)

Country Link
US (1) US11242068B2 (ko)
KR (1) KR102201290B1 (ko)
WO (1) WO2017209313A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019136384A1 (en) * 2018-01-05 2019-07-11 Veoneer Us, Inc. Illumination-based object tracking within a vehicle
CN111332225A (zh) * 2018-12-18 2020-06-26 现代自动车株式会社 集成控制器以及包括集成控制器的车辆
US11484790B2 (en) * 2017-07-07 2022-11-01 Buxton Global Enterprises, Inc. Reality vs virtual reality racing
WO2022266829A1 (zh) * 2021-06-22 2022-12-29 华为技术有限公司 一种显示方法及装置、设备及车辆
EP4137926A4 (en) * 2020-09-14 2024-01-10 Lg Electronics Inc IMAGE PROCESSING DEVICE FOR A VEHICLE AND METHOD FOR DISPLAYING VISUAL INFORMATION ON A DISPLAY CONTAINED IN A VEHICLE
JP7439563B2 (ja) 2020-02-26 2024-02-28 トヨタ自動車株式会社 走行支援装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752046B (zh) * 2015-10-15 2023-06-02 麦克赛尔株式会社 平视显示装置
KR102347651B1 (ko) * 2017-12-11 2022-01-06 현대자동차주식회사 산악 도로 적응형 샤시통합제어 방법 및 차량
WO2019191002A1 (en) 2018-03-26 2019-10-03 Nvidia Corporation Object movement behavior learning
KR102099082B1 (ko) * 2019-01-24 2020-04-09 주식회사 에스더블유엠 전방차량 타이어 이상 모니터링 방법
JP6856085B2 (ja) 2019-03-28 2021-04-07 トヨタ自動車株式会社 車両用表示制御装置、方法及びプログラム
CN114207533A (zh) * 2019-05-07 2022-03-18 科特罗尔有限责任公司 用于自主系统的开发和实时应用的形式化验证
WO2021040058A1 (ko) * 2019-08-23 2021-03-04 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
KR20200003355A (ko) * 2019-12-16 2020-01-09 엘지전자 주식회사 전자 장치 및 그의 동작 방법
CN111522443B (zh) * 2020-04-13 2024-04-05 京东方科技集团股份有限公司 车辆a柱显示组件的显示方法、系统、设备和存储介质
KR20210145485A (ko) * 2020-05-25 2021-12-02 (주)이머시브캐스트 인카 클라우드 vr 장치 및 방법
KR20210152741A (ko) 2020-06-09 2021-12-16 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
US11816902B2 (en) * 2020-08-26 2023-11-14 Subaru Corporation Vehicle external environment recognition apparatus
KR20220036456A (ko) * 2020-09-15 2022-03-23 현대자동차주식회사 증강현실 기반의 정보 표시 장치
US11947236B2 (en) * 2021-04-27 2024-04-02 GM Global Technology Operations LLC High contrast transparent display with automatic shading
KR20230005034A (ko) * 2021-06-30 2023-01-09 현대자동차주식회사 자율 주행 차량, 그를 원격 제어하는 관제 시스템 및 그 방법
KR20230030706A (ko) * 2021-08-25 2023-03-07 현대자동차주식회사 차량 및 그 제어 방법
US11400958B1 (en) 2021-09-20 2022-08-02 Motional Ad Llc Learning to identify safety-critical scenarios for an autonomous vehicle
CN116071945A (zh) * 2021-10-29 2023-05-05 通用汽车环球科技运作有限责任公司 交通灯可见性检测和增强显示
JP2023074546A (ja) * 2021-11-18 2023-05-30 本田技研工業株式会社 情報表示装置
KR20230078345A (ko) * 2021-11-26 2023-06-02 현대모비스 주식회사 전기차를 위한 횡방향 무선 충전 체인 구성 방법 및 그를 위한 장치 및 시스템
KR102542977B1 (ko) * 2021-12-17 2023-06-13 광주과학기술원 Mr 시뮬레이션 기반 표지판 시인성을 평가하는 장치 및 그 방법
TWI817823B (zh) * 2022-11-10 2023-10-01 宏達國際電子股份有限公司 車輛控制系統、頭戴式顯示裝置及車輛控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004114709A (ja) * 2002-09-20 2004-04-15 Equos Research Co Ltd 車載画像表示装置
JP2006323666A (ja) * 2005-05-19 2006-11-30 Denso Corp 歩行者飛び出し警報システム
JP2014089138A (ja) * 2012-10-31 2014-05-15 Aisin Aw Co Ltd 位置案内システム、方法およびプログラム
KR20150140449A (ko) * 2014-06-05 2015-12-16 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR101583950B1 (ko) * 2014-06-30 2016-01-08 현대자동차주식회사 차량정보 표시장치 및 그 표시방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289332B2 (en) * 1999-02-26 2001-09-11 Freightliner Corporation Integrated message display system for a vehicle
US6926429B2 (en) * 2002-01-30 2005-08-09 Delphi Technologies, Inc. Eye tracking/HUD system
JP2006072830A (ja) * 2004-09-03 2006-03-16 Aisin Aw Co Ltd 運転支援システム及び運転支援モジュール
JP4940767B2 (ja) * 2006-06-05 2012-05-30 マツダ株式会社 車両周辺情報報知装置
US20090256813A1 (en) * 2008-04-09 2009-10-15 Amici Alan J Vehicle moving-image interface
DE102010040803A1 (de) * 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs
EP2757541B1 (en) * 2011-09-12 2020-09-09 Nissan Motor Co., Ltd Three-dimensional object detection device
KR102028720B1 (ko) * 2012-07-10 2019-11-08 삼성전자주식회사 위험 요소에 대한 정보를 디스플레이하는 투명 디스플레이 장치 및 그 방법
JP6102117B2 (ja) * 2012-08-08 2017-03-29 ソニー株式会社 移動体、システム、プログラム、および情報処理装置
US20150367859A1 (en) 2012-12-21 2015-12-24 Harman Becker Automotive Systems Gmbh Input device for a motor vehicle
DE102013220005A1 (de) * 2013-10-02 2015-04-02 Continental Automotive Gmbh Verfahren und Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs und Fahrerassistenzsystem
KR20150058889A (ko) * 2013-11-21 2015-05-29 현대모비스 주식회사 센서 융합 기반 자율 주행 제어 장치 및 방법
KR101582572B1 (ko) 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
WO2015152304A1 (ja) 2014-03-31 2015-10-08 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
US9409519B2 (en) * 2014-08-27 2016-08-09 Toyota Jidosha Kabushiki Kaisha Generating spatial information for a heads-up display
KR101942793B1 (ko) * 2015-07-03 2019-01-28 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
GB2545958B (en) * 2015-10-26 2019-08-28 Active Knowledge Ltd Moveable internal shock-absorbing energy dissipation padding in an autonomous vehicle
US10011285B2 (en) * 2016-05-23 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Device, system, and method for pictorial language for autonomous vehicle
US9783166B1 (en) * 2016-06-07 2017-10-10 International Business Machines Corporation Windscreen clearing using surface monitoring
US10497264B2 (en) * 2017-09-26 2019-12-03 Toyota Research Institute, Inc. Methods and systems for providing warnings of obstacle objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004114709A (ja) * 2002-09-20 2004-04-15 Equos Research Co Ltd 車載画像表示装置
JP2006323666A (ja) * 2005-05-19 2006-11-30 Denso Corp 歩行者飛び出し警報システム
JP2014089138A (ja) * 2012-10-31 2014-05-15 Aisin Aw Co Ltd 位置案内システム、方法およびプログラム
KR20150140449A (ko) * 2014-06-05 2015-12-16 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR101583950B1 (ko) * 2014-06-30 2016-01-08 현대자동차주식회사 차량정보 표시장치 및 그 표시방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11484790B2 (en) * 2017-07-07 2022-11-01 Buxton Global Enterprises, Inc. Reality vs virtual reality racing
US20230226445A1 (en) * 2017-07-07 2023-07-20 Buxton Global Enterprises, Inc. Reality vs virtual reality racing
WO2019136384A1 (en) * 2018-01-05 2019-07-11 Veoneer Us, Inc. Illumination-based object tracking within a vehicle
US11514789B2 (en) 2018-01-05 2022-11-29 Arriver Software Llc Illumination-based object tracking within a vehicle
CN111332225A (zh) * 2018-12-18 2020-06-26 现代自动车株式会社 集成控制器以及包括集成控制器的车辆
JP7439563B2 (ja) 2020-02-26 2024-02-28 トヨタ自動車株式会社 走行支援装置
EP4137926A4 (en) * 2020-09-14 2024-01-10 Lg Electronics Inc IMAGE PROCESSING DEVICE FOR A VEHICLE AND METHOD FOR DISPLAYING VISUAL INFORMATION ON A DISPLAY CONTAINED IN A VEHICLE
WO2022266829A1 (zh) * 2021-06-22 2022-12-29 华为技术有限公司 一种显示方法及装置、设备及车辆

Also Published As

Publication number Publication date
US11242068B2 (en) 2022-02-08
KR102201290B1 (ko) 2021-01-08
US20200361482A1 (en) 2020-11-19
KR20180132922A (ko) 2018-12-12

Similar Documents

Publication Publication Date Title
WO2017209313A1 (ko) 차량용 디스플레이 장치 및 차량
WO2018088615A1 (ko) 차량 주행 제어 장치 및 방법
WO2017222299A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2018044098A1 (en) Vehicle user interface apparatus and vehicle
WO2017138702A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2019031851A1 (ko) 지도 제공 장치
WO2017183797A1 (ko) 차량용 운전 보조 장치
WO2018012674A1 (en) Driver assistance apparatus and vehicle having the same
WO2017200162A1 (ko) 차량 운전 보조 장치 및 차량
WO2018066741A1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
WO2017094952A1 (ko) 차량 외부 알람방법, 이를 실행하는 차량 운전 보조장치 및 이를 포함하는 차량
WO2018230768A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2019098434A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
EP3475134A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2019035652A1 (en) DRIVING ASSISTANCE SYSTEM AND VEHICLE COMPRISING THE SAME
WO2018131949A1 (ko) 어라운드뷰 제공장치
WO2019022497A1 (en) EXTERIOR MIRROR FOR A VEHICLE
WO2017119557A1 (ko) 운전 보조 장치 및 그 제어방법
WO2018079919A1 (ko) 자율 주행 차량 및 자율 주행 차량의 동작 방법
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2018056515A1 (ko) 차량용 카메라 장치 및 방법
WO2017119541A1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
WO2018186709A1 (ko) 차량용 헤드 업 디스플레이 장치
WO2022154369A1 (ko) 차량과 연동된 디스플레이 장치 및 그것의 동작방법
WO2021157760A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20187033730

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16904112

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16904112

Country of ref document: EP

Kind code of ref document: A1