WO2019198998A1 - 차량 제어 장치 및 그것을 포함하는 차량 - Google Patents

차량 제어 장치 및 그것을 포함하는 차량 Download PDF

Info

Publication number
WO2019198998A1
WO2019198998A1 PCT/KR2019/004147 KR2019004147W WO2019198998A1 WO 2019198998 A1 WO2019198998 A1 WO 2019198998A1 KR 2019004147 W KR2019004147 W KR 2019004147W WO 2019198998 A1 WO2019198998 A1 WO 2019198998A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image output
processor
image
information
Prior art date
Application number
PCT/KR2019/004147
Other languages
English (en)
French (fr)
Inventor
조성일
김자연
장유준
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/490,473 priority Critical patent/US20210362597A1/en
Publication of WO2019198998A1 publication Critical patent/WO2019198998A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/23—
    • B60K35/28—
    • B60K35/285—
    • B60K35/29—
    • B60K35/60—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • B60R16/033—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for characterised by the use of electrical cells or batteries
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B27/00—Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations
    • B60K2360/11—
    • B60K2360/1438—
    • B60K2360/149—
    • B60K2360/176—
    • B60K2360/177—
    • B60K2360/178—
    • B60K2360/179—
    • B60K2360/195—
    • B60K2360/785—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the present invention relates to a vehicle control apparatus for controlling a vehicle and a vehicle including the same.
  • a vehicle is a means of transportation that can move people or luggage using kinetic energy.
  • Representative examples of vehicles include automobiles and motorcycles.
  • the vehicle is equipped with various sensors and devices, the function of the vehicle is diversified.
  • the functions of the vehicle can be divided into convenience functions for the convenience of the driver and safety functions for the safety of the driver and / or the pedestrian.
  • the convenience function has development motivation related to driver comfort, such as giving infotainment (entertainment + entertainment) function to the vehicle, supporting partial autonomous driving function, or helping the driver's vision such as night vision or blind spot.
  • driver comfort such as giving infotainment (entertainment + entertainment) function to the vehicle, supporting partial autonomous driving function, or helping the driver's vision such as night vision or blind spot.
  • ACC active cruise control
  • S smart parking assist system
  • NV night vision
  • HUD head up display
  • AVM adaptive headlight system
  • AHS adaptive headlight system
  • Safety features are technologies that ensure driver safety and / or pedestrian safety, including lane departure warning system (LDWS), lane keeping assist system (LKAS), and autonomous emergency. braking, AEB).
  • LDWS lane departure warning system
  • LKAS lane keeping assist system
  • AEB autonomous emergency. braking
  • ADAS Advanced Driver Assistance System
  • ADAS Advanced Driving Assist System
  • An object of the present invention is to provide a vehicle control apparatus and a vehicle control method capable of outputting various information to the windshield provided in the vehicle.
  • the present invention relates to a vehicle control apparatus mounted on a vehicle having a windshield.
  • the vehicle control apparatus may include an image output unit configured to output visual information to the windshield; And a processor configured to set a partial region of the windshield as an image output region based on a passenger and control the image output unit to display visual information on the image output region, wherein the processor is located outside the vehicle.
  • the image output unit may be controlled to search for one or more objects overlapping the image output area based on the line of sight of the passenger, and to display guide information for guiding the searched object on the image output area.
  • the processor may output the guide information in response to a preset touch input applied to the windshield.
  • the processor may control the image output unit to display an image photographed before a first reference time from a point in time at which the touch input is input in the image output area.
  • the first reference time may vary according to the speed of the vehicle.
  • the processor synthesizes a plurality of frames photographed within the time range from the first reference time to the time point at which the touch input is input, into one still image, and the still image is the image output area.
  • the image output unit may be controlled to be displayed on the screen.
  • the processor may extract a portion corresponding to the image output area in each frame, and synthesize the still image using the extracted portion.
  • the processor may change the time range based on a user input applied to the image output area where the still image is output, and the still image may be changed as the time range is changed. have.
  • the vehicle control apparatus may further include a communication unit configured to receive the image from a camera provided in the vehicle.
  • the vehicle control apparatus further includes a memory configured to store an image received from the camera, and the processor may further include an image photographed by the camera and a second reference time before a second reference time. At least one of images previously stored in the memory may be deleted, and the second reference time may be longer than the first reference time.
  • the image may be updated as the vehicle moves.
  • the processor may search the object of interest of the passenger in the image, and control the image output unit to display the object of interest guide information guiding the object of interest in the image output area.
  • the object of interest guide information may vary according to the passenger.
  • the processor may set the image output area based on a position where the touch input is applied.
  • the processor may control the image output unit so that the guide information disappears from the image output area.
  • the processor may search for one or more objects among the objects located outside the vehicle, where the gaze of the passenger and the position where the touch input is input overlap.
  • the processor may rescan one or more objects as the vehicle moves and update the guide information to guide the rescanned objects.
  • At least one of the size and location of the image output area may vary according to the passenger.
  • At least one of the size and position of the image output area may vary according to the position of the vehicle.
  • At least one of a size and a location of the image output area may vary according to a seat position of a seat in which the passenger rides.
  • At least one of the size and location of the image output area may vary according to the speed of the vehicle.
  • the present invention can be extended to a vehicle having a vehicle control apparatus and / or a vehicle control method described above.
  • Passengers of the vehicle had a problem that it is difficult to recognize a fast passing object in a short time while driving the vehicle.
  • a user interface with augmented reality may be provided. Since the object is searched based on the line of sight of the passenger, it is possible to accurately target the object that the passenger wants to know.
  • FIG. 1 is a view showing the appearance of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a view of the vehicle according to an embodiment of the present invention from various angles from the outside.
  • 3 to 4 are views illustrating the interior of a vehicle according to an embodiment of the present invention.
  • 5 to 6 are views referred to for describing an object according to an embodiment of the present invention.
  • FIG. 7 is a block diagram referenced to describe a vehicle according to an embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating a vehicle control apparatus according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a representative control method of the present invention.
  • 10A and 10B are exemplary diagrams for describing the control crime of FIG. 9.
  • 11 is a flowchart for describing a method of outputting guide information using a preset touch input.
  • 12A, 12B, and 12C are exemplary diagrams for describing the method of FIG. 11.
  • 13 is a flowchart for describing a method of outputting guide information by using an image captured by a camera.
  • FIG. 14 is a conceptual diagram for describing the method of FIG. 13.
  • 15 is a flowchart illustrating a method of synthesizing a plurality of frames to output guide information.
  • 16A and 16B are conceptual diagrams for describing the method of FIG. 15.
  • 17 is an exemplary view for explaining an operation of the vehicle control apparatus according to the present invention.
  • the vehicle described herein may be a concept including an automobile and a motorcycle.
  • a vehicle is mainly described for a vehicle.
  • the vehicle described herein may be a concept including both an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the left side of the vehicle means the left side of the driving direction of the vehicle
  • the right side of the vehicle means the right side of the driving direction of the vehicle
  • FIG. 1 is a view showing the appearance of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a view of the vehicle according to an embodiment of the present invention from various angles from the outside.
  • 3 to 4 are views illustrating the interior of a vehicle according to an embodiment of the present invention.
  • 5 to 6 are views referred to for describing an object according to an embodiment of the present invention.
  • FIG. 7 is a block diagram referenced to describe a vehicle according to an embodiment of the present invention.
  • the vehicle 100 may include a wheel that rotates by a power source and a steering input device 510 for adjusting a traveling direction of the vehicle 100.
  • the vehicle 100 may be an autonomous vehicle.
  • autonomous driving is defined as controlling at least one of acceleration, deceleration, and driving direction based on a preset algorithm. In other words, even if a user input is not input to the driving operation apparatus, the driving operation apparatus is automatically operated.
  • the vehicle 100 may be switched to an autonomous driving mode or a manual mode based on a user input.
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on the received user input through the user interface device 200.
  • the vehicle 100 may be switched to the autonomous driving mode or the manual mode based on the driving situation information.
  • the driving situation information may be generated based on the object information provided by the object detecting apparatus 300.
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on the driving situation information generated by the object detecting apparatus 300.
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on the driving situation information received through the communication device 400.
  • the vehicle 100 may switch from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on information, data, and signals provided from an external device.
  • the autonomous vehicle 100 may be driven based on the driving system 700.
  • the autonomous vehicle 100 may be driven based on information, data, or signals generated by the driving system 710, the parking system 740, and the parking system 750.
  • the autonomous vehicle 100 may receive a user input for driving through the driving manipulation apparatus 500. Based on a user input received through the driving manipulation apparatus 500, the vehicle 100 may be driven.
  • the overall length is the length from the front to the rear of the vehicle 100
  • the width is the width of the vehicle 100
  • the height is the length from the bottom of the wheel to the roof.
  • the full length direction L is a direction in which the full length measurement of the vehicle 100 is a reference
  • the full width direction W is a direction in which the full width measurement of the vehicle 100 is a reference
  • the total height direction H is a vehicle It may mean the direction which is the reference of the height measurement of (100).
  • the vehicle 100 includes a user interface device 200, an object detecting device 300, a communication device 400, a driving manipulation device 500, a vehicle driving device 600, and a traveling system. 700, a navigation system 770, a sensing unit 120, an interface unit 130, a memory 140, a control unit 170, and a power supply unit 190 may be included.
  • the vehicle 100 may further include other components in addition to the components described herein, or may not include some of the components described.
  • the user interface device 200 is a device for communicating with the vehicle 100 and a user.
  • the user interface device 200 may receive a user input and provide the user with information generated in the vehicle 100.
  • the vehicle 100 may implement user interfaces (UI) or user experience (UX) through the user interface device 200.
  • UI user interfaces
  • UX user experience
  • the user interface device 200 may include an input unit 210, an internal camera 220, a biometric detector 230, an output unit 250, and a processor 270.
  • the user interface device 200 may further include other components in addition to the described components, or may not include some of the described components.
  • the input unit 200 is for receiving information from a user, and the data collected by the input unit 200 may be analyzed by the processor 270 and processed as a control command of the user.
  • the input unit 200 may be disposed in the vehicle.
  • the input unit 200 may include one area of a steering wheel, one area of an instrument panel, one area of a seat, one area of each pillar, and a door. one area of the door, one area of the center console, one area of the head lining, one area of the sun visor, one area of the windshield or of the window It may be disposed in one area or the like.
  • the input unit 200 may include a voice input unit 211, a gesture input unit 212, a touch input unit 213, and a mechanical input unit 214.
  • the voice input unit 211 may convert a user's voice input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the controller 170.
  • the voice input unit 211 may include one or more microphones.
  • the gesture input unit 212 may convert a user's gesture input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the controller 170.
  • the gesture input unit 212 may include at least one of an infrared sensor and an image sensor for detecting a user's gesture input.
  • the gesture input unit 212 may detect a 3D gesture input of the user.
  • the gesture input unit 212 may include a light output unit or a plurality of image sensors for outputting a plurality of infrared light.
  • the gesture input unit 212 may detect a user's 3D gesture input through a time of flight (TOF) method, a structured light method, or a disparity method.
  • TOF time of flight
  • the touch input unit 213 may convert a user's touch input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the controller 170.
  • the touch input unit 213 may include a touch sensor for detecting a user's touch input.
  • the touch input unit 213 may be integrally formed with the display unit 251 to implement a touch screen.
  • a touch screen may provide an input interface and an output interface between the vehicle 100 and the user.
  • the mechanical input unit 214 may include at least one of a button, a dome switch, a jog wheel, and a jog switch.
  • the electrical signal generated by the mechanical input unit 214 may be provided to the processor 270 or the controller 170.
  • the mechanical input unit 214 may be disposed on a steering wheel, a cente facia, a center console, a cockpit module, a door, or the like.
  • the internal camera 220 may acquire a vehicle interior image.
  • the processor 270 may detect a state of the user based on the vehicle interior image.
  • the processor 270 may acquire the gaze information of the user from the vehicle interior image.
  • the processor 270 may detect a gesture of the user in the vehicle interior image.
  • the biometric detector 230 may acquire biometric information of the user.
  • the biometric detector 230 may include a sensor for acquiring biometric information of the user, and may acquire fingerprint information, heartbeat information, etc. of the user using the sensor. Biometric information may be used for user authentication.
  • the output unit 250 is for generating output related to visual, auditory or tactile.
  • the output unit 250 may include at least one of the display unit 251, the audio output unit 252, and the haptic output unit 253.
  • the display unit 251 may display graphic objects corresponding to various pieces of information.
  • the display unit 251 is a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display (flexible) display, a 3D display, or an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display flexible display
  • 3D display 3D display
  • e-ink display e-ink display
  • the display unit 251 forms a layer structure or is integrally formed with the touch input unit 213 to implement a touch screen.
  • the display unit 251 may be implemented as a head up display (HUD).
  • the display unit 251 may include a projection module to output information through an image projected on a wind shield or a window.
  • the display unit 251 may include a transparent display.
  • the transparent display can be attached to the wind shield or window.
  • the transparent display may display a predetermined screen while having a predetermined transparency.
  • Transparent display in order to have transparency, transparent display is transparent thin film elecroluminescent (TFEL), transparent organic light-emitting diode (OLED), transparent liquid crystal display (LCD), transmissive transparent display, transparent light emitting diode (LED) display It may include at least one of. The transparency of the transparent display can be adjusted.
  • the user interface device 200 may include a plurality of display units 251a to 251g.
  • the display unit 251 may include one region of the steering wheel, one region 521a, 251b, and 251e of the instrument panel, one region 251d of the seat, one region 251f of each pillar, and one region of the door ( 251g), one area of the center console, one area of the head lining, one area of the sun visor, or may be implemented in one area 251c of the windshield and one area 251h of the window.
  • the sound output unit 252 converts an electrical signal provided from the processor 270 or the controller 170 into an audio signal and outputs the audio signal. To this end, the sound output unit 252 may include one or more speakers.
  • the haptic output unit 253 generates a tactile output.
  • the haptic output unit 253 may vibrate the steering wheel, the seat belt, and the seats 110FL, 110FR, 110RL, and 110RR so that the user may recognize the output.
  • the processor 270 may control the overall operation of each unit of the user interface device 200.
  • the user interface device 200 may include a plurality of processors 270 or may not include the processor 270.
  • the user interface device 200 may be operated under the control of the processor or the controller 170 of another device in the vehicle 100.
  • the user interface device 200 may be referred to as a vehicle display device.
  • the user interface device 200 may be operated under the control of the controller 170.
  • the object detecting apparatus 300 is a device for detecting an object located outside the vehicle 100.
  • the object may be various objects related to the driving of the vehicle 100.
  • the object O includes a lane OB10, another vehicle OB11, a pedestrian OB12, a two-wheeled vehicle OB13, traffic signals OB14, OB15, light, a road, a structure, Speed bumps, features, animals and the like can be included.
  • the lane OB10 may be a driving lane, a lane next to the driving lane, and a lane in which an opposite vehicle travels.
  • the lane OB10 may be a concept including left and right lines forming a lane.
  • the other vehicle OB11 may be a vehicle that is driving around the vehicle 100.
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle 100.
  • the other vehicle OB11 may be a vehicle that precedes or follows the vehicle 100.
  • the pedestrian OB12 may be a person located near the vehicle 100.
  • the pedestrian OB12 may be a person located within a predetermined distance from the vehicle 100.
  • the pedestrian OB12 may be a person located on a sidewalk or a roadway.
  • the two-wheeled vehicle OB12 may be a vehicle that is positioned around the vehicle 100 and moves using two wheels.
  • the motorcycle OB12 may be a vehicle having two wheels located within a predetermined distance from the vehicle 100.
  • the motorcycle OB13 may be a motorcycle or a bicycle located on sidewalks or roadways.
  • the traffic signal may include a traffic light OB15, a traffic sign OB14, a pattern or text drawn on a road surface.
  • the light may be light generated by a lamp provided in another vehicle.
  • the light can be light generated from the street light.
  • the light may be sunlight.
  • the road may include a road surface, a curve, an uphill slope, a slope downhill, or the like.
  • the structure may be an object located around a road and fixed to the ground.
  • the structure may include a street lamp, a roadside tree, a building, a power pole, a traffic light, a bridge.
  • the features may include mountains, hills, and the like.
  • the object may be classified into a moving object and a fixed object.
  • the moving object may be a concept including another vehicle and a pedestrian.
  • the fixed object may be a concept including a traffic signal, a road, and a structure.
  • the object detecting apparatus 300 may include a camera 310, a radar 320, a lidar 330, an ultrasonic sensor 340, an infrared sensor 350, and a processor 370.
  • the object detecting apparatus 300 may further include other components in addition to the described components, or may not include some of the described components.
  • the camera 310 may be located at a suitable place outside the vehicle to acquire an image outside the vehicle.
  • the camera 310 may be a mono camera, a stereo camera 310a, an around view monitoring (AVM) camera 310b, or a 360 degree camera.
  • AVM around view monitoring
  • the camera 310 may be disposed in close proximity to the front windshield in the interior of the vehicle in order to acquire an image in front of the vehicle.
  • the camera 310 may be disposed around the front bumper or the radiator grille.
  • the camera 310 may be disposed in close proximity to the rear glass in the interior of the vehicle to acquire an image of the rear of the vehicle.
  • the camera 310 may be disposed around the rear bumper, the trunk, or the tail gate.
  • the camera 310 may be disposed in close proximity to at least one of the side windows in the interior of the vehicle to acquire an image of the vehicle side.
  • the camera 310 may be arranged around the side mirror, fender or door.
  • the camera 310 may provide the obtained image to the processor 370.
  • the radar 320 may include an electromagnetic wave transmitter and a receiver.
  • the radar 320 may be implemented in a pulse radar method or a continuous wave radar method in terms of radio wave firing principle.
  • the radar 320 may be implemented by a frequency modulated continuous wave (FSCW) method or a frequency shift key (FSK) method according to a signal waveform among the continuous wave radar methods.
  • FSCW frequency modulated continuous wave
  • FSK frequency shift key
  • the radar 320 detects an object based on a time of flight (TOF) method or a phase-shift method based on an electromagnetic wave, and detects the position of the detected object, distance to the detected object, and relative velocity. Can be detected.
  • TOF time of flight
  • phase-shift method based on an electromagnetic wave
  • the radar 320 may be disposed at an appropriate position outside the vehicle to detect an object located in front, rear, or side of the vehicle.
  • the lidar 330 may include a laser transmitter and a receiver.
  • the lidar 330 may be implemented in a time of flight (TOF) method or a phase-shift method.
  • TOF time of flight
  • the lidar 330 may be implemented as driven or non-driven.
  • the lidar 330 When implemented in a driving manner, the lidar 330 may be rotated by a motor and detect an object around the vehicle 100.
  • the lidar 330 may detect an object located within a predetermined range with respect to the vehicle 100 by optical steering.
  • the vehicle 100 may include a plurality of non-driven lidars 330.
  • the lidar 330 detects an object based on a time of flight (TOF) method or a phase-shift method using laser light, and detects an object, a position of the detected object, a distance from the detected object, and Relative speed can be detected.
  • TOF time of flight
  • phase-shift method using laser light
  • the lidar 330 may be disposed at an appropriate position outside the vehicle to detect an object located in front, rear, or side of the vehicle.
  • the ultrasonic sensor 340 may include an ultrasonic transmitter and a receiver.
  • the ultrasonic sensor 340 may detect an object based on the ultrasonic wave, and detect a position of the detected object, a distance to the detected object, and a relative speed.
  • the ultrasonic sensor 340 may be disposed at an appropriate position outside the vehicle to detect an object located in front, rear, or side of the vehicle.
  • the infrared sensor 350 may include an infrared transmitter and a receiver.
  • the infrared sensor 340 may detect an object based on infrared light, and detect a position of the detected object, a distance to the detected object, and a relative speed.
  • the infrared sensor 350 may be disposed at an appropriate position outside the vehicle to detect an object located in front, rear, or side of the vehicle.
  • the processor 370 may control overall operations of each unit of the object detecting apparatus 300.
  • the processor 370 may detect and track the object based on the obtained image.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with the object through an image processing algorithm.
  • the processor 370 may detect and track the object based on the reflected electromagnetic wave reflected by the transmitted electromagnetic wave to the object.
  • the processor 370 may perform an operation such as calculating a distance from the object, calculating a relative speed with the object, and the like based on the electromagnetic waves.
  • the processor 370 may detect and track the object based on the reflected laser light reflected by the transmitted laser back to the object.
  • the processor 370 may perform an operation such as calculating a distance from the object, calculating a relative speed with the object, and the like based on the laser light.
  • the processor 370 may detect and track the object based on the reflected ultrasound, in which the transmitted ultrasound is reflected by the object and returned.
  • the processor 370 may perform an operation such as calculating a distance from the object, calculating a relative speed with the object, and the like based on the ultrasound.
  • the processor 370 may detect and track the object based on the reflected infrared light from which the transmitted infrared light is reflected back to the object.
  • the processor 370 may perform an operation such as calculating a distance to the object, calculating a relative speed with the object, and the like based on the infrared light.
  • the object detecting apparatus 300 may include a plurality of processors 370 or may not include the processor 370.
  • each of the camera 310, the radar 320, the lidar 330, the ultrasonic sensor 340, and the infrared sensor 350 may individually include a processor.
  • the object detecting apparatus 300 may be operated under the control of the processor or the controller 170 of the apparatus in the vehicle 100.
  • the object detecting apparatus 300 may be operated under the control of the controller 170.
  • the communication device 400 is a device for performing communication with an external device.
  • the external device may be another vehicle, a mobile terminal or a server.
  • the communication device 400 may be referred to as a "wireless communication unit.”
  • the communication device 400 may include at least one of a transmit antenna, a receive antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element to perform communication.
  • RF radio frequency
  • the communication device 400 may include a short range communication unit 410, a location information unit 420, a V2X communication unit 430, an optical communication unit 440, a broadcast transceiver 450, and a processor 470.
  • the communication device 400 may further include other components in addition to the described components, or may not include some of the described components.
  • the short range communication unit 410 is a unit for short range communication.
  • the local area communication unit 410 may include Bluetooth TM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), and Wi-Fi (Wireless). Local area communication may be supported using at least one of Fidelity, Wi-Fi Direct, and Wireless Universal Serial Bus (USB) technologies.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee Ultra Wideband
  • NFC Near Field Communication
  • Wi-Fi Wireless Universal Serial Bus
  • the short range communication unit 410 may form short range wireless networks to perform short range communication between the vehicle 100 and at least one external device.
  • the location information unit 420 is a unit for obtaining location information of the vehicle 100.
  • the location information unit 420 may include a global positioning system (GPS) module or a differential global positioning system (DGPS) module.
  • GPS global positioning system
  • DGPS differential global positioning system
  • the V2X communication unit 430 is a unit for performing wireless communication with a server (V2I: Vehicle to Infra), another vehicle (V2V: Vehicle to Vehicle), or a pedestrian (V2P: Vehicle to Pedestrian).
  • the V2X communication unit 430 may include an RF circuit that can implement a communication with the infrastructure (V2I), an inter-vehicle communication (V2V), and a communication with the pedestrian (V2P).
  • the optical communication unit 440 is a unit for performing communication with an external device via light.
  • the optical communication unit 440 may include an optical transmitter that converts an electrical signal into an optical signal and transmits the external signal to the outside, and an optical receiver that converts the received optical signal into an electrical signal.
  • the light emitting unit may be formed to be integrated with the lamp included in the vehicle 100.
  • the broadcast transceiver 450 is a unit for receiving a broadcast signal from an external broadcast management server or transmitting a broadcast signal to a broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast signal may include a TV broadcast signal, a radio broadcast signal, and a data broadcast signal.
  • the processor 470 may control the overall operation of each unit of the communication device 400.
  • the communication device 400 may include a plurality of processors 470 or may not include the processor 470.
  • the communication device 400 may be operated under the control of the processor or the controller 170 of another device in the vehicle 100.
  • the communication device 400 may implement a vehicle display device together with the user interface device 200.
  • the vehicle display device may be called a telematics device or an AVN (Audio Video Navigation) device.
  • the communication device 400 may be operated under the control of the controller 170.
  • the driving operation apparatus 500 is a device that receives a user input for driving.
  • the vehicle 100 may be driven based on a signal provided by the driving manipulation apparatus 500.
  • the driving manipulation apparatus 500 may include a steering input apparatus 510, an acceleration input apparatus 530, and a brake input apparatus 570.
  • the steering input device 510 may receive a driving direction input of the vehicle 100 from the user.
  • the steering input device 510 is preferably formed in a wheel shape to enable steering input by rotation.
  • the steering input device may be formed in the form of a touch screen, a touch pad, or a button.
  • the acceleration input device 530 may receive an input for accelerating the vehicle 100 from a user.
  • the brake input device 570 may receive an input for deceleration of the vehicle 100 from a user.
  • the acceleration input device 530 and the brake input device 570 are preferably formed in the form of a pedal. According to an embodiment, the acceleration input device or the brake input device may be formed in the form of a touch screen, a touch pad, or a button.
  • the driving manipulation apparatus 500 may be operated under the control of the controller 170.
  • the vehicle drive device 600 is a device that electrically controls the driving of various devices in the vehicle 100.
  • the vehicle driving apparatus 600 may include a power train driver 610, a chassis driver 620, a door / window driver 630, a safety device driver 640, a lamp driver 650, and an air conditioning driver 660. Can be.
  • the vehicle driving apparatus 600 may further include other components in addition to the described components, or may not include some of the described components.
  • the vehicle driving device 600 may include a processor.
  • Each unit of the vehicle drive apparatus 600 may each include a processor individually.
  • the power train driver 610 may control the operation of the power train device.
  • the power train driver 610 may include a power source driver 611 and a transmission driver 612.
  • the power source driver 611 may control the power source of the vehicle 100.
  • the power source driver 610 may perform electronic control of the engine. Thereby, the output torque of an engine, etc. can be controlled.
  • the power source drive unit 611 can adjust the engine output torque under the control of the control unit 170.
  • the power source driver 610 may control the motor.
  • the power source driver 610 may adjust the rotational speed, torque, and the like of the motor under the control of the controller 170.
  • the transmission driver 612 may control the transmission.
  • the transmission driver 612 can adjust the state of the transmission.
  • the transmission drive part 612 can adjust the state of a transmission to forward D, backward R, neutral N, or parking P.
  • the transmission drive unit 612 can adjust the bite state of the gear in the forward D state.
  • the chassis driver 620 may control the operation of the chassis device.
  • the chassis driver 620 may include a steering driver 621, a brake driver 622, and a suspension driver 623.
  • the steering driver 621 may perform electronic control of a steering apparatus in the vehicle 100.
  • the steering driver 621 may change the traveling direction of the vehicle.
  • the brake driver 622 may perform electronic control of a brake apparatus in the vehicle 100. For example, the speed of the vehicle 100 may be reduced by controlling the operation of the brake disposed on the wheel.
  • the brake drive unit 622 can individually control each of the plurality of brakes.
  • the brake driver 622 may control the braking force applied to the plurality of wheels differently.
  • the suspension driver 623 may perform electronic control of a suspension apparatus in the vehicle 100. For example, when there is a curvature on the road surface, the suspension driver 623 may control the suspension device to control the vibration of the vehicle 100 to be reduced.
  • the suspension driver 623 may individually control each of the plurality of suspensions.
  • the door / window driver 630 may perform electronic control of a door apparatus or a window apparatus in the vehicle 100.
  • the door / window driver 630 may include a door driver 631 and a window driver 632.
  • the door driver 631 may control the door apparatus.
  • the door driver 631 may control opening and closing of the plurality of doors included in the vehicle 100.
  • the door driver 631 may control the opening or closing of a trunk or a tail gate.
  • the door driver 631 may control the opening or closing of the sunroof.
  • the window driver 632 may perform electronic control of the window apparatus.
  • the opening or closing of the plurality of windows included in the vehicle 100 may be controlled.
  • the safety device driver 640 may perform electronic control of various safety apparatuses in the vehicle 100.
  • the safety device driver 640 may include an airbag driver 641, a seat belt driver 642, and a pedestrian protection device driver 643.
  • the airbag driver 641 may perform electronic control of an airbag apparatus in the vehicle 100.
  • the airbag driver 641 may control the airbag to be deployed when the danger is detected.
  • the seat belt driver 642 may perform electronic control of a seatbelt appartus in the vehicle 100.
  • the seat belt driver 642 may control the passengers to be fixed to the seats 110FL, 110FR, 110RL, and 110RR by using the seat belts when the risk is detected.
  • the pedestrian protection device driver 643 may perform electronic control of the hood lift and the pedestrian airbag. For example, the pedestrian protection device driver 643 may control the hood lift up and the pedestrian air bag to be deployed when detecting a collision with the pedestrian.
  • the lamp driver 650 may perform electronic control of various lamp apparatuses in the vehicle 100.
  • the air conditioning driver 660 may perform electronic control of an air conditioner in the vehicle 100. For example, when the temperature inside the vehicle is high, the air conditioning driver 660 may control the air conditioning apparatus to operate to supply cool air to the inside of the vehicle.
  • the vehicle driving apparatus 600 may include a processor. Each unit of the vehicle drive apparatus 600 may each include a processor individually.
  • the vehicle driving apparatus 600 may be operated under the control of the controller 170.
  • the travel system 700 is a system for controlling various travels of the vehicle 100.
  • the navigation system 700 can be operated in an autonomous driving mode.
  • the travel system 700 can include a travel system 710, a parking system 740, and a parking system 750.
  • the navigation system 700 may further include other components in addition to the described components, or may not include some of the described components.
  • the driving system 700 may include a processor.
  • Each unit of the navigation system 700 may each include a processor individually.
  • the driving system 700 when the driving system 700 is implemented in software, the driving system 700 may be a lower concept of the controller 170.
  • the driving system 700 may include at least one of the user interface device 200, the object detecting device 300, the communication device 400, the vehicle driving device 600, and the controller 170. It may be a concept to include.
  • the traveling system 710 may perform driving of the vehicle 100.
  • the driving system 710 may receive navigation information from the navigation system 770, provide a control signal to the vehicle driving apparatus 600, and perform driving of the vehicle 100.
  • the driving system 710 may receive object information from the object detecting apparatus 300 and provide a control signal to the vehicle driving apparatus 600 to perform driving of the vehicle 100.
  • the driving system 710 may receive a signal from an external device through the communication device 400, provide a control signal to the vehicle driving device 600, and perform driving of the vehicle 100.
  • the taking-out system 740 may perform taking out of the vehicle 100.
  • the taking-out system 740 may receive navigation information from the navigation system 770, provide a control signal to the vehicle driving apparatus 600, and perform take-out of the vehicle 100.
  • the taking-out system 740 may receive the object information from the object detecting apparatus 300, provide a control signal to the vehicle driving apparatus 600, and perform take-out of the vehicle 100.
  • the taking-off system 740 may receive a signal from an external device through the communication device 400, provide a control signal to the vehicle driving apparatus 600, and perform take-out of the vehicle 100.
  • the parking system 750 may perform parking of the vehicle 100.
  • the parking system 750 may receive navigation information from the navigation system 770, provide a control signal to the vehicle driving apparatus 600, and perform parking of the vehicle 100.
  • the parking system 750 may receive the object information from the object detecting apparatus 300, provide a control signal to the vehicle driving apparatus 600, and perform parking of the vehicle 100.
  • the parking system 750 may receive a signal from an external device through the communication device 400, provide a control signal to the vehicle driving device 600, and perform parking of the vehicle 100.
  • the navigation system 770 can provide navigation information.
  • the navigation information may include at least one of map information, set destination information, route information according to the destination setting, information on various objects on the route, lane information, and current location information of the vehicle.
  • the navigation system 770 may include a memory and a processor.
  • the memory may store navigation information.
  • the processor may control the operation of the navigation system 770.
  • the navigation system 770 may receive information from an external device through the communication device 400 and update the pre-stored information.
  • the navigation system 770 may be classified as a subcomponent of the user interface device 200.
  • the sensing unit 120 may sense a state of the vehicle.
  • the sensing unit 120 may include an attitude sensor (for example, a yaw sensor, a roll sensor, a pitch sensor), a collision sensor, a wheel sensor, a speed sensor, and an inclination.
  • the sensing unit 120 includes vehicle attitude information, vehicle collision information, vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward / reverse information, battery Acquire sensing signals for information, fuel information, tire information, vehicle lamp information, vehicle internal temperature information, vehicle internal humidity information, steering wheel rotation angle, vehicle external illumination, pressure applied to the accelerator pedal, pressure applied to the brake pedal, and the like. can do.
  • the sensing unit 120 may further include an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake air temperature sensor (ATS), a water temperature sensor (WTS), and a throttle position sensor. (TPS), TDC sensor, crank angle sensor (CAS), and the like.
  • AFS air flow sensor
  • ATS intake air temperature sensor
  • WTS water temperature sensor
  • TPS throttle position sensor
  • TDC crank angle sensor
  • CAS crank angle sensor
  • the interface unit 130 may serve as a path to various types of external devices connected to the vehicle 100.
  • the interface unit 130 may include a port connectable with the mobile terminal, and may connect with the mobile terminal through the port. In this case, the interface unit 130 may exchange data with the mobile terminal.
  • the interface unit 130 may serve as a path for supplying electrical energy to the connected mobile terminal.
  • the interface unit 130 may provide the mobile terminal with electrical energy supplied from the power supply unit 190.
  • the memory 140 is electrically connected to the controller 170.
  • the memory 140 may store basic data for the unit, control data for controlling the operation of the unit, and input / output data.
  • the memory 140 may be various storage devices such as a ROM, a RAM, an EPROM, a flash drive, a hard drive, and the like, in hardware.
  • the memory 140 may store various data for overall operation of the vehicle 100, such as a program for processing or controlling the controller 170.
  • the memory 140 may be integrally formed with the controller 170 or may be implemented as a subcomponent of the controller 170.
  • the controller 170 may control the overall operation of each unit in the vehicle 100.
  • the controller 170 may be referred to as an electronic control unit (ECU).
  • ECU electronice control unit
  • the power supply unit 190 may supply power required for the operation of each component under the control of the controller 170.
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • the one or more processors and controllers 170 included in the vehicle 100 may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and FPGAs ( It may be implemented using at least one of field programmable gate arrays, processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions may be implemented using at least one of field programmable gate arrays, processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions.
  • FIG. 8 is a conceptual diagram illustrating a vehicle control apparatus according to an embodiment of the present invention.
  • the vehicle control apparatus 800 includes a communication unit 810, an image output unit 820, and a processor 830.
  • the communication unit 810 is configured to communicate with various components described with reference to FIG. 7.
  • the communication unit 810 may receive various information provided through a controller are network (CAN).
  • the communication unit 810 may communicate with all devices that can communicate, such as a vehicle, a mobile terminal and a server, and another vehicle. This may be referred to as vehicle to everything (V2X) communication.
  • V2X communication can be defined as a technology for exchanging or sharing information such as traffic conditions while communicating with road infrastructure and other vehicles while driving.
  • the communication unit 810 may receive information related to driving of the vehicle from most devices provided in the vehicle 100.
  • the information transmitted from the vehicle 100 to the vehicle control apparatus 800 is called 'vehicle driving information'.
  • the vehicle driving information includes vehicle information and surrounding information of the vehicle. Based on the frame of the vehicle 100, information related to the inside of the vehicle may be defined as vehicle information and information related to the outside of the vehicle as the surrounding information.
  • Vehicle information means information about the vehicle itself.
  • the vehicle information may include driving speed, driving direction, acceleration, angular velocity, position (GPS), weight, vehicle occupant, braking force of the vehicle, maximum braking force of the vehicle, air pressure of each wheel, and centrifugal force applied to the vehicle.
  • Driving mode of the vehicle autonomous driving mode or manual driving
  • vehicle parking mode autonomous parking mode, auto parking mode, manual parking mode
  • the surrounding information refers to information about other objects located within a predetermined range with respect to the vehicle and information related to the outside of the vehicle. For example, the condition of the road surface on which the vehicle is driving (frictional force), the weather, the distance from the front (or rear) vehicle, the relative speed of the front (or rear) vehicle, the curvature of the curve if the driving lane is a curve, the vehicle Ambient brightness, information related to an object existing in a reference area (constant area) based on a vehicle, whether an object enters / departs from the predetermined area, whether a user exists near a vehicle, and information related to the user (e.g., For example, whether or not the user is an authenticated user).
  • the condition of the road surface on which the vehicle is driving for example, the condition of the road surface on which the vehicle is driving (frictional force), the weather, the distance from the front (or rear) vehicle, the relative speed of the front (or rear) vehicle, the curvature of the curve if the driving lane is
  • the surrounding information may include ambient brightness, temperature, sun position, object information (people, other vehicles, signs, etc.) located nearby, the type of road surface being driven, features, lane information, and driving lanes (Lane). ), And information necessary for autonomous driving / autonomous parking / automatic parking / manual parking mode.
  • the surrounding information may include, for example, a distance between an object (object) existing near the vehicle and the vehicle 100, a collision possibility, the type of the object, a parking space where the vehicle can park, and an object for identifying a parking space (for example, , Parking lines, ropes, other vehicles, walls, etc.) may be further included.
  • the vehicle driving information is not limited to the example described above, and may include all information generated from the components provided in the vehicle 100.
  • the image output unit 820 is configured to output various visual information to the windshield 850 provided in the vehicle 100. For example, various information such as text, still images, moving images, holograms, and the like may be output to the windshield 850. A passenger may recognize an image output by the image output unit 820 through the windshield 850 and may be provided with a user interface using augmented reality.
  • At least one region of the windshield 850 may be configured to adjust transparency, and the transparency of the predetermined region where the information is output may be different so that information output by the image output unit 820 may be better recognized by a passenger. You can set the transparency of the region differently.
  • the processor 830 is configured to control one or more displays provided in the vehicle 100 using the communication unit 810.
  • the processor 830 may determine whether at least one condition is satisfied among a plurality of preset conditions based on vehicle driving information received through the communication unit 810. Depending on the condition being satisfied, the processor 830 may control the one or more displays in different ways.
  • the processor 830 may detect that an event occurs in the electronic device and / or an application provided in the vehicle 100, and determine whether the detected event satisfies the preset condition. In this case, the processor 830 may detect that an event occurs from information received through the communication unit 810.
  • the application is a concept including a widget, a home launcher, etc., and means any type of program that can be driven in the vehicle 100. Accordingly, the application may be a program that performs a function of a web browser, video playback, message transmission, reception, schedule management, and application updating.
  • the application includes forward collision warning (FCW), blind spot detection (BSD), lane departure warning (LDW), pedestrian detection (PD), and curve speed warning. It may include at least one of (Curve Speed Warning, CSW) and turn by turn navigation (TBT).
  • FCW forward collision warning
  • BSD blind spot detection
  • LWD lane departure warning
  • PD pedestrian detection
  • CSW Curve Speed Warning
  • TBT turn by turn navigation
  • an event can occur when there is a missed call, when there is an application to be updated, when a message arrives, start on, start off, autonomous driving on / off, display activation key pressed (LCD awake key), alarm (alarm), incoming call (Incoming call), missed notification (missed notification) and the like.
  • LCD awake key display activation key pressed
  • alarm alarm
  • incoming call Incoming call
  • missed notification missed notification
  • the occurrence of an event may be a case in which an alert set in an advanced driver assistance system (ADAS) and a function set in an ADAS are performed.
  • ADAS advanced driver assistance system
  • a forward collision warning occurs
  • a blind spot detection occurs
  • a lane departure warning occurs
  • a lane steering warning occurs
  • an assist warning occurs, it can be considered that an event has occurred when autonomous emergency braking is performed.
  • the processor 830 controls the communication unit 810 so that information corresponding to the satisfied condition is displayed on the one or more displays.
  • the vehicle control device 800 may be further provided with a sensor.
  • the sensing unit may sense information related to the vehicle 100 of the present invention.
  • the information related to the vehicle may be at least one of vehicle information (or driving state of the vehicle) and surrounding information of the vehicle.
  • the vehicle information may include the vehicle's driving speed, the weight of the vehicle, the number of occupants of the vehicle, the braking force of the vehicle, the maximum braking force of the vehicle, the driving mode of the vehicle (whether autonomous driving or manual driving), the parking mode of the vehicle. (Autonomous parking mode, automatic parking mode, manual parking mode), whether the user is in the vehicle, and information related to the user (for example, whether the user is an authenticated user).
  • the surrounding information of the vehicle may be, for example, the condition of the road surface on which the vehicle is driving (friction force), the weather, the distance from the vehicle in front (or rear), the relative speed of the vehicle in front (or rear), and the driving lane is curved. Curvature rate of the curve, brightness around the vehicle, information related to an object existing in the reference area (constant area) based on the vehicle, whether an object enters or leaves the predetermined area, whether a user exists near the vehicle, and the user And information related to the information (eg, whether the user is an authenticated user).
  • the surrounding information (or surrounding environment information) of the vehicle the external information of the vehicle (for example, the ambient brightness, temperature, sun position, information on the surrounding subjects (people, other vehicles, signs, etc.), the type of road surface driving , Features, lane information, lane information), and autonomous driving / autonomous parking / automatic parking / manual parking mode.
  • the surrounding information of the vehicle may include a distance between an object (object) existing near the vehicle and the vehicle 100, a type of the object, a parking space where the vehicle can park, and an object for identifying a parking space (for example, Parking lines, ropes, other vehicles, walls, etc.) may be further included.
  • the sensing unit, the object detecting apparatus 300 provided in the vehicle or the sensing unit 120 provided in the vehicle 100 may be an independent separate sensing unit. Even when the sensing unit is an independent sensing unit, the sensing unit may include the features of the sensing unit 120 or the object apparatus 300 described with reference to FIG. 7.
  • the sensing unit is provided separately in the vehicle control device 800.
  • the processor 830 obtains certain information through the sensing unit, the processor 830 obtains some information by using at least one of the object detecting apparatus 300 and the sensing unit 120 provided in the vehicle 100. It can be understood that.
  • the processor 830 may control at least one of the components described with reference to FIG. 7 and the windshield 850.
  • the processor 830 included in the vehicle control apparatus 800 may adjust the transparency of the windshield 800 based on the vehicle driving information satisfying a preset condition.
  • the vehicle control apparatus 800 may control the windshield provided in the vehicle 100.
  • the windshield may be the window apparatus described above.
  • the windshield is provided in a vehicle and may be plural in number.
  • the windshield described in this specification may include not only a window device installed in a vehicle door, but also a windshield disposed at the front, a rear glass disposed at the rear, a sunroof glass, and the like.
  • the windshield associated with the present invention can be formed to enable changing the transparency.
  • transparency may mean light transmittance.
  • Increasing (increasing) the transparency of the windshield may mean that the light transmittance is increased. That is, the increase in the light transmittance may mean that the amount of light passing through the windshield increases. The higher the transparency of the windshield, the more transparent the windshield can be.
  • decreasing the transparency of the windshield may mean that the light transmittance is lowered. That is, the lower the light transmittance may mean that the amount of light passing through the windshield is gradually reduced. The lower the transparency of the windshield, the more opaque the windshield can be.
  • the windshield associated with the present invention may include a film capable of varying transparency to control transparency.
  • the film may include a Polymer Dispersed Liquid Crystal (PDLC) film, a Suspended Particle Devices (SPD) film, an Electrochromic (EC) film, or the like.
  • PDLC Polymer Dispersed Liquid Crystal
  • SPD Suspended Particle Devices
  • EC Electrochromic
  • the processor 830 may control the windshield 850 to output various types of information through the windshield 850.
  • the image output unit 820 may be omitted.
  • FIG. 9 is a flowchart illustrating a representative control method of the present invention
  • FIGS. 10A and 10B are exemplary views for explaining the control strategy of FIG. 9.
  • the processor 830 receives information from an electronic device provided in the vehicle 100 through the communication unit 810 (S910).
  • the processor 830 may receive the vehicle driving information described above with reference to FIG. 9. In addition, the processor 830 may receive sensing information generated by a sensing unit provided in the vehicle control apparatus 800.
  • vehicle driving information such as the amount of light incident from the outside of the vehicle 100 to the inside, the location of the sun, the weather, the location where the passenger boarded, the passenger's gaze, the object the passenger is looking at, and whether the passenger is closing their eyes
  • the vehicle driving information may be transmitted to the processor 830 through the communication unit 810.
  • the processor 830 may receive an image photographed by the camera from an external camera photographing the outside of the vehicle 100 and / or an internal camera photographing the inside of the vehicle 100.
  • the processor 830 may set a part of the windshield as an image output area based on the passenger (S930).
  • the processor 830 sets the partial region as an image output region.
  • the image output area is defined as an area in which visual information is output through the image output unit 820.
  • the processor 830 may set the image output area based on the line of sight of the passenger. For example, as shown in FIG. 10A, when the line of sight faces the first direction, the image output area is set in the first area 1010, and as shown in FIG. 10B, the line of sight is the second. When facing, the image output area may be set in the second area 1020.
  • the processor 830 may set a center point based on the line of sight of the passenger, and may set an image output area having a predetermined size and a predetermined shape based on the center point.
  • the center point to which the line of sight is directed may be set as the center point of the image output area.
  • the processor 830 determines that the image output area depends on the passengers, the seat position of the seat in which the passengers board, the location of the vehicle 100, and / or It may be set differently according to the speed of the vehicle 100.
  • the image output area may vary according to the passenger. For example, when the passenger rides in the passenger seat of the vehicle 100, the image output area may be set in a windshield corresponding to the passenger seat. Alternatively, the passenger may be set in a windshield corresponding to the rear seat located behind the passenger seat.
  • At least one of the size and location of the image output area may vary according to the passenger. This is because the length of the arm varies depending on the passenger. For example, the reach of children is different from the reach of adults. Therefore, the processor 830 may set the child image output region and the adult image output region differently.
  • At least one of a size and a location of the image output area may vary according to a seat position of a seat in which the passenger rides. According to the seat position, at least one of the size and position of the area that the passenger can see is different.
  • the processor 830 may differently set the image output area to a seat position of a seat on which the passenger is boarded.
  • At least one of the size and position of the image output area may vary according to the position of the vehicle. For example, if a vehicle is located on a highway or in the countryside, the number of objects the passenger will be interested in is small. In contrast, in the city center there are a large number of objects that passengers may be interested in. In order to provide more accurate information, the larger the number of objects of interest, the smaller the size of the image output area can be adjusted. In other words, when the vehicle 100 is located at a place that satisfies the first condition, the image output area is set to a first size, but when the vehicle 100 is located at a place that satisfies the second condition, The image output area may be set to a second size different from the first size.
  • At least one of the size and location of the image output area may vary according to the speed of the vehicle.
  • the image output area may be larger as the speed of the vehicle 100 increases. In other words, when the vehicle 100 is driving at the first speed range, the image output area is set to the first size, but when the vehicle 100 is driving at the first speed range, the image output area is the It may be set to a second size different from the first size.
  • the processor 830 searches for an object based on the line of sight of the passenger (S950).
  • the processor 830 searches for one or more objects overlapping the image output area based on the line of sight of the passenger among objects located outside the vehicle.
  • the processor 830 may receive an image captured by the camera from the camera provided in the vehicle 100 through the communication unit 810.
  • the object that the passenger is looking at may be searched from the image.
  • one or more objects overlapping the image output area are searched based on the line of sight of the passenger.
  • Criteria for searching for an object may vary depending on the passenger.
  • the processor 830 searches for an object according to a first condition corresponding to the first passenger when a first passenger rides, and a second corresponding to the second passenger when a second passenger rides. You can search for objects based on conditions. This is because the types of objects of interest to the passengers vary depending on the passengers.
  • a Korean may search for a Korean restaurant among the restaurants located in the building, and for a Japanese, search for a Japanese restaurant.
  • the criteria for searching for an object may be preset in a server, a memory, or the like, and may be edited by an input from a passenger.
  • the processor 830 controls the image output unit to display guide information for guiding a searched object in the image output area (S970).
  • the guide information may vary according to the searched object.
  • the searched object when the searched object is a store, the name of the store, the type of goods sold, a phone number, a review, and the like may be included in the guide information.
  • the guide information when the searched object is a vehicle, the guide information may include the type of vehicle, the speed of the vehicle, whether the vehicle can be clustered with the vehicle, and a message that can be transmitted to another vehicle.
  • the A information related to the object A is displayed in the first area 1010, and as shown in FIG. 10B, by the passenger's eye
  • B information related to the B object is displayed in the second area 1020.
  • the processor 830 may rescan one or more objects as the vehicle 100 moves and update the guide information to guide the rescanned objects. Since the vehicle 100 moves, the object that the passenger looks at varies even if the passenger's gaze faces a certain direction. Therefore, the processor 830 continuously searches for the object that the passenger is looking at based on the line of sight of the passenger, and updates the guide information to guide the re-searched object.
  • the guide information may include an image photographed by a camera provided in the vehicle 100.
  • the processor 830 may search for the object of interest of the passenger in the image, and control the image output unit 830 to display the object of interest guide information guiding the object of interest in the image output area. have.
  • Passengers are provided with real-time guidance information related to the object they are looking at, so that detailed information can be obtained through augmented reality. Through this, user convenience may be increased.
  • FIG. 11 is a flowchart for describing a method of outputting guide information by using a preset touch input
  • FIGS. 12A, 12B, and 12C are exemplary diagrams for describing the method of FIG. 11.
  • the processor 830 may sense a preset touch input applied to the windshield 850 based on the vehicle driving information (S1100).
  • the trigger may be set such that the guide information is output only at the moment desired by the passenger.
  • the trigger may be a preset touch input applied to the wind shield.
  • the touch input may be a double tap that taps the windshield a plurality of times in succession.
  • the preset touch input may be variously modified according to an embodiment.
  • the processor 830 may output the guide information in response to the touch input in operation S1130.
  • the processor 830 may control the image output unit 820 to output guide information 1210 in response to the touch input.
  • the processor 830 may search for one or more objects among the objects located outside the vehicle, where the gaze of the passenger and the position where the touch input is input overlap.
  • guide information corresponding to the searched object may be output through the image output unit 820. In other words, the guide information is output only when the touch input is input, and is not output unless the touch input is input.
  • guide information 1121-> 1230 may be updated in response to the new touch input.
  • the processor 830 may set the image output area based on the position where the touch input is applied. For example, the processor 830 may set a center point based on a position where the touch input is applied, and may set an image output area having a predetermined size and a predetermined shape based on the center point. When the passenger's gaze faces the first point and the touch input is applied to the second point, the processor 830 may set the image output area in consideration of the first point and the second point.
  • the guide information and the image output area may be changed by the touch input.
  • the processor 830 may cause the guide information to disappear from the image output area when the touch input is re-entered into the image output area while the guide information is output to the image output area. Can be controlled. For example, as illustrated in FIG. 12C, in response to the touch input being applied to an image output area where the guide information 1230 is output while the guide information 1230 is output, the processor 830 The image control unit 820 controls the guide information 1230 to disappear from the windshield 850.
  • FIG. 13 is a flowchart illustrating a method of outputting guide information by using an image captured by a camera
  • FIG. 14 is a conceptual diagram illustrating the method of FIG. 13.
  • the processor 830 may receive an image from a camera provided in a vehicle (S1310).
  • Images can be received from all cameras provided in the vehicle.
  • one or more cameras may be selected from among a plurality of cameras provided in the vehicle based on a seat in which the passenger boards, and an image may be received only from the selected camera. For example, when a passenger rides on the left side of the front of the vehicle 100, a camera photographing the left side of the vehicle 100 may be selected.
  • the image captured by the camera is composed of a plurality of frames.
  • the processor 830 may receive the image through the communication unit 830 and store the image in a memory (not shown). Over time, the frames are stored sequentially.
  • the processor 830 may display an image photographed before a first reference time from a point in time at which a touch input is input (S1330).
  • the frames may be arranged in time axis, and the frames may be synthesized into a panoramic image.
  • the current frame 1410 corresponding to the current time may be updated in real time.
  • the past frame 1420 photographed before a predetermined time (or a first reference time) among the frames may be specified.
  • the selected frame may be displayed in the image output area as guide information.
  • an image displayed on the image output area may be updated. For example, if the current time is 23:20:10, a frame shot at 23: 20: 0 is displayed in the video output area, but if the current time is 23:20:15, it is shot at 23: 20: 5 The displayed frame may be displayed in the image output area. This is to allow the passenger to check the object that he saw just before.
  • the first reference time may vary depending on the speed of the vehicle 100.
  • the first reference time may be set to a first time when the vehicle is driving in the first speed range, and may be set to a second time that is different from the first time when the vehicle is driving in the second speed range.
  • the first reference time may be set to 10 seconds when driving at 10 km, but may be set to 5 seconds when driving at 100 km. This is because the moving distance varies depending on the speed of the vehicle.
  • the processor 830 may delete an image photographed before the second reference time (S1350).
  • the processor 830 may delete at least one of an image photographed by the camera before a second reference time and an image stored in the memory before the second reference time based on a current time. have. In this case, the second reference time is longer than the first reference time.
  • a frame taken 10 seconds before the current reference time (example of the first reference time) is displayed in the image output area as guide information, and a frame taken before 20 seconds (example of the second reference time) is deleted.
  • a frame taken 10 seconds before the current reference time (example of the first reference time) is displayed in the image output area as guide information, and a frame taken before 20 seconds (example of the second reference time) is deleted.
  • FIG. 15 is a flowchart illustrating a method of synthesizing a plurality of frames to output guide information
  • FIGS. 16A and 16B are conceptual diagrams for describing the method of FIG. 15.
  • the processor 830 may synthesize a plurality of frames photographed within a predetermined time range into one still image (S1510).
  • the predetermined time range t may be a time point at which the touch input is input from the first reference time.
  • the predetermined time range may be variously modified according to an embodiment.
  • the predetermined time range may also change as the first reference time varies.
  • the processor 830 may extract at least a portion corresponding to the image output area in each frame, and synthesize the still image 1610 using the extracted portion. Instead of synthesizing the entire region of each frame, some regions of each frame may be extracted and synthesized into the still image 1610.
  • the partial region to be extracted is a portion corresponding to the image output region, and since a partial region matching the size of the image frame region is extracted, the passenger can check only some information desired by the passenger.
  • the processor 830 may display the still image on an image output area (S1530).
  • the still image 1610 may be displayed as a background image of the image output area, and guide information of an object searched by the processor 830 may be displayed on the still image 1610. Through this, a user interface using virtual reality as well as augmented reality may be provided.
  • the processor 830 may change the predetermined time range based on a user input in operation S1550.
  • the processor 830 may change the time range based on a user input applied to the image output area where the still image is output. As the time range is changed, the still image displayed on the image output area may be changed.
  • the start time and / or the end time of the predetermined time range may be changed according to the drag direction.
  • the still image 1610-> 1620 displayed in the image output area may be changed.
  • 17 is an exemplary view for explaining an operation of the vehicle control apparatus according to the present invention.
  • an exterior view 1710 is shown that a passenger views through the windshield while the vehicle is driving. Passengers may visually recognize part 1720 of exterior view 1710 at a particular time point due to the physical limitations of the windshield.
  • the image output area 1730 may be set by the line of sight of the passenger, and the past image 1740 viewed by the passenger through the image output area 1730 may be output to the image output area 1730.
  • the passenger may check the object viewed in the past through the past image, and the past image may include guide information related to the object.
  • the vehicle 100 moves, but the passenger may be provided with information about the object that was immediately seen.
  • the present invention described above can be embodied as computer readable code (or an application or software) on a medium on which a program is recorded.
  • the above-described control method of the autonomous vehicle can be realized by a code stored in a memory or the like.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored.
  • Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes implementations in the form of carrier waves (eg, transmission over the Internet).
  • the computer may also include a processor or a controller. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Abstract

본 발명은 윈드실드를 구비한 차량을 제어하는 차량 제어 장치에 관한 것이다. 상기 차량 제어 장치는 상기 윈드실드에 시각정보를 출력하는 영상 출력부 및 탑승객에 근거하여 상기 윈드실드의 일부 영역을 영상 출력 영역으로 설정하고, 상기 영상 출력 영역에 시각정보가 표시되도록 상기 영상 출력부를 제어하는 프로세서를 포함하며, 상기 프로세서는, 상기 차량의 외부에 위치한 물체들 중 상기 탑승객의 시선을 기준으로 상기 영상 출력 영역과 중첩되는 하나 또는 그 이상의 물체들을 탐색하고, 탐색된 물체를 안내하는 안내 정보가 상기 영상 출력 영역에 표시되도록 상기 영상 출력부를 제어할 수 있다.

Description

차량 제어 장치 및 그것을 포함하는 차량
본 발명은 차량을 제어하는 차량 제어 장치 및 그것을 포함하는 차량에 관한 것이다.
차량은 운동 에너지를 이용하여 사람이나 짐을 이동시킬 수 있는 교통 수단을 의미한다. 차량의 대표적인 예로, 자동차 및 오토바이를 들 수 있다.
차량을 이용하는 사용자의 안전 및 편의를 위해, 차량에는 각종 센서와 장치가 구비되고 있으며, 차량의 기능이 다양화 되고 있다.
차량의 기능은 운전자의 편의를 도모하기 위한 편의 기능, 그리고 운전자 및/또는 보행자의 안전을 도모하기 위한 안전 기능으로 나뉠 수 있다.
먼저, 편의 기능은 차량에 인포테인먼트(information + entertainment) 기능을 부여하고, 부분적인 자율 주행 기능을 지원하거나, 야간 시야나 사각 지대와 같은 운전자의 시야 확보를 돕는 등의 운전자 편의와 관련된 개발 동기를 가진다. 예를 들어, 적응 순향 제어(active cruise control, ACC), 스마트주자시스템(smart parking assist system, SPAS), 나이트비전(night vision, NV), 헤드 업 디스플레이(head up display, HUD), 어라운드 뷰 모니터(around view monitor, AVM), 적응형 상향등 제어(adaptive headlight system, AHS) 기능 등이 있다.
안전 기능은 운전자의 안전 및/또는 보행자의 안전을 확보하는 기술로, 차선 이탈 경고 시스템(lane departure warning system, LDWS), 차선 유지 보조 시스템(lane keeping assist system, LKAS), 자동 긴급 제동(autonomous emergency braking, AEB) 기능 등이 있다.
차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS : Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.
최근에는 ADAS(Advanced Driving Assist System)에 대한 개발이 활발히 이루어짐에 따라, 차량 운행에 있어서 사용자 편의와 안전을 극대화할 수 있는 기술 개발의 필요성이 대두되고 있다.
이에 대한 일환으로, 차량에 구비된 윈드실드(Windshield)를 활용한 다양한 UI/UX(User Interface/User Experience)에 대한 기술 개발의 필요성이 대두되고 있다.
본 발명의 일 목적은 차량에 구비된 윈드실드에 다양한 정보를 출력하는 것이 가능한 차량 제어 장치 및 차량의 제어방법을 제공하는데 있다.
본 발명은 윈드실드(windshield)를 구비한 차량에 장착되는 차량 제어 장치에 관한 것이다.
상기 차량 제어 장치는, 상기 윈드실드에 시각정보를 출력하는 영상 출력부; 및 탑승객에 근거하여 상기 윈드실드의 일부 영역을 영상 출력 영역으로 설정하고, 상기 영상 출력 영역에 시각정보가 표시되도록 상기 영상 출력부를 제어하는 프로세서를 포함하며, 상기 프로세서는, 상기 차량의 외부에 위치한 물체들 중 상기 탑승객의 시선을 기준으로 상기 영상 출력 영역과 중첩되는 하나 또는 그 이상의 물체들을 탐색하고, 탐색된 물체를 안내하는 안내 정보가 상기 영상 출력 영역에 표시되도록 상기 영상 출력부를 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 기 설정된 터치 입력이 상기 윈드실드에 가해지는 것에 응답하여 상기 안내 정보를 출력할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 터치 입력이 입력된 시점으로부터 제1 기준 시간 이전에 촬영된 영상이 상기 영상 출력 영역에 표시되도록 상기 영상 출력부를 제어할 수 있다.
일 실시 예에 따르면, 상기 제1 기준 시간은 상기 차량의 속도에 따라 가변될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제1 기준 시간부터 상기 터치 입력이 입력된 시점까지의 시간 범위 내에 촬영된 복수의 프레임들을 하나의 정지 이미지로 합성하며, 상기 정지 이미지가 상기 영상 출력 영역에 표시되도록 상기 영상 출력부를 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 각 프레임에서 상기 영상 출력 영역에 대응하는 일부분을 추출하고, 추출된 일부분을 이용하여 상기 정지 이미지를 합성할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 정지 이미지가 출력되고 있는 상기 영상 출력 영역에 가해지는 사용자 입력에 근거하여 상기 시간 범위를 변경하며, 상기 시간 범위가 변경됨에 따라 상기 정지 이미지가 변경될 수 있다.
일 실시 예에 따르면, 상기 차량 제어 장치는, 상기 차량에 구비된 카메라로부터 상기 영상을 수신하는 통신부를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 차량 제어 장치는, 상기 카메라로부터 수신된 영상을 저장하는 메모리를 더 포함하며, 상기 프로세서는, 제2 기준 시간 이전에 상기 카메라에 의하여 촬영된 영상 그리고 상기 제2 기준 시간 이전에 상기 메모리에 저장된 영상 중 적어도 하나를 삭제하며, 상기 제2 기준 시간은 상기 제1 기준 시간보다 길 수 있다.
일 실시 예에 따르면, 상기 차량이 이동함에 따라 상기 영상이 업데이트 될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 영상에서 상기 탑승객의 관심 물체를 탐색하고, 상기 관심 물체를 안내하는 관심 물체 안내 정보가 상기 영상 출력 영역에 표시되도록 상기 영상 출력부를 제어할 수 있다.
일 실시 예에 따르면, 상기 관심 물체 안내 정보는 상기 탑승객에 따라 달라질 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 터치 입력이 인가된 위치를 기준으로 상기 영상 출력 영역을 설정할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 안내 정보가 상기 영상 출력 영역에 출력되는 중에 상기 터치 입력이 재입력되는 경우, 상기 안내 정보가 상기 영상 출력 영역에서 사라지도록 상기 영상 출력부를 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 차량의 외부에 위치한 물체들 중 상기 탑승객의 시선 및 상기 터치 입력이 입력된 위치가 중첩되는 하나 또는 그 이상의 물체들을 탐색할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 차량이 이동함에 따라 하나 또는 그 이상의 물체들을 재탐색하고, 재탐색된 물체를 안내하도록 상기 안내 정보를 업데이트 할 수 있다.
일 실시 예에 따르면, 상기 영상 출력 영역의 크기 및 위치 중 적어도 하나는 상기 탑승객에 따라 가변될 수 있다.
일 실시 예에 따르면, 상기 영상 출력 영역의 크기 및 위치 중 적어도 하나는 상기 차량의 위치에 따라 가변될 수 있다.
일 실시 예에 따르면, 상기 영상 출력 영역의 크기 및 위치 중 적어도 하나는 상기 탑승객이 탑승한 좌석의 시트 포지션에 따라 가변될 수 있다.
일 실시 예에 따르면, 상기 영상 출력 영역의 크기 및 위치 중 적어도 하나는 상기 차량의 속도에 따라 가변될 수 있다.
또한, 본 발명은 상술한 차량 제어 장치를 구비하는 차량 및/또는 차량 제어 방법으로까지 확장될 수 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
차량의 탑승객은 차량 주행 중 빠르게 지나가는 물체를 짧은 시간 내에 인지하기 어려운 문제가 있었다. 본 발명에 따르면, 차량 외부에 위치한 물체에 관한 안내 정보를 윈드실드를 통해 제공하기 때문에, 증강현실이 구현된 사용자 인터페이스를 제공할 있다. 상기 물체는 탑승객의 시선에 근거하여 탐색되기 때문에, 탑승객이 알고자 하는 물체를 정확히 타겟팅 할 수 있다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블록도이다.
도 8은 본 발명의 실시예에 따른 차량 제어 장치를 설명하기 위한 블록도이다.
도 9는 본 발명의 대표적인 제어방법을 설명하기 위한 흐름도이다.
도 10a 및 도 10b는 도 9의 제어방범을 설명하기 위한 예시도들이다.
도 11은 기 설정된 터치 입력을 이용하여 안내 정보를 출력하는 방법을 설명하기 위한 흐름도이다.
도 12a, 도 12b 및 도 12c는 도 11의 방법을 설명하기 위한 예시도들이다.
도 13은 카메라가 촬영한 영상을 이용하여 안내 정보를 출력하는 방법을 설명하기 위한 흐름도이다.
도 14는 도 13의 방법을 설명하기 위한 개념도이다.
도 15는 복수의 프레임들을 합성해 안내 정보를 출력하는 방법을 설명하기 위한 흐름도이다.
도 16a 및 도 16b는 도 15의 방법을 설명하기 위한 개념도들이다.
도 17은 본 발명에 따른 차량 제어 장치의 일 동작을 설명하기 위한 예시도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블록도이다.
도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.
차량(100)은 자율 주행 차량일 수 있다.
여기서, 자율 주행은 가속, 감속, 및 주행 방향 중 적어도 하나를 기 설정된 알고리즘에 근거하여 제어하는 것으로 정의된다. 다시 말해, 운전 조작 장치에 사용자 입력이 입력되지 않아도, 상기 운전 조작 장치가 자동으로 조작되는 것을 의미한다.
차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 사용자 인터페이스 장치(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다.
예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다.
예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.
차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(200)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(200)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(200)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(200)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(200)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다.
실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다.
실시예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다.
출력부(250)는, 디스플레이부(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.
디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.
디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다.
사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.
오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다.
오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다.
도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.
지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.
레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.
비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)은, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
오브젝트 검출 장치(300)는, 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다. 통신 장치(400)는 ‘무선 통신부’로 호칭될 수 있다.
통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.
실시예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.
방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.
메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.
차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.
파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다.
변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다.
샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.
한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.
도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.
도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.
안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.
시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.
공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.
운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750) 을 포함할 수 있다.
실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.
한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.
주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.
센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
도 8은 본 발명의 실시예에 따른 차량 제어 장치를 설명하기 위한 개념도이다.
도 8을 참조하면, 상기 차량 제어 장치(800)는 통신부(810), 영상 출력부(820) 그리고 프로세서(830)를 포함한다.
통신부(810)는, 도 7에서 설명한 다양한 구성요소들과 통신을 수행하도록 이루어진다. 일 예로, 통신부(810)는 CAN(controller are network)을 통해 제공되는 각종 정보를 수신할 수 있다. 다른 일 예로, 통신부(810)는, 차량, 이동 단말기와 서버, 다른 차량과 같이 통신 가능한 모든 기기와 통신을 수행할 수 있다. 이는, V2X(Vehicle to everything) 통신으로 명명될 수 있다. V2X 통신은 운전 중 도로 인프라 및 다른 차량과 통신하면서 교통상황 등의 정보를 교환하거나 공유하는 기술로 정의될 수 있다.
통신부(810)는 차량(100)에 구비된 대부분의 장치들로부터 차량의 주행과 관련된 정보를 수신할 수 있다. 상기 차량(100)에서 상기 차량 제어 장치(800)로 전송되는 정보를 ‘차량 주행 정보’로 호칭한다.
차량 주행 정보는 차량 정보 및 차량의 주변 정보를 포함한다. 차량(100)의 프레임을 기준으로 차량 내부와 관련된 정보를 차량 정보, 차량 외부와 관련된 정보를 주변 정보로 정의할 수 있다.
차량 정보는 차량 자체에 관한 정보를 의미한다. 예를 들어, 차량 정보는 차량의 주행속도, 주행방향, 가속도, 각속도, 위치(GPS), 무게, 차량의 탑승인원, 차량의 제동력, 차량의 최대 제동력, 각 바퀴의 공기압, 차량에 가해지는 원심력, 차량의 주행모드(자율주행모드인지 수동주행인지 여부), 차량의 주차모드(자율주차모드, 자동주차모드, 수동주차모드), 차량 내에 사용자가 탑승해있는지 여부 및 상기 사용자와 관련된 정보 등을 포함할 수 있다.
주변 정보는 차량을 중심으로 소정 범위 내에 위치하는 다른 물체에 관한 정보 및 차량 외부와 관련된 정보를 의미한다. 예를 들어, 차량이 주행중인 노면의 상태(마찰력), 날씨, 전방(또는 후방) 차량과의 거리, 전방(또는 후방) 차량의 상대속도, 주행중인 차선이 커브인 경우 커브의 굴곡률, 차량 주변밝기, 차량을 기준으로 기준영역(일정영역) 내에 존재하는 객체와 관련된 정보, 상기 일정영역으로 객체가 진입/이탈하는지 여부, 차량 주변에 사용자가 존재하는지 여부 및 상기 사용자와 관련된 정보(예를 들어, 상기 사용자가 인증된 사용자인지 여부) 등일 수 있다.
또한, 상기 주변 정보는, 주변밝기, 온도, 태양위치, 주변에 위치하는 객체 정보(사람, 타차량, 표지판 등), 주행중인 노면의 종류, 지형지물, 차선(Line) 정보, 주행 차로(Lane) 정보, 자율주행/자율주차/자동주차/수동주차 모드에 필요한 정보를 포함할 수 있다.
또한, 주변 정보는, 차량 주변에 존재하는 객체(오브젝트)와 차량(100)까지의 거리, 충돌 가능성, 상기 객체의 종류, 차량이 주차 가능한 주차공간, 주차공간을 식별하기 위한 객체(예를 들어, 주차선, 노끈, 타차량, 벽 등) 등을 더 포함할 수 있다.
상기 차량 주행 정보는 이상에서 설명한 예에 한정되지 않으며, 상기 차량(100)에 구비된 구성요소로부터 생성된 모든 정보를 포함할 수 있다.
상기 영상 출력부(820)는 상기 차량(100)에 구비된 윈드실드(850)로 각종 시각 정보를 출력하도록 이루어진다. 예를 들어, 텍스트, 정지 이미지, 동영상, 홀로그램 등과 같은 다양한 정보를 상기 윈드실드(850)로 출력할 수 있다. 탑승객은 상기 영상 출력부(820)가 출력하는 영상을 상기 윈드실드(850)를 통해 인지하고, 이를 통해 증강현실을 이용한 사용자 인터페이스를 제공받을 수 있다.
상기 윈드실드(850)의 적어도 일 영역은 투명도를 조절할 수 있도록 이루어지며, 상기 영상 출력부(820)가 출력하는 정보가 탑승객에게 보다 잘 인식될 수 있도록 상기 정보가 출력되는 소정 영역의 투명도를 다른 영역의 투명도와 다르게 설정할 수 있다.
상기 프로세서(830)는 상기 통신부(810)를 이용하여 상기 차량(100)에 구비된 하나 또는 그 이상의 디스플레이들을 제어하도록 이루어진다.
구체적으로, 상기 프로세서(830)는 상기 통신부(810)를 통해 수신되는 차량 주행 정보에 근거하여, 기 설정되어 있는 복수의 조건들 중에서 적어도 하나의 조건이 만족되는지를 판단할 수 있다. 만족되는 조건에 따라, 상기 프로세서(830)는 상기 하나 또는 그 이상의 디스플레이들을 서로 다른 방식으로 제어할 수 있다.
기 설정된 조건과 관련하여, 상기 프로세서(830)는 차량(100)에 구비된 전장품 및/또는 애플리케이션에서 이벤트가 발생한 것을 감지하고, 감지된 이벤트가 기 설정된 조건을 만족하는지를 판단할 수 있다. 이때, 상기 프로세서(830)는 통신부(810)를 통해 수신된 정보로부터 이벤트가 발생한 것을 감지할 수도 있다.
상기 애플리케이션은 위젯(widget)이나 홈 런처 등을 포함한 개념으로서, 차량(100)에서 구동 가능한 모든 형태의 프로그램을 의미한다. 따라서, 상기 애플리케이션은 웹 브라우저, 동영상 재생, 메세지 송수신, 일정 관리, 애플리케이션의 업데이트의 기능을 수행하는 프로그램이 될 수 있다.
나아가, 상기 애플리케이션은 전방 추돌 방지(Forward Collision Warning, FCW), 사각 지대 감지(Blind Spot Detection, BSD), 차선 이탈 경고(Lane Departure Warning, LDW), 보행자 감지(Pedestrian Detection, PD), 커브 속도 경고(Curve Speed Warning, CSW) 및 턴 바이 턴 길안내(turn by turn navigation, TBT) 중 적어도 하나를 포함할 수 있다.
예를 들어, 이벤트 발생은, 부재중 전화가 있는 경우, 업데이트 대상인 애플리케이션이 있는 경우, 메세지가 도착한 경우, 시동 온(start on), 시동 오프(start off), 자율 주행 온/오프, 디스플레이 활성화 키 눌림(LCD awake key), 알람(alarm), 호 연결(Incoming call), 부재중 알림(missed notification) 등이 될 수 있다.
다른 예로서, 이벤트 발생은 ADAS(advanced driver assistance system)에서 설정한 경고 발생, ADAS에서 설정한 기능이 수행되는 경우일 수 있다. 예를 들어, 전방 충돌 경고(forward collision warning)가 발생하는 경우, 후측방 경고(blind spot detection)가 발생하는 경우, 차선 이탈 경보(lane departure warning)가 발생하는 경우, 주행 조향 보조 경보(lane keeping assist warning)가 발생하는 경우, 긴급 제동 기능(autonomous emergency braking)이 수행되는 경우에 이벤트가 발생한 것으로 볼 수 있다.
또 다른 예로서, 전진 기어에서 후진 기어로 변경되는 경우, 소정 값보다 큰 가속이 발생되는 경우, 소정 값보다 큰 감속이 발생되는 경우, 동력장치가 내연기관에서 모터로 변경되는 경우, 또는 모터에서 내연기관으로 변경되는 경우에도 이벤트가 발생한 것으로 볼 수 있다.
이 밖에도, 차량(100)에 구비된 다양한 ECU가 특정 기능을 수행하는 경우에도 이벤트가 발생한 것으로 볼 수 있다.
발생한 이벤트가 기 설정된 조건에 만족되는 경우, 상기 프로세서(830)는 만족되는 조건에 대응하는 정보가 상기 하나 또는 그 이상의 디스플레이들에 표시되도록 상기 통신부(810)를 제어한다.
한편, 상기 차량 제어 장치(800)에는 센서가 더 구비될 수 있다. 센싱부는, 본 발명의 차량(100)과 관련된 정보를 센싱할 수 있다.
상기 차량과 관련된 정보는, 차량 정보(또는, 차량의 주행 상태) 및 차량의 주변정보 중 적어도 하나일 수 있다.
예를 들어, 차량 정보는, 차량의 주행속도, 차량의 무게, 차량의 탑승인원, 차량의 제동력, 차량의 최대 제동력, 차량의 주행모드(자율주행모드인지 수동주행인지 여부), 차량의 주차모드(자율주차모드, 자동주차모드, 수동주차모드), 차량 내에 사용자가 탑승해있는지 여부 및 상기 사용자와 관련된 정보(예를 들어, 상기 사용자가 인증된 사용자인지 여부) 등을 포함할 수 있다.
차량의 주변정보는, 예를 들어, 차량이 주행중인 노면의 상태(마찰력), 날씨, 전방(또는 후방) 차량과의 거리, 전방(또는 후방) 차량의 상대속도, 주행중인 차선이 커브인 경우 커브의 굴곡률, 차량 주변밝기, 차량을 기준으로 기준영역(일정영역) 내에 존재하는 객체와 관련된 정보, 상기 일정영역으로 객체가 진입/이탈하는지 여부, 차량 주변에 사용자가 존재하는지 여부 및 상기 사용자와 관련된 정보(예를 들어, 상기 사용자가 인증된 사용자인지 여부) 등일 수 있다.
또한, 상기 차량의 주변정보(또는 주변 환경정보)는, 차량의 외부 정보(예를 들어, 주변밝기, 온도, 태양위치, 주변 피사체(사람, 타차량, 표지판 등) 정보, 주행중인 노면의 종류, 지형지물, 차선(Line) 정보, 주행차로(Lane) 정보), 자율주행/자율주차/자동주차/수동주차 모드에 필요한 정보를 포함할 수 있다.
또한, 차량의 주변정보는, 차량 주변에 존재하는 객체(오브젝트)와 차량(100)까지의 거리, 상기 객체의 종류, 차량이 주차 가능한 주차공간, 주차공간을 식별하기 위한 객체(예를 들어, 주차선, 노끈, 타차량, 벽 등) 등을 더 포함할 수 있다.
상기 센싱부는, 차량에 구비된 오브젝트 검출장치(300) 또는 차량(100)에 구비된 센싱부(120)는 독립된 별개의 센싱부일 수 있다. 상기 센싱부가 독립된 센싱부인 경우라도, 상기 센싱부는, 도 7에서 설명한 센싱부(120) 또는 오브젝트 장치(300)의 특징을 포함할 수 있다.
이하에서는, 설명의 편의를 위해, 센싱부가 차량 제어 장치(800)에 별도로 구비된 것을 일 예로 설명하기로 한다. 프로세서(830)가 센싱부를 통해 어느 정보를 획득한다는 것은, 프로세서(830)가 오브젝트 검출장치(300) 및 차량(100)에 구비된 센싱부(120) 중 적어도 하나를 이용하여 어느 정보를 획득한다는 것으로 이해될 수 있다.
프로세서(830)는, 도 7에서 설명한 구성요소들 및 윈드실드(850) 중 적어도 하나를 제어할 수 있다.
본 발명과 관련된 차량 제어 장치(800)에 포함된 프로세서(830)는, 차량 주행 정보가 기 설정된 조건을 만족하는 것에 근거하여, 윈드실드(800)의 투명도를 조절할 수 있다.
본 발명에 따른 차량 제어 장치(800)는 상기 차량(100)에 구비된 윈드실드를 제어할 수 있다.
상기 윈드실드는, 앞서 설명한 윈도우 장치(window apparatus)일 수 있다. 상기 윈드실드는, 차량에 구비되며, 복수개일 수 있다.
본 명세서에서 설명하는 윈드실드는, 차량 도어에 설치된 윈도우 장치뿐만 아니라, 전방에 배치된 전면유리, 후방에 배치된 후면유리 및 썬루프 유리 등을 포함할 수 있다.
본 발명과 관련된 윈드실드는, 투명도를 변경하는 것이 가능하도록 형성될 수 있다. 여기서 투명도는, 빛 투과율을 의미할 수 있다.
윈드실드의 투명도가 올라간다는(높인다) 것은 빛 투과율이 높아진다는 것을 의미할 수 있다. 즉, 빛 투과율이 높아진다는 것은 윈드실드를 통과하는 빛의 양이 점점 많아진다는 것을 의미할 수 있다. 윈드실드의 투명도가 올라갈수록, 윈드실드는 더 투명해질 수 있다.
반면, 윈드실드의 투명도가 내려간다는(낮춘다) 것은 빛 투과율이 낮아진다는 것을 의미할 수 있다. 즉, 빛 투과율이 낮아진다는 것은, 윈드실드를 통과하는 빛의 양이 점점 줄어준다는 것을 의미할 수 있다. 윈드실드의 투명도가 내려갈수록 윈드실드는 더 불투명해질 수 있다.
본 발명과 관련된 윈드실드에는, 투명도를 조절하기 위해 투명도를 가변하는 것이 가능한 필름이 포함될 수 있다. 상기 필름은, PDLC(Polymer Dispersed liquid Crystal) 필름, SPD(Suspended Particle Devices) 필름, EC(Electrochromic) 필름 등을 포함할 수 있다.
윈드실드가 텍스트, 이미지 등과 같은 영상 출력 장치로 이루어지는 경우, 상기 프로세서(830)는 상기 윈드실드(850)를 제어해 각종 정보를 상기 윈드실드(850)를 통해 출력할 수 있다. 이경우, 상기 영상 출력부(820)는 생략될 수 있다.
.
이하에서는 첨부된 도면을 참조하여 본 발명과 관련된 차량 제어 장치가 차량에 구비된 윈드실드를 제어하는 다양한 실시 예에 대하여 보다 구체적으로 살펴본다.
도 9는 본 발명의 대표적인 제어방법을 설명하기 위한 흐름도이고, 도 10a 및 도 10b는 도 9의 제어방범을 설명하기 위한 예시도들이다.
상기 프로세서(830)는 상기 통신부(810)를 통해 상기 차량(100)에 구비된 전장품으로부터 정보를 수신한다(S910).
상기 프로세서(830)는 도 9에서 상술한 상기 차량 주행 정보를 수신할 수 있다. 또한, 상기 프로세서(830)는 상기 차량 제어 장치(800)에 구비된 센싱부에서 생성된 센싱 정보를 수신할 수도 있다.
예를 들어, 차량(100) 외부에서 내부로 입사되는 광량, 태양의 위치, 날씨, 탑승객이 탑승한 위치, 탑승객의 시선, 탑승객이 바라보고 있는 오브젝트, 탑승객이 눈을 감고 있는지 여부 등 다양한 정보가 차량 주행 정보로 상기 통신부(810)를 통해 상기 프로세서(830)에 전송될 수 있다.
나아가, 상기 프로세서(830)는 차량(100) 외부를 촬영하는 외부 카메라 및/또는 차량(100) 내부를 촬영하는 내부 카메라로부터 상기 카메라가 촬영한 영상을 수신할 수 있다.
다음으로, 상기 프로세서(830)는 탑승객에 근거하여 윈드실드의 일부 영역을 영상 출력 영역으로 설정할 수 있다(S930).
상기 프로세서(830)는 상기 일부 영역을 ‘영상 출력 영역’으로 설정한다. 상기 영상 출력 영역은 상기 영상 출력부(820)를 통해 시각 정보가 출력되는 영역으로 정의된다.
상기 프로세서(830)는 상기 영상 출력 영역을 탑승객의 시선에 근거하여 설정할 수 있다. 예를 들어, 도 10a에 도시된 바와 같이, 상기 시선이 제1방향을 향하는 경우, 제1영역(1010)에 상기 영상 출력 영역이 설정되고, 도 10b에 도시된 바와 같이, 상기 시선이 제2방향을 향하는 경우, 제2영역(1020)에 상기 영상 출력 영역이 설정될 수 있다.
상기 프로세서(830)는 상기 탑승객의 시선에 근거하여 중심점을 설정하고, 상기 중심점을 기준으로 소정 크기 및 소정 형태를 가지는 영상 출력 영역을 설정할 수 있다. 시선이 향하는 중심점이 상기 영상 출력 영역의 중심점으로 설정될 수 있다.
탑승객이 동일한 영역을 바라보는 경우라도, 상기 프로세서(830)는 상기 영상 출력 영역은 탑승객에 따라, 상기 탑승객이 탑승한 좌석의 시트 포지션에 따라, 상기 차량(100)의 위치에 따라, 및/또는 상기 차량(100)의 속도에 따라 다르게 설정할 수 있다.
상기 영상 출력 영역은 상기 탑승객에 따라 가변될 수 있다. 예를 들어, 상기 탑승객이 상기 차량(100)의 조수석에 탑승하는 경우, 상기 영상 출력 영역은 상기 조수석에 대응하는 윈드실드에 설정될 수 있다. 이와 달리, 상기 탑승객이 상기 조수석의 뒤에 위치한 뒷좌석에 대응하는 윈드실드에 설정될 수 있다.
상기 영상 출력 영역의 크기 및 위치 중 적어도 하나는 상기 탑승객에 따라 가변될 수 있다. 탑승객에 따라, 팔 길이가 달라지기 때문이다. 예를 들어, 어린이의 손이 닿는 영역과 어른의 손이 닿는 영역은 다르다. 따라서, 프로세서(830)는 어린이용 영상 출력 영역과 어른용 영상 출력 영역을 다르게 설정할 수 있다.
상기 영상 출력 영역의 크기 및 위치 중 적어도 하나는 상기 탑승객이 탑승한 좌석의 시트 포지션에 따라 가변될 수 있다. 시트 포지션에 따라 탑승객이 바라볼 수 있는 영역의 크기 및 위치 중 적어도 하나가 달라진다. 탑승객에게 최적화된 영상 출력 영역을 제공하기 위하여, 상기 프로세서(830)는 상기 탑승객이 탑승한 좌석의 시트 포지션에 상기 영상 출력 영역을 다르게 설정할 수 있다.
상기 영상 출력 영역의 크기 및 위치 중 적어도 하나는 상기 차량의 위치에 따라 가변될 수 있다. 예를 들어, 고속도로나 시골과 같은 곳에 차량이 위치하는 경우, 탑승객이 관심을 가질 물체의 개수가 적다. 이와 달리, 도심에서는 탑승객이 관심을 가질 물체의 개수가 많다. 보다 정확한 정보를 제공하기 위하여, 관심을 가질 물체의 개수가 많을수록 영상 출력 영역의 크기를 작게 조절할 수 있다. 다시 말해, 상기 차량(100)이 제1조건을 만족하는 장소에 위치하는 경우, 영상 출력 영역은 제1크기로 설정되지만, 상기 차량(100)이 제2조건을 만족하는 장소에 위치하는 경우, 상기 영상 출력 영역은 상기 제1크기와 다른 제2크기로 설정될 수 있다.
상기 영상 출력 영역의 크기 및 위치 중 적어도 하나는 상기 차량의 속도에 따라 가변될 수 있다. 차량의 속도가 빠를수록 차량 외부에 위치한 물체는 탑승객의 시선에서 빠르게 지나간다. 빠르게 지나가는 물체를 놓치지 않기 위하여, 상기 영상 출력 영역은 상기 차량(100)의 속도가 빠를수록 커질 수 있다. 다시 말해, 상기 차량(100)이 제1 속도 범위로 주행중인 경우, 영상 출력 영역은 제1크기로 설정되지만, 상기 차량(100)이 제1 속도 범위로 주행중인 경우, 상기 영상 출력 영역은 상기 제1크기와 다른 제2크기로 설정될 수 있다.
상기 프로세서(830)는 탑승객의 시선에 근거하여 물체를 탐색한다(S950).
상기 프로세서(830)는 상기 차량의 외부에 위치한 물체들 중 상기 탑승객의 시선을 기준으로 상기 영상 출력 영역과 중첩되는 하나 또는 그 이상의 물체들을 탐색한다.
상기 프로세서(830)는 상기 통신부(810)를 통해 상기 차량(100)에 구비된 카메라로부터 상기 카메라가 촬영한 영상을 수신할 수 있다. 그리고 상기 영상으로부터 탑승객이 바라보고 있는 물체를 탐색할 수 있다. 상기 차량(100)의 외부에 위치한 물체들 중 상기 탑승객의 시선을 기준으로 상기 영상 출력 영역과 중첩되는 하나 또는 그 이상의 물체들이 탐색된다.
물체를 탐색하는 기준은 탑승객에 따라 달라질 수 있다. 예를 들어, 상기 프로세서(830)는 제1 탑승객이 탑승한 경우 상기 제1 탑승객에 대응하는 제1 조건에 따라 물체를 탐색하고, 제2 탑승객이 탑승한 경우 상기 제2 탑승객에 대응하는 제2 조건에 따라 물체를 탐색할 수 있다. 이는 탑승객에 따라 탑승객이 관심있는 물체의 종류가 달라지기 때문이다.
예를 들어, 동일한 건물을 바라보더라도, 한국인인 경우 상기 건물에 위치하는 식당들 중에서 한국 식당을 탐색하고, 일본인인 경우 일본 식당을 탐색할 수 있다. 물체를 탐색하는 기준은 서버나 메모리 등에 기설정될 수 있으며, 탑승객으로부터의 입력에 의하여 편집될 수 있다.
상기 프로세서(830)는 탐색된 물체를 안내하는 안내 정보가 상기 영상 출력 영역에 표시되도록 상기 영상 출력부를 제어한다(S970).
상기 안내 정보는 탐색된 물체에 따라 가변될 수 있다.
예를 들어, 탐색된 물체가 상점인 경우, 상점의 이름, 판매 물품 종류, 전화번호, 리뷰 등이 안내 정보에 포함될 수 있다. 다른 예를 들어, 탐색된 물체가 차량인 경우, 차량 종류, 차량 속도, 차량과 군집 주행이 가능한지 여부, 타 차량으로 전송할 수 있는 메시지 등이 안내 정보에 포함될 수 있다.
도 10a에 도시된 바와 같이, 탑승객의 시선에 의해 A 물체가 탐색된 경우, A 물체와 관련된 A 정보가 제1영역(1010)에 표시되고, 도 10b에 도시된 바와 같이, 탑승객의 시선에 의해 B 물체가 탐색된 경우, B 물체와 관련된 B 정보가 제2영역(1020)에 표시된다.
상기 프로세서(830)는 상기 차량(100)이 이동함에 따라 하나 또는 그 이상의 물체들을 재탐색하고, 재탐색된 물체를 안내하도록 상기 안내 정보를 업데이트 할 수 있다. 차량(100)이 이동하기 때문에, 탑승객의 시선이 일정한 방향을 향하더라도 탑승객이 바라보는 물체는 달라진다. 따라서, 상기 프로세서(830)는 상기 탑승객의 시선에 근거하여 상기 탑승객이 바라보고 있는 물체를 계속해서 재탐색하고, 상기 안내 정보가 재탐색된 물체를 안내하도록 업데이트를 수행한다.
상기 안내 정보는 상기 차량(100)에 구비된 카메라가 촬영한 영상을 포함할 수 있다. 구체적으로, 상기 프로세서(830)는 상기 영상에서 상기 탑승객의 관심 물체를 탐색하고, 상기 관심 물체를 안내하는 관심 물체 안내 정보가 상기 영상 출력 영역에 표시되도록 상기 영상 출력부(830)를 제어할 수 있다.
탑승객은 자신이 바라보고 있는 물체와 관련된 안내 정보를 실시간으로 제공받기 때문에, 증강현실을 통해 상세한 정보를 획득할 수 있다. 이를 통해, 사용자 편의성이 증대될 수 있다.
도 11은 기 설정된 터치 입력을 이용하여 안내 정보를 출력하는 방법을 설명하기 위한 흐름도이고, 도 12a, 도 12b 및 도 12c는 도 11의 방법을 설명하기 위한 예시도들이다.
상기 프로세서(830)는 상기 차량 주행 정보에 근거하여 상기 윈드실드(850)에 가해지는 기 설정된 터치 입력을 센싱할 수 있다(S1100).
탑승객이 바라보고 있는 물체의 안내 정보가 실시간으로 계속 표시되는 경우, 탑승객이 피곤함을 느낄 수 있다. 너무 많은 정보가 탑승객에게 제공되기 때문이다.
탑승객이 원하는 순간에만 안내 정보가 출력되도록, 트리거가 설정될 수 있다. 상기 트리거는 상기 윈드 실드에 가해지는 기 설정된 터치 입력일 수 있다. 예를 들어, 도 12a에 도시된 바와 같이, 상기 터치 입력은 상기 윈드실드를 연속해서 복수 번 두드리는 더블 탭일 수 있다. 상기 기 설정된 터치 입력은 실시 예에 따라 다양하게 변형될 수 있다.
상기 프로세서(830)는 상기 터치 입력에 응답하여 상기 안내 정보를 출력할 수 있다(S1130).
상기 프로세서(830)는 상기 터치 입력에 응답하여 안내 정보(1210)가 출력되도록 상기 영상 출력부(820)를 제어할 수 있다. 상기 프로세서(830)는 상기 차량의 외부에 위치한 물체들 중 상기 탑승객의 시선 및 상기 터치 입력이 입력된 위치가 중첩되는 하나 또는 그 이상의 물체들을 탐색할 수 있다. 그리고 탐색된 물체에 대응하는 안내 정보를 상기 영상 출력부(820)를 통해 출력할 수 있다. 다시 말해, 상기 안내 정보는 상기 터치 입력이 입력된 경우에 한하여 출력되고, 상기 터치 입력이 입력되지 않으면 출력되지 않는다.
도 12b에 도시된 바와 같이, 이후 탑승객의 시선이 변경되고 새로운 터치 입력이 인가되는 경우, 새로운 터치 입력에 응답하여 안내 정보(1210->1230)를 업데이트 할 수 있다.
상기 프로세서(830)는 상기 터치 입력이 인가된 위치를 기준으로 상기 영상 출력 영역을 설정할 수 있다. 예를 들어, 상기 프로세서(830)는 상기 터치 입력이 인가된 위치에 근거하여 중심점을 설정하고, 상기 중심점을 기준으로 소정 크기 및 소정 형태를 가지는 영상 출력 영역을 설정할 수 있다. 탑승객의 시선이 제1지점을 향하고, 터치 입력이 제2지점에 인가되는 경우, 상기 프로세서(830)는 상기 제1지점 및 상기 제2지점을 종합적으로 고려하여 상기 영상 출력 영역을 설정할 수 있다.
상기 터치 입력에 의하여 상기 안내 정보와 상기 영상 출력 영역이 변경될 수 있다.
상기 프로세서(830)는 상기 안내 정보가 상기 영상 출력 영역에 출력되는 중에 상기 터치 입력이 상기 영상 출력 영역에 재입력되는 경우, 상기 안내 정보가 상기 영상 출력 영역에서 사라지도록 상기 영상 출력부(820)를 제어할 수 있다. 예를 들어, 도 12c에 도시된 바와 같이, 상기 안내 정보(1230)가 출력되는 중에 상기 안내 정보(1230)가 출력되는 영상 출력 영역에 상기 터치 입력이 가해지는 것에 응답하여, 상기 프로세서(830)는 상기 안내 정보(1230)가 상기 윈드실드(850)에서 사라지도록 상기 영상 출력부(820)를 제어한다.
도 13은 카메라가 촬영한 영상을 이용하여 안내 정보를 출력하는 방법을 설명하기 위한 흐름도이고, 도 14는 도 13의 방법을 설명하기 위한 개념도이다.
상기 프로세서(830)는 차량에 구비된 카메라로부터 영상을 수신할 수 있다(S1310).
차량에 구비된 모든 카메라로부터 영상을 수신할 수 있다. 또는, 차량에 구비된 복수의 카메라들 중 탑승객이 탑승한 좌석에 근거하여 하나 또는 그 이상의 카메라들을 선택하고, 선택된 카메라로부터만 영상을 수신할 수 있다. 예를 들어, 탑승객이 차량(100)의 전방을 기준으로 좌측에 탑승한 경우, 상기 차량(100)의 좌측방을 촬영하는 카메라가 선택될 수 있다.
카메라가 촬영한 영상은 복수의 프레임들로 이루어진다. 상기 프로세서(830)는 상기 영상을 상기 통신부(830)를 통해 수신하고, 메모리(미도시)에 저장할 수 있다. 시간이 지남에 따라 상기 프레임들은 순차적으로 저장된다.
상기 프로세서(830)는 터치 입력이 입력된 시점으로부터 제1 기준 시간 이전에 촬영된 영상을 영상 출력 영역에 표시할 수 있다(S1330).
도 14에 도시된 바와 같이, 프레임들은 시간을 축으로 나열될 수 있으며, 상기 프레임들은 파노라마 이미지로 합성될 수 있다. 현재 시간에 대응하는 현재 프레임(1410)은 실시간으로 업데이트 될 수 있다. 그리고, 상기 프레임들 중 현재 시간을 기준으로 소정 시간(또는, 제1 기준 시간) 이전에 촬영된 과거 프레임(1420)이 특정될 수 있다.
예를 들어, 상기 제1 기준 시간이 10초로 설정되는 경우, 현재 시간을 기준으로 10초 전에 촬영된 10초 전 프레임이 선택되고, 선택된 프레임이 안내 정보로 상기 영상 출력 영역에 표시될 수 있다.
상기 차량이 이동함에 따라 상기 영상 출력 영역에 표시되는 영상은 업데이트 될 수 있다. 예를 들어, 현재 시간이 23시 20분 10초인 경우 23시 20분 0초에 촬영된 프레임이 영상 출력 영역에 표시되지만, 현재 시간이 23시 20분 15초인 경우 23시 20분 5초에 촬영된 프레임이 영상 출력 영역에 표시될 수 있다. 이는 탑승자가 바로 직전에 보았던 물체를 영상을 통해 다시 확인할 수 있도록 하기 위함이다.
상기 제1 기준 시간은 상기 차량(100)의 속도에 따라 달라질 수 있다. 상기 제1 기준 시간은 차량이 제1 속도 범위로 주행중인 경우 제1시간으로 설정되고, 차량이 제2 속도 범위로 주행중인 경우 상기 제1시간과 다른 제2시간으로 설정될 수 있다. 차량의 속도가 빠를수록 제1 기준 시간은 작아질 수 있다. 예를 들어, 제1 기준 시간은 10km로 주행 중인 경우에는 10초로 설정되지만, 100km로 주행 중인 경우에는 5초로 설정될 수 있다. 상기 차량의 속도에 따라 이동 거리가 달라지기 때문이다.
상기 프로세서(830)는 제2 기준 시간 이전에 촬영된 영상을 삭제할 수 있다(S1350).
프레임들이 계속해서 메모리에 저장되는 경우, 메모리의 공간 부족으로 새로운 프레임을 저장할 수 없는 문제가 발생한다. 상기 문제를 해결하기 위하여, 상기 프로세서(830)는 현재 시간을 기준으로 제2 기준 시간 이전에 상기 카메라에 의하여 촬영된 영상 그리고 상기 제2 기준 시간 이전에 상기 메모리에 저장된 영상 중 적어도 하나를 삭제할 수 있다. 이때, 상기 제2 기준 시간은 상기 제1 기준 시간보다 긴 것을 특징으로 한다.
에를 들어, 현재 시간을 기준으로 10초(제1 기준 시간의 예) 전에 촬영된 프레임이 안내 정보로 영상 출력 영역에 표시되며, 20초(제2 기준 시간의 예) 전에 촬영된 프레임은 삭제될 수 있다.
도 15는 복수의 프레임들을 합성해 안내 정보를 출력하는 방법을 설명하기 위한 흐름도이고, 도 16a 및 도 16b는 도 15의 방법을 설명하기 위한 개념도들이다.
상기 프로세서(830)는 소정 시간 범위 내에 촬영된 복수의 프레임들을 하나의 정지 이미지로 합성할 수 있다(S1510).
예를 들어, 도 16a에 도시된 바와 같이, 상기 소정 시간 범위(t)는 상기 제1 기준 시간부터 상기 터치 입력이 입력된 시점일 수 있다.
상기 소정 시간 범위는 실시 예에 따라 다양하게 변형될 수 있다. 나아가, 도 13에서 상술한 바와 같이, 제1 기준 시간이 달라짐에 따라 상기 소정 시간 범위도 변경될 수 있다.
상기 프로세서(830)는 각 프레임에서 상기 영상 출력 영역에 대응하는 적어도 일부분을 추출하고, 추출된 일부분을 이용하여 정지 이미지(1610)를 합성할 수 있다. 각 프레임의 전체 영역이 합성되는 것이 아니라, 각 프레임의 일부 영역이 추출되어 정지 이미지(1610)로 합성될 수 있다. 추출되는 일부 영역은 상기 영상 출력 영역에 대응하는 부분이며, 상기 영상 프레임 영역의 크기와 일치하는 일부 영역이 추출되기 때문에, 탑승객이 자신이 원하는 일부 정보만 확인할 수 있다.
상기 프로세서(830)는 상기 정지 이미지를 영상 출력 영역에 표시할 수 있다(S1530).
상기 정지 이미지(1610)는 상기 영상 출력 영역의 배경 이미지로 표시되고, 상기 정지 이미지(1610) 상에 상기 프로세서(830)에 의해 탐색된 물체의 안내 정보가 표시될 수 있다. 이를 통해, 증강 현실뿐만 아니라 가상 현실을 이용한 사용자 인터페이스가 제공될 수 있다.
상기 프로세서(830)는 사용자 입력에 근거하여 상기 소정 시간 범위를 변경할 수 있다(S1550).
구체적으로, 상기 프로세서(830)는, 상기 정지 이미지가 출력되고 있는 상기 영상 출력 영역에 가해지는 사용자 입력에 근거하여 상기 시간 범위를 변경할 수 있다. 상기 시간 범위가 변경됨에 따라 상기 영상 출력 영역에 표시되는 정지 이미지가 변경될 수 있다.
얘를 들어, 상기 영상 출력 영역에 드래그 입력이 가해지는 경우, 드래그 방향에 따라 상기 소정 시간 범위의 시작 시간 및/또는 종료 시간이 변경될 수 있다. 상기 시간 범위가 변경됨에 따라 상기 영상 출력 영역에 표시되는 정지 이미지(1610->1620)가 변경될 수 있다.
도 17은 본 발명에 따른 차량 제어 장치의 일 동작을 설명하기 위한 예시도이다.
도 17을 참조하면, 차량이 주행하는 동안 탑승객이 윈드실드를 통해 바라보게 되는 외부 전경(1710)이 도시되어 있다. 탑승객은 윈드실드의 물리적 한계 때문에 특정 시점에서 외부 전경(1710)의 일부(1720)를 시각적으로 인지할 수 있다.
탑승객의 시선에 의하여 영상 출력 영역(1730)이 설정되며, 상기 영상 출력 영역(1730)에는 탑승객이 상기 영상 출력 영역(1730)을 통해 소정 시간 이전에 바라본 과거 영상(1740)이 출력될 수 있다.
이로써, 탑승객은 과거에 봤던 물체를 과거 영상을 통해 다시 확인할 수 있으며, 상기 과거 영상에는 상기 물체와 관련된 안내 정보가 포함될 수 있다. 차량(100)은 움직이지만, 탑승객은 바로 직전에 봤던 물체에 관한 정보를 제공받을 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드(또는, 애플리케이션이나 소프트웨어)로서 구현하는 것이 가능하다. 상술한 자율 주행 차량의 제어 방법은 메모리 등에 저장된 코드에 의하여 실현될 수 있다.
컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 윈드실드를 구비한 차량을 제어하는 차량 제어 장치로서,
    상기 윈드실드에 시각정보를 출력하는 영상 출력부; 및
    탑승객에 근거하여 상기 윈드실드의 일부 영역을 영상 출력 영역으로 설정하고, 상기 영상 출력 영역에 시각정보가 표시되도록 상기 영상 출력부를 제어하는 프로세서를 포함하며,
    상기 프로세서는,
    상기 차량의 외부에 위치한 물체들 중 상기 탑승객의 시선을 기준으로 상기 영상 출력 영역과 중첩되는 하나 또는 그 이상의 물체들을 탐색하고, 탐색된 물체를 안내하는 안내 정보가 상기 영상 출력 영역에 표시되도록 상기 영상 출력부를 제어하는 것을 특징으로 하는 차량 제어 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    기 설정된 터치 입력이 상기 윈드실드에 가해지는 것에 응답하여 상기 안내 정보를 출력하는 것을 특징으로 하는 차량 제어 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 터치 입력이 입력된 시점으로부터 제1 기준 시간 이전에 촬영된 영상이 상기 영상 출력 영역에 표시되도록 상기 영상 출력부를 제어하는 것을 특징으로 하는 차량 제어 장치.
  4. 제3항에 있어서,
    상기 제1 기준 시간은 상기 차량의 속도에 따라 가변되는 것을 특징으로 하는 차량 제어 장치.
  5. 제3항에 있어서,
    상기 프로세서는,
    소정 시간 범위 내에 촬영된 복수의 프레임들을 하나의 정지 이미지로 합성하며, 상기 정지 이미지가 상기 영상 출력 영역에 표시되도록 상기 영상 출력부를 제어하는 것을 특징으로 하는 차량 제어 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    각 프레임에서 상기 영상 출력 영역에 대응하는 일부분을 추출하고, 추출된 일부분을 이용하여 상기 정지 이미지를 합성하는 것을 특징으로 하는 차량 제어 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 정지 이미지가 출력되고 있는 상기 영상 출력 영역에 가해지는 사용자 입력에 근거하여 상기 소정 시간 범위를 변경하며,
    상기 소정 시간 범위가 변경됨에 따라 상기 정지 이미지가 변경되는 것을 특징으로 하는 차량 제어 장치.
  8. 제3항에 있어서,
    상기 차량에 구비된 카메라로부터 상기 영상을 수신하는 통신부를 더 포함하는 것을 특징으로 하는 차량 제어 장치.
  9. 제8항에 있어서,
    상기 카메라로부터 수신된 영상을 저장하는 메모리를 더 포함하며,
    상기 프로세서는,
    제2 기준 시간 이전에 상기 카메라에 의하여 촬영된 영상 그리고 상기 제2 기준 시간 이전에 상기 메모리에 저장된 영상 중 적어도 하나를 삭제하며,
    상기 제2 기준 시간은 상기 제1 기준 시간보다 긴 것을 특징으로 하는 차량 제어 장치.
  10. 제3항에 있어서,
    상기 차량이 이동함에 따라 상기 영상이 업데이트 되는 것을 특징으로 하는 차량 제어 장치.
  11. 제3항에 있어서,
    상기 프로세서는,
    상기 영상에서 상기 탑승객의 관심 물체를 탐색하고, 상기 관심 물체를 안내하는 관심 물체 안내 정보가 상기 영상 출력 영역에 표시되도록 상기 영상 출력부를 제어하는 것을 특징으로 하는 차량 제어 장치.
  12. 제11항에 있어서,
    상기 관심 물체 안내 정보는 상기 탑승객에 따라 달라지는 것을 특징으로 하는 차량 제어 장치.
  13. 제2항에 있어서,
    상기 프로세서는,
    상기 터치 입력이 인가된 위치를 기준으로 상기 영상 출력 영역을 설정하는 것을 특징으로 하는 차량 제어 장치.
  14. 제2항에 있어서,
    상기 프로세서는,
    상기 안내 정보가 상기 영상 출력 영역에 출력되는 중에 상기 터치 입력이 상기 영상 출력 영역에 재입력되는 경우, 상기 안내 정보가 상기 영상 출력 영역에서 사라지도록 상기 영상 출력부를 제어하는 것을 특징으로 하는 차량 제어 장치.
  15. 제2항에 있어서,
    상기 프로세서는,
    상기 차량의 외부에 위치한 물체들 중 상기 탑승객의 시선 및 상기 터치 입력이 입력된 위치가 중첩되는 하나 또는 그 이상의 물체들을 탐색하는 것을 특징으로 하는 차량 제어 장치.
  16. 제1항에 있어서,
    상기 프로세서는,
    상기 차량이 이동함에 따라 하나 또는 그 이상의 물체들을 재탐색하고, 재탐색된 물체를 안내하도록 상기 안내 정보를 업데이트 하는 것을 특징으로 하는 차량 제어 장치.
  17. 제1항에 있어서,
    상기 영상 출력 영역의 크기 및 위치 중 적어도 하나는 상기 탑승객에 따라 가변되는 것을 특징으로 하는 차량 제어 장치.
  18. 제1항에 있어서,
    상기 영상 출력 영역의 크기 및 위치 중 적어도 하나는 상기 차량의 위치에 따라 가변되는 것을 특징으로 하는 차량 제어 장치.
  19. 제1항에 있어서,
    상기 영상 출력 영역의 크기 및 위치 중 적어도 하나는 상기 탑승객이 탑승한 좌석의 시트 포지션에 따라 가변되는 것을 특징으로 하는 차량 제어 장치.
  20. 제1항에 있어서,
    상기 영상 출력 영역의 크기 및 위치 중 적어도 하나는 상기 차량의 속도에 따라 가변되는 것을 특징으로 하는 차량 제어 장치.
PCT/KR2019/004147 2018-04-12 2019-04-08 차량 제어 장치 및 그것을 포함하는 차량 WO2019198998A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/490,473 US20210362597A1 (en) 2018-04-12 2019-04-08 Vehicle control device and vehicle including the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0042517 2018-04-12
KR20180042517 2018-04-12

Publications (1)

Publication Number Publication Date
WO2019198998A1 true WO2019198998A1 (ko) 2019-10-17

Family

ID=68164447

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004147 WO2019198998A1 (ko) 2018-04-12 2019-04-08 차량 제어 장치 및 그것을 포함하는 차량

Country Status (2)

Country Link
US (1) US20210362597A1 (ko)
WO (1) WO2019198998A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4166370A1 (en) * 2021-10-15 2023-04-19 Hyundai Mobis Co., Ltd. System for controlling vehicle based on occupant's intent
EP4137926A4 (en) * 2020-09-14 2024-01-10 Lg Electronics Inc IMAGE PROCESSING DEVICE FOR A VEHICLE AND METHOD FOR DISPLAYING VISUAL INFORMATION ON A DISPLAY CONTAINED IN A VEHICLE

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562578B2 (en) * 2019-05-30 2023-01-24 Lg Electronics Inc. Method for controlling autonomous driving vehicle
FR3107589B1 (fr) * 2020-02-21 2022-03-18 Commissariat Energie Atomique Procédé de détermination de la position et de l’orientation d’un véhicule.
CN113434620A (zh) * 2021-06-25 2021-09-24 阿波罗智联(北京)科技有限公司 显示方法、装置、设备、存储介质以及计算机程序产品
US20230069742A1 (en) * 2021-08-27 2023-03-02 Toyota Motor Engineering & Manufacturing North America, Inc. Gazed based generation and presentation of representations

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4867463B2 (ja) * 2006-05-09 2012-02-01 株式会社デンソー 運転支援装置
KR20130104821A (ko) * 2012-03-15 2013-09-25 에스케이텔레콤 주식회사 차량의 정보 표시 시스템 및 방법
KR101548082B1 (ko) * 2014-08-22 2015-08-27 박교성 투명 디스플레이를 이용한 안전 하차 영상제공 시스템
KR20160076294A (ko) * 2014-12-22 2016-06-30 엘지전자 주식회사 차량 제어 장치 및 그 제어 방법
KR101737737B1 (ko) * 2016-09-06 2017-05-18 덴소코리아일렉트로닉스 주식회사 차량용 카메라 hud 통합 클러스터 시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3931337B2 (ja) * 2003-09-30 2007-06-13 マツダ株式会社 車両用情報提供装置
KR20100004450A (ko) * 2008-07-04 2010-01-13 박상희 자동급수 다단화분
US8963949B2 (en) * 2009-04-22 2015-02-24 Qualcomm Incorporated Image selection and combination method and device
KR20140031369A (ko) * 2011-06-17 2014-03-12 로베르트 보쉬 게엠베하 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 방법 및 장치
JP6107590B2 (ja) * 2013-10-16 2017-04-05 株式会社デンソー ヘッドアップディスプレイ装置
KR102179154B1 (ko) * 2013-11-27 2020-11-16 한국전자통신연구원 투명 디스플레이를 이용한 전자기기 제어방법 및 이를 이용한 장치
KR102227087B1 (ko) * 2014-07-08 2021-03-12 엘지전자 주식회사 글래스 타입 단말기 및 그것의 제어방법
JP6987341B2 (ja) * 2017-10-24 2021-12-22 マクセル株式会社 情報表示装置およびその空間センシング装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4867463B2 (ja) * 2006-05-09 2012-02-01 株式会社デンソー 運転支援装置
KR20130104821A (ko) * 2012-03-15 2013-09-25 에스케이텔레콤 주식회사 차량의 정보 표시 시스템 및 방법
KR101548082B1 (ko) * 2014-08-22 2015-08-27 박교성 투명 디스플레이를 이용한 안전 하차 영상제공 시스템
KR20160076294A (ko) * 2014-12-22 2016-06-30 엘지전자 주식회사 차량 제어 장치 및 그 제어 방법
KR101737737B1 (ko) * 2016-09-06 2017-05-18 덴소코리아일렉트로닉스 주식회사 차량용 카메라 hud 통합 클러스터 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4137926A4 (en) * 2020-09-14 2024-01-10 Lg Electronics Inc IMAGE PROCESSING DEVICE FOR A VEHICLE AND METHOD FOR DISPLAYING VISUAL INFORMATION ON A DISPLAY CONTAINED IN A VEHICLE
EP4166370A1 (en) * 2021-10-15 2023-04-19 Hyundai Mobis Co., Ltd. System for controlling vehicle based on occupant's intent

Also Published As

Publication number Publication date
US20210362597A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
WO2017155219A1 (en) Vehicle control device mounted in vehicle and control method thereof
WO2018056536A1 (ko) 계기판 디스플레이 및 그것을 포함하는 차량
WO2019198998A1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
WO2017138702A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2018056538A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2018088615A1 (ko) 차량 주행 제어 장치 및 방법
WO2019117333A1 (ko) 차량에 구비된 디스플레이 장치 및 디스플레이 장치의 제어방법
WO2018169162A1 (ko) 차량 제어 장치를 구비한 차량 및 차량의 제어방법
WO2019098434A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2018110762A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2018097423A1 (ko) 자율 주행 차량 및 자율 주행 차량의 동작 방법
WO2017155199A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2020017677A1 (ko) 영상 출력 장치
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2022154323A1 (ko) 차량과 연동된 디스플레이 장치 및 그것의 동작방법
WO2018110789A1 (en) Vehicle controlling technology
WO2019132078A1 (ko) 차량에 구비된 디스플레이 장치
WO2020080566A1 (ko) 전자 제어 장치 및 통신 장치
WO2019054719A1 (ko) 차량 운전 보조 장치 및 차량
WO2018139708A1 (ko) 차량용 전자 디바이스 해킹 테스트 장치
WO2019151575A1 (ko) 차량 단말기 및 그것을 포함하는 운송 시스템의 제어방법
EP3426536A1 (en) Vehicle control device mounted in vehicle and control method thereof
WO2021141145A1 (ko) 영상 출력 장치 및 그것의 제어 방법
WO2020213772A1 (ko) 차량 제어 장치 및 그 장치의 제어 방법
WO2018236012A1 (ko) 입출력 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19785276

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19785276

Country of ref document: EP

Kind code of ref document: A1