WO2021194254A1 - 차량에 탑재된 cms 사이드 디스플레이(camera monitoring system side display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법 - Google Patents

차량에 탑재된 cms 사이드 디스플레이(camera monitoring system side display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2021194254A1
WO2021194254A1 PCT/KR2021/003647 KR2021003647W WO2021194254A1 WO 2021194254 A1 WO2021194254 A1 WO 2021194254A1 KR 2021003647 W KR2021003647 W KR 2021003647W WO 2021194254 A1 WO2021194254 A1 WO 2021194254A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
side display
cms
display
Prior art date
Application number
PCT/KR2021/003647
Other languages
English (en)
French (fr)
Inventor
신승우
김혜원
이상건
조윤지
최경림
황우석
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021194254A1 publication Critical patent/WO2021194254A1/ko
Priority to US17/951,623 priority Critical patent/US11858424B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0005—Dashboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel

Definitions

  • the present disclosure relates to a method for an electronic device mounted on a vehicle to display an image of a surrounding environment photographed using an external camera of a CMS (Camera Monitoring System) on a CMS side display and to switch a view of the image, and an electronic device. It's about
  • the side view mirrors disposed on the left and right sides of the vehicle are composed of a mirror and a housing for changing lanes or checking surrounding conditions such as surrounding vehicles and pedestrians.
  • a camera monitoring system including an external camera and a display.
  • the recently used CMS provides a user experience similar to that of a side mirror composed of existing mirrors by displaying images of the surrounding environment captured using an external camera on the CMS side display as it is.
  • the CMS side display displays an image of the surrounding environment captured through a specific viewing angle, and there is a limit to the viewing angle that the driver cannot check with respect to a blind spot that cannot be photographed with an external camera,
  • a problem may occur in the driver's judgment. Accordingly, a conscious and additional action is required for the driver to directly visually check the external environment outside the vehicle window.
  • the conventional Blind Spot Monitoring System simply provides a presence/absence notification function regarding whether there is a nearby vehicle in a blind spot that cannot be checked by the driver's viewing angle, There is a limit to making detailed driving judgments. For safe driving, it is necessary to clearly and visually provide the driver with information about changes in the surrounding environment while driving.
  • the existing CMS side display requires a touch input or operation of a related button in order to check information of the surrounding environment related to driving.
  • the present disclosure recognizes the surrounding environment from the surrounding environment image taken through the external camera included in the CMS, and the view of the image displayed on the CMS side display based on the change of the surrounding environment in situations such as lane change or intersection entry. ), obtains surrounding environment information, and displays a user interface (UI) related to lane change, and an operation method thereof.
  • UI user interface
  • FIG. 1 is a conceptual diagram illustrating an operation of an electronic device including a camera monitoring system (CMS) mounted on a vehicle according to the present disclosure.
  • CMS camera monitoring system
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating a configuration of a vehicle sensor module according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating each component of a CMS mounted on a vehicle of the present disclosure.
  • 5A to 5D are diagrams illustrating an embodiment of a CMS side display (Camera Monitoring System-Side Display) of the present disclosure.
  • 6A and 6B are diagrams illustrating an embodiment of switching a view of an image displayed on a CMS side display when an electronic device of the present disclosure recognizes a lane change signal of a vehicle.
  • FIGS. 7A to 7C are diagrams illustrating an image displayed on a CMS side display of the present disclosure and an embodiment of a lane change UI.
  • FIG. 8 is a flowchart illustrating a method of operating an electronic device according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a method of operating an electronic device according to an embodiment of the present disclosure.
  • an electronic device of the present disclosure recognizes a situation including a lane change signal and a lane departure of a vehicle, and switches a view of an image displayed on a CMS side display based on the recognized situation It is the drawing shown.
  • 11A is a diagram illustrating an embodiment in which an electronic device of the present disclosure changes a field of view (FOV) of an image displayed on the CMS side display based on a change in the distance between the CMS side display and the driver.
  • FOV field of view
  • 11B is a diagram illustrating an embodiment in which the electronic device of the present disclosure changes a field of view (FOV) of an image displayed on the CMS side display based on a change in the distance between the CMS side display and the driver.
  • FOV field of view
  • FIG. 12 is a diagram illustrating an embodiment in which an electronic device of the present disclosure changes a viewing angle of an image displayed on a CMS side display based on a hand gesture of an occupant in a vehicle.
  • FIG. 13 is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a top view image on a center information display (CID).
  • CID center information display
  • FIG. 14A is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a top view image on a CMS side display and a central display (CID) in the case of a Left-Hand Drive (LHD).
  • CID central display
  • FIG. 14B is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a top view image on a CMS side display and a central display (CID) in the case of a right-hand drive (RHD).
  • CID central display
  • RHD right-hand drive
  • an embodiment of the present disclosure provides a method of displaying an image on a CMS side display by an electronic device mounted on a vehicle.
  • the method includes the steps of displaying a first image, which is an image of the surrounding environment obtained by photographing the surrounding environment on the left and right sides of the vehicle using an external camera disposed on the side of the vehicle, through a CMS side display (Camera Monitoring System side display); Recognizing a lane change signal, in response to the recognized lane change signal, a top view of displaying the first image displayed on the CMS side display as a virtual image such as looking down from the top of the vehicle and the positions of the vehicle and surrounding vehicles view) switching to a second image that is an image, displaying the second image, and displaying a lane change user interface (UI) indicating information on whether lane change is possible on the second image.
  • UI lane change user interface
  • a user input for turning on a turn signal may be recognized by manipulating a turn signal manipulation unit of the vehicle.
  • the step of recognizing the lane change signal may recognize a turn or lane change based on driving route information of a navigation system of the vehicle.
  • the step of displaying the lane change UI regarding whether the lane change is possible may include: a lane recognized from the surrounding environment image, a location of a surrounding vehicle, a relative speed between the vehicle and a surrounding vehicle, a distance between the vehicle and the surrounding vehicle, and a vehicle and a UI related to driving environment information including at least one of an expected entry path of a nearby vehicle may be displayed.
  • the displaying of the second image may include overlaying and displaying an image of the surrounding environment obtained through the CMS view camera on the top view image.
  • the method includes the steps of recognizing a lane departure in which the vehicle departs from a first lane in which the vehicle is currently driving and enters a second lane, which is an expected entry lane, by a preset range; in response to the recognized lane departure, the CMS side display
  • the method may further include converting the second image displayed on the second image to a third image including only the top view image excluding the overlaid surrounding environment image, and displaying the third image on the CMS side display.
  • the method includes acquiring an occupant image using a camera mounted inside the vehicle, and at least one of a head position, a head rotation direction, and a gaze direction of the occupant from the acquired occupant image
  • Obtaining position information of an occupant comprising: measuring a distance between an occupant and a CMS side display based on the obtained occupant position information, and a field of view of a second image based on the measured distance It may further include the step of enlarging or reducing (zoom in or out).
  • the method includes a hand gesture including at least one of a pinch in or out and a palm swipe of a vehicle occupant using a hand gesture sensor mounted inside the vehicle.
  • a hand gesture sensor mounted inside the vehicle may further include recognizing an input, and enlarging or reducing a viewing angle of the second image based on the recognized hand gesture input.
  • the displaying of the second image may include displaying the second image on a CMS side display and a center information display (CID) of the vehicle.
  • CID center information display
  • the method further includes recognizing a direction of a turn signal light lit by a driver's input, and displaying the second image includes the step of displaying the second image on a central display based on the recognized direction of the turn signal light.
  • the second image may be displayed.
  • an embodiment of the present disclosure is an external camera that is disposed on left and right side surfaces of the exterior of a vehicle and acquires a first image that is an image of the surrounding environment by photographing the surrounding environment of the vehicle, the inside of the vehicle It is disposed in the CMS side display for displaying an image of the surrounding environment, a memory for storing a program including one or more instructions for controlling an electronic device, and a processor for executing one or more instructions of the program stored in the memory and the processor recognizes the lane change signal of the vehicle, and in response to the recognized lane change signal, converts the first image displayed on the CMS side display into a virtual image such as looking down at the location of the vehicle and surrounding vehicles from the top of the vehicle.
  • Switches to a second image which is a top view image to be displayed, controls the CMS side display to display the second image, and displays information on whether lane change is possible on the second image.
  • Interface to provide an electronic device for displaying an image using a CMS (Camera Monitoring System) of a vehicle.
  • the processor recognizes a user input for turning on a turn signal by manipulating a turn signal operation unit of the vehicle, and converts a first image displayed on the CMS side display to a second image based on the user input. can be converted to
  • the processor includes at least one of a lane recognized from the surrounding environment image, the location of the surrounding vehicle, the relative speed between the vehicle and the surrounding vehicle, the distance between the vehicle and the surrounding vehicle, and an expected entry path of the vehicle and the surrounding vehicle.
  • a UI related to driving environment information may be displayed on the CMS side display.
  • the processor may control the CMS side display to overlay and display an image of the surrounding environment acquired through an external camera on the top view image.
  • the processor recognizes a lane departure in which the vehicle departs from the first lane in which the vehicle is currently driving and enters the second lane, which is the expected entry lane, by a predetermined range, and in response to the recognized lane departure, on the CMS side display
  • the CMS side display may be controlled to switch from the second image displayed on the screen to the third image including only the top view image excluding the overlaid surrounding environment image, and display the third image.
  • the electronic device is mounted inside the vehicle and further includes an internal camera configured to acquire an image of the occupant by photographing the occupant, and the processor determines the position of the occupant's head, the direction of head rotation, and the gaze from the occupant image.
  • Obtaining the position information of the occupant including at least one of the directions, measuring the distance between the driver and the CMS side display based on the obtained occupant position information, and the field of view of the second image based on the measured distance ) can be enlarged or reduced (zoom in or out).
  • the electronic device may further include a hand gesture sensor mounted inside the vehicle and configured to recognize at least one of a pinch-in-out and a palm swipe of the vehicle occupant, and the processor may be configured to perform the vehicle occupant's gesture through the hand gesture sensor.
  • the hand gesture may be recognized, and the viewing angle of the second image may be enlarged or reduced based on the recognized hand gesture input.
  • the electronic device may further include a center information display disposed on a dashboard of the vehicle, and the processor may display the second image on the CMS side display and the central display. .
  • the processor may recognize a direction of a turn indicator light turned on by a driver's input, and control the central display to display a second image on the central display based on the recognized direction of the turn indicator light.
  • another embodiment of the present disclosure provides a computer-readable recording medium in which a program for execution in a computer is recorded.
  • the expression “configured to (or configured to)” depends on the context, for example, “suitable for”, “having the capacity to” It can be used interchangeably with “,” “designed to”, “adapted to”, “made to”, or “capable of”.
  • the term “configured (or configured to)” may not necessarily mean only “specifically designed to” in hardware. Instead, in some circumstances, the expression “a system configured to” may mean that the system is “capable of” with other devices or components.
  • a processor configured (or configured to perform) A, B, and C refers to a dedicated processor (eg, an embedded processor) for performing the operations, or by executing one or more software programs stored in memory; It may refer to a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.
  • FIG. 1 is a conceptual diagram illustrating an operation of an electronic device 1000 including a camera monitoring system (CMS) mounted on a vehicle according to the present disclosure.
  • CMS camera monitoring system
  • the electronic device 1000 includes an external camera 1110 disposed outside of a vehicle, a CMS side display (Camera Monitoring System-Side Display) 1310L, 1310R, and a center information display (CID). ) (1320).
  • the external camera 1110 and the CMS side display 1310L, 1310R may constitute a CMS.
  • components included in the electronic device 1000 are not limited to those illustrated in FIG. 1 . Components of the electronic device 1000 will be described in detail in the description of FIG. 2 .
  • the external camera 1110 may be disposed on left and right sides of the outside of the vehicle.
  • the external camera 1110 may acquire an image of the surrounding environment by photographing the surrounding environment of the left, right, and rear of the vehicle in real time.
  • the external camera 1110 may photograph a moving object including at least one of a surrounding vehicle, a two-wheeled vehicle, and a pedestrian located in the surrounding environment on the left and right sides and rear of the vehicle.
  • the CMS side displays 1310L and 1310R may display the surrounding environment image 100 photographed through the external camera 1110 .
  • the CMS side displays 1310L and 1310R are arranged on the right side with respect to the left CMS side display 1310L and the steering wheel disposed on the left side of the steering wheel, and the right side CMS side display disposed adjacent to the passenger seat ( 1310R).
  • the CMS side displays 1310L and 1310R are not limited to the shape and arrangement shown in FIG. 1 .
  • An embodiment of the CMS side display 1310 of the present disclosure will be described in detail with reference to FIGS. 5A to 5D .
  • the electronic device 1000 recognizes a lane change signal of the vehicle, and in response to the recognized lane change signal, displays the surrounding environment image 100 displayed on the CMS side displays 1310L and 1310R as a top view image ( 110) to display.
  • the top view image 110 refers to an image of a view such as looking down on the surrounding environment of the vehicle from the top of the vehicle using a Surround View Monitoring System (SVM) pre-installed in the vehicle.
  • SVM Surround View Monitoring System
  • the electronic device 1000 converts the surrounding environment image 100 displayed on the CMS side displays 1310L and 1310R into the top view image 110 in response to the lane change signal, and the surrounding environment image 100 ) may be reduced and displayed by overlaying it on the top view image 110 .
  • the electronic device 1000 recognizes a user input for activating (turns on) a left or right turn signal by manipulating the turn indicator operation unit 2100, and based on the recognized user input, the CMS
  • the image of the surrounding environment displayed on the side display 1310 may be converted into a top view image and displayed.
  • the electronic device 1000 may switch a view of an image displayed on one of the left CMS side display 1310L and the right CMS side display 1310R based on the direction of the turned on direction indicator. For example, when a user input for illuminating the left direction indicator is received through an input of pressing the direction indicator manipulation unit 2100 in a downward direction, the electronic device 1000 displays an image of the surrounding environment displayed on the left CMS side display 1310L.
  • the electronic device 1000 displays an image of the surrounding environment displayed on the right CMS side display 1310R ( 100 ) may be converted into the top view image 110 , and the top view image 110 may be displayed.
  • the electronic device 1000 recognizes a turn or lane change based on driving route information of the navigation system, and the CMS side displays 1310L and 1310R based on the recognized turn or lane change signal.
  • the surrounding environment image 100 displayed on the screen may be converted into the top view image 110 and displayed.
  • the driving route information of the navigation system may be displayed on the central display 1320 .
  • the electronic device 1000 may display a lane change user interface (UI) 120 indicating information on whether a lane change is possible on the top view image 110 .
  • the electronic device 1000 determines from the surrounding environment image 100 a lane, a location of a nearby vehicle, a relative speed between the own vehicle and a nearby vehicle, a distance between the own vehicle and a nearby vehicle, and an expected entry path of the surrounding vehicle.
  • Driving environment information including at least one may be acquired, and a lane change possibility may be determined based on the acquired driving environment information.
  • the electronic device 1000 may display the lane change UI 120 determined based on the driving environment information on the CMS side displays 1310L and 1310R.
  • the lane change UI 120 may display a warning mark by overlaying a warning mark on the surrounding vehicles of the own vehicle or display a warning phrase (eg, 'rear collision warning').
  • a warning phrase eg, 'rear collision warning'.
  • the electronic device 1000 may output a warning sound when an unexpected situation occurs, such as when a nearby vehicle suddenly increases speed or when a nearby vehicle suddenly changes a driving lane.
  • the conventional CMS side display provides a user experience similar to that of a conventional side mirror composed of a mirror by displaying only the surrounding environment image 100 photographed using the external camera 1110 .
  • the conventional CMS side display displays only the surrounding environment image 100 photographed through a specific viewing angle, and there is a limit of the viewing angle that the driver cannot check with respect to the blind spot that cannot be photographed with the external camera 1110, and the lane
  • a conscious and additional action is required for the driver to directly visually check the external environment outside the vehicle window in situations such as lane change or turn, and inconvenience exists.
  • the conventional conventional blind spot monitoring system (Blind Spot Monitoring System; BSMS) simply provides the presence/absence notification function regarding whether there are nearby vehicles in the blind spot that cannot be checked by the driver's viewing angle, There was a limit to making detailed driving judgments in the situation. For safe driving, it is necessary to clearly and visually provide the driver with information about changes in the surrounding environment while driving.
  • the electronic device 1000 of the present disclosure recognizes a signal that the vehicle intends to change a lane, and displays the surrounding environment image 100 displayed on the CMS side displays 1310L and 1310R based on the lane change signal as a top view image 110 . , and display the lane change UI 120 indicating information on the lane change possibility on the top view image 110 to provide a user experience (User eXperience; UX) differentiated from the conventional CMS side display can do.
  • UX User eXperience
  • the electronic device 1000 of the present disclosure provides a lane, a location of a nearby vehicle, a relative speed between the own vehicle and a nearby vehicle, a distance between the own vehicle and a nearby vehicle, and an expected entry path of the surrounding vehicle.
  • the electronic device 1000 of the present disclosure is displayed on the expected entry path of the own vehicle and surrounding vehicles through the CMS side displays 1310L and 1310R.
  • the driver can predict the vehicle's judgment and driving method, thereby securing reliability for autonomous driving.
  • the electronic device 1000 may be a device mounted on a vehicle and controlling a Camera Monitoring System (CMS).
  • CMS Camera Monitoring System
  • the electronic device 1000 includes a camera 1100 , an external sensor 1200 , a display unit 1300 , a processor 1400 , a memory 1500 , a transceiver 1600 , and a user input unit 1700 .
  • the camera 1100, the external sensor 1200, the display unit 1300, the processor 1400, the memory 1500, the transceiver 1600, and the user input unit 1700 may be electrically and/or physically connected to each other, respectively. have.
  • the components illustrated in FIG. 2 are only according to an embodiment of the present disclosure, and components included in the electronic device 1000 are not limited to those illustrated in FIG. 2 .
  • the electronic device 1000 may not include some of the components illustrated in FIG. 2 , and may further include components not illustrated in FIG. 2 .
  • the camera 1100 may include an external camera 1110 and an internal camera 1120 .
  • the camera 1100 includes an image sensor, such as a complementary metal-oxide semiconductor (CMOS), charge-coupled device (CCD), or active pixel sensor, and a linear lens, a concave lens, a convex lens, a wide angle lens, or a fish eye lens. ) may include a lens such as at least one of.
  • CMOS complementary metal-oxide semiconductor
  • CCD charge-coupled device
  • active pixel sensor a linear lens, a concave lens, a convex lens, a wide angle lens, or a fish eye lens.
  • the camera 1100 may be analog or digital.
  • camera 1100 may include an infrared illumination output device.
  • the external camera 1110 may be disposed on left and right sides of the outside of the vehicle. However, the present invention is not limited thereto, and the external camera 1110 may be disposed not only on the left and right sides of the vehicle, but also on the front and rear surfaces of the vehicle. The arrangement of the external camera 1110 will be described in detail with reference to FIG. 4 .
  • the external camera 1110 may be configured as a CMS view camera (Camera Monitoring System View Camera) for photographing a moving object including at least one of a surrounding vehicle, a two-wheeled vehicle, and a pedestrian located in the surrounding environment on the left and right sides and rear of the vehicle.
  • CMS view camera Camera Monitoring System View Camera
  • the external camera 1110 may acquire an image of the surrounding environment by capturing an image of the surrounding environment in real time, and may provide the obtained surrounding environment image to the processor 1400 .
  • the external camera 1110 may be configured as a fish eye lens camera.
  • a fisheye lens camera is a camera equipped with a wide-angle lens with a shooting angle of 180° or more. Since the surrounding environment image captured using the fisheye lens camera may have distortion, the processor 1400 corrects the surrounding environment image obtained from the external camera 1110 to generate a wide image, and the steering angle of the vehicle or the The image of the surrounding environment may be controlled according to the speed and displayed on the CMS side display 1310 .
  • the external camera 1110 may be configured as a fisheye lens camera, thereby photographing a blind spot around the vehicle and acquiring an image of the surrounding environment regarding the blind spot.
  • the 'blind spot' refers to at least one area in which the driver's field of vision is obscured by the structure of the vehicle and thus cannot be seen by the driver.
  • the external camera 1110 is not limited to a fisheye lens camera.
  • the internal camera 1120 may photograph an occupant in the vehicle and acquire an image of the occupant in real time. In one embodiment, the internal camera 1120 may photograph the face of the driver or a passenger in the passenger seat, obtain an occupant image about the face of the driver or passenger, and provide the obtained occupant image to the processor 1400. have.
  • the internal camera 1120 may be disposed on a specific area of the vehicle, for example, on a dashboard, a room mirror, or a top of a cluster.
  • the position at which the internal camera 1120 is disposed is not limited to the above-described example.
  • the internal camera 1120 may include an eye tracking sensor that captures the pupils of a driver or a passenger including a passenger in the passenger seat and detects a movement of the pupils.
  • an image analysis method or a contact lens method may be used.
  • the image analysis method is an analysis technology that detects the movement of the passenger's pupil through analysis of the passenger's image acquired in real time, and calculates the direction of the gaze based on the fixed position reflected on the cornea. It is an analysis technique that uses the light reflected by the contact lens or the magnetic field of the contact lens embedded in a coil.
  • the internal camera 1120 may acquire an image of the occupant and sense the direction of the occupant's gaze.
  • the technology used by the internal camera 1120 of the present disclosure to sense the gaze direction of the occupant is not limited to the above-described technologies.
  • the internal camera 1120 may include an infrared sensor (IR sensor), and may use the IR sensor to track the position of the passenger's pupil and sense the gaze direction.
  • IR sensor infrared sensor
  • the external sensor 1200 may include a radar sensor 1210 and an ultrasonic sensor 1220 .
  • the radar sensor 1210 and the ultrasonic sensor 1220 may be disposed on the front and rear surfaces of the vehicle, respectively.
  • the arrangement of the radar sensor 1210 and the ultrasonic sensor 1220 will be described in detail with reference to FIG. 4 .
  • the radar sensor 1210 generates an electromagnetic wave in a radio wave or microwave spectrum in order to recognize a moving object around the vehicle, for example, a nearby vehicle, a two-wheeled vehicle, a pedestrian, and the like, and radiates the electromagnetic wave. It may include a transmit antenna and a receive antenna for receiving electromagnetic waves.
  • the transmitter antenna emits radio waves (pulsed or continuous), receives the radio waves reflected from the moving object using a receiving antenna, and provides the processor 1400 with information about at least one of the position, speed, and angle of the moving object. can do.
  • the radar sensor 1210 may communicate with the processor 1400 using a wired, wireless, or waveguide method.
  • the radar sensor 1210 may include a lidar that uses ultraviolet, visible, or near-infrared light from a laser.
  • the ultrasonic sensor 1220 may include at least one transducer that converts an electric signal into an ultrasonic signal and converts an ultrasonic echo signal reflected from a moving object into an electric signal.
  • the ultrasonic sensor 1220 may transmit an ultrasonic signal to a moving object, including a nearby vehicle, a two-wheeled vehicle, or a pedestrian, positioned around the vehicle, and may receive an ultrasonic echo signal reflected from the moving object.
  • the ultrasonic sensor 1220 may provide the received ultrasonic echo signal to the processor 1400 .
  • the processor 1400 may obtain information about the position of the moving object and the distance between the moving object and the host vehicle by analyzing the ultrasonic echo signal. In an embodiment, the processor 1400 may use a method of measuring a time interval between a time point at which an ultrasound is transmitted and a time point at which an ultrasound echo signal is received in order to measure the distance to the moving object, but is not limited thereto.
  • the display unit 1300 may include a CMS side display 1310 and a central display 1320 .
  • the display unit 1300 may include, for example, an LCD display, a PDP display, an OLED display, an FED display, an LED display, a VFD display, a digital light processing (DLP) display, a flat panel display, a 3D display, and a transparent display. It may be configured as a physical device including at least one of, but is not limited thereto.
  • the display unit 1300 may be configured as a touch screen including a touch panel 1710 for recognizing a touch input of a user (eg, a driver or a passenger).
  • the CMS side display (Camera Monitoring System - Side Display) 1310 may display an image of the surrounding environment captured through the external camera 1110 .
  • the CMS side display 1310 displays a top view image, which is an image looking down from the top of the vehicle using a Surround View Monitoring System (SVM) pre-installed on the vehicle. can be displayed.
  • the top view image may be a surround view image that displays the positions of the own vehicle and surrounding vehicles as virtual images.
  • the external camera 1110 and the CMS side display 1310 may constitute the CMS.
  • the CMS may include at least one component of the electronic device 1000 .
  • the CMS side display 1310 is disposed on the right side based on the left CMS side display 1310L (see FIG. 1 ) and the steering wheel disposed on the left side of the steering wheel, and the right side CMS side disposed adjacent to the passenger seat A display 1310R (refer to FIG. 1 ) may be included, but is not limited thereto.
  • the CMS side display 1310 may be included within the vehicle's cluster display, or may be coupled within the central display 1320 .
  • An embodiment of the CMS side display 1310 of the present disclosure will be described in detail with reference to FIGS. 5A to 5D .
  • a center information display (CID) 1320 may display navigation navigation to a destination or display vehicle-related information.
  • the central display 1320 may display image content, such as a movie or a game.
  • the central display 1320 may be disposed between a driver's seat and a passenger seat on a dashboard of the vehicle.
  • the central display 1320 may display a top view image under the control of the processor 1400 .
  • An embodiment in which the top view image is displayed through the central display 1320 will be described in detail with reference to FIGS. 13, 14A, and 14B .
  • the processor 1400 may execute one or more instructions of a program stored in the memory 1500 .
  • the processor 1400 may be configured as a hardware component that performs arithmetic, logic, input/output operations and signal processing.
  • the processor 1400 may include, for example, a central processing unit (Central Processing Unit), a microprocessor (microprocessor), a graphic processing unit (Graphic Processing Unit), Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), and Digital Signal Processors (DSPDs).
  • Signal Processing Devices PLDs (Programmable Logic Devices), and FPGAs (Field Programmable Gate Arrays) may be configured as at least one, but is not limited thereto.
  • the memory 1500 is, for example, a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg, SD or XD memory). etc.), non-volatile memory including at least one of ROM (Read-Only Memory), and Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), and Random Access Memory (RAM) ) or volatile memory such as static random access memory (SRAM).
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • RAM Random Access Memory
  • SRAM static random access memory
  • the memory 1500 may store instructions, data structures, and program codes readable by the processor 1400 .
  • the processor 1400 may be implemented by executing instructions or codes of a program stored in a memory.
  • the memory 1500 recognizes a lane change signal of the vehicle, and in response to the recognized lane change signal, converts the surrounding environment image displayed on the CMS side display 1310 into a top view image and displays, Program command codes for displaying a lane change user interface (UI) indicating information on whether a lane change is possible on the view image may be stored.
  • UI lane change user interface
  • the processor 1400 includes a blind-spot monitoring system (BSMS), a surround view monitoring system (SVM), and a lane departure warning system (Lane) that are pre-installed in the vehicle.
  • BSMS blind-spot monitoring system
  • SVM surround view monitoring system
  • Lane lane departure warning system
  • a configuration implemented in hardware and software included in at least one of Departure Warning System (LDWS) may be used.
  • LDWS Departure Warning System
  • the processor 1400 and the memory 1500 may constitute a control unit.
  • the processor 1400 recognizes a lane change signal of the vehicle, and in response to the recognized lane change signal, converts the surrounding environment image displayed on the CMS side display 1310 into a top view image and displays it, and is displayed on the top view image.
  • a lane change UI indicating information on whether a lane change is possible may be displayed.
  • the processor 1400 recognizes a user input for activating (turning on) a turn signal by manipulating the turn signal manipulation unit 2100 (refer to FIG. 1 ) of the vehicle, and based on the user input, the CMS The image of the surrounding environment displayed on the side display 1310 may be converted into a top view image.
  • the processor 1400 may obtain activation (lighting) information of a turn signal according to a user input for operating the turn indicator light manipulation unit 2100 from the vehicle sensor module 2000 through the transceiver 1600 .
  • the processor 1400 is configured to display either the left CMS side display 1310L (see FIG. 1 ) or the right side CMS side display 1310R (see FIG. 1 ) based on the direction of the activated turn signal light.
  • the processor 1400 receives activation information of the left turn indicator from the transceiver 1600 . and the surrounding environment image displayed on the left CMS side display 1310L may be converted into a top view image and displayed.
  • the processor 1400 receives activation information of the right turn indicator from the transceiver 1600 and , the image of the surrounding environment displayed on the right CMS side display 1310R may be converted into a top view image and displayed.
  • the processor 1400 recognizes a turn or lane change based on route information of a navigation system pre-installed in the vehicle, and based on the recognized turn or lane change signal, the CMS side display 1310 ) can be displayed by converting the image of the surrounding environment displayed on the top view image.
  • the processor 1400 acquires driving information such as steering angle and speed from the vehicle sensor module 2000, and based on the acquired driving information and route information of the navigation system, the CMS side display ( 1310), the view of the image displayed on the screen may be switched.
  • the processor 1400 recognizes a situation of turning at an intersection using the route information of the navigation system, and when the change information of the steering angle is obtained from the vehicle sensor module 2000 in the turn situation, the CMS side display ( 1310), the image of the surrounding environment displayed on the screen may be converted into a top view image.
  • the processor 1400 converts the surrounding environment image displayed on the CMS side display 1310 into a top view image in response to the lane change signal, and reduces the frame size of the surrounding environment image to obtain a top view image. It can be overlaid on top.
  • the processor 1400 may control the CMS side display 1310 to display the top view image and the overlaid surrounding environment image.
  • the processor 1400 is configured to use the surrounding environment image to generate a lane, a location of the own vehicle and a surrounding vehicle, a relative speed between the own vehicle and a surrounding vehicle, a distance between the own vehicle and a surrounding vehicle, and an expected entry path of the surrounding vehicle.
  • Driving environment information including at least one of
  • the processor 1400 may analyze the surrounding environment image acquired through the external camera 1110 to recognize a lane and a surrounding vehicle from the surrounding environment image, and obtain location information of the surrounding vehicle.
  • the processor 1400 analyzes a plurality of image frames included in the surrounding environment image acquired in real time from the external camera 1110 to detect a surrounding vehicle moving in the vicinity of the own vehicle.
  • the processor 1400 may detect a surrounding vehicle from an image of the surrounding environment using, for example, image processing technology or machine learning including a deep neural network. have.
  • the processor 1400 may track the location of the surrounding vehicle detected from the surrounding environment image and update location information of the surrounding vehicle in real time.
  • the processor 1400 may predict the expected entry path of the surrounding vehicle by using the location information of the surrounding vehicle detected in each of a plurality of frames included in the surrounding environment image.
  • the processor 1400 tracks not only the surrounding environment image but also the location of the surrounding vehicle using the radar sensor 1210 and the ultrasonic sensor 1220, so that the location of the surrounding vehicle and the distance between the own vehicle and the surrounding vehicle are tracked. , and information on the relative speed between the own vehicle and the surrounding vehicle may be acquired.
  • a method by which the processor 1400 acquires information such as a location, speed, and expected approach path of a surrounding vehicle by using an image of the surrounding environment, a radar sensor, and an ultrasonic sensor is exemplary, and is not limited thereto.
  • the processor 1400 is based on the obtained driving environment information including at least one of the obtained location of the own vehicle and the surrounding vehicle, the relative speed between the own vehicle and the surrounding vehicle, the distance between the own vehicle and the surrounding vehicle, and the expected entry path of the surrounding vehicle. Thus, it is possible to determine the possibility of a lane change with respect to the expected lane.
  • the processor 1400 may display a lane change user interface (UI) indicating information on whether lane change is possible on the top view image displayed on the CMS side display 1310 .
  • UI lane change user interface
  • the processor 1400 recognizes whether the vehicle departs from the first lane and enters the second lane, which is the expected entry lane, by a preset range, and in response to the recognized lane departure,
  • the CMS side display 1310 may be controlled so that only the top view image is displayed on the CMS side display 1310 .
  • the processor 1400 is configured to display only the top view image excluding the surrounding environment image as lane departure is recognized.
  • the CMS side display 1310 may be controlled. An embodiment of switching the view of the image displayed on the CMS side display 1310 according to the recognition of lane departure will be described in detail with reference to FIG. 10 .
  • the processor 1400 obtains the position information of the occupant including at least one of the occupant's head position, the head rotation direction, and the gaze direction from the occupant's image obtained through the internal camera 1120,
  • the distance between the passenger and the CMS side display 1310 is measured based on the passenger's position information, and the field of view (FOV) of the top view image is enlarged or reduced based on the measured distance. can do.
  • the processor 1400 may recognize the face of the driver or the passenger in the passenger seat from the passenger image, and extract main feature points, such as eyes, nose, and mouth, from the recognized face.
  • the processor 1400 may use a known image processing technology or a machine learning-based image analysis technology using a deep neural network, but is not limited thereto.
  • the processor 1400 obtains three-dimensional position coordinate values of the extracted main feature points, and uses the obtained three-dimensional position coordinate values to obtain occupant position information including at least one of a head position, a head rotation direction, and a gaze direction of the occupant. can be obtained
  • the processor 1400 may measure the distance between the face of the occupant and the CMS side display 1310 using the three-dimensional position coordinate values of the main feature points extracted from the occupant image and the position coordinate values of the CMS side display 1310 .
  • the processor 1400 may enlarge or reduce a field of view (FOV) of the top view image displayed on the CMS side display 1310 based on the measured distance.
  • FOV field of view
  • An embodiment in which the processor 1400 adjusts the viewing angle of the top view image based on the distance between the passenger's face and the CMS side display 1310 will be described in detail with reference to FIGS. 11A and 11B .
  • the processor 1400 receives a hand gesture including at least one of a pinch in or out and a palm swipe of a passenger from the hand gesture input unit 1720 and receives the hand gesture Based on the input, the field of view (FOV) of the top view image displayed on the CMS side display 1310 may be enlarged or reduced (zoom in or out).
  • a hand gesture including at least one of a pinch in or out and a palm swipe of a passenger from the hand gesture input unit 1720 and receives the hand gesture Based on the input, the field of view (FOV) of the top view image displayed on the CMS side display 1310 may be enlarged or reduced (zoom in or out).
  • the processor 1400 may recognize a direction of a turn indicator light turned on by a driver's input, and display a top view image on the central display 1320 based on the recognized direction of the turn indicator light.
  • a top view image is displayed on the central display 1320 will be described in detail with reference to FIGS. 14A and 14B .
  • the transceiver 1600 may perform data communication between the electronic device 1000 and the vehicle sensor module 2000 mounted in the vehicle.
  • the electronic device 1000 may communicate with the vehicle sensor module 2000 according to a controller area network (CAN).
  • CAN controller area network
  • the transceiver 1600 performs CAN communication, so that the vehicle sensor module 2000 activates the turn indicator, information about the direction of the activated turn indicator, speed sensing information, vehicle steering angle information, At least one of pedal sensing information and gear lever sensing information may be received.
  • the vehicle sensor module 2000 will be described in detail with reference to FIG. 3 .
  • the user input unit 1700 may include a touch panel 1710 and a hand gesture input unit 1720 .
  • the touch panel 1710 may be coupled to the display unit 1300 to provide a touch screen.
  • the touch screen may include an integrated module in which the touch panel 1710 is coupled to the central display 1320 in a stacked structure.
  • the touch panel 1710 may be coupled to the CMS side display 1310 in a stacked structure, and the CMS side display 1310 may be implemented as a touch screen.
  • a user's touch input may be received and a graphical user interface (GUI) may be displayed.
  • GUI graphical user interface
  • the touch panel 1710 may detect a user's touch input and output a touch event value corresponding to the sensed touch signal.
  • the touch panel 1710 may be implemented with various types of touch sensors, such as a capacitive type, a pressure sensitive type, a piezoelectric type, and the like.
  • the hand gesture input unit 1720 may recognize at least one of a pinch in or out and a palm swipe input of a vehicle occupant.
  • FIG. 3 is a block diagram illustrating a configuration of a vehicle sensor module 2000 according to an embodiment of the present disclosure.
  • the vehicle sensor module 2000 is mounted on the vehicle, detects the operation of the vehicle's turn indicator, speed, steering angle, pedal, and gear lever, etc. to obtain information related to the vehicle's driving, driving and Related information may be provided to the electronic device 1000 .
  • the vehicle sensor module 2000 may transmit information related to driving of a vehicle to the electronic device 1000 through the transceiver 1600 of the electronic device 1000 .
  • the vehicle sensor module 2000 may perform controller area network (CAN) communication with the electronic device 1000 .
  • CAN controller area network
  • the vehicle sensor module 2000 is a separate component from the electronic device 1000 .
  • the present invention is not limited thereto, and at least one component included in the vehicle sensor module 2000 may be included in the electronic device 1000 .
  • the vehicle sensor module 2000 may include a turn indicator sensor 2010 , a speed sensor 2020 , a steering angle sensor 2030 , a pedal sensor 2040 , and a gear lever sensor 2050 .
  • the turn indicator sensor 2010 may detect whether the turn indicator lamp is activated by the driver's manipulation.
  • the turn indicator sensor 2010 may detect the direction of the turned on the turn indicator and transmit information about the sensed turn indicator lighting direction to the electronic device 1000 .
  • the turn indicator sensor 2010 may obtain information regarding which direction indicator lamp among a left turn indicator and a right turn indicator is turned on.
  • the speed sensor 2020 may detect a driving speed of the vehicle and transmit driving speed information to the electronic device 1000 .
  • the steering angle sensor 2030 may detect a steering angle of the vehicle by manipulation of a steering wheel and transmit steering angle information to the electronic device 1000 .
  • the pedal sensor 2040 may detect a pressure according to a driver's manipulation of the accelerator pedal or the brake pedal, and transmit information about the pressure applied to the pedal to the electronic device 1000 .
  • the gear lever sensor 2050 may detect manipulation of the transmission gear lever by the driver's manipulation, and transmit information on manipulation of the transmission gear lever to the electronic device 1000 .
  • the electronic device 1000 may generate a vehicle based on at least one of information regarding an activation and lighting direction of a turn indicator received from the vehicle sensor module 2000, speed information, steering angle information, pedal pressure information, and gear lever operation information. of driving and lane change signals can be recognized.
  • FIG 4 is a view showing each component of the CMS mounted on the vehicle 10 of the present disclosure.
  • an external camera 1110 a front camera 1112 , a rear camera 1114 , a radar sensor 1210 , and an ultrasonic sensor 1220 may be disposed in a vehicle 10 .
  • the external camera 1110 may be disposed on left and right sides of the vehicle 10 .
  • the external camera 1110 may acquire an image of a surrounding environment of a moving object including at least one of a surrounding vehicle, a two-wheeled vehicle, and a pedestrian by photographing the surrounding environment of the left, right, and rear of the vehicle 10 .
  • the front camera 1112 may be disposed on the front portion of the vehicle 10 .
  • the front camera 1112 may include a lane camera that captures the front of the vehicle 10 to obtain image information of a lane.
  • the rear camera 1114 may be mounted on a rear portion of the vehicle 10 , for example, a trunk, a rear bumper, a rear pillar, or a rear wind shield.
  • the rear camera 1114 may acquire a rear peripheral image by photographing the rear side of the vehicle 10 .
  • the external camera 1110 , the front camera 1112 , and the rear camera 1114 may constitute a Surround View Monitoring system (SVM).
  • SVM Surround View Monitoring system
  • the surround view monitoring system is a system that provides an image of the situation of a 360° space around the vehicle 10 as viewed from the top of the vehicle 10 in real time.
  • the surround view monitoring system corrects the distortion of the surrounding environment image captured from each of the external camera 1110 , the front camera 1112 , and the rear camera 1114 , and uses a viewpoint change and image synthesis technology to the vehicle 10 ) in the form of a bird's eye view, it is possible to create a top view image such as looking down from the top.
  • a radar sensor 1210 may be disposed on the front portion of the vehicle 10 .
  • the radar sensor 1210 may be mounted on a front grille, a front bumper, or a front lamp of the vehicle 10 , but is not limited thereto.
  • the radar sensor 1210 generates an electromagnetic wave in a radio wave or microwave spectrum to recognize a moving object positioned around the vehicle 10 , for example, a nearby vehicle, a two-wheeled vehicle, a pedestrian, and the like, and radiates the electromagnetic wave. It may include a transmitting antenna, and a receiving antenna for receiving electromagnetic waves.
  • the transmitter antenna emits radio waves (pulsed or continuous), receives the radio waves reflected from the moving object using a receiving antenna, and receives at least one information of the position, speed, and angle of the moving object to the processor 1400 (FIG. 2). see) can be provided.
  • the ultrasonic sensor 1220 may be disposed on the front part of the vehicle 10 .
  • the ultrasonic sensor 1220 may be mounted on, for example, a front bumper of the vehicle 10 or a front lamp, but is not limited thereto.
  • the ultrasonic sensor 1220 may transmit an ultrasonic signal to a moving object including a neighboring vehicle, a two-wheeled vehicle, or a pedestrian positioned in front and rear of the vehicle 10 , and may receive an ultrasonic echo signal reflected from the moving object.
  • the ultrasonic sensor 1220 may provide the received ultrasonic echo signal to the processor 1400 .
  • 5A to 5D are diagrams illustrating an embodiment of a CMS side display (Camera Monitoring System-Side Display) 1310a to 1310d of the present disclosure.
  • the CMS side display 1310a may be disposed on the left and right sides of a steering wheel inside the vehicle, respectively.
  • the left CMS side display 1310a may be disposed adjacent to the driver's seat.
  • the right CMS side display 1310R may be disposed adjacent to a passenger seat.
  • the CMS side display 1310a may be mounted on or included in the dashboard, but is not limited thereto.
  • the CMS side display 1310a may be mounted to a driver's door trim and a passenger's door trim, respectively.
  • the CMS side display 1310a may be included in the cluster display 1330 .
  • the cluster display 1330 may display vehicle information including at least one of the driving state of the vehicle and the operating state information of various devices.
  • the cluster display 1330 may be included in the instrument panel.
  • the cluster display 1330 may display, for example, at least one of engine rotation information (RPM), speed information, turn indicator activation state information, fuel information, and coolant temperature information.
  • RPM engine rotation information
  • the cluster display 1330 includes a tachograph that displays the driving speed, mileage, and clock of the vehicle together, a tachometer that displays the RPM of the engine, and a tripmeter that displays the mileage. ), it may include a fuel gauge, a water temperature gauge, an engine thermometer, and various warning lights (Warning Lamp) that indicate the state of the vehicle.
  • the cluster display 1330 may include, for example, an LCD display, a PDP display, an OLED display, a FED display, an LED display, a VFD display, a Digital Light Processing (DLP) display, a Flat Panel Display, a 3D display, and a transparent display. It may be configured as a physical device including at least one of, but is not limited thereto.
  • the CMS side display 1310b may be included in a partial area within the cluster display 1330 .
  • the CMS side display 1310b may display at least one of a surrounding environment image and a top view image by replacing a speedometer displaying driving speed information of the cluster display 1330 .
  • the CMS side display 1310b may display at least one of a surrounding environment image and a top view image by replacing the tachometer displaying engine rotation information of the cluster display 1330 .
  • the processor 1400 when the processor 1400 (refer to FIG. 2) receives information indicating that the left turn signal is activated from the turn signal sensor (2010, see FIG. 3) of the vehicle sensor module 2000 (refer to FIG. 3), the cluster display The area in which the speedometer of 1330 is displayed may be replaced with the CMS side display 1310b. Similarly, when the processor 1400 receives information indicating that the right turn indicator is activated from the turn indicator sensor 2010, the region in which the tachometer of the cluster display 1330 is displayed may be replaced with the CMS side display 1310b. .
  • the CMS side display 1310c may be included on a partial area of the cluster display 1330 .
  • the CMS side display 1310c may display at least one of a surrounding environment image and a top view image between the area in which the driving speedometer and the tachometer of the cluster display 1330 are displayed.
  • the description of the cluster display 1330 is the same as that of the cluster display 1330 illustrated in FIG. 5B , and thus a redundant description will be omitted.
  • the CMS side display 1310d may be included in a partial area of a center information display (CID) 1320 .
  • the central display 1320 may be disposed between the driver's seat and the passenger seat on the dashboard of the vehicle.
  • the central display 1320 may display a navigation navigation to a destination or display a top view image of a surrounding vehicle.
  • the CMS side display 1310d may display at least one of a surrounding environment image and a top view image within the divided partial area in the central display 1320 .
  • 6A and 6B are diagrams illustrating an embodiment of switching a view of an image displayed on the CMS side display 1310 when an electronic device of the present disclosure recognizes a lane change signal of a vehicle.
  • the CMS side display 1310 is an image of the surrounding environment obtained by photographing in real time the surrounding environment of the left and right sides and the rear of the vehicle photographed through the external camera 1110 (see FIGS. 1 and 2 ). can be displayed.
  • the processor 1400 may recognize a lane change signal of the vehicle.
  • the processor 1400 obtains activation information of the turn indicator light, thereby obtaining a lane change signal of the vehicle can recognize
  • the processor 1400 may recognize a lane change signal including a turn or a lane change based on route information of a navigation system pre-installed in the vehicle.
  • the electronic device 1000 converts the surrounding environment image 100 displayed on the CMS side display 1310 to the top view image 110 , and converts the top view image 110 to the top view image 110 . It can be displayed on the CMS side display 1310 .
  • the top view image 110 is an image acquired using a surround view monitoring system (SVM) pre-installed on the vehicle, and displays the positions of the own vehicle and the surrounding vehicle recognized from the surrounding environment image 100 as virtual images. am.
  • the top view image 110 may refer to an image as if the situation of the surrounding 360° space of the own vehicle was looked down from the top of the vehicle.
  • the electronic device 1000 when recognizing a lane change signal, the electronic device 1000 converts the surrounding environment image 100 displayed on the CMS side display 1310 into the top view image 110, and the surrounding environment image ( The frame size of 100 may be reduced, and the reduced surrounding environment image 100 may be displayed by overlaying it within the converted top view image 110 .
  • the processor 1400 (refer to FIG. 2 ) of the electronic device 1000 may control the CMS side display 1310 to display the top view image 110 and the overlaid surrounding environment image 100 .
  • FIG. 6B The embodiment shown in FIG. 6B is the same as the embodiment shown in FIG. 6A except for a feature of overlaying and displaying the surrounding environment image 100 on the top view image 110 , and thus a redundant description will be omitted.
  • FIGS. 7A to 7C are diagrams illustrating an embodiment of the top view image 110 and lane change UIs 120, 130, and 140 displayed on the CMS side display of the present disclosure.
  • a lane change UI 120 may be displayed on the top view image 110 .
  • the lane change UI 120 may include an own vehicle image 121 , a surrounding vehicle image 122 , an expected entry path UI 123 of a surrounding vehicle, a warning mark 124 , and a warning phrase 125 .
  • the processor 1400 of the electronic device 1000 analyzes the image of the surrounding environment captured by using the external camera 1110 (refer to FIGS. 1 and 2 ), so that the lane, the position of the own vehicle and the surrounding vehicle, and the distance between the own vehicle Driving environment information including at least one of a relative speed, a distance between the own vehicle and a neighboring vehicle, and an expected entry path of the neighboring vehicle may be acquired.
  • the processor 1400 uses not only an image of the surrounding environment, but also a radar sensor 1210 (refer to FIGS. 2 and 4) and an ultrasonic sensor 1220 (refer to FIGS. 2 and 4) to track the location of a nearby vehicle. By doing so, it is possible to obtain information about the position of the surrounding vehicle, the distance between the own vehicle and the surrounding vehicle, and the relative speed between the own vehicle and the surrounding vehicle.
  • the processor 1400 generates the own vehicle image 121 and the surrounding vehicle image 122 based on the obtained positions of the own vehicle and the surrounding vehicle, and displays the expected entry path UI 123 indicating the expected entry path of the surrounding vehicle. generated, and the generated images and UIs may be displayed on the top view image 110 .
  • the processor 1400 displays a warning UI informing that a situation such as a collision may occur when changing a lane based on the distance between the own vehicle and the surrounding vehicle, the relative speed, and the expected entry path of the surrounding vehicle on the top view image 110 . can be displayed on
  • the warning UI may include a warning mark 124 and a warning phrase 125 .
  • the lane change UI 130 may be displayed on the top view image 110 .
  • the lane change UI 130 includes an own vehicle image 131 , an entry path UI 132 of the own vehicle, a first surrounding vehicle image 133 , an expected entry path UI 134 of a first surrounding vehicle, and a second surrounding vehicle. It may include an image 135 , an expected entry path UI 136 of the second surrounding vehicle, a warning mark 137 , and a warning phrase 138 .
  • the lane change UI 130 displayed on the top view image 110 includes a plurality of surrounding vehicles (a first surrounding vehicle and a second surrounding vehicle), and each of the plurality of surrounding vehicles. Except for displaying the expected entry path as a UI, it is the same as the embodiment shown in FIG. 7A , and thus a redundant description will be omitted.
  • a warning mark 137 and a warning phrase 138 to be careful of a second surrounding vehicle spaced apart by two lanes from the own vehicle may be displayed on the top view image 110 .
  • the warning phrase 138 may be, for example, 'beware of left-hand vehicles'.
  • the lane change UI 140 may be displayed on the surrounding environment image 100 .
  • the lane change UI 140 may include a lane change possible notification UI 141 and an acceleration UI 142 .
  • the lane change possible notification UI 141 may deviate from the lane in which the own vehicle is currently traveling and change to the lane in which the vehicle is driving, based on the relative speed of the own vehicle and the surrounding vehicle and the location between the own vehicle and the surrounding vehicle. You can display information about whether In an embodiment, the processor 1400 of the electronic device 1000 image-analyzes the surrounding environment image 100 , and a radar sensor 1210 (refer to FIGS. 2 and 4 ) and an ultrasonic sensor 1220 ( FIGS. 2 and 4 ).
  • the processor 1400 may display the lane change possibility notification UI 141 on the CMS side display.
  • the acceleration UI 142 is a UI indicating a speed to be accelerated in order to change a lane to a lane into which the own vehicle intends to enter.
  • the processor 1400 measures the speed at which the own vehicle needs to accelerate to change the lane to the expected entry lane based on the distance between the own vehicle and the surrounding vehicle and the relative speed between the own vehicle and the surrounding vehicle, and based on the measurement result An acceleration UI 142 may be generated.
  • the processor 1400 may display the acceleration UI 142 on the CMS side display.
  • the lane change possibility notification UI 141 and the acceleration UI 142 are illustrated as being displayed on the surrounding environment image 100 , but are not limited thereto. In an embodiment, the lane change possibility notification UI 141 and the acceleration UI 142 may be displayed on the top view image 110 (refer to FIGS. 7A and 7B ).
  • the CMS side display 1310 of the present disclosure displays the top view image 110 , and displays the own vehicle, lane, the position of the surrounding vehicle, and the relative speed between the own vehicle and the surrounding vehicle. , the distance between the own vehicle and the surrounding vehicle, and the lane change UI ( 120 , 130 , 140 ) indicating at least one of the expected entry path of the surrounding vehicle, thereby intuitively displaying related information in a lane change or turn situation to the driver can be provided to Accordingly, the CMS side display 1310 according to an embodiment of the present disclosure may improve driving reliability and provide a sense of stability to the driver.
  • FIG. 8 is a flowchart illustrating a method of operating the electronic device 1000 according to an embodiment of the present disclosure.
  • the electronic device 1000 acquires an image of the surrounding environment using an external camera disposed on the side of the vehicle, and displays a first image related to the obtained image of the surrounding environment.
  • the external camera may be composed of a CMS view camera (Camera Monitoring System View Camera) that captures a moving object including at least one of a surrounding vehicle, a two-wheeled vehicle, and a pedestrian located in the surrounding environment on the left and right sides and rear of the vehicle. have.
  • the external camera may acquire an image of the surrounding environment by capturing the image of the surrounding environment in real time, and may provide the obtained surrounding environment image to the processor 1400 (refer to FIG. 2 ).
  • the processor 1400 may display an image of the surrounding environment on the CMS side display 1310 (refer to FIG. 2 ).
  • the electronic device 1000 recognizes a lane change signal of the vehicle.
  • the electronic device 1000 may recognize a user input for turning on a turn signal by manipulating a turn signal manipulation unit of the vehicle.
  • the processor 1400 activates (turns on) information of a turn signal according to a user input for operating the turn indicator light manipulation unit 2100 (refer to FIG. 3 ) from the vehicle sensor module 2000 (see FIG. 3 ) may be obtained, and a user input for turning on the turn indicator may be recognized based on activation information of the turn indicator.
  • the processor 1400 may obtain information about the direction of the activated turn indicator (eg, activation of the left turn indicator or activation of the right turn indicator) from the vehicle sensor module 2000 .
  • the electronic device 1000 may recognize a turn or a lane change based on driving route information of a navigation system of a vehicle.
  • the processor 1400 acquires driving information such as a steering angle and speed from the vehicle sensor module 2000, and a turn or lane change signal based on the acquired driving information can recognize
  • the processor 1400 may recognize a situation in which a turn is made at an intersection by using route information of the navigation system.
  • the processor 1400 may obtain information about a change in the steering angle of the vehicle from the vehicle sensor module 2000 and recognize a turn signal or a lane change signal based on the obtained steering angle change information.
  • the electronic device 1000 converts the first image into a second image that is a top view image that displays surrounding vehicles and own vehicles as virtual images and displays the converted images.
  • the electronic device 1000 converts the first image that is the surrounding environment image into the second image that is the top view image, and converts the converted second image to the CMS side display 1310, 1 and 2)).
  • the second image is a top-view image in which the own vehicle and surrounding vehicles are displayed as virtual images as viewed from the top in the form of a bird's eye view.
  • the processor 1400 uses a surround view monitoring system pre-installed in the vehicle to photograph the situation of a 360° space around the vehicle, corrects the distortion of the photographed image, and uses a viewpoint change and image synthesis technology to obtain a top view image. can create
  • the electronic device 1000 is configured to select one of a CMS side display 1310L (see FIG. 1 ) disposed on the left and a CMS side display 1310R (refer to FIG. 1 ) disposed on the right side based on the direction of the activated turn indicator. It is possible to switch the view of the image displayed on any one. For example, when a user input for illuminating the left turn indicator is received through an input of downwardly pressing the turn indicator manipulation unit 2100 (refer to FIG. 1 ), the electronic device 1000 is displayed on the left CMS side display 1310L. It is possible to convert the surrounding environment image to be displayed as a top view image.
  • the electronic device 1000 may display an image of the surrounding environment displayed on the right CMS side display 1310R. It can be displayed by switching to a top view image.
  • the processor 1400 converts the surrounding environment image displayed on the CMS side display 1310 into a top view image in response to the lane change signal, and reduces the frame size of the surrounding environment image to obtain a top view image. It can be overlaid on top.
  • the processor 1400 may control the CMS side display 1310 to display the top view image and the overlaid surrounding environment image.
  • the electronic device 1000 displays a lane change UI indicating information on whether lane change is possible on the second image.
  • the electronic device 1000 analyzes an image of the surrounding environment to analyze a lane, a location of the own vehicle and a surrounding vehicle, a relative speed between the own vehicle, a distance between the own vehicle and a surrounding vehicle, and an expected entry path of the surrounding vehicle.
  • Driving environment information including at least one of
  • the processor 1400 uses not only an image of the surrounding environment, but also a radar sensor 1210 (refer to FIGS. 2 and 4) and an ultrasonic sensor 1220 (refer to FIGS. 2 and 4) to track the location of a nearby vehicle.
  • the processor 1400 may display, on the CMS side display 1310 (refer to FIGS. 1 and 2 ), a lane change UI indicating information on whether a lane change is possible, based on the obtained driving environment information.
  • the lane change UI may be displayed on a top view image displayed on the CMS side display 1310 .
  • the present invention is not limited thereto, and the lane change UI may be displayed on the surrounding environment image.
  • the lane change UI reference is made to the description of the lane change UIs 120 , 130 , and 140 illustrated and described in FIGS. 7A to 7C .
  • Step S910 is performed after step S820 of FIG. 8 is performed.
  • the electronic device 1000 recognizes a surrounding vehicle from the surrounding environment image.
  • the electronic device 1000 analyzes the surrounding environment image acquired through the external camera 1110 (refer to FIGS. 1 and 2 ) to recognize a lane and a surrounding vehicle from the surrounding environment image, and obtain location information of the surrounding vehicle.
  • the processor 1400 (refer to FIG. 2 ) of the electronic device 1000 may detect a neighboring vehicle moving around the own vehicle by analyzing a plurality of image frames included in the surrounding environment image.
  • the processor 1400 may detect a surrounding vehicle from the surrounding environment image using, for example, image processing or machine learning including a deep neural network. .
  • the electronic device 1000 measures the distance between the surrounding vehicle and the own vehicle using at least one of an external radar sensor and an ultrasonic sensor.
  • the processor 1400 transmits an electromagnetic wave to a surrounding vehicle using a radar sensor 1210 (refer to FIGS. 2 and 4 ) mounted outside the vehicle, and receives the reflected electromagnetic wave from the surrounding vehicle, It is possible to obtain information about the location of the surrounding vehicle and the distance between the own vehicle and the surrounding vehicle.
  • the processor 1400 transmits an ultrasonic signal to a surrounding vehicle using an ultrasonic sensor 1220 (refer to FIGS.
  • the electronic device 1000 determines whether the measured distance is equal to or less than a preset threshold.
  • the electronic device 1000 checks whether the expected entry path of the surrounding vehicle is the same as the entry path of the own vehicle.
  • the processor 1400 may track the location of the surrounding vehicle detected from the surrounding environment image and update the location information of the surrounding vehicle in real time.
  • the processor 1400 may predict the expected entry path of the surrounding vehicle by using the location information of the surrounding vehicle detected in each of a plurality of frames included in the surrounding environment image. The processor 1400 may check whether an expected entry path of a neighboring vehicle is the same as an entry path of the own vehicle.
  • the electronic device 1000 converts the surrounding environment image into a top view image and displays it.
  • the processor 1400 may convert the surrounding environment image displayed on the CMS side display 1310 (refer to FIGS. 1 and 2 ) into a top view image, and display the top view image on the CMS side display 1310 .
  • step S980 the electronic device 1000 displays the surrounding environment image on the CMS side display 1310 .
  • step S980 the view of the surrounding environment image displayed on the CMS side display 1310 from step S810 of FIG. 8 may be continuously maintained.
  • the electronic device 1000 measures the speed of the surrounding vehicle on the expected entry lane.
  • the processor 1400 may measure the speed of the surrounding vehicle by detecting the surrounding vehicle detected from a plurality of frames of the surrounding environment image and calculating the degree of movement of the surrounding vehicle in each of the plurality of frames. .
  • the processor 1400 calculates, in real time, a change in the distance between the surrounding vehicle and the own vehicle in real time using at least one of the external radar sensor 1210 and the ultrasonic sensor 1220, thereby speed can be measured.
  • the electronic device 1000 determines whether the measured speed of the surrounding vehicle exceeds the speed of the own vehicle.
  • the electronic device 1000 determines whether an expected entry path of the surrounding vehicle is the same as that of the own vehicle (step S940).
  • the electronic device 1000 converts the surrounding environment image displayed on the CMS side display 1310 into a top view image and displays it (step S950 ).
  • FIG. 10 is a view of an image displayed on the CMS side display 1310 based on the electronic device 1000 of the present disclosure recognizing a situation including a lane change signal and a lane departure of the vehicle 10 , and based on the recognized situation It is a diagram showing an embodiment of switching (view).
  • the electronic device 1000 may change the view of the image displayed on the CMS side display 1310 twice.
  • the CMS side display 1310 may display a first image that is an image of the surrounding environment 100 obtained by photographing the surroundings of the vehicle 10 using an external camera 1110 (refer to FIGS. 1 and 2 ).
  • the electronic device 1000 may convert the first image displayed on the CMS side display 1310 into a second image and display it.
  • the electronic device 1000 may recognize a lane change signal of the vehicle 10 by recognizing a user input for operating the turn indicator light manipulation unit 2100 .
  • the electronic device 1000 may recognize a lane change signal including a turn or a lane change based on route information of a navigation system preloaded on the vehicle 10 .
  • the second image may include the top view image 110 and the surrounding environment image 100 .
  • the surrounding environment image 100 may be displayed overlaid on the top view image 110 .
  • the electronic device 1000 reduces the frame size of the surrounding environment image 100 displayed on the CMS side display 1310 , and overlays the reduced surrounding environment image 100 within the top view image 110 . can be displayed.
  • the electronic device 1000 recognizes a lane departure of the vehicle 10 .
  • the electronic device 1000 includes a front camera 1112 disposed on the front part of the vehicle 10 , a rear camera 1114 disposed on the rear part of the vehicle 10 , and an external camera disposed on the left and right side surfaces of the vehicle 10 . 1110), by analyzing the captured image, a lane may be detected from the image.
  • the electronic device 1000 may recognize whether the vehicle 10 departs from the current driving lane and enters the second lane, which is the expected entry lane, by a preset range.
  • the electronic device 1000 may recognize that the vehicle 10 has departed from the lane when the vehicle 10 enters the second lane, which is the expected entry lane, by more than ⁇ % of the total width l of the vehicle.
  • ⁇ % may be 40%, but is not limited thereto.
  • the electronic device 1000 converts the second image displayed on the CMS side display 1310 into a third image and displays it.
  • the third image is an image including only the top view image 110 excluding the surrounding environment image 100 overlaid on the second image.
  • the electronic device 1000 of the present disclosure displays a second image for displaying the top view image 110 and the surrounding environment image 100 together as a CMS side display.
  • the vehicle 10 may be displayed by switching to a third image including only the top view image 110 .
  • the electronic device 1000 provides both the top view image 110 and the surrounding environment image 100 .
  • the electronic device 1000 specifies the positional relationship with the surrounding vehicle. Only the top view image 110 that is displayed as an enemy is displayed on the CMS side display 1310 .
  • the electronic device 1000 of the present disclosure recognizes each situation of a lane change signal or lane departure, and switches a view of an image displayed on the CMS side display 1310 according to the recognized situation, thereby improving reliability and improving reliability. , can enhance stability.
  • 11A and 11B show a field of view (FOV) of an image displayed on the CMS side display 1310 by the electronic device 1000 of the present disclosure based on a change in the distance between the CMS side display 1310 and the driver. It is a drawing showing an embodiment to change.
  • FOV field of view
  • the electronic device 1000 may acquire an image of a passenger by photographing at least one of a driver and a passenger in the passenger seat using the internal camera 1120 .
  • the internal camera 1120 may be disposed, for example, on a dashboard, a room mirror, or a cluster inside the vehicle. However, the position at which the internal camera 1120 is disposed is not limited to the above-described example.
  • the internal camera 1120 may obtain an occupant image by photographing the face of the occupant, and may provide the obtained occupant image to the processor 1400 (refer to FIG. 2 ).
  • the processor 1400 may obtain position information of the occupant including at least one of a head position, a head rotation direction, and a gaze direction of the occupant from the occupant's image obtained from the internal camera 1120 .
  • the processor 1400 may recognize the face of the driver or the passenger in the passenger seat from the passenger image, and extract main feature points, such as eyes, nose, and mouth, from the recognized face.
  • the processor 1400 may use a well-known image processing technology or a machine learning-based image analysis technology using a deep neural network.
  • the processor 1400 performs training using a well-known neural network model such as an image CNN (Image-based Convolution Neural Network) or a Recurrent Neural Network (RNN), thereby obtaining the occupant's face from the occupant's image.
  • the main feature points of can be extracted.
  • the present invention is not limited thereto, and the processor 1400 may use any known feature point extraction technique.
  • the processor 1400 may obtain 3D position coordinate values of the extracted main feature points, and obtain position information of at least one of a head position and a head rotation direction of the occupant using the obtained 3D position coordinate values.
  • the internal camera 1120 includes an eye tracking sensor that tracks the eyes of the occupant by photographing the pupils of the driver or the passenger including the passenger in the front passenger seat, and detecting the movement of the pupils. can do.
  • the processor 1400 may obtain information about the gaze direction of the passenger from the gaze tracking sensor included in the internal camera 1120 .
  • the electronic device 1000 may measure the distance between the face of the occupant and the CMS side display 1310 by using the three-dimensional position coordinate values of the main feature points extracted from the occupant image and the position coordinate values of the CMS side display 1310 . have. In the embodiment illustrated in FIG. 11A , the electronic device 1000 may measure the first distance d 1 between the face of the passenger and the CMS side display 1310 .
  • the electronic device 1000 determines a field of view (FOV) of the top view image 110 displayed on the CMS side display 1310 based on the measured distance between the passenger's face and the CMS side display 1310 .
  • FOV field of view
  • the viewing angle of the top view image 110 is the vehicle image 121 and the second distance d 1 . It may include only one surrounding vehicle image 122 .
  • a passenger may approach the CMS side display 1310 in a direction adjacent to the face in order to view the CMS side display 1310 in more detail.
  • the internal camera 1120 may photograph the face of the occupant in real time, and provide the occupant's image obtained through the photographing to the processor 1400 .
  • the processor 1400 extracts main feature points of the occupant's face by analyzing the image of the occupant, obtains three-dimensional position coordinate values of the extracted main feature points, and the obtained three-dimensional position coordinate values of the main feature points and the CMS side display ( The changed distance between the occupant's face and the CMS side display 1310 may be measured using the position coordinate value of 1310 .
  • the distance between the driver's face and the CMS side display 1310 may be measured as a second distance d 2 .
  • the value of the second distance d 2 may be smaller than the first distance d 1 , see FIG. 11A .
  • the electronic device 1000 may zoom in or out the field of view (FOV) of the top view image 112 based on a change amount of the distance value between the face of the passenger and the CMS side display 1310 .
  • FOV field of view
  • the top view image 112 displayed on the CMS side display 1310 shows the own vehicle.
  • the second surrounding vehicle image 126 may be displayed.
  • the top-view image 112 shown in FIG. 11B is a zoomed-out image compared to the top-view image 110 shown in FIG. 11A , and the vehicle image 121 and the first The surrounding vehicle image 122 may be displayed on a smaller scale than that shown in FIG. 11A .
  • the electronic device 1000 may zoom in on the top view image 112 .
  • FIG. 12 is a diagram illustrating an embodiment in which the electronic device 1000 of the present disclosure changes a viewing angle of an image displayed on a CMS side display based on a hand gesture of a passenger in a vehicle.
  • the top view image 110 may be displayed on the CMS side display 1310 .
  • the own vehicle image 121 and the first surrounding vehicle image 122 may be displayed on the top view image 110 .
  • the electronic device 1000 may recognize the passenger's hand gesture.
  • the hand gesture input unit 1720 (refer to FIG. 2 ) of the electronic device 1000 may perform at least one of a pinch in or out and a palm swipe of a driver or a passenger in a passenger seat. may receive a hand gesture including
  • the processor 1400 (refer to FIG. 2 ) enlarges or expands the field of view (FOV) of the top view image 112 displayed on the CMS side display 1310 based on the hand gesture input received through the hand gesture input unit 1720 or You can zoom in or out.
  • FOV field of view
  • the electronic device 1000 recognizes a pinch out input of pinching both fingers
  • the top view image 112 displayed on the CMS side display 1310 is zoomed out. can do.
  • FIG. 12 when the top view image 112 is zoomed out, not only the own vehicle image 121 and the first surrounding vehicle image 122 but also the second surrounding vehicle image 126 may be displayed. have.
  • the top-view image 112 is an image zoomed out compared to the top-view image 110 displayed on the CMS side display 1310 before the hand gesture is recognized, and thus the vehicle displayed on the top-view image 112 .
  • the image 121 and the first surrounding vehicle image 122 may be displayed on a smaller scale than the top view image 110 before the hand gesture is recognized.
  • the electronic device 1000 recognizes a pinch-in input of spreading both fingers, the top-view image 112 displayed on the CMS side display 1310 is zoomed in. )can do.
  • the electronic device 1000 may zoom in or zoom out the top view image 112 displayed on the CMS side display 1310 according to the direction of the palm swipe input.
  • the electronic device 1000 performs an action of not only the driver but also the passenger, for example, moving the face adjacent to or away from the CMS side display 1310, or the hand. It is possible to build an Occupant Monitoring System (OMS) that recognizes a gesture action and automatically adjusts the viewing angle of the top view image 110 displayed on the CMS side display 1310 based on the recognized action. have.
  • OMS Occupant Monitoring System
  • the electronic device 1000 of the present disclosure automatically recognizes the needs of the occupant and provides a related user experience (UX), thereby preventing the driver from consciously and additionally operating the CMS side display 1310 while driving. Convenience can be improved by allowing you to focus on driving itself. In addition, unnecessary manipulation of the CMS side display 1310 or manipulation of buttons can be omitted, and thus driving stability can be improved.
  • FIG. 13 is a diagram illustrating an embodiment in which the electronic device 1000 of the present disclosure displays the top view image 110 on a center information display (CID) 1320 .
  • CID center information display
  • the central display 1320 may display the top view image 110 and the image content 150 .
  • the central display 1320 is divided into a first area 1322 and a second area 1324 , the image content 150 is displayed in the first area 1322 , and the second area 1324 .
  • the top view image 110 may be displayed.
  • the image content 150 may include, for example, at least one of a movie, a TV show, Internet-based video streaming (eg, YouTube, Netflix), and a game.
  • the image content 150 that the passenger can enjoy is displayed on the central display 1320 and at the same time, a top view displayed through the CMS side display.
  • the driver can predict in advance the self-judgment of the vehicle and the autonomous driving method in a lane change or turn situation, etc., thereby providing high reliability regarding autonomous driving to the driver or passengers.
  • LHD Left-Hand Drive
  • FIG. 14B is an embodiment in which the electronic device 1000 of the present disclosure displays the top view image 110 on the CMS side display 1310 and the central display 1320 in the case of a right-hand drive (RHD).
  • RHD right-hand drive
  • the type of vehicle may be classified into an LHD vehicle and an RHD vehicle according to the position of the steering wheel.
  • the type of vehicle may vary depending on the road. For example, in countries that have adopted a traffic system in which the vehicle runs on the right side of the road (e.g. Korea and the United States), LHD vehicles with the steering wheel placed on the left are used, and the vehicle runs on the left side of the road. RHD vehicles with the steering wheel positioned on the right are used in countries (eg, Japan and the United Kingdom) that have adopted .
  • the vehicle when the LHD vehicle turns the driving direction to the right or attempts to change a lane to the right lane based on the vehicle, the vehicle operates the turn indicator operation unit 2100 from the driver to activate the right turn indicator (turn on) input can be received.
  • the electronic device 1000 receives turn indicator activation information from the vehicle sensor module 2000 (refer to FIG. 3 ), and displays the right CMS side display 1310R based on the received turn indicator activation information.
  • the displayed surrounding environment image may be converted into the top view image 110 .
  • the electronic device 1000 may display the top view image 110 not only on the right CMS side display 1310R but also on the central display 1320 .
  • the electronic device 1000 converts the surrounding environment image 100 displayed on the left CMS side display 1310L to the top view image 110 .
  • the top view image 110 may not be displayed on the central display 1320 .
  • the vehicle when the RHD vehicle turns the driving direction to the left or attempts to change a lane to the left lane based on the vehicle, the vehicle operates the turn indicator operation unit 2100 from the driver to activate the left turn indicator (turn on) ) can receive input.
  • the left turn indicator When the left turn indicator is activated, the electronic device 1000 receives turn indicator activation information from the vehicle sensor module 2000 (refer to FIG. 3 ), and displays the left CMS side display 1310L based on the received turn indicator activation information.
  • the displayed surrounding environment image may be converted into the top view image 110 .
  • the electronic device 1000 may display the top view image 110 not only on the left CMS side display 1310L but also on the central display 1320 .
  • the electronic device 1000 converts the surrounding environment image 100 displayed on the right CMS side display 1310R to the top view image 110 .
  • the top view image 110 may not be displayed on the central display 1320 .
  • the CMS side display positioned adjacent to the driver among the left CMS side display 1310L and the right CMS side display 1310R is displayed according to whether the vehicle type is an LHD vehicle or an RHD vehicle. different.
  • the left CMS side display 1310L is disposed adjacent to the driver's position, but the right CMS side display 1310R is disposed relatively far from the driver's position. Accordingly, the driver needs an additional action to rotate the face or turn the gaze direction to the right to see the right CMS side display 1310R, and in this case, concentration may be dispersed.
  • the electronic device 1000 displays the top view image 110 on the central display 1320 as well as the right CMS side display 1310R when the right turn indicator is activated. The action can be omitted, and thus the driving stability can be improved.
  • the direction of the turn signal is different, but the principle of operation is the same.
  • the program executed by the electronic device 1000 described in this specification may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component.
  • a program may be executed by any system capable of executing computer readable instructions.
  • Software may include a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software may be implemented as a computer program including instructions stored in a computer-readable storage medium.
  • the computer-readable recording medium includes, for example, a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optically readable medium (eg, CD-ROM). (CD-ROM), DVD (Digital Versatile Disc), etc.
  • the computer-readable recording medium may be distributed among network-connected computer systems, so that the computer-readable code may be stored and executed in a distributed manner.
  • the medium may be readable by a computer, stored in a memory, and executed on a processor.
  • the computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not include a signal and is tangible, and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.
  • program according to the embodiments disclosed in the present specification may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may include a software program, a computer-readable storage medium in which the software program is stored.
  • a computer program product is a product (eg, a downloadable application) in the form of a software program distributed electronically through a manufacturer of a device or an electronic market (eg, Google Play Store, App Store).
  • the storage medium may be a server of a vehicle or a manufacturer of the electronic device 1000 , a server of an electronic market, or a storage medium of a relay server temporarily storing a software program.
  • the computer program product may include a storage medium of a server or a storage medium of a device in a system including the electronic apparatus 1000, a server, and other devices.
  • a third device eg, a smart phone
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include a software program itself transmitted from the electronic apparatus 1000 to the device or a third device, or transmitted from the third device to the device.
  • one of the electronic apparatus 1000 , the device, and the third device may execute a computer program product to perform the method according to the disclosed embodiments.
  • two or more of the electronic apparatus 1000 , the device, and the third device may execute a computer program product to disperse and implement the method according to the disclosed embodiments.
  • the electronic device 1000 executes a computer program product stored in the memory 1500 (refer to FIG. 2 ) to control another device communicatively connected to the electronic device 1000 to perform the method according to the disclosed embodiments.
  • a computer program product stored in the memory 1500 (refer to FIG. 2 ) to control another device communicatively connected to the electronic device 1000 to perform the method according to the disclosed embodiments.
  • the third device may execute a computer program product to control the device communicatively connected to the third device to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the electronic device 1000 and execute the downloaded computer program product.
  • the third device may execute a computer program product provided in a pre-loaded state to perform the method according to the disclosed embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

차량에 탑재된 전자 장치가 CMS 사이드 디스플레이(Camera Monitoring System- Side Display) 상에 디스플레이되는 영상의 뷰(view)를 전환하는 방법 및 전자 장치를 개시한다. 본 개시의 일 실시예는, 차량의 측면에 배치된 외부 카메라를 이용하여 차량의 좌우측 주변 환경을 촬영하여 획득한 주변 환경 영상인 제1 영상을 CMS 사이드 디스플레이(Camera Monitoring System side display)를 통해 디스플레이하고, 차량의 차선 변경 신호를 인식하고, 인식된 차선 변경 신호에 응답하여, CMS 사이드 디스플레이에 디스플레이되는 제1 영상을 차량 및 주변 차량의 위치를 차량의 위에서 내려다 본 것과 같은 가상 이미지로 표시하는 탑 뷰(top view) 영상인 제2 영상으로 전환하고, 제2 영상을 디스플레이하고, 제2 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시하는 전자 장치 및 그 동작 방법을 제공한다.

Description

차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법
본 개시는 차량에 탑재된 전자 장치가 CMS(Camera Monitoring System)의 외부 카메라를 이용하여 촬영된 주변 환경 영상을 CMS 사이드 디스플레이 상에 디스플레이하고, 영상의 뷰(view)를 전환하는 방법 및 전자 장치에 관한 것이다.
차량의 좌우 측면에 배치되는 사이드 미러(side view mirror)는 차선을 변경하거나, 주변 차량, 보행자 등 주변 상황을 확인하기 위한 거울과 하우징으로 구성되어 있다. 최근 차량에 탑재되는 전자 장치 분야의 발전에 따라, 기존 사이드 미러가 외부 카메라와 디스플레이를 포함하는 카메라 모니터링 시스템(Camera Monitoring System; CMS)로 대체되고 있다.
최근 사용되고 있는 CMS는 외부 카메라를 이용하여 촬영된 주변 환경 영상을 그대로 CMS 사이드 디스플레이 상에 디스플레이함으로써, 기존 거울로 구성된 사이드 미러와 유사한 사용자 경험을 제공한다. 특히, CMS 사이드 디스플레이는 특정 시야각을 통해 촬영된 주변 환경 영상을 디스플레이하는바, 외부 카메라로 촬영할 수 없는 사각 지대에 관하여 운전자가 확인할 수 없는 시야각의 한계가 있고, 차선 변경 또는 턴(turn) 등의 주행 중 발생될 수 있는 상황에서 운전자의 판단에 문제점이 발생될 수 있다. 따라서, 운전자는 차량 윈도우(window) 밖의 외부 환경을 직접 육안으로 확인해야 하는 의식적이고 부가적인 행위가 필요하다.
종래의 기존의 사각 지대 모니터링 시스템(Blind Spot Monitoring System; BSMS)은 단순히 운전자의 시야각으로 확인할 수 없는 사각 지대에 주변 차량이 있는지 여부에 관한 유/무 알림 기능을 제공할 뿐, 운전자가 특정한 상황에서 상세한 운전 판단을 내리는데 한계가 있다. 안전 운행을 위해서는, 주행 중 주변 환경의 변화 등에 관한 정보를 운전자에게 명료하게 시각적으로 제공할 필요가 있다.
또한, 기존 CMS 사이드 디스플레이는 주행과 관련된 주변 환경의 정보 확인을 위해, 터치 입력 또는 관련 버튼의 조작이 필요한데, 운전 중 터치 또는 버튼 조작 행위는 위험 요소가 될 수 있다.
본 개시는 CMS에 포함된 외부 카메라를 통해 촬영된 주변 환경 영상으로부터 주변 환경을 인식하고, 차선 변경 또는 교차로 진입 등 상황에서 주변 환경의 변화에 기초하여 CMS 사이드 디스플레이 상에 표시되는 영상의 뷰(view)를 전환하고, 주변 환경 정보를 획득하여 차선 변경과 관련된 UI(User Interface)를 디스플레이하는 전자 장치 및 그 동작 방법을 제공하는 것을 목적으로 한다.
도 1은 본 개시의 차량에 탑재되는 CMS(Camera Monitoring System)을 포함하는 전자 장치의 동작을 도시한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 차량 센서 모듈의 구성을 도시한 블록도이다.
도 4는 본 개시의 차량에 탑재되는 CMS의 각 구성 요소들을 도시한 도면이다.
도 5a 내지 도 5d는 본 개시의 CMS 사이드 디스플레이(Camera Monitoring System- Side Display)의 실시예를 도시한 도면들이다.
도 6a 및 도 6b는 본 개시의 전자 장치가 차량의 차선 변경 신호를 인식하는 경우 CMS 사이드 디스플레이 상에 디스플레이되는 영상의 뷰(view)를 전환하는 실시예를 도시한 도면들이다.
도 7a 내지 도 7c는 본 개시의 CMS 사이드 디스플레이 상에 디스플레이되는 영상 및 차선 변경 UI의 실시예를 도시한 도면들이다.
도 8은 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 10은 본 개시의 전자 장치가 차량의 차선 변경 신호 및 차선 이탈을 포함하는 상황을 인식하고, 인식된 상황에 기초하여 CMS 사이드 디스플레이 상에 디스플레이되는 영상의 뷰(view)를 전환하는 실시예를 도시한 도면이다.
도 11a는 본 개시의 전자 장치가 CMS 사이드 디스플레이와 운전자의 거리의 변화에 기초하여 CMS 사이드 디스플레이 상에 디스플레이되는 영상의 시야각(Field of Vew; FOV)을 변경하는 실시예를 도시한 도면이다.
도 11b는 본 개시의 전자 장치가 CMS 사이드 디스플레이와 운전자의 거리의 변화에 기초하여 CMS 사이드 디스플레이 상에 디스플레이되는 영상의 시야각(Field of Vew; FOV)을 변경하는 실시예를 도시한 도면이다.
도 12는 본 개시의 전자 장치가 차량에 탑승한 탑승자의 핸드 제스쳐에 기초하여 CMS 사이드 디스플레이 상에 디스플레이되는 영상의 시야각을 변경하는 실시예를 도시한 도면이다.
도 13은 본 개시의 전자 장치가 탑 뷰(top view) 영상을 중앙 디스플레이(Center Information Display; CID) 상에 디스플레이하는 실시예를 도시한 도면이다.
도 14a는 본 개시의 전자 장치가 좌측 운행 차량(Left-Hand Drive; LHD)의 경우 탑 뷰 영상을 CMS 사이드 디스플레이 및 중앙 디스플레이(CID) 상에 디스플레이하는 실시예를 도시한 도면이다.
도 14b는 본 개시의 전자 장치가 우측 운행 차량(Right-Hand Drive; RHD)의 경우 탑 뷰 영상을 CMS 사이드 디스플레이 및 중앙 디스플레이(CID) 상에 디스플레이하는 실시예를 도시한 도면이다.
상술한 기술적 과제를 해결하기 위하여 본 개시의 일 실시예는, 차량에 탑재된 전자 장치가 CMS 사이드 디스플레이 상에 영상을 디스플레이하는 방법을 제공한다. 상기 방법은 차량의 측면에 배치된 외부 카메라를 이용하여 차량의 좌우측 주변 환경을 촬영하여 획득한 주변 환경 영상인 제1 영상을 CMS 사이드 디스플레이(Camera Monitoring System side display)를 통해 디스플레이하는 단계, 차량의 차선 변경 신호를 인식하는 단계, 인식된 차선 변경 신호에 응답하여, CMS 사이드 디스플레이에 디스플레이되는 제1 영상을 차량 및 주변 차량의 위치를 차량의 위에서 내려다 본 것과 같은 가상 이미지로 표시하는 탑 뷰(top view) 영상인 제2 영상으로 전환하고, 제2 영상을 디스플레이하는 단계, 및 제2 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시하는 단계를 포함한다.
예를 들어, 상기 차선 변경 신호를 인식하는 단계는 차량의 방향 지시등 조작부를 조작함으로써, 방향 지시등(turn signal)을 점등하는 사용자 입력을 인식할 수 있다.
예를 들어, 상기 차선 변경 신호를 인식하는 단계는 차량의 네비게이션 시스템의 주행 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 인식할 수 있다.
예를 들어, 상기 차선 변경 가능 여부에 관한 차선 변경 UI를 디스플레이하는 단계는, 주변 환경 영상으로부터 인식된 차선, 주변 차량의 위치, 차량과 주변 차량 간의 상대 속도, 차량과 주변 차량 간의 거리, 및 차량 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보에 관한 UI를 디스플레이할 수 있다.
예를 들어, 상기 제2 영상을 디스플레이하는 단계는 탑 뷰 영상 상에 CMS 뷰 카메라를 통해 획득된 주변 환경 영상을 오버레이(overlay)하여 디스플레이할 수 있다.
예를 들어, 상기 방법은 차량이 현재 주행 중인 제1 차선에서 이탈하여 진입 예정 차선인 제2 차선으로 기설정된 범위만큼 진입하는 차선 이탈을 인식하는 단계, 인식된 차선 이탈에 응답하여, CMS 사이드 디스플레이 상에 디스플레이되는 제2 영상에서 오버레이된 주변 환경 영상을 제외한 탑 뷰 영상만을 포함하는 제3 영상으로 전환하는 단계, 및 제3 영상을 CMS 사이드 디스플레이 상에 디스플레이하는 단계를 더 포함할 수 있다.
예를 들어, 상기 방법은 차량의 내부에 탑재된 카메라를 이용하여 탑승자 영상(ocupant image)을 획득하는 단계, 획득된 탑승자 영상으로부터 탑승자의 머리 위치, 머리 회전 방향, 시선(gaze) 방향 중 적어도 하나를 포함하는 탑승자의 위치 정보를 획득하는 단계, 획득된 탑승자 위치 정보에 기초하여 탑승자와 CMS 사이드 디스플레이 간의 거리를 측정하는 단계, 및 측정된 거리에 기초하여 제2 영상의 시야 각(Field Of View)을 확대 또는 축소(zoom in or out)하는 단계를 더 포함할 수 있다.
예를 들어, 상기 방법은 차량의 내부에 탑재된 핸드 제스쳐 센서를 이용하여 차량 탑승자의 핀치 인 아웃(pinch in or out) 및 팜 스와이프(palm swipe) 중 적어도 하나를 포함하는 핸드 제스쳐(hand gesture) 입력을 인식하는 단계, 및 인식된 핸드 제스쳐 입력에 기초하여 제2 영상의 시야 각을 확대 또는 축소하는 단계를 더 포함할 수 있다.
예를 들어, 상기 제2 영상을 디스플레이하는 단계는 CMS 사이드 디스플레이 및 차량의 중앙 디스플레이(Center Information Display; CID) 상에 제2 영상을 디스플레이할 수 있다.
예를 들어, 상기 방법은 운전자의 입력에 의해 점등된 방향 지시등의 방향을 인식하는 단계를 더 포함하고, 상기 제2 영상을 디스플레이하는 단계는 인식된 방향 지시등의 방향에 기초하여 중앙 디스플레이 상에 상기 제2 영상을 디스플레이할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는, 차량 외부의 좌우 측면에 배치되고, 차량의 주변 환경을 촬영함으로써, 주변 환경 영상인 제1 영상을 획득하는 외부 카메라, 차량의 내부에 배치되고, 주변 환경 영상을 디스플레이하는 CMS 사이드 디스플레이, 전자 장치를 제어하는 하나 이상의 명령어들(instructions)을 포함하는 프로그램을 저장하는 메모리, 및 메모리에 저장된 프로그램의 하나 이상의 명령어들을 실행하는 프로세서를 포함하고, 상기 프로세서는 차량의 차선 변경 신호를 인식하고, 인식된 차선 변경 신호에 응답하여, CMS 사이드 디스플레이에 디스플레이되는 제1 영상을 차량 및 주변 차량의 위치를 차량의 위에서 내려다 본 것과 같은 가상 이미지로 표시하는 탑 뷰(top view) 영상인 제2 영상으로 전환하고, 제2 영상을 디스플레이하도록 상기 CMS 사이드 디스플레이를 제어하고, 제2 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시하는, 차량의 CMS(Camera Monitoring System)를 이용하여 영상을 디스플레이하는 전자 장치를 제공한다.
예를 들어, 상기 프로세서는 차량의 방향 지시등 조작부를 조작함으로써, 방향 지시등(turn signal)을 점등하는 사용자 입력을 인식하고, 사용자 입력에 기초하여 CMS 사이드 디스플레이 상에 디스플레이되는 제1 영상을 제2 영상으로 전환할 수 있다.
예를 들어, 상기 프로세서는 주변 환경 영상으로부터 인식된 차선, 주변 차량의 위치, 차량과 주변 차량 간의 상대 속도, 차량과 주변 차량 간의 거리, 및 차량 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보에 관한 UI를 CMS 사이드 디스플레이 상에 디스플레이할 수 있다.
예를 들어, 상기 프로세서는 탑 뷰 영상 상에 외부 카메라를 통해 획득된 주변 환경 영상을 오버레이(overlay)하여 디스플레이하도록 CMS 사이드 디스플레이를 제어할 수 있다.
예를 들어, 상기 프로세서는 차량이 현재 주행 중인 제1 차선에서 이탈하여 진입 예정 차선인 제2 차선으로 기설정된 범위만큼 진입하는 차선 이탈을 인식하고, 인식된 차선 이탈에 응답하여, CMS 사이드 디스플레이 상에 디스플레이되는 제2 영상에서 오버레이된 주변 환경 영상을 제외한 탑 뷰 영상만을 포함하는 제3 영상으로 전환하고, 제3 영상을 디스플레이하도록 CMS 사이드 디스플레이를 제어할 수 있다.
예를 들어, 상기 전자 장치는 차량의 내부에 탑재되고, 탑승자를 촬영함으로써 탑승자 영상을 획득하는 내부 카메라를 더 포함하고, 상기 프로세서는 탑승자 영상으로부터 탑승자의 머리 위치, 머리 회전 방향, 시선(gaze) 방향 중 적어도 하나를 포함하는 탑승자의 위치 정보를 획득하고, 획득된 탑승자 위치 정보에 기초하여 운전자와 CMS 사이드 디스플레이 간의 거리를 측정하고, 측정된 거리에 기초하여 제2 영상의 시야 각(Field Of View)을 확대 또는 축소(zoom in or out)할 수 있다.
예를 들어, 상기 전자 장치는 차량의 내부에 탑재되고, 차량 탑승자의 핀치 인 아웃 및 팜 스와이프 중 적어도 하나를 인식하는 핸드 제스쳐 센서를 더 포함하고, 상기 프로세서는 핸드 제스쳐 센서를 통해 차량 탑승자의 핸드 제스쳐를 인식하고, 인식된 핸드 제스쳐 입력에 기초하여 상기 제2 영상의 시야 각을 확대 또는 축소할 수 있다.
예를 들어, 상기 전자 장치는 차량의 대시 보드(dashboard) 상에 배치되는 중앙 디스플레이(Center Information Display)를 더 포함하고, 상기 프로세서는 제2 영상을 CMS 사이드 디스플레이 및 중앙 디스플레이 상에 디스플레이할 수 있다.
예를 들어, 상기 프로세서는 운전자의 입력에 의해 점등된 방향 지시등의 방향을 인식하고, 인식된 방향 지시등의 방향에 기초하여 중앙 디스플레이 상에 제2 영상을 디스플레이하도록 중앙 디스플레이를 제어할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
도 1은 본 개시의 차량에 탑재되는 CMS(Camera Monitoring System)을 포함하는 전자 장치(1000)의 동작을 도시한 개념도이다.
도 1을 참조하면, 전자 장치(1000)는 차량의 외부에 배치되는 외부 카메라(1110), CMS 사이드 디스플레이(Camera Monitoring System- Side Display)(1310L, 1310R), 및 중앙 디스플레이(Center Information Display; CID)(1320)을 포함할 수 있다. 일 실시예에서, 외부 카메라(1110) 및 CMS 사이드 디스플레이(1310L, 1310R)는 CMS를 구성할 수 있다.
그러나, 전자 장치(1000)가 포함하는 구성 요소가 도 1에 도시된 것으로 한정되는 것은 아니다. 전자 장치(1000)의 구성 요소에 대해서는 도 2에 관한 설명 부분에서 상세하게 설명하기로 한다.
외부 카메라(1110)는 차량 외부의 좌우 측면에 배치될 수 있다. 외부 카메라(1110)는 차량 좌우측 및 후방의 주변 환경을 실시간으로 촬영하여 주변 환경 영상을 획득할 수 있다. 외부 카메라(1110)는 차량의 좌우측 및 후방의 주변 환경에 위치하는 주변 차량, 이륜 차, 보행자 중 적어도 하나를 포함하는 이동체를 촬영할 수 있다.
CMS 사이드 디스플레이(1310L, 1310R)는 외부 카메라(1110)를 통해 촬영된 주변 환경 영상(100)을 디스플레이할 수 있다. CMS 사이드 디스플레이(1310L, 1310R)는 스티어링 휠(steering wheel)의 좌측에 배치되는 좌측 CMS 사이드 디스플레이(1310L) 및 스티어링 휠을 기준으로 우측에 배치되고, 동승자 좌석에 인접하게 배치되는 우측 CMS 사이드 디스플레이(1310R)을 포함할 수 있다. 그러나, CMS 사이드 디스플레이(1310L, 1310R)가 도 1에 도시된 바와 같은 형태 및 배치로 한정되는 것은 아니다. 본 개시의 CMS 사이드 디스플레이(1310)의 실시예에 대해서는 도 5a 내지 도 5d에서 상세하게 설명하기로 한다.
전자 장치(1000)는 차량의 차선 변경 신호를 인식하고, 인식된 차선 변경 신호에 응답하여 CMS 사이드 디스플레이(1310L, 1310R) 상에 디스플레이되는 주변 환경 영상(100)을 탑 뷰(top view) 영상(110)으로 전환하여 디스플레이할 수 있다. 탑 뷰 영상(110)은 차량에 기 탑재된 서라운드 뷰 시스템(Surround View Monitoring System; SVM)을 이용하여 차량의 주변 환경을 차량 위에서 내려다 본 것과 같은 뷰(view)의 영상을 의미한다. 일 실시예에서, 전자 장치(1000)는 차선 변경 신호에 응답하여 CMS 사이드 디스플레이(1310L, 1310R)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하고, 주변 환경 영상(100)의 크기를 축소하여 탑 뷰 영상(110) 상에 오버레이(overlay)하여 디스플레이할 수 있다.
일 실시예에서, 전자 장치(1000)는 방향 지시등 조작부(2100)를 조작함으로써, 좌측 또는 우측 방향 지시등(turn signal)을 활성화(점등)하는 사용자 입력을 인식하고, 인식된 사용자 입력에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이할 수 있다. 전자 장치(1000)는 점등된 방향 지시등의 방향에 기초하여 좌측 CMS 사이드 디스플레이(1310L)과 우측 CMS 사이드 디스플레이(1310R) 중 어느 하나에 디스플레이되는 영상의 뷰를 전환할 수 있다. 예를 들어, 방향 지시등 조작부(2100)를 아래 방향으로 누르는 입력을 통해 좌측 방향 지시등을 점등하는 사용자 입력이 수신되는 경우, 전자 장치(1000)는 좌측 CMS 사이드 디스플레이(1310L)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하고, 탑 뷰 영상(110)을 디스플레이할 수 있다. 다른 예를 들어, 방향 지시등 조작부(2100)를 위 방향으로 조작함으로써 우측 방향 지시등을 점등하는 사용자 입력이 수신되는 경우, 전자 장치(1000)는 우측 CMS 사이드 디스플레이(1310R)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하고, 탑 뷰 영상(110)을 디스플레이할 수 있다.
일 실시예에서, 전자 장치(1000)는 네비게이션 시스템의 주행 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 인식하고, 인식된 턴 또는 차선 변경 신호에 기초하여 CMS 사이드 디스플레이(1310L, 1310R) 상에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하여 디스플레이할 수 있다. 네비게이션 시스템의 주행 경로 정보는 중앙 디스플레이(1320) 상에 디스플레이될 수 있다.
전자 장치(1000)는 탑 뷰 영상(110) 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)(120)를 표시할 수 있다. 일 실시예에서, 전자 장치(1000)는 주변 환경 영상(100)으로부터 차선, 주변 차량의 위치, 자 차량과 주변 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보를 획득하고, 획득된 주행 환경 정보에 기초하여 차선 변경 가능성을 판단할 수 있다. 전자 장치(1000)는 주행 환경 정보에 기초하여 판단된 차선 변경 UI(120)를 CMS 사이드 디스플레이(1310L, 1310R) 상에 디스플레이할 수 있다. 일 실시예에서, 차선 변경 UI(120)는 자 차량의 주변 차량 상에 경고 마크를 오버레이하여 표시하거나, 경고 문구(예를 들어, '후방 충돌 주의')를 표시할 수 있다. 차선 변경 UI(120)에 대해서는 도 7a에 관한 설명 부분에서 상세하게 설명하기로 한다.
일 실시예에서, 전자 장치(1000)는 주변 차량이 속도를 갑자기 상승시킨다거나, 주변 차량이 갑자기 주행 중인 차선을 변경하는 경우 등 돌발 상황이 발생하는 경우, 경고음을 출력할 수도 있다.
종래의 CMS 사이드 디스플레이는 외부 카메라(1110)를 이용하여 촬영된 주변 환경 영상(100)만을 디스플레이함으로써, 거울로 구성된 기존의 사이드 미러와 유사한 사용자 경험을 제공한다. 특히, 종래의 CMS 사이드 디스플레이는 특정 시야각을 통해 촬영된 주변 환경 영상(100)만을 디스플레이하는바, 외부 카메라(1110)로 촬영할 수 없는 사각 지대에 관하여 운전자가 확인할 수 없는 시야각의 한계가 있고, 차선 변경 또는 턴(turn) 등의 주행 중 발생될 수 있는 상황에서 운전자가 직관적으로 상황을 판단하기가 어려운 문제점이 있었다. 따라서, 운전자는 차선 변경 또는 턴 등의 상황에서 차량 윈도우(window) 밖의 외부 환경을 직접 육안으로 확인해야 하는 의식적이고 부가적인 행위가 필요하였고, 번거로움이 존재하였다.
또한, 종래의 기존의 사각 지대 모니터링 시스템(Blind Spot Monitoring System; BSMS)은 단순히 운전자의 시야각으로 확인할 수 없는 사각 지대에 주변 차량이 있는지 여부에 관한 유/무 알림 기능을 제공할 뿐, 운전자가 특정한 상황에서 상세한 운전 판단을 내리는데 한계가 있었다. 안전 운행을 위해서는, 주행 중 주변 환경의 변화 등에 관한 정보를 운전자에게 명료하게 시각적으로 제공할 필요가 있다.
본 개시의 전자 장치(1000)는 차량이 차선을 변경하려는 신호를 인식하고, 차선 변경 신호에 기초하여 CMS 사이드 디스플레이(1310L, 1310R)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하여 디스플레이하고, 탑 뷰 영상(110) 상에 차선 변경 가능성에 관한 정보를 나타내는 차선 변경 UI(120)를 디스플레이함으로써 종래의 CMS 사이드 디스플레이와는 차별되는 사용자 경험(User eXperience; UX)을 제공할 수 있다. 특히, 본 개시의 전자 장치(1000)는 탑 뷰 영상(110) 상에 차선, 주변 차량의 위치, 자 차량과 주변 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 나타내는 차선 변경 UI(120)를 디스플레이함으로써, 차선 변경 또는 턴 상황에서 관련 정보를 직관적으로 운전자에게 제공하고, 운전의 신뢰성 및 안정성을 강화할 수 있다. 또한, 차량이 기 탑재된 자율 주행 시스템을 이용하여 자율 주행 모드로 주행하는 경우, 본 개시의 전자 장치(1000)는 CMS 사이드 디스플레이(1310L, 1310R)를 통해 자 차량 및 주변 차량의 예상 진입 경로에 관한 UI를 포함하는 차선 변경 UI(120)를 디스플레이함으로써, 운전자가 차량의 판단, 운전 방식에 대하여 예측 가능하게 하고, 따라서 자율 주행에 대한 신뢰성을 확보할 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치(1000)의 구성을 도시한 블록도이다. 본 개시의 일 실시예에서, 전자 장치(1000)는 차량에 탑재되고, CMS(Camera Monitoring System)를 제어하는 장치일 수 있다.
도 2를 참조하면, 전자 장치(1000)는 카메라(1100), 외부 센서(1200), 디스플레이부(1300), 프로세서(1400), 메모리(1500), 송수신부(1600), 및 사용자 입력부(1700)를 포함할 수 있다. 카메라(1100), 외부 센서(1200), 디스플레이부(1300), 프로세서(1400), 메모리(1500), 송수신부(1600), 및 사용자 입력부(1700)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다. 도 2에 도시된 구성 요소는 본 개시의 일 실시예에 따른 것일 뿐, 전자 장치(1000)가 포함하고 있는 구성 요소가 도 2에 도시된 것으로 한정되는 것은 아니다. 전자 장치(1000)는 도 2에 도시된 구성 요소 중 일부를 포함하지 않을 수 있고, 도 2에 도시되지 않은 구성 요소를 더 포함할 수도 있다.
카메라(1100)는 외부 카메라(1110) 및 내부 카메라(1120)를 포함할 수 있다. 카메라(1100)는 CMOS(Complementary Metal-Oxide Semiconductor), CCD(Charge-Coupled Device) 또는 활성 픽셀 센서와 같은 이미지 센서, 및 직선형 렌즈, 오목 렌즈, 볼록 렌즈, 광각 렌즈, 또는 어안 렌즈(fish eye lens) 중 적어도 하나와 같은 렌즈를 포함할 수 있다. 카메라(1100)는 아날로그 또는 디지털일 수 있다. 일 실시예에서, 카메라(1100)는 적외선 조명 출력 디바이스를 포함할 수 있다.
외부 카메라(1110)는 차량 외부의 좌우 측면에 배치될 수 있다. 그러나, 이에 한정되는 것은 아니고, 외부 카메라(1110)는 차량의 좌우 측면 뿐만 아니라, 전면 및 후면에도 배치될 수 있다. 외부 카메라(1110)의 배치에 관해서는 도 4에서 상세하게 설명하기로 한다.
외부 카메라(1110)는 차량의 좌우측 및 후방의 주변 환경에 위치하는 주변 차량, 이륜 차, 보행자 중 적어도 하나를 포함하는 이동체를 촬영하는 CMS 뷰 카메라(Camera Monitoring System View Camera)로 구성될 수 있다. 외부 카메라(1110)는 실시간으로 주변 환경 영상을 촬영함으로써, 주변 환경 영상을 획득하고, 획득된 주변 환경 영상을 프로세서(1400)에 제공할 수 있다.
일 실시예에서, 외부 카메라(1110)는 어안 렌즈(fish eye lens) 카메라로 구성될 수 있다. 어안 렌즈 카메라는 촬영 각이 180° 이상인 광각 렌즈를 장착한 카메라를 의미한다. 어안 렌즈 카메라를 이용하여 촬영된 주변 환경 영상은 왜곡이 있을 수 있으므로, 프로세서(1400)는 외부 카메라(1110)로부터 획득된 주변 환경 영상을 보정하여 와이드 영상을 생성하고, 차량의 조향 각도 또는 차량의 속도에 따라 주변 환경 영상을 제어하여 CMS 사이드 디스플레이(1310) 상에 디스플레이할 수 있다. 외부 카메라(1110)는 어안 렌즈 카메라로 구성됨으로써, 차량 주변의 사각 지대를 촬영하고, 사각 지대에 관한 주변 환경 영상을 획득할 수 있다. '사각 지대'는, 차량의 구조에 의해 운전자의 시야가 가려져 운전자가 볼 수 없는 적어도 하나의 영역을 의미한다. 그러나, 외부 카메라(1110)가 어안 렌즈 카메라로 한정되는 것은 아니다.
내부 카메라(1120)는 차량에 탑승한 탑승자를 촬영하고, 탑승자 영상을 실시간으로 획득할 수 있다. 일 실시예에서, 내부 카메라(1120)는 운전자 또는 조수석에 탑승한 동승자의 얼굴을 촬영하고, 운전자 또는 동승자의 얼굴에 관한 탑승자 영상을 획득하며, 획득된 탑승자 영상을 프로세서(1400)에 제공할 수 있다.
일 실시예에서, 내부 카메라(1120)는 차량의 특정 영역, 예를 들어 대시 보드(dashboard), 룸 미러(room mirror), 또는 클러스터(cluster)의 상단에 배치될 수 있다. 그러나, 내부 카메라(1120)가 배치되는 위치가 전술한 예시로 한정되는 것은 아니다.
일 실시예에서, 내부 카메라(1120)는 운전자 또는 조수석에 탑승한 동승자를 포함하는 탑승자의 눈동자를 촬영하고, 눈동자의 움직임을 감지하는 시선 추적 센서(eye tracking sensor)를 포함할 수 있다. 내부 카메라(1120)가 탑승자의 눈동자의 위치 및 시선을 추적하기 위하여, 영상 분석 방식, 또는 콘택트 렌즈(contact lens) 방식 등을 이용할 수 있다. 영상 분석 방식은 실시간으로 획득된 탑승자 영상의 분석을 통해 탑승자의 동공의 움직임을 검출하고, 각막에 반사된 고정위치를 기준으로 시선의 방향을 계산하는 분석 기술이고, 콘택트 렌즈 방식은 거울이 내장된 콘택트 렌즈에 의해 반사된 빛이나, 코일에 내장된 콘택트 렌즈의 자기장을 이용하는 분석 기술이다. 내부 카메라(1120)는 탑승자 영상을 획득하고, 탑승자의 시선의 방향을 센싱할 수 있다. 그러나, 본 개시의 내부 카메라(1120)가 탑승자의 시선 방향을 센싱하기 위하여 사용하는 기술이 전술한 기술들로 한정되는 것은 아니다. 일 실시예에서, 내부 카메라(1120)는 적외선 센서(IR 센서)를 포함하고, IR 센서를 이용하여 탑승자의 눈동자의 위치를 추적하고, 시선 방향을 센싱할 수 있다.
외부 센서(1200)는 레이더 센서(1210) 및 초음파 센서(1220)를 포함할 수 있다. 레이더 센서(1210) 및 초음파 센서(1220)는 각각 차량의 전후면에 배치될 수 있다. 레이더 센서(1210) 및 초음파 센서(1220)의 배치에 관해서는 도 4에서 상세하게 설명하기로 한다.
레이더 센서(radar sensor)(1210)는 차량 주변의 이동체, 예를 들어 주변 차량, 이륜차, 보행자 등을 인식하기 위하여 라디오 파 또는 마이크로 파(microwave) 스펙트럼에서 전자기 파를 생성하고, 전자기 파를 방사하는 송신 안테나, 및 전자기 파를 수신하는 수신 안테나를 포함할 수 있다. 송신기 안테나는 라디오 파(펄스형 또는 연속적)를 방사하고, 이동체로부터 반사된 라디오 파를 수신 안테나를 이용하여 수신하며, 이동체의 위치, 속도, 및 각도 중 적어도 하나의 정보를 프로세서(1400)에 제공할 수 있다. 레이더 센서(1210)는 유선, 무선, 또는 도파관(waveguide) 방식을 이용하여 프로세서(1400)와 통신할 수 있다.
일 실시예에서, 레이더 센서(1210)는 레이저로부터의 자외선, 가시, 또는 근적외선 광을 이용하는 라이더(lidar)를 포함할 수도 있다.
초음파 센서(1220)는 전기 신호를 초음파 신호로 변환하고, 이동체로부터 반사된 초음파 에코 신호를 전기 신호로 변환하는 적어도 하나의 트랜스듀서(transducer)를 포함할 수 있다. 초음파 센서(1220)는 차량 주변에 위치하는 주변 차량, 이륜차, 또는 보행자를 포함하는 이동체에게 초음파 신호를 전송하고, 이동체로부터 반사된 초음파 에코 신호를 수신할 수 있다. 초음파 센서(1220)는 수신된 초음파 에코 신호를 프로세서(1400)에 제공할 수 있다. 프로세서(1400)는 초음파 에코 신호를 해석함으로써, 이동체의 위치 및 이동체와 자 차량 간의 거리에 관한 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 이동체에 대한 거리를 측정하기 위하여, 초음파를 전송한 시점과 초음파 에코 신호를 수신한 시점 간의 시간 간격을 측정하는 방식을 사용할 수 있으나, 이에 한정되지 않는다.
디스플레이부(1300)는 CMS 사이드 디스플레이(1310), 및 중앙 디스플레이(1320)를 포함할 수 있다. 디스플레이부(1300)는 예를 들어, LCD 디스플레이, PDP 디스플레이, OLED 디스플레이, FED 디스플레이, LED 디스플레이, VFD 디스플레이, DLP(Digital Light Processing) 디스플레이, 평판 디스플레이(Flat Panel Display), 3D 디스플레이, 및 투명 디스플레이 중 적어도 하나를 포함하는 물리적 장치로 구성될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 디스플레이부(1300)는 사용자(예를 들어, 운전자 또는 동승자)의 터치 입력을 인식하는 터치 패널(1710)을 포함하는 터치스크린으로 구성될 수도 있다.
CMS 사이드 디스플레이(Camera Monitoring System - Side Display) (1310)는 외부 카메라(1110)를 통해 촬영된 주변 환경 영상을 디스플레이할 수 있다. 일 실시예에서, CMS 사이드 디스플레이(1310)는 차량에 기 탑재된 서라운드 뷰 시스템(Surround View Monitoring System; SVM)을 이용하여 차량의 주변 환경을 차량 위에서 내려다 본 영상인 탑 뷰(top view) 영상을 디스플레이할 수 있다. 탑 뷰 영상은 자 차량 및 주변 차량의 위치를 가상 이미지로 표시하는 서라운드 뷰 영상일 수 있다.
외부 카메라(1110) 및 CMS 사이드 디스플레이(1310)는 CMS를 구성할 수 있다. 그러나, 이에 한정되는 것은 아니고, CMS는 전자 장치(1000)의 적어도 하나의 구성 요소를 포함할 수 있다.
CMS 사이드 디스플레이(1310)는 스티어링 휠(steering wheel)의 좌측에 배치되는 좌측 CMS 사이드 디스플레이(1310L, 도 1 참조) 및 스티어링 휠을 기준으로 우측에 배치되고, 동승자 좌석에 인접하게 배치되는 우측 CMS 사이드 디스플레이(1310R, 도 1 참조)을 포함할 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, CMS 사이드 디스플레이(1310)는 차량의 클러스터 디스플레이 내에 포함되거나, 또는 중앙 디스플레이(1320) 내에 결합될 수도 있다. 본 개시의 CMS 사이드 디스플레이(1310)의 실시예에 대해서는 도 5a 내지 도 5d에서 상세하게 설명하기로 한다.
중앙 디스플레이(Center Information Display; CID)(1320)는 목적지까지의 길 안내 네비게이션을 표시하거나, 차량 관련 정보를 디스플레이할 수 있다. 일 실시예에서, 중앙 디스플레이(1320)는 영화, 게임 등 이미지 컨텐트를 디스플레이할 수 있다. 중앙 디스플레이(1320)는 차량의 대시 보드(dashboard) 상에서 운전석과 조수석 사이에 배치될 수 있다.
일 실시예에서, 중앙 디스플레이(1320)는 프로세서(1400)의 제어에 따라, 탑 뷰 영상을 디스플레이할 수 있다. 탑 뷰 영상이 중앙 디스플레이(1320)를 통해 디스플레이되는 실시예에 대해서는 도 13, 도 14a, 및 도 14b에서 상세하게 설명하기로 한다.
프로세서(1400)는 메모리(1500)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행할 수 있다. 프로세서(1400)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1400)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
메모리(1500)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 롬(ROM, Read-Only Memory), 및 EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나를 포함하는 비휘발성 메모리 및 램(RAM, Random Access Memory) 또는 SRAM(Static Random Access Memory)과 같은 휘발성 메모리를 포함할 수 있다.
메모리(1500)에는 프로세서(1400)가 판독할 수 있는 명령어들, 데이터 구조, 및 프로그램 코드(program code)가 저장될 수 있다. 이하의 실시예에서, 프로세서(1400)는 메모리에 저장된 프로그램의 명령어들 또는 코드들을 실행함으로써 구현될 수 있다. 예를 들어, 메모리(1500)에는 차량의 차선 변경 신호를 인식하고, 인식된 차선 변경 신호에 응답하여, CMS 사이드 디스플레이(1310)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이하고, 탑 뷰 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시하는 프로그램 명령어 코드들이 저장될 수 있다.
일 실시예에서, 프로세서(1400)는 차량에 기 장착되어 있는 사각지대 감지 시스템(Blind-Spot Monitoring System; BSMS), 서라운드 뷰 모니터 시스템(Surround View Monitoring system; SVM), 및 차선 이탈 경보 시스템(Lane Departure Warning System; LDWS) 중 적어도 하나에 포함되는 하드웨어 및 소프트웨어로 구현된 구성을 이용할 수 있다.
일 실시예에서, 프로세서(1400)와 메모리(1500)는 제어부(control unit)를 구성할 수 있다.
프로세서(1400)는 차량의 차선 변경 신호를 인식하고, 인식된 차선 변경 신호에 응답하여, CMS 사이드 디스플레이(1310)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이하고, 탑 뷰 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI를 디스플레이할 수 있다.
일 실시예에서, 프로세서(1400)는 차량의 방향 지시등 조작부(2100, 도 1 참조)를 조작함으로써, 방향 지시등(turn signal)을 활성화(점등)하는 사용자 입력을 인식하고, 사용자 입력에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환할 수 있다. 프로세서(1400)는 송수신부(1600)를 통해 차량 센서 모듈(2000)로부터 방향 지시등 조작부(2100)를 조작하는 사용자 입력에 따라 방향 지시등(turn signal)의 활성화(점등) 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 활성화된 방향 지시등의 방향에 기초하여 좌측에 배치된 CMS 사이드 디스플레이(1310L, 도 1 참조) 및 우측에 배치된 CMS 사이드 디스플레이(1310R, 도 1 참조) 중 어느 하나에 디스플레이되는 영상의 뷰를 전환할 수 있다. 예를 들어, 방향 지시등 조작부(2100)를 아래 방향으로 누르는 입력을 통해 좌측 방향 지시등을 점등하는 사용자 입력이 수신되는 경우, 프로세서(1400)는 송수신부(1600)로부터 좌측 방향 지시등의 활성화 정보를 수신하고, 좌측 CMS 사이드 디스플레이(1310L)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이할 수 있다. 다른 예를 들어, 방향 지시등 조작부(2100)를 위 방향으로 조작함으로써 우측 방향 지시등을 점등하는 사용자 입력이 수신되는 경우, 프로세서(1400)는 송수신부(1600)로부터 우측 방향 지시등의 활성화 정보를 수신하고, 우측 CMS 사이드 디스플레이(1310R)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이할 수 있다.
일 실시예에서, 프로세서(1400)는 차량에 기 탑재된 네비게이션 시스템의 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 인식하고, 인식된 턴 또는 차선 변경 신호에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이할 수 있다. 프로세서(1400)는 차량이 자율 주행 모드로 주행하는 경우, 차량 센서 모듈(2000)로부터 조향 각도, 속도 등 주행 정보를 획득하고, 획득된 주행 정보 및 네비게이션 시스템의 경로 정보에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 영상의 뷰를 전환할 수 있다. 예를 들어, 프로세서(1400)는 네비게이션 시스템의 경로 정보를 이용하여 교차로에서 턴을 하는 상황을 인식하고, 턴 상황에서 차량 센서 모듈(2000)로부터 조향 각도의 변경 정보가 획득되면, CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환할 수 있다.
일 실시예에서, 프로세서(1400)는 차선 변경 신호에 응답하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하고, 주변 환경 영상의 프레임의 크기를 축소하여 탑 뷰 영상 상에 오버레이(overlay)할 수 있다. 프로세서(1400)는 탑 뷰 영상과 오버레이된 주변 환경 영상을 디스플레이하도록 CMS 사이드 디스플레이(1310)를 제어할 수 있다.
일 실시예에서, 프로세서(1400)는 주변 환경 영상을 이용하여 차선, 자 차량과 주변 차량의 위치, 자 차량과 주변 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보를 획득할 수 있다. 프로세서(1400)는 외부 카메라(1110)를 통해 획득된 주변 환경 영상을 분석함으로써, 주변 환경 영상으로부터 차선 및 주변 차량을 인식하고, 주변 차량의 위치 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 외부 카메라(1110)로부터 실시간으로 획득된 주변 환경 영상에 포함되는 복수의 이미지 프레임(image frame)을 분석함으로써, 자 차량의 주변에서 이동하는 주변 차량을 검출할 수 있다. 프로세서(1400)는 예를 들어, 이미지 처리(image processing) 기술을 이용하거나, 또는 심층 신경망(Deep Neural Network)을 포함하는 머신 러닝(Machine Learning)을 이용하여 주변 환경 영상으로부터 주변 차량을 검출할 수 있다. 프로세서(1400)는 주변 환경 영상으로부터 검출된 주변 차량의 위치를 추적하고, 주변 차량의 위치 정보를 실시간으로 갱신(update)할 수 있다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상에 포함되는 복수의 프레임 각각에서 검출된 주변 차량의 위치 정보를 이용하여 주변 차량의 예상 진입 경로를 예측할 수 있다.
일 실시예에서, 프로세서(1400)는 주변 환경 영상 뿐만 아니라, 레이더 센서(1210) 및 초음파 센서(1220)를 이용하여 주변 차량의 위치를 추적함으로써, 주변 차량의 위치, 자 차량과 주변 차량 간의 거리, 및 자 차량과 주변 차량 간의 상대 속도에 관한 정보를 획득할 수 있다. 프로세서(1400)가 주변 환경 영상 및 레이더 센서, 초음파 센서를 이용하여 주변 차량에 관한 위치, 속도, 예상 진입 경로 등의 정보를 획득하는 방식은 예시적인 것이고, 예시된 방식으로 한정되는 것은 아니다.
프로세서(1400)는 획득된 자 차량과 주변 차량의 위치, 자 차량과 주변 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보에 기초하여 진입 예정 차선에 관한 차선 변경 가능성을 판단할 수 있다. 프로세서(1400)는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시할 수 있다. 차선 변경 UI의 구체적인 실시예에 대해서는 도 7a 내지 도 7c에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 차량이 현재 주행 중인 제1 차선에서 이탈하여 진입 예정 차선인 제2 차선으로 기설정된 범위만큼 진입하는 차선 이탈 여부를 인식하고, 인식된 차선 이탈에 응답하여, CMS 사이드 디스플레이(1310) 상에 탑 뷰 영상만이 디스플레이되도록 CMS 사이드 디스플레이(1310)를 제어할 수 있다. CMS 사이드 디스플레이(1310) 상에 탑 뷰 영상 및 탑 뷰 영상 상에 오버레이된 주변 환경 영상이 함께 디스플레이되는 경우, 프로세서(1400)는 차선 이탈이 인식됨에 따라 주변 환경 영상을 제외한 탑 뷰 영상만 디스플레이되도록 CMS 사이드 디스플레이(1310)를 제어할 수 있다. 차선 이탈이 인식됨에 따라 CMS 사이드 디스플레이(1310)에 디스플레이되는 영상의 뷰를 전환하는 실시예에 대해서는 도 10에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 내부 카메라(1120)를 통해 획득된 탑승자 영상으로부터 탑승자의 머리 위치, 머리 회전 방향, 시선(gaze) 방향 중 적어도 하나를 포함하는 탑승자의 위치 정보를 획득하고, 탑승자의 위치 정보에 기초하여 탑승자와 CMS 사이드 디스플레이(1310) 간의 거리를 측정하고, 측정된 거리에 기초하여 탑 뷰 영상의 시야 각(Field Of View; FOV)을 확대 또는 축소(zoom in or out)할 수 있다. 일 실시예에서, 프로세서(1400)는 탑승자 영상으로부터 운전자 또는 조수석에 탑승한 동승자의 얼굴을 인식하고, 인식된 얼굴로부터 눈, 코, 입 등 주요 특징점들(feature points)을 추출할 수 있다. 이 경우, 프로세서(1400)는 공지의 영상 처리 기술(image processing)을 이용하거나, 또는 심층 신경망(Deep Neural Network)을 이용한 머신 러닝 기반의 영상 분석 기술을 이용할 수 있으나, 이에 한정되지 않는다. 프로세서(1400)는 추출된 주요 특징점들의 3차원 위치 좌표값을 획득하고, 획득된 3차원 위치 좌표값을 이용하여 탑승자의 머리 위치, 머리 회전 방향, 시선 방향 중 적어도 하나를 포함하는 탑승자 위치 정보를 획득할 수 있다. 프로세서(1400)는 탑승자 영상으로부터 추출된 주요 특징점들의 3차원 위치 좌표값과 CMS 사이드 디스플레이(1310)의 위치 좌표값을 이용하여 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리를 측정할 수 있다. 프로세서(1400)는 측정된 거리에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상의 시야 각(FOV)을 확대 또는 축소할 수 있다. 프로세서(1400)가 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리에 기초하여 탑 뷰 영상의 시야 각을 조절하는 실시예에 대해서는 도 11a 및 도 11b에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 핸드 제스쳐 입력부(1720)로부터 탑승자의 핀치 인 아웃(pinch in or out) 및 팜 스와이프(palm swipe) 중 적어도 하나를 포함하는 핸드 제스쳐를 수신하고, 핸드 제스쳐 입력에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상의 시야 각(FOV)을 확대 또는 축소(zoom in or out)할 수 있다. 핸드 제스쳐를 인식함으로써, CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상의 시야 각을 조절하는 실시예에 대해서는 도 12에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 운전자의 입력에 의해 점등된 방향 지시등의 방향을 인식하고, 인식된 방향 지시등의 방향에 기초하여 중앙 디스플레이(1320) 상에 탑 뷰 영상을 디스플레이할 수 있다. 중앙 디스플레이(1320) 상에 탑 뷰 영상이 디스플레이되는 실시예에 대해서는 도 14a 및 도 14b에서 상세하게 설명하기로 한다.
송수신부(transceiver)(1600)는 전자 장치(1000)와 차량에 탑재된 차량 센서 모듈(2000) 간의 데이터 통신을 수행할 수 있다. 일 실시예에서, 전자 장치(1000)는 차량 센서 모듈(2000)과 CAN(Controller Area Network)에 따른 통신을 수행할 수 있다.
일 실시예에서, 송수신부(1600)는 CAN 통신을 수행함으로써, 차량 센서 모듈(2000)로부터 방향 지시등의 활성화 여부, 활성화된 방향 지시등의 방향 등에 관한 정보, 속도 센싱 정보, 차량의 조향 각도 정보, 페달 센싱 정보, 및 기어 레버 센싱 정보 중 적어도 하나를 수신할 수 있다. 차량 센서 모듈(2000)에 관해서는 도 3에서 상세하게 설명하기로 한다.
사용자 입력부(1700)는 터치 패널(1710) 및 핸드 제스쳐 입력부(1720)를 포함할 수 있다.
터치 패널(1710)은 디스플레이부(1300)와 결합되어 터치스크린으로 제공될 수 있다. 예를 들어, 터치스크린은 중앙 디스플레이(1320) 상에 터치 패널(1710)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다. 다른 예를 들어, 터치 패널(1710)은 CMS 사이드 디스플레이(1310)와 적층 구조로 결합되고, CMS 사이드 디스플레이(1310)는 터치스크린으로 구현될 수도 있다. CMS 사이드 디스플레이(1310) 또는 중앙 디스플레이(1320)가 터치스크린으로 구현되는 경우, 사용자의 터치 입력을 수신하고, 그래픽 사용자 인터페이스(Graphical User Interface, GUI)를 디스플레이할 수 있다.
터치 패널(1710)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(1710)은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다.
핸드 제스쳐 입력부(1720)는 차량 탑승자의 핀치 인 아웃(pinch in or out) 및 팜 스와이프(palm swipe) 입력 중 적어도 하나를 인식할 수 있다.
도 3은 본 개시의 일 실시예에 따른 차량 센서 모듈(2000)의 구성을 도시한 블록도이다. 차량 센서 모듈(2000)은 차량에 탑재되고, 차량의 방향 지시등, 속도, 조향 각도, 페달, 및 기어 레버(Gear lever)의 조작 등을 감지하여, 차량의 주행과 관련된 정보를 획득하고, 주행과 관련된 정보를 전자 장치(1000)에 제공할 수 있다. 차량 센서 모듈(2000)은 차량의 주행과 관련된 정보를 전자 장치(1000)의 송수신부(1600)를 통해 전자 장치(1000)에 전송할 수 있다. 차량 센서 모듈(2000)은 전자 장치(1000)와 CAN(Controller Area Network) 통신을 수행할 수 있다.
차량 센서 모듈(2000)은 전자 장치(1000)와는 별개의 구성 요소이다. 그러나, 이에 한정되는 것은 아니고, 차량 센서 모듈(2000)에 포함되는 적어도 하나의 구성 요소는 전자 장치(1000) 내에 포함될 수 있다.
차량 센서 모듈(2000)은 방향 지시등 센서(2010), 속도 센서(2020), 조향 각도 센서(2030), 페달 센서(2040), 및 기어 레버 센서(2050)를 포함할 수 있다.
방향 지시등 센서(2010)는 운전자의 조작에 의한 방향 지시등의 활성화 여부를 감지할 수 있다. 방향 지시등 센서(2010)는 점등된 방향 지시등의 방향을 감지하고, 감지된 방향 지시등 점등 방향에 관한 정보를 전자 장치(1000)에 전송할 수 있다. 예를 들어, 방향 지시등 센서(2010)는 좌측 방향 지시등 및 우측 방향 지시등 중 어느 방향의 방향 지시등이 점등되었는지에 관한 정보를 획득할 수 있다.
속도 센서(2020)는 차량의 주행 속도를 감지하고, 주행 속도 정보를 전자 장치(1000)에 전송할 수 있다.
조향 각도 센서(2030)는 스티어링 휠(steering wheel)의 조작에 의한 차량의 조향 각도를 감지하고, 조향 각도 정보를 전자 장치(1000)에 전송할 수 있다.
페달 센서(2040)는 운전자가 가속 페달 또는 브레이크 페달을 밟는 조작에 따른 압력을 감지하고, 페달에 가해지는 압력에 관한 정보를 전자 장치(1000)에 전송할 수 있다.
기어 레버(Gear lever) 센서(2050)는 운전자의 조작에 의한 트랜스미션 기어 레버의 조작을 감지하고, 트랜스미션 기어 레버의 조작에 관한 정보를 전자 장치(1000)에 전송할 수 있다.
전자 장치(1000)는 차량 센서 모듈(2000)로부터 수신한 방향 지시등의 활성화 및 점등 방향에 관한 정보, 속도 정보, 조향 각도 정보, 페달 압력 정보, 및 기어 레버 조작 정보 중 적어도 하나에 기초하여, 차량의 주행 및 차선 변경 신호를 인식할 수 있다.
도 4는 본 개시의 차량(10)에 탑재되는 CMS의 각 구성 요소들을 도시한 도면이다.
도 4를 참조하면, 차량(10)에는 외부 카메라(1110), 전방 카메라(1112), 후방 카메라(1114), 레이더 센서(1210), 및 초음파 센서(1220)가 배치될 수 있다.
외부 카메라(1110)는 차량(10)의 좌우 측면에 배치될 수 있다. 외부 카메라(1110)는 차량(10)의 좌우측 및 후방의 주변 환경을 촬영함으로써, 주변 차량, 이륜 차, 보행자 중 적어도 하나를 포함하는 이동체에 관한 주변 환경 영상을 획득할 수 있다.
전방 카메라(1112)는 차량(10)의 전면부에 배치될 수 있다. 일 실시예에서, 전방 카메라(1112)는 차량(10)의 전방을 촬영하여 차선의 영상 정보를 획득하는 차선 카메라(lane camera)를 포함할 수 있다.
후방 카메라(1114)는 차량(10)의 후면부, 예를 들어 트렁크, 후측 범퍼, 후방 필러, 또는 후방 윈드쉴드(wind shield)에 장착될 수 있다. 후방 카메라(1114)는 차량(10)의 후측방을 촬영하여 후측 주변 영상을 획득할 수 있다.
일 실시예에서, 외부 카메라(1110), 전방 카메라(1112), 및 후방 카메라(1114)는 서라운드 뷰 모니터링 시스템(Surround View Monitoring system; SVM)을 구성할 수 있다. 서라운드 뷰 모니터링 시스템은 차량(10)의 주변 360° 공간의 상황을 차량(10)의 위에서 내려다 본 것과 같은 영상을 실시간으로 제공하는 시스템이다. 서라운드 뷰 모니터링 시스템은 외부 카메라(1110), 전방 카메라(1112), 및 후방 카메라(1114) 각각으로부터 촬영되어 입력되는 주변 환경 영상의 왜곡을 보정하고, 시점 변화 및 영상 합성 기술을 이용하여 차량(10)의 주변을 조감도 형식으로 위에서 아래로 내려다 본 것과 같은 탑 뷰(top view) 영상을 생성할 수 있다.
레이더 센서(radar sensor)(1210)는 차량(10)의 전면부에 배치될 수 있다. 예를 들어, 레이더 센서(1210)는 차량(10)의 전면 그릴, 전면 범퍼, 또는 전면 램프 상에 장착될 수 있으나, 이에 한정되지 않는다. 레이더 센서(1210)는 차량(10) 주변에 위치하는 이동체, 예를 들어 주변 차량, 이륜차, 보행자 등을 인식하기 위하여 라디오 파 또는 마이크로 파(microwave) 스펙트럼에서 전자기 파를 생성하고, 전자기 파를 방사하는 송신 안테나, 및 전자기 파를 수신하는 수신 안테나를 포함할 수 있다. 송신기 안테나는 라디오 파(펄스형 또는 연속적)를 방사하고, 이동체로부터 반사된 라디오 파를 수신 안테나를 이용하여 수신하며, 이동체의 위치, 속도, 및 각도 중 적어도 하나의 정보를 프로세서(1400, 도 2 참조)에 제공할 수 있다.
초음파 센서(1220)는 차량(10)의 전면부에 배치될 수 있다. 초음파 센서(1220)는 예를 들어, 차량(10)의 전면 범퍼, 또는 전면 램프 상에 장착될 수 있으나, 이에 한정되지 않는다. 초음파 센서(1220)는 차량(10)의 전후방에 위치하는 주변 차량, 이륜 차, 또는 보행자를 포함하는 이동체에 초음파 신호를 전송하고, 이동체로부터 반사된 초음파 에코 신호를 수신할 수 있다. 초음파 센서(1220)는 수신된 초음파 에코 신호를 프로세서(1400)에 제공할 수 있다.
도 5a 내지 도 5d는 본 개시의 CMS 사이드 디스플레이(Camera Monitoring System- Side Display)(1310a 내지 1310d)의 실시예를 도시한 도면들이다.
도 5a를 참조하면, CMS 사이드 디스플레이(1310a)는 차량 내부의 스티어링 휠(steering wheel)의 좌측과 우측에 각각 배치될 수 있다. 좌측 CMS 사이드 디스플레이(1310a)는 운전석과 인접하여 배치될 수 있다. 도 1을 함께 참조하면, 우측 CMS 사이드 디스플레이(1310R)는 동승자 좌석에 인접하게 배치될 수 있다. 일 실시예에서, CMS 사이드 디스플레이(1310a)는 대시보드 상에 장착되거나, 대시보드 내에 포함될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, CMS 사이드 디스플레이(1310a)는 운전석 도어 트림(door trim) 및 조수석 도어 트림에 각각 장착될 수도 있다.
도 5b를 참조하면, CMS 사이드 디스플레이(1310a)는 클러스터 디스플레이(1330) 내에 포함될 수 있다.
클러스터 디스플레이(1330)는 차량의 주행 상태 또는 각종 장치의 작동 상태 정보 중 적어도 하나를 포함하는 차량 정보를 디스플레이할 수 있다. 클러스터 디스플레이(1330)는 계기판에 포함될 수 있다. 클러스터 디스플레이(1330)는 예를 들어, 엔진 회전 정보(RPM), 속도 정보, 방향 지시등 활성화 상태 정보, 연료 정보, 냉각수 온도 정보 중 적어도 하나를 디스플레이할 수 있다. 클러스터 디스플레이(1330)는 차량의 주행 속도와 주행거리, 시계를 함께 표시하는 운행 기록계(tachograph),　엔진의 회전수(RPM)를 표시하는 회전 속도계(tachometer), 주행 거리를 표시하는 적산 거리계(tripmeter) 이외에 자동차의 상태를 나타내는 주유계와 수온계,　엔진　온도계, 각종 경고등(Warning　Lamp) 등을 포함할 수 있다.
클러스터 디스플레이(1330)는 예를 들어, LCD 디스플레이, PDP 디스플레이, OLED 디스플레이, FED 디스플레이, LED 디스플레이, VFD 디스플레이, DLP(Digital Light Processing) 디스플레이, 평판 디스플레이(Flat Panel Display), 3D 디스플레이, 및 투명 디스플레이 중 적어도 하나를 포함하는 물리적 장치로 구성될 수 있으나, 이에 한정되는 것은 아니다.
CMS 사이드 디스플레이(1310b)는 클러스터 디스플레이(1330) 내의 일부 영역에 포함될 수 있다. 일 실시예에서, CMS 사이드 디스플레이(1310b)는 클러스터 디스플레이(1330)의 주행 속도 정보를 표시하는 속도계를 대체하여 주변 환경 영상 및 탑 뷰 영상 중 적어도 하나를 디스플레이할 수 있다. 다른 실시예에서, CMS 사이드 디스플레이(1310b)는 클러스터 디스플레이(1330)의 엔진 회전 정보를 표시하는 회전 속도계를 대체하여 주변 환경 영상 및 탑 뷰 영상 중 적어도 하나를 디스플레이할 수 있다.
일 실시예에서, 프로세서(1400, 도 2 참조)는 차량 센서 모듈(2000, 도 3 참조)의 방향 지시등 센서(2010, 도 3 참조)로부터 좌측 방향 지시등이 활성화되었다는 정보를 수신하는 경우, 클러스터 디스플레이(1330)의 속도계가 표시되는 영역을 CMS 사이드 디스플레이(1310b)로 대체할 수 있다. 마찬가지로, 프로세서(1400)는 방향 지시등 센서(2010)로부터 우측 방향 지시등이 활성화되었다는 정보를 수신하는 경우, 클러스터 디스플레이(1330)의 회전 속도계가 표시되는 영역을 CMS 사이드 디스플레이(1310b)로 대체할 수 있다.
도 5c를 참조하면, CMS 사이드 디스플레이(1310c)는 클러스터 디스플레이(1330)의 일부 영역 상에 포함될 수 있다. 일 실시예에서, CMS 사이드 디스플레이(1310c)는 클러스터 디스플레이(1330)의 주행 속도계와 회전 속도계가 표시되는 영역 사이에 주변 환경 영상 및 탑 뷰 영상 중 적어도 하나를 디스플레이할 수 있다. 클러스터 디스플레이(1330)에 관한 설명은 도 5b에 도시된 클러스터 디스플레이(1330)와 동일한바, 중복되는 설명은 생략한다.
도 5d를 참조하면, CMS 사이드 디스플레이(1310d)는 중앙 디스플레이(Center Information Display; CID)(1320) 내의 일부 영역에 포함될 수 있다. 중앙 디스플레이(1320)는 차량의 대시 보드 상에서 운전석과 조수석 사이에 배치될 수 있다. 중앙 디스플레이(1320)는 목적지까지의 길 안내 네비게이션을 표시하거나, 주변 차량에 관한 탑 뷰 영상을 디스플레이할 수 있다.
일 실시예에서, CMS 사이드 디스플레이(1310d)는 중앙 디스플레이(1320) 내의 분할된 일부 영역 내에 주변 환경 영상 및 탑 뷰 영상 중 적어도 하나를 디스플레이할 수 있다.
도 6a 및 도 6b는 본 개시의 전자 장치가 차량의 차선 변경 신호를 인식하는 경우, CMS 사이드 디스플레이(1310) 상에 디스플레이되는 영상의 뷰(view)를 전환하는 실시예를 도시한 도면들이다.
도 6a를 참조하면, CMS 사이드 디스플레이(1310)는 외부 카메라(1110, 도 1 및 도 2 참조)를 통해 촬영된 차량의 좌우측 및 후방의 주변 환경을 실시간으로 촬영하여 획득된 주변 환경 영상(100)을 디스플레이할 수 있다.
CMS 사이드 디스플레이(1310)가 주변 환경 영상(100)을 디스플레이하는 동안, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 차량의 차선 변경 신호를 인식할 수 있다. 운전자가 차량의 방향 지시등 조작부(2100, 도 1 참조)를 조작하여 방향 지시등(turn signal)을 활성화(점등)하는 경우, 프로세서(1400)는 방향 지시등의 활성화 정보를 획득함으로써, 차량의 차선 변경 신호를 인식할 수 있다. 다른 실시예에서, 프로세서(1400)는 차량에 기 탑재된 네비게이션 시스템의 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 포함하는 차선 변경 신호를 인식할 수 있다.
차량의 차선 변경 신호를 인식하는 경우, 전자 장치(1000)는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하고, 탑 뷰 영상(110)을 CMS 사이드 디스플레이(1310) 상에 디스플레이할 수 있다. 탑 뷰 영상(110)은 차량에 기 탑재된 서라운드 뷰 모니터링 시스템(SVM)을 이용하여 획득한 영상으로서, 주변 환경 영상(100)으로부터 인식된 자 차량 및 주변 차량의 위치를 가상 이미지로 표시하는 영상이다. 탑 뷰 영상(110)은 자 차량의 주변 360° 공간의 상황을 차량 위에서 내려다 본 것과 같은 영상을 의미일 수 있다.
도 6b를 참조하면, 전자 장치(1000)는 차선 변경 신호를 인식하는 경우, CMS 사이드 디스플레이(1310)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하고, 주변 환경 영상(100)의 프레임 크기를 축소하며, 축소된 주변 환경 영상(100)을 전환된 탑 뷰 영상(110) 내에 오버레이(overlay)하여 디스플레이할 수 있다. 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 탑 뷰 영상(110)과 오버레이된 주변 환경 영상(100)을 디스플레이하도록 CMS 사이드 디스플레이(1310)를 제어할 수 있다.
도 6b에 도시된 실시예는 탑 뷰 영상(110) 상에 주변 환경 영상(100)을 오버레이하여 디스플레이하는 특징을 제외하고는 도 6a에 도시된 실시예와 동일한바, 중복되는 설명은 생략한다.
도 7a 내지 도 7c는 본 개시의 CMS 사이드 디스플레이 상에 디스플레이되는 탑 뷰 영상(110) 및 차선 변경 UI(120, 130, 140)의 실시예를 도시한 도면들이다.
도 7a를 참조하면, 탑 뷰 영상(110) 상에는 차선 변경 UI(120)가 디스플레이될 수 있다. 차선 변경 UI(120)는 자 차량 이미지(121), 주변 차량 이미지(122), 주변 차량의 예상 진입 경로 UI(123), 경고 마크(124), 및 경고 문구(125)를 포함할 수 있다.
전자 장치(1000)의 프로세서(1400)는, 외부 카메라(1110, 도 1 및 도 2 참조)를 이용하여 촬영된 주변 환경 영상을 영상 분석함으로써, 차선, 자 차량과 주변 차량의 위치, 자 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상 뿐만 아니라, 레이더 센서(1210, 도 2 및 도 4 참조) 및 초음파 센서(1220, 도 2 및 도 4 참조)를 이용하여 주변 차량의 위치를 추적함으로써, 주변 차량의 위치, 자 차량과 주변 차량 간의 거리, 및 자 차량과 주변 차량 간의 상대 속도에 관한 정보를 획득할 수 있다.
프로세서(1400)는 획득된 자 차량과 주변 차량의 위치에 기초하여 자 차량 이미지(121) 및 주변 차량 이미지(122)를 생성하고, 주변 차량의 예상 진입 경로를 나타내는 예상 진입 경로 UI(123)를 생성하고, 생성된 이미지 및 UI 들을 탑 뷰 영상(110) 상에 디스플레이할 수 있다. 프로세서(1400)는 자 차량과 주변 차량 간의 거리, 상대 속도, 및 주변 차량의 예상 진입 경로에 기초하여, 차선 변경 시 충돌 등의 상황이 발생할 수 있음을 알리는 경고 UI를 탑 뷰 영상(110) 상에 디스플레이할 수 있다. 경고 UI는 경고 마크(124) 및 경고 문구(125)를 포함할 수 있다.
도 7b를 참조하면, 탑 뷰 영상(110) 상에는 차선 변경 UI(130)가 디스플레이될 수 있다. 차선 변경 UI(130)는 자 차량 이미지(131), 자 차량의 진입 경로 UI(132), 제1 주변 차량 이미지(133), 제1 주변 차량의 예상 진입 경로 UI(134), 제2 주변 차량 이미지(135), 제2 주변 차량의 예상 진입 경로 UI(136), 경고 마크(137), 및 경고 문구(138)을 포함할 수 있다.
도 7b에 도시된 실시예에서, 탑 뷰 영상(110) 상에 디스플레이되는 차선 변경 UI(130)는 주변 차량이 복수 개(제1 주변 차량 및 제2 주변 차량)이고, 복수의 주변 차량 각각의 예상 진입 경로를 UI로 표시하는 것을 제외하고는, 도 7a에 도시된 실시예와 동일한바, 중복되는 설명은 생략한다. 도 7b에 도시된 실시예에서는, 자 차량 보다 2차선만큼 이격된 제2 주변 차량을 주의하라는 경고 마크(137) 및 경고 문구(138)가 탑 뷰 영상(110) 상에 디스플레이될 수 있다. 경고 문구(138)는 예를 들어, '좌측 차량 주의'일 수 있다.
도 7c를 참조하면, 주변 환경 영상(100) 상에는 차선 변경 UI(140)가 디스플레이될 수 있다. 차선 변경 UI(140)는 차선 변경 가능 알림 UI(141) 및 가속도 UI(142)를 포함할 수 있다.
차선 변경 가능 알림 UI(141)는 자 차량과 주변 차량의 상대 속도 및 자 차량과 주변 차량 간의 위치에 기초하여, 자 차량이 현재 주행하고 있는 차선에서 이탈하여 주변 차량이 주행하고 있는 차선으로 변경할 수 있는지에 관한 정보를 표시할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1400)는 주변 환경 영상(100)을 영상 분석하고, 레이더 센서(1210, 도 2 및 도 4 참조) 및 초음파 센서(1220, 도 2 및 도 4 참조)를 이용하여 획득된 자 차량과 주변 차량의 위치, 자 차량과 주변 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나의 정보에 기초하여 진입 예정 차선에 관한 차선 변경 가능성을 판단하고, 판단 결과에 기초하여 차선 변경 가능 알림 UI(141)를 생성할 수 있다. 프로세서(1400)는 차선 변경 가능 알림 UI(141)를 CMS 사이드 디스플레이 상에 디스플레이할 수 있다.
가속도 UI(142)는 자 차량이 진입하려는 차선으로 차선을 변경하기 위해서 가속해야 하는 속도를 나타내는 UI이다. 프로세서(1400)는 자 차량과 주변 차량 간의 거리 및 자 차량과 주변 차량 간의 상대 속도에 기초하여, 자 차량이 진입 예정 차선으로 차선을 변경하기 위해서 가속해야 하는 속도를 측정하고, 측정 결과에 기초하여 가속도 UI(142)를 생성할 수 있다. 프로세서(1400)는 가속도 UI(142)를 CMS 사이드 디스플레이 상에 디스플레이할 수 있다.
도 7c에 도시된 실시예에서, 차선 변경 가능 알림 UI(141) 및 가속도 UI(142)는 주변 환경 영상(100) 상에 디스플레이되는 것으로 도시되어 있지만, 이에 한정되는 것은 아니다. 일 실시예에서, 차선 변경 가능 알림 UI(141) 및 가속도 UI(142)는 탑 뷰 영상(110, 도 7a 및 도 7b 참조) 상에 디스플레이될 수도 있다.
도 6a 내지 도 7c에 도시된 실시예에서, 본 개시의 CMS 사이드 디스플레이(1310)는 탑 뷰 영상(110)을 디스플레이하고, 자 차량, 차선, 주변 차량의 위치, 자 차량과 주변 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 나타내는 차선 변경 UI(120, 130, 140)를 디스플레이함으로써, 차선 변경 또는 턴(turn) 상황에서 관련 정보를 직관적으로 운전자에게 제공할 수 있다. 따라서, 본 개시의 일 실시예에 따른 CMS 사이드 디스플레이(1310)는 운전의 신뢰성을 향상시키고, 운전자에게 안정감을 제공할 수 있다.
도 8은 본 개시의 일 실시예에 따른 전자 장치(1000)의 동작 방법을 도시한 흐름도이다.
단계 S810에서, 전자 장치(1000)는 차량의 측면에 배치된 외부 카메라를 이용하여 주변 환경 영상을 획득하고, 획득된 주변 환경 영상에 관한 제1 영상을 디스플레이한다. 일 실시예에서, 외부 카메라는 차량의 좌우측 및 후방의 주변 환경에 위치하는 주변 차량, 이륜 차, 보행자 중 적어도 하나를 포함하는 이동체를 촬영하는 CMS 뷰 카메라(Camera Monitoring System View Camera)로 구성될 수 있다. 외부 카메라는 주변 환경 영상을 실시간으로 촬영함으로써, 주변 환경 영상을 획득하고, 획득된 주변 환경 영상을 프로세서(1400, 도 2 참조)에 제공할 수 있다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상을 CMS 사이드 디스플레이(1310, 도 2 참조) 상에 디스플레이할 수 있다.
단계 S820에서, 전자 장치(1000)는 차량의 차선 변경 신호를 인식한다.
일 실시예에서, 전자 장치(1000)는 차량의 방향 지시등 조작부를 조작함으로써, 방향 지시등(turn signal)을 점등하는 사용자 입력을 인식할 수 있다. 일 실시예에서, 프로세서(1400)는 차량 센서 모듈(2000, 도 3 참조)로부터 방향 지시등 조작부(2100, 도 3 참조)를 조작하는 사용자 입력에 따라 방향 지시등(turn signal)의 활성화(점등) 정보를 획득하고, 방향 지시등의 활성화 정보에 기초하여 방향 지시등을 점등하는 사용자 입력을 인식할 수 있다. 일 실시예에서, 프로세서(1400)는 차량 센서 모듈(2000)로부터 활성화된 방향 지시등의 방향(예를 들어, 좌측 방향 지시등 활성화 또는 우측 방향 지시등 활성화)에 관한 정보를 획득할 수 있다.
일 실시예에서, 전자 장치(1000)는 차량의 네비게이션 시스템의 주행 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 인식할 수 있다. 일 실시예에서, 프로세서(1400)는 차량이 자율 주행 모드로 주행하는 경우, 차량 센서 모듈(2000)로부터 조향 각도, 속도 등 주행 정보를 획득하고, 획득된 주행 정보에 기초하여 턴 또는 차선 변경 신호를 인식할 수 있다. 예를 들어, 프로세서(1400)는 네비게이션 시스템의 경로 정보를 이용하여 교차로에서 턴을 하는 상황을 인식할 수 있다.
다른 실시예에서, 프로세서(1400)는 차량 센서 모듈(2000)로부터 차량의 조향 각도 변경에 관한 정보를 획득하고, 획득된 조향 각도 변경 정보에 기초하여 턴 신호 또는 차선 변경 신호를 인식할 수 있다.
단계 S830에서, 전자 장치(1000)는 차선 변경 신호에 응답하여, 제1 영상을 주변 차량 및 자 차량을 가상 이미지로 표시하는 탑 뷰(top view) 영상인 제2 영상으로 전환하여 디스플레이한다.
일 실시예에서, 전자 장치(1000)는 차선 변경 신호가 인식되는 경우, 주변 환경 영상인 제1 영상을 탑 뷰 영상인 제2 영상으로 전환하고, 전환된 제2 영상을 CMS 사이드 디스플레이(1310, 도 1 및 도 2 참조) 상에 디스플레이할 수 있다. 제2 영상은 자 차량과 주변 차량을 조감도 형식으로 위에서 아래로 내려다 본 것과 같이 가상 이미지로 표시하는 탑 뷰 영상이다. 프로세서(1400)는 차량에 기 탑재된 서라운드 뷰 모니터링 시스템을 이용하여 차량의 주변 360° 공간의 상황을 촬영하고, 촬영된 영상의 왜곡을 보정하고, 시점 변화 및 영상 합성 기술을 이용하여 탑 뷰 영상을 생성할 수 있다.
일 실시예에서, 전자 장치(1000)는 활성화된 방향 지시등의 방향에 기초하여 좌측에 배치된 CMS 사이드 디스플레이(1310L, 도 1 참조) 및 우측에 배치된 CMS 사이드 디스플레이(1310R, 도 1 참조) 중 어느 하나에 디스플레이되는 영상의 뷰를 전환할 수 있다. 예를 들어, 방향 지시등 조작부(2100, 도 1 참조)를 아래 방향으로 누르는 입력을 통해 좌측 방향 지시등을 점등하는 사용자 입력이 수신되는 경우, 전자 장치(1000)는 좌측 CMS 사이드 디스플레이(1310L)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이할 수 있다. 다른 예를 들어, 방향 지시등 조작부(2100)를 위 방향으로 조작함으로써 우측 방향 지시등을 점등하는 사용자 입력이 수신되는 경우, 전자 장치(1000)는 우측 CMS 사이드 디스플레이(1310R)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이할 수 있다.
일 실시예에서, 프로세서(1400)는 차선 변경 신호에 응답하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하고, 주변 환경 영상의 프레임의 크기를 축소하여 탑 뷰 영상 상에 오버레이(overlay)할 수 있다. 프로세서(1400)는 탑 뷰 영상과 오버레이된 주변 환경 영상을 디스플레이하도록 CMS 사이드 디스플레이(1310)를 제어할 수 있다.
단계 S840에서, 전자 장치(1000)는 제2 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI를 디스플레이한다. 일 실시예에서, 전자 장치(1000)는 주변 환경 영상을 영상 분석함으로써, 차선, 자 차량과 주변 차량의 위치, 자 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상 뿐만 아니라, 레이더 센서(1210, 도 2 및 도 4 참조) 및 초음파 센서(1220, 도 2 및 도 4 참조)를 이용하여 주변 차량의 위치를 추적함으로써, 주변 차량의 위치, 자 차량과 주변 차량 간의 거리, 및 자 차량과 주변 차량 간의 상대 속도에 관한 정보를 획득할 수 있다. 프로세서(1400)는 획득된 주행 환경 정보에 기초하여, 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI를 CMS 사이드 디스플레이(1310, 도 1 및 도 2 참조) 상에 디스플레이할 수 있다.
일 실시예에서, 차선 변경 UI는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상 상에 표시될 수 있다. 그러나, 이에 한정되는 것은 아니고, 차선 변경 UI는 주변 환경 영상 상에 표시될 수도 있다. 차선 변경 UI에 관해서는 도 7a 내지 도 7c에 도시되고, 설명된 차선 변경 UI(120, 130, 140)의 설명을 참조한다.
도 9는 본 개시의 일 실시예에 따른 전자 장치(1000)의 동작 방법을 도시한 흐름도이다. 도 9에 도시된 실시예는 도 8에 도시된 단계 S820과 단계 S840 사이에 추가로 수행되는 단계들에 관한 것이다. 단계 S910은 도 8의 단계 S820이 수행된 이후에 수행된다.
단계 S910에서, 전자 장치(1000)는 주변 환경 영상으로부터 주변 차량을 인식한다. 전자 장치(1000)는 외부 카메라(1110, 도 1 및 도 2 참조)를 통해 획득된 주변 환경 영상을 영상 분석함으로써, 주변 환경 영상으로부터 차선 및 주변 차량을 인식하고, 주변 차량의 위치 정보를 획득할 수 있다.
일 실시예에서, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 주변 환경 영상에 포함되는 복수의 이미지 프레임(image frame)을 분석함으로써, 자 차량의 주변에서 이동하는 주변 차량을 검출할 수 있다. 프로세서(1400)는 예를 들어, 이미지 처리(image processing)을 이용하거나, 또는 심층 신경망(Deep Neural Network)을 포함하는 머신 러닝(Machine Learning)을 이용하여 주변 환경 영상으로부터 주변 차량을 검출할 수 있다.
단계 S920에서, 전자 장치(1000)는 외부 레이더 센서 및 초음파 센서 중 적어도 하나를 이용하여 주변 차량과 자 차량 간의 거리를 측정한다. 일 실시예에서, 프로세서(1400)는 차량 외부에 장착된 레이더 센서(1210, 도 2 및 도 4 참조)를 이용하여 주변 차량에 전자기 파를 송신하고, 주변 차량으로부터 반사된 전자기 파를 수신함으로써, 주변 차량의 위치 및 자 차량과 주변 차량 간의 거리에 관한 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 차량 외부에 장착된 초음파 센서(1220, 도 2 및 도 4 참조)를 이용하여 주변 차량에 초음파 신호를 전송하고, 주변 차량으로부터 반사되는 초음파 에코 신호를 수신하며, 수신된 초음파 에코 신호를 분석함으로써 주변 차량의 위치 및 자 차량과 주변 차량 간의 위치에 관한 정보를 획득할 수 있다.
단계 S930에서, 전자 장치(1000)는 측정된 거리가 기설정된 임계값 이하인지를 확인한다.
자 차량과 주변 차량 간의 측정된 거리가 임계값 이하인 경우(단계 S940), 전자 장치(1000)는 주변 차량의 예상 진입 경로가 자 차량의 진입 경로와 동일한지 여부를 확인한다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상으로부터 검출된 주변 차량의 위치를 추적하고, 주변 차량의 위치 정보를 실시간으로 갱신(update)할 수 있다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상에 포함되는 복수의 프레임 각각에서 검출된 주변 차량의 위치 정보를 이용하여 주변 차량의 예상 진입 경로를 예측할 수 있다. 프로세서(1400)는 주변 차량의 예상 진입 경로와 자 차량의 진입 경로가 동일한지 여부를 확인할 수 있다.
주변 차량의 예상 진입 경로와 자 차량의 진입 경로가 동일한 것으로 확인된 경우(단계 S950), 전자 장치(1000)는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이한다. 프로세서(1400)는 CMS 사이드 디스플레이(1310, 도 1 및 도 2 참조) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하고, 탑 뷰 영상을 CMS 사이드 디스플레이(1310) 상에 디스플레이할 수 있다.
주변 차량의 예상 진입 경로가 자 차량의 진입 경로와 동일하지 않은 것으로 확인된 경우(단계 S980), 전자 장치(1000)는 주변 환경 영상을 CMS 사이드 디스플레이(1310) 상에 디스플레이한다. 단계 S980은 도 8의 단계 S810에서부터 CMS 사이드 디스플레이(1310) 상에 디스플레이되고 있는 주변 환경 영상의 뷰를 계속 유지할 수 있다.
자 차량과 주변 차량 간의 측정된 거리가 기설정된 임계값을 초과하는 것으로 확인된 경우(단계 S960), 전자 장치(1000)는 진입 예정 차선 상의 주변 차량의 속도를 측정한다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상의 복수의 프레임으로부터 감지되는 주변 차량을 검출하고, 복수의 프레임 각각에서의 주변 차량의 움직임 정도를 계산함으로써, 주변 차량의 속도를 측정할 수 있다. 일 실시예에서, 프로세서(1400)는 외부의 레이더 센서(1210) 및 초음파 센서(1220) 중 적어도 하나를 이용하여 주변 차량과 자 차량 간의 시간에 따른 거리의 변화를 실시간으로 계산함으로써, 주변 차량의 속도를 측정할 수 있다.
단계 S970에서, 전자 장치(1000)는 측정된 주변 차량의 속도가 자 차량의 속도를 초과하는지 확인한다.
측정된 주변 차량의 속도가 자 차량의 속도를 초과하는 것으로 확인된 경우, 전자 장치(1000)는 주변 차량의 예상 진입 경로가 자 차량의 진입 경로와 동일한지 여부를 확인한다 (단계 S940).
측정된 주변 차량의 속도가 자 차량의 속도 이하인 것으로 확인된 경우, 전자 장치(1000)는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이한다 (단계 S950).
도 10은 본 개시의 전자 장치(1000)가 차량(10)의 차선 변경 신호 및 차선 이탈을 포함하는 상황을 인식하고, 인식된 상황에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 영상의 뷰(view)를 전환하는 실시예를 도시한 도면이다.
도 10을 참조하면, 전자 장치(1000)는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 영상의 뷰를 두 번에 걸쳐 변경할 수 있다.
CMS 사이드 디스플레이(1310)는 외부 카메라(1110, 도 1 및 도 2 참조)를 이용하여 차량(10)의 주변을 촬영함으로써 획득된 주변 환경 영상(100)인 제1 영상을 디스플레이할 수 있다.
단계 S1010에서, 차선 변경 신호를 인식하는 경우, 전자 장치(1000)는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 제1 영상을 제2 영상으로 전환하여 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 방향 지시등 조작부(2100)를 조작하는 사용자 입력을 인식함으로써, 차량(10)의 차선 변경 신호를 인식할 수 있다. 다른 실시예에서, 전자 장치(1000)는 차량(10)에 기 탑재된 네비게이션 시스템의 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 포함하는 차선 변경 신호를 인식할 수 있다.
제2 영상은 탑 뷰 영상(110)과 주변 환경 영상(100)을 포함할 수 있다. 제2 영상에서 주변 환경 영상(100)은 탑 뷰 영상(110) 상에 오버레이(overlay)되어 디스플레이될 수 있다. 일 실시예에서, 전자 장치(1000)는 CMS 사이드 디스플레이(1310)에 디스플레이되는 주변 환경 영상(100)의 프레임 크기를 축소하고, 축소된 주변 환경 영상(100)을 탑 뷰 영상(110) 내에 오버레이하여 디스플레이할 수 있다.
단계 S1020에서, 전자 장치(1000)는 차량(10)의 차선 이탈을 인식한다. 일 실시예에서, 전자 장치(1000)는 차량(10)의 전면부에 배치된 전방 카메라(1112) 후면부에 배치된 후방 카메라(1114), 및 차량(10)의 좌우 측면부에 배치된 외부 카메라(1110)를 이용하여 촬영된 영상을 분석함으로써, 영상으로부터 차선을 검출할 수 있다. 전자 장치(1000)는 차량(10)이 현재 주행 중인 제1 차선에서 이탈하여 진입 예정 차선인 제2 차선으로 기설정된 범위만큼 진입하는지 여부를 인식할 수 있다. 예를 들어, 전자 장치(1000)는 차량(10)이 진입 예정 차선인 제2 차선으로 차량 전폭(l)의 α %이상 진입하는 경우 차선을 이탈했다고 인식할 수 있다. 예를 들어, α %는 40%일 수 있으나, 이에 한정되지 않는다.
단계 S1020에서 차선 이탈이 인식된 경우, 전자 장치(1000)는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 제2 영상을 제3 영상으로 전환하여 디스플레이한다. 제3 영상은, 제2 영상에서 오버레이된 주변 환경 영상(100)을 제외하고, 탑 뷰 영상(110)만을 포함하는 영상이다.
도 10에 도시된 실시예에서, 본 개시의 전자 장치(1000)는 차선 변경 신호가 인식되는 경우에는 탑 뷰 영상(110)과 주변 환경 영상(100)을 함께 디스플레이하는 제2 영상을 CMS 사이드 디스플레이(1310) 상에 디스플레이하지만, 차량(10)이 실제로 주행 중인 제1 차선을 이탈하는 경우 탑 뷰 영상(110)만을 포함하는 제3 영상으로 전환하여 디스플레이할 수 있다. 운전자가 방향 지시등 조작부(2100)를 조작하여 좌 또는 우측 방향 지시등을 점등한다고 하더라도 실제 차량은 주행 중인 제1 차선에서 계속적으로 주행하고 있기 때문에, 주변 차량과의 충돌 등 사고가 발생될 확률이 상대적으로 낮을 수 있다. 이 경우에는 전자 장치(1000)는 탑 뷰 영상(110)과 주변 환경 영상(100)을 모두 제공한다. 그러나, 차량(10)이 주행 중인 제1 차선을 이탈하는 경우, 운전자는 전방을 주시할 확률이 높고, 사고 위험이 상대적으로 상승하는바, 전자 장치(1000)는 주변 차량과의 위치 관계를 명시적으로 표시하는 탑 뷰 영상(110)만을 CMS 사이드 디스플레이(1310)에 디스플레이한다. 본 개시의 전자 장치(1000)는 차선 변경 신호 또는 차선 이탈 각각의 상황을 인식하고, 인식된 상황에 따라 CMS 사이드 디스플레이(1310)에 디스플레이되는 영상의 뷰(view)를 전환함으로써, 신뢰성을 향상시키고, 안정성을 강화할 수 있다.
도 11a 및 도 11b는 본 개시의 전자 장치(1000)가 CMS 사이드 디스플레이(1310)와 운전자의 거리의 변화에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 영상의 시야각(Field of Vew; FOV)을 변경하는 실시예를 도시한 도면들이다.
도 11a를 참조하면, 전자 장치(1000)는 내부 카메라(1120)를 이용하여 운전자 및 조수석에 탑승한 동승자 중 적어도 하나를 촬영함으로써, 탑승자 영상을 획득할 수 있다. 내부 카메라(1120)는 예를 들어, 차량 내부의 대시보드(dashboard), 룸 미러(room mirror), 또는 클러스터(cluster)의 상단에 배치될 수 있다. 그러나, 내부 카메라(1120)가 배치되는 위치가 전술한 예시로 한정되는 것은 아니다.
내부 카메라(1120)는 탑승자의 얼굴을 촬영하여 탑승자 영상을 획득하며, 획득된 탑승자 영상을 프로세서(1400, 도 2 참조)에 제공할 수 있다. 프로세서(1400)는 내부 카메라(1120)로부터 획득한 탑승자 영상으로부터 탑승자의 머리 위치, 머리 회전 방향, 시선(gaze) 방향 중 적어도 하나를 포함하는 탑승자의 위치 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 탑승자 영상으로부터 운전자 또는 조수석에 탑승한 동승자의 얼굴을 인식하고, 인식된 얼굴로부터 눈, 코, 입 등 주요 특징점들(feature points)을 추출할 수 있다. 이 경우, 프로세서(1400)는 공지의 영상 처리 기술(image processing)을 이용하거나, 또는 심층 신경망(Deep Neural Network)을 이용한 머신 러닝 기반의 영상 분석 기술을 이용할 수 있다. 예를 들어, 프로세서(1400)는 이미지 CNN(Image-based Convolution Neural Network), 또는 순환 신경망(Recurrent Neural Network; RNN) 등 공지의 신경망 모델을 이용하는 학습(training)을 수행함으로써, 탑승자 영상으로부터 탑승자 얼굴의 주요 특징점들을 추출할 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(1400)는 공지의 모든 특징점 추출 기술을 이용할 수 있다. 프로세서(1400)는 추출된 주요 특징점들의 3차원 위치 좌표값을 획득하고, 획득된 3차원 위치 좌표값을 이용하여 탑승자의 머리 위치 및 머리 회전 방향 중 적어도 하나의 탑승자 위치 정보를 획득할 수 있다.
일 실시예에서, 내부 카메라(1120)는 운전자 또는 조수석에 탑승한 동승자를 포함하는 탑승자의 눈동자를 촬영하고, 눈동자의 움직임을 감지함으로써 탑승자의 시선을 추적하는 시선 추적 센서(eye tracking sensor)를 포함할 수 있다. 프로세서(1400)는 내부 카메라(1120)에 포함되는 시선 추적 센서로부터 탑승자의 시선 방향에 관한 정보를 획득할 수 있다.
전자 장치(1000)는 탑승자 영상으로부터 추출된 주요 특징점들의 3차원 위치 좌표값과 CMS 사이드 디스플레이(1310)의 위치 좌표값을 이용하여, 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리를 측정할 수 있다. 도 11a에 도시된 실시예에서, 전자 장치(1000)는 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 제1 거리(d 1)를 측정할 수 있다.
전자 장치(1000)는 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 측정된 거리에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(110)의 시야 각(Field Of View; FOV)을 조절할 수 있다. 도 11a에 도시된 실시예에서, 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리가 제1 거리(d 1)인 경우, 탑 뷰 영상(110)의 시야 각은 자 차량 이미지(121)와 제1 주변 차량 이미지(122)만을 포함할 수 있다.
도 11b를 참조하면, 탑승자(예를 들어, 운전자)는 CMS 사이드 디스플레이(1310)를 더 자세히 보기 위하여, 얼굴을 CMS 사이드 디스플레이(1310)와 인접하는 방향으로 접근할 수 있다. 이 경우, 내부 카메라(1120)는 실시간으로 탑승자의 얼굴을 촬영하고, 촬영을 통해 획득된 탑승자 영상을 프로세서(1400)에 제공할 수 있다. 프로세서(1400)는 탑승자 영상을 영상 분석함으로써, 탑승자 얼굴의 주요 특징점들을 추출하고, 추출된 주요 특징점들의 3차원 위치 좌표값을 획득하며, 획득한 주요 특징점들의 3차원 위치 좌표값과 CMS 사이드 디스플레이(1310)의 위치 좌표값을 이용하여 탑승자 얼굴과 CMS 사이드 디스플레이(1310) 간의 변경된 거리를 측정할 수 있다. 도 11b에 도시된 실시예에서, 운전자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리는 제2 거리(d 2)로 측정될 수 있다. 제2 거리(d 2)의 값은 제1 거리(d 1, 도 11a 참조) 보다 작을 수 있다.
전자 장치(1000)는 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리값의 변화량에 기초하여, 탑 뷰 영상(112)의 시야 각(FOV)을 확대 또는 축소(zoom in or out)할 수 있다. 도 11b에 도시된 실시예에서, 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리가 제2 거리(d 2)인 경우, CMS 사이드 디스플레이(1310)에 디스플레이되는 탑 뷰 영상(112)에는 자 차량 이미지(121), 제1 주변 차량 이미지(122) 뿐만 아니라, 제2 주변 차량 이미지(126)가 표시될 수 있다. 도 11a를 함께 참조하면, 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리가 제1 거리(d 1)에서 제2 거리(d 2)로 변경되는 경우, 즉 탑승자(운전자)가 CMS 사이드 디스플레이(1310)를 더 가까이 보기 위하여 CMS 사이드 디스플레이(1310)에 인접하게 얼굴을 이동하는 경우, 전자 장치(1000)는 CMS 사이드 디스플레이(1310)에 디스플레이되는 탑 뷰 영상(112)을 줌 아웃(zoom out)할 수 있다. 도 11b에 도시된 탑 뷰 영상(112)은 도 11a에 도시된 탑 뷰 영상(110)과 비교하여 줌 아웃된 영상인바, 탑 뷰 영상(112)에 표시되는 자 차량 이미지(121) 및 제1 주변 차량 이미지(122)는 도 11a에 도시된 것 보다 작은 스케일(scale)로 표시될 수 있다.
반대의 실시예, 즉 탑승자(운전자)가 CMS 사이드 디스플레이(1310)로부터 차량 시트의 헤드 레스트 방향으로 얼굴을 이동하는 경우, 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리가 제2 거리(d 2)의 값 보다 커지고, 전자 장치(1000)는 탑 뷰 영상(112)을 줌 인(zoom in)할 수 있다.
도 12는 본 개시의 전자 장치(1000)가 차량에 탑승한 탑승자의 핸드 제스쳐에 기초하여 CMS 사이드 디스플레이 상에 디스플레이되는 영상의 시야각을 변경하는 실시예를 도시한 도면이다.
도 12를 참조하면, CMS 사이드 디스플레이(1310)에는 탑 뷰 영상(110)이 디스플레이될 수 있다. 탑 뷰 영상(110) 상에는 자 차량 이미지(121)와 제1 주변 차량 이미지(122)가 표시될 수 있다.
전자 장치(1000)는 탑승자의 핸드 제스쳐를 인식할 수 있다. 일 실시예에서, 전자 장치(1000)의 핸드 제스쳐 입력부(1720, 도 2 참조)는 운전자 또는 조수석에 탑승한 동승자의 핀치 인 아웃(pinch in or out) 및 팜 스와이프(palm swipe) 중 적어도 하나를 포함하는 핸드 제스쳐를 수신할 수 있다. 프로세서(1400, 도 2 참조)는 핸드 제스쳐 입력부(1720)를 통해 수신된 핸드 제스쳐 입력에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(112)의 시야 각(FOV)을 확대 또는 축소(zoom in or out)할 수 있다. 예를 들어, 전자 장치(1000)가 양 손가락을 오므리는 핀치 아웃(pinch out) 입력을 인식하는 경우, CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(112)을 줌 아웃(zoom out)할 수 있다. 도 12에 도시된 실시예에서, 탑 뷰 영상(112)이 줌 아웃되면, 자 차량 이미지(121), 제1 주변 차량 이미지(122) 뿐만 아니라, 제2 주변 차량 이미지(126)도 표시될 수 있다.
탑 뷰 영상(112)은, 핸드 제스쳐가 인식되기 전에 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(110)과 비교하여 줌 아웃된 영상인바, 탑 뷰 영상(112)에 표시되는 자 차량 이미지(121) 및 제1 주변 차량 이미지(122)는 핸드 제스쳐가 인식되기 전의 탑 뷰 영상(110) 보다 작은 스케일(scale)로 표시될 수 있다.
반대의 예를 들어, 전자 장치(1000)가 양 손가락을 펼치는 핀치 인(pinch in) 입력을 인식하는 경우, CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(112)을 줌 인(zoom in)할 수 있다.
예를 들어, 전자 장치(1000)는 팜 스와이프 입력의 방향에 따라 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(112)을 줌 인 하거나 또는 줌 아웃 할 수 있다.
도 11 및 도 12에 도시된 실시예에서, 전자 장치(1000)는 운전자 뿐만 아니라, 동승자의 행위, 예를 들어, 얼굴을 CMS 사이드 디스플레이(1310)에 인접하거나, 또는 멀리 이동하는 행위, 또는 핸드 제스쳐 행위를 인식하고, 인식된 행위에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(110)의 시야 각을 자동으로 조절하는 탑승자 모니터링 시스템(Occupant Monitoring System; OMS)를 구축할 수 있다. 본 개시의 전자 장치(1000)는 탑승자의 니즈(needs)를 자동으로 파악하고, 관련된 사용자 경험(UX)을 제공함으로써, 운전자가 운전 중에 CMS 사이드 디스플레이(1310)를 조작하는 의식적이고 부가적인 행위를 하지 않아도 되고, 운전 자체에 집중을 할 수 있게 함으로써 편의성을 향상시킬 수 있다. 또한, 불필요한 CMS 사이드 디스플레이(1310)의 조작 또는 버튼 조작을 생략할 수 있는바, 운전의 안정성도 향상시킬 수 있다.
도 13은 본 개시의 전자 장치(1000)가 탑 뷰 영상(110)을 중앙 디스플레이(Center Information Display; CID)(1320) 상에 디스플레이하는 실시예를 도시한 도면이다.
도 13을 참조하면, 중앙 디스플레이(1320)는 탑 뷰 영상(110) 및 이미지 컨텐트(150)를 디스플레이할 수 있다. 일 실시예에서, 중앙 디스플레이(1320)는 제1 영역(1322) 및 제2 영역(1324)로 분할되고, 제1 영역(1322)에는 이미지 컨텐트(150)가 디스플레이되고, 제2 영역(1324)에는 탑 뷰 영상(110)이 디스플레이될 수 있다. 이미지 컨텐트(150)는 예를 들어, 영화, TV 쇼, 인터넷 기반 동영상 스트리밍(예를 들어, 유튜브, 넷플릭스), 중 게임 적어도 하나를 포함할 수 있다.
도 13에 도시된 실시예는 차량이 자율 주행 모드에서 주행하는 경우, 중앙 디스플레이(1320) 상에 탑승자가 즐길 수 있는 이미지 컨텐트(150)를 디스플레이함과 동시에, CMS 사이드 디스플레이를 통해 디스플레이되는 탑 뷰 영상(110)을 함께 디스플레이함으로써, 운전자가 차선의 변경 또는 턴 상황 등에서 차량의 자체 판단과 자율 주행 운전 방식을 미리 예측 가능하게 함으로써, 운전자 또는 동승자에게 자율 주행에 관한 높은 신뢰성을 제공할 수 있다.
도 14a는 본 개시의 전자 장치(1000)가 좌측 운행 차량(Left-Hand Drive; LHD)의 경우 탑 뷰 영상(110)을 CMS 사이드 디스플레이(1310) 및 중앙 디스플레이(1320) 상에 디스플레이하는 실시예를 도시한 도면이다.
도 14b는 본 개시의 전자 장치(1000)가 우측 운행 차량(Right-Hand Drive; RHD)의 경우 탑 뷰 영상(110)을 CMS 사이드 디스플레이(1310) 및 중앙 디스플레이(1320) 상에 디스플레이하는 실시예를 도시한 도면이다.
차량의 유형(type)은　스티어링 휠의 위치에 따라 LHD 차량과 RHD 차량으로 분류될 수 있다. 차량의 유형은 도로에 따라 달라질 수 있다. 예를 들어, 차량이 도로의 오른쪽을 달리는 교통 체계를 채택하고 있는 국가(예를 들어, 한국, 미국)에서는 스티어링 휠이 왼쪽에 배치되는 LHD 차량이 이용되고, 차량이 도로의 왼쪽을 달리는 교통 체계를 채택하고 있는 국가(예를 들어, 일본, 영국)에서는 스티어링 휠이 오른쪽에 배치되는 RHD 차량이 이용된다.
도 14a를 참조하면, LHD 차량이 주행 방향을 우측으로 향하거나, 차량 기준 우측 차선으로 차선 변경을 시도하는 경우, 차량은 운전자로부터 방향 지시등 조작부(2100)를 조작하여 우측 방향 지시등을 활성화(점등)시키는 입력을 수신할 수 있다. 우측 방향 지시등이 활성화되는 경우, 전자 장치(1000)는 차량 센서 모듈(2000, 도 3 참조)로부터 방향 지시등 활성화 정보를 수신하고, 수신된 방향 지시등 활성화 정보에 기초하여 우측 CMS 사이드 디스플레이(1310R)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상(110)으로 전환할 수 있다. 이 경우, 전자 장치(1000)는 우측 CMS 사이드 디스플레이(1310R) 뿐만 아니라, 중앙 디스플레이(1320)에도 탑 뷰 영상(110)을 디스플레이할 수 있다.
운전자가 방향 지시등 조작부(2100)를 조작하여 좌측 방향 지시등을 활성화(점등)하는 경우, 전자 장치(1000)는 좌측 CMS 사이드 디스플레이(1310L)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환할 수 있다. 그러나, 이 경우에는 중앙 디스플레이(1320)에는 탑 뷰 영상(110)을 디스플레이하지 않을 수 있다.
도 14b를 참조하면, RHD 차량이 주행 방향을 좌측으로 향하거나, 또는 차량 기준 좌측 차선으로 차선 변경을 시도하는 경우, 차량은 운전자로부터 방향 지시등 조작부(2100)를 조작하여 좌측 방향 지시등을 활성화(점등)시키는 입력을 수신할 수 있다. 좌측 방향 지시등이 활성화되는 경우, 전자 장치(1000)는 차량 센서 모듈(2000, 도 3 참조)로부터 방향 지시등 활성화 정보를 수신하고, 수신된 방향 지시등 활성화 정보에 기초하여 좌측 CMS 사이드 디스플레이(1310L)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상(110)으로 전환할 수 있다. 이 경우, 전자 장치(1000)는 좌측 CMS 사이드 디스플레이(1310L) 뿐만 아니라, 중앙 디스플레이(1320)에도 탑 뷰 영상(110)을 디스플레이할 수 있다.
운전자가 방향 지시등 조작부(2100)를 조작하여 우측 방향 지시등을 활성화(점등)하는 경우, 전자 장치(1000)는 우측 CMS 사이드 디스플레이(1310R)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환할 수 있다. 그러나, 이 경우에는 중앙 디스플레이(1320)에는 탑 뷰 영상(110)을 디스플레이하지 않을 수 있다.
도 14a 및 도 14b에 도시된 실시예에서, 차량 유형이 LHD 차량인지, RHD 차량인지에 따라 좌측 CMS 사이드 디스플레이(1310L)과 우측 CMS 사이드 디스플레이(1310R) 중 운전자에 인접하는 위치하는 CMS 사이드 디스플레이가 다르다. 예를 들어, LHD 차량의 경우, 좌측 CMS 사이드 디스플레이(1310L)는 운전자의 위치와 인접하게 배치되지만, 우측 CMS 사이드 디스플레이(1310R)는 상대적으로 운전자와는 먼 위치에 배치된다. 따라서, 운전자는 우측 CMS 사이드 디스플레이(1310R)를 보기 위해 얼굴을 회전하거나, 시선 방향을 우측으로 돌려야 하는 부가 행위가 필요하고, 이 경우 집중력이 분산될 수 있다. 정차 중에는 상관이 없지만, 주행 중 또는 차선 변경 시에는 우측 CMS 사이드 디스플레이(1310R)를 보기 위하여 집중력이 낮아지는 경우 사고 발생의 위험성이 있다. 본 개시의 전자 장치(1000)는 LHD 차량의 경우, 우측 방향 지시등이 활성화되면 우측 CMS 사이드 디스플레이(1310R) 뿐만 아니라, 중앙 디스플레이(1320)에도 탑 뷰 영상(110)을 디스플레이하는바, 운전자의 부가 행위를 생략할 수 있고, 따라서 운전의 안정성을 향상시킬 수 있다. RHD 차량의 경우에도 방향 지시등의 방향만 다를뿐, 동작의 원리는 동일하다.
본 명세서에서 설명된 전자 장치(1000)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 디바이스의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 차량 또는 전자 장치(1000)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 전자 장치(1000), 서버, 및 타 디바이스로 구성되는 시스템에서, 서버의 저장매체 또는 디바이스의 저장매체를 포함할 수 있다. 또는, 전자 장치(1000)와 통신 연결되는 제3 디바이스(예를 들어, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 디바이스의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 전자 장치(1000)로부터 디바이스 또는 제3 디바이스로 전송되거나, 제3 디바이스로부터 디바이스로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 전자 장치(1000), 디바이스, 및 제3 디바이스 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 전자 장치(1000), 디바이스, 및 제3 디바이스 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 전자 장치(1000)가 메모리(1500, 도 2 참조)에 저장된 컴퓨터 프로그램 제품을 실행하여, 전자 장치(1000)와 통신 연결된 타 디바이스가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 디바이스가 컴퓨터 프로그램 제품을 실행하여, 제3 디바이스와 통신 연결된 디바이스가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 디바이스가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 디바이스는 전자 장치(1000)로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 디바이스는 프리로드(pre-load)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (15)

  1. 차량에 탑재된 전자 장치가 상기 차량의 CMS(Camera Monitoring System)를 이용하여 영상을 디스플레이하는 방법에 있어서,
    상기 차량의 측면에 배치된 외부 카메라를 이용하여 상기 차량의 좌우측 주변 환경을 촬영하여 획득한 주변 환경 영상인 제1 영상을 CMS 사이드 디스플레이(Camera Monitoring System side display)를 통해 디스플레이하는 단계;
    상기 차량의 차선 변경 신호를 인식하는 단계;
    인식된 상기 차선 변경 신호에 응답하여, 상기 CMS 사이드 디스플레이에 디스플레이되는 상기 제1 영상을 상기 차량 및 주변 차량의 위치를 상기 차량의 위에서 내려다 본 것과 같은 가상 이미지로 표시하는 탑 뷰(top view) 영상인 제2 영상으로 전환하고, 상기 제2 영상을 디스플레이하는 단계; 및
    상기 제2 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시하는 단계;
    를 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 차선 변경 신호를 인식하는 단계는,
    상기 차량의 방향 지시등 조작부를 조작함으로써, 방향 지시등(turn signal)을 점등하는 사용자 입력을 인식하는, 방법.
  3. 제1 항에 있어서,
    상기 차선 변경 신호를 인식하는 단계는,
    상기 차량의 네비게이션 시스템의 주행 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 인식하는, 방법.
  4. 제1 항에 있어서,
    상기 차선 변경 가능 여부에 관한 차선 변경 UI를 디스플레이하는 단계는,
    상기 주변 환경 영상으로부터 인식된 차선, 주변 차량의 위치, 상기 차량과 상기 주변 차량 간의 상대 속도, 상기 차량과 주변 차량 간의 거리, 및 상기 차량 및 상기 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보에 관한 UI를 디스플레이하는, 방법.
  5. 제1 항에 있어서,
    상기 제2 영상을 디스플레이하는 단계는,
    상기 탑 뷰 영상 상에 상기 CMS 뷰 카메라를 통해 획득된 상기 주변 환경 영상을 오버레이(overlay)하여 디스플레이하는, 방법.
  6. 제5 항에 있어서,
    상기 차량이 현재 주행 중인 제1 차선에서 이탈하여 진입 예정 차선인 제2 차선으로 기설정된 범위만큼 진입하는 차선 이탈을 인식하는 단계;
    인식된 상기 차선 이탈에 응답하여, 상기 CMS 사이드 디스플레이 상에 디스플레이되는 상기 제2 영상에서 오버레이된 상기 주변 환경 영상을 제외한 탑 뷰 영상만을 포함하는 제3 영상으로 전환하는 단계; 및
    상기 제3 영상을 상기 CMS 사이드 디스플레이 상에 디스플레이하는 단계;
    를 더 포함하는, 방법.
  7. 제1 항에 있어서,
    상기 차량의 내부에 탑재된 카메라를 이용하여 탑승자 영상(occupant image)을 획득하는 단계;
    획득된 상기 탑승자 영상으로부터 탑승자의 머리 위치, 머리 회전 방향, 시선(gaze) 방향 중 적어도 하나를 포함하는 탑승자의 위치 정보를 획득하는 단계;
    상기 획득된 탑승자 위치 정보에 기초하여 탑승자와 상기 CMS 사이드 디스플레이 간의 거리를 측정하는 단계; 및
    상기 측정된 거리에 기초하여 상기 제2 영상의 시야 각(Field Of View)을 확대 또는 축소(zoom in or out)하는 단계;
    를 더 포함하는, 방법.
  8. 차량의 CMS(Camera Monitoring System)를 이용하여 영상을 디스플레이하는 전자 장치에 있어서,
    상기 차량 외부의 좌우 측면에 배치되고, 상기 차량의 주변 환경을 촬영함으로써, 주변 환경 영상인 제1 영상을 획득하는 외부 카메라;
    상기 차량의 내부에 배치되고, 상기 주변 환경 영상을 디스플레이하는 CMS 사이드 디스플레이;
    상기 전자 장치를 제어하는 하나 이상의 명령어들(instructions)을 포함하는 프로그램을 저장하는 메모리; 및
    상기 메모리에 저장된 프로그램의 하나 이상의 명령어들을 실행하는 프로세서;
    를 포함하고,
    상기 프로세서는,
    상기 차량의 차선 변경 신호를 인식하고,
    인식된 상기 차선 변경 신호에 응답하여, 상기 CMS 사이드 디스플레이에 디스플레이되는 상기 제1 영상을 상기 차량 및 주변 차량의 위치를 상기 차량의 위에서 내려다 본 것과 같은 가상 이미지로 표시하는 탑 뷰(top view) 영상인 제2 영상으로 전환하고, 상기 제2 영상을 디스플레이하도록 상기 CMS 사이드 디스플레이를 제어하고,
    상기 제2 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시하는, 전자 장치.
  9. 제8 항에 있어서,
    상기 프로세서는,
    상기 차량의 방향 지시등 조작부를 조작함으로써, 방향 지시등(turn signal)을 점등하는 사용자 입력을 인식하고, 상기 사용자 입력에 기초하여 상기 CMS 사이드 디스플레이 상에 디스플레이되는 상기 제1 영상을 상기 제2 영상으로 전환하는, 전자 장치.
  10. 제8 항에 있어서,
    상기 프로세서는,
    상기 주변 환경 영상으로부터 인식된 차선, 주변 차량의 위치, 상기 차량과 상기 주변 차량 간의 상대 속도, 상기 차량과 주변 차량 간의 거리, 및 상기 차량 및 상기 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보에 관한 UI를 상기 CMS 사이드 디스플레이 상에 디스플레이하는, 전자 장치.
  11. 제8 항에 있어서,
    상기 프로세서는,
    상기 탑 뷰 영상 상에 상기 외부 카메라를 통해 획득된 상기 주변 환경 영상을 오버레이(overlay)하여 디스플레이하도록 상기 CMS 사이드 디스플레이를 제어하는, 전자 장치.
  12. 제11 항에 있어서,
    상기 프로세서는,
    상기 차량이 현재 주행 중인 제1 차선에서 이탈하여 진입 예정 차선인 제2 차선으로 기설정된 범위만큼 진입하는 차선 이탈을 인식하고,
    인식된 상기 차선 이탈에 응답하여, 상기 CMS 사이드 디스플레이 상에 디스플레이되는 상기 제2 영상에서 오버레이된 상기 주변 환경 영상을 제외한 탑 뷰 영상만을 포함하는 제3 영상으로 전환하고, 상기 제3 영상을 디스플레이하도록 상기 CMS 사이드 디스플레이를 제어하는, 전자 장치.
  13. 제8 항에 있어서,
    상기 차량의 내부에 탑재되고, 탑승자를 촬영함으로써 탑승자 영상을 획득하는 내부 카메라;
    를 더 포함하고,
    상기 프로세서는,
    상기 탑승자 영상으로부터 탑승자의 머리 위치, 머리 회전 방향, 시선(gaze) 방향 중 적어도 하나를 포함하는 탑승자의 위치 정보를 획득하고,
    상기 획득된 탑승자 위치 정보에 기초하여 운전자와 상기 CMS 사이드 디스플레이 간의 거리를 측정하고,
    상기 측정된 거리에 기초하여 상기 제2 영상의 시야 각(Field Of View)을 확대 또는 축소(zoom in or out)하는, 전자 장치.
  14. 제8 항에 있어서,
    상기 차량의 대시 보드(dashboard) 상에 배치되는 중앙 디스플레이(Center Information Display);
    를 더 포함하고,
    상기 프로세서는 상기 제2 영상을 상기 CMS 사이드 디스플레이 및 상기 중앙 디스플레이 상에 디스플레이하는, 전자 장치.
  15. 제1 항 내지 제7 항 중 어느 하나의 항에 기재된 방법을 구현하기 위한 적어도 하나의 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2021/003647 2020-03-26 2021-03-24 차량에 탑재된 cms 사이드 디스플레이(camera monitoring system side display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법 WO2021194254A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/951,623 US11858424B2 (en) 2020-03-26 2022-09-23 Electronic device for displaying image by using camera monitoring system (CMS) side display mounted in vehicle, and operation method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0037058 2020-03-26
KR1020200037058A KR20210120398A (ko) 2020-03-26 2020-03-26 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/951,623 Continuation US11858424B2 (en) 2020-03-26 2022-09-23 Electronic device for displaying image by using camera monitoring system (CMS) side display mounted in vehicle, and operation method thereof

Publications (1)

Publication Number Publication Date
WO2021194254A1 true WO2021194254A1 (ko) 2021-09-30

Family

ID=77890652

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/003647 WO2021194254A1 (ko) 2020-03-26 2021-03-24 차량에 탑재된 cms 사이드 디스플레이(camera monitoring system side display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법

Country Status (3)

Country Link
US (1) US11858424B2 (ko)
KR (1) KR20210120398A (ko)
WO (1) WO2021194254A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230008519A1 (en) * 2021-07-07 2023-01-12 Sinbon Electronics Company Ltd. Automatic vehicle positioning management system and method thereof

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853629B2 (en) 2018-02-20 2020-12-01 Direct Current Capital LLC Method for identifying a user entering an autonomous vehicle
JP7442933B2 (ja) * 2020-03-20 2024-03-05 アルパイン株式会社 車両用画像処理装置
US11854403B2 (en) * 2022-03-22 2023-12-26 GM Global Technology Operations LLC System and method for providing a blind reveal warning on an augmented reality display
KR20240111376A (ko) * 2023-01-09 2024-07-17 현대자동차주식회사 Svm 탑뷰 영상처리 방법 및 장치
DE102023202879A1 (de) 2023-03-29 2024-10-02 Stellantis Auto Sas Vorrichtung, System und Verfahren zum Anzeigen eines Totwinkelbereichs eines Fahrzeugs
CN118254787A (zh) * 2024-03-08 2024-06-28 阿维塔科技(重庆)有限公司 车辆控制方法、装置、设备及存储介质
CN118283437A (zh) * 2024-03-28 2024-07-02 深圳森云智能科技有限公司 Cms监视器的参数调试方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080231703A1 (en) * 2007-03-23 2008-09-25 Denso Corporation Field watch apparatus
KR20170002330A (ko) * 2015-06-29 2017-01-06 주식회사 와이즈오토모티브 운전자 맞춤형 디스플레이 가변 장치 및 이의 제어 방법
KR20170022508A (ko) * 2015-08-20 2017-03-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
KR101752675B1 (ko) * 2015-12-31 2017-06-30 (주)이에스브이 카메라를 구비한 차량용 네비게이션
JP2018116516A (ja) * 2017-01-19 2018-07-26 トヨタ自動車株式会社 車両の注意喚起装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274377A (ja) 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
JP2008141578A (ja) 2006-12-04 2008-06-19 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP5681569B2 (ja) 2011-05-31 2015-03-11 富士通テン株式会社 情報処理システム、サーバ装置、および、車載装置
US10946798B2 (en) 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
US20160297362A1 (en) 2015-04-09 2016-10-13 Ford Global Technologies, Llc Vehicle exterior side-camera systems and methods
CN107848465B (zh) * 2015-05-06 2021-06-01 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
US10116873B1 (en) 2015-11-09 2018-10-30 Ambarella, Inc. System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080231703A1 (en) * 2007-03-23 2008-09-25 Denso Corporation Field watch apparatus
KR20170002330A (ko) * 2015-06-29 2017-01-06 주식회사 와이즈오토모티브 운전자 맞춤형 디스플레이 가변 장치 및 이의 제어 방법
KR20170022508A (ko) * 2015-08-20 2017-03-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
KR101752675B1 (ko) * 2015-12-31 2017-06-30 (주)이에스브이 카메라를 구비한 차량용 네비게이션
JP2018116516A (ja) * 2017-01-19 2018-07-26 トヨタ自動車株式会社 車両の注意喚起装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230008519A1 (en) * 2021-07-07 2023-01-12 Sinbon Electronics Company Ltd. Automatic vehicle positioning management system and method thereof
US11756423B2 (en) * 2021-07-07 2023-09-12 Sinbon Electronics Company Ltd. Automatic vehicle positioning management system and method thereof

Also Published As

Publication number Publication date
KR20210120398A (ko) 2021-10-07
US11858424B2 (en) 2024-01-02
US20230012629A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
WO2021194254A1 (ko) 차량에 탑재된 cms 사이드 디스플레이(camera monitoring system side display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법
WO2018092989A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2017034282A1 (en) Driver assistance apparatus and method for controlling the same
US10272780B2 (en) Information display system and information display device
JP6413207B2 (ja) 車両用表示装置
US10013951B2 (en) Display control device, display device, display control program, display control method, and recording medium
WO2017003052A1 (ko) 차량 운전 보조 방법 및 차량
US11741630B2 (en) Vehicle system with no-control operation
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
WO2020231153A1 (en) Electronic device and method for assisting with driving of vehicle
WO2020105751A1 (ko) 탑승자 모니터링 방법 및 이를 위한 장치
WO2015088289A1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
US20210331680A1 (en) Vehicle driving assistance apparatus
WO2017104888A1 (ko) 차량 운전 보조장치 및 이의 차량 운전 보조방법
WO2015093823A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2016186319A1 (ko) 차량 운전 보조 장치 및 차량
US20190236343A1 (en) Gesture detection device
WO2015093905A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
JP2017186008A (ja) 情報表示システム
WO2017065352A1 (ko) 차량용 어라운드 뷰 제공 장치 및 차량
WO2021177555A1 (ko) 스티어링 휠에 구비되는 조향 보조 시스템 및 그를 이용한 조향 제어 방법
WO2018135745A1 (ko) 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치
WO2020111348A1 (ko) 차량 제어장치 및 차량 제어방법
JP5119675B2 (ja) 車両周辺監視装置
JP2022086263A (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21774338

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21774338

Country of ref document: EP

Kind code of ref document: A1