KR20210120398A - 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법 - Google Patents

차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20210120398A
KR20210120398A KR1020200037058A KR20200037058A KR20210120398A KR 20210120398 A KR20210120398 A KR 20210120398A KR 1020200037058 A KR1020200037058 A KR 1020200037058A KR 20200037058 A KR20200037058 A KR 20200037058A KR 20210120398 A KR20210120398 A KR 20210120398A
Authority
KR
South Korea
Prior art keywords
vehicle
image
display
side display
electronic device
Prior art date
Application number
KR1020200037058A
Other languages
English (en)
Inventor
신승우
김혜원
이상건
조윤지
최경림
황우석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200037058A priority Critical patent/KR20210120398A/ko
Priority to PCT/KR2021/003647 priority patent/WO2021194254A1/ko
Publication of KR20210120398A publication Critical patent/KR20210120398A/ko
Priority to US17/951,623 priority patent/US11858424B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/22—
    • B60K35/28—
    • B60K35/654—
    • B60K35/81—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0005—Dashboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel

Abstract

차량에 탑재된 전자 장치가 CMS 사이드 디스플레이(Camera Monitoring System- Side Display) 상에 디스플레이되는 영상의 뷰(view)를 전환하는 방법 및 전자 장치를 개시한다. 본 개시의 일 실시예는, 차량의 측면에 배치된 외부 카메라를 이용하여 차량의 좌우측 주변 환경을 촬영하여 획득한 주변 환경 영상인 제1 영상을 CMS 사이드 디스플레이(Camera Monitoring System side display)를 통해 디스플레이하고, 차량의 차선 변경 신호를 인식하고, 인식된 차선 변경 신호에 응답하여, CMS 사이드 디스플레이에 디스플레이되는 제1 영상을 차량 및 주변 차량의 위치를 차량의 위에서 내려다 본 것과 같은 가상 이미지로 표시하는 탑 뷰(top view) 영상인 제2 영상으로 전환하고, 제2 영상을 디스플레이하고, 제2 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시하는 전자 장치 및 그 동작 방법을 제공한다.

Description

차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법 {ELECTRONIC DEVICE DISPLAYING IMAGE BY USING CAMERA MONITORING SYSTEM AND THE METHOD FOR OPERATION THE SAME}
본 개시는 차량에 탑재된 전자 장치가 CMS(Camera Monitoring System)의 외부 카메라를 이용하여 촬영된 주변 환경 영상을 CMS 사이드 디스플레이 상에 디스플레이하고, 영상의 뷰(view)를 전환하는 방법 및 전자 장치에 관한 것이다.
차량의 좌우 측면에 배치되는 사이드 미러(side view mirror)는 차선을 변경하거나, 주변 차량, 보행자 등 주변 상황을 확인하기 위한 거울과 하우징으로 구성되어 있다. 최근 차량에 탑재되는 전자 장치 분야의 발전에 따라, 기존 사이드 미러가 외부 카메라와 디스플레이를 포함하는 카메라 모니터링 시스템(Camera Monitoring System; CMS)로 대체되고 있다.
최근 사용되고 있는 CMS는 외부 카메라를 이용하여 촬영된 주변 환경 영상을 그대로 CMS 사이드 디스플레이 상에 디스플레이함으로써, 기존 거울로 구성된 사이드 미러와 유사한 사용자 경험을 제공한다. 특히, CMS 사이드 디스플레이는 특정 시야각을 통해 촬영된 주변 환경 영상을 디스플레이하는바, 외부 카메라로 촬영할 수 없는 사각 지대에 관하여 운전자가 확인할 수 없는 시야각의 한계가 있고, 차선 변경 또는 턴(turn) 등의 주행 중 발생될 수 있는 상황에서 운전자의 판단에 문제점이 발생될 수 있다. 따라서, 운전자는 차량 윈도우(window) 밖의 외부 환경을 직접 육안으로 확인해야 하는 의식적이고 부가적인 행위가 필요하다.
종래의 기존의 사각 지대 모니터링 시스템(Blind Spot Monitoring System; BSMS)은 단순히 운전자의 시야각으로 확인할 수 없는 사각 지대에 주변 차량이 있는지 여부에 관한 유/무 알림 기능을 제공할 뿐, 운전자가 특정한 상황에서 상세한 운전 판단을 내리는데 한계가 있다. 안전 운행을 위해서는, 주행 중 주변 환경의 변화 등에 관한 정보를 운전자에게 명료하게 시각적으로 제공할 필요가 있다.
또한, 기존 CMS 사이드 디스플레이는 주행과 관련된 주변 환경의 정보 확인을 위해, 터치 입력 또는 관련 버튼의 조작이 필요한데, 운전 중 터치 또는 버튼 조작 행위는 위험 요소가 될 수 있다.
본 개시는 CMS에 포함된 외부 카메라를 통해 촬영된 주변 환경 영상으로부터 주변 환경을 인식하고, 차선 변경 또는 교차로 진입 등 상황에서 주변 환경의 변화에 기초하여 CMS 사이드 디스플레이 상에 표시되는 영상의 뷰(view)를 전환하고, 주변 환경 정보를 획득하여 차선 변경과 관련된 UI(User Interface)를 디스플레이하는 전자 장치 및 그 동작 방법을 제공하는 것을 목적으로 한다.
상술한 기술적 과제를 해결하기 위하여 본 개시의 일 실시예는, 차량에 탑재된 전자 장치가 CMS 사이드 디스플레이 상에 영상을 디스플레이하는 방법을 제공한다. 상기 방법은 차량의 측면에 배치된 외부 카메라를 이용하여 차량의 좌우측 주변 환경을 촬영하여 획득한 주변 환경 영상인 제1 영상을 CMS 사이드 디스플레이(Camera Monitoring System side display)를 통해 디스플레이하는 단계, 차량의 차선 변경 신호를 인식하는 단계, 인식된 차선 변경 신호에 응답하여, CMS 사이드 디스플레이에 디스플레이되는 제1 영상을 차량 및 주변 차량의 위치를 차량의 위에서 내려다 본 것과 같은 가상 이미지로 표시하는 탑 뷰(top view) 영상인 제2 영상으로 전환하고, 제2 영상을 디스플레이하는 단계, 및 제2 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시하는 단계를 포함한다.
예를 들어, 상기 차선 변경 신호를 인식하는 단계는 차량의 방향 지시등 조작부를 조작함으로써, 방향 지시등(turn signal)을 점등하는 사용자 입력을 인식할 수 있다.
예를 들어, 상기 차선 변경 신호를 인식하는 단계는 차량의 네비게이션 시스템의 주행 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 인식할 수 있다.
예를 들어, 상기 차선 변경 가능 여부에 관한 차선 변경 UI를 디스플레이하는 단계는, 주변 환경 영상으로부터 인식된 차선, 주변 차량의 위치, 차량과 주변 차량 간의 상대 속도, 차량과 주변 차량 간의 거리, 및 차량 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보에 관한 UI를 디스플레이할 수 있다.
예를 들어, 상기 제2 영상을 디스플레이하는 단계는 탑 뷰 영상 상에 CMS 뷰 카메라를 통해 획득된 주변 환경 영상을 오버레이(overlay)하여 디스플레이할 수 있다.
예를 들어, 상기 방법은 차량이 현재 주행 중인 제1 차선에서 이탈하여 진입 예정 차선인 제2 차선으로 기설정된 범위만큼 진입하는 차선 이탈을 인식하는 단계, 인식된 차선 이탈에 응답하여, CMS 사이드 디스플레이 상에 디스플레이되는 제2 영상에서 오버레이된 주변 환경 영상을 제외한 탑 뷰 영상만을 포함하는 제3 영상으로 전환하는 단계, 및 제3 영상을 CMS 사이드 디스플레이 상에 디스플레이하는 단계를 더 포함할 수 있다.
예를 들어, 상기 방법은 차량의 내부에 탑재된 카메라를 이용하여 탑승자 영상(occupant image)을 획득하는 단계, 획득된 탑승자 영상으로부터 탑승자의 머리 위치, 머리 회전 방향, 시선(gaze) 방향 중 적어도 하나를 포함하는 탑승자의 위치 정보를 획득하는 단계, 획득된 탑승자 위치 정보에 기초하여 탑승자와 CMS 사이드 디스플레이 간의 거리를 측정하는 단계, 및 측정된 거리에 기초하여 제2 영상의 시야 각(Field Of View)을 확대 또는 축소(zoom in or out)하는 단계를 더 포함할 수 있다.
예를 들어, 상기 방법은 차량의 내부에 탑재된 핸드 제스쳐 센서를 이용하여 차량 탑승자의 핀치 인 아웃(pinch in or out) 및 팜 스와이프(palm swipe) 중 적어도 하나를 포함하는 핸드 제스쳐(hand gesture) 입력을 인식하는 단계, 및 인식된 핸드 제스쳐 입력에 기초하여 제2 영상의 시야 각을 확대 또는 축소하는 단계를 더 포함할 수 있다.
예를 들어, 상기 제2 영상을 디스플레이하는 단계는 CMS 사이드 디스플레이 및 차량의 중앙 디스플레이(Center Information Display; CID) 상에 제2 영상을 디스플레이할 수 있다.
예를 들어, 상기 방법은 운전자의 입력에 의해 점등된 방향 지시등의 방향을 인식하는 단계를 더 포함하고, 상기 제2 영상을 디스플레이하는 단계는 인식된 방향 지시등의 방향에 기초하여 중앙 디스플레이 상에 상기 제2 영상을 디스플레이할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는, 차량 외부의 좌우 측면에 배치되고, 차량의 주변 환경을 촬영함으로써, 주변 환경 영상인 제1 영상을 획득하는 외부 카메라, 차량의 내부에 배치되고, 주변 환경 영상을 디스플레이하는 CMS 사이드 디스플레이, 전자 장치를 제어하는 하나 이상의 명령어들(instructions)을 포함하는 프로그램을 저장하는 메모리, 및 메모리에 저장된 프로그램의 하나 이상의 명령어들을 실행하는 프로세서를 포함하고, 상기 프로세서는 차량의 차선 변경 신호를 인식하고, 인식된 차선 변경 신호에 응답하여, CMS 사이드 디스플레이에 디스플레이되는 제1 영상을 차량 및 주변 차량의 위치를 차량의 위에서 내려다 본 것과 같은 가상 이미지로 표시하는 탑 뷰(top view) 영상인 제2 영상으로 전환하고, 제2 영상을 디스플레이하도록 상기 CMS 사이드 디스플레이를 제어하고, 제2 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시하는, 차량의 CMS(Camera Monitoring System)를 이용하여 영상을 디스플레이하는 전자 장치를 제공한다.
예를 들어, 상기 프로세서는 차량의 방향 지시등 조작부를 조작함으로써, 방향 지시등(turn signal)을 점등하는 사용자 입력을 인식하고, 사용자 입력에 기초하여 CMS 사이드 디스플레이 상에 디스플레이되는 제1 영상을 제2 영상으로 전환할 수 있다.
예를 들어, 상기 프로세서는 주변 환경 영상으로부터 인식된 차선, 주변 차량의 위치, 차량과 주변 차량 간의 상대 속도, 차량과 주변 차량 간의 거리, 및 차량 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보에 관한 UI를 CMS 사이드 디스플레이 상에 디스플레이할 수 있다.
예를 들어, 상기 프로세서는 탑 뷰 영상 상에 외부 카메라를 통해 획득된 주변 환경 영상을 오버레이(overlay)하여 디스플레이하도록 CMS 사이드 디스플레이를 제어할 수 있다.
예를 들어, 상기 프로세서는 차량이 현재 주행 중인 제1 차선에서 이탈하여 진입 예정 차선인 제2 차선으로 기설정된 범위만큼 진입하는 차선 이탈을 인식하고, 인식된 차선 이탈에 응답하여, CMS 사이드 디스플레이 상에 디스플레이되는 제2 영상에서 오버레이된 주변 환경 영상을 제외한 탑 뷰 영상만을 포함하는 제3 영상으로 전환하고, 제3 영상을 디스플레이하도록 CMS 사이드 디스플레이를 제어할 수 있다.
예를 들어, 상기 전자 장치는 차량의 내부에 탑재되고, 탑승자를 촬영함으로써 탑승자 영상을 획득하는 내부 카메라를 더 포함하고, 상기 프로세서는 탑승자 영상으로부터 탑승자의 머리 위치, 머리 회전 방향, 시선(gaze) 방향 중 적어도 하나를 포함하는 탑승자의 위치 정보를 획득하고, 획득된 탑승자 위치 정보에 기초하여 운전자와 CMS 사이드 디스플레이 간의 거리를 측정하고, 측정된 거리에 기초하여 제2 영상의 시야 각(Field Of View)을 확대 또는 축소(zoom in or out)할 수 있다.
예를 들어, 상기 전자 장치는 차량의 내부에 탑재되고, 차량 탑승자의 핀치 인 아웃 및 팜 스와이프 중 적어도 하나를 인식하는 핸드 제스쳐 센서를 더 포함하고, 상기 프로세서는 핸드 제스쳐 센서를 통해 차량 탑승자의 핸드 제스쳐를 인식하고, 인식된 핸드 제스쳐 입력에 기초하여 상기 제2 영상의 시야 각을 확대 또는 축소할 수 있다.
예를 들어, 상기 전자 장치는 차량의 대시 보드(dashboard) 상에 배치되는 중앙 디스플레이(Center Information Display)를 더 포함하고, 상기 프로세서는 제2 영상을 CMS 사이드 디스플레이 및 중앙 디스플레이 상에 디스플레이할 수 있다.
예를 들어, 상기 프로세서는 운전자의 입력에 의해 점등된 방향 지시등의 방향을 인식하고, 인식된 방향 지시등의 방향에 기초하여 중앙 디스플레이 상에 제2 영상을 디스플레이하도록 중앙 디스플레이를 제어할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
도 1은 본 개시의 차량에 탑재되는 CMS(Camera Monitoring System)을 포함하는 전자 장치의 동작을 도시한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 차량 센서 모듈의 구성을 도시한 블록도이다.
도 4는 본 개시의 차량에 탑재되는 CMS의 각 구성 요소들을 도시한 도면이다.
도 5a 내지 도 5d는 본 개시의 CMS 사이드 디스플레이(Camera Monitoring System- Side Display)의 실시예를 도시한 도면들이다.
도 6a 및 도 6b는 본 개시의 전자 장치가 차량의 차선 변경 신호를 인식하는 경우 CMS 사이드 디스플레이 상에 디스플레이되는 영상의 뷰(view)를 전환하는 실시예를 도시한 도면들이다.
도 7a 내지 도 7c는 본 개시의 CMS 사이드 디스플레이 상에 디스플레이되는 영상 및 차선 변경 UI의 실시예를 도시한 도면들이다.
도 8은 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 10은 본 개시의 전자 장치가 차량의 차선 변경 신호 및 차선 이탈을 포함하는 상황을 인식하고, 인식된 상황에 기초하여 CMS 사이드 디스플레이 상에 디스플레이되는 영상의 뷰(view)를 전환하는 실시예를 도시한 도면이다.
도 11a 및 도 11b는 본 개시의 전자 장치가 CMS 사이드 디스플레이와 운전자의 거리의 변화에 기초하여 CMS 사이드 디스플레이 상에 디스플레이되는 영상의 시야각(Field of Vew; FOV)을 변경하는 실시예를 도시한 도면들이다.
도 12는 본 개시의 전자 장치가 차량에 탑승한 탑승자의 핸드 제스쳐에 기초하여 CMS 사이드 디스플레이 상에 디스플레이되는 영상의 시야각을 변경하는 실시예를 도시한 도면이다.
도 13은 본 개시의 전자 장치가 탑 뷰(top view) 영상을 중앙 디스플레이(Center Information Display; CID) 상에 디스플레이하는 실시예를 도시한 도면이다.
도 14a는 본 개시의 전자 장치가 좌측 운행 차량(Left-Hand Drive; LHD)의 경우 탑 뷰 영상을 CMS 사이드 디스플레이 및 중앙 디스플레이(CID) 상에 디스플레이하는 실시예를 도시한 도면이다.
도 14b는 본 개시의 전자 장치가 우측 운행 차량(Right-Hand Drive; RHD)의 경우 탑 뷰 영상을 CMS 사이드 디스플레이 및 중앙 디스플레이(CID) 상에 디스플레이하는 실시예를 도시한 도면이다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
도 1은 본 개시의 차량에 탑재되는 CMS(Camera Monitoring System)을 포함하는 전자 장치(1000)의 동작을 도시한 개념도이다.
도 1을 참조하면, 전자 장치(1000)는 차량의 외부에 배치되는 외부 카메라(1110), CMS 사이드 디스플레이(Camera Monitoring System- Side Display)(1310L, 1310R), 및 중앙 디스플레이(Center Information Display; CID)(1320)을 포함할 수 있다. 일 실시예에서, 외부 카메라(1110) 및 CMS 사이드 디스플레이(1310L, 1310R)는 CMS를 구성할 수 있다.
그러나, 전자 장치(1000)가 포함하는 구성 요소가 도 1에 도시된 것으로 한정되는 것은 아니다. 전자 장치(1000)의 구성 요소에 대해서는 도 2에 관한 설명 부분에서 상세하게 설명하기로 한다.
외부 카메라(1110)는 차량 외부의 좌우 측면에 배치될 수 있다. 외부 카메라(1110)는 차량 좌우측 및 후방의 주변 환경을 실시간으로 촬영하여 주변 환경 영상을 획득할 수 있다. 외부 카메라(1110)는 차량의 좌우측 및 후방의 주변 환경에 위치하는 주변 차량, 이륜 차, 보행자 중 적어도 하나를 포함하는 이동체를 촬영할 수 있다.
CMS 사이드 디스플레이(1310L, 1310R)는 외부 카메라(1110)를 통해 촬영된 주변 환경 영상(100)을 디스플레이할 수 있다. CMS 사이드 디스플레이(1310L, 1310R)는 스티어링 휠(steering wheel)의 좌측에 배치되는 좌측 CMS 사이드 디스플레이(1310L) 및 스티어링 휠을 기준으로 우측에 배치되고, 동승자 좌석에 인접하게 배치되는 우측 CMS 사이드 디스플레이(1310R)을 포함할 수 있다. 그러나, CMS 사이드 디스플레이(1310L, 1310R)가 도 1에 도시된 바와 같은 형태 및 배치로 한정되는 것은 아니다. 본 개시의 CMS 사이드 디스플레이(1310)의 실시예에 대해서는 도 5a 내지 도 5d에서 상세하게 설명하기로 한다.
전자 장치(1000)는 차량의 차선 변경 신호를 인식하고, 인식된 차선 변경 신호에 응답하여 CMS 사이드 디스플레이(1310L, 1310R) 상에 디스플레이되는 주변 환경 영상(100)을 탑 뷰(top view) 영상(110)으로 전환하여 디스플레이할 수 있다. 탑 뷰 영상(110)은 차량에 기 탑재된 서라운드 뷰 시스템(Surround View Monitoring System; SVM)을 이용하여 차량의 주변 환경을 차량 위에서 내려다 본 것과 같은 뷰(view)의 영상을 의미한다. 일 실시예에서, 전자 장치(1000)는 차선 변경 신호에 응답하여 CMS 사이드 디스플레이(1310L, 1310R)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하고, 주변 환경 영상(100)의 크기를 축소하여 탑 뷰 영상(110) 상에 오버레이(overlay)하여 디스플레이할 수 있다.
일 실시예에서, 전자 장치(1000)는 방향 지시등 조작부(2100)를 조작함으로써, 좌측 또는 우측 방향 지시등(turn signal)을 활성화(점등)하는 사용자 입력을 인식하고, 인식된 사용자 입력에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이할 수 있다. 전자 장치(1000)는 점등된 방향 지시등의 방향에 기초하여 좌측 CMS 사이드 디스플레이(1310L)과 우측 CMS 사이드 디스플레이(1310R) 중 어느 하나에 디스플레이되는 영상의 뷰를 전환할 수 있다. 예를 들어, 방향 지시등 조작부(2100)를 아래 방향으로 누르는 입력을 통해 좌측 방향 지시등을 점등하는 사용자 입력이 수신되는 경우, 전자 장치(1000)는 좌측 CMS 사이드 디스플레이(1310L)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하고, 탑 뷰 영상(110)을 디스플레이할 수 있다. 다른 예를 들어, 방향 지시등 조작부(2100)를 위 방향으로 조작함으로써 우측 방향 지시등을 점등하는 사용자 입력이 수신되는 경우, 전자 장치(1000)는 우측 CMS 사이드 디스플레이(1310R)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하고, 탑 뷰 영상(110)을 디스플레이할 수 있다.
일 실시예에서, 전자 장치(1000)는 네비게이션 시스템의 주행 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 인식하고, 인식된 턴 또는 차선 변경 신호에 기초하여 CMS 사이드 디스플레이(1310L, 1310R) 상에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하여 디스플레이할 수 있다. 네비게이션 시스템의 주행 경로 정보는 중앙 디스플레이(1320) 상에 디스플레이될 수 있다.
전자 장치(1000)는 탑 뷰 영상(110) 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)(120)를 표시할 수 있다. 일 실시예에서, 전자 장치(1000)는 주변 환경 영상(100)으로부터 차선, 주변 차량의 위치, 자 차량과 주변 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보를 획득하고, 획득된 주행 환경 정보에 기초하여 차선 변경 가능성을 판단할 수 있다. 전자 장치(1000)는 주행 환경 정보에 기초하여 판단된 차선 변경 UI(120)를 CMS 사이드 디스플레이(1310L, 1310R) 상에 디스플레이할 수 있다. 일 실시예에서, 차선 변경 UI(120)는 자 차량의 주변 차량 상에 경고 마크를 오버레이하여 표시하거나, 경고 문구(예를 들어, '후방 충돌 주의')를 표시할 수 있다. 차선 변경 UI(120)에 대해서는 도 7a에 관한 설명 부분에서 상세하게 설명하기로 한다.
일 실시예에서, 전자 장치(1000)는 주변 차량이 속도를 갑자기 상승시킨다거나, 주변 차량이 갑자기 주행 중인 차선을 변경하는 경우 등 돌발 상황이 발생하는 경우, 경고음을 출력할 수도 있다.
종래의 CMS 사이드 디스플레이는 외부 카메라(1110)를 이용하여 촬영된 주변 환경 영상(100)만을 디스플레이함으로써, 거울로 구성된 기존의 사이드 미러와 유사한 사용자 경험을 제공한다. 특히, 종래의 CMS 사이드 디스플레이는 특정 시야각을 통해 촬영된 주변 환경 영상(100)만을 디스플레이하는바, 외부 카메라(1110)로 촬영할 수 없는 사각 지대에 관하여 운전자가 확인할 수 없는 시야각의 한계가 있고, 차선 변경 또는 턴(turn) 등의 주행 중 발생될 수 있는 상황에서 운전자가 직관적으로 상황을 판단하기가 어려운 문제점이 있었다. 따라서, 운전자는 차선 변경 또는 턴 등의 상황에서 차량 윈도우(window) 밖의 외부 환경을 직접 육안으로 확인해야 하는 의식적이고 부가적인 행위가 필요하였고, 번거로움이 존재하였다.
또한, 종래의 기존의 사각 지대 모니터링 시스템(Blind Spot Monitoring System; BSMS)은 단순히 운전자의 시야각으로 확인할 수 없는 사각 지대에 주변 차량이 있는지 여부에 관한 유/무 알림 기능을 제공할 뿐, 운전자가 특정한 상황에서 상세한 운전 판단을 내리는데 한계가 있었다. 안전 운행을 위해서는, 주행 중 주변 환경의 변화 등에 관한 정보를 운전자에게 명료하게 시각적으로 제공할 필요가 있다.
본 개시의 전자 장치(1000)는 차량이 차선을 변경하려는 신호를 인식하고, 차선 변경 신호에 기초하여 CMS 사이드 디스플레이(1310L, 1310R)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하여 디스플레이하고, 탑 뷰 영상(110) 상에 차선 변경 가능성에 관한 정보를 나타내는 차선 변경 UI(120)를 디스플레이함으로써 종래의 CMS 사이드 디스플레이와는 차별되는 사용자 경험(User eXperience; UX)을 제공할 수 있다. 특히, 본 개시의 전자 장치(1000)는 탑 뷰 영상(110) 상에 차선, 주변 차량의 위치, 자 차량과 주변 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 나타내는 차선 변경 UI(120)를 디스플레이함으로써, 차선 변경 또는 턴 상황에서 관련 정보를 직관적으로 운전자에게 제공하고, 운전의 신뢰성 및 안정성을 강화할 수 있다. 또한, 차량이 기 탑재된 자율 주행 시스템을 이용하여 자율 주행 모드로 주행하는 경우, 본 개시의 전자 장치(1000)는 CMS 사이드 디스플레이(1310L, 1310R)를 통해 자 차량 및 주변 차량의 예상 진입 경로에 관한 UI를 포함하는 차선 변경 UI(120)를 디스플레이함으로써, 운전자가 차량의 판단, 운전 방식에 대하여 예측 가능하게 하고, 따라서 자율 주행에 대한 신뢰성을 확보할 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치(1000)의 구성을 도시한 블록도이다. 본 개시의 일 실시예에서, 전자 장치(1000)는 차량에 탑재되고, CMS(Camera Monitoring System)를 제어하는 장치일 수 있다.
도 2를 참조하면, 전자 장치(1000)는 카메라(1100), 외부 센서(1200), 디스플레이부(1300), 프로세서(1400), 메모리(1500), 송수신부(1600), 및 사용자 입력부(1700)를 포함할 수 있다. 카메라(1100), 외부 센서(1200), 디스플레이부(1300), 프로세서(1400), 메모리(1500), 송수신부(1600), 및 사용자 입력부(1700)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다. 도 2에 도시된 구성 요소는 본 개시의 일 실시예에 따른 것일 뿐, 전자 장치(1000)가 포함하고 있는 구성 요소가 도 2에 도시된 것으로 한정되는 것은 아니다. 전자 장치(1000)는 도 2에 도시된 구성 요소 중 일부를 포함하지 않을 수 있고, 도 2에 도시되지 않은 구성 요소를 더 포함할 수도 있다.
카메라(1100)는 외부 카메라(1110) 및 내부 카메라(1120)를 포함할 수 있다. 카메라(1100)는 CMOS(Complementary Metal-Oxide Semiconductor), CCD(Charge-Coupled Device) 또는 활성 픽셀 센서와 같은 이미지 센서, 및 직선형 렌즈, 오목 렌즈, 볼록 렌즈, 광각 렌즈, 또는 어안 렌즈(fish eye lens) 중 적어도 하나와 같은 렌즈를 포함할 수 있다. 카메라(1100)는 아날로그 또는 디지털일 수 있다. 일 실시예에서, 카메라(1100)는 적외선 조명 출력 디바이스를 포함할 수 있다.
외부 카메라(1110)는 차량 외부의 좌우 측면에 배치될 수 있다. 그러나, 이에 한정되는 것은 아니고, 외부 카메라(1110)는 차량의 좌우 측면 뿐만 아니라, 전면 및 후면에도 배치될 수 있다. 외부 카메라(1110)의 배치에 관해서는 도 4에서 상세하게 설명하기로 한다.
외부 카메라(1110)는 차량의 좌우측 및 후방의 주변 환경에 위치하는 주변 차량, 이륜 차, 보행자 중 적어도 하나를 포함하는 이동체를 촬영하는 CMS 뷰 카메라(Camera Monitoring System View Camera)로 구성될 수 있다. 외부 카메라(1110)는 실시간으로 주변 환경 영상을 촬영함으로써, 주변 환경 영상을 획득하고, 획득된 주변 환경 영상을 프로세서(1400)에 제공할 수 있다.
일 실시예에서, 외부 카메라(1110)는 어안 렌즈(fish eye lens) 카메라로 구성될 수 있다. 어안 렌즈 카메라는 촬영 각이 180° 이상인 광각 렌즈를 장착한 카메라를 의미한다. 어안 렌즈 카메라를 이용하여 촬영된 주변 환경 영상은 왜곡이 있을 수 있으므로, 프로세서(1400)는 외부 카메라(1110)로부터 획득된 주변 환경 영상을 보정하여 와이드 영상을 생성하고, 차량의 조향 각도 또는 차량의 속도에 따라 주변 환경 영상을 제어하여 CMS 사이드 디스플레이(1310) 상에 디스플레이할 수 있다. 외부 카메라(1110)는 어안 렌즈 카메라로 구성됨으로써, 차량 주변의 사각 지대를 촬영하고, 사각 지대에 관한 주변 환경 영상을 획득할 수 있다. '사각 지대'는, 차량의 구조에 의해 운전자의 시야가 가려져 운전자가 볼 수 없는 적어도 하나의 영역을 의미한다. 그러나, 외부 카메라(1110)가 어안 렌즈 카메라로 한정되는 것은 아니다.
내부 카메라(1120)는 차량에 탑승한 탑승자를 촬영하고, 탑승자 영상을 실시간으로 획득할 수 있다. 일 실시예에서, 내부 카메라(1120)는 운전자 또는 조수석에 탑승한 동승자의 얼굴을 촬영하고, 운전자 또는 동승자의 얼굴에 관한 탑승자 영상을 획득하며, 획득된 탑승자 영상을 프로세서(1400)에 제공할 수 있다.
일 실시예에서, 내부 카메라(1120)는 차량의 특정 영역, 예를 들어 대시 보드(dashboard), 룸 미러(room mirror), 또는 클러스터(cluster)의 상단에 배치될 수 있다. 그러나, 내부 카메라(1120)가 배치되는 위치가 전술한 예시로 한정되는 것은 아니다.
일 실시예에서, 내부 카메라(1120)는 운전자 또는 조수석에 탑승한 동승자를 포함하는 탑승자의 눈동자를 촬영하고, 눈동자의 움직임을 감지하는 시선 추적 센서(eye tracking sensor)를 포함할 수 있다. 내부 카메라(1120)가 탑승자의 눈동자의 위치 및 시선을 추적하기 위하여, 영상 분석 방식, 또는 콘택트 렌즈(contact lens) 방식 등을 이용할 수 있다. 영상 분석 방식은 실시간으로 획득된 탑승자 영상의 분석을 통해 탑승자의 동공의 움직임을 검출하고, 각막에 반사된 고정위치를 기준으로 시선의 방향을 계산하는 분석 기술이고, 콘택트 렌즈 방식은 거울이 내장된 콘택트 렌즈에 의해 반사된 빛이나, 코일에 내장된 콘택트 렌즈의 자기장을 이용하는 분석 기술이다. 내부 카메라(1120)는 탑승자 영상을 획득하고, 탑승자의 시선의 방향을 센싱할 수 있다. 그러나, 본 개시의 내부 카메라(1120)가 탑승자의 시선 방향을 센싱하기 위하여 사용하는 기술이 전술한 기술들로 한정되는 것은 아니다. 일 실시예에서, 내부 카메라(1120)는 적외선 센서(IR 센서)를 포함하고, IR 센서를 이용하여 탑승자의 눈동자의 위치를 추적하고, 시선 방향을 센싱할 수 있다.
외부 센서(1200)는 레이더 센서(1210) 및 초음파 센서(1220)를 포함할 수 있다. 레이더 센서(1210) 및 초음파 센서(1220)는 각각 차량의 전후면에 배치될 수 있다. 레이더 센서(1210) 및 초음파 센서(1220)의 배치에 관해서는 도 4에서 상세하게 설명하기로 한다.
레이더 센서(radar sensor)(1210)는 차량 주변의 이동체, 예를 들어 주변 차량, 이륜차, 보행자 등을 인식하기 위하여 라디오 파 또는 마이크로 파(microwave) 스펙트럼에서 전자기 파를 생성하고, 전자기 파를 방사하는 송신 안테나, 및 전자기 파를 수신하는 수신 안테나를 포함할 수 있다. 송신기 안테나는 라디오 파(펄스형 또는 연속적)를 방사하고, 이동체로부터 반사된 라디오 파를 수신 안테나를 이용하여 수신하며, 이동체의 위치, 속도, 및 각도 중 적어도 하나의 정보를 프로세서(1400)에 제공할 수 있다. 레이더 센서(1210)는 유선, 무선, 또는 도파관(waveguide) 방식을 이용하여 프로세서(1400)와 통신할 수 있다.
일 실시예에서, 레이더 센서(1210)는 레이저로부터의 자외선, 가시, 또는 근적외선 광을 이용하는 라이더(lidar)를 포함할 수도 있다.
초음파 센서(1220)는 전기 신호를 초음파 신호로 변환하고, 이동체로부터 반사된 초음파 에코 신호를 전기 신호로 변환하는 적어도 하나의 트랜스듀서(transducer)를 포함할 수 있다. 초음파 센서(1220)는 차량 주변에 위치하는 주변 차량, 이륜차, 또는 보행자를 포함하는 이동체에게 초음파 신호를 전송하고, 이동체로부터 반사된 초음파 에코 신호를 수신할 수 있다. 초음파 센서(1220)는 수신된 초음파 에코 신호를 프로세서(1400)에 제공할 수 있다. 프로세서(1400)는 초음파 에코 신호를 해석함으로써, 이동체의 위치 및 이동체와 자 차량 간의 거리에 관한 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 이동체에 대한 거리를 측정하기 위하여, 초음파를 전송한 시점과 초음파 에코 신호를 수신한 시점 간의 시간 간격을 측정하는 방식을 사용할 수 있으나, 이에 한정되지 않는다.
디스플레이부(1300)는 CMS 사이드 디스플레이(1310), 및 중앙 디스플레이(1320)를 포함할 수 있다. 디스플레이부(1300)는 예를 들어, LCD 디스플레이, PDP 디스플레이, OLED 디스플레이, FED 디스플레이, LED 디스플레이, VFD 디스플레이, DLP(Digital Light Processing) 디스플레이, 평판 디스플레이(Flat Panel Display), 3D 디스플레이, 및 투명 디스플레이 중 적어도 하나를 포함하는 물리적 장치로 구성될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 디스플레이부(1300)는 사용자(예를 들어, 운전자 또는 동승자)의 터치 입력을 인식하는 터치 패널(1710)을 포함하는 터치스크린으로 구성될 수도 있다.
CMS 사이드 디스플레이(Camera Monitoring System - Side Display) (1310)는 외부 카메라(1110)를 통해 촬영된 주변 환경 영상을 디스플레이할 수 있다. 일 실시예에서, CMS 사이드 디스플레이(1310)는 차량에 기 탑재된 서라운드 뷰 시스템(Surround View Monitoring System; SVM)을 이용하여 차량의 주변 환경을 차량 위에서 내려다 본 영상인 탑 뷰(top view) 영상을 디스플레이할 수 있다. 탑 뷰 영상은 자 차량 및 주변 차량의 위치를 가상 이미지로 표시하는 서라운드 뷰 영상일 수 있다.
외부 카메라(1110) 및 CMS 사이드 디스플레이(1310)는 CMS를 구성할 수 있다. 그러나, 이에 한정되는 것은 아니고, CMS는 전자 장치(1000)의 적어도 하나의 구성 요소를 포함할 수 있다.
CMS 사이드 디스플레이(1310)는 스티어링 휠(steering wheel)의 좌측에 배치되는 좌측 CMS 사이드 디스플레이(1310L, 도 1 참조) 및 스티어링 휠을 기준으로 우측에 배치되고, 동승자 좌석에 인접하게 배치되는 우측 CMS 사이드 디스플레이(1310R, 도 1 참조)을 포함할 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, CMS 사이드 디스플레이(1310)는 차량의 클러스터 디스플레이 내에 포함되거나, 또는 중앙 디스플레이(1320) 내에 결합될 수도 있다. 본 개시의 CMS 사이드 디스플레이(1310)의 실시예에 대해서는 도 5a 내지 도 5d에서 상세하게 설명하기로 한다.
중앙 디스플레이(Center Information Display; CID)(1320)는 목적지까지의 길 안내 네비게이션을 표시하거나, 차량 관련 정보를 디스플레이할 수 있다. 일 실시예에서, 중앙 디스플레이(1320)는 영화, 게임 등 이미지 컨텐트를 디스플레이할 수 있다. 중앙 디스플레이(1320)는 차량의 대시 보드(dashboard) 상에서 운전석과 조수석 사이에 배치될 수 있다.
일 실시예에서, 중앙 디스플레이(1320)는 프로세서(1400)의 제어에 따라, 탑 뷰 영상을 디스플레이할 수 있다. 탑 뷰 영상이 중앙 디스플레이(1320)를 통해 디스플레이되는 실시예에 대해서는 도 13, 도 14a, 및 도 14b에서 상세하게 설명하기로 한다.
프로세서(1400)는 메모리(1500)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행할 수 있다. 프로세서(1400)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1400)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
메모리(1500)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 롬(ROM, Read-Only Memory), 및 EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나를 포함하는 비휘발성 메모리 및 램(RAM, Random Access Memory) 또는 SRAM(Static Random Access Memory)과 같은 휘발성 메모리를 포함할 수 있다.
메모리(1500)에는 프로세서(1400)가 판독할 수 있는 명령어들, 데이터 구조, 및 프로그램 코드(program code)가 저장될 수 있다. 이하의 실시예에서, 프로세서(1400)는 메모리에 저장된 프로그램의 명령어들 또는 코드들을 실행함으로써 구현될 수 있다. 예를 들어, 메모리(1500)에는 차량의 차선 변경 신호를 인식하고, 인식된 차선 변경 신호에 응답하여, CMS 사이드 디스플레이(1310)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이하고, 탑 뷰 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시하는 프로그램 명령어 코드들이 저장될 수 있다.
일 실시예에서, 프로세서(1400)는 차량에 기 장착되어 있는 사각지대 감지 시스템(Blind-Spot Monitoring System; BSMS), 서라운드 뷰 모니터 시스템(Surround View Monitoring system; SVM), 및 차선 이탈 경보 시스템(Lane Departure Warning System; LDWS) 중 적어도 하나에 포함되는 하드웨어 및 소프트웨어로 구현된 구성을 이용할 수 있다.
일 실시예에서, 프로세서(1400)와 메모리(1500)는 제어부(control unit)를 구성할 수 있다.
프로세서(1400)는 차량의 차선 변경 신호를 인식하고, 인식된 차선 변경 신호에 응답하여, CMS 사이드 디스플레이(1310)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이하고, 탑 뷰 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI를 디스플레이할 수 있다.
일 실시예에서, 프로세서(1400)는 차량의 방향 지시등 조작부(2100, 도 1 참조)를 조작함으로써, 방향 지시등(turn signal)을 활성화(점등)하는 사용자 입력을 인식하고, 사용자 입력에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환할 수 있다. 프로세서(1400)는 송수신부(1600)를 통해 차량 센서 모듈(2000)로부터 방향 지시등 조작부(2100)를 조작하는 사용자 입력에 따라 방향 지시등(turn signal)의 활성화(점등) 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 활성화된 방향 지시등의 방향에 기초하여 좌측에 배치된 CMS 사이드 디스플레이(1310L, 도 1 참조) 및 우측에 배치된 CMS 사이드 디스플레이(1310R, 도 1 참조) 중 어느 하나에 디스플레이되는 영상의 뷰를 전환할 수 있다. 예를 들어, 방향 지시등 조작부(2100)를 아래 방향으로 누르는 입력을 통해 좌측 방향 지시등을 점등하는 사용자 입력이 수신되는 경우, 프로세서(1400)는 송수신부(1600)로부터 좌측 방향 지시등의 활성화 정보를 수신하고, 좌측 CMS 사이드 디스플레이(1310L)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이할 수 있다. 다른 예를 들어, 방향 지시등 조작부(2100)를 위 방향으로 조작함으로써 우측 방향 지시등을 점등하는 사용자 입력이 수신되는 경우, 프로세서(1400)는 송수신부(1600)로부터 우측 방향 지시등의 활성화 정보를 수신하고, 우측 CMS 사이드 디스플레이(1310R)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이할 수 있다.
일 실시예에서, 프로세서(1400)는 차량에 기 탑재된 네비게이션 시스템의 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 인식하고, 인식된 턴 또는 차선 변경 신호에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이할 수 있다. 프로세서(1400)는 차량이 자율 주행 모드로 주행하는 경우, 차량 센서 모듈(2000)로부터 조향 각도, 속도 등 주행 정보를 획득하고, 획득된 주행 정보 및 네비게이션 시스템의 경로 정보에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 영상의 뷰를 전환할 수 있다. 예를 들어, 프로세서(1400)는 네비게이션 시스템의 경로 정보를 이용하여 교차로에서 턴을 하는 상황을 인식하고, 턴 상황에서 차량 센서 모듈(2000)로부터 조향 각도의 변경 정보가 획득되면, CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환할 수 있다.
일 실시예에서, 프로세서(1400)는 차선 변경 신호에 응답하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하고, 주변 환경 영상의 프레임의 크기를 축소하여 탑 뷰 영상 상에 오버레이(overlay)할 수 있다. 프로세서(1400)는 탑 뷰 영상과 오버레이된 주변 환경 영상을 디스플레이하도록 CMS 사이드 디스플레이(1310)를 제어할 수 있다.
일 실시예에서, 프로세서(1400)는 주변 환경 영상을 이용하여 차선, 자 차량과 주변 차량의 위치, 자 차량과 주변 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보를 획득할 수 있다. 프로세서(1400)는 외부 카메라(1110)를 통해 획득된 주변 환경 영상을 분석함으로써, 주변 환경 영상으로부터 차선 및 주변 차량을 인식하고, 주변 차량의 위치 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 외부 카메라(1110)로부터 실시간으로 획득된 주변 환경 영상에 포함되는 복수의 이미지 프레임(image frame)을 분석함으로써, 자 차량의 주변에서 이동하는 주변 차량을 검출할 수 있다. 프로세서(1400)는 예를 들어, 이미지 처리(image processing) 기술을 이용하거나, 또는 심층 신경망(Deep Neural Network)을 포함하는 머신 러닝(Machine Learning)을 이용하여 주변 환경 영상으로부터 주변 차량을 검출할 수 있다. 프로세서(1400)는 주변 환경 영상으로부터 검출된 주변 차량의 위치를 추적하고, 주변 차량의 위치 정보를 실시간으로 갱신(update)할 수 있다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상에 포함되는 복수의 프레임 각각에서 검출된 주변 차량의 위치 정보를 이용하여 주변 차량의 예상 진입 경로를 예측할 수 있다.
일 실시예에서, 프로세서(1400)는 주변 환경 영상 뿐만 아니라, 레이더 센서(1210) 및 초음파 센서(1220)를 이용하여 주변 차량의 위치를 추적함으로써, 주변 차량의 위치, 자 차량과 주변 차량 간의 거리, 및 자 차량과 주변 차량 간의 상대 속도에 관한 정보를 획득할 수 있다. 프로세서(1400)가 주변 환경 영상 및 레이더 센서, 초음파 센서를 이용하여 주변 차량에 관한 위치, 속도, 예상 진입 경로 등의 정보를 획득하는 방식은 예시적인 것이고, 예시된 방식으로 한정되는 것은 아니다.
프로세서(1400)는 획득된 자 차량과 주변 차량의 위치, 자 차량과 주변 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보에 기초하여 진입 예정 차선에 관한 차선 변경 가능성을 판단할 수 있다. 프로세서(1400)는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시할 수 있다. 차선 변경 UI의 구체적인 실시예에 대해서는 도 7a 내지 도 7c에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 차량이 현재 주행 중인 제1 차선에서 이탈하여 진입 예정 차선인 제2 차선으로 기설정된 범위만큼 진입하는 차선 이탈 여부를 인식하고, 인식된 차선 이탈에 응답하여, CMS 사이드 디스플레이(1310) 상에 탑 뷰 영상만이 디스플레이되도록 CMS 사이드 디스플레이(1310)를 제어할 수 있다. CMS 사이드 디스플레이(1310) 상에 탑 뷰 영상 및 탑 뷰 영상 상에 오버레이된 주변 환경 영상이 함께 디스플레이되는 경우, 프로세서(1400)는 차선 이탈이 인식됨에 따라 주변 환경 영상을 제외한 탑 뷰 영상만 디스플레이되도록 CMS 사이드 디스플레이(1310)를 제어할 수 있다. 차선 이탈이 인식됨에 따라 CMS 사이드 디스플레이(1310)에 디스플레이되는 영상의 뷰를 전환하는 실시예에 대해서는 도 10에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 내부 카메라(1120)를 통해 획득된 탑승자 영상으로부터 탑승자의 머리 위치, 머리 회전 방향, 시선(gaze) 방향 중 적어도 하나를 포함하는 탑승자의 위치 정보를 획득하고, 탑승자의 위치 정보에 기초하여 탑승자와 CMS 사이드 디스플레이(1310) 간의 거리를 측정하고, 측정된 거리에 기초하여 탑 뷰 영상의 시야 각(Field Of View; FOV)을 확대 또는 축소(zoom in or out)할 수 있다. 일 실시예에서, 프로세서(1400)는 탑승자 영상으로부터 운전자 또는 조수석에 탑승한 동승자의 얼굴을 인식하고, 인식된 얼굴로부터 눈, 코, 입 등 주요 특징점들(feature points)을 추출할 수 있다. 이 경우, 프로세서(1400)는 공지의 영상 처리 기술(image processing)을 이용하거나, 또는 심층 신경망(Deep Neural Network)을 이용한 머신 러닝 기반의 영상 분석 기술을 이용할 수 있으나, 이에 한정되지 않는다. 프로세서(1400)는 추출된 주요 특징점들의 3차원 위치 좌표값을 획득하고, 획득된 3차원 위치 좌표값을 이용하여 탑승자의 머리 위치, 머리 회전 방향, 시선 방향 중 적어도 하나를 포함하는 탑승자 위치 정보를 획득할 수 있다. 프로세서(1400)는 탑승자 영상으로부터 추출된 주요 특징점들의 3차원 위치 좌표값과 CMS 사이드 디스플레이(1310)의 위치 좌표값을 이용하여 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리를 측정할 수 있다. 프로세서(1400)는 측정된 거리에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상의 시야 각(FOV)을 확대 또는 축소할 수 있다. 프로세서(1400)가 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리에 기초하여 탑 뷰 영상의 시야 각을 조절하는 실시예에 대해서는 도 11a 및 도 11b에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 핸드 제스쳐 입력부(1720)로부터 탑승자의 핀치 인 아웃(pinch in or out) 및 팜 스와이프(palm swipe) 중 적어도 하나를 포함하는 핸드 제스쳐를 수신하고, 핸드 제스쳐 입력에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상의 시야 각(FOV)을 확대 또는 축소(zoom in or out)할 수 있다. 핸드 제스쳐를 인식함으로써, CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상의 시야 각을 조절하는 실시예에 대해서는 도 12에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 운전자의 입력에 의해 점등된 방향 지시등의 방향을 인식하고, 인식된 방향 지시등의 방향에 기초하여 중앙 디스플레이(1320) 상에 탑 뷰 영상을 디스플레이할 수 있다. 중앙 디스플레이(1320) 상에 탑 뷰 영상이 디스플레이되는 실시예에 대해서는 도 14a 및 도 14b에서 상세하게 설명하기로 한다.
송수신부(transceiver)(1600)는 전자 장치(1000)와 차량에 탑재된 차량 센서 모듈(2000) 간의 데이터 통신을 수행할 수 있다. 일 실시예에서, 전자 장치(1000)는 차량 센서 모듈(2000)과 CAN(Controller Area Network)에 따른 통신을 수행할 수 있다.
일 실시예에서, 송수신부(1600)는 CAN 통신을 수행함으로써, 차량 센서 모듈(2000)로부터 방향 지시등의 활성화 여부, 활성화된 방향 지시등의 방향 등에 관한 정보, 속도 센싱 정보, 차량의 조향 각도 정보, 페달 센싱 정보, 및 기어 레버 센싱 정보 중 적어도 하나를 수신할 수 있다. 차량 센서 모듈(2000)에 관해서는 도 3에서 상세하게 설명하기로 한다.
사용자 입력부(1700)는 터치 패널(1710) 및 핸드 제스쳐 입력부(1720)를 포함할 수 있다.
터치 패널(1710)은 디스플레이부(1300)와 결합되어 터치스크린으로 제공될 수 있다. 예를 들어, 터치스크린은 중앙 디스플레이(1320) 상에 터치 패널(1710)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다. 다른 예를 들어, 터치 패널(1710)은 CMS 사이드 디스플레이(1310)와 적층 구조로 결합되고, CMS 사이드 디스플레이(1310)는 터치스크린으로 구현될 수도 있다. CMS 사이드 디스플레이(1310) 또는 중앙 디스플레이(1320)가 터치스크린으로 구현되는 경우, 사용자의 터치 입력을 수신하고, 그래픽 사용자 인터페이스(Graphical User Interface, GUI)를 디스플레이할 수 있다.
터치 패널(1710)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(1710)은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다.
핸드 제스쳐 입력부(1720)는 차량 탑승자의 핀치 인 아웃(pinch in or out) 및 팜 스와이프(palm swipe) 입력 중 적어도 하나를 인식할 수 있다.
도 3은 본 개시의 일 실시예에 따른 차량 센서 모듈(2000)의 구성을 도시한 블록도이다. 차량 센서 모듈(2000)은 차량에 탑재되고, 차량의 방향 지시등, 속도, 조향 각도, 페달, 및 기어 레버(Gear lever)의 조작 등을 감지하여, 차량의 주행과 관련된 정보를 획득하고, 주행과 관련된 정보를 전자 장치(1000)에 제공할 수 있다. 차량 센서 모듈(2000)은 차량의 주행과 관련된 정보를 전자 장치(1000)의 송수신부(1600)를 통해 전자 장치(1000)에 전송할 수 있다. 차량 센서 모듈(2000)은 전자 장치(1000)와 CAN(Controller Area Network) 통신을 수행할 수 있다.
차량 센서 모듈(2000)은 전자 장치(1000)와는 별개의 구성 요소이다. 그러나, 이에 한정되는 것은 아니고, 차량 센서 모듈(2000)에 포함되는 적어도 하나의 구성 요소는 전자 장치(1000) 내에 포함될 수 있다.
차량 센서 모듈(2000)은 방향 지시등 센서(2010), 속도 센서(2020), 조향 각도 센서(2030), 페달 센서(2040), 및 기어 레버 센서(2050)를 포함할 수 있다.
방향 지시등 센서(2010)는 운전자의 조작에 의한 방향 지시등의 활성화 여부를 감지할 수 있다. 방향 지시등 센서(2010)는 점등된 방향 지시등의 방향을 감지하고, 감지된 방향 지시등 점등 방향에 관한 정보를 전자 장치(1000)에 전송할 수 있다. 예를 들어, 방향 지시등 센서(2010)는 좌측 방향 지시등 및 우측 방향 지시등 중 어느 방향의 방향 지시등이 점등되었는지에 관한 정보를 획득할 수 있다.
속도 센서(2020)는 차량의 주행 속도를 감지하고, 주행 속도 정보를 전자 장치(1000)에 전송할 수 있다.
조향 각도 센서(2030)는 스티어링 휠(steering wheel)의 조작에 의한 차량의 조향 각도를 감지하고, 조향 각도 정보를 전자 장치(1000)에 전송할 수 있다.
페달 센서(2040)는 운전자가 가속 페달 또는 브레이크 페달을 밟는 조작에 따른 압력을 감지하고, 페달에 가해지는 압력에 관한 정보를 전자 장치(1000)에 전송할 수 있다.
기어 레버(Gear lever) 센서(2050)는 운전자의 조작에 의한 트랜스미션 기어 레버의 조작을 감지하고, 트랜스미션 기어 레버의 조작에 관한 정보를 전자 장치(1000)에 전송할 수 있다.
전자 장치(1000)는 차량 센서 모듈(2000)로부터 수신한 방향 지시등의 활성화 및 점등 방향에 관한 정보, 속도 정보, 조향 각도 정보, 페달 압력 정보, 및 기어 레버 조작 정보 중 적어도 하나에 기초하여, 차량의 주행 및 차선 변경 신호를 인식할 수 있다.
도 4는 본 개시의 차량(10)에 탑재되는 CMS의 각 구성 요소들을 도시한 도면이다.
도 4를 참조하면, 차량(10)에는 외부 카메라(1110), 전방 카메라(1112), 후방 카메라(1114), 레이더 센서(1210), 및 초음파 센서(1220)가 배치될 수 있다.
외부 카메라(1110)는 차량(10)의 좌우 측면에 배치될 수 있다. 외부 카메라(1110)는 차량(10)의 좌우측 및 후방의 주변 환경을 촬영함으로써, 주변 차량, 이륜 차, 보행자 중 적어도 하나를 포함하는 이동체에 관한 주변 환경 영상을 획득할 수 있다.
전방 카메라(1112)는 차량(10)의 전면부에 배치될 수 있다. 일 실시예에서, 전방 카메라(1112)는 차량(10)의 전방을 촬영하여 차선의 영상 정보를 획득하는 차선 카메라(lane camera)를 포함할 수 있다.
후방 카메라(1114)는 차량(10)의 후면부, 예를 들어 트렁크, 후측 범퍼, 후방 필러, 또는 후방 윈드쉴드(wind shield)에 장착될 수 있다. 후방 카메라(1114)는 차량(10)의 후측방을 촬영하여 후측 주변 영상을 획득할 수 있다.
일 실시예에서, 외부 카메라(1110), 전방 카메라(1112), 및 후방 카메라(1114)는 서라운드 뷰 모니터링 시스템(Surround View Monitoring system; SVM)을 구성할 수 있다. 서라운드 뷰 모니터링 시스템은 차량(10)의 주변 360° 공간의 상황을 차량(10)의 위에서 내려다 본 것과 같은 영상을 실시간으로 제공하는 시스템이다. 서라운드 뷰 모니터링 시스템은 외부 카메라(1110), 전방 카메라(1112), 및 후방 카메라(1114) 각각으로부터 촬영되어 입력되는 주변 환경 영상의 왜곡을 보정하고, 시점 변화 및 영상 합성 기술을 이용하여 차량(10)의 주변을 조감도 형식으로 위에서 아래로 내려다 본 것과 같은 탑 뷰(top view) 영상을 생성할 수 있다.
레이더 센서(radar sensor)(1210)는 차량(10)의 전면부에 배치될 수 있다. 예를 들어, 레이더 센서(1210)는 차량(10)의 전면 그릴, 전면 범퍼, 또는 전면 램프 상에 장착될 수 있으나, 이에 한정되지 않는다. 레이더 센서(1210)는 차량(10) 주변에 위치하는 이동체, 예를 들어 주변 차량, 이륜차, 보행자 등을 인식하기 위하여 라디오 파 또는 마이크로 파(microwave) 스펙트럼에서 전자기 파를 생성하고, 전자기 파를 방사하는 송신 안테나, 및 전자기 파를 수신하는 수신 안테나를 포함할 수 있다. 송신기 안테나는 라디오 파(펄스형 또는 연속적)를 방사하고, 이동체로부터 반사된 라디오 파를 수신 안테나를 이용하여 수신하며, 이동체의 위치, 속도, 및 각도 중 적어도 하나의 정보를 프로세서(1400, 도 2 참조)에 제공할 수 있다.
초음파 센서(1220)는 차량(10)의 전면부에 배치될 수 있다. 초음파 센서(1220)는 예를 들어, 차량(10)의 전면 범퍼, 또는 전면 램프 상에 장착될 수 있으나, 이에 한정되지 않는다. 초음파 센서(1220)는 차량(10)의 전후방에 위치하는 주변 차량, 이륜 차, 또는 보행자를 포함하는 이동체에 초음파 신호를 전송하고, 이동체로부터 반사된 초음파 에코 신호를 수신할 수 있다. 초음파 센서(1220)는 수신된 초음파 에코 신호를 프로세서(1400)에 제공할 수 있다.
도 5a 내지 도 5d는 본 개시의 CMS 사이드 디스플레이(Camera Monitoring System- Side Display)(1310a 내지 1310d)의 실시예를 도시한 도면들이다.
도 5a를 참조하면, CMS 사이드 디스플레이(1310a)는 차량 내부의 스티어링 휠(steering wheel)의 좌측과 우측에 각각 배치될 수 있다. 좌측 CMS 사이드 디스플레이(1310a)는 운전석과 인접하여 배치될 수 있다. 도 1을 함께 참조하면, 우측 CMS 사이드 디스플레이(1310R)는 동승자 좌석에 인접하게 배치될 수 있다. 일 실시예에서, CMS 사이드 디스플레이(1310a)는 대시보드 상에 장착되거나, 대시보드 내에 포함될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, CMS 사이드 디스플레이(1310a)는 운전석 도어 트림(door trim) 및 조수석 도어 트림에 각각 장착될 수도 있다.
도 5b를 참조하면, CMS 사이드 디스플레이(1310a)는 클러스터 디스플레이(1330) 내에 포함될 수 있다.
클러스터 디스플레이(1330)는 차량의 주행 상태 또는 각종 장치의 작동 상태 정보 중 적어도 하나를 포함하는 차량 정보를 디스플레이할 수 있다. 클러스터 디스플레이(1330)는 계기판에 포함될 수 있다. 클러스터 디스플레이(1330)는 예를 들어, 엔진 회전 정보(RPM), 속도 정보, 방향 지시등 활성화 상태 정보, 연료 정보, 냉각수 온도 정보 중 적어도 하나를 디스플레이할 수 있다. 클러스터 디스플레이(1330)는 차량의 주행 속도와 주행거리, 시계를 함께 표시하는 운행 기록계(tachograph),　엔진의 회전수(RPM)를 표시하는 회전 속도계(tachometer), 주행 거리를 표시하는 적산 거리계(tripmeter) 이외에 자동차의 상태를 나타내는 주유계와 수온계,　엔진　온도계, 각종 경고등(Warning　Lamp) 등을 포함할 수 있다.
클러스터 디스플레이(1330)는 예를 들어, LCD 디스플레이, PDP 디스플레이, OLED 디스플레이, FED 디스플레이, LED 디스플레이, VFD 디스플레이, DLP(Digital Light Processing) 디스플레이, 평판 디스플레이(Flat Panel Display), 3D 디스플레이, 및 투명 디스플레이 중 적어도 하나를 포함하는 물리적 장치로 구성될 수 있으나, 이에 한정되는 것은 아니다.
CMS 사이드 디스플레이(1310b)는 클러스터 디스플레이(1330) 내의 일부 영역에 포함될 수 있다. 일 실시예에서, CMS 사이드 디스플레이(1310b)는 클러스터 디스플레이(1330)의 주행 속도 정보를 표시하는 속도계를 대체하여 주변 환경 영상 및 탑 뷰 영상 중 적어도 하나를 디스플레이할 수 있다. 다른 실시예에서, CMS 사이드 디스플레이(1310b)는 클러스터 디스플레이(1330)의 엔진 회전 정보를 표시하는 회전 속도계를 대체하여 주변 환경 영상 및 탑 뷰 영상 중 적어도 하나를 디스플레이할 수 있다.
일 실시예에서, 프로세서(1400, 도 2 참조)는 차량 센서 모듈(2000, 도 3 참조)의 방향 지시등 센서(2010, 도 3 참조)로부터 좌측 방향 지시등이 활성화되었다는 정보를 수신하는 경우, 클러스터 디스플레이(1330)의 속도계가 표시되는 영역을 CMS 사이드 디스플레이(1310b)로 대체할 수 있다. 마찬가지로, 프로세서(1400)는 방향 지시등 센서(2010)로부터 우측 방향 지시등이 활성화되었다는 정보를 수신하는 경우, 클러스터 디스플레이(1330)의 회전 속도계가 표시되는 영역을 CMS 사이드 디스플레이(1310b)로 대체할 수 있다.
도 5c를 참조하면, CMS 사이드 디스플레이(1310c)는 클러스터 디스플레이(1330)의 일부 영역 상에 포함될 수 있다. 일 실시예에서, CMS 사이드 디스플레이(1310c)는 클러스터 디스플레이(1330)의 주행 속도계와 회전 속도계가 표시되는 영역 사이에 주변 환경 영상 및 탑 뷰 영상 중 적어도 하나를 디스플레이할 수 있다. 클러스터 디스플레이(1330)에 관한 설명은 도 5b에 도시된 클러스터 디스플레이(1330)와 동일한바, 중복되는 설명은 생략한다.
도 5d를 참조하면, CMS 사이드 디스플레이(1310d)는 중앙 디스플레이(Center Information Display; CID)(1320) 내의 일부 영역에 포함될 수 있다. 중앙 디스플레이(1320)는 차량의 대시 보드 상에서 운전석과 조수석 사이에 배치될 수 있다. 중앙 디스플레이(1320)는 목적지까지의 길 안내 네비게이션을 표시하거나, 주변 차량에 관한 탑 뷰 영상을 디스플레이할 수 있다.
일 실시예에서, CMS 사이드 디스플레이(1310d)는 중앙 디스플레이(1320) 내의 분할된 일부 영역 내에 주변 환경 영상 및 탑 뷰 영상 중 적어도 하나를 디스플레이할 수 있다.
도 6a 및 도 6b는 본 개시의 전자 장치가 차량의 차선 변경 신호를 인식하는 경우, CMS 사이드 디스플레이(1310) 상에 디스플레이되는 영상의 뷰(view)를 전환하는 실시예를 도시한 도면들이다.
도 6a를 참조하면, CMS 사이드 디스플레이(1310)는 외부 카메라(1110, 도 1 및 도 2 참조)를 통해 촬영된 차량의 좌우측 및 후방의 주변 환경을 실시간으로 촬영하여 획득된 주변 환경 영상(100)을 디스플레이할 수 있다.
CMS 사이드 디스플레이(1310)가 주변 환경 영상(100)을 디스플레이하는 동안, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 차량의 차선 변경 신호를 인식할 수 있다. 운전자가 차량의 방향 지시등 조작부(2100, 도 1 참조)를 조작하여 방향 지시등(turn signal)을 활성화(점등)하는 경우, 프로세서(1400)는 방향 지시등의 활성화 정보를 획득함으로써, 차량의 차선 변경 신호를 인식할 수 있다. 다른 실시예에서, 프로세서(1400)는 차량에 기 탑재된 네비게이션 시스템의 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 포함하는 차선 변경 신호를 인식할 수 있다.
차량의 차선 변경 신호를 인식하는 경우, 전자 장치(1000)는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하고, 탑 뷰 영상(110)을 CMS 사이드 디스플레이(1310) 상에 디스플레이할 수 있다. 탑 뷰 영상(110)은 차량에 기 탑재된 서라운드 뷰 모니터링 시스템(SVM)을 이용하여 획득한 영상으로서, 주변 환경 영상(100)으로부터 인식된 자 차량 및 주변 차량의 위치를 가상 이미지로 표시하는 영상이다. 탑 뷰 영상(110)은 자 차량의 주변 360° 공간의 상황을 차량 위에서 내려다 본 것과 같은 영상을 의미일 수 있다.
도 6b를 참조하면, 전자 장치(1000)는 차선 변경 신호를 인식하는 경우, CMS 사이드 디스플레이(1310)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환하고, 주변 환경 영상(100)의 프레임 크기를 축소하며, 축소된 주변 환경 영상(100)을 전환된 탑 뷰 영상(110) 내에 오버레이(overlay)하여 디스플레이할 수 있다. 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 탑 뷰 영상(110)과 오버레이된 주변 환경 영상(100)을 디스플레이하도록 CMS 사이드 디스플레이(1310)를 제어할 수 있다.
도 6b에 도시된 실시예는 탑 뷰 영상(110) 상에 주변 환경 영상(100)을 오버레이하여 디스플레이하는 특징을 제외하고는 도 6a에 도시된 실시예와 동일한바, 중복되는 설명은 생략한다.
도 7a 내지 도 7c는 본 개시의 CMS 사이드 디스플레이 상에 디스플레이되는 탑 뷰 영상(110) 및 차선 변경 UI(120, 130, 140)의 실시예를 도시한 도면들이다.
도 7a를 참조하면, 탑 뷰 영상(110) 상에는 차선 변경 UI(120)가 디스플레이될 수 있다. 차선 변경 UI(120)는 자 차량 이미지(121), 주변 차량 이미지(122), 주변 차량의 예상 진입 경로 UI(123), 경고 마크(124), 및 경고 문구(125)를 포함할 수 있다.
전자 장치(1000)의 프로세서(1400)는, 외부 카메라(1110, 도 1 및 도 2 참조)를 이용하여 촬영된 주변 환경 영상을 영상 분석함으로써, 차선, 자 차량과 주변 차량의 위치, 자 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상 뿐만 아니라, 레이더 센서(1210, 도 2 및 도 4 참조) 및 초음파 센서(1220, 도 2 및 도 4 참조)를 이용하여 주변 차량의 위치를 추적함으로써, 주변 차량의 위치, 자 차량과 주변 차량 간의 거리, 및 자 차량과 주변 차량 간의 상대 속도에 관한 정보를 획득할 수 있다.
프로세서(1400)는 획득된 자 차량과 주변 차량의 위치에 기초하여 자 차량 이미지(121) 및 주변 차량 이미지(122)를 생성하고, 주변 차량의 예상 진입 경로를 나타내는 예상 진입 경로 UI(123)를 생성하고, 생성된 이미지 및 UI 들을 탑 뷰 영상(110) 상에 디스플레이할 수 있다. 프로세서(1400)는 자 차량과 주변 차량 간의 거리, 상대 속도, 및 주변 차량의 예상 진입 경로에 기초하여, 차선 변경 시 충돌 등의 상황이 발생할 수 있음을 알리는 경고 UI를 탑 뷰 영상(110) 상에 디스플레이할 수 있다. 경고 UI는 경고 마크(124) 및 경고 문구(125)를 포함할 수 있다.
도 7b를 참조하면, 탑 뷰 영상(110) 상에는 차선 변경 UI(130)가 디스플레이될 수 있다. 차선 변경 UI(130)는 자 차량 이미지(131), 자 차량의 진입 경로 UI(132), 제1 주변 차량 이미지(133), 제1 주변 차량의 예상 진입 경로 UI(134), 제2 주변 차량 이미지(135), 제2 주변 차량의 예상 진입 경로 UI(136), 경고 마크(137), 및 경고 문구(138)을 포함할 수 있다.
도 7b에 도시된 실시예에서, 탑 뷰 영상(110) 상에 디스플레이되는 차선 변경 UI(130)는 주변 차량이 복수 개(제1 주변 차량 및 제2 주변 차량)이고, 복수의 주변 차량 각각의 예상 진입 경로를 UI로 표시하는 것을 제외하고는, 도 7a에 도시된 실시예와 동일한바, 중복되는 설명은 생략한다. 도 7b에 도시된 실시예에서는, 자 차량 보다 2차선만큼 이격된 제2 주변 차량을 주의하라는 경고 마크(137) 및 경고 문구(138)가 탑 뷰 영상(110) 상에 디스플레이될 수 있다. 경고 문구(138)는 예를 들어, '좌측 차량 주의'일 수 있다.
도 7c를 참조하면, 주변 환경 영상(100) 상에는 차선 변경 UI(140)가 디스플레이될 수 있다. 차선 변경 UI(140)는 차선 변경 가능 알림 UI(141) 및 가속도 UI(142)를 포함할 수 있다.
차선 변경 가능 알림 UI(141)는 자 차량과 주변 차량의 상대 속도 및 자 차량과 주변 차량 간의 위치에 기초하여, 자 차량이 현재 주행하고 있는 차선에서 이탈하여 주변 차량이 주행하고 있는 차선으로 변경할 수 있는지에 관한 정보를 표시할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1400)는 주변 환경 영상(100)을 영상 분석하고, 레이더 센서(1210, 도 2 및 도 4 참조) 및 초음파 센서(1220, 도 2 및 도 4 참조)를 이용하여 획득된 자 차량과 주변 차량의 위치, 자 차량과 주변 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나의 정보에 기초하여 진입 예정 차선에 관한 차선 변경 가능성을 판단하고, 판단 결과에 기초하여 차선 변경 가능 알림 UI(141)를 생성할 수 있다. 프로세서(1400)는 차선 변경 가능 알림 UI(141)를 CMS 사이드 디스플레이 상에 디스플레이할 수 있다.
가속도 UI(142)는 자 차량이 진입하려는 차선으로 차선을 변경하기 위해서 가속해야 하는 속도를 나타내는 UI이다. 프로세서(1400)는 자 차량과 주변 차량 간의 거리 및 자 차량과 주변 차량 간의 상대 속도에 기초하여, 자 차량이 진입 예정 차선으로 차선을 변경하기 위해서 가속해야 하는 속도를 측정하고, 측정 결과에 기초하여 가속도 UI(142)를 생성할 수 있다. 프로세서(1400)는 가속도 UI(142)를 CMS 사이드 디스플레이 상에 디스플레이할 수 있다.
도 7c에 도시된 실시예에서, 차선 변경 가능 알림 UI(141) 및 가속도 UI(142)는 주변 환경 영상(100) 상에 디스플레이되는 것으로 도시되어 있지만, 이에 한정되는 것은 아니다. 일 실시예에서, 차선 변경 가능 알림 UI(141) 및 가속도 UI(142)는 탑 뷰 영상(110, 도 7a 및 도 7b 참조) 상에 디스플레이될 수도 있다.
도 6a 내지 도 7c에 도시된 실시예에서, 본 개시의 CMS 사이드 디스플레이(1310)는 탑 뷰 영상(110)을 디스플레이하고, 자 차량, 차선, 주변 차량의 위치, 자 차량과 주변 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 나타내는 차선 변경 UI(120, 130, 140)를 디스플레이함으로써, 차선 변경 또는 턴(turn) 상황에서 관련 정보를 직관적으로 운전자에게 제공할 수 있다. 따라서, 본 개시의 일 실시예에 따른 CMS 사이드 디스플레이(1310)는 운전의 신뢰성을 향상시키고, 운전자에게 안정감을 제공할 수 있다.
도 8은 본 개시의 일 실시예에 따른 전자 장치(1000)의 동작 방법을 도시한 흐름도이다.
단계 S810에서, 전자 장치(1000)는 차량의 측면에 배치된 외부 카메라를 이용하여 주변 환경 영상을 획득하고, 획득된 주변 환경 영상에 관한 제1 영상을 디스플레이한다. 일 실시예에서, 외부 카메라는 차량의 좌우측 및 후방의 주변 환경에 위치하는 주변 차량, 이륜 차, 보행자 중 적어도 하나를 포함하는 이동체를 촬영하는 CMS 뷰 카메라(Camera Monitoring System View Camera)로 구성될 수 있다. 외부 카메라는 주변 환경 영상을 실시간으로 촬영함으로써, 주변 환경 영상을 획득하고, 획득된 주변 환경 영상을 프로세서(1400, 도 2 참조)에 제공할 수 있다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상을 CMS 사이드 디스플레이(1310, 도 2 참조) 상에 디스플레이할 수 있다.
단계 S820에서, 전자 장치(1000)는 차량의 차선 변경 신호를 인식한다.
일 실시예에서, 전자 장치(1000)는 차량의 방향 지시등 조작부를 조작함으로써, 방향 지시등(turn signal)을 점등하는 사용자 입력을 인식할 수 있다. 일 실시예에서, 프로세서(1400)는 차량 센서 모듈(2000, 도 3 참조)로부터 방향 지시등 조작부(2100, 도 3 참조)를 조작하는 사용자 입력에 따라 방향 지시등(turn signal)의 활성화(점등) 정보를 획득하고, 방향 지시등의 활성화 정보에 기초하여 방향 지시등을 점등하는 사용자 입력을 인식할 수 있다. 일 실시예에서, 프로세서(1400)는 차량 센서 모듈(2000)로부터 활성화된 방향 지시등의 방향(예를 들어, 좌측 방향 지시등 활성화 또는 우측 방향 지시등 활성화)에 관한 정보를 획득할 수 있다.
일 실시예에서, 전자 장치(1000)는 차량의 네비게이션 시스템의 주행 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 인식할 수 있다. 일 실시예에서, 프로세서(1400)는 차량이 자율 주행 모드로 주행하는 경우, 차량 센서 모듈(2000)로부터 조향 각도, 속도 등 주행 정보를 획득하고, 획득된 주행 정보에 기초하여 턴 또는 차선 변경 신호를 인식할 수 있다. 예를 들어, 프로세서(1400)는 네비게이션 시스템의 경로 정보를 이용하여 교차로에서 턴을 하는 상황을 인식할 수 있다.
다른 실시예에서, 프로세서(1400)는 차량 센서 모듈(2000)로부터 차량의 조향 각도 변경에 관한 정보를 획득하고, 획득된 조향 각도 변경 정보에 기초하여 턴 신호 또는 차선 변경 신호를 인식할 수 있다.
단계 S830에서, 전자 장치(1000)는 차선 변경 신호에 응답하여, 제1 영상을 주변 차량 및 자 차량을 가상 이미지로 표시하는 탑 뷰(top view) 영상인 제2 영상으로 전환하여 디스플레이한다.
일 실시예에서, 전자 장치(1000)는 차선 변경 신호가 인식되는 경우, 주변 환경 영상인 제1 영상을 탑 뷰 영상인 제2 영상으로 전환하고, 전환된 제2 영상을 CMS 사이드 디스플레이(1310, 도 1 및 도 2 참조) 상에 디스플레이할 수 있다. 제2 영상은 자 차량과 주변 차량을 조감도 형식으로 위에서 아래로 내려다 본 것과 같이 가상 이미지로 표시하는 탑 뷰 영상이다. 프로세서(1400)는 차량에 기 탑재된 서라운드 뷰 모니터링 시스템을 이용하여 차량의 주변 360° 공간의 상황을 촬영하고, 촬영된 영상의 왜곡을 보정하고, 시점 변화 및 영상 합성 기술을 이용하여 탑 뷰 영상을 생성할 수 있다.
일 실시예에서, 전자 장치(1000)는 활성화된 방향 지시등의 방향에 기초하여 좌측에 배치된 CMS 사이드 디스플레이(1310L, 도 1 참조) 및 우측에 배치된 CMS 사이드 디스플레이(1310R, 도 1 참조) 중 어느 하나에 디스플레이되는 영상의 뷰를 전환할 수 있다. 예를 들어, 방향 지시등 조작부(2100, 도 1 참조)를 아래 방향으로 누르는 입력을 통해 좌측 방향 지시등을 점등하는 사용자 입력이 수신되는 경우, 전자 장치(1000)는 좌측 CMS 사이드 디스플레이(1310L)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이할 수 있다. 다른 예를 들어, 방향 지시등 조작부(2100)를 위 방향으로 조작함으로써 우측 방향 지시등을 점등하는 사용자 입력이 수신되는 경우, 전자 장치(1000)는 우측 CMS 사이드 디스플레이(1310R)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이할 수 있다.
일 실시예에서, 프로세서(1400)는 차선 변경 신호에 응답하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하고, 주변 환경 영상의 프레임의 크기를 축소하여 탑 뷰 영상 상에 오버레이(overlay)할 수 있다. 프로세서(1400)는 탑 뷰 영상과 오버레이된 주변 환경 영상을 디스플레이하도록 CMS 사이드 디스플레이(1310)를 제어할 수 있다.
단계 S840에서, 전자 장치(1000)는 제2 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI를 디스플레이한다. 일 실시예에서, 전자 장치(1000)는 주변 환경 영상을 영상 분석함으로써, 차선, 자 차량과 주변 차량의 위치, 자 차량 간의 상대 속도, 자 차량과 주변 차량 간의 거리, 및 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상 뿐만 아니라, 레이더 센서(1210, 도 2 및 도 4 참조) 및 초음파 센서(1220, 도 2 및 도 4 참조)를 이용하여 주변 차량의 위치를 추적함으로써, 주변 차량의 위치, 자 차량과 주변 차량 간의 거리, 및 자 차량과 주변 차량 간의 상대 속도에 관한 정보를 획득할 수 있다. 프로세서(1400)는 획득된 주행 환경 정보에 기초하여, 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI를 CMS 사이드 디스플레이(1310, 도 1 및 도 2 참조) 상에 디스플레이할 수 있다.
일 실시예에서, 차선 변경 UI는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상 상에 표시될 수 있다. 그러나, 이에 한정되는 것은 아니고, 차선 변경 UI는 주변 환경 영상 상에 표시될 수도 있다. 차선 변경 UI에 관해서는 도 7a 내지 도 7c에 도시되고, 설명된 차선 변경 UI(120, 130, 140)의 설명을 참조한다.
도 9는 본 개시의 일 실시예에 따른 전자 장치(1000)의 동작 방법을 도시한 흐름도이다. 도 9에 도시된 실시예는 도 8에 도시된 단계 S820과 단계 S840 사이에 추가로 수행되는 단계들에 관한 것이다. 단계 S910은 도 8의 단계 S820이 수행된 이후에 수행된다.
단계 S910에서, 전자 장치(1000)는 주변 환경 영상으로부터 주변 차량을 인식한다. 전자 장치(1000)는 외부 카메라(1110, 도 1 및 도 2 참조)를 통해 획득된 주변 환경 영상을 영상 분석함으로써, 주변 환경 영상으로부터 차선 및 주변 차량을 인식하고, 주변 차량의 위치 정보를 획득할 수 있다.
일 실시예에서, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 주변 환경 영상에 포함되는 복수의 이미지 프레임(image frame)을 분석함으로써, 자 차량의 주변에서 이동하는 주변 차량을 검출할 수 있다. 프로세서(1400)는 예를 들어, 이미지 처리(image processing)을 이용하거나, 또는 심층 신경망(Deep Neural Network)을 포함하는 머신 러닝(Machine Learning)을 이용하여 주변 환경 영상으로부터 주변 차량을 검출할 수 있다.
단계 S920에서, 전자 장치(1000)는 외부 레이더 센서 및 초음파 센서 중 적어도 하나를 이용하여 주변 차량과 자 차량 간의 거리를 측정한다. 일 실시예에서, 프로세서(1400)는 차량 외부에 장착된 레이더 센서(1210, 도 2 및 도 4 참조)를 이용하여 주변 차량에 전자기 파를 송신하고, 주변 차량으로부터 반사된 전자기 파를 수신함으로써, 주변 차량의 위치 및 자 차량과 주변 차량 간의 거리에 관한 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 차량 외부에 장착된 초음파 센서(1220, 도 2 및 도 4 참조)를 이용하여 주변 차량에 초음파 신호를 전송하고, 주변 차량으로부터 반사되는 초음파 에코 신호를 수신하며, 수신된 초음파 에코 신호를 분석함으로써 주변 차량의 위치 및 자 차량과 주변 차량 간의 위치에 관한 정보를 획득할 수 있다.
단계 S930에서, 전자 장치(1000)는 측정된 거리가 기설정된 임계값 이하인지를 확인한다.
자 차량과 주변 차량 간의 측정된 거리가 임계값 이하인 경우(단계 S940), 전자 장치(1000)는 주변 차량의 예상 진입 경로가 자 차량의 진입 경로와 동일한지 여부를 확인한다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상으로부터 검출된 주변 차량의 위치를 추적하고, 주변 차량의 위치 정보를 실시간으로 갱신(update)할 수 있다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상에 포함되는 복수의 프레임 각각에서 검출된 주변 차량의 위치 정보를 이용하여 주변 차량의 예상 진입 경로를 예측할 수 있다. 프로세서(1400)는 주변 차량의 예상 진입 경로와 자 차량의 진입 경로가 동일한지 여부를 확인할 수 있다.
주변 차량의 예상 진입 경로와 자 차량의 진입 경로가 동일한 것으로 확인된 경우(단계 S950), 전자 장치(1000)는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이한다. 프로세서(1400)는 CMS 사이드 디스플레이(1310, 도 1 및 도 2 참조) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하고, 탑 뷰 영상을 CMS 사이드 디스플레이(1310) 상에 디스플레이할 수 있다.
주변 차량의 예상 진입 경로가 자 차량의 진입 경로와 동일하지 않은 것으로 확인된 경우(단계 S980), 전자 장치(1000)는 주변 환경 영상을 CMS 사이드 디스플레이(1310) 상에 디스플레이한다. 단계 S980은 도 8의 단계 S810에서부터 CMS 사이드 디스플레이(1310) 상에 디스플레이되고 있는 주변 환경 영상의 뷰를 계속 유지할 수 있다.
자 차량과 주변 차량 간의 측정된 거리가 기설정된 임계값을 초과하는 것으로 확인된 경우(단계 S960), 전자 장치(1000)는 진입 예정 차선 상의 주변 차량의 속도를 측정한다. 일 실시예에서, 프로세서(1400)는 주변 환경 영상의 복수의 프레임으로부터 감지되는 주변 차량을 검출하고, 복수의 프레임 각각에서의 주변 차량의 움직임 정도를 계산함으로써, 주변 차량의 속도를 측정할 수 있다. 일 실시예에서, 프로세서(1400)는 외부의 레이더 센서(1210) 및 초음파 센서(1220) 중 적어도 하나를 이용하여 주변 차량과 자 차량 간의 시간에 따른 거리의 변화를 실시간으로 계산함으로써, 주변 차량의 속도를 측정할 수 있다.
단계 S970에서, 전자 장치(1000)는 측정된 주변 차량의 속도가 자 차량의 속도를 초과하는지 확인한다.
측정된 주변 차량의 속도가 자 차량의 속도를 초과하는 것으로 확인된 경우, 전자 장치(1000)는 주변 차량의 예상 진입 경로가 자 차량의 진입 경로와 동일한지 여부를 확인한다 (단계 S940).
측정된 주변 차량의 속도가 자 차량의 속도 이하인 것으로 확인된 경우, 전자 장치(1000)는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 주변 환경 영상을 탑 뷰 영상으로 전환하여 디스플레이한다 (단계 S950).
도 10은 본 개시의 전자 장치(1000)가 차량(10)의 차선 변경 신호 및 차선 이탈을 포함하는 상황을 인식하고, 인식된 상황에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 영상의 뷰(view)를 전환하는 실시예를 도시한 도면이다.
도 10을 참조하면, 전자 장치(1000)는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 영상의 뷰를 두 번에 걸쳐 변경할 수 있다.
CMS 사이드 디스플레이(1310)는 외부 카메라(1110, 도 1 및 도 2 참조)를 이용하여 차량(10)의 주변을 촬영함으로써 획득된 주변 환경 영상(100)인 제1 영상을 디스플레이할 수 있다.
단계 S1010에서, 차선 변경 신호를 인식하는 경우, 전자 장치(1000)는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 제1 영상을 제2 영상으로 전환하여 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 방향 지시등 조작부(2100)를 조작하는 사용자 입력을 인식함으로써, 차량(10)의 차선 변경 신호를 인식할 수 있다. 다른 실시예에서, 전자 장치(1000)는 차량(10)에 기 탑재된 네비게이션 시스템의 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 포함하는 차선 변경 신호를 인식할 수 있다.
제2 영상은 탑 뷰 영상(110)과 주변 환경 영상(100)을 포함할 수 있다. 제2 영상에서 주변 환경 영상(100)은 탑 뷰 영상(110) 상에 오버레이(overlay)되어 디스플레이될 수 있다. 일 실시예에서, 전자 장치(1000)는 CMS 사이드 디스플레이(1310)에 디스플레이되는 주변 환경 영상(100)의 프레임 크기를 축소하고, 축소된 주변 환경 영상(100)을 탑 뷰 영상(110) 내에 오버레이하여 디스플레이할 수 있다.
단계 S1020에서, 전자 장치(1000)는 차량(10)의 차선 이탈을 인식한다. 일 실시예에서, 전자 장치(1000)는 차량(10)의 전면부에 배치된 전방 카메라(1112) 후면부에 배치된 후방 카메라(1114), 및 차량(10)의 좌우 측면부에 배치된 외부 카메라(1110)를 이용하여 촬영된 영상을 분석함으로써, 영상으로부터 차선을 검출할 수 있다. 전자 장치(1000)는 차량(10)이 현재 주행 중인 제1 차선에서 이탈하여 진입 예정 차선인 제2 차선으로 기설정된 범위만큼 진입하는지 여부를 인식할 수 있다. 예를 들어, 전자 장치(1000)는 차량(10)이 진입 예정 차선인 제2 차선으로 차량 전폭(l)의 α %이상 진입하는 경우 차선을 이탈했다고 인식할 수 있다. 예를 들어, α %는 40%일 수 있으나, 이에 한정되지 않는다.
단계 S1020에서 차선 이탈이 인식된 경우, 전자 장치(1000)는 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 제2 영상을 제3 영상으로 전환하여 디스플레이한다. 제3 영상은, 제2 영상에서 오버레이된 주변 환경 영상(100)을 제외하고, 탑 뷰 영상(110)만을 포함하는 영상이다.
도 10에 도시된 실시예에서, 본 개시의 전자 장치(1000)는 차선 변경 신호가 인식되는 경우에는 탑 뷰 영상(110)과 주변 환경 영상(100)을 함께 디스플레이하는 제2 영상을 CMS 사이드 디스플레이(1310) 상에 디스플레이하지만, 차량(10)이 실제로 주행 중인 제1 차선을 이탈하는 경우 탑 뷰 영상(110)만을 포함하는 제3 영상으로 전환하여 디스플레이할 수 있다. 운전자가 방향 지시등 조작부(2100)를 조작하여 좌 또는 우측 방향 지시등을 점등한다고 하더라도 실제 차량은 주행 중인 제1 차선에서 계속적으로 주행하고 있기 때문에, 주변 차량과의 충돌 등 사고가 발생될 확률이 상대적으로 낮을 수 있다. 이 경우에는 전자 장치(1000)는 탑 뷰 영상(110)과 주변 환경 영상(100)을 모두 제공한다. 그러나, 차량(10)이 주행 중인 제1 차선을 이탈하는 경우, 운전자는 전방을 주시할 확률이 높고, 사고 위험이 상대적으로 상승하는바, 전자 장치(1000)는 주변 차량과의 위치 관계를 명시적으로 표시하는 탑 뷰 영상(110)만을 CMS 사이드 디스플레이(1310)에 디스플레이한다. 본 개시의 전자 장치(1000)는 차선 변경 신호 또는 차선 이탈 각각의 상황을 인식하고, 인식된 상황에 따라 CMS 사이드 디스플레이(1310)에 디스플레이되는 영상의 뷰(view)를 전환함으로써, 신뢰성을 향상시키고, 안정성을 강화할 수 있다.
도 11a 및 도 11b는 본 개시의 전자 장치(1000)가 CMS 사이드 디스플레이(1310)와 운전자의 거리의 변화에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 영상의 시야각(Field of Vew; FOV)을 변경하는 실시예를 도시한 도면들이다.
도 11a를 참조하면, 전자 장치(1000)는 내부 카메라(1120)를 이용하여 운전자 및 조수석에 탑승한 동승자 중 적어도 하나를 촬영함으로써, 탑승자 영상을 획득할 수 있다. 내부 카메라(1120)는 예를 들어, 차량 내부의 대시보드(dashboard), 룸 미러(room mirror), 또는 클러스터(cluster)의 상단에 배치될 수 있다. 그러나, 내부 카메라(1120)가 배치되는 위치가 전술한 예시로 한정되는 것은 아니다.
내부 카메라(1120)는 탑승자의 얼굴을 촬영하여 탑승자 영상을 획득하며, 획득된 탑승자 영상을 프로세서(1400, 도 2 참조)에 제공할 수 있다. 프로세서(1400)는 내부 카메라(1120)로부터 획득한 탑승자 영상으로부터 탑승자의 머리 위치, 머리 회전 방향, 시선(gaze) 방향 중 적어도 하나를 포함하는 탑승자의 위치 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1400)는 탑승자 영상으로부터 운전자 또는 조수석에 탑승한 동승자의 얼굴을 인식하고, 인식된 얼굴로부터 눈, 코, 입 등 주요 특징점들(feature points)을 추출할 수 있다. 이 경우, 프로세서(1400)는 공지의 영상 처리 기술(image processing)을 이용하거나, 또는 심층 신경망(Deep Neural Network)을 이용한 머신 러닝 기반의 영상 분석 기술을 이용할 수 있다. 예를 들어, 프로세서(1400)는 이미지 CNN(Image-based Convolution Neural Network), 또는 순환 신경망(Recurrent Neural Network; RNN) 등 공지의 신경망 모델을 이용하는 학습(training)을 수행함으로써, 탑승자 영상으로부터 탑승자 얼굴의 주요 특징점들을 추출할 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(1400)는 공지의 모든 특징점 추출 기술을 이용할 수 있다. 프로세서(1400)는 추출된 주요 특징점들의 3차원 위치 좌표값을 획득하고, 획득된 3차원 위치 좌표값을 이용하여 탑승자의 머리 위치 및 머리 회전 방향 중 적어도 하나의 탑승자 위치 정보를 획득할 수 있다.
일 실시예에서, 내부 카메라(1120)는 운전자 또는 조수석에 탑승한 동승자를 포함하는 탑승자의 눈동자를 촬영하고, 눈동자의 움직임을 감지함으로써 탑승자의 시선을 추적하는 시선 추적 센서(eye tracking sensor)를 포함할 수 있다. 프로세서(1400)는 내부 카메라(1120)에 포함되는 시선 추적 센서로부터 탑승자의 시선 방향에 관한 정보를 획득할 수 있다.
전자 장치(1000)는 탑승자 영상으로부터 추출된 주요 특징점들의 3차원 위치 좌표값과 CMS 사이드 디스플레이(1310)의 위치 좌표값을 이용하여, 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리를 측정할 수 있다. 도 11a에 도시된 실시예에서, 전자 장치(1000)는 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 제1 거리(d1)를 측정할 수 있다.
전자 장치(1000)는 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 측정된 거리에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(110)의 시야 각(Field Of View; FOV)을 조절할 수 있다. 도 11a에 도시된 실시예에서, 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리가 제1 거리(d1)인 경우, 탑 뷰 영상(110)의 시야 각은 자 차량 이미지(121)와 제1 주변 차량 이미지(122)만을 포함할 수 있다.
도 11b를 참조하면, 탑승자(예를 들어, 운전자)는 CMS 사이드 디스플레이(1310)를 더 자세히 보기 위하여, 얼굴을 CMS 사이드 디스플레이(1310)와 인접하는 방향으로 접근할 수 있다. 이 경우, 내부 카메라(1120)는 실시간으로 탑승자의 얼굴을 촬영하고, 촬영을 통해 획득된 탑승자 영상을 프로세서(1400)에 제공할 수 있다. 프로세서(1400)는 탑승자 영상을 영상 분석함으로써, 탑승자 얼굴의 주요 특징점들을 추출하고, 추출된 주요 특징점들의 3차원 위치 좌표값을 획득하며, 획득한 주요 특징점들의 3차원 위치 좌표값과 CMS 사이드 디스플레이(1310)의 위치 좌표값을 이용하여 탑승자 얼굴과 CMS 사이드 디스플레이(1310) 간의 변경된 거리를 측정할 수 있다. 도 11b에 도시된 실시예에서, 운전자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리는 제2 거리(d2)로 측정될 수 있다. 제2 거리(d2)의 값은 제1 거리(d1, 도 11a 참조) 보다 작을 수 있다.
전자 장치(1000)는 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리값의 변화량에 기초하여, 탑 뷰 영상(112)의 시야 각(FOV)을 확대 또는 축소(zoom in or out)할 수 있다. 도 11b에 도시된 실시예에서, 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리가 제2 거리(d2)인 경우, CMS 사이드 디스플레이(1310)에 디스플레이되는 탑 뷰 영상(112)에는 자 차량 이미지(121), 제1 주변 차량 이미지(122) 뿐만 아니라, 제2 주변 차량 이미지(126)가 표시될 수 있다. 도 11a를 함께 참조하면, 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리가 제1 거리(d1)에서 제2 거리(d2)로 변경되는 경우, 즉 탑승자(운전자)가 CMS 사이드 디스플레이(1310)를 더 가까이 보기 위하여 CMS 사이드 디스플레이(1310)에 인접하게 얼굴을 이동하는 경우, 전자 장치(1000)는 CMS 사이드 디스플레이(1310)에 디스플레이되는 탑 뷰 영상(112)을 줌 아웃(zoom out)할 수 있다. 도 11b에 도시된 탑 뷰 영상(112)은 도 11a에 도시된 탑 뷰 영상(110)과 비교하여 줌 아웃된 영상인바, 탑 뷰 영상(112)에 표시되는 자 차량 이미지(121) 및 제1 주변 차량 이미지(122)는 도 11a에 도시된 것 보다 작은 스케일(scale)로 표시될 수 있다.
반대의 실시예, 즉 탑승자(운전자)가 CMS 사이드 디스플레이(1310)로부터 차량 시트의 헤드 레스트 방향으로 얼굴을 이동하는 경우, 탑승자의 얼굴과 CMS 사이드 디스플레이(1310) 간의 거리가 제2 거리(d2)의 값 보다 커지고, 전자 장치(1000)는 탑 뷰 영상(112)을 줌 인(zoom in)할 수 있다.
도 12는 본 개시의 전자 장치(1000)가 차량에 탑승한 탑승자의 핸드 제스쳐에 기초하여 CMS 사이드 디스플레이 상에 디스플레이되는 영상의 시야각을 변경하는 실시예를 도시한 도면이다.
도 12를 참조하면, CMS 사이드 디스플레이(1310)에는 탑 뷰 영상(110)이 디스플레이될 수 있다. 탑 뷰 영상(110) 상에는 자 차량 이미지(121)와 제1 주변 차량 이미지(122)가 표시될 수 있다.
전자 장치(1000)는 탑승자의 핸드 제스쳐를 인식할 수 있다. 일 실시예에서, 전자 장치(1000)의 핸드 제스쳐 입력부(1720, 도 2 참조)는 운전자 또는 조수석에 탑승한 동승자의 핀치 인 아웃(pinch in or out) 및 팜 스와이프(palm swipe) 중 적어도 하나를 포함하는 핸드 제스쳐를 수신할 수 있다. 프로세서(1400, 도 2 참조)는 핸드 제스쳐 입력부(1720)를 통해 수신된 핸드 제스쳐 입력에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(112)의 시야 각(FOV)을 확대 또는 축소(zoom in or out)할 수 있다. 예를 들어, 전자 장치(1000)가 양 손가락을 오므리는 핀치 아웃(pinch out) 입력을 인식하는 경우, CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(112)을 줌 아웃(zoom out)할 수 있다. 도 12에 도시된 실시예에서, 탑 뷰 영상(112)이 줌 아웃되면, 자 차량 이미지(121), 제1 주변 차량 이미지(122) 뿐만 아니라, 제2 주변 차량 이미지(126)도 표시될 수 있다.
탑 뷰 영상(112)은, 핸드 제스쳐가 인식되기 전에 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(110)과 비교하여 줌 아웃된 영상인바, 탑 뷰 영상(112)에 표시되는 자 차량 이미지(121) 및 제1 주변 차량 이미지(122)는 핸드 제스쳐가 인식되기 전의 탑 뷰 영상(110) 보다 작은 스케일(scale)로 표시될 수 있다.
반대의 예를 들어, 전자 장치(1000)가 양 손가락을 펼치는 핀치 인(pinch in) 입력을 인식하는 경우, CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(112)을 줌 인(zoom in)할 수 있다.
예를 들어, 전자 장치(1000)는 팜 스와이프 입력의 방향에 따라 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(112)을 줌 인 하거나 또는 줌 아웃 할 수 있다.
도 11 및 도 12에 도시된 실시예에서, 전자 장치(1000)는 운전자 뿐만 아니라, 동승자의 행위, 예를 들어, 얼굴을 CMS 사이드 디스플레이(1310)에 인접하거나, 또는 멀리 이동하는 행위, 또는 핸드 제스쳐 행위를 인식하고, 인식된 행위에 기초하여 CMS 사이드 디스플레이(1310) 상에 디스플레이되는 탑 뷰 영상(110)의 시야 각을 자동으로 조절하는 탑승자 모니터링 시스템(Occupant Monitoring System; OMS)를 구축할 수 있다. 본 개시의 전자 장치(1000)는 탑승자의 니즈(needs)를 자동으로 파악하고, 관련된 사용자 경험(UX)을 제공함으로써, 운전자가 운전 중에 CMS 사이드 디스플레이(1310)를 조작하는 의식적이고 부가적인 행위를 하지 않아도 되고, 운전 자체에 집중을 할 수 있게 함으로써 편의성을 향상시킬 수 있다. 또한, 불필요한 CMS 사이드 디스플레이(1310)의 조작 또는 버튼 조작을 생략할 수 있는바, 운전의 안정성도 향상시킬 수 있다.
도 13은 본 개시의 전자 장치(1000)가 탑 뷰 영상(110)을 중앙 디스플레이(Center Information Display; CID)(1320) 상에 디스플레이하는 실시예를 도시한 도면이다.
도 13을 참조하면, 중앙 디스플레이(1320)는 탑 뷰 영상(110) 및 이미지 컨텐트(150)를 디스플레이할 수 있다. 일 실시예에서, 중앙 디스플레이(1320)는 제1 영역(1322) 및 제2 영역(1324)로 분할되고, 제1 영역(1322)에는 이미지 컨텐트(150)가 디스플레이되고, 제2 영역(1324)에는 탑 뷰 영상(110)이 디스플레이될 수 있다. 이미지 컨텐트(150)는 예를 들어, 영화, TV 쇼, 인터넷 기반 동영상 스트리밍(예를 들어, 유튜브, 넷플릭스), 중 게임 적어도 하나를 포함할 수 있다.
도 13에 도시된 실시예는 차량이 자율 주행 모드에서 주행하는 경우, 중앙 디스플레이(1320) 상에 탑승자가 즐길 수 있는 이미지 컨텐트(150)를 디스플레이함과 동시에, CMS 사이드 디스플레이를 통해 디스플레이되는 탑 뷰 영상(110)을 함께 디스플레이함으로써, 운전자가 차선의 변경 또는 턴 상황 등에서 차량의 자체 판단과 자율 주행 운전 방식을 미리 예측 가능하게 함으로써, 운전자 또는 동승자에게 자율 주행에 관한 높은 신뢰성을 제공할 수 있다.
도 14a는 본 개시의 전자 장치(1000)가 좌측 운행 차량(Left-Hand Drive; LHD)의 경우 탑 뷰 영상(110)을 CMS 사이드 디스플레이(1310) 및 중앙 디스플레이(1320) 상에 디스플레이하는 실시예를 도시한 도면이다.
도 14b는 본 개시의 전자 장치(1000)가 우측 운행 차량(Right-Hand Drive; RHD)의 경우 탑 뷰 영상(110)을 CMS 사이드 디스플레이(1310) 및 중앙 디스플레이(1320) 상에 디스플레이하는 실시예를 도시한 도면이다.
차량의 유형(type)은　스티어링 휠의 위치에 따라 LHD 차량과 RHD 차량으로 분류될 수 있다. 차량의 유형은 도로에 따라 달라질 수 있다. 예를 들어, 차량이 도로의 오른쪽을 달리는 교통 체계를 채택하고 있는 국가(예를 들어, 한국, 미국)에서는 스티어링 휠이 왼쪽에 배치되는 LHD 차량이 이용되고, 차량이 도로의 왼쪽을 달리는 교통 체계를 채택하고 있는 국가(예를 들어, 일본, 영국)에서는 스티어링 휠이 오른쪽에 배치되는 RHD 차량이 이용된다.
도 14a를 참조하면, LHD 차량이 주행 방향을 우측으로 향하거나, 차량 기준 우측 차선으로 차선 변경을 시도하는 경우, 차량은 운전자로부터 방향 지시등 조작부(2100)를 조작하여 우측 방향 지시등을 활성화(점등)시키는 입력을 수신할 수 있다. 우측 방향 지시등이 활성화되는 경우, 전자 장치(1000)는 차량 센서 모듈(2000, 도 3 참조)로부터 방향 지시등 활성화 정보를 수신하고, 수신된 방향 지시등 활성화 정보에 기초하여 우측 CMS 사이드 디스플레이(1310R)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상(110)으로 전환할 수 있다. 이 경우, 전자 장치(1000)는 우측 CMS 사이드 디스플레이(1310R) 뿐만 아니라, 중앙 디스플레이(1320)에도 탑 뷰 영상(110)을 디스플레이할 수 있다.
운전자가 방향 지시등 조작부(2100)를 조작하여 좌측 방향 지시등을 활성화(점등)하는 경우, 전자 장치(1000)는 좌측 CMS 사이드 디스플레이(1310L)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환할 수 있다. 그러나, 이 경우에는 중앙 디스플레이(1320)에는 탑 뷰 영상(110)을 디스플레이하지 않을 수 있다.
도 14b를 참조하면, RHD 차량이 주행 방향을 좌측으로 향하거나, 또는 차량 기준 좌측 차선으로 차선 변경을 시도하는 경우, 차량은 운전자로부터 방향 지시등 조작부(2100)를 조작하여 좌측 방향 지시등을 활성화(점등)시키는 입력을 수신할 수 있다. 좌측 방향 지시등이 활성화되는 경우, 전자 장치(1000)는 차량 센서 모듈(2000, 도 3 참조)로부터 방향 지시등 활성화 정보를 수신하고, 수신된 방향 지시등 활성화 정보에 기초하여 좌측 CMS 사이드 디스플레이(1310L)에 디스플레이되는 주변 환경 영상을 탑 뷰 영상(110)으로 전환할 수 있다. 이 경우, 전자 장치(1000)는 좌측 CMS 사이드 디스플레이(1310L) 뿐만 아니라, 중앙 디스플레이(1320)에도 탑 뷰 영상(110)을 디스플레이할 수 있다.
운전자가 방향 지시등 조작부(2100)를 조작하여 우측 방향 지시등을 활성화(점등)하는 경우, 전자 장치(1000)는 우측 CMS 사이드 디스플레이(1310R)에 디스플레이되는 주변 환경 영상(100)을 탑 뷰 영상(110)으로 전환할 수 있다. 그러나, 이 경우에는 중앙 디스플레이(1320)에는 탑 뷰 영상(110)을 디스플레이하지 않을 수 있다.
도 14a 및 도 14b에 도시된 실시예에서, 차량 유형이 LHD 차량인지, RHD 차량인지에 따라 좌측 CMS 사이드 디스플레이(1310L)과 우측 CMS 사이드 디스플레이(1310R) 중 운전자에 인접하는 위치하는 CMS 사이드 디스플레이가 다르다. 예를 들어, LHD 차량의 경우, 좌측 CMS 사이드 디스플레이(1310L)는 운전자의 위치와 인접하게 배치되지만, 우측 CMS 사이드 디스플레이(1310R)는 상대적으로 운전자와는 먼 위치에 배치된다. 따라서, 운전자는 우측 CMS 사이드 디스플레이(1310R)를 보기 위해 얼굴을 회전하거나, 시선 방향을 우측으로 돌려야 하는 부가 행위가 필요하고, 이 경우 집중력이 분산될 수 있다. 정차 중에는 상관이 없지만, 주행 중 또는 차선 변경 시에는 우측 CMS 사이드 디스플레이(1310R)를 보기 위하여 집중력이 낮아지는 경우 사고 발생의 위험성이 있다. 본 개시의 전자 장치(1000)는 LHD 차량의 경우, 우측 방향 지시등이 활성화되면 우측 CMS 사이드 디스플레이(1310R) 뿐만 아니라, 중앙 디스플레이(1320)에도 탑 뷰 영상(110)을 디스플레이하는바, 운전자의 부가 행위를 생략할 수 있고, 따라서 운전의 안정성을 향상시킬 수 있다. RHD 차량의 경우에도 방향 지시등의 방향만 다를뿐, 동작의 원리는 동일하다.
본 명세서에서 설명된 전자 장치(1000)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 디바이스의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 차량 또는 전자 장치(1000)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 전자 장치(1000), 서버, 및 타 디바이스로 구성되는 시스템에서, 서버의 저장매체 또는 디바이스의 저장매체를 포함할 수 있다. 또는, 전자 장치(1000)와 통신 연결되는 제3 디바이스(예를 들어, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 디바이스의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 전자 장치(1000)로부터 디바이스 또는 제3 디바이스로 전송되거나, 제3 디바이스로부터 디바이스로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 전자 장치(1000), 디바이스, 및 제3 디바이스 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 전자 장치(1000), 디바이스, 및 제3 디바이스 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 전자 장치(1000)가 메모리(1500, 도 2 참조)에 저장된 컴퓨터 프로그램 제품을 실행하여, 전자 장치(1000)와 통신 연결된 타 디바이스가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 디바이스가 컴퓨터 프로그램 제품을 실행하여, 제3 디바이스와 통신 연결된 디바이스가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 디바이스가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 디바이스는 전자 장치(1000)로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 디바이스는 프리로드(pre-load)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 차량에 탑재된 전자 장치가 상기 차량의 CMS(Camera Monitoring System)를 이용하여 영상을 디스플레이하는 방법에 있어서,
    상기 차량의 측면에 배치된 외부 카메라를 이용하여 상기 차량의 좌우측 주변 환경을 촬영하여 획득한 주변 환경 영상인 제1 영상을 CMS 사이드 디스플레이(Camera Monitoring System side display)를 통해 디스플레이하는 단계;
    상기 차량의 차선 변경 신호를 인식하는 단계;
    인식된 상기 차선 변경 신호에 응답하여, 상기 CMS 사이드 디스플레이에 디스플레이되는 상기 제1 영상을 상기 차량 및 주변 차량의 위치를 상기 차량의 위에서 내려다 본 것과 같은 가상 이미지로 표시하는 탑 뷰(top view) 영상인 제2 영상으로 전환하고, 상기 제2 영상을 디스플레이하는 단계; 및
    상기 제2 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시하는 단계;
    를 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 차선 변경 신호를 인식하는 단계는,
    상기 차량의 방향 지시등 조작부를 조작함으로써, 방향 지시등(turn signal)을 점등하는 사용자 입력을 인식하는, 방법.
  3. 제1 항에 있어서,
    상기 차선 변경 신호를 인식하는 단계는,
    상기 차량의 네비게이션 시스템의 주행 경로 정보에 기초하여, 턴(turn) 또는 차선 변경을 인식하는, 방법.
  4. 제1 항에 있어서,
    상기 차선 변경 가능 여부에 관한 차선 변경 UI를 디스플레이하는 단계는,
    상기 주변 환경 영상으로부터 인식된 차선, 주변 차량의 위치, 상기 차량과 상기 주변 차량 간의 상대 속도, 상기 차량과 주변 차량 간의 거리, 및 상기 차량 및 상기 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보에 관한 UI를 디스플레이하는, 방법.
  5. 제1 항에 있어서,
    상기 제2 영상을 디스플레이하는 단계는,
    상기 탑 뷰 영상 상에 상기 CMS 뷰 카메라를 통해 획득된 상기 주변 환경 영상을 오버레이(overlay)하여 디스플레이하는, 방법.
  6. 제5 항에 있어서,
    상기 차량이 현재 주행 중인 제1 차선에서 이탈하여 진입 예정 차선인 제2 차선으로 기설정된 범위만큼 진입하는 차선 이탈을 인식하는 단계;
    인식된 상기 차선 이탈에 응답하여, 상기 CMS 사이드 디스플레이 상에 디스플레이되는 상기 제2 영상에서 오버레이된 상기 주변 환경 영상을 제외한 탑 뷰 영상만을 포함하는 제3 영상으로 전환하는 단계; 및
    상기 제3 영상을 상기 CMS 사이드 디스플레이 상에 디스플레이하는 단계;
    를 더 포함하는, 방법.
  7. 제1 항에 있어서,
    상기 차량의 내부에 탑재된 카메라를 이용하여 탑승자 영상(occupant image)을 획득하는 단계;
    획득된 상기 탑승자 영상으로부터 탑승자의 머리 위치, 머리 회전 방향, 시선(gaze) 방향 중 적어도 하나를 포함하는 탑승자의 위치 정보를 획득하는 단계;
    상기 획득된 탑승자 위치 정보에 기초하여 탑승자와 상기 CMS 사이드 디스플레이 간의 거리를 측정하는 단계; 및
    상기 측정된 거리에 기초하여 상기 제2 영상의 시야 각(Field Of View)을 확대 또는 축소(zoom in or out)하는 단계;
    를 더 포함하는, 방법.
  8. 제1 항에 있어서,
    상기 차량의 내부에 탑재된 핸드 제스쳐 센서를 이용하여 차량 탑승자의 핀치 인 아웃(pinch in or out) 및 팜 스와이프(palm swipe) 중 적어도 하나를 포함하는 핸드 제스쳐(hand gesture) 입력을 인식하는 단계; 및
    상기 인식된 핸드 제스쳐 입력에 기초하여 상기 제2 영상의 시야 각을 확대 또는 축소하는 단계;
    를 더 포함하는, 방법.
  9. 제1 항에 있어서,
    상기 제2 영상을 디스플레이하는 단계는,
    상기 CMS 사이드 디스플레이 및 상기 차량의 중앙 디스플레이(Center Information Display; CID) 상에 상기 제2 영상을 디스플레이하는, 방법.
  10. 제9 항에 있어서,
    상기 운전자의 입력에 의해 점등된 방향 지시등의 방향을 인식하는 단계;
    를 더 포함하고,
    상기 제2 영상을 디스플레이하는 단계는,
    상기 인식된 방향 지시등의 방향에 기초하여 상기 중앙 디스플레이 상에 상기 제2 영상을 디스플레이하는, 방법.
  11. 차량의 CMS(Camera Monitoring System)를 이용하여 영상을 디스플레이하는 전자 장치에 있어서,
    상기 차량 외부의 좌우 측면에 배치되고, 상기 차량의 주변 환경을 촬영함으로써, 주변 환경 영상인 제1 영상을 획득하는 외부 카메라;
    상기 차량의 내부에 배치되고, 상기 주변 환경 영상을 디스플레이하는 CMS 사이드 디스플레이;
    상기 전자 장치를 제어하는 하나 이상의 명령어들(instructions)을 포함하는 프로그램을 저장하는 메모리; 및
    상기 메모리에 저장된 프로그램의 하나 이상의 명령어들을 실행하는 프로세서;
    를 포함하고,
    상기 프로세서는,
    상기 차량의 차선 변경 신호를 인식하고,
    인식된 상기 차선 변경 신호에 응답하여, 상기 CMS 사이드 디스플레이에 디스플레이되는 상기 제1 영상을 상기 차량 및 주변 차량의 위치를 상기 차량의 위에서 내려다 본 것과 같은 가상 이미지로 표시하는 탑 뷰(top view) 영상인 제2 영상으로 전환하고, 상기 제2 영상을 디스플레이하도록 상기 CMS 사이드 디스플레이를 제어하고,
    상기 제2 영상 상에 차선 변경 가능 여부에 관한 정보를 나타내는 차선 변경 UI(User Interface)를 표시하는, 전자 장치.
  12. 제11 항에 있어서,
    상기 프로세서는,
    상기 차량의 방향 지시등 조작부를 조작함으로써, 방향 지시등(turn signal)을 점등하는 사용자 입력을 인식하고, 상기 사용자 입력에 기초하여 상기 CMS 사이드 디스플레이 상에 디스플레이되는 상기 제1 영상을 상기 제2 영상으로 전환하는, 전자 장치.
  13. 제11 항에 있어서,
    상기 프로세서는,
    상기 주변 환경 영상으로부터 인식된 차선, 주변 차량의 위치, 상기 차량과 상기 주변 차량 간의 상대 속도, 상기 차량과 주변 차량 간의 거리, 및 상기 차량 및 상기 주변 차량의 예상 진입 경로 중 적어도 하나를 포함하는 주행 환경 정보에 관한 UI를 상기 CMS 사이드 디스플레이 상에 디스플레이하는, 전자 장치.
  14. 제11 항에 있어서,
    상기 프로세서는,
    상기 탑 뷰 영상 상에 상기 외부 카메라를 통해 획득된 상기 주변 환경 영상을 오버레이(overlay)하여 디스플레이하도록 상기 CMS 사이드 디스플레이를 제어하는, 전자 장치.
  15. 제14 항에 있어서,
    상기 프로세서는,
    상기 차량이 현재 주행 중인 제1 차선에서 이탈하여 진입 예정 차선인 제2 차선으로 기설정된 범위만큼 진입하는 차선 이탈을 인식하고,
    인식된 상기 차선 이탈에 응답하여, 상기 CMS 사이드 디스플레이 상에 디스플레이되는 상기 제2 영상에서 오버레이된 상기 주변 환경 영상을 제외한 탑 뷰 영상만을 포함하는 제3 영상으로 전환하고, 상기 제3 영상을 디스플레이하도록 상기 CMS 사이드 디스플레이를 제어하는, 전자 장치.
  16. 제11 항에 있어서,
    상기 차량의 내부에 탑재되고, 탑승자를 촬영함으로써 탑승자 영상을 획득하는 내부 카메라;
    를 더 포함하고,
    상기 프로세서는,
    상기 탑승자 영상으로부터 탑승자의 머리 위치, 머리 회전 방향, 시선(gaze) 방향 중 적어도 하나를 포함하는 탑승자의 위치 정보를 획득하고,
    상기 획득된 탑승자 위치 정보에 기초하여 운전자와 상기 CMS 사이드 디스플레이 간의 거리를 측정하고,
    상기 측정된 거리에 기초하여 상기 제2 영상의 시야 각(Field Of View)을 확대 또는 축소(zoom in or out)하는, 전자 장치.
  17. 제11 항에 있어서,
    상기 차량의 내부에 탑재되고, 차량 탑승자의 핀치 인 아웃 및 팜 스와이프 중 적어도 하나를 인식하는 핸드 제스쳐 센서;
    를 더 포함하고,
    상기 프로세서는,
    상기 핸드 제스쳐 센서를 통해 차량 탑승자의 핸드 제스쳐를 인식하고,
    상기 인식된 핸드 제스쳐 입력에 기초하여 상기 제2 영상의 시야 각을 확대 또는 축소하는, 전자 장치.
  18. 제11 항에 있어서,
    상기 차량의 대시 보드(dashboard) 상에 배치되는 중앙 디스플레이(Center Information Display);
    를 더 포함하고,
    상기 프로세서는 상기 제2 영상을 상기 CMS 사이드 디스플레이 및 상기 중앙 디스플레이 상에 디스플레이하는, 전자 장치.
  19. 제18 항에 있어서,
    상기 프로세서는,
    운전자의 입력에 의해 점등된 방향 지시등의 방향을 인식하고,
    상기 인식된 방향 지시등의 방향에 기초하여 상기 중앙 디스플레이 상에 상기 제2 영상을 디스플레이하도록 상기 중앙 디스플레이를 제어하는, 전자 장치.
  20. 제1 항 내지 제10 항 중 어느 하나의 항에 기재된 방법을 구현하기 위한 적어도 하나의 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020200037058A 2020-03-26 2020-03-26 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법 KR20210120398A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200037058A KR20210120398A (ko) 2020-03-26 2020-03-26 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법
PCT/KR2021/003647 WO2021194254A1 (ko) 2020-03-26 2021-03-24 차량에 탑재된 cms 사이드 디스플레이(camera monitoring system side display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법
US17/951,623 US11858424B2 (en) 2020-03-26 2022-09-23 Electronic device for displaying image by using camera monitoring system (CMS) side display mounted in vehicle, and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200037058A KR20210120398A (ko) 2020-03-26 2020-03-26 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20210120398A true KR20210120398A (ko) 2021-10-07

Family

ID=77890652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200037058A KR20210120398A (ko) 2020-03-26 2020-03-26 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법

Country Status (3)

Country Link
US (1) US11858424B2 (ko)
KR (1) KR20210120398A (ko)
WO (1) WO2021194254A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7442933B2 (ja) * 2020-03-20 2024-03-05 アルパイン株式会社 車両用画像処理装置
US11756423B2 (en) * 2021-07-07 2023-09-12 Sinbon Electronics Company Ltd. Automatic vehicle positioning management system and method thereof
US11854403B2 (en) * 2022-03-22 2023-12-26 GM Global Technology Operations LLC System and method for providing a blind reveal warning on an augmented reality display

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274377A (ja) 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
JP2008141578A (ja) 2006-12-04 2008-06-19 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
JP5681569B2 (ja) 2011-05-31 2015-03-11 富士通テン株式会社 情報処理システム、サーバ装置、および、車載装置
US10946798B2 (en) 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
US20160297362A1 (en) 2015-04-09 2016-10-13 Ford Global Technologies, Llc Vehicle exterior side-camera systems and methods
CN107848465B (zh) * 2015-05-06 2021-06-01 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
KR20170002330A (ko) * 2015-06-29 2017-01-06 주식회사 와이즈오토모티브 운전자 맞춤형 디스플레이 가변 장치 및 이의 제어 방법
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
US10116873B1 (en) 2015-11-09 2018-10-30 Ambarella, Inc. System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
KR101752675B1 (ko) * 2015-12-31 2017-06-30 (주)이에스브이 카메라를 구비한 차량용 네비게이션
JP2018116516A (ja) 2017-01-19 2018-07-26 トヨタ自動車株式会社 車両の注意喚起装置

Also Published As

Publication number Publication date
US20230012629A1 (en) 2023-01-19
WO2021194254A1 (ko) 2021-09-30
US11858424B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
CN108958467B (zh) 用于控制全息图的显示器的设备和方法，车辆系统
US9961259B2 (en) Image generation device, image display system, image generation method and image display method
JP6413207B2 (ja) 車両用表示装置
US11858424B2 (en) Electronic device for displaying image by using camera monitoring system (CMS) side display mounted in vehicle, and operation method thereof
JP6316559B2 (ja) 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
JP5408198B2 (ja) 映像表示装置及び映像表示方法
EP2894620B1 (en) Vehicle information display device and vehicle information display method
US11741630B2 (en) Vehicle system with no-control operation
US11643074B2 (en) Autonomous driving assistance device
JP2006341641A (ja) 映像表示装置及び映像表示方法
US20170323164A1 (en) Information display device
US11181909B2 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
CN109415018B (zh) 用于数字后视镜的方法和控制单元
KR101986734B1 (ko) 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
US10067341B1 (en) Enhanced heads-up display system
JP7254072B2 (ja) 虚像表示装置
US20190258245A1 (en) Vehicle remote operation device, vehicle remote operation system and vehicle remote operation method
JP2007025739A (ja) 車両用画像表示装置
JP2008162550A (ja) 外部環境表示装置
JP2009184638A (ja) 虚像表示装置
JP7259377B2 (ja) 車両用表示装置、車両、表示方法及びプログラム
KR20230157614A (ko) 차량용 제스처 인식 시스템 및 그 제어 방법
JP2022094063A (ja) 安全確認支援システム及び安全確認支援方法

Legal Events

Date Code Title Description
A201 Request for examination