KR101858694B1 - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR101858694B1
KR101858694B1 KR1020150153836A KR20150153836A KR101858694B1 KR 101858694 B1 KR101858694 B1 KR 101858694B1 KR 1020150153836 A KR1020150153836 A KR 1020150153836A KR 20150153836 A KR20150153836 A KR 20150153836A KR 101858694 B1 KR101858694 B1 KR 101858694B1
Authority
KR
South Korea
Prior art keywords
vehicle
display
user
information
hidden
Prior art date
Application number
KR1020150153836A
Other languages
English (en)
Other versions
KR20170051996A (ko
Inventor
김성민
김수진
이기형
조택일
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150153836A priority Critical patent/KR101858694B1/ko
Priority to PCT/KR2016/012434 priority patent/WO2017078362A1/en
Priority to US15/341,265 priority patent/US10229654B2/en
Publication of KR20170051996A publication Critical patent/KR20170051996A/ko
Application granted granted Critical
Publication of KR101858694B1 publication Critical patent/KR101858694B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/22—
    • B60K35/29—
    • B60K35/60—
    • B60K35/65—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B60K37/02—Arrangement of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B60K2350/1028—
    • B60K2350/1084—
    • B60K2350/2013—
    • B60K2350/352—
    • B60K2350/357—
    • B60K2360/1438—
    • B60K2360/179—
    • B60K2360/195—
    • B60K2360/21—
    • B60K2360/349—
    • B60K2360/77—
    • B60K2360/794—
    • B60K35/28—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026—Windows, e.g. windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Abstract

본 발명의 일 실시예에 따른 차량은, 차량의 실내에 배치되는 적어도 하나의 디스플레이 및 상기 적어도 하나의 디스플레이와 연결되어 상기 적어도 하나의 디스플레이의 동작을 제어하는 제어부를 포함하고, 상기 디스플레이 각각은, 터치 스크린 및 상기 터치 스크린의 상면에 결합되고, 소정의 광 투과율을 가지는 커버 레이어를 포함한다.

Description

차량 및 그 제어방법{VEHICLE AND CONTROL METHOD FOR THE SAME}
본 발명은 차량 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 소정의 광 투과율을 가지는 디스플레이를 구비하는 차량 및 그 제어 방법에 관한 것이다.
량이란, 차륜을 구동시켜 사람이나 화물 등을 어느 장소로부터 다른 장소로 운송하는 장치를 말한다. 예컨대, 오토바이와 같은 2륜차, 세단과 같은 4륜차는 물론 기차 등이 차량에 속한다.
차량을 이용하는 사용자의 안전 및 편의를 증대하기 위해, 각종 센서와 전자 장치 등을 차량에 접목하기 위한 기술 개발이 가속화되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 개발된 다양한 기능(예, smart cruise control, lane keeping assistance)을 제공하는 시스템이 차량에 탑재되고 있다. 이에 따라, 운전자의 조작 없이도, 차량이 스스로 외부 환경을 고려하여, 도로를 주행하는 이른바 자율 주행(autonomous driving)이 가능하게 되었다.
이와 함께, 사용자에게 차량의 주행 등과 관련된 각종 정보를 빠르고 효과적으로 제공할 수 있는 디스플레이에 대한 요구가 증대되고 있는 상황이다. 또한, 하나의 차량에 많은 수의 서로 다른 디스플레이 장치가 탑재되고 있다.
하지만, 수많은 디스플레이들이 차량에 구비되는 경우, 사용자의 시야를 분산시킬 우려가 있다. 또한, 디스플레이가 꺼져 있더라도, 디스플레이가 배치된 주변 영역과 디스플레이 사이에 시각적인 이질감이 존재하여, 보다 깔끔한 실내 인테리어를 연출하는 데에 한계가 있다. 아울러, 운전자를 비롯한 사용자가 원하는 정보를 시의적절하게 표시해줄 수 있는 기술이 요구된다.
본 발명은 소정의 광 투과율을 가지는 커버가 구비된 적어도 하나의 디스플레이를 포함하여, 보다 실내의 다른 부분과 이질감을 저감하고, 사용자의 시야 분산을 억제할 수 있는 차량 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
또한, 사용자별 위치, 차량의 주행 상황, 터치 입력 등에 따라, 각각의 디스플레이에 표시되는 정보를 변경함으로써, 사용자의 이용 편의성을 증대할 수 있는 차량 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 차량의 실내에 배치되는 적어도 하나의 디스플레이 및 상기 적어도 하나의 디스플레이와 연결되어 상기 적어도 하나의 디스플레이의 동작을 제어하는 제어부를 포함하고, 상기 디스플레이 각각은, 터치 스크린 및 상기 터치 스크린의 상면에 결합되고, 소정의 광 투과율을 가지는 커버 레이어를 포함하는 차량이 제공된다.
또한, 상기 커버 레이어의 광 투과율은, 10% 이상 20% 이하일 수 있다.
또한, 상기 커버 레이어는, 전도성 재질로 형성될 수 있다.
또한, 상기 적어도 하나의 디스플레이는, 상기 차량의 대쉬보드, 도어들, 시트들 및 B-pillar들 중 어느 하나의 일부분에 배치될 수 있다.
또한, 상기 차량에 탑승한 사용자를 촬영하는 실내 카메라를 더 포함하고, 상기 제어부는, 상기 실내 카메라로부터 제공되는 영상들을 기초로, 상기 사용자의 위치를 판단하고, 상기 적어도 하나의 디스플레이 중 상기 사용자의 위치에 대응하는 특정 디스플레이를 턴온할 수 있다.
또한, 상기 제어부는, 상기 실내 카메라로부터 제공되는 영상들을 기초로, 상기 사용자의 신원을 확인하고, 상기 사용자의 신원에 대응하는 정보를 상기 특정 디스플레이에 표시할 수 있다.
또한, 사용자 입력을 수신하는 입력부를 더 포함하고, 상기 제어부는, 상기 적어도 하나의 디스플레이 중, 상기 사용자 입력에 대응하는 특정 디스플레이의 온오프를 제어할 수 있다.
또한, 상기 입력부는 상기 사용자의 음성을 수신하는 마이크로폰을 포함하고, 상기 제어부는, 상기 음성에 대응하는 정보를 상기 특정 디스플레이에 표시할 수 있다.
또한, 상기 제어부는, 기 설정된 시나리오에 따라, 상기 적어도 하나의 디스플레이 각각의 화면 색상을 조절할 수 있다.
또한, 상기 적어도 하나의 디스플레이는, 상기 차량 실내의 서로 다른 위치에 배치되는 제1 디스플레이 및 제2 디스플레이를 포함하고, 상기 제어부는, 상기 제1 디스플레이에 제1 정보를 표시하고, 상기 제2 디스플레이에 상기 제1 정보와는 다른 제2 정보를 표시할 수 있다.
또한, 상기 제어부는, 상기 적어도 하나의 디스플레이 중, 기 설정된 시간 이상 터치 입력이 수신되지 않은 특정 디스플레이를 오프할 수 있다.
또한, 상기 차량의 주변을 촬영하는 실외 카메라를 더 포함하고, 상기 제어부는, 상기 실외 카메라로부터 제공되는 외부 영상을 상기 적어도 하나의 디스플레이에 표시할 수 있다.
또한, 상기 제어부는, 상기 외부 영상으로부터 장애물을 검출하고, 상기 장애물과의 충돌 위험을 안내하는 정보를 상기 외부 영상과 함께 상기 디스플레이에 표시할 수 있다.
또한, 상기 제어부는, 상기 적어도 하나의 디스플레이 중, 기 설정된 패턴의 터치 입력이 수신되는 특정 디스플레이를 턴온할 수 있다.
또한, 상기 제어부는, 상기 적어도 하나의 디스플레이 중 특정 디스플레이에 의해 감지되는 터치 입력을 기초로, 상기 터치 입력에 대응하는 동작을 실행할 수 있다.
또한, 상기 차량 실내에 위치하는 모바일 기기와 무선 통신을 수행하는 근거리 통신 모듈을 더 포함하고, 상기 제어부는, 상기 근거리 통신 모듈을 통해 상기 모바일 기기에 표시되는 영상을 수신하고, 상기 영상을 상기 적어도 하나의 디스플레이에 표시할 수 있다.
또한, 외부 서버로부터 상기 차량의 현재 위치의 날씨 정보를 수신하는 무선 인터넷 모듈을 더 포함하고, 상기 제어부는, 상기 날씨 정보를 상기 적어도 하나의 디스플레이 중 특정 디스플레이에 표시할 수 있다.
또한, 상기 제어부는, 상기 적어도 하나의 디스플레이 각각에 표시되는 정보의 유형에 따라, 상기 적어도 하나의 디스플레이 각각의 화면 밝기를 조절할 수 있다.
또한, 상기 제어부는, 상기 차량의 주행 상황 및 위치 중 적어도 하나에 대응하는 알람 인디케이터를 상기 적어도 하나의 디스플레이에 표시할 수 있다.
또한, 상기 차량의 실내에 배치되는 적어도 하나의 하중 센서를 더 포함하고, 상기 제어부는, 상기 차량의 사용자가 하차하기 전에, 상기 적어도 하나의 하중 센서에 의해 측정되는 무게를 기초로, 상기 차량에 놓여진 물건이 존재함을 안내하는 알람 메시지를 상기 적어도 하나의 디스플레이 중 특정 디스플레이에 표시할 수 있다.
본 발명에 따른 차량 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시예들 중 적어도 하나에 따르면, 소정의 광 투과율을 가지는 커버가 구비된 적어도 하나의 디스플레이를 포함하여, 실내의 다른 부분과의 시각적 이질감을 저감하고, 사용자의 시야 분산을 억제할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 따르면, 차량에 탑승한 사용자별 위치, 차량의 주행 상황, 터치 입력 등에 따라, 각각의 디스플레이에 표시되는 정보를 변경함으로써, 사용자의 이용 편의성을 증대할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 따르면, 차량의 내외부 상황에 대응하는 정보를 디스플레이를 통해 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 차량의 블록 다이어그램을 보여준다.
도 2는 본 발명의 일 실시예에 따른 차량의 외관을 도시한 도면이다. 설명의 편의를 위해, 차량은 4륜 자동차인 것으로 가정한다.
도 3a 내지 도 3c는 도 1을 참조하여 전술한 외부 카메라를 설명하는 데에 참조되는 도면이다.
도 4는 도 1을 참조하여 전술한 차량의 일 예를 보여준다. 설명의 편의를 위해, 차량은 4륜 자동차인 것으로 가정한다.
도 5는 도 1에 도시된 제어부의 내부 블록 다이어그램의 일 예를 보여준다.
도 6a 및 도 6b는 도 5에 도시된 제어부의 동작 설명에 참조되는 도면이다.
도 7은 본 발명의 일 실시예에 따른 차량의 예시적인 실내뷰를 보여준다.
도 8은 본 발명의 일 실시예에 따른 히든 디스플레이의 예시적인 구조를 보여준다.
도 9는 도 7에 도시된 복수의 히든 디스플레이들에 대한 턴온 및 턴오프 명령을 수신하기 위한 예시적인 사용자 인터페이스를 보여준다.
도 10a 및 도 10b는 본 발명의 일 실시예에 따른 차량이 도 7에 도시된 복수의 히든 디스플레이들을 제어하는 예시적인 동작을 보여준다.
도 11a 및 도 11b는 본 발명의 일 실시예에 따른 차량이 도 7에 도시된 복수의 히든 디스플레이들을 제어하는 예시적인 동작을 보여준다.
도 12a 내지 도 12c는 본 발명의 일 실시예에 따른 차량이 히든 디스플레이에 표시하는 정보의 다양한 예를 보여준다.
도 13a 및 도 13b는 본 발명의 일 실시예에 따른 차량이 도어에 구비되는 히든 디스플레이의 동작을 제어하는 것을 예시한다.
도 14a 내지 도 14c는 본 발명의 일 실시예에 따른 차량이 도어에 구비되는 히든 디스플레이의 동작을 제어하는 것을 예시한다.
도 15a 및 도 15b는 본 발명의 일 실시예에 따른 차량이 도어에 구비되는 히든 디스플레이의 동작을 제어하는 것을 예시한다.
도 16a 및 도 16b는 본 발명의 일 실시예에 따른 차량이 도어에 구비되는 히든 디스플레이의 동작을 제어하는 것을 예시한다.
도 17a 및 도 17b는 본 발명의 일 실시예에 따른 차량이 사용자의 신원에 따라, 히든 디스플레이에 표시되는 정보를 변경하는 예시적인 동작을 보여준다.
도 18a 및 도 18b는 본 발명의 일 실시예에 따른 차량 실내에 위치하는 모바일 기기의 화면을 히든 디스플레이에 표시하는 예시적인 동작을 보여준다.
도 19는 본 발명의 일 실시예에 따른 차량이 히든 디스플레이에 차량의 외부 영상을 표시하는 예시적인 동작을 보여준다.
도 20a 내지 도 20c는 본 발명의 일 실시예에 따른 차량이 히든 디스플레이에 알람 인디케이터를 표시하는 예시적인 동작을 보여준다.
도 21a 및 도 21b는 본 발명의 일 실시예에 따른 차량이 히든 디스플레이에 알람 인디케이터를 표시하는 예시적인 동작을 보여준다.
도 22는 본 발명의 일 실시예에 따른 차량이 기 설정된 시나리오에 따라 복수의 히든 디스플레이 각각의 화면 색상을 제어하는 예시적인 동작을 보여준다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 또한, 어떤 구성요소가 다른 구성요소를 "제어"한다는 것은, 어떤 구성요소가 다른 구성요소를 직접적으로 제어하는 것은 물론, 제3의 구성요소의 중개를 통해 제어하는 것까지 포괄하는 의미로 이해되어야 할 것이다. 또한, 어떤 구성요소가 다른 구성요소에 정보 내지 신호를 "제공"한다는 것은, 어떤 구성요소가 다른 구성요소에 직접 제공하는 것은 물론, 제3의 구성요소의 중개를 통해 제공하는 것까지 포괄하는 의미로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량(100)의 블록 다이어그램을 보여준다.
차량(100)은 통신부(110), 입력부(120), 메모리(130), 출력부(140), 차량 구동부(150), 센싱부(160), 제어부(170), 인터페이스부(180) 및 전원부(190)를 포함할 수 있다.
통신부(110)는 차량(100)과 외부 기기(예, 휴대 단말, 외부 서버, 타차량)과의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 통신부(110)는 차량(100)을 하나 이상의 망(network)에 연결하는 하나 이상의 모듈을 포함할 수 있다.
통신부(110)는 방송 수신 모듈(111), 무선 인터넷 모듈(112), 근거리 통신 모듈(113), 위치 정보 모듈(114) 및 광통신 모듈(115)을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 또는 방송 관련된 정보를 수신한다. 여기서, 방송은 라디오 방송 또는 TV 방송을 포함한다.
무선 인터넷 모듈(112)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 차량(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(112)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는 예를 들면, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(112)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 예를 들면, 무선 인터넷 모듈(112)은 외부 서버와 무선으로 데이터를 교환할 수 있다. 무선 인터넷 모듈(112)은 외부 서버로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))정보를 수신할 수 있다.
근거리 통신 모듈(113)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
이러한, 근거리 통신 모듈(113)은 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다. 예를 들면, 근거리 통신 모듈(113)은 탑승자의 휴대 단말과 무선으로 데이터를 교환할 수 있다. 근거리 통신 모듈(113)은 휴대 단말이나 외부 서버로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))를 수신할 수 있다. 가령, 사용자가 차량(100)에 탑승한 경우, 사용자의 휴대 단말과 차량(100)은 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링을 수행할 수 있다.
위치 정보 모듈(114)은 차량(100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈이 있다. 예를 들면, 차량은 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 차량의 위치를 획득할 수 있다.
광통신 모듈(115)은 광발신부 및 광수신부를 포함할 수 있다.
광수신부는 광(light)신호를 전기 신호로 전환하여, 정보를 수신할 수 있다. 광수신부는 광을 수신하기 위한 포토 다이오드(PD, Photo Diode)를 포함할 수 있다. 포토 다이오드는 빛을 전기 신호로 전환할 수 있다. 예를 들면, 광수신부는 전방 차량에 포함된 광원에서 방출되는 광을 통해, 전방 차량의 정보를 수신할 수 있다.
광발신부는 전기 신호를 광 신호로 전환하기 위한 발광 소자를 적어도 하나 포함할 수 있다. 여기서, 발광 소자는 LED(Light Emitting Diode)인 것이 바람직하다. 광발신부는 전기 신호를 광 신호로 전환하여, 외부에 발신한다. 예를 들면, 광 발신부는 소정 주파수에 대응하는 발광소자의 점멸을 통해, 광신호를 외부에 방출할 수 있다. 실시예에 따라, 광발신부는 복수의 발광 소자 어레이를 포함할 수 있다. 실시예에 따라, 광발신부는 차량(100)에 구비된 램프와 일체화될 수 있다. 예를 들면, 광발신부는 전조등, 후미등, 제동등, 방향 지시등 및 차폭등 중 적어도 어느 하나일 수 있다. 예를 들면, 광통신 모듈(115)은 광 통신을 통해 타차량과 데이터를 교환할 수 있다.
입력부(120)는 운전 조작 수단(121), 마이크로 폰(123) 및 사용자 입력부(124)를 포함할 수 있다.
운전 조작 수단(121)은 차량(100) 운전을 위한 사용자 입력을 수신한다. 운전 조작 수단(121)은 조향 입력 수단(121a), 쉬프트 입력 수단(121b), 가속 입력 수단(121c), 브레이크 입력 수단(121d)을 포함할 수 있다.
조향 입력 수단(121a)은 사용자로부터 차량(100)의 진행 방향 입력을 수신한다. 조향 입력 수단(121a)은 스티어링 휠을 포함할수 있다. 실시예에 따라, 조향 입력 수단(121a)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
쉬프트 입력 수단(121b)은 사용자로부터 차량(100)의 주차(P), 전진(D), 중립(N), 후진(R)의 입력을 수신한다. 쉬프트 입력 수단(121b)은 레버 형태로 형성되는 것이 바람직하다. 실시예에 따라, 쉬프트 입력 수단(121b)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
가속 입력 수단(121c)은 사용자로부터 차량(100)의 가속을 위한 입력을 수신한다. 브레이크 입력 수단(121d)은 사용자로부터 차량(100)의 감속을 위한 입력을 수신한다. 가속 입력 수단(121c) 및 브레이크 입력 수단(121d)은 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 수단(121c) 또는 브레이크 입력 수단(121d)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
카메라(122)는 차량(100)의 실내 일측에 배치되어, 차량(100)의 실내 영상을 생성한다. 예컨대, 카메라(122)는 대쉬보드 표면, 루프 표면, 리어 뷰 미러 등 차량(100)의 다양한 위치에 배치되어, 차량(100)의 탑승자를 촬영할 수 있다. 이 경우, 카메라(122)는 차량(100)의 운전석을 포함하는 영역에 대한 실내 영상을 생성할 수 있다. 또한, 카메라(122)는 차량(100)의 운전석 및 보조석을 포함하는 영역에 대한 실내 영상을 생성할 수 있다. 카메라(122)에 의해 생성되는 실내 영상은 2차원 영상 및/또는 3차원 영상일 수 있다. 3차원 영상을 생성하기 위해, 카메라(122)는 스테레오 카메라, 깊이 카메라 및 3차원 레이저 스캐너 중 적어도 하나를 포함할 수 있다. 카메라(122)는 자신이 생성한 실내 영상을, 이와 기능적으로 결합된 제어부(170)로 제공할 수 있다. 카메라(122)는 '실내 카메라'로 명명될 수 있다.
제어부(170)는 카메라(122)로부터 제공되는 실내 영상을 분석하여, 각종 오브젝트를 검출할 수 있다. 예컨대, 제어부(170)는 실내 영상 중 운전석 영역에 대응하는 부분으로부터 운전자의 시선 및/또는 제스처를 검출할 수 있다. 다른 예로, 제어부(170)는 실내 영상 중 운전석 영역을 제외한 실내 영역에 대응하는 부분으로부터 동승자의 시선 및/또는 제스처를 검출할 수 있다. 물론, 운전자와 동승자의 시선 및/또는 제스처는 동시에 검출될 수도 있다.
마이크로 폰(123)은 외부의 음향 신호를 전기적인 데이터로 처리할 수 있다. 처리된 데이터는 차량(100)에서 수행 중인 기능에 따라 다양하게 활용될 수 있다. 마이크로폰(123)은 사용자의 음성 명령을 전기적인 데이터로 전환할 수 있다. 전환된 전기적인 데이터는 제어부(170)에 전달될 수 있다.
한편, 실시예에 따라, 카메라(122) 또는 마이크로폰(123)는 입력부(120)에 포함되는 구성요소가 아닌, 센싱부(160)에 포함되는 구성요소일 수도 있다.
사용자 입력부(124)는 사용자로부터 정보를 입력받기 위한 것이다. 사용자 입력부(124)를 통해, 정보가 입력되면, 제어부(170)는 입력된 정보에 대응되도록 차량(100)의 동작을 제어할 수 있다. 사용자 입력부(124)는 터치식 입력수단 또는 기계식 입력 수단을 포함할 수 있다. 실시예에 따라, 사용자 입력부(124)는 스티어링 휠의 일 영역에 배치될 수 있다. 이경우, 운전자는 스티어링 휠을 잡은 상태에서, 손가락으로 사용자 입력부(124)를 조작할 수 있다.
입력부(120)는 복수의 버튼 또는 터치 센서를 구비할 수 있다. 복수의 버튼 또는 터치 센서를 통해, 다양한 입력 동작을 수행하는 것도 가능하다.
센싱부(160)는 차량(100)의 주행 등과 관련한 신호를 센싱한다. 이를 위해, 센싱부(160)는 충돌 센서, 스티어링 센서(steering sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 적외선 센서, 레이더, 라이다 등을 포함할 수 있다.
이에 의해, 센싱부(160)는 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도 등에 대한 센싱 신호를 획득할 수 있다. 또한, 제어부(170)는 차량(100)에 구비된 카메라, 초음파 센서, 적외선 센서, 레이더 및 라이다 중 적어도 어느 하나에 의해 획득된 외부 환경 정보를 기초로, 차량(100)의 가속, 감속, 방향 전환 등을 위한 제어신호를 생성할 수 있다. 여기서, 외부 환경 정보란, 주행 중인 차량(100)으로부터 소정 거리 범위 내에 위치하는 각종 오브젝트와 관련된 정보일 수 있다. 예를 들어, 외부 환경 정보에는, 차량(100)으로부터 100m 내의 거리에 위치하는 장애물의 수, 장애물까지의 거리, 장애물의 크기, 장애물의 유형 등에 관한 정보가 포함될 수 있다.
한편, 센싱부(160)는 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS) 등을 더 포함할 수 있다.
센싱부(160)는 생체 인식 정보 감지부를 포함할 수 있다. 생체 인식 정보 감지부는 탑승자의 생체 인식 정보를 감지하여 획득한다. 생체 인식 정보는 지문 인식(Fingerprint) 정보, 홍채 인식(Iris-scan) 정보, 망막 인식(Retina-scan) 정보, 손모양(Hand geo-metry) 정보, 안면 인식(Facial recognition) 정보, 음성 인식(Voice recognition) 정보를 포함할 수 있다. 생체 인식 정보 감지부는 탑승자의 생체 인식 정보를 센싱하는 센서를 포함할 수 있다. 여기서, 카메라(122) 및 마이크로 폰(123)이 센서로 동작할 수 있다. 생체 인식 정보 감지부는 카메라(122)를 통해, 손모양 정보, 안면 인식 정보를 획득할 수 있다.
센싱부(160)는 차량(100)의 외부를 촬영하는 적어도 하나 이상의 카메라(161)를 포함할 수 있다. 카메라(161)는 '외부 카메라'로 명명될 수 있다. 예를 들어, 센싱부(160)는 차량 외관의 서로 다른 위치에 배치되는 복수의 카메라(161)들을 포함할 수 있다. 이러한 카메라(161)는 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라(161)는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 제어부(170)에 전달할 수 있다.
카메라(161)는 이미지 센서(예를 들면, CMOS 또는 CCD)와 영상 처리 모듈을 포함할 수 있다. 또한, 카메라(161)는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공할 수 있다. 또한, 카메라(161)는 신호등, 교통 표지판, 보행자, 타차량 및 노면 중 적어도 하나를 포함하는 영상을 획득할 수 있다.
출력부(140)는 제어부(170)에서 처리된 정보를 출력하기 위한 것으로, 디스플레이부(141), 음향 출력부(142) 및 햅틱 출력부(143)를 포함할 수 있다.
디스플레이부(141)는 적어도 하나의 디스플레이를 포함하고, 제어부(170)에서 처리되는 정보를 각 디스플레이에 표시할 수 있다. 예를 들면, 디스플레이부(141)는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 차량에 대한 직접적인 제어를 위한 차량 제어 정보, 또는 차량 운전자에게 운전 가이드를 위한 차량 운전 보조 정보를 포함할 수 있다. 또한, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다.
디스플레이부(141)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(141)는 적어도 하나의 디스플레이를 포함할 수 있다. 디스플레이부(141)에 복수의 디스플레이가 포함되는 경우, 각각의 디스플레이는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성되는 터치 스크린을 포함할 수 있다. 또한, 각각의 디스플레이는 차량(100) 실내의 서로 다른 위치에 배치될 수 있다. 예컨대, 어느 한 디스플레이는 차량(100)의 대쉬보드의 조수석 측에 배치되고, 다른 한 디스플레이는 차량(100)의 운전석 시트의 헤트레스트 뒷면에 배치될 수 있다. 일 실시예에서, 디스플레이부(141)는 후술할 디스플레이(200)를 포함할 수 있다.
터치 스크린은 차량(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(124)로써 기능함과 동시에, 차량(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
이경우, 디스플레이부(141)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(141)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(141)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(170)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
한편, 디스플레이부(141)는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다. 클러스터는 대시보드 위에 위치할 수 있다. 이경우, 운전자는 시선을 차량 전방에 유지한채로 클러스터에 표시되는 정보를 확인할 수 있다.
한편, 실시예에 따라, 디스플레이부(141)는 HUD(Head Up Display)를 포함할 수 있다. HUD는 투사 모듈을 포함하고, 투사 모듈은 제어부(170)의 제어에 따라, 윈드 쉴드를 향하여 소정 정보에 대응하는 표시광을 출력할 수 있다. 이에 따라, 사용자는 윈드 쉴드를 통해, 상기 소정 정보에 대응하는 가상 이미지를 제공받을 수 있다.
음향 출력부(142)는 제어부(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(142)는 스피커 등을 구비할 수 있다. 음향 출력부(142)는, 사용자 입력부(124) 동작에 대응하는 사운드를 출력하는 것도 가능하다.
햅틱 출력부(143)는 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(143)는 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
차량 구동부(150)는 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(150)는 동력원 구동부(151), 조향 구동부(152), 브레이크 구동부(153), 램프 구동부(154), 공조 구동부(155), 윈도우 구동부(156), 에어백 구동부(157), 썬루프 구동부(158) 및 와이퍼 구동부(159) 중 적어도 하나 이상을 포함할 수 있다.
동력원 구동부(151)는 차량(100) 내의 동력원에 대한 전자식 제어를 수행할 수 있다. 동력원 구동부(151)는 차량(100)의 속도를 증가시키는 가속 장치 및 차량(100)의 속도를 감소시키는 감속 장치를 포함할 수 있다.
예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부(151)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(151)가 엔진인 경우, 제어부(170)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 속도를 제한할 수 있다.
다른 예로, 전기 기반의 모터(미도시)가 동력원인 경우, 동력원 구동부(151)는 모터에 대한 제어를 수행할 수 있다. 이에 의해, 모터의 회전 속도, 토크 등을 제어할 수 있다.
조향 구동부(152)는 조향 장치(steering apparatus)를 포함할 수 있다. 이에, 조향 구동부(152)는 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 조향 구동부(152)에는 조향토크센서, 조향각센서 및 조향모터가 구비될 수 있고, 운전자가 스티어링 휠에 가하는 조향토크는 조향토크센서에 의해 감지될 수 있다. 조향 구동부(152)는 차량(100)의 속도 및 조향토크 등을 기초로, 조향모터에 인가되는 전류의 크기와 방향을 변경함으로써, 조향력과 조향각을 제어할 수 있다. 또한, 조향 구동부(152)는 조향각센서에 의해 획득된 조향각 정보를 기초로, 차량(100)의 주행방향이 제대로 조절되고 있는 상태인지 판단할 수 있다. 이에 의해, 차량의 주행 방향을 변경할 수 있다. 또한, 조향 구동부(152)는 차량(100)이 저속 주행 시에는 조향모터의 조향력을 증가시켜 스티어링 휠의 무게감을 낮추고, 차량(100)이 고속 주행 시에는 조향모터의 조향력을 감소시켜 스티어링 휠의 무게감을 높일 수 있다. 또한, 차량(100)의 자율 주행 기능이 실행된 경우, 조향 구동부(152)는 운전자가 스티어링 휠을 조작하는 상황(예, 조향토크가 감지되지 않는 상황)에서도, 센싱부(160)가 출력하는 센싱 신호 또는 제어부(170)가 제공하는 제어신호 등을 기초로, 조향모터가 적절한 조향력을 발생시키도록 제어할 수도 있다.
브레이크 구동부(153)는 차량(100) 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량(100)의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.
램프 구동부(154)는 차량 내, 외부에 배치되는 적어도 하나 이상의 램프의 턴 온/턴 오프를 제어할 수 있다. 램프 구동부(154)는 조명 장치를 포함할 수 있다. 또한, 램프 구동부(154)는 조명 장치에 포함된 램프 각각이 출력하는 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 헤드램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.
공조 구동부(155)는 차량(100) 내의 공조 장치(air cinditioner)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
윈도우 구동부(156)는 차량(100) 내의 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량의 측면의 좌,우 윈도우들에 대한 개방 또는 폐쇄를 제어할 수 있다.
에어백 구동부(157)는 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 위험시, 에어백이 터지도록 제어할 수 있다.
썬루프 구동부(158)는 차량(100) 내의 썬루프 장치(sunroof apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 썬루프의 개방 또는 폐쇄를 제어할 수 있다.
와이퍼 구동부(159)는 차량(100)에 구비된 와이퍼(14a, 14b)에 대한 제어를 수행할 수 있다. 예를 들어, 와이퍼 구동부(159)는 사용자 입력부(124)를 통해 와이퍼를 구동할 것을 명령하는 사용자 입력을 수신 시, 사용자 입력에 따라 와이퍼(14a, 14b)의 구동 횟수, 구동 속도 등에 대한 전자식 제어를 수행할 수 있다. 다른 예를 들어, 와이퍼 구동부(159)는 센싱부(160)에 포함된 레인센서(rain sensor)의 센싱 신호를 기초로, 빗물의 양 또는 세기를 판단하여, 사용자 입력없이도 와이퍼(14a, 14b)를 자동적으로 구동할 수 있다.
한편, 차량 구동부(150)는 서스펜션 구동부(미도시)를 더 포함할 수 있다. 서스펜션 구동부는 차량(100) 내의 서스펜션 장치(suspension apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
메모리(130)는 제어부(170)와 전기적으로 연결된다. 메모리(170)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(190)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(130)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
인터페이스부(180)는 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(180)는 휴대 단말과 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 휴대 단말과 연결할 수 있다. 이경우, 인터페이스부(180)는 휴대 단말과 데이터를 교환할 수 있다.
인터페이스부(180)는 턴 시그널 정보를 수신할 수 있다. 여기서, 턴 시그널 정보는 사용자에 의해 입력된 좌회전 또는 우회전을 위한 방향 지시등의 턴 온(turn on) 시그널일 수 있다. 차량(100)의 사용자 입력부(도 1의 124)를 통해, 좌측 또는 우측 방향 지시등 턴 온 입력이 수신되는 경우, 인터페이스부(180)는 좌측 또는 우측 방향 턴 시그널 정보를 수신할 수 있다.
인터페이스부(180)는 차량 속도 정보, 스티어링 휠의 회전 각도 정보 또는 기어 쉬프트 정보를 수신할 수 있다. 인터페이스부(180)는 차량의 센싱부(160)를 통해 센싱된 차량 속도 정보, 스티어링 휠 회전 각도 정보, 또는 기어 쉬프트 정보를 수신할 수 있다. 또는, 인터페이스부(180)는 차량의 제어부(170)로부터 차량 속도 정보, 스티어링 휠 회전 각도 정보 또는 기어 쉬프트 정보를 수신할 수 있다. 한편, 여기서, 기어 쉬프트 정보는, 차량의 변속 레버가 어느 상태에 있는지에 대한 정보일 수 있다. 예를 들면, 기어 쉬프트 정보는 변속 레버가 주차(P), 후진(R), 중립(N), 주행(D), 1 내지 다단 기어 상태 중 어느 하나 중 어느 상태에 있는지에 대한 정보일 수 있다.
인터페이스부(180)는 차량(100)의 사용자 입력부(124)를 통해 수신되는 사용자 입력을 수신할 수 있다. 인터페이스부(180)는 사용자 입력을 차량(100)의 입력부(120)로부터 수신하거나, 제어부(170)를 거쳐 수신할 수 있다.
인터페이스부(180)는 외부 기기로부터 획득된 정보를 수신할 수 있다. 예를 들면, 차량(100)의 통신부(110)를 통해 외부 서버로부터 신호등 변경 정보가 수신되는 경우, 인터페이스부(180)는 상기 신호등 변경 정보를 제어부(170)로부터 수신할 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
제어부(170)는 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어부(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 제어부(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
전원부(190)는 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원부(170)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.
AVN(Audio Video Navigation) 장치(미도시)는 제어부(170)와 데이터를 교환할 수 있다. 제어부(170)는 AVN 장치 또는 별도의 내비게이션 장치로부터 내비게이션 정보를 수신할 수 있다. 여기서, 여기서, 내비게이션 정보는 설정된 목적지 정보, 상기 목적지에 따른 경로 정보, 차량 주행과 관련한, 맵(map) 정보 또는 차량 위치 정보를 포함할 수 있다.
한편, 도 1에 도시된 구성요소들 중 일부는 차량(100)를 구현하는데 있어서 필수적인 것이 아닐 수 있다. 따라서, 본 명세서 상에서 설명되는 차량(100)은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
도 2는 본 발명의 일 실시예에 따른 차량(100)의 외관을 도시한 도면이다. 설명의 편의를 위해, 차량(100)은 4륜 자동차인 것으로 가정한다.
도 2를 참조하면, 차량(100)은 동력원에 의해 회전하는 타이어(11a-11d), 차량(100)의 진행 방향을 조절하기 위한 스티어링 휠(12), 헤드램프(13a, 13b), 와이퍼(14a, 14b)을 포함할 수 있다.
본 발명의 실시예에 따른 차량(100)의 제어부(170)는 카메라(161)를 이용하여 차량 주변 영상을 생성하고, 생성된 주변 영상에서 정보를 검출하며, 검출된 정보를 기초로 차량(100)과 관련된 임의의 동작을 실행하기 위한 제어 신호를 구동부(150)에 출력할 수 있다. 예컨대, 제어부(170)는 제어 신호를 기초로 조향 장치 등을 제어할 수 있다.
한편, 차량(100)의 전고(H)는 접지면으로부터 차체의 가장 높은 곳까지의 길이로서, 차량(100)의 탑승자나 적재물의 무게나 위치 등에 따라, 소정 범위 내에서 변경될 수 있다. 또한, 차량(100)는 차체의 최저 지점과 노면 사이는 최저 지상고(G)만큼 이격될 수 있다. 이에 따라, 최저 지상고(G)보다 낮은 높이를 가지는 물체에 의한 차체 손상을 막을 수 있다.
또한, 차량(100)의 전방 좌우 타이어(11a, 11b) 간의 간격과 후방 좌우 타이어(11c, 11d) 간의 간격은 동일한 것으로 가정한다. 이하에서는, 전륜 좌측 타이어(11a)의 내측과 우측 타이어(11b)의 내측 사이의 거리와 후륜 좌측 타이어(11c)의 내측과 우측 타이어(11d)의 내측 사이의 거리는 동일한 값(T)인 것으로 가정한다.
또한, 차량(100)의 전폭(O)은 도시된 바와 같이, 사이드 미러(예, 전동 접이식 사이드 미러)를 제외한 차량(100)의 차체 좌측 끝단부터 우측 끝단 간의 최대 거리로 정의될 수 있다.
도 3a는 도 1을 참조하여 전술한 카메라(161)가 스테레오 카메라인 경우를 예시한다.
도 3a를 참조하여, 카메라(161)는 제1 렌즈(311)를 구비하는 제1 카메라(310), 제2 렌즈(321)를 구비하는 제2 카메라(320)를 구비할 수 있다. 또한, 제1 렌즈(311)와 제2 렌즈(312)는 소정 간격만큼 이격되어, 특정 시점에 동일한 피사체에 대한 서로 다른 두 장의 이미지를 획득할 수 있다.
또한, 카메라(161)는 제1 렌즈(311)와 제2 렌즈(321)에 입사되는 광을 차폐하기 위한, 제1 광 차폐부(light shield)(312), 제2 광 차폐부(322)를 구비할 수 있다.
도면의 카메라(161)는 차량(100)의 천정 또는 윈드쉴드에 탈부착 가능한 구조일 수 있다.
이러한 카메라(161)는 제1 및 제2 카메라(310, 320)로부터, 차량 전방에 대한 스테레오 이미지를 획득할 수 있다. 또한, 스테레오 이미지에 기초하여, 디스패러티(disparity) 검출을 수행하고, 디스패러티 정보에 기초하여, 적어도 하나의 스테레오 이미지에 나타나는 적어도 하나의 오브젝트(예, 보행자, 신호등, 도로, 차선, 타차량)에 대한 검출을 수행할 수 있다. 오브젝트 검출 이후, 계속적으로 오브젝트의 움직임을 트래킹할 수 있다.
도 3b 및 도 3c를 참조하면, 차량(100) 외관의 서로 다른 위치에는 4개의 카메라들(161a, 161b, 161c, 161d)이 장착될 수 있다. 4개의 카메라들(161a, 161b, 161c, 161d) 각각은 전술한 카메라(161)와 동일할 수 있다.
도 3b를 참조하면, 복수의 카메라들(161a, 161b, 161c, 161d)는 각각 차량(100)의 전방, 좌측, 우측 및 후방에 배치될 수 있다. 복수의 카메라들(161a, 161b, 161c, 161d) 각각은 도 1에 도시된 카메라(161)에 포함되는 것일 수 있다.
전방 카메라(161a)는 윈드 쉴드 부근, 앰블럼 부근 또는 라디에이터 그릴 부근에 배치될 수 있다.
좌측 카메라(161b)는 좌측 사이드 미러를 둘러싸는 케이스 내에 배치될 수 있다. 또는, 좌측 카메라(161b)는 좌측 사이드 미러를 둘러싸는 케이스 외부에 배치될 수 있다. 또는, 좌측 카메라(161b)는 좌측 프런트 도어, 좌측 리어 도어 또는 좌측 휀더(fender) 외측 일 영역에 배치될 수 있다.
우측 카메라(161c)는 우측 사이드 미러를 둘러싸는 케이스 내에 배치될 수 있다. 또는 우측 카메라(161c)는, 우측 사이드 미러를 둘러싸는 케이스 외부에 배치될 수 있다. 또는, 우측 카메라(161c)는 우측 프런트 도어, 우측 리어 도어 또는 우측 펜더(fender) 외측 일 영역에 배치될 수 있다.
한편, 후방 카메라(161d)는 후방 번호판 또는 트렁크 스위치 부근에 배치될 수 있다.
복수의 카메라(161a, 161b, 161c, 161d)에서 촬영된 각각의 이미지는 제어부(170)에 전달되고, 제어부(170)는 상기 각각의 이미지를 합성하여, 차량 주변 영상을 생성할 수 있다.
또한, 도 3b에서는 차량(100) 외관에 4대의 카메라들이 장착되는 것으로 도시하였지만, 본 발명은 카메라의 개수에 한정되지 않으며, 더 적거나 많은 수의 카메라가 도 3b에 도시된 위치와는 다른 위치에 장착될 수도 있음을 명시한다.
도 3c를 참조하면, 합성 영상(400)은 전방 카메라(161a)에 의해 촬영된 외부 영상에 대응하는 제1 이미지 영역(401), 좌측 카메라(161b)에 의해 촬영된 외부 영상에 대응하는 제2 이미지 영역(402), 우측 카메라(161c)에 의해 촬영된 외부 영상에 대응하는 제3 이미지 영역(403) 및 후방 카메라(161d)에 의해 촬영된 외부 영상에 대응하는 제4 이미지 영역(404)을 포함할 수 있다. 합성 영상(400)은 어라운드 뷰 모니터링(AVM: around view monitoring) 영상으로 명명될 수 있다.
한편, 합성 영상(400) 생성 시, 합성 영상(400)에 포함된 어느 두 외부 영상 간에는 경계선(411, 412, 413, 414)이 발생한다. 이러한 경계 부분은 이미지 블렌딩(blending) 처리하여 자연스럽게 표시될 수 있다.
한편, 복수의 영상들 간의 경계에는 경계선(411, 412, 413, 414)이 표시될 수 있다. 또한, 합성 영상(400)의 중앙에는 차량(100)을 가리키는 것으로 기 설정된 이미지가 포함될 수 있다.
또한, 합성 영상(400)은 차량(100)의 실내에 장착된 디스플레이 장치 상에 표시될 수 있다.
도 4는 도 1을 참조하여 전술한 차량(100)의 일 예를 보여준다. 설명의 편의를 위해, 차량(100)은 4륜 자동차인 것으로 가정한다.
도 4를 참조하면, 차량(100)은 적어도 하나 이상의 레이더(162), 라이다(163) 및 초음파 센서(164)를 포함할 수 있다.
레이더(162)는 차량(100)의 일측에 장착되어, 차량(100)의 주변을 향하여 전자기파를 발사하고, 차량(100)의 주변에 존재하는 각종 오브젝트에서 반사되는 전자기파를 수신할 수 있다. 예를 들어, 레이더(162)는 어느 한 오브젝트에 의해 반사되어 돌아온 전자기파의 시간을 측정하여, 해당 오브젝트의 거리, 방향, 고도 등과 관련된 정보를 획득할 수 있다.
라이다(163)는 차량(100)의 일측에 장착되어, 차량(100)의 주변을 향하여 레이저를 발사할 수 있다. 라이다(163)에 의해 발사된 레이저는 산란되거나 반사되어 차량(100)으로 되돌아올 수 있고, 라이다(163)는 레이저가 되돌아오는 시간, 강도, 주파수의 변화, 편광 상태의 변화를 기초로, 차량(100)의 주변에 위치하는 타겟의 거리, 속도, 형상 등의 물리적 특성에 대한 정보를 획득할 수 있다.
초음파 센서(164)는 차량(100)의 일측에 장착되어, 차량(100)의 주변을 향하여 초음파를 발생시킨다. 초음파 센서(164)에 의해 발생되는 초음파는 주파수(약, 20KHz 이상)가 높고 파장이 짧은 특성을 가진다. 이러한 초음파 센서(164)는 주로 차량(100)과 근접한 장애물 등을 인식하는 데에 이용될 수 있다.
도 4에 도시된 레이더(162), 라이다(163) 및 초음파 센서(164)은 도 1에 도시된 센싱부(160)에 포함되는 센서들일 수 있다. 또한, 실시예에 따라, 레이더(162), 라이다(163) 및 초음파 센서(164)는 도 4에 도시된 것과는 다른 위치에 다른 개수로 장착될 수 있다는 것은 당업자에게 자명하다.
도 5는 도 1에 도시된 제어부(170)의 내부 블록 다이어그램의 일 예를 보여준다.
도 5를 참조하면, 제어부(170)는, 영상 전처리부(510), 디스패러티 연산부(520), 오브젝트 검출부(534), 오브젝트 트래킹부(540), 및 어플리케이션부(550)를 포함할 수 있다.
영상 전처리부(image preprocessor)(510)는 도 1에 도시된 카메라들(161, 122)로부터 제공되는 이미지를 수신하여, 전처리(preprocessing)를 수행할 수 있다.
구체적으로, 영상 전처리부(510)는 이미지에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion;CSC), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 카메라(161, 122)에서 촬영된 스테레오 이미지 보다 선명한 이미지를 획득할 수 있다.
디스패러티 연산부(disparity calculator)(520)는 영상 전처리부(510)에서 신호 처리된, 이미지를 수신하고, 수신된 이미지들에 대한 스테레오 매칭(stereo matching)을 수행하며, 스테레오 매칭에 따른, 디스패러티 맵(dispartiy map)을 획득할 수 있다. 즉, 차량 전방에 대한, 스테레오 이미지에 대한 디스패러티 정보를 획득할 수 있다.
이때, 스테레오 매칭은, 스테레오 이미지들의 픽셀 단위로 또는 소정 블록 단위로 수행될 수 있다. 한편, 디스패러티 맵은, 스테레오 이미지, 즉 좌,우 이미지의 시차(時差) 정보(binocular parallax information)를 수치로 나타낸 맵을 의미할 수 있다.
세그멘테이션부(segmentation unit)(532)는 디스패러티 연산부(520)로부터의 디스페러티 정보에 기초하여, 이미지 중 적어도 하나에 대해, 세그먼트(segment) 및 클러스터링(clustering)을 수행할 수 있다.
구체적으로, 세그멘테이션부(532)는 디스페러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해, 배경(background)과 전경(foreground)을 분리할 수 있다.
예를 들면, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이하인 영역을, 배경으로 연산하고, 해당 부분을 제외시킬 수 있다. 이에 의해, 상대적으로 전경이 분리될 수 있다.
다른 예로, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이상인 영역을, 전경으로 연산하고, 해당 부분을 추출할 수 있다. 이에 의해, 전경이 분리될 수 있다.
이와 같이, 스테레오 이미지에 기반하여 추출된 디스페러티 정보 정보에 기초하여, 전경과 배경을 분리함으로써, 이후의, 오브젝트 검출시, 신호 처리 속도, 신호 처리 양 등을 단축할 수 있게 된다.
다음, 오브젝트 검출부(object detector)(534)는 세그멘테이션부(532)로부터의 이미지 세그먼트에 기초하여, 오브젝트를 검출할 수 있다.
즉, 오브젝트 검출부(534)는 디스페러티 정보 정보에 기초하여, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다.
구체적으로, 오브젝트 검출부(534)는 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 예를 들면, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다.
다음, 오브젝트 확인부(object verification unit)(536)는 분리된 오브젝트를 분류하고(classify), 확인할 수 있다(verify).
이를 위해, 오브젝트 확인부(536)는 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.
한편, 오브젝트 확인부(536)는 메모리(130)에 저장된 오브젝트들과, 검출된 오브젝트를 비교하여, 오브젝트를 확인할 수 있다.
예를 들면, 오브젝트 확인부(536)는 차량 주변에 위치하는 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 확인할 수 있다.
오브젝트 트래킹부(object tracking unit)(540)는 확인된 오브젝트에 대한 트래킹을 수행할 수 있다. 예를 들면, 순차적으로, 획득되는 스테레오 이미지들에 내의, 오브젝트를 확인하고, 확인된 오브젝트의 움직임 또는 움직임 벡터를 연산하며, 연산된 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량 주변에 위치하는, 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 트래킹할 수 있게 된다.
다음, 어플리케이션부(550)는 차량(100) 주변에, 위치하는 다양한 오브젝트들(예, 타차량, 차선, 도로면, 표지판 등)에 기초하여, 차량(100)의 위험도 등을 연산할 수 있다. 또한, 앞차와의 추돌 가능성, 차량의 슬립 여부 등을 연산할 수 있다.
그리고, 어플리케이션부(550)는 연산된 위험도, 추돌 가능성, 또는 슬립 여부 등에 기초하여, 사용자에게, 이러한 정보를 알려주기 위한, 메시지 등을, 차량 운전 보조 정보로서, 출력할 수 있다. 또는, 차량(100)의 자세 제어 또는 주행 제어를 위한 제어 신호를, 차량 제어 정보로서, 생성할 수도 있다.
한편, 실시예에 따라, 제어부(170)는 영상 전처리부(510), 디스페러티 연산부(520), 세그먼테이션부(532), 오브젝트 검출부(534), 오브젝트 확인부(536), 오브젝트 트래킹부(540) 및 어플리케이션부(550) 중 일부만을 포함할 수 있다. 가령, 카메라(161, 122)가 2차원 영상만을 제공하는 카메라인 경우, 디스패러티 연산부(520)는 제외될 수 있다.
도 6a 및 도 6b는 도 5에 도시된 제어부(170)의 동작 설명에 참조되는 도면이다.
도 6a와 도 6b는 제1 및 제2 프레임 구간에서 각각 획득된 스테레오 이미지를 기반으로 하여, 도 5의 제어부(170)의 동작 방법 설명을 위해 참조되는 도면이다.
먼저, 도 6a를 참조하면, 카메라(161)가 스테레오 카메라인 경우, 카메라(161)는 제1 프레임 구간 동안, 스테레오 이미지를 획득한다.
제어부(170) 내의 디스패러티 연산부(520)는 영상 전처리부(510)에서 신호 처리된, 스테레오 이미지(FR1a, FR1b)를 수신하고, 수신된 스테레오 이미지(FR1a, FR1b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(620)을 획득한다.
디스패러티 맵(dispartiy map)(620)은 스테레오 이미지(FR1a, FR1b) 사이의 시차를 레벨화한 것으로서, 디스패러티 레벨이 클수록, 차량과의 거리가 가깝고, 디스패러티 레벨이 작을수록, 차량과의 거리가 먼 것으로 연산할 수 있다.
한편, 이러한 디스패러티 맵을 디스플레이 하는 경우, 디스패러티 레벨이 클수록, 높은 휘도를 가지고, 디스패러티 레벨이 작을수록 낮은 휘도를 가지도록 표시할 수도 있다.
도면에서는, 디스패러티 맵(620) 내에, 제1 차선 내지 제4 차선(628a, 628b, 628c, 628d) 등이 각각 해당하는 디스패러티 레벨을 가지며, 공사 지역(622), 제1 전방 차량(624), 제2 전방 차량(626)이 각각 해당하는 디스패러티 레벨을 가지는 것을 예시한다.
세그멘테이션부(532)와, 오브젝트 검출부(534), 오브젝트 확인부(536)는 디스패러티 맵(620)에 기초하여, 스테레오 이미지(FR1a, FR1b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.
도면에서는, 디스패러티 맵(620)을 사용하여, 제2 스테레오 이미지(FR1b)에 대한, 오브젝트 검출, 및 확인이 수행되는 것을 예시한다.
즉, 이미지(630) 내에, 제1 차선 내지 제4 차선(638a, 638b, 638c, 638d), 공사 지역(632), 제1 전방 차량(634), 제2 전방 차량(636)이, 오브젝트 검출 및 확인이 수행될 수 있다.
다음, 도 6b를 참조하면, 제2 프레임 구간 동안, 스테레오 카메라(161)는, 스테레오 이미지를 획득한다.
제어부(170) 내의 디스패러티 연산부(520)는 영상 전처리부(510)에서 신호 처리된, 스테레오 이미지(FR2a, FR2b)를 수신하고, 수신된 스테레오 이미지(FR2a, FR2b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(640)을 획득한다.
도면에서는, 디스패러티 맵(640) 내에, 제1 차선 내지 제4 차선(648a, 648b, 648c, 648d) 등이 각각 해당하는 디스패러티 레벨을 가지며, 공사 지역(642), 제1 전방 차량(644), 제2 전방 차량(646)이 각각 해당하는 디스패러티 레벨을 가지는 것을 예시한다.
세그멘테이션부(532)와 오브젝트 검출부(534), 오브젝트 확인부(536)는, 디스패러티 맵(640)에 기초하여, 스테레오 이미지(FR2a, FR2b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.
도면에서는, 디스패러티 맵(640)을 사용하여, 제2 스테레오 이미지(FR2b)에 대한, 오브젝트 검출, 및 확인이 수행되는 것을 예시한다.
즉, 이미지(650) 내에 제1 차선 내지 제4 차선(658a, 658b, 658c, 658d), 공사 지역(652), 제1 전방 차량(654), 제2 전방 차량(656)이, 오브젝트 검출 및 확인이 수행될 수 있다.
한편, 오브젝트 트래킹부(540)는 도 6a와 도 6b를 비교하여, 확인된 오브젝트에 대한 트래킹을 수행할 수 있다.
구체적으로, 오브젝트 트래킹부(540)는 도 6a와 도 6b에서 확인된, 각 오브젝트들의 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량 주변에 위치하는, 차선, 공사 지역, 제1 전방 차량, 제2 전방 차량 등에 대한 트래킹을 수행할 수 있게 된다.
도 7은 본 발명의 일 실시예에 따른 차량(100)의 예시적인 실내뷰를 보여준다.
도 7을 참조하면, 차량(100)의 실내에는 CID(Center Information Display)(141a) 및 적어도 하나의 디스플레이(200a~200i)가 포함될 수 있다. CID (141a) 및 적어도 하나의 디스플레이(200a~200i)는 도 1에 도시된 디스플레이부(141)에 포함되는 디스플레이들일 수 있다. 설명의 편의를 위해, 차량(100)은 4개의 시트들 및 4개의 도어들을 구비하는 것으로 가정한다. 또한, 이하에서는, 디스플레이(200a~200i) 각각을 '히든 디스플레이'라고 칭하기로 한다.
예컨대, 도시된 바와 같이, 대쉬보드(10)에 배치되는 제1 히든 디스플레이(200a), 도어들에 배치되는 제2 내지 제5 디스플레이(200b~200e), 두 앞좌석 각각의 헤드레스트 후면에 배치되는 제6 및 제 7 히든 디스플레이(200f, 200g), 양측의 B-pillar 각각에 배치되는 제8 및 제9 히든 디스플레이(200h, 200i)를 포함할 수 있다.
제어부(170)는 차량(100) 실내에 배치되는 복수의 히든 디스플레이(200a-200i)들과 연결될 수 있다. 또한, 제어부(170)는 복수의 히든 디스플레이(200a-200i)들을 동시에 또는 개별적으로 제어할 수 있다. 복수의 히든 디스플레이들(200a-200i)은 제어부(170)로부터 제공되는 제어 신호에 따라, 소정 동작을 실행할 수 있다. 즉, 제어부(170)는 각 히든 디스플레이의 동작을 제어할 수 있다.
예를 들어, 제어부(170)는 복수의 히든 디스플레이(200a-200i)들 중 어느 하나는 턴온하고, 나머지는 턴오프할 수 있다. 다른 예로, 제어부(170)는 복수의 히든 디스플레이(200a-200i)들이 서로 다른 정보를 표시하도록 제어할 수 있다.
한편, 차량(100)의 실내에는 실내 카메라(122) 및 마이크로폰(123)을 포함하는 입력부(120)가 배치될 수 있다. 이러한 입력부(120)는 복수의 히든 디스플레이(200a-200i) 각각의 온오프 제어를 위한 복수의 물리적 버튼들을 포함할 수 있다.
전술한 바와 같이, 실내 카메라(122)는 차량(100)의 실내의 일측(예, 윈드 쉴드 상단) 배치되어, 차량(100)의 탑승자를 촬영할 수 있다. 또한, 마이크로폰(123)은 차량(100)의 탑승자로부터 음성 명령을 수신할 수 있다.
제어부(170)는 실내 카메라(122)로부터 제공되는 영상들을 기초로, 사용자(즉, 탑승자)의 위치를 판단할 수 있다. 물론, 여러명이 차량(100)에 탑승한 경우, 제어부(170)는 각각의 사용자의 위치를 개별적으로 판단할 수 있다.
또한, 제어부(170)는 실내 카메라(122)로부터 제공되는 영상들을 기초로, 영상들에 나타나는 사용자의 신원을 확인할 수 있다. 즉, 제어부(170)는 현재 차량(100)에 탑승한 사람이 누구인지 판단할 수 있다. 예를 들어, 메모리(130)에는 기 등록된 사용자들의 얼굴 이미지 및 상기 각각의 얼굴 이미지와 연관된 개인 정보(예, 이름, 나이, 성별, 키, 전화 번호, 운전자와의 관계)가 기 저장될 수 있고, 제어부(170)는 영상들로부터 얼굴 부분을 추출할 수 있다. 이에, 제어부(170)는 추출된 얼굴 부분을 메모리(130)에 기 저장된 얼굴 이미지와 비교하여, 현재 차량(100)에 탑승한 사용자의 개인 정보를 획득함으로써, 사용자의 신원을 판단할 수 있다.
또한, 차량(100)의 실내에는 적어도 하나 이상의 하중 센서가 배치될 수 있다. 예컨대, 하중 센서는 4개의 시트들 각각에 배치될 수 있다. 물론, 더 많은 하중 센서가 차량(100)의 실내의 다른 위치(예, 매트, 트렁크)에 추가적으로 배치될 수 있음은 물론이다.
제어부(170)는 하중 센서에 의해 측정된 무게값을 기초로, 복수의 히든 디스플레이(200a-200i)들 중 적어도 어느 하나에, 상기 무게값에 대응하는 정보를 표시할 수 있다. 예를 들어, 제어부(170)는 어느 한 하중 센서에 의해 측정된 무게값이 기 설정된 임계값을 초과하는 경우, 소정의 알람 이미지를 해당 하중 센서가 구비된 시트와 가장 가까운 히든 디스플레이에 표시할 수 있다.
도 8은 본 발명의 일 실시예에 따른 히든 디스플레이의 예시적인 구조를 보여준다. 설명의 편의를 위해, 도 7에 도시된 제1 히든 디스플레이(200a)를 절개선 A-B를 따라 절개한 측단면도를 기준으로 설명하기로 한다.
도 8을 참조하면, 제1 히든 디스플레이(200a)는 터치 스크린(210) 및 커버(220)를 포함한다.
터치 스크린(210)은 디스플레이 패널(212) 및 터치 패널(214)을 포함할 수 있다. 터치 패널(214)은 도시된 바와 같이, 디스플레이 패널(212)의 상부에서 디스플레이 패널(212)과 결합될 수 있다.
또한, 커버(220)는 터치 스크린(210)의 상면 즉, 터치 패널(214)의 상부에 배치될 수 있다. 한편, 도시된 바와 달리, 터치 스크린(210)과 커버(220)의 사이에는, 외부의 충격으로부터 터치 스크린(210)을 보호하기 위한 강화 유리가 개재될 수도 있다.
커버(220)는 소정의 광 투과율을 가진다. 예컨대, 커버(220)의 광 투과율은 10% 이상 20% 이하의 범위 내일 수 있다. 이에 따라, 터치 스크린(210)에 의해 표시되는 정보가 커버(220)를 거쳐 사용자에게 전달될 수 있다. 아울러, 커버(220)는 제1 히든 디스플레이(200a)가 구비되는 차량(100) 실내 부분과 동일한 색상을 가질 수 있다. 예컨대, 제1 히든 디스플레이(200a)가 대쉬 보드(10)의 일부분에 배치되는 경우, 커버(220)는 대쉬 보드(10)의 색상과 동일한 색상으로 제작될 수 있다. 이에 따라, 제1 히든 디스플레이(200a)가 턴오프된 상태 즉, 디스플레이 패널(212)이 꺼져있는 상태에서는, 사용자가 제1 히든 디스플레이(200a)를 육안으로 쉽게 확인할 수 없다. 즉, 제1 히든 디스플레이(200a)를 통해 어떠한 정보도 출력되고 있지 않은 경우에는, 제1 히든 디스플레이(200a)가 눈에 띄지 않아, 상대적으로 깔끔한 실내 인테리어의 연출이 가능하다.
또한, 터치 스크린(210)이 정전식인 경우, 커버(220)는 전도성 재질로 형성될 수 있다. 커버(220)가 전도성 재질로 이루어지는 경우, 커버(220)에 대한 사용자의 손가락 등의 접촉에 따른 정전용량 변화가 터치 스크린(210)에 의해 감지될 수 있다. 물론, 터치 스크린(210)이 감압식인 경우, 커버(220)는 전도성 재질로 형성되지 않을 수 있다.
커버(220)는 베이스층(221), 제1 코팅층(222a) 및 제2 코팅층(222b)을 포함할 수 있다. 베이스층(221)은 예컨대, 전도성 플라스틱(electroconductive plastic) 등의 재질로 형성될 수 있다. 또한, 베이스층(221)는 캘린더 가공법(calendering)을 이용하여 제작되는 것일 수 있다. 캘린더 가공법(calendering)은 2개의 가열된 롤러(roller) 사이에 열가소성 수지를 넣고 압연하여 시트 모양의 성형품을 만드는 공법으로서, 베이스층(221)의 광 투과율 및 인장 강도는 2개의 가열된 롤러(roller)의 표면 조건(예, 온도)에 의해 정해질 수 있다.
제1 코팅층(222a) 및 제2 코팅층(222b)은 각각 베이스층(221)의 상면과 하면에 결합되어, 베이스층(221)을 보호할 수 있다. 제1 코팅층(222a) 및 제2 코팅층(222b)은 그라비아 코팅법(Gravure Coating process)을 이용하여 베이스층(221)에 결합될 수 있다.
한편, 도 8에서는, 도 7의 제1 히든 디스플레이(200a)를 기준으로 설명하였으나, 나머지 히든 디스플레이들도 제1 히든 디스플레이(200a)와 동일한 구조로 구현될 수 있다는 것은 당업자에게 자명하다. 물론, 어느 한 히든 디스플레이의 크기 및 형상은 다른 히든 디스플레이의 크기 및 형상과는 다를 수 있는 것으로 이해되어야 한다.
도 9는 도 7에 도시된 복수의 히든 디스플레이(200a-200i)들에 대한 턴온 및 턴오프 명령을 수신하기 위한 예시적인 사용자 인터페이스(900)를 보여준다.
도 9는, 사용자 인터페이스(900)가 도 7의 CID(141a)에 표시되는 상황을 예시한다. 이때, CID(141a)는 터치 스크린을 포함할 수 있다. 다만, 이는 예시적인 것이며, 사용자 인터페이스(900)는 CID(141a) 외에 디스플레이부(141)에 포함된 다른 디스플레이에 의해 표시되는 것도 가능하다.
도 9를 참조하면, 사용자 인터페이스(900)는 차량(100) 실내에 배치된 복수의 히든 디스플레이(200a-200i) 각각의 온오프(on-off)를 위한 명령을 수신하는, 선택 가능한 복수의 그래픽 버튼들(900a~900i)을 제공할 수 있다.
복수의 그래픽 버튼들(900a~900i)은 순서대로 복수의 히든 디스플레이(200a-200i)와 연동될 수 있다. 이 경우, 제어부(170)는 복수의 히든 디스플레이(200a-200i) 각각의 온오프 상태에 따라, 복수의 그래픽 버튼들(900a~900i)의 색상을 변경할 수 있다. 예를 들어, 일부 히든 디스플레이(200b, 200f, 200g)가 현재 켜져 있는 상태인 경우, 일부 히든 디스플레이(200b, 200f, 200g)와 연동된 일부 그래픽 버튼(900b, 900f, 900g)은 제1 색상(예, red)으로 표시되고, 나머지 그래픽 버튼들(900a, 900c-e, 900h-i)은 제2 색상(예, blue)로 표시될 수 있다. 이에 따라, 사용자는 복수의 히든 디스플레이(200a-200i)들 중 현재 어느 것이 켜져 있고 꺼져 있는지 용이하게 파악할 수 있다.
또한, 제어부(170)는 복수의 그래픽 버튼들(900a~900i)에 대한 터치 입력에 따라, 상기 터치 입력에 대응하는 히든 디스플레이의 온오프를 제어할 수 있다. 예를 들어, 사용자에 의해 그래픽 버튼(900a)이 터치되면, 제어부(170)는 그래픽 버튼(900a)에 대한 터치에 응답하여, 제1 히든 디스플레이(200a)를 켤 수 있다. 또한, 사용자에 의해 그래픽 버튼(900a)이 한번 더 터치되면, 제어부(170)는 그래픽 버튼(900a)에 대한 터치에 응답하여, 제1 히든 디스플레이(200a)를 끌 수 있다.
도 10a 및 도 10b는 본 발명의 일 실시예에 따른 차량(100)이 도 7에 도시된 복수의 히든 디스플레이(200a-200i)들을 제어하는 예시적인 동작을 보여준다.
도 10a는 운전석에는 운전자(U1)가 앉아있고, 운전석 우측의 보조석에 탑승한 사람은 없는 경우를 예시한다. 구체적으로, 제어부(170)는 실내 카메라(122)로부터 제공되는 영상들을 기초로, 차량(100)에 탑승한 사용자의 존재 유무를 확인할 수 있다. 또한, 제어부(170)는 차량(100)에 탑승한 사용자가 존재하는 경우, 해당 사용자의 위치를 판단할 수 있다. 일 예로, 제어부(170)는 특정 사용자가 복수의 시트들 중 어느 시트에 앉아있는지 판단할 수 있다.
한편, 제어부(170)는 복수의 히든 디스플레이(200a-200i) 중, 사용자의 위치에 대응하는 특정 히든 디스플레이의 동작을 제어할 수 있다. 예를 들어, 사용자가 보조석에 위치하는 경우, 제어부(170)는 복수의 히든 디스플레이(200a-200i) 중, 대쉬보드에 배치되는 제1 히든 디스플레이(200a)를 자동적으로 켤 수 있다.
만약, 도 10a에 도시된 바와 같이, 보조석에 앉아있는 사람없는 경우, 제어부(170)는 제1 히든 디스플레이(200a)를 꺼져 있는 상태로 유지할 수 있다.
도 10b는 도 10a와 비교할 때, 차량(100)에 탑승한 사용자(U2)가 복수의 시트들 중 보조석에 착석한 경우를 예시한다.
제어부(170)는 실내 카메라(122)로부터 시간에 따라 순차적으로 제공되는 영상들을 비교함으로써, 차량(100)의 보조석에 사용자(U2)가 위치하고 있음을 판단할 수 있다.
제어부(170)는 사용자(U2)가 차량(100)의 보조석에 위치하는 것에 응답하여, 사용자(U2)의 위치에 대응하는 제1 히든 디스플레이(200a)를 자동으로 온(on)시킬 수 있다. 또한, 제어부(170)는 제1 히든 디스플레이(200a)에 미리 정해진 사용자 인터페이스(1000)를 표시할 수 있다.
또한, 제어부(170)는 영상에서 사용자(U2)의 얼굴 부분을 추출하고, 추출된 얼굴 부분을 메모리(130)에 기 저장된 얼굴 이미지와 비교하여, 사용자(U2)의 신원을 확인할 수 있다. 즉, 제어부(170)는 실내 카메라(122)로부터 제공되는 영상들을 기초로, 메모리(130)에 접근하여 사용자(U2)의 개인 정보를 획득할 수 있다.
예컨대, 사용자(U2)의 이름이 'Jane'인 경우, 제어부(170)는 도시된 바와 같이, 제1 히든 디스플레이(200a)에 사용자(U2)와 관련된 메시지(1001)(예, "Hi, Jane")를 표시할 수 있다.
또한, 제어부(170)는 차량(100)에서 제공 가능한 기능들에 대응하는 메뉴들을 제1 히든 디스플레이(200a)에 표시할 수 있다. 예를 들어, 제어부(170)는 멀티미디어 제어 메뉴(1010), 공조 제어 메뉴(1020) 및 내비게이션 제어 메뉴(1030)를 포함하는 사용자 인터페이스(1000)를 제1 히든 디스플레이(200a)에 표시할 수 있다.
제어부(170)는 멀티미디어 제어 메뉴(1010)에 대한 사용자 입력에 따라, 음악, 영화, 라디오, DMB 등의 멀티미디어를 재생할 수 있다. 또한, 제어부(170)는 공조 제어 메뉴(1020)에 대한 사용자 입력에 따라, 온도, 풍량, 풍향, 공기 순환 등을 제어할 수 있다. 또한, 제어부(170)는 내비게이션 제어 메뉴(1030)에 대한 사용자 입력에 따라, 목적지 설정, 전자지도 축척 변경, 교통 정보 수집, 지도의 2D/3D 모드 변경 등을 수행할 수 있다.
한편, 제어부(170)는 실내 카메라(122)가 아닌 하중 센서를 이용하여, 사용자(U2)의 위치를 판단할 수도 있다. 예컨대, 보조석에 배치된 하중 센서에 의해 측정된 무게가 소정값(예, 30kg) 이상인 경우, 제어부(170)는 보조석에 사용자(U2)가 앉아있는 것으로 판단할 수 있다. 이 경우, 제1 히든 디스플레이(200a)에는 "Hi, Jane"과 같은 사용자(U2)와 관련된 메시지는 표시되지 않을 수 있다.
도 11a 및 도 11b는 본 발명의 일 실시예에 따른 차량(100)이 도 7에 도시된 복수의 히든 디스플레이(200a-200i)들을 제어하는 예시적인 동작을 보여준다.
제어부(170)는 차량(100)의 탑승자로부터 제공되는 음성 명령을 기초로, 복수의 히든 디스플레이(200a-200i)들 중 적어도 하나의 동작을 제어할 수 있다.
도 11a는 운전자(U1)가 음성(1110)으로, 보조석에 위치하는 사용자(U2)에게 목적지에 대한 주소 입력을 요청하는 경우를 예시한다. 마이크로폰(123)은 입력된 음성(1110)을 전기 신호로 변환하여 제어부(170)에 제공할 수 있다.
제어부(170)는 마이크로폰(123)으로부터 제공되는 전기 신호를 기초로, 복수의 히든 디스플레이(200a-200i) 중 음성(1110)에 대응하는 특정 히든 디스플레이의 동작을 제어할 수 있다.
도 11b는 음성(1110)에 따른 제어부(170)의 동작을 예시한다. 도시된 바와 같이, 음성(1110)이 "Jane, please input address of destination"인 경우, 제어부(170)는 음성 인식 기법을 이용하여, 음성(1110)의 의미 내용을 판단하고, 판단된 의미 내용에 따라, 특정 히든 디스플레이의 동작을 제어할 수 있다. 즉, 제어부(170)는 음성(1110) 중 'Jane'을 기초로, 사용자(U2)의 위치에 대응하는 제1 히든 디스플레이(200a)를 온시킬 수 있다.
또한, 제어부(170)는 음성(1110) 중 'input address of destination'을 기초로, 목적지 설정을 위한 입력창(1120)을 제1 히든 디스플레이(200a)에 표시할 수 있다.
도 12a 내지 도 12c는 본 발명의 일 실시예에 따른 차량(100)이 히든 디스플레이에 표시하는 정보의 다양한 예를 보여준다.
도 12a는 히든 디스플레이(200)에 표시되는 음악 재생 화면(1210)을 예시한다. 예컨대, 제어부(170)는 도 10b에 도시된 멀티미디어 재생 메뉴(1010)에서 'Music' 아이콘이 터치되는 경우, 소정의 음악 파일을 재생하여, 음악 재생 화면(1210)을 표시할 수 있다.
도 12b는 히든 디스플레이(200)에 표시되는 경로 안내 화면(1220)을 예시한다. 예컨대, 경로 안내 화면(1220)은, 제어부(170)가 경로 안내를 요청하는 사용자 입력에 응답하여 히든 디스플레이(200)에 표시하는 것일 수 있다.
도 12c는 차량(100)의 히든 디스플레이(200)에 표시될 수 있는 다양한 알람 인디케이터들(1231-1235)을 예시한다. 제어부(170)는 차량(100)의 주행 상황별 또는 위치별로, 히든 디스플레이(200)에 표시되는 알람 인디케이터들(1231-1235)을 변경할 수 있다.
예를 들어, 제어부(170)는 차량(100)의 탑승자들 중 안전벨트를 매지 않은 사람이 존재하는 경우, 안전 벨트의 착용을 요청하는 알람 인디케이터(1231)를 복수의 히든 디스플레이(200a-200i) 중 적어도 하나의 히든 디스플레이에 표시할 수 있다.
다른 예를 들어, 제어부(170)는 차량(100)으로부터 전방 소정 거리 내에 과속 방지턱이 존재하는 경우, 과속 방지턱의 존재를 알리는 알람 인디케이터(1232)를 복수의 히든 디스플레이(200a-200i) 중 적어도 하나의 히든 디스플레이에 표시할 수 있다.
또 다른 예를 들어, 제어부(170)는 차량(100)의 경로 상에 스쿨존이 존재하는 경우, 스쿨존의 존재를 알리는 알람 인디케이터(1233)를 복수의 히든 디스플레이(200a-200i) 중 적어도 하나의 히든 디스플레이에 표시할 수 있다.
또 다른 예를 들어, 제어부(170)는 차량(100)의 경로 상에 교차로가 존재하는 경우, 교차로의 존재를 알리는 알람 인디케이터(1234)를 복수의 히든 디스플레이(200a-200i) 중 적어도 하나의 히든 디스플레이에 표시할 수 있다.
또 다른 예를 들어, 제어부(170)는 차량(100)이 현재 위치하는 도로가 일방 통행로인 경우, 차량(100)이 현재 일발 통행로를 주행 중임을 알리는 알람 인디케이터(1235)를 복수의 히든 디스플레이(200a-200i) 중 적어도 하나의 히든 디스플레이에 표시할 수 있다. 이 경우, 제어부(170)는 지도 정보를 기초로, 차량(100)의 경로 상에 위치하는 과속 방지턱, 스쿨존, 교차로 등의 존재 여부를 미리 확인할 수 있다.
한편, 제어부(170)는 적어도 하나의 히든 디스플레이 각각에 표시되는 정보의 유형에 따라, 적어도 하나의 히든 디스플레이 각각의 화면 밝기를 조절할 수 있다.
일 실시예에서, 제어부(170)는 차량(100)의 탑승자의 안전과 관련된 정보는 제1 밝기로 표시하고, 안전과 무관한 정보는 제1 밝기보다 낮은 제2 밝기로 표시할 수 있다. 예를 들어, 도 12c에 도시된 알람 인디케이터(1231)는 제1 밝기로 표시되고, 도 12a에 도시된 음악 재생 화면(1210)은 제1 밝기보다 낮은 제2 밝기로 표시될 수 있다.
한편, 도 12a 내지 도 12c에 도시된 각종 정보는 서로 다른 히든 디스플레이에서 표시될 수 있다. 즉, 제어부(170)는 어느 한 히든 디스플레이에 표시되는 정보와는 다른 정보를 다른 히든 디스플레이에 표시할 수 있다. 일 예로, 도 12a에 도시된 음악 재생 화면(1210)은 제6 히든 디스플레이(200f)에 표시되고, 도 12b에 도시된 경로 안내 화면(1220)은 제7 히든 디스플레이(200g)에 표시될 수 있다.
도 13a 및 도 13b는 본 발명의 일 실시예에 따른 차량(100)이 도어에 구비되는 히든 디스플레이의 동작을 제어하는 것을 예시한다. 도 7에 도시된 제5 히든 디스플레이(200e)를 기준으로 설명하기로 한다.
도 13a는 사용자(U3)가 제5 히든 디스플레이(200e)에 인가하는 터치 입력(1310)을 예시한다.
제어부(170)는 제5 히든 디스플레이(200e)에 아무런 정보도 표시되지 않은 상태에서, 제5 히든 디스플레이(200e)에 의해 수신되는 터치 입력(1310)이 소정 패턴에 일치하는 경우, 제5 히든 디스플레이(200e)를 온시킬 수 있다. 반면, 상기 소정 패턴과 일치하지 않는 터치 입력이 수신되는 경우, 제어부(170)는 제5 히든 디스플레이(200e)를 꺼진 상태로 유지할 수 있다.
예를 들어, 상기 소정 패턴은, 제5 히든 디스플레이(200e)의 미리 정해진 영역 내의 일 지점을, 임계값 이상의 압력으로 누르는 패턴일 수 있다. 다른 예로, 상기 소정 패턴은, 제5 히든 디스플레이(200e)의 서로 다른 둘 이상의 지점을 순차적으로 연결하는 패턴일 수 있다. 또 다른 예로, 상기 소정 패턴은, 제5 히든 디스플레이(200e)의 적어도 하나의 지점을, 제한시간 내에 복수번 터치하는 패턴일 수 있다. 그 밖의 다양한 패턴이 가능함은 물론이다.
도 13b는 제5 히든 디스플레이(200e)에 표시되는 정보를 예시한다. 구체적으로, 도 13a의 터치 입력(1310)이 상기 소정 패턴에 일치하는 경우, 제어부(170)는 제5 히든 디스플레이(200e)를 온시킴과 동시에, 제5 히든 디스플레이(200e)에 기 연관된 기능들에 대응하는 메뉴를 제5 히든 디스플레이(200e)에 표시할 수 있다.
이때, 복수의 히든 디스플레이(200a-200i) 각각에는 서로 다른 기능이 연관될 수 있는데, 각각의 히든 디스플레이와 연관되는 기능에 대한 데이터는 메모리(130)에 기 저장될 수 있다. 제어부(170)는 메모리(130)로부터 특정 히든 디스플레이에 연관된 기능에 대한 데이터를 획득하고, 획득된 데이터를 기초로, 해당 특정 히든 디스플레이에 특정 정보를 표시할 수 있다.
가령, 제5 히든 디스플레이(200e)는 차량(100)의 도어에 배치되는 바, 제5 히든 디스플레이(200e)에는 도어 잠금/잠금 해제 기능 및 창문 개폐 기능이 기 연관될 수 있다. 이 경우, 도 13b와 같이, 제어부(170)는 도어의 잠금/잠금 해제를 선택받기 위한 메뉴(1311) 및 창문의 개폐 정도를 조절하기 위한 메뉴(1312)를 제5 히든 디스플레이(200e)에 표시할 수 있다.
도 14a 내지 도 14c는 본 발명의 일 실시예에 따른 차량(100)이 도어에 구비되는 히든 디스플레이의 동작을 제어하는 것을 예시한다. 도 7에 도시된 제5 히든 디스플레이(200e)를 기준으로 설명하기로 한다.
도 14a는, 제5 히든 디스플레이(200e)가 꺼진 상태에서, 차량(100)의 2열 우측 시트에 착석한 사용자(U3)가 음성(1410)을 발화하는 것을 예시한다.
사용자(U3)의 음성(1410)은 마이크로폰(123)에 의해 수신되고, 제어부(170)는 마이크로폰(123)으로부터 사용자(U3)의 음성(1410)에 대응하는 전기 신호를 수신할 수 있다.
또한, 제어부(170)는 음성 인식 기법을 이용하여, 복수의 히든 디스플레이(200a-200i) 중, 음성(1410)에 대응하는 특정 히든 디스플레이의 동작을 제어할 수 있다.
한편, 메모리(130)에는 복수의 미리 정해진 위치 각각에 대응하는 적어도 하나의 히든 디스플레이가 미리 저장될 수 있다. 이 경우, 특정 위치에 대응하는 히든 디스플레이는 둘 이상일 수 있고, 특정 히든 디스플레이에 대응하는 위치는 둘 이상일 있다. 예를 들어, 메모리(130)에는 뒷좌석 우측 시트의 위치에 대응하는 3개의 히든 디스플레이(200e, 200g, 200i)가 기 저장될 수 있고, 제어부(170)는 실내 카메라(122)를 이용하여 사용자(U3)가 현재 뒷좌석 우측 시트에 착석한 경우, 히든 디스플레이(200e, 200g, 200i)를 제어 후보로 설정할 수 있다.
도 14b는 제어부(170)가 사용자(U3)의 음성(1410)에 응답하여, 제어 후보로 설정된 3개의 히든 디스플레이(200e, 200g, 200i) 중 어느 하나의 특정 제5 히든 디스플레이(200e)를 제어하는 것을 예시한다.
구체적으로, 제어부(170)는 음성 인식 기법을 이용하여, 음성(1410)의 'window'를 인식하여, 3개의 히든 디스플레이(200e, 200g, 200i) 중 제5 히든 디스플레이(200e)를 선택할 수 있다.
또한, 제어부(170)는 선택된 제5 히든 디스플레이(200e)를 온시킨 후, 제5 히든 디스플레이(200e)에 창문 제어 화면(1400)을 표시할 수 있다. 예를 들어, 도시된 바와 같이, 창문 제어 화면(1400)에는 창문 올리기 버튼(1421), 창문 내리기 버튼(1422) 및 창문이 현재 열린 정도를 안내하는 인디케이터(1423)가 포함될 수 있다. 이 경우, 창문이 완전히 열리면 인디케이터(1423)는 0%를 표시하고, 창문이 완전히 닫히면 인디케이터(1423)는 100%를 표시할 수 있다. 또한, 사용자(U3)가 창문 올리기 버튼(1421)을 터치하면, 제어부(170)는 창문을 올릴 수 있다. 또한, 사용자(U3)가 창문 내리기 버튼(1422)을 터치하면, 제어부(170)는 창문을 내릴 수 있다. 한편, 도 14b와 같은 창문 제어 화면(1400)은, 도 13b에 도시된 메뉴(1312)가 사용자(U3)에 의해 터치되는 경우 표시될 수도 있다.
도 14c는 도 14b와 같이 창문이 완전히 닫힌 상태에서, 사용자(U3)가 창문 내리기 버튼(1422)을 터치한 경우, 제5 히든 디스플레이(200e)에 표시되는 날씨 안내 화면(1430)을 예시한다.
구체적으로, 제어부(170)는 통신부(110)를 통해 외부 서버로부터, 차량(100)의 현 위치의 날씨 정보를 수신할 수 있다. 예컨대, 날씨 정보는, 통신부(110)에 포함된 무선 인터넷 모듈(112)이 외부 서버로부터 수신하는 것일 수 있다.
만약, 수신된 날씨 정보가 악천후에 해당하는 경우, 제어부(170)는 창문 내리기 버튼(1422)에 대한 터치에 응답하여 창문을 내리기에 앞서서, 날씨 안내 화면(1430)을 제5 히든 디스플레이(200e)에 표시할 수 있다.
한편, 메모리(130)에는 현재 날씨가 악천후에 해당하는지 판단하기 위한 기준 데이터가 기 저장될 수 있다. 예를 들어, 제어부(170)는 현재 날씨 정보에 대응하는 강우량이 30mm/h 이상인 경우, 악천후인 것으로 판단할 수 있다. 그 밖에, 눈, 우박, 미세먼지, 황사, 오존 등에 대한 날씨 정보가 날씨 안내 화면(1430)을 통해 사용자(U3)에게 제공될 수 있다.
날씨 안내 화면(1430)에는 도시된 바와 같이, 차량(100) 바깥의 현재 날씨에 대한 주의를 독려하는 메시지가 포함될 수 있다. 만약, 사용자(U3)에 의해 날씨 안내 화면(1430)의 버튼(1431)이 터치되는 경우, 제어부(170)는 창문 내리기 동작을 실행할 수 있다.
도 15a 및 도 15b는 본 발명의 일 실시예에 따른 차량(100)이 도어에 구비되는 히든 디스플레이의 동작을 제어하는 것을 예시한다.
먼저, 도 15a는 도 14b와 같이 창문 내리기 버튼(1422)에 대한 사용자(U3)의 터치에 응답하여, 창문이 아래로 내려간 상태를 예시한다.
제어부(170)는 창문 내리기 버튼(1422)가 터치된 시간 및 횟수 중 적어도 하나를 기초로, 창문을 얼마만큼 열 것인지 결정할 수 있다. 예를 들어, 제어부(170)는 창문 내리기 버튼(1422)가 한번 터치될 때마다, 창문을 1cm만큼 내릴 수 있다. 다른 예를 들어, 제어부(170)는 창문 내리기 버튼(1422)에 대한 터치가 소정 시간(예, 3초) 이상 유지되는 경우, 창문을 완전히 내릴 수 있다.
또한, 제어부(170)는 창문이 열린 정도에 따라, 인디케이터(1423)를 변경할 수 있다. 예컨대, 창문이 완전히 닫힌 상태에서, 창문 내리기 버튼(1422)에 대한 터치에 응답하여, 창문이 1/4만큼 내려간 경우, 인디케이터(1423)는 100%에서 75%로 변경될 수 있다.
도 15b는 제어부(170)가 제5 히든 디스플레이(200e)에 대한 자동 꺼짐 기능을 실행하는 것을 예시한다.
제어부(170)는 특정 히든 디스플레이가 켜져 있는 상태에서, 기 설정된 시간 이상 터치 입력이 수신되지 않는 경우, 해당 특정 히든 디스플레이를 자동으로 끌 수 있다. 예컨대, 도 15a와 같이, 제5 히든 디스플레이(200e)에 창문 제어 화면(1400)이 처음 표시된 시점부터 10초 이상 사용자(U3)로부터 어떠한 터치 입력도 수신되지 않으면, 제어부(170)는 제5 히든 디스플레이(200e)를 자동으로 끌 수 있다.
물론, 제어부(170)는 기 설정된 시간이 경과하기 전이라도, 미리 정해진 사용자 입력에 따라, 제5 히든 디스플레이(200e)를 끌 수도 있다. 예컨대, 제어부(170)는 "화면 꺼 줘"라는 음성 명령에 응답하여, 제5 히든 디스플레이(200e)를 끌 수 있다. 다른 예로, 입력부(120)에는 복수의 히든 디스플레이(200a-200i) 각각의 온오프를 위한 물리적 버튼들이 구비될 수 있고, 제어부(170)는 상기 온오프를 위한 물리적 버튼들 중 어느 하나가 사용자에 의해 눌려지는 경우, 눌려진 버튼에 대응하는 특정 히든 디스플레이를 끌 수 있다.
도 16a 및 도 16b는 본 발명의 일 실시예에 따른 차량(100)이 도어에 구비되는 히든 디스플레이의 동작을 제어하는 것을 예시한다.
도 16a는 도어 제어 화면(1600)이 제5 히든 디스플레이(200e)에 표시되는 것을 예시한다. 예컨대, 제어부(170)는 도 13b에 도시된 메뉴(1311)가 사용자(U3)에 의해 터치되는 경우, 도 16a와 같은 도어 제어 화면(1600)을 제5 히든 디스플레이(200e)에 표시할 수 있다.
한편, 도어 제어 화면(1600)은 도어의 잠금 및 잠금 해제를 위한 선택 가능한 버튼들을 포함할 수 있다. 예를 들어, 도 16a에 도시된 바와 같이, 도어 제어 화면은 도어 잠금 버튼(1611) 및 도어 잠금 해제 버튼(1612)을 포함할 수 있다.
또한, 도어 제어 화면(1600)은 도어의 잠금 상태를 안내하는 인디케이터(1613)를 포함할 수 있다. 예컨대, 인디케이터(1613)는 도어가 현재 잠금 해제된 상태임을 안내하는 아이콘일 수 있다.
만약, 도어가 현재 잠금 해제된 상태에서, 사용자(U3)에 의해 도어 잠금 버튼(1611)이 터치되는 경우, 제어부(170)는 도어를 잠글 수 있다. 이 경우, 인디케이터(1613)는 도어가 현재 잠긴 상태임을 안내하는 아이콘으로 변경될 수 있다. 만약, 도어가 현재 잠긴 상태에서, 사용자(U3)에 의해 도어 잠금 해제 버튼(1612)이 터치되는 경우, 제어부(170)는 도어를 잠금 해제할 수 있다.
도 16b는 제5 히든 디스플레이(200e)의 화면이 꺼진 상태에서, 사용자(U3)의 터치에 따라, 도어의 잠금 상태를 변경하는 것을 예시한다. 본 발명에서, 히든 디스플레이가 꺼져 있다는 것은 해당 히든 디스플레이에 포함된 디스플레이 패널(212) 만이 꺼지는 것을 의미할 수 있다. 이 경우, 터치 패널(214)은 사용자의 터치 입력을 감지할 수 있도록, 계속 켜져 있을 수 있다.
만약, 도시된 바와 같이, 제5 히든 디스플레이(200e)에 대한 사용자(U3)의 터치 입력이, 좌에서 우로 소정 거리 이상 이동하는 드래그 입력인 경우, 제어부(170)는 도어를 잠금 해제할 수 있다. 반면, 제5 히든 디스플레이(200e)에 대한 사용자(U3)의 터치 입력이, 우에서 좌로 소정 거리 이상 이동하는 드래그 입력인 경우, 제어부(170)는 도어를 잠글 수 있다.
한편, 도 16b에서는 제5 히든 디스플레이(200e)의 화면이 꺼진 상태에서, 좌우로 드래그되는 터치 입력에 따라, 도어의 잠금 및 잠금 해제를 실행하는 것을 중심으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 사용자가 아래에서 위로 소정 거리 이상 이동하는 드래그 입력을 가하는 경우, 제어부(170)는 창문 올리기 동작을 실행하고, 위에서 아래로 소정 거리 이상 이동하는 드래그 입력을 가하는 경우, 제어부(170)는 창문 내리기 동작을 실행할 수 있다.
또한, 도 16a 및 도 16b에서는 제5 히든 디스플레이(200e)만을 기준으로 설명하였으나, 다른 히든 디스플레이도 동일한 방식으로 제어될 수 있다는 것은 당업자에게 자명하다.
도 17a 및 도 17b는 본 발명의 일 실시예에 따른 차량(100)이 사용자의 신원에 따라, 히든 디스플레이에 표시되는 정보를 변경하는 예시적인 동작을 보여준다.
도 17a는 사용자(U4)가 차량(100)의 뒷좌석 좌측 시트에 앉아있는 경우를 예시한다.
제어부(170)는 실내 카메라(122) 또는 하중 센서를 이용하여, 사용자(U4)의 위치가 차량(100)의 뒷좌석 좌측 시트임을 판단할 수 있다. 이에 따라, 제어부(170)는 제6 히든 디스플레이(200f)를 자동으로 온시킬 수 있다.
또한, 제어부(170)는 실내 카메라(122)로부터 제공되는 영상들을 기초로, 사용자(U4)의 신원을 확인할 수 있다. 예를 들어, 제어부(170)는 실내 카메라(122)로부터 제공되는 영상에 나타나는 사용자(U4)의 얼굴 부분을 메모리(130)에 기 저장된 얼굴 이미지와 비교하여, 사용자(U4)의 나이 정보를 획득할 수 있다.
한편, 사용자(U4)의 얼굴과 매칭되는 얼굴 이미지가 메모리(130)에 저장되어 있지 않은 경우, 제어부(170)는 영상에 나타나는 얼굴 및 신체 크기를 기초로, 사용자(U4)의 나이를 추정할 수 있다.
또는, 제어부(170)는 하중 센서에 의해 측정된 무게를 기초로, 사용자(U4)의 나이를 추정할 수 있다. 일 예로, 하중 센서에 의해 측정된 무게가 기 설정된 임계값(예, 20kg) 미만인 경우, 사용자(U4)가 유아인 것으로 판단할 수 있다.
만약, 사용자(U4)가 유아인 것으로 판단된 경우, 제어부(170)는 메모리(130)에 저장된 복수의 컨텐츠들 중, 유아용으로 설정된 컨텐츠(1710)를 제6 히든 디스플레이(200f)에 표시할 수 있다. 예컨대, 제6 히든 디스플레이(200f)에 표시되는 유아용 컨텐츠(1710)는 어린이 영화일 수 있다.
또한, 제어부(170)는 상기 유아용 컨텐츠(1710)와 함께, 안전 관련 정보를 제6 히든 디스플레이(200f)에 표시할 수 있다. 일 예로, 사용자(U4)가 안전 벨트를 매고 있지 않은 경우, 제어부(170)는 안전 벨트 착용을 요청하는 메시지(1711)을 유아용 컨텐츠(1710)에 중첩하여 표시할 수 있다.
도 17b는 도 17a와 비교할 때, 차량(100)의 뒷좌석 좌측 시트에 앉아있는 사용자(U5)가 성인인 경우를 예시한다.
제어부(170)는 실내 카메라(122)로부터 제공되는 영상 및 하중 센서에 의해 측정된 무게 중 적어도 하나를 기초로, 사용자(U5)의 신원 정보를 획득할 수 있다. 또한, 제어부(170)는 사용자(U5)의 신원 정보에 포함된 나이를 기초로, 사용자(U5)가 성인인 것으로 판단 시, 도시된 것과 같은 사용자 인터페이스(1720)를 제6 히든 디스플레이(200f)에 표시할 수 있다.
또한, 제어부(170)는 사용자(U5)의 이름이 'Chris'인 경우, 제6 히든 디스플레이(200f)에 사용자(U5)와 관련된 메시지(1721)(예, "Hi, Chris")를 사용자 인터페이스(1720)에 중첩하여 표시할 수 있다.
도 18a 및 도 18b는 본 발명의 일 실시예에 따른 차량(100) 실내에 위치하는 모바일 기기의 화면을 히든 디스플레이에 표시하는 예시적인 동작을 보여준다.
우선 도 18a는 사용자(U5)의 위치에 대응하는 제6 히든 디스플레이(200f)에 사용자(U5)의 모바일 기기(1800)의 화면이 공유되는 것을 예시한다. 즉, 제어부(170)는 모바일 기기(1800)의 화면에 표시되는 영상을 제6 히든 디스플레이(200f)의 화면에 미러링(mirroring)할 수 있다. 이로써, 사용자(U5)는 서로 다른 두 장치(200f, 1800)에서 동일한 영상을 제공받을 수 있다.
모바일 기기(1800)는 휴대 가능한 전자 기기 예컨대, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device) 중 어느 하나일 수 있다.
통신부(110)는 모바일 기기(1800)와 유무선 네트워크를 수립하여, 모바일 기기(1800)와 데이터를 교환할 수 있다. 예를 들어, 통신부(110)에 포함된 근거리 통신 모듈(113)은, 차량(100) 실내에 위치하는 모바일 기기(1800)와 페어링을 수행하여, 모바일 기기(1800)의 화면에 표시되는 영상을 수신할 수 있다. 또한, 제어부(170)는 모바일 기기(1800)로부터 수신된 영상(1810)을 복수의 히든 디스플레이(200a-200i) 중 특정 히든 디스플레이(200f)에 표시할 수 있다. 이때, 근거리 통신 모듈(113)과 모바일 기기(1800) 간의 무선 통신 연결은, Wifi(wireless fidelity), 와이파이 다이렉트(WiFi Direct), 적외선, 지그비(Zigbee), 근거리 무선 통신(Near field communications), RFID(Radio-Frequency IDentification), 블루투스, UWB(UltraWideBand) 등의 무선 통신 프로토콜을 기반으로 수립되는 것일 수 있다.
또는, 통신부(110)는 USB, MHL(Mobile High-Definition Link) 등과 같은 유선 통신을 통해, 모바일 기기(1800)의 화면에 표시되는 영상(1810)을 사용자(U5)의 위치에 대응하는 제6 히든 디스플레이(200f)에 표시할 수도 있다.
이때, 제6 히든 디스플레이(200f)의 화면 사이즈는 모바일 기기(1800)의 화면 사이즈보다 클 수 있다. 제어부(170)는 두 장치(200f, 1800) 간의 화면 사이즈 비율에 대응하여, 모바일 기기(1800)에서 표시 중인 영상의 사이즈를 확대한 후 제6 히든 디스플레이(200f)에 표시할 수 있다.
도 18b는 제6 히든 디스플레이(200f)에 표시되는 영상(1810)에 대한 사용자 입력에 응답하여, 영상(1810)의 사이즈를 변경하는 것을 예시한다.
예를 들어, 사용자(U5)가 영상(1810)이 표시되는 영역에 대하여 핀치인(pinch-in) 제스처를 입력하는 경우, 제어부(170)는 핀치인(pinch-in) 제스처에 응답하여, 영상(1810)보다 소정 비율만큼 축소된 사이즈의 영상(1811)을 제6 히든 디스플레이(200f)에 표시할 수 있다. 반대로, 도시하지는 않았으나, 사용자(U5)가 영상(1810)이 표시되는 영역에 대하여 핀치아웃(pinch-out) 제스처를 입력하는 경우, 제어부(170)는 핀치아웃(pinch-out) 제스처에 응답하여, 영상(1810)보다 소정 비율만큼 확대된 사이즈의 영상을 제6 히든 디스플레이(200f)에 표시할 수 있다.
도 19는 본 발명의 일 실시예에 따른 차량(100)이 히든 디스플레이에 차량(100)의 외부 영상을 표시하는 예시적인 동작을 보여준다.
도 19를 참조하면, 제어부(170)는 사용자(U6)의 위치에 대응하는 적어도 하나의 히든 디스플레이에 외부 영상(1910)을 표시할 수 있다.
예컨대, 도시된 바와 같이, 사용자(U6)가 차량(100)의 뒷좌석 우측 시트에 앉아있는 경우, 제어부(170)는 우측 B-pillar에 배치된 제9 히든 디스플레이(200i)에 외부 영상(1910)을 표시할 수 있다. 이때, 외부 영상(1910)은 도 3b에 도시된 우측 카메라(161c)로부터 제공되는 것일 수 있다. 즉, 사용자(U6)가 차량(100)의 뒷좌석 우측 시트에 위치하는 경우, 제어부(170)는 우측 카메라(161c)로부터 제공되는 외부 영상(1910)을 제9 히든 디스플레이(200i)에 표시할 수 있다. 반면, 만약 사용자(U6)가 뒷좌석 좌측 시트에 위치하는 경우, 제어부(170)는 좌측 카메라(161b)로부터 제공되는 외부 영상을 제8 히든 디스플레이(200h)에 표시할 수 있다.
한편, 제어부(170)는 외부 영상(1910)으로부터 오브젝트(1911)를 검출할 수 있다. 또한, 제어부(170)는 오브젝트(1911)의 유형, 크기, 속도, 방향 및 차량(100)과의 거리 중 적어도 하나를 기초로, 오브젝트(1910)와 차량(100) 간의 충돌 위험 지수를 산출할 수 있다. 또한, 제어부(170)는 산출된 충돌 위험 지수가 기 설정된 임계값을 초과하는 경우, 오브젝트(1911)와의 충돌 위험을 알리는 인디케이터(1912)를 외부 영상(1910) 상에 중첩하여 표시할 수 있다.
또한, 제어부(170)는 제9 히든 디스플레이(200i)의 일 부분에 AVM 영상(1913)을 표시할 수 있다. 도 3c를 참조하여 전술한 바와 같이, 제어부(170)는 복수의 외부 카메라들(161a-161d) 각각으로부터 제공되는 영상들을 합성하여 AVM 영상(1913)을 실시간 또는 주기적으로 생성하고, 이를 제9 히든 디스플레이(200i)에 PIP(Picture In Picture) 방식으로 표시할 수 있다.
한편, 외부 영상(1910)은 특정 조건에서만 제9 히든 디스플레이(200i)에 표시될 수 있다. 예를 들어, 차량(100)이 정차한 상태에서, 사용자(U6)가 도어의 잠금을 해제하는 경우, 제어부(170)는 제9 히든 디스플레이(200i)에 외부 영상(1910)을 표시할 수 있다. 이에 따라, 사용자(U6)는 외부 영상(1910)을 통해 오브젝트(1911)의 존재를 용이하게 확인할 수 있고, 오브젝트(1911)가 지나간 다음 안전하게 도어를 열고 하차할 수 있다.
도 20a 내지 도 20c는 본 발명의 일 실시예에 따른 차량(100)이 히든 디스플레이에 알람 인디케이터를 표시하는 예시적인 동작을 보여준다.
제어부(170)는 차량(100)의 주행 상황 및 위치 중 적어도 하나에 대응하는 알람 인디케이터를 복수의 히든 디스플레이(200a-200i) 중 적어도 하나의 히든 디스플레이에 표시할 수 있다. 차량(100)의 주행 상황에 대한 데이터는 도 1에 도시된 센싱부(160)로부터 제공될 수 있다. 또한, 차량(100)의 위치는 통신부(110)에 포함된 위치 정보 모듈(114)로부터 제공될 수 있다.
도 20a는 도 10b와 같이, 보조석에 위치하는 사용자(U2)가 멀티미디어 제어 메뉴(1010)의 영화 재생 버튼을 선택함에 따라, 제1 히든 디스플레이(200a)에 소정의 영화의 재생에 따른 영화 재생 화면(2010)이 표시 중인 것을 예시한다. 예컨대, 차량(100)이 주정차 중이거나 소정 속도(예, 10km/h) 미만으로 이동 중인 경우, 사용자(U2)가 안전 벨트를 매고 있지 않더라도, 제어부(170)는 영화 재생 화면(2010) 외의 다른 정보를 제1 히든 디스플레이(200a)에 표시하지 않을 수 있다.
도 20b는 영화(2010)가 재생 중인 상태에서, 차량(100)의 주행 상황 및 위치 중 적어도 하나에 대응하는 알람 인디케이터(2011)를 제1 히든 디스플레이(200a)에 표시하는 것을 예시한다.
예컨대, 차량(100)이 소정 속도(예, 10km/h) 이상으로 이동하거나, 고속도로에 진입하는 경우, 제어부(170)는 안전 벨트 착용을 독려하는 알람 인디케이터(2011)를 제1 히든 디스플레이(200a)에 표시할 수 있다. 이 경우, 제어부(170)는 알람 인디케이터(2011)를 영화 재생 화면(2010) 상에 PIP(Picture In Picture) 방식으로 표시할 수 있다. 즉, 알람 인디케이터(2011)는 영화 재생 화면(2010)보다 작게 표시될 수 있다.
이 경우, 제어부(170)는 영화 재생 화면(2010)을 일시 정지할 수 있고, 영화 재생 화면(2010)이 일시 정지되었음을 안내하는 인디케이터(2012)를 제1 히든 디스플레이(200a)에 표시할 수 있다.
도 20c는 제1 히든 디스플레이(200a)에 표시되는 정보의 변화를 예시한다.
도 20c를 참조하면, 제어부(170)는 인디케이터(2012)에 사용자(U2)가 반응하지 않는 경우 즉, 사용자(U2)가 인디케이터(2012)가 최초 표시된 후 소정 시간(예, 5초)가 경과할때까지 안전 벨트를 매지 않는 경우, 인디케이터(2011)를 확대하고, 영화 재생 화면(2010)은 축소할 수 있다. 이 경우, 확대된 인디케이터(2011)의 사이즈는 축소된 영화 재생 화면(2010)의 사이즈보다 클 수 있다.
이 상태에서, 만약 사용자(U2)가 안전 벨트를 매는 경우, 제어부(170)는 인디케이터(2012)를 제1 히든 디스플레이(200a)에 더 이상 표시하지 않고, 일시 정지되었던 영화를 자동으로 재생할 수 있다.
도 21a 및 도 21b는 본 발명의 일 실시예에 따른 차량(100)이 히든 디스플레이에 알람 인디케이터를 표시하는 예시적인 동작을 보여준다.
전술한 바와 같이, 하중 센서는 차량(100)에 구비되는 각각의 시트마다 구비될 수 있다. 제어부(170)는 하중 센서를 이용하여, 차량(100)에 사용자가 탑승하기 전과 후의, 시트별 무게를 각각 측정할 수 있다. 또한, 제어부(170)는 사용자의 탑승 전 무게와 탑승 후 무게 간의 차이가 기 설정된 임계값 이상인 경우, 사용자가 하차하기 전에, 물건을 놓고 내리기 않도록 안내하는 알람 메시지를 적어도 하나의 히든 디스플레이에 표시할 수 있다.
도 21a는 차량(100)의 뒷좌석 우측 시트에 사용자(U7)가 위치하고, 뒷좌석 좌측 시트에 사용자(U7)의 물건(2100)이 놓여져 있는 것을 예시한다. 이 경우, 사용자(U7)는 하차를 위해, 도 16a에 도시된 도어 제어 화면(1600)의 도어 잠금 해제 버튼(1612)를 터치할 수 있다.
도 21b는 도어 제어 화면(1600)의 도어 잠금 해제 버튼(1612)이 사용자(U7)에 의해 터치된 경우, 특정 히든 디스플레이(200g)에 표시되는 알람 메시지(2110)를 예시한다. 예컨대, 제어부(170)는 사용자(U7)가 차량(100)으로부터 하차하려는 경우, 하중 센서에 의해 측정되는 무게를 기초로, 차량(100)에 구비된 시트들 중 적어도 하나에 놓여진 물건(2100)이 존재하는지 판단할 수 있다. 만약, 차량(100)에 놓여진 물건(2100)이 존재하는 것으로 판단시, 제어부(170)는 사용자(U7)의 위치에 대응하는 제7 히든 디스플레이(200g)에 알람 메시지(2110)를 표시할 수 있다. 이 경우, 알람 메시지(2110)에는 물건(2100)의 위치에 대한 정보가 포함될 수 있다. 이에 따라, 사용자(U7)가 물건(2100)을 분실하거나 다시 가지러 와야하는 번거로움을 해소할 수 있다.
한편, 도 21a 및 도 21b에서는 복수의 하중 센서가 차량(100)의 시트들에 각각 구비되는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 복수의 하중 센서 중 어느 하나는 차량(100) 실내의 바닥에 배치되고, 다른 하나는 트렁크에 배치되어, 각각 탑승자나 짐의 무게를 측정할 수 있다.
도 22는 본 발명의 일 실시예에 따른 차량(100)이 기 설정된 시나리오에 따라 복수의 히든 디스플레이(200a-200i) 각각의 화면 색상을 제어하는 예시적인 동작을 보여준다.
도 7과 같이 차량(100) 실내에 복수의 히든 디스플레이(200a-200i)가 배치되는 경우, 제어부(170)는 복수의 히든 디스플레이(200a-200i) 중 적어도 하나의 히든 디스플레이의 화면 색상을 기 설정된 시나리오에 따라 조절할 수 있다.
메모리(130)에는 복수의 히든 디스플레이(200a-200i)의 화면 색상을 조절하기 위한 복수의 시라리오에 대한 데이터가 기 저장될 수 있다. 제어부(170)는 복수의 시라리오 중, 사용자 입력 또는 차량(100)의 주행 상황에 대응하는 특정 시나리오를 선택하고, 선택된 특정 시나리오를 기초로, 복수의 히든 디스플레이(200a-200i) 각각의 화면 색상을 조절할 수 있다.
예컨대, 복수의 시나리오에 포함된 제1 시나리오는, 복수의 히든 디스플레이(200a-200i)의 화면 색상을 동시에 제1 색상(예, 청색)으로 소정 시간 동안 표시하도록 하는 제어 데이터를 포함할 수 있다. 다른 예로, 복수의 시나리오에 포함된 제2 시나리오는, 복수의 히든 디스플레이(200a-200i)의 화면 색상을 동시에 제2 색상(예, 황색)으로 소정 주기로 점멸하도록 하는 제어 데이터를 포함할 수 있다.또 다른 예로, 복수의 시나리오에 포함된 제3 시나리오는, 복수의 히든 디스플레이(200a-200i) 화면 색상을 서로 다르게 표시하도록 하는 제어 데이터를 포함할 수 있다.
도 22는 제어부(170)가 전술한 제1 시나리오에 따라, 복수의 히든 디스플레이(200a-200i)의 화면 색상을 동일한 제1 색상(예, 청색)으로 제어하는 것을 예시한다. 이 경우, 제어부(170)는 제1 시나리오에 대응하는 것으로 기 설정된 컨텐츠(예, 사진 리스트)를 복수의 히든 디스플레이(200a-200i) 중 적어도 하나에 표시할 수 있다.
도 22에 따르면, 사용자는 자신의 기분이나 주행 상황에 맞춰 다양한 실내 분위기를 연출할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
또한, 이상에서 설명한 본 발명은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.
100: 차량
200: 히든 디스플레이

Claims (20)

  1. 차량의 실내에 배치되는 복수의 디스플레이;
    사용자의 음성을 수신하는 마이크로폰; 및
    상기 적어도 하나의 디스플레이와 연결되어 상기 복수의 디스플레이의 동작을 제어하는 제어부를 포함하고,
    상기 복수의 디스플레이 각각은,
    터치 스크린; 및
    상기 차량의 실내의 일 부분과 같은 색상을 가지면서, 상기 터치 스크린의 상면에 결합되고, 소정의 광 투과율을 가지는 커버 레이어를 포함하고,
    상기 커버 레이어는,
    전도성 플라스틱 재질로 형성되고, 2개의 가열된 롤러 사이에 열가소성 수지를 넣고 압연하여 시트 모양의 성형품을 만드는 캘린더 가공법을 이용하여 제작되는 베이스층;을 포함하고,
    상기 베이스층의 광투과율은, 상기 2개의 가열된 롤러의 온도에 의해 결정되고,
    상기 제어부는,
    상기 복수의 디스플레이 중, 상기 마이크로폰을 통해 수신되는 음성의 적어도 하나의 단어에 대응되는 디스플레이를 턴 온 시키고,
    표시되는 정보의 유형에 따라, 디스플레이 화면의 밝기를 조절하되, 사용자의 안전과 관련된 정보를 제1 밝기로 표시하고, 사용자의 안전과 무관한 정보를 제2 밝기로 표시하는, 차량.
  2. 제1항에 있어서,
    상기 커버 레이어의 광 투과율은,
    10% 이상 20% 이하인, 차량.
  3. 삭제
  4. 제1항에 있어서,
    상기 적어도 하나의 디스플레이는,
    상기 차량의 대쉬보드, 도어들, 시트들 및 B-pillar들 중 어느 하나의 일부분에 배치되는, 차량.
  5. 제1항에 있어서,
    상기 차량에 탑승한 사용자를 촬영하는 실내 카메라를 더 포함하고,
    상기 제어부는,
    상기 실내 카메라로부터 제공되는 영상들을 기초로, 상기 사용자의 위치를 판단하고,
    상기 적어도 하나의 디스플레이 중 상기 사용자의 위치에 대응하는 특정 디스플레이를 턴온하는, 차량.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 실내 카메라로부터 제공되는 영상들을 기초로, 상기 사용자의 신원을 확인하고,
    상기 사용자의 신원에 대응하는 정보를 상기 특정 디스플레이에 표시하는, 차량.
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 제어부는,
    기 설정된 시나리오에 따라, 상기 적어도 하나의 디스플레이 각각의 화면 색상을 조절하는, 차량.
  10. 제1항에 있어서,
    상기 적어도 하나의 디스플레이는, 상기 차량 실내의 서로 다른 위치에 배치되는 제1 디스플레이 및 제2 디스플레이를 포함하고,
    상기 제어부는,
    상기 제1 디스플레이에 제1 정보를 표시하고, 상기 제2 디스플레이에 상기 제1 정보와는 다른 제2 정보를 표시하는, 차량.
  11. 제1항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 디스플레이 중, 기 설정된 시간 이상 터치 입력이 수신되지 않은 특정 디스플레이를 오프하는, 차량.
  12. 제1항에 있어서,
    상기 차량의 주변을 촬영하는 실외 카메라를 더 포함하고,
    상기 제어부는,
    상기 실외 카메라로부터 제공되는 외부 영상을 상기 적어도 하나의 디스플레이에 표시하는, 차량.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 외부 영상으로부터 장애물을 검출하고, 상기 장애물과의 충돌 위험을 안내하는 정보를 상기 외부 영상과 함께 상기 디스플레이에 표시하는, 차량.
  14. 제1항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 디스플레이 중, 기 설정된 패턴의 터치 입력이 수신되는 특정 디스플레이를 턴온하는, 차량.
  15. 제1항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 디스플레이 중 특정 디스플레이에 의해 감지되는 터치 입력을 기초로, 상기 터치 입력에 대응하는 동작을 실행하는, 차량.
  16. 제1항에 있어서,
    상기 차량 실내에 위치하는 모바일 기기와 무선 통신을 수행하는 근거리 통신 모듈을 더 포함하고,
    상기 제어부는,
    상기 근거리 통신 모듈을 통해 상기 모바일 기기에 표시되는 영상을 수신하고, 상기 영상을 상기 적어도 하나의 디스플레이에 표시하는, 차량.
  17. 제1항에 있어서,
    외부 서버로부터 상기 차량의 현재 위치의 날씨 정보를 수신하는 무선 인터넷 모듈을 더 포함하고,
    상기 제어부는,
    상기 날씨 정보를 상기 적어도 하나의 디스플레이 중 특정 디스플레이에 표시하는, 차량.
  18. 삭제
  19. 제1항에 있어서,
    상기 제어부는,
    상기 차량의 주행 상황 및 위치 중 적어도 하나에 대응하는 알람 인디케이터를 상기 적어도 하나의 디스플레이에 표시하는, 차량.
  20. 제1항에 있어서,
    상기 차량의 실내에 배치되는 적어도 하나의 하중 센서를 더 포함하고,
    상기 제어부는,
    상기 차량의 사용자가 하차하기 전에, 상기 적어도 하나의 하중 센서에 의해 측정되는 무게를 기초로, 상기 차량에 놓여진 물건이 존재함을 안내하는 알람 메시지를 상기 적어도 하나의 디스플레이 중 특정 디스플레이에 표시하는, 차량.
KR1020150153836A 2015-11-03 2015-11-03 차량 및 그 제어방법 KR101858694B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150153836A KR101858694B1 (ko) 2015-11-03 2015-11-03 차량 및 그 제어방법
PCT/KR2016/012434 WO2017078362A1 (en) 2015-11-03 2016-11-01 Vehicle and method for controlling the vehicle
US15/341,265 US10229654B2 (en) 2015-11-03 2016-11-02 Vehicle and method for controlling the vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150153836A KR101858694B1 (ko) 2015-11-03 2015-11-03 차량 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20170051996A KR20170051996A (ko) 2017-05-12
KR101858694B1 true KR101858694B1 (ko) 2018-06-27

Family

ID=58637863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150153836A KR101858694B1 (ko) 2015-11-03 2015-11-03 차량 및 그 제어방법

Country Status (3)

Country Link
US (1) US10229654B2 (ko)
KR (1) KR101858694B1 (ko)
WO (1) WO2017078362A1 (ko)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11916870B2 (en) 2004-03-16 2024-02-27 Icontrol Networks, Inc. Gateway registry methods and systems
EP1738540B1 (en) 2004-03-16 2017-10-04 Icontrol Networks, Inc. Premises management system
US10142392B2 (en) 2007-01-24 2018-11-27 Icontrol Networks, Inc. Methods and systems for improved system performance
US11190578B2 (en) 2008-08-11 2021-11-30 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US11489812B2 (en) 2004-03-16 2022-11-01 Icontrol Networks, Inc. Forming a security network including integrated security system components and network devices
US10522026B2 (en) 2008-08-11 2019-12-31 Icontrol Networks, Inc. Automation system user interface with three-dimensional display
US10237237B2 (en) 2007-06-12 2019-03-19 Icontrol Networks, Inc. Communication protocols in integrated systems
US11811845B2 (en) 2004-03-16 2023-11-07 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US11368429B2 (en) 2004-03-16 2022-06-21 Icontrol Networks, Inc. Premises management configuration and control
US11368327B2 (en) 2008-08-11 2022-06-21 Icontrol Networks, Inc. Integrated cloud system for premises automation
US10127802B2 (en) 2010-09-28 2018-11-13 Icontrol Networks, Inc. Integrated security system with parallel processing architecture
US11244545B2 (en) 2004-03-16 2022-02-08 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US11582065B2 (en) 2007-06-12 2023-02-14 Icontrol Networks, Inc. Systems and methods for device communication
US10721087B2 (en) 2005-03-16 2020-07-21 Icontrol Networks, Inc. Method for networked touchscreen with integrated interfaces
US20170180198A1 (en) 2008-08-11 2017-06-22 Marc Baum Forming a security network including integrated security system components
US20120324566A1 (en) 2005-03-16 2012-12-20 Marc Baum Takeover Processes In Security Network Integrated With Premise Security System
US11615697B2 (en) 2005-03-16 2023-03-28 Icontrol Networks, Inc. Premise management systems and methods
US11496568B2 (en) 2005-03-16 2022-11-08 Icontrol Networks, Inc. Security system with networked touchscreen
US20110128378A1 (en) 2005-03-16 2011-06-02 Reza Raji Modular Electronic Display Platform
US11700142B2 (en) 2005-03-16 2023-07-11 Icontrol Networks, Inc. Security network integrating security system and network devices
US10999254B2 (en) 2005-03-16 2021-05-04 Icontrol Networks, Inc. System for data routing in networks
US10079839B1 (en) 2007-06-12 2018-09-18 Icontrol Networks, Inc. Activation of gateway device
US11706279B2 (en) 2007-01-24 2023-07-18 Icontrol Networks, Inc. Methods and systems for data communication
US7633385B2 (en) 2007-02-28 2009-12-15 Ucontrol, Inc. Method and system for communicating with and controlling an alarm system from a remote server
US8451986B2 (en) 2007-04-23 2013-05-28 Icontrol Networks, Inc. Method and system for automatically providing alternate network access for telecommunications
US11316753B2 (en) 2007-06-12 2022-04-26 Icontrol Networks, Inc. Communication protocols in integrated systems
US11601810B2 (en) 2007-06-12 2023-03-07 Icontrol Networks, Inc. Communication protocols in integrated systems
US10523689B2 (en) 2007-06-12 2019-12-31 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US11212192B2 (en) 2007-06-12 2021-12-28 Icontrol Networks, Inc. Communication protocols in integrated systems
US11423756B2 (en) 2007-06-12 2022-08-23 Icontrol Networks, Inc. Communication protocols in integrated systems
US11218878B2 (en) 2007-06-12 2022-01-04 Icontrol Networks, Inc. Communication protocols in integrated systems
US11646907B2 (en) 2007-06-12 2023-05-09 Icontrol Networks, Inc. Communication protocols in integrated systems
US11831462B2 (en) 2007-08-24 2023-11-28 Icontrol Networks, Inc. Controlling data routing in premises management systems
US11916928B2 (en) 2008-01-24 2024-02-27 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US20170185278A1 (en) * 2008-08-11 2017-06-29 Icontrol Networks, Inc. Automation system user interface
US11729255B2 (en) 2008-08-11 2023-08-15 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US11758026B2 (en) 2008-08-11 2023-09-12 Icontrol Networks, Inc. Virtual device systems and methods
US11792036B2 (en) 2008-08-11 2023-10-17 Icontrol Networks, Inc. Mobile premises automation platform
US8638211B2 (en) 2009-04-30 2014-01-28 Icontrol Networks, Inc. Configurable controller and interface for home SMA, phone and multimedia
US8836467B1 (en) 2010-09-28 2014-09-16 Icontrol Networks, Inc. Method, system and apparatus for automated reporting of account and sensor zone information to a central station
EP3779564B1 (en) 2013-07-04 2024-04-10 Corephotonics Ltd. Miniature telephoto lens assembly
WO2015015383A2 (en) 2013-08-01 2015-02-05 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
US11405463B2 (en) 2014-03-03 2022-08-02 Icontrol Networks, Inc. Media content management
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US10230898B2 (en) 2015-08-13 2019-03-12 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
US10144419B2 (en) 2015-11-23 2018-12-04 Magna Electronics Inc. Vehicle dynamic control system for emergency handling
JP6828266B2 (ja) * 2016-04-18 2021-02-10 ソニー株式会社 画像表示装置及び画像表示装置、並びに移動体
DE102017117153B4 (de) * 2017-07-28 2021-06-02 SMR Patents S.à.r.l. Kameravorrichtung, Rückblickvorrichtung und Kraftfahrzeug
US10220806B2 (en) * 2017-08-02 2019-03-05 Ford Global Technologies, Llc Monitoring and alerting vehicle occupants for ignition systems
US20190102202A1 (en) * 2017-09-29 2019-04-04 GM Global Technology Operations LLC Method and apparatus for displaying human machine interface
KR102104761B1 (ko) 2017-11-23 2020-04-27 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
US10308141B1 (en) * 2017-12-20 2019-06-04 Ceola Burks Vehicle occupancy alerting system
JP7095291B2 (ja) * 2018-01-30 2022-07-05 トヨタ自動車株式会社 車両用表示装置
US11203309B2 (en) * 2018-02-09 2021-12-21 Continental Automotive Systems, Inc. Touchpad for mirror posture adjustment
JP7059682B2 (ja) * 2018-02-21 2022-04-26 株式会社デンソー 乗員検知装置
US10647222B2 (en) * 2018-04-11 2020-05-12 GM Global Technology Operations LLC System and method to restrict vehicle seat movement
EP3822588B1 (en) 2018-04-23 2022-09-07 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
KR102563478B1 (ko) * 2018-05-08 2023-08-04 현대자동차주식회사 센서연계방식 승객감지방법 및 승객탑승감지 시스템
JP6969493B2 (ja) * 2018-05-16 2021-11-24 株式会社Ｊｖｃケンウッド 映像出力装置、映像出力方法、及びコンピュータプログラム
DE102018117006B4 (de) * 2018-07-13 2021-10-28 Grammer Aktiengesellschaft Fahrzeugsitz mit Sitzbedienungseinrichtung
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
KR20200042660A (ko) * 2018-10-16 2020-04-24 현대자동차주식회사 차량 디스플레이 제어 장치, 그를 포함한 시스템 및 그 방법
KR102125289B1 (ko) * 2018-11-19 2020-06-24 엘지전자 주식회사 디스플레이 장치 및 그것을 포함하는 차량
USD947699S1 (en) 2019-03-11 2022-04-05 Dometic Sweden Ab Controller
WO2020235710A1 (ko) * 2019-05-21 2020-11-26 엘지전자 주식회사 자율 주행 차량 제어 방법
WO2020262453A1 (ja) * 2019-06-28 2020-12-30 株式会社小糸製作所 車両用情報表示システム、車両用情報表示装置、車両制御システム
DE102020112018A1 (de) * 2019-09-13 2021-03-18 Motherson Innovations Company Limited Haltevorrichtung für ein Kraftfahrzeug
US11361574B2 (en) 2019-10-23 2022-06-14 Bendix Commercial Vehicle Systems Llc System and method for monitoring for driver presence and position using a driver facing camera
KR102077036B1 (ko) * 2019-11-22 2020-02-13 주식회사 경신 뒷좌석 탑승객용 후사경 제어 장치
KR102077035B1 (ko) * 2019-11-22 2020-02-13 주식회사 경신 뒷좌석 탑승객용 후사경 제어 장치
KR20210076724A (ko) * 2019-12-16 2021-06-24 현대자동차주식회사 차량 및 차량의 제어방법
JP7055157B2 (ja) * 2020-01-31 2022-04-15 本田技研工業株式会社 車載情報システム
CN113407263A (zh) * 2020-03-16 2021-09-17 富顶精密组件（深圳）有限公司 车用中控屏系统及控制该系统的方法
CN111596874A (zh) * 2020-04-09 2020-08-28 恒大新能源汽车投资控股集团有限公司 一种车载终端的关联信息同步显示方法、装置及设备
WO2021245488A1 (en) 2020-05-30 2021-12-09 Corephotonics Ltd. Systems and methods for obtaining a super macro image
CN112995148A (zh) * 2020-06-22 2021-06-18 威盛电子股份有限公司 驾驶员登入装置、系统及方法
US11175876B1 (en) * 2020-07-06 2021-11-16 Ford Global Technologies, Llc System for in-vehicle-infotainment based on dual asynchronous displays
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN112373302B (zh) * 2020-11-10 2022-07-12 广州小鹏汽车科技有限公司 显示控制方法、装置、车辆及存储介质
CN112660048A (zh) * 2020-12-30 2021-04-16 诺博汽车科技有限公司 基于图像识别的多屏电源管理方法、装置、系统及汽车
DE102021100241A1 (de) 2021-01-08 2022-07-14 Audi Aktiengesellschaft Kalibrationsvorrichtung und Verfahren zum Kompensieren eines optischen Störungseffekts auf ein Anzeigebild eines Kraftfahrzeugbildschirms
WO2023095297A1 (ja) * 2021-11-26 2023-06-01 日本電気株式会社 乗車位置判定装置、システム、方法、及びコンピュータ可読媒体
CN114296582B (zh) * 2021-12-23 2024-01-30 浙江极氪智能科技有限公司 一种3d车模的控制方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006159939A (ja) * 2004-12-02 2006-06-22 Xanavi Informatics Corp 車室内報知対象の通知装置
US20150077235A1 (en) * 2013-09-17 2015-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with user identification and image recording
KR101542502B1 (ko) * 2014-04-10 2015-08-12 엘지전자 주식회사 차량 제어 장치 및 그 제어 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040215464A1 (en) * 2002-01-09 2004-10-28 Nelson Warren Fred Voice activated-automotive window display unit
US20040182485A1 (en) * 2002-12-02 2004-09-23 Bernard Gomes Headrest and Screen Cover
JP4580635B2 (ja) * 2003-12-10 2010-11-17 ソニー株式会社 車載通信システムおよび通信方法、車載通信端末および通信方法、プログラム記録媒体、並びにプログラム
JP4720386B2 (ja) * 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
US8358273B2 (en) * 2006-05-23 2013-01-22 Apple Inc. Portable media device with power-managed display
US20090174774A1 (en) * 2008-01-03 2009-07-09 Kinsley Tracy L Video system for viewing vehicle back seat
KR101537692B1 (ko) * 2008-11-11 2015-07-20 엘지전자 주식회사 휴대 단말기
US20110054776A1 (en) * 2009-09-03 2011-03-03 21St Century Systems, Inc. Location-based weather update system, method, and device
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9602779B2 (en) * 2012-07-10 2017-03-21 Christopher DeJuliis System for passenger monitoring
KR20140025640A (ko) * 2012-08-21 2014-03-05 김향태 착탈식 커버가 구비된 휴대폰 케이스
EP2762363A1 (en) * 2013-01-31 2014-08-06 Delphi Technologies, Inc. Vehicle safety and monitoring system
US9130525B2 (en) * 2013-02-28 2015-09-08 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for altering display output based on seat position
JP2015136091A (ja) * 2013-12-21 2015-07-27 京セラ株式会社 電子機器および透光性カバー部材
WO2015138782A1 (en) * 2014-03-12 2015-09-17 Transcast, Inc. Method for providing connectivity from a transport vehicle
KR20150114291A (ko) * 2014-04-01 2015-10-12 엘지전자 주식회사 이동단말기 및 그 제어방법
US20170043783A1 (en) * 2015-08-14 2017-02-16 Faraday&Future Inc. Vehicle control system for improving occupant safety

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006159939A (ja) * 2004-12-02 2006-06-22 Xanavi Informatics Corp 車室内報知対象の通知装置
US20150077235A1 (en) * 2013-09-17 2015-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with user identification and image recording
KR101542502B1 (ko) * 2014-04-10 2015-08-12 엘지전자 주식회사 차량 제어 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US20170124987A1 (en) 2017-05-04
KR20170051996A (ko) 2017-05-12
US10229654B2 (en) 2019-03-12
WO2017078362A1 (en) 2017-05-11

Similar Documents

Publication Publication Date Title
KR101858694B1 (ko) 차량 및 그 제어방법
US10286905B2 (en) Driver assistance apparatus and control method for the same
KR101708657B1 (ko) 차량 및 그 제어방법
KR101824982B1 (ko) 차량 및 그 제어방법
US10196068B2 (en) Convenience apparatus for vehicle and vehicle
US10606268B2 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
KR101916993B1 (ko) 차량용 디스플레이 장치 및 그 제어방법
US10410069B2 (en) Apparatus for providing around view and vehicle
US9854085B2 (en) Apparatus and method for controlling portable device in vehicle
US10748428B2 (en) Vehicle and control method therefor
KR101741433B1 (ko) 운전자 보조 장치 및 그 제어방법
US11318961B2 (en) Robot for vehicle and control method thereof
KR102310782B1 (ko) 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템
KR101936629B1 (ko) 차량 및 그 제어방법
KR101832224B1 (ko) 주차 난이도를 기초로 운전자를 지원하는 장치 및 방법
KR20170035238A (ko) 차량 및 그 제어방법
KR20170005663A (ko) 차량용 디스플레이 제어 장치 및 그 동작 방법
KR101767507B1 (ko) 차량용 디스플레이 장치 및 그 제어 방법
KR20200009986A (ko) 차량용 로봇 및 상기 로봇의 제어 방법
KR20210118066A (ko) 차량 제어 방법, 장치, 차량을 이용한 배달 서비스 방법 및 시스템
KR101752798B1 (ko) 차량 및 그 제어방법
KR101781535B1 (ko) 선바이저 장치 및 그 제어 방법
KR102480989B1 (ko) 차량용 디스플레이 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)