KR20220055541A - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR20220055541A
KR20220055541A KR1020200139452A KR20200139452A KR20220055541A KR 20220055541 A KR20220055541 A KR 20220055541A KR 1020200139452 A KR1020200139452 A KR 1020200139452A KR 20200139452 A KR20200139452 A KR 20200139452A KR 20220055541 A KR20220055541 A KR 20220055541A
Authority
KR
South Korea
Prior art keywords
data
gaze
user
display
screen
Prior art date
Application number
KR1020200139452A
Other languages
English (en)
Inventor
이명원
황현석
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200139452A priority Critical patent/KR20220055541A/ko
Priority to DE102021211774.0A priority patent/DE102021211774A1/de
Priority to US17/504,885 priority patent/US11801846B2/en
Priority to CN202111245893.2A priority patent/CN114506279A/zh
Publication of KR20220055541A publication Critical patent/KR20220055541A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B60K35/285—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/10—Conjoint control of vehicle sub-units of different type or different function including control of change-speed gearings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B60W2050/0054—Cut-off filters, retarders, delaying means, dead zones, threshold values or cut-off frequency
    • B60W2050/0056—Low-pass filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/10—Change speed gearings
    • B60W2510/1005—Transmission ratio engaged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18033—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Abstract

본 발명은 사용자의 시선을 추적하여 자동으로 디스플레이 화면을 변경하는 차량 및 차량의 제어방법에 관한 것이다.
일 실시예에 의한 차량은, 후방의 영상 데이터를 획득하는 제1 센서부;
사용자 시선 데이터를 획득하는 제2 센서부; 상기 영상 데이터의 화면을 출력하는 디스플레이; 상기 사용자 시선 움직임의 민감도를 설정하는 입력부, 상기 사용자 시선 데이터를 획득하기 시작하는 시점의 상기 사용자 시선 데이터 또는 미리 설정된 사용자 시선 데이터에 중 적어도 하나에 기초하여 상기 기준 벡터를 결정하고, 상기 기준 벡터 데이터에 대응되는 화면을 상기 디스플레이를 통해 처음으로 출력하도록 제어 신호를 출력하고, 상기 민감도에 기초하여 상기 시선 데이터 중 미리 정해진 주파수 이상의 고주파수에 대응되는 상기 시선 데이터의 일부를 제거한 시선 움직임 데이터를 획득하고, 상기 기준 벡터 데이터를 기준으로 상기 시선 움직임 데이터의 상대적인 위치 및 속도 데이터를 포함하는 결과 데이터를 획득하고, 상기 결과 데이터에 대응되는 영상 데이터의 화면을 상기 디스플레이에 출력하도록 신호를 제어하는 제어부를 포함할 수 있다.

Description

차량 및 그 제어방법 {VEHICLE AND METHOD FOR CONTROLLING THEREOF }
본 발명은 사용자의 시선을 추적하여 자동으로 디스플레이 화면을 변경하는 차량 및 차량의 제어방법에 관한 것이다.
최근 자동차 업계에서 아이트래킹 기술을 활용하여 사용자의 시선을 추적하는 기술을 활발하게 연구하고 있다. 이는 자동차 업계 뿐만 아니라, 제조, 인증 분야 등의 본인을 인증하거나, 업무를 하는데 있어 사용자의 편의성을 증진시키는데 필요한 분야에서도 활발하게 연구되고 있다.
특히 사용자의 시선을 추적하기 위해서 노이즈 데이터를 제거할 필요성이 대두되고 있다. 사용자의 시선은 사람 개개인의 습관 등과도 관련되어 있기 때문에 불필요한 데이터를 제거할 필요가 있고, 불필요한 데이터를 정하는 기준 및 불필요한 데이터를 제거하기 위한 로직 등에 대한 연구가 활발하게 진행되고 있다.
또한 최근 자동차 업계에서 사이드 미러를 대체하여 CMS를 이용하여 사용자에게 후방 영상을 디스플레이를 통해 보여주는 기술도 활발하게 연구되고 있다.
본 발명은 사용자의 시선을 추적하여 자동으로 디스플레이 화면을 변경하여 사용자가 손으로 별다른 조작 없이도 후방 영상을 볼 수 있도록 편의성을 향상시킬 수 있는 차량 및 그 제어 방법을 제공한다.
일 측면에 의한 차량은 후방의 영상 데이터를 획득하는 제1 센서부,
사용자 시선 데이터를 획득하는 제2 센서부, 영상 데이터의 화면을 출력하는 디스플레이, 사용자 시선 움직임의 민감도를 설정하는 입력부, 시선 데이터를 획득하기 시작하는 시점의 시선 데이터 또는 미리 설정된 시선 데이터에 중 적어도 하나에 기초하여 기준 벡터 데이터를 결정하고, 기준 벡터 데이터에 대응되는 영상 데이터의 화면을 디스플레이를 통해 처음으로 출력하도록 제어 신호를 출력하고, 민감도에 기초하여 시선 데이터 중 미리 정해진 주파수 이상의 고주파수에 대응되는 시선 데이터의 일부를 제거한 시선 움직임 데이터를 획득하고, 기준 벡터 데이터를 기준으로 시선 움직임 데이터의 상대적인 위치 및 속도 데이터를 포함하는 결과 데이터를 획득하고, 결과 데이터에 대응되는 영상 데이터의 화면을 디스플레이에 출력하도록 신호를 제어하는 제어부를 포함할 수 있다.
상기 제어부는, 시선 움직임 데이터에 기초하여 사용자의 시선이 디스플레이로부터 미리 정해진 거리 내 위치하면 결과 데이터를 획득하기 시작할 수 있다.
상기 제어부는 시선 데이터에 기초하여 사용자의 시선이 디스플레이에 미리 정해진 시간 내 위치할 것으로 예측되면 결과 데이터를 획득하기 시작할 수 있다.
상기 제어부는, 저역 필터를 통해 상기 미리 정해진 주파수 이상의 고주파수를 제거하여 결과 데이터를 획득할 수 있다.
상기 차량은 기어 변속부를 포함할 수 있고,
상기 제어부는, 사용자가 기어 변속부를 통해 후진 기어를 입력하면, 결과 데이터에 대응하는 영상 데이터의 화면을 디스플레이의 하단 영역에 출력할 수 있다.
차량의 제어 방법은 제1 센서부를 통해 후방의 영상 데이터를 획득하고, 제2 센서부를 통해 사용자 시선 데이터를 획득하고, 디스플레이를 통해 영상 데이터의 화면을 출력하고, 입력부를 통해 사용자 시선 움직임의 민감도를 설정하고, 시선 데이터를 획득하기 시작하는 시점의 시선 데이터 또는 미리 설정된 시선 데이터에 중 적어도 하나에 기초하여 기준 벡터 데이터를 결정하고, 기준 벡터 데이터에 대응되는 영상 데이터의 화면을 디스플레이를 통해 처음으로 출력하도록 제어 신호를 출력하고, 민감도에 기초하여 시선 데이터 중 미리 정해진 주파수 이상의 고주파수에 대응되는 시선 데이터의 일부를 제거한 시선 움직임 데이터를 획득하고, 기준 벡터 데이터를 기준으로 시선 움직임 데이터의 상대적인 위치 및 속도 데이터를 포함하는 결과 데이터를 획득하고, 결과 데이터에 대응되는 영상 데이터의 화면을 디스플레이에 출력하도록 신호를 제어할 수 있다.
상기 결과 데이터를 획득하는 것은, 시선 움직임 데이터에 기초하여 사용자의 시선이 디스플레이로부터 미리 정해진 거리 내 위치하면 결과 데이터를 획득하기 시작하는 것을 포함할 수 있다.
상기 상기 결과 데이터를 획득하는 것은, 시선 데이터에 기초하여 사용자의 시선이 디스플레이에 미리 정해진 시간 내 위치할 것으로 예측되면 결과 데이터를 획득하기 시작하는 것을 포함할 수 있다.
상기 시선 움직임 데이터를 획득하는 것은, 저역 필터를 통해 미리 정해진 주파수 이상의 고주파수에 대응되는 시선 데이터의 일부를 제거하는 것을 포함할 수 있다.
상기 결과 데이터에 대응되는 화면을 출력하도록 신호를 제어하는 것은,기어 변속부를 통해 차량을 후방 주행 모드로 변경할 때 결과 데이터에 대응되는 화면보다 미리 정해진 기준 만큼의 하단 부분 화면을 출력하도록 신호를 제어하는 것을 포함할 수 있다.
일 실시예에 따른 차량 및 그 제어 방법은 사용자의 시선을 추적하여 자동으로 디스플레이 화면을 변경하여 사용자가 손으로 별다른 조작 없이도 후방 영상을 볼 수 있도록 편의성을 향상시킬 수 있다.
도 1은 일 실시예에 의한 차량 후방의 영상을 사용자에게 보여주는 동작을 예시한 도면이다.
도 2는 일 실시예에 의한 제어 블록도이다.
도 3은 일 실시예에 의한 기준 벡터를 기준으로 사용자의 위치별 사용자 시선 데이터를 획득하는 동작을 예시한 도면이다.
도 4는 일 실시예에 의한 기준 벡터를 기준으로 사용자의 위치에 따른 디스플레이 화면을 출력하는 동작을 예시한 도면이다.
도 5는 일 실시예에 의한 결과 벡터의 획득 시점을 결정하는 동작을 예시한 도면이다.
도 6은 일 실시예에 의한 고주파수에 대응되는 사용자의 시선 데이터를 제거하여 결과 데이터를 획득하는 동작을 예시한 도면이다.
도 7은 일 실시예에 의한 사용자가 차량의 기어 변속부를 후방으로 변화시킨 경우 출력되는 디스플레이 화면을 예시한 도면이다.
도 8은 일 실시예에 따른 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함할 수 있다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함할 수 있다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 의한 차량 후방의 영상을 사용자에게 보여주는 동작을 예시한 도면이고, 도 2는 일 실시예에 의한 제어 블록도이다.
도 1및 도 2를 구체적으로 살펴보면, 차량(1)은 후방의 영상 데이터를 획득하는 제1 센서부(300), 사용자(10) 시선을 감지하는 제2 센서부(400), 영상 데이터의 화면을 출력하는 디스플레이(500), 사용자 시선 움직임의 민감도를 설정하는 입력부(100), 시선 데이터를 획득하기 시작하는 시점의 시선 데이터 또는 미리 설정된 시선 데이터에 중 적어도 하나에 기초하여 기준 벡터 데이터를 결정하고, 기준 벡터 데이터에 대응되는 영상 데이터의 화면을 디스플레이(500)를 통해 처음으로 출력하도록 제어 신호를 출력하고, 민감도에 기초하여 시선 데이터에 대응되는 신호 중 미리 정해진 주파수 이상의 고주파수에 대응되는 시선 데이터를 제거하여 시선 움직임 데이터를 획득하고, 기준 벡터 데이터를 기준으로 하여 시선 움직임 데이터의 상대적인 위치 및 속도 데이터를 포함하는 시선 움직임 데이터를 획득하고, 결과 데이터에 대응되는 영상 데이터 화면을 디스플레이에(500)에 출력하도록 신호를 제어하는 제어부(200) 및 기어 변속기를 포함할 수 있다.
제1 센서부(300)는 후방의 영상 데이터를 획득하는 카메라를 의미할 수 있다. 제1 센서부(300)의 카메라는 CMS(Camera Monitor System)모니터 시스템을 이용할 수 있다. 제1 센서부(300)는 사이드 미러를 대신할 수 있으며, 사이드 미러 옆에 장착될 수도 있다. 후방의 영상 데이터를 획득하는 것은 후술하듯 결과 데이터에 기초하여 결과 데이터에 따라서 제1 센서부(300)가 움직여서 후방의 다양한 각도의 영상을 획득할 수 있다. 제2 센서부(400)는 사용자(10)의 시선 데이터를 획득하는 카메라일 수 있다. 시선 데이터는 제2 센서부를 통해 사용자의 시선을 추적하여 획득한 데이터를 의미할 수 있다. 이때 시선 데이터는 사용자 시선의 위치 및 속도 데이터를 포함할 수 있다. 결과 데이터는 사용자가 최종적으로 후방의 영상을 보기 위해서 필요한 데이터를 의미할 수 있다. 결과 데이터는 최종적으로 획득되어 제1 센서부(300)가 후방의 영상 데이터를 획득할 수 있도록 하는 사용자(10)의 시선 데이터를 의미할 수 있다. 제2 센서부(400)는 후술하듯 사용자(10)의 시선을 감지하여 데이터를 획득하고, 획득한 데이터를 제어부(200)에 전송할 수 있다. 제2 센서부(400)는 디스플레이(500) 속에 포함될 수 있으며, 디스플레이(500)에 장착될 수도 있다. 제2 센서부(400)는 아이트레킹 기술을 이용할 수 있으며, 복수의 카메라를 포함할 수 있다. 제2 센서부(400)는 Eye point를 검출하여 사용자(10) 시선 데이터를 획득할 수 있다. Eye point는 사용자(10)의 두 눈 사이의 가운데 지점을 의미할 수 있다. 디스플레이(500)는 영상 데이터의 화면을 출력할 수 있다. 영상 데이터의 화면을 출력한다는 것은 영상 데이터로부터 획득한 영상을 디스플레이를 통해 표시하는 것을 의미할 수 있다. 디스플레이(500)를 통해 사용자(10)는 제1 센서부(300)를 통해 획득한 영상을 확인할 수 있다. 입력부(100)는 사용자(10) 시선 움직임의 민감도를 설정할 수 있다. 민감도란 제2 센서부(400)를 통해서 실시간 획득하는 사용자(10)의 시선 데이터에 일정한 보정을 부가하는 것을 의미할 수 있다. 보정을 부가하는 것은 후술하듯 고주파수의 주파수를 제거하는 것을 의미할 수 있다. 사용자(10)는 민감도를 입력부(100)를 통해 설정할 수 있으며, 민감도는 사용자(10)의 설정에 따라 조절될 수 있다. 사용자(10)는 미리 정해진 주파수 이상의 고주파수에 대응되는 시선 데이터를 제거하도록 입력 할 수 있으며, 미리 정해진 주파수는 사용자(10)가 설정하여 사용자(10)의 시선 데이터를 획득 후 보정을 통해 시선 움직임 데이터를 획득하고 이를 기초로 원하는 결과 데이터를 획득하도록 설정될 수 있다. 제어부(200)는 제2 센서부(400)를 통해 사용자(10) 시선의 기준 벡터 데이터를 획득할 수 있다. 사용자(10) 시선의 기준 벡터 데이터는 후술하듯 사용자(10)가 설정하거나 사용자(10)의 결과 데이터를 획득하는 시점의 시선 벡터를 기준으로 하여 획득할 수 있다. 사용자(10) 시선의 기준 벡터 데이터는 사용자(10) 시선의 상대적인 위치 및 속도 데이터를 포함하는 시선 데이터를 획득하기 위해 기준이 되는 시선 데이터일 수 있다. 제어부(200)는 결과 데이터에 기초하여 디스플레이(500)에 결과 데이터에 대응되는 화면을 출력하도록 신호를 제어할 수 있다. 기어 변속부(600)는 차량(1)의 기어 장치를 의미할 수 있다. 기어 변속부(600)는 수동 또는 자동 기어장치 를 의미할 수 있다.
제어부(200)는 차량(1)의 제반 동작을 제어하는 프로세서로서, 동력 계통의 동작 전반을 제어하는 전자 장치(ECU; Electronic Control Unit)의 프로세서일 수 있다. 또한 제어부(200)는 차량(1) 내에 내장된 각종 모듈, 기기 등의 동작을 제어할 수 있다. 일 실시예에 의하면 제어부(200)는 차량(1) 내에 내장된 각종 모듈, 기기 등을 제어하기 위한 제어 신호를 생성하여 각 구성 요소들의 동작을 제어할 수 있다.
또한, 제어부(200)는 전술 및 후술하는 동작을 수행하는 프로그램 및 이와 관련된 각종 데이터가 저장된 메모리와, 메모리에 저장된 프로그램을 실행하는 프로세서를 포함 할 수 있다. 또한 제어부(200)는 차량(1)에 내장된 시스템 온 칩(System On Chip, SOC)에 집적될 수 있으며, 프로세서(processor)에 의해 동작될 수 있다. 다만, 차량(1)에 내장된 시스템 온 칩이 하나만 존재하는 것은 아니고, 복수 개일 수도 있으므로, 하나의 시스템 온 칩에만 집적되는 것으로 제한되지 않는다.
디스플레이부는 음극선관(Cathode Ray Tube: CRT), 디지털 광원 처리(Digital Light Processing: DLP) 패널, 플라즈마 디스플레이 패널(Plasma Display Penal), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 전기 발광(Electro Luminescence: EL) 패널, 전기영동 디스플레이(Electrophoretic Display: EPD) 패널, 전기변색 디스플레이(Electrochromic Display: ECD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 마련될 수 있으나, 이에 한정되지는 않는다.
입력부는 유저의 입력을 위해 각종 버튼이나 스위치, 페달(pedal), 키보드, 마우스, 트랙볼(track-ball), 각종 레버(lever), 핸들(handle)이나 스틱(stick) 등과 같은 하드웨어적인 장치를 포함할 수 있다.
또한, 입력부는 유저 입력을 위해 터치 패드(touch pad) 등과 같은 GUI(Graphical User interface), 즉 소프트웨어인 장치를 포함할 수도 있다. 터치 패드는 터치 스크린 패널(Touch Screen Panel: TSP)로 구현되어 디스플레이부와 상호 레이어 구조를 이룰 수 있다.
터치 패드와 상호 레이어 구조를 이루는 터치 스크린 패널(TSP)로 구성되는 경우, 디스플레이부는 입력부로도 사용될 수 있다.
제어부(200)는 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 통해 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 당업계에 알려져 있는 임의의 다른 형태로 구현될 수도 있다.
도 2에 도시된 장치의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 2에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도 3은 일 실시예에 의한 기준 벡터를 기준으로 사용자의 위치별 사용자 시선 데이터를 획득하는 동작을 예시한 도면이고, 도 4는 일 실시예에 의한 기준 벡터를 기준으로 사용자의 위치에 따른 디스플레이 화면을 출력하는 동작을 예시한 도면이며, 도 5는 일 실시예에 의한 결과 벡터의 획득 시점을 결정하는 동작을 예시한 도면이다.
도 3, 도 4 및 도 5를 구체적으로 살펴보면, 사용자의 기준 벡터 데이터를 기준으로 하여 시선 움직임 데이터의 상대적인 위치 및 속도 데이터를 포함하는 결과 데이터를 획득할 수 있다. 그러기 위해서 우선적으로 사용자의 기준 벡터 데이터를 획득해야 할 수 있다. 결과 데이터는 사용자 시선 데이터에 기초하여 사용자의 시선이 디스플레이(500)로부터 미리 정해진 거리 영역(d3,d4) 내 위치(10a)하면 획득하기 시작할 수 있다. 또한, 특정 알고리즘을 통해 시선 움직임 데이터를 분석하여 사용자의 시선이 디스플레이(500) 영역(d1,d2)에 미리 정해진 시간 내에 위치할 것으로 예측(10b)되면 결과 데이터를 획득하기 시작할 수 있다. 이때 기준 벡터 데이터는 결과 데이터를 획득하기 시작하는 시점의 시선 데이터가 될 수 있다. 또한 기준 벡터는 사용자 설정에 의해 미리 설정될 수 있다. 예를 들어서 미리 사용자가 편안하게 앉아 있는 자세를 설정하고, 편안하게 앉아 있는 자세에서 디스플레이(500)를 쳐다볼 때의 시선 데이터가 기준 벡터 데이터가 될 수 있다. 기준 벡터 데이터를 설정하는 방식은 사용자가 입력부를 통하여 설정할 수도 있으며, 이외에도 보편적인 방법으로 설정할 수 있다. 기준 벡터 데이터가 정해졌으면 이후 기준 벡터 데이터를 기준으로 하여 시선 움직임 데이터의 상대적인 위치 및 속도 데이터를 포함하는 결과 데이터를 획득하게 된다. 예를 들어서 사용자가 기준 벡터 데이터를 획득할 수 있는 위치(11)가 아닌 기준 벡터 데이터를 획득할 수 있는 위치보다 좌측(13L)에 위치하고 좀 더 높은(13U) 위치에 앉아 있다고 가정해보면, 기준 벡터 데이터를 중심으로 더 높은(13U) 위치에 있는 결과 데이터를 획득하게 되며, 더 좌측(13L) 위치의 결과 데이터를 획득할 수 있다. 기준 벡터 데이터를 획득할 수 있는 위치(11)로부터 좌측(13L) 또는 우측(13R)에 사용자가 있는 경우 각각의 위치에 따라 다른 결과 데이터를 획득할 수 있다. 예를 들어서 기준 벡터 데이터를 획득할 수 있는 위치에 있는 경우 제1 센서부(300)를 통해 정 가운데 부분의 영상 데이터(11a)를 획득할 수 있으나, 좌측에 있는 경우 제1 센서부(300)를 통해 가운데 보다 더 좌측에 있는 영상 데이터(12a)를 획득할 수 있고, 우측에 있는 경우(12R) 제1 센서부(300)를 통해 가운데 보다 더 우측에 있는 영상 데이터(13a)를 획득할 수 있다. 이는 제1 센서부(300)를 통해 획득할 수 있는 영상에 한계점이 있기 때문이다. 한계점이란 일정한 크기와 일정한 위치까지 획득할 수 있는 영상 데이터를 의미할 수 있다. 예를 들어서 기준 벡터 데이터를 획득할 수 있는 위치(11)로부터는 중간 각도(21)로부터 기준 벡터 데이터를 획득하여 중간 한계 각도(21a)까지 해당하는 화면 영상을 획득할 수 있고, 우측(12R)에 있는 경우 작은 각도(22)로부터 결과 데이터를 획득하여 작은 한계 각도(22a)까지 해당하는 화면 영상을 획득할 수 있고, 좌측(13L)에 있는 경우 넓은 각도(23)로부터 결과 데이터를 획득하여 넓은 한계 각도(23a)까지 해당하는 화면 영상을 획득할 수 있다. 한계 각도란 영상의 한계점이 있는 화면으로 나타낼 수 있는 각도를 의미할 수 있다. 결과 데이터를 획득하는 것은 기준 벡터 데이터로부터 좌우에 위치한 것으로 국한되는 것이 아닌 보다 높은(13U) 위치나 낮은(12D) 위치에 있는 것을 포함할 수 있다. 이때도 영상 데이터를 획득하는 것은 위와 같은 방식에 의한다.
도 6은 일 실시예에 의한 고주파수에 대응되는 사용자의 시선 데이터를 제거하여 시선 움직임 데이터를 획득하는 동작을 예시한 도면이다.
도 6을 구체적으로 살펴보면 사용자의 시선을 감지하여 사용자의 시선 움직임 데이터를 획득할 수 있다. 이후 시선 데이터에서 시선의 위치 데이터 값, 시선의 속도 데이터 값, 시선의 가속도 데이터 값 등을 획득할 수 있다. x축을 시간 y축을 시선의 위치 데이터 값, 시선의 속도 데이터 값, 시선의 가속도 데이터 값으로 하는 아날로그 데이터를 그래프로 표현할 수 있다. 이런 아날로그 데이터를 디지털 데이터로 변환할 수 있다. 디지털 데이터로 변환시 저역 필터를 통해 미리 정해진 주파수 대역 이상의 고주파수를 제거하는 과정을 거칠 수 있다. 미리 정해진 주파수 대역은 사용자가 입력부를 통해 민감도를 설정시 설정할 수 있다. 이러한 과정을 통해 고주파수에 대응되는 디지털 데이터를 제거한 후, 다시 아날로그 데이터로 변환하여 고주파수에 대응되는 시선 데이터의 일부를 제거한 시선 움직임 데이터를 획득할 수 있다. 시선 움직임 데이터를 획득하는 이유는 민감도가 너무 높을 경우 조금만 사용자가 눈을 움직이더라도 디스플레이를 보는 것으로 감지를 잘못하여 불필요하게 시선 움직임 데이터를 획득하는 것을 방지하기 위함이다. 아날로그 데이터를 먼저 살펴보면, 사용자의 시선 데이터를 판단시 변동성이 작은 데이터(22), 변동성이 중간인 데이터(21), 변동성이 큰 데이터(23)가 관측이 된다. 여기서 변동성이 큰 데이터(23)는 사용자 시선 데이터를 분석시 사용자의 시선이 너무 빨리 변화하여 측정된 것일 수 있으며, 이런 데이터까지 고려시 불필요한 데이터까지 고려하게 될 수 있다. 이를 위해 디지털 데이터로 변환한 후 고주파수에 대응되는 시선 데이터를 제거하게 된다. 이는 민감도를 설정시 함께 고려할 수 있다. 예를 들어서 민감도를 굉장히 낮게 한다면 주파수를 변동성이 작은 데이터(22)에 대응되는 주파수(22a) 이상의 고주파수를 제거하게 설정할 수 있으며, 변동성이 중간인 데이터(21)에 대응되는 주파수(21a) 이상의 고주파수를 제거하게 설정할 수 있고, 변동성이 큰 데이터(23)에 대응되는 주파수(23a) 이상의 고주파수를 제거하게 설정할 수 있다.
도 7은 일 실시예에 의한 사용자가 차량의 기어 변속부를 후방으로 변화시킨 경우 출력되는 디스플레이 화면을 예시한 도면이다.
도 7을 구체적으로 살펴보면 차량은 기어 변속부(600)를 포함할 수 있고, 제어부는, 사용자가 상기 기어 변속부를 통해 후진 기어를 입력하면, 결과 데이터에 대응하는 영상 데이터의 화면을 디스플레이의 하단 영역에 출력할 수 있다. 즉, 기어 변속부(600)를 통해 차량을 후방 주행 모드로 변경할 때 결과 데이터에 대응되는 화면보다 미리 정해진 기준 만큼의 하단 부분 화면을 출력하도록 신호를 제어할 수 있다. 예를 들어서 사용자가 전방을 향해 주향중인 경우 디스플레이(500)에 표시되는 영상(30a)은 결과 데이터를 통해 획득한 결과로 나타나는 영상일 수 있으나, 사용자가 기어변속기를 후방으로 변환 시키는 경우 화면이 미리 정해진 기준 만큼의 하단 부분 화면을 영상(30b)으로 보여줄 수 있다.
도 8은 일 실시예에 따른 순서도이다.
도 8을 구체적으로 살펴보면, 시선 데이터 및 기준 벡터 데이터를 획득할 수 있다(1001). 이후 시선 데이터 중 미리 정해진 주파수 이상의 고주파수에 대응되는 시선 데이터의 일부를 제거할 수 있다(1002). 이후 시선 움직임 데이터를 획득할 수 있다(1003). 이후 기준 벡터 데이터를 기준으로 하여 결과 데이터를 획득할 수 있다(1004). 이후 결과 데이터에 기초하여 결과 데이터에 대응되는 화면 출력 신호를 출력하도록 제어할 수 있다(1005). 이때 결과 데이터에 대응되는 화면이란, 결과 데이터에 기초하여 획득한 영상 데이터의 화면을 의미할 수 있다. 언급한 데이터들을 획득하는 방법은 위에서 서술한 바와 같다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1:차량
10:사용자
100:입력부
200:제어부
300:제1 센서부
400:제2 센서부
500:디스플레이
600:기어변속기

Claims (10)

  1. 후방의 영상 데이터를 획득하는 제1 센서부;
    사용자 시선 데이터를 획득하는 제2 센서부;
    상기 영상 데이터의 화면을 출력하는 디스플레이;
    상기 사용자 시선 움직임의 민감도를 설정하는 입력부;
    상기 시선 데이터를 획득하기 시작하는 시점의 상기 시선 데이터 또는 미리 설정된 상기 시선 데이터에 중 적어도 하나에 기초하여 상기 기준 벡터 데이터를 결정하고,
    상기 기준 벡터 데이터에 대응되는 상기 영상 데이터의 화면을 상기 디스플레이를 통해 출력하도록 제어 신호를 출력하고,
    상기 민감도에 기초하여 상기 시선 데이터 중 미리 정해진 주파수 이상의 고주파수에 대응되는 상기 시선 데이터의 일부를 제거한 시선 움직임 데이터를 획득하고,
    상기 기준 벡터 데이터를 기준으로 상기 시선 움직임 데이터의 상대적인 위치 및 속도 데이터를 포함하는 결과 데이터를 획득하고,
    상기 결과 데이터에 대응되는 상기 영상 데이터의 화면을 상기 디스플레이에 출력하도록 신호를 제어하는 제어부;를 포함하는 차량.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 시선 움직임 데이터에 기초하여 상기 사용자의 시선 초점이 상기 디스플레이로부터 미리 정해진 거리 내 위치하면 상기 결과 데이터를 획득하기 시작하는 차량.
  3. 제1항에 있어서,
    상기 제어부는
    상기 시선 데이터에 기초하여 상기 사용자의 시선 초점이 상기 디스플레이에 미리 정해진 시간 내에 위치할 것으로 예측되면 상기 결과 데이터를 획득하기 시작하는 차량.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 시선 데이터에 저역 필터를 적용하여 상기 미리 정해진 주파수 이상의 고주파수에 대응되는 상기 시선 데이터의 일부를 제거하여 시선 움직임 데이터를 획득하는 차량.
  5. 제1항에 있어서,
    기어 변속부;를 포함하고,
    상기 제어부는,
    상기 사용자가 상기 기어 변속부를 통해 후진 기어를 입력하면,
    상기 결과 데이터에 대응하는 영상 데이터의 화면을 상기 디스플레이의 하단 영역에 출력하는 차량.
  6. 제1 센서부를 통해 후방의 영상 데이터를 획득하고,
    제2 센서부를 통해 사용자 시선 데이터를 획득하고,
    디스플레이를 통해 상기 영상 데이터에 대응되는 화면을 출력하고,
    입력부를 통해 상기 사용자 시선 움직임의 민감도를 설정하고,
    상기 시선 데이터를 획득하기 시작하는 시점의 상기 시선 데이터 또는 미리 설정된 상기 시선 데이터에 중 적어도 하나에 기초하여 기준 벡터 데이터를 결정하고,
    상기 사용자 시선 데이터를 획득하기 시작하는 시점의 상기 사용자 시선 데이터 또는 미리 설정된 사용자 시선 데이터에 중 적어도 하나에 기초하여 상기 기준 벡터를 결정하고,
    상기 민감도에 기초하여 상기 시선 데이터 중 미리 정해진 주파수 이상의 고주파수에 대응되는 상기 시선 데이터의 일부를 제거한 시선 움직임 데이터를 획득하고,
    상기 기준 벡터 데이터를 기준으로 상기 시선 움직임 데이터의 상대적인 위치 및 속도 데이터를 포함하는 결과 데이터를 획득하고,
    상기 결과 데이터에 대응되는 상기 영상 데이터의 화면을 상기 디스플레이에 출력하도록 신호를 제어하는 차량의 제어 방법.
  7. 제6항에 있어서,
    상기 결과 데이터를 획득하는 것은,
    상기 시선 움직임 데이터에 기초하여 상기 사용자의 시선 초점이 상기 디스플레이로부터 미리 정해진 거리 내 위치하면 상기 결과 데이터를 획득하기 시작하는 것을 포함하는 차량의 제어 방법.
  8. 제6항에 있어서,
    상기 상기 결과 데이터를 획득하는 것은,
    상기 시선 데이터에 기초하여 상기 사용자의 시선 초점이 상기 디스플레이에 미리 정해진 시간 내 위치할 것으로 예측되면 상기 결과 데이터를 획득하기 시작하는 것을 포함하는 차량의 제어 방법.
  9. 제6항에 있어서,
    상기 시선 움직임 데이터를 획득하는 것은,
    상기 시선 데이터에 저역 필터를 적용하여 상기 미리 정해진 주파수 이상의 고주파수에 대응되는 상기 시선 데이터의 일부를 제거하는 것을 포함하는 차량의 제어 방법.
  10. 제8항에 있어서,
    상기 결과 데이터에 대응되는 화면을 출력하도록 신호를 제어하는 것은,
    상기 사용자가 기어 변속부를 통해 후진 기어를 입력하면, 상기 결과 데이터에 대응되는 영상 데이터의 화면을 상기 디스플레이의 하단 영역에 출력하도록 신호를 제어하는 것을 포함하는 차량의 제어 방법.
KR1020200139452A 2020-10-26 2020-10-26 차량 및 그 제어방법 KR20220055541A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200139452A KR20220055541A (ko) 2020-10-26 2020-10-26 차량 및 그 제어방법
DE102021211774.0A DE102021211774A1 (de) 2020-10-26 2021-10-19 Fahrzeug und verfahren zur steuerung desselben
US17/504,885 US11801846B2 (en) 2020-10-26 2021-10-19 Vehicle and method of controlling the same
CN202111245893.2A CN114506279A (zh) 2020-10-26 2021-10-26 车辆及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200139452A KR20220055541A (ko) 2020-10-26 2020-10-26 차량 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20220055541A true KR20220055541A (ko) 2022-05-04

Family

ID=81077152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200139452A KR20220055541A (ko) 2020-10-26 2020-10-26 차량 및 그 제어방법

Country Status (4)

Country Link
US (1) US11801846B2 (ko)
KR (1) KR20220055541A (ko)
CN (1) CN114506279A (ko)
DE (1) DE102021211774A1 (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100775105B1 (ko) * 2006-09-06 2007-11-08 이동욱 자동차 안전운전을 위한 전방 시선확보용 외부 모니터링시스템
US20160280136A1 (en) * 2014-03-05 2016-09-29 Guy M. Besson Active-tracking vehicular-based systems and methods for generating adaptive image
EP3040809B1 (en) * 2015-01-02 2018-12-12 Harman Becker Automotive Systems GmbH Method and system for controlling a human-machine interface having at least two displays
JP6828266B2 (ja) * 2016-04-18 2021-02-10 ソニー株式会社 画像表示装置及び画像表示装置、並びに移動体
EP3562708B1 (en) 2016-12-27 2021-02-17 Gentex Corporation Rear vision system with eye-tracking
JP7011568B2 (ja) * 2018-11-26 2022-01-26 本田技研工業株式会社 車載装置
US10809801B1 (en) * 2019-05-16 2020-10-20 Ambarella International Lp Electronic mirror visual parameter adjustment method

Also Published As

Publication number Publication date
CN114506279A (zh) 2022-05-17
US20220126838A1 (en) 2022-04-28
DE102021211774A1 (de) 2022-04-28
US11801846B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
US9972136B2 (en) Method, system and device for navigating in a virtual reality environment
US8085243B2 (en) Input device and its method
US9244527B2 (en) System, components and methodologies for gaze dependent gesture input control
US8947351B1 (en) Point of view determinations for finger tracking
US9405977B2 (en) Using visual layers to aid in initiating a visual search
US10019107B2 (en) Correcting for parallax in electronic displays
US20150049013A1 (en) Automatic calibration of eye tracking for optical see-through head mounted display
US20130024047A1 (en) Method to map gaze position to information display in vehicle
US20160004321A1 (en) Information processing device, gesture detection method, and gesture detection program
WO2016170872A1 (ja) 情報表示装置及び情報表示方法
EP3891585A1 (en) Biofeedback method of modulating digital content to invoke greater pupil radius response
CN108885496B (zh) 信息处理装置、信息处理方法和程序
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
US20130187845A1 (en) Adaptive interface system
KR20150025041A (ko) 안구 인식을 이용한 마우스 커서 제어 방법 및 그 전자 장치
KR20220055541A (ko) 차량 및 그 제어방법
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
KR20200106123A (ko) 차량 및 차량의 제어방법
JP2016035654A (ja) 視線検出装置および視線入力システム
TWI479363B (zh) 具有指向功能的可攜式電腦及指向系統
KR102524097B1 (ko) 안구 기반 개인화 헤드 마운티드 디스플레이 장치 및 그 제어 방법
US11567633B2 (en) Intention image analysis for determining user focus
CN117136347A (zh) 用于触摸稳定的方法、系统和计算机程序
JP2016157457A (ja) 操作入力装置、操作入力方法及び操作入力プログラム
US20180239487A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination