KR20210113070A - 주의 기반 알림 - Google Patents

주의 기반 알림 Download PDF

Info

Publication number
KR20210113070A
KR20210113070A KR1020210028114A KR20210028114A KR20210113070A KR 20210113070 A KR20210113070 A KR 20210113070A KR 1020210028114 A KR1020210028114 A KR 1020210028114A KR 20210028114 A KR20210028114 A KR 20210028114A KR 20210113070 A KR20210113070 A KR 20210113070A
Authority
KR
South Korea
Prior art keywords
frequency
notification
visual stimulus
attention
user
Prior art date
Application number
KR1020210028114A
Other languages
English (en)
Inventor
조셉 베르베케
밍웬 동
스벤 크라츠
아담 불랑제
스테판 마티
에브게니 부르미스트로프
Original Assignee
하만인터내셔날인더스트리스인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만인터내셔날인더스트리스인코포레이티드 filed Critical 하만인터내셔날인더스트리스인코포레이티드
Publication of KR20210113070A publication Critical patent/KR20210113070A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/65—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B60K2360/149—
    • B60K2360/21—
    • B60K2360/741—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identical check
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Abstract

시스템은 차량 탑승자에게 알림을 제공하고 탑승자가 알림에 주의를 기울였는지 여부를 결정할 수 있다. 시스템은 출력 주파수에서 시각적 알림을 진동시킨다. 시스템은 탑승자의 눈 이미지들을 캡처하여 탑승자와 연관된 눈 동공 진동 주파수를 결정한다. 시스템은 눈 동공 진동 주파수를 출력 주파수와 비교한다. 시스템은 출력 주파수와 눈 동공 진동 주파수가 일치하는지 여부에 따라 알림에 주의가 주어졌는지 여부를 결정한다. 주의가 주어지지 않았다고 시스템이 결정하면, 시스템은 하나 이상의 후속 동작들을 수행할 수 있다.

Description

주의 기반 알림{ATTENTION-BASED NOTIFICATIONS}
다양한 실시 예들은 일반적으로 디바이스 알림(device notifications)에 관한 것이고, 보다 구체적으로는 주의 기반(attention-based) 알림에 관한 것이다.
차량은, 운행 중에, 운전자와 같은 차량 탑승자에게 다른 정보를 전달할 수 있다. 정보에는 차량 및/또는 내부 서브시스템의 상태에 관한 정보, 차량 주변 환경에 관한 정보, 차량 내 작동 또는 엔터테인먼트에 관한 정보 등이 포함될 수 있다. 차량은 시각, 청각 또는 촉각으로 탑승자에게 정보를 전달할 수 있다.
차량에 의한 시각 정보 전달을 위한 종래의 접근 방식은 일반적으로 표시기(indicator) 점등 및/또는 디스플레이에 경보 또는 알림(notification)의 표시를 포함한다. 이러한 접근 방식의 단점은 탑승자가 표시기 또는 알림과 상호 작용하지 않는 한 탑승자가 실제로 표시기 또는 알림에 주의를 기울였는지 여부를 차량이 알지 못한다는 것이다. 예를 들어, 알림은 탑승자에게 예/아니오 응답 입력을 요청하고 탑승자가 입력을 할 때까지 계속 표시될 수 있다. 다른 예로, 탑승자가 알림을 해제하지 않는 한 알림이 무기한 표시될 수 있다. 표시기 또는 알림과의 강제 상호 작용은 차량을 운전하거나 차량의 다른 탑승자를 돌보는 것과 같은 더 중요한 작업에서 탑승자의 주위를 분산시킬 수 있다.
이 단점을 해결하기 위한 시도는 탑승자의 시선 방향을 감지하는 것이다. 예를 들어, 차량은 탑승자의 눈을 추적하는 카메라 시스템을 포함할 수 있다. 시선의 방향이 알림과 일치하면, 탑승자가 알림에 주의를 기울인 것으로 판단된다. 이 접근법의 단점은 주의(attention)를 결정하는 데 시선이 신뢰할 수 없는 기준이라는 것이다. 알림이 탑승자의 초점에 있는 경우에도 탑승자는 알림에 주의를 기울이지 않을 수 있다. 예를 들어, 탑승자는 몽상을 하고 있어 초점에 있는 알림에 주의를 기울이지 않을 수 있다. 다른 예로서, 초점에 다중 알림들이 있을 수 있다. 시선을 기반으로 다중 알림들 각각에 대한 주의를 결정하는 것은 어려울 수 있다.
전술한 바와 같이, 알림에 대한 주의를 결정하기 위한 보다 효과적인 기술이 필요하다.
하나 이상의 실시 예들은 제1 시각 자극이 제1 주파수에서 진동하게 하는 단계, 사용자 특성과 연관된 제2 주파수를 결정하는 단계, 제2 주파수가 제1 주파수와 일치하지 않는다는 결정에 기초하여, 하나 이상의 동작들이 수행되게 하는 단계를 포함하는 컴퓨터 구현 방법을 제시한다.
추가 실시 예들은, 특히, 위에서 설명된 방법을 구현하도록 구성된 시스템 및 하나 이상의 컴퓨터 판독 가능 저장 매체를 제공한다.
개시된 기술의 적어도 하나의 이점 및 기술적 개선은 컴퓨팅 시스템(예를 들어, 차량용 컴퓨팅 디바이스)이 사용자로부터 상호 작용 응답을 요구하지 않고 알림에 주어진 주의 또는 주의 부족을 결정할 수 있다는 것이다. 따라서, 컴퓨팅 시스템은, 사용자(예를 들어, 차량 탑승자)가 다른 작업으로부터 주의를 분산시키지 않으면서, 사용자가 알림에 주의를 기울이고 있는지 확인할 수 있다.
상기 언급된 다양한 실시 예들의 특징들이 상세히 이해될 수 있도록, 위에서 간략히 요약된 본 발명의 개념에 대한 보다 구체적인 설명이 다양한 실시 예들을 참조하여 예시될 수 있으며, 이들 중 일부는 첨부된 도면들에 도시되어 있다. 그러나, 첨부된 도면들은 본 발명의 개념의 전형적인 실시 예만을 예시하고 따라서 어떤 방식으로든 범위를 제한하는 것으로 간주되어서는 안되며 다른 동등하게 효과적인 실시 예가 존재한다는 점에 유의해야 한다.
도 1은 다양한 실시 예들의 하나 이상의 양태들에 따른 차량의 컴퓨팅 시스템의 블록도이고;
도 2는 다양한 실시 예들의 하나 이상의 양태들에 따른 차량 내에 제시될 수 있는 예시적인 알림들을 도시하고;
도 3a 및 도 3b는 다양한 실시 예들의 하나 이상의 양태들에 따른 주의 기반 알림을 제시하기 위한 프로세스의 흐름도이고;
도 4는 다양한 실시 예들의 하나 이상의 양태들에 따른 주의 기반 알림을 제시하기 위한 방법 단계들의 흐름도이며; 그리고
도 5는 다양한 실시 예들의 하나 이상의 양태들에 따른 주의 기반 알림을 제시하기 위한 방법 단계들의 다른 흐름도이다.
다음의 설명에서, 다양한 실시 예들의 보다 철저한 이해를 제공하기 위해 다수의 특정 세부 사항들이 제시된다. 그러나, 본 발명의 개념이 이러한 특정 세부 사항들 중 하나 이상 없이도 실시될 수 있다는 것은 당업자에게 명백할 것이다.
도 1은 다양한 실시 예들의 하나 이상의 양태들에 따른 차량의 컴퓨팅 시스템(computing system)(100)의 블록도를 도시한다. 컴퓨팅 시스템(100)은 차량의 하나 이상의 구성 요소들 및/또는 서브시스템들을 제어 및/또는 이와 상호 작용할 수 있다. 컴퓨팅 시스템(100)은 컴퓨팅 디바이스(101)를 포함한다. 일부 실시 예들에서, 컴퓨팅 디바이스(101)는 차량의 헤드 유닛(head unit)일 수 있다. 도시된 바와 같이, 컴퓨팅 디바이스(101)는, 제한 없이, 하나 이상의 프로세서들(102), I/O 디바이스 인터페이스(104), 네트워크 인터페이스(106), 상호 연결(112), 저장소(114) 및 메모리(116)를 포함한다. 프로세서(들)(102) 및 메모리(116)는 임의의 기술적으로 가능한 방식으로 구현될 수 있다. 예를 들어, 그리고 제한 없이, 다양한 실시 예들에서, 프로세서(102) 및 메모리(116)의 임의의 조합은 독립형 칩(stand-alone chip) 또는 ASIC(application-specific integrated circuit), SoC(system-on-a-chip) 등으로 구현되는 보다 포괄적인 솔루션의 일부로 구현될 수 있다. 프로세서(들)(102), I/O 디바이스 인터페이스(104), 네트워크 인터페이스(106), 저장소(114) 및 메모리(116)는 상호 연결(112)을 통해 서로 통신 가능하게 결합될 수 있다.
하나 이상의 프로세서들(102)은 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), ASIC(application-specific integrated circuit), FPGA(Field Programmable Gate Array), 텐서 처리 장치(TPU), 기타 유형의 처리 장치 또는 GPU와 함께 작동하도록 구성된 CPU와 같은 다중 처리 장치들의 조합과 같은 임의의 적절한 프로세서를 포함할 수 있다. 일반적으로, 하나 이상의 프로세서들(102) 각각은 데이터를 처리하고 및/또는 소프트웨어 어플리케이션 및 모듈을 실행할 수 있는 임의의 기술적으로 실행 가능한 하드웨어 유닛일 수 있다.
저장소(114)는 어플리케이션, 소프트웨어 모듈 및 데이터를 위한 비 휘발성 저장소를 포함할 수 있으며, 고정 또는 이동식 디스크 드라이브, 플래시 메모리 디바이스 및 CD-ROM, DVD-ROM, Blu-Ray, HD-DVD 또는 기타 자기, 광학, 솔리드 스테이트 저장 디바이스 등을 포함할 수 있다.
메모리(116)는 랜덤 액세스 메모리(RAM) 모듈, 플래시 메모리 유닛, 또는 임의의 다른 유형의 메모리 유닛 또는 이들의 조합을 포함할 수 있다. 하나 이상의 프로세서들(102), I/O 디바이스 인터페이스(104) 및 네트워크 인터페이스(106)는 메모리(116)로부터 데이터를 판독하고 이에 데이터를 기록하도록 구성된다. 메모리(116)는 프로세서(들)(102)에 의해 실행될 수 있는 다양한 소프트웨어 프로그램들 및 모듈들(예를 들어, 운영 체제, 하나 이상의 어플리케이션들) 및 상기 소프트웨어 프로그램들과 관련된 어플리케이션 데이터(예를 들어, 저장소(114)로부터 로딩(loading)된 데이터)를 포함한다.
일부 실시 예들에서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크들(160)에 통신 가능하게 결합된다. 네트워크(160)는 컴퓨팅 디바이스(101)와 서버, 클라우드 컴퓨팅 시스템 또는 기타 네트워크 컴퓨팅 디바이스 또는 시스템과 같은 원격 시스템 또는 디바이스(도시되지 않음) 사이에서 데이터가 교환될 수 있도록 하는 임의의 기술적으로 가능한 유형의 통신 네트워크일 수 있다. 예를 들어, 네트워크(160)는 특히 광역 통신망(WAN), 근거리 통신망(LAN), 무선 네트워크(예를 들어, Wi-Fi 네트워크, 셀룰러 데이터 네트워크) 및/또는 인터넷을 포함할 수 있다. 컴퓨팅 디바이스(101)는 네트워크 인터페이스(106)를 통해 네트워크(들)(160)와 연결할 수 있다. 일부 실시 예들에서, 네트워크 인터페이스(106)는 네트워크(들)(160)에 연결하고 인터페이싱하도록 구성되는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합이다.
I/O 디바이스들(108)은 터치 패드, 터치 감지 스크린, 버튼, 노브, 다이얼, 조이스틱, 마이크 등과 같은 입력을 제공할 수 있는 디바이스들뿐만 아니라 디스플레이 디바이스, 오디오 스피커, 표시등(indicator light) 등과 같이 출력을 제공할 수 있는 디바이스들을 포함할 수 있다. 예를 들어, I/O 디바이스들(108)은 오디오 스피커(132), 하나 이상의 디스플레이 디바이스들(134), 다양한 입력 디바이스들(138)(예를 들어, 버튼, 노브, 다이얼 등) 및 표시등(indicator light)(136)(예를 들어, 대시보드, 센터 콘솔, 운전자 계기판, 사이드 미러 등의 표시기)을 포함할 수 있다. 디스플레이들(134)의 예시는, 제한없이, LCD 디스플레이, LED 디스플레이, 터치 감지 스크린, 투명 디스플레이, 프로젝션 시스템(예를 들어, 헤드-업 디스플레이 프로젝션 시스템, 윈드실드 프로젝션 시스템, 마이크로 프로젝션 시스템), 광학 결합기(optical combiner) 등을 포함한다. 추가적으로, I/O 디바이스들(108)는 터치 감지 스크린, USB(Universal Serial Bus) 포트 등과 같이 입력을 수신하고 출력을 제공할 수 있는 디바이스들을 포함할 수 있다.
I/O 디바이스들(108)은 차량 내부 및/또는 차량 주변 환경에서 다양한 특징들을 측정 및/또는 모니터링하는 하나 이상의 센서 디바이스들(140)을 더 포함한다. 센서 디바이스들(140)은 하나 이상의 이미징 디바이스들(142)(예를 들어, RGB 카메라, 적외선 카메라)을 포함한다. 이미징 디바이스들(142)은 운전석에 앉아 있는 운전자의 적어도 하나의 눈이 이미징 디바이스의 시야(field of view) 내에 있도록 차량 내의 운전석을 향하는 적어도 하나의 이미징 디바이스를 포함한다. 이미징 디바이스는 운전자의 한쪽 또는 양쪽 눈을 커버하도록 이미징 디바이스의 시야를 배치하기 위해 자동 및/또는 수동으로 조정될 수 있다. 일부 실시 예들에서, 이미징 디바이스(142)는 초당 30 프레임 또는 그 이상으로 이미지들을 캡처하도록 구성된다. 이미징 디바이스들(142)은 차량 내부 및/또는 외부의 이미지들을 캡처하도록 배치되고 배향된 추가 이미징 디바이스를 포함할 수 있다. 센서 디바이스들(140)는 추가 센서 디바이스들을 포함할 수 있으며, 그 예로는, 제한없이, 가속도계, 자이로스코프, 생체 인식 센서, 온도 센서, 회전 센서, 진동 센서, 문 닫힘 센서, 광 센서, 지리적 위치 센서(예를 들어, GPS 모듈) 등이 포함된다.
컴퓨팅 디바이스(101)는, I/O 디바이스 인터페이스(104)를 통해, 차량의 하나 이상의 차량 서브시스템들(122)에 연결될 수 있다. 차량 서브시스템들(122)은 차량의 다양한 양태, 기능 및/또는 구성 요소들과 관련된 서브시스템들을 포함한다. 예를 들어, 차량은 연료 서브시스템, 타이어 서브시스템, 엔진 서브시스템, 전송 서브시스템, 운전자 보조 서브시스템, 유지 보수 추적 서브시스템, 차량 도어 서브시스템, 내비게이션 서브시스템, 인포테인먼트 서브시스템 등을 포함할 수 있다. 이러한 서브시스템들은 차량의 다양한 양태들(예를 들어, 남은 연료 용량, 분당 엔진 회전 수, 엔진 문제, 엔진 온도, 타이어 압력, 다음 제안된 유지 보수 활동까지 남은 거리, 근처의 보행자 및 다른 차량 등)을 모니터링하고 및/또는 I/O 디바이스들(예를 들어, 센서 장치들(140))과 함께 다양한 동작들을 수행하고 이러한 양태들 또는 동작들과 관련된 알림(예를 들어, 일정 수준 이하의 연료 잔량, 일정 수준 이하의 타이어 공기압, 주기적 상태 알림, 차량 경로로 갑자기 진입하는 보행자, 음악 재생 종료 등)에 대한 트리거 조건을 감지할 수 있다. 일부 실시 예들에서, 센서 장치들(140) 중 하나 이상 및/또는 I/O 디바이스들(108) 중 하나 이상이 차량 서브시스템들(122)에 포함된다. 일부 실시 예들에서, 차량 서브시스템(122)은 하드웨어 구성 요소, 소프트웨어 모듈, 또는 하드웨어 구성 요소와 소프트웨어 모듈의 조합을 포함하고, 이러한 하드웨어 구성 요소 및 소프트웨어 모듈은 임의의 기술적으로 실행 가능한 방식으로 구현될 수 있다. 차량 서브시스템(122)이 알림을 위한 트리거 조건을 검출하면, 차량 서브시스템(122)은 I/ O 디바이스들(108)을 통해 시각적 알림의 출력을 발생시키기 위해(예를 들어, 디스플레이(들)(134), 표시등(들)(136), 등) 컴퓨팅 디바이스(101)에 알림 신호를 전송한다.
본원에서 사용된 알림("경보(alert)"라고도 함)은 차량 내 정보의 표시이다. 알림에 표시되는 정보는 차량(예를 들어, 차량 구성 요소의 상태), 차량 탑승자 및/또는 차량 주변 환경(예를 들어, 사각 지대에 있는 차량, 차량 경로에 있는 장애물 등)에 대한 정보일 수 있다. 알림은 시각적, 촉각 적 및/또는 청각적일 수 있다. 시각적 알림에는 텍스트, 그래픽, 기호(들)(예를 들어, 아이콘) 및/또는 이들의 조합이 포함될 수 있다. 청각 알림에는 언어(speech) 및/또는 비언어적(non-speech) 소리(예를 들어, 음색(tone), 경고음(beep) 등)가 포함될 수 있다. 촉각(또는 "햅틱(haptic)") 알림에는 진동, 움직임 및/또는 힘 피드백이 포함될 수 있다. 알림의 예로는, 제한없이, 연료 부족 경보(대략적인 잔여 범위를 나타내는 숫자를 포함할 수 있음), 엔진 과열 경고, 타이어 공기압 부족 경보, 차량 문 열림 경보, 차선 이탈 경보, 사각 지대 경보, 이동 방향에서 장애물까지의 거리 감소를 경고하는 경보, 유지 보수 조치 예정 경보 등이 있습니다.
메모리(116)는 주의 기반(attention-based) 알림 어플리케이션(150)(이하 "알림 어플리케이션(150)")을 포함한다. 알림 어플리케이션(150)은 저장소(114)에 저장되고 그로부터 로딩될 수 있다. 동작 시, 알림 어플리케이션(150)은 차량 서브시스템(122)으로부터 알림 신호를 수신하고, 알림 신호에 대응하는 알림을 I/O 디바이스(108)(예를 들어, 디스플레이(134), 표시등(136), 스피커(132) 등)를 통해 사용자(예를 들어, 운전자와 같은 차량 탑승자)에게 출력하고, 사용자와 관련된 센서 데이터 획득하고, 동공 주파수 태깅(pupil frequency tagging)을 기반으로 한 기술을 사용하여 센서 데이터를 기반으로 사용자의 알림에 대한 주의를 결정한다. 특히, 다양한 실시 예들에서, 알림 어플리케이션(150)은 특정 진동 주파수(oscillation frequency)(예를 들어, 알림의 밝기의 진동의 주파수)에서 시각적 알림을 출력한다. 알림 어플리케이션(150)은 추가적으로 센서 데이터에 기초하여, 특히 센서 데이터가 사용자의 실질적으로 또는 거의 동일한 진동 주파수에서의 반응(예를 들어, 사용자 동공의 수축 및 팽창) 보임을 나타내는지 여부에 기초하여, 알림에 주어진 주의(또는 주의 부족)를 결정한다. 일부 실시 예들에서, 알림 어플리케이션(150)은 결정된 주의 또는 그것의 부족에 기초하여 추가 동작을 수행할 수 있다. 알림 어플리케이션(150)의 동작은 도 2 내지 도 5와 관련하여 아래에서 더 설명된다.
도 2는 다양한 실시 예들의 하나 이상의 양태들에 따른 차량 내에 제시될 수 있는 예시적인 알림들을 도시한다. 도 2는 차량 내부(200), 특히 차량 내부에서 전면 유리창(front windshield)(208)을 향한 뷰를 도시한다. 차량 내부(200)는 속도계, 주행 거리계, 타코미터(tachometer) 등과 같은 다양한 기계 장치(instrumentation) 및 게이지들을 포함할 수 있는 운전자 대시보드 또는 계기판(instrument panel)(202)을 포함한다. 대시보드(202)는 하나 이상의 표시등들(136)을 더 포함할 수 있으며, 이들 각각은 차량의 제조업체 또는 설계자에 의해 정의된 특정 정보를 전달하는 다른 심볼 또는 아이콘에 대응한다. 예를 들어, 대시보드(202) 상의 표시등(218)은 열려 있는 차량 도어를 나타내는 심볼을 점등하고, 대시보드(202)상의 다른 표시등(136)은 다른 정의된 의미를 갖는 심볼을 점등하고 및/또는 다른 정의된 정보를 전달할 수 있다. 차량 내부(200)는 또한 하나 이상의 디스플레이들(134)을 포함할 수 있으며, 그 예시는 대시보드(202)의 중간에 대시보드 디스플레이(204), 중앙 콘솔 디스플레이(center console display)(214)(예를 들어, 인포테인먼트 및/또는 내비게이션 디스플레이) 및 증강 현실 콘텐츠(예를 들어, 알림, 랜드마크 정보, 내비게이션 정보)를 전면 유리창(208)에 투사하는 헤드 업 디스플레이 프로젝션 시스템(미도시), 콘텐츠가 전면 유리창(208) 외부에 있는 것처럼 보이도록 콘텐츠를 출력하도록 구성된 광학 결합기(optical combiner), 또는 차량 내부(200) 내의 다른 패널을 포함한다. 추가적으로 또는 대안적으로, 전면 유리창(208)은 투명 디스플레이의 일부일 수 있다. 작동중인 알림 어플리케이션(150)은 차량 내부(200)의 디스플레이(134) 및 표시등(136) 중 임의의 것을 통해 차량의 탑승자(예를 들어, 운전자)에게 시각적 알림을 제공할 수 있다.
예를 들어, 차량 서브시스템(122)(예를 들어, 연료 서브시스템)이 차량에 남아 있는 연료가 특정 임계 값(다중 잔여 연료 임계 값들 중 하나일 수 있음) 미만이라고 결정하면, 연료 서브시스템은 연료 부족 알림의 표시를 활성화하기 위해 알림 어플리케이션(150)에 알림 신호를 전송할 수 있다. 알림 신호는 알림에서 전달될 정보의 콘텐츠(예를 들어, 연료 부족 알림의 잔량 범위) 및 알림의 양식(modality)(예를 들어, 알림이 시각, 촉각 및/또는 청각인지 여부, 알림을 표시하기 위해 차량 내부(200)에 표시되는 표시등 및/또는 텍스트를 통해 알림이 표시되는지 여부)을 포함할 수 있다. 일부 실시 예들에서, 알림 신호는 알림의 유형에(그리고 알림의 콘텐츠에, 선택적으로 양식에 암시적으로) 대응하는 코드를 포함할 수 있다. 예를 들어, 차량은 미리 정의된 코드 세트를 포함할 수 있으며, 코드 세트의 각 코드는, 연관된 콘텐츠 및 양식을 포함하는, 특정 알림에 매핑된다. 알림 신호는 코드 세트로부터 의도된 알림에 대한 코드를 포함할 수 있으며, 알림 어플리케이션(150)은 대응하는 알림에 대한 코드의 매핑에 기초하여 알림을 생성한다. 일부 실시 예들에서, 전달될 정보가 하나의 양식과 연관되는 경우 양식은 생략될 수 있다. 위의 예를 계속하면, 연료 부족 알림에 대한 알림 신호는 알림이 대시보드 디스플레이(204)에 텍스트로 표시된다는 것을 나타낼 수 있다. 알림 신호는 연료 부족 경보의 남은 범위 정보에 대해 40(예를 들어, 40 마일)의 값을 더 포함할 수 있다.
연료 서브시스템으로부터 알림 신호를 수신한 것에 응답하여, 알림 어플리케이션(150)은 대시보드 디스플레이(204)에 표시될 알림을 생성한다. 예를 들어, 알림 어플리케이션(150)은 "연료 부족! 40마일 주행 가능"을 표시하는 알림(206)을 생성할 수 있다. 일부 예들에서, 알림 어플리케이션(150)은 알림을 위한 진동 주파수를 추가로 선택할 수 있다. 진동 주파수는 알림이 표시될 때 알림 어플리케이션(150)이 알림을 진동시키는 주파수이다. 일부 실시 예에서, 주파수는 미리 정의된 주파수들의 세트로부터 선택된다(예를 들어, 저장소(114)에 저장된 주파수들의 테이블에서). 일부 다른 실시 예들에서, 주파수는 미리 정의된 주파수들의 범위로부터 무작위로 선택된다. 일부 실시 예들에서, 미리 정의된 주파수들의 세트 또는 미리 정의된 주파수들의 범위는 알림의 진동에 응답하여 눈 동공 진동 주파수의 검출 가능성을 최적화하기 위해 경험적으로 차량의 제조업체 또는 설계자에 의해 정의된다.
알림(206)이 생성되고 진동 주파수가 선택된 후, 알림 어플리케이션(150)은 선택된 진동 주파수에서의 진동을 갖는 알림(206)을 대시보드 디스플레이(204)에 출력한다. 일부 실시 예들에서, 알림 어플리케이션(150)은 선택된 주파수에서 대시보드 디스플레이(204) 상의 알림(206)의 밝기의 크기(amplitude of a brightness)를 진동시킨다. 밝기(특히 밝기의 크기)를 진동시키는 것은 알림(206)의 콘텐츠(예를 들어, 텍스트)의 밝기를 조정하는 것, 알림(206)의 배경의 밝기를 조정하는 것, 또는 이들의 조합을 포함할 수 있다. 일부 실시 예들에서, 밝기의 조정은 제1 밝기 수준(예를 들어, 비교적 높은 밝기 수준)과 제2 밝기 수준(예를 들어, 비교적 낮은 밝기 수준) 사이의 앞뒤로의 전환을 포함한다. 일부 실시 예에서, 제1 및 제2 밝기 수준들은 탑승자 주위의 주변 광(ambient light) 수준의 관점에서 검출 가능할 정도로 충분히 큰 분리를 갖도록 알림 어플리케이션(150)에 의해 선택된다. 탑승자 주위의 주변 광의 수준은 센서 디바이스(140)(예를 들어, 광 센서)를 통해 감지될 수 있다. 제1 및 제2 밝기 수준들 사이의 전환은 점진적이거나(예를 들어, 연속 전환) 불연속적(예를 들어, 단계적 전환)일 수 있다. 일부 예들에서, 알림(206)가 각각의 밝기 수준들에 있는 시간의 양은 동일하거나 상이할 수 있다. 알림(206)이 진동과 함께 디스플레이 되는 동안, 알림 어플리케이션(150)은 차량 내의 이미징 디바이스(142)를 통해 차량 탑승자의 적어도 한쪽 눈의 이미지들의 시퀀스(sequence)를 획득한다. 예를 들어, 알림 어플리케이션(150)은 이미징 디바이스(142)에 의해 캡처된 이미지에 기초하여 오브젝트 인식 및/또는 임의의 다른 기술적으로 가능한 기술(예를 들어, 얼굴 박스 검출)을 수행하여, 탑승자의 눈(특히 눈동자)을 인식하고, 선택적으로 이미징 디바이스(142)를 탑승자의 눈을 향하게 할 수 있다. 알림 어플리케이션(150)은 이미징 디바이스(142)를 통해 눈의 이미지들의 시퀀스를 캡처할 수 있다. 알림 어플리케이션(150)은 그 후 일정 기간 동안 눈의 동공의 직경의 변화를 측정하기 위해 이미지들의 시퀀스를 처리하고, 동공의 직경 변화에 기초하여 눈에 의해 나타나는 주파수(예를 들어, 눈의 동공 수축 및 확장의 주파수)를 결정한다. 일부 실시 예들에서, 눈의 이미지들의 처리 및 눈 동공 진동 주파수의 결정은 눈 동공 진동 주파수를 결정하기 전에 여러 주기들 동안(예를 들어, 5 내지 10 주기들) 동공 직경 변화를 확인함으로써 데이터 획득 및 신호 처리의 지연을 처리할 수 있다.
알림(206)의 진동 주파수와 눈 동공 진동 주파수가 일치하지 않으면(예를 들어, 두 주파수들 사이의 차이가 미리 정의된 허용 오차를 벗어남), 알림 어플리케이션(150)은 탑승자가 알림(206)에 주의를 기울이지 않았다고 결정한다. 이에 응답하여, 알림 어플리케이션(150)은 부정적인 주의 신호를 연료 서브시스템에 전송할 수 있으며, 이 경우 연료 서브시스템은 다른 알림 신호를 알림 어플리케이션(150)에 전송할 수 있다. 다른 알림 신호는 알림(206)을 단계적 확대(escalation)시키기 위해 알림에 대한 추가의 또는 대안적인 양식들 및/또는 알림에 포함할 추가 또는 대안 정보를 나타낼 수 있다. 추가적으로 또는 대안적으로, 알림 어플리케이션(150)은 하나 이상의 추가 동작들을 자동으로 수행할 수 있다. 예를 들어, 알림 어플리케이션(150)은 연료 서브시스템으로부터의 또 다른 알림 신호를 기다리지 않고 추가의 또는 대안적인 양식들(예를 들어, 시각적 알림에 수반되는 소리 출력)을 통해 알림을 출력함으로써 알림(206)을 단계적 확대할 수 있다. 알림의 단계적 확대의 다른 예로서, 알림 어플리케이션(150)은 알림(206)과 관련된 후속 알림을 단계적 확대할 수 있다(예를 들어, 연료의 추가 고갈로 인해 남은 범위가 더 감소되었음을 나타내는 후속 연료 부족 알림). 알림의 단계적 확대의 다른 예에는 알림을 더 큰 크기(예를 들어, 더 큰 글꼴 크기)로 표시하는 것, 알림을 이동시키는 것(예를 들어, 다른, 더 큰 디스플레이에 알림을 표시), 알림의 밝기 및/또는 대비를 증가시키는 것, 차량 작동에 개입하는 것(예를 들어, 자동 제동 활성화), 알림 등에 오디오 및/또는 촉각 구성 요소(예를 들어, 경고음, 진동 등)를 추가하는 것 등이 포함될 수 있다.
일부 실시 예들에서, 탑승자가 주의를 기울였는지의 결정은 지속 시간 구성 요소(duration component)(예를 들어, 시간, 차량으로 이동한 거리 등)를 포함한다. 특히, 알림 어플리케이션(150)은 알림(예를 들어, 알림(206))이 처음 제시된 시점부터 시작되는 지속 시간 동안의 주파수 매칭에 기초하여 탑승자가 알림에 주의를 기울였는지 여부를 결정할 수 있다. 알림 어플리케이션(150)이 알림 진동 주파수와 눈동자가 나타내는 주파수가 적어도 임계 지속 시간 동안 일치하지 않는다고 결정하면, 알림 어플리케이션(150)은 탑승자가 알림에 주의를 기울이지 않았다고 결정한다. 그 결정에 응답하여, 알림 어플리케이션(150)은 부정적인 주의 신호를 전송하고 및/또는 알림을 단계적 확대할 수 있다. 이러한 방식으로, 탑승자는 알림 어플리케이션(150)이 주의가 기울여지지 않았다고 결정하기 전에 알림을 검출하고 알림에 주의를 기울일 시간(예를 들어, 기간, 이동 거리)을 제공 받는다.
알림(206)의 진동 주파수와 안구 동공 진동 주파수가 일치하면(예를 들어, 두 주파수들 사이의 차이가 미리 정의된 허용 오차 내에 있음), 알림 어플리케이션(150)은 탑승자가 알림(206)에 주의를 기울였다고 결정한다. 탑승자가 알림(206)에 주의를 기울였다는 결정에 응답하여, 알림 어플리케이션(150)은 긍정적인 주의 신호를 연료 서브시스템에 전송할 수 있다. 연료 서브시스템은, 긍정적인 주의 신호에 응답하여, 알림 신호를 유지 또는 중지하거나 알림 어플리케이션(150)에 알림을 단계적 축소(de-escalation)(예를 들어, 알림에서 특정 정보 제거, 알림 양식 제거, 알림 어둡게 하기 등)시키는 다른 알림 신호를 전송할 수 있다. 단계적 축소 알림 신호에 응답하여, 알림 어플리케이션(150)은 위에서 설명된 알림 단계적 확대 양태들 중 하나 이상을 반전시킬 수 있다.
일부 실시 예들에서, 주의 신호는 주의 또는 주의의 부족을 나타내는 플래그(flag)를 포함한다. 예를 들어, 부정적인 주의 신호는 주의가 기울여지지 않음을 나타내는 0 플래그를 포함하고, 긍정적인 주의 신호는 주의가 기울여진 것을 나타내는 1 플래그를 포함한다. 알림 어플리케이션(150)은 메모리(116)에 플래그를 유지하고, 알림에 주의를 기울였다는 결정에 응답하여 플래그를 1로 설정하고, 알림 중단 또는 해제에 대한 응답으로 플래그를 재설정하고, 및/또는 차량 서브시스템(122)으로 전송되는 주의 신호에 플래그를 포함한다.
알림 어플리케이션(150)은 다양한 차량 서브시스템들(122)로부터의 알림 신호에 응답하여 전술한 것과 유사한 방식으로 다른 알림들 출력할 수 있다. 예를 들어, 알림 어플리케이션(150)은 차량 도어 서브시스템으로부터의 알림 신호에 기초하여 차량 도어 열림 알림을 표시할 수 있다(예를 들어, 차량 도어 서브시스템이 차량 도어가 열려 있음을 감지한 경우). 알림 어플리케이션(150)은, 표시등(218)이 선택된 진동 주파수로 깜박이게 함으로써, 깜박이는 표시등(218)을 통해 문이 열려있는 알림을 디스플레이하고 진동시킬 수 있다. 알림 어플리케이션(150)은 알림이 표시된 이후 적어도 임계 지속 시간(예를 들어, 시간의 기간) 동안 탑승자가 차량 문이 열려 알림에 주의를 기울이지 않았다고 결정할 수 있다. 그 결정에 응답하여, 알림 어플리케이션(150)은 부정적인 주의 신호를 도어 서브시스템에 전송하고 및/또는 알림을 단계적 확대할 수 있다.
알림 어플리케이션(150)은 유지 보수 추적 서브시스템으로부터의 알림 신호에 기초하여 오일 교환 예정 알림(216)을 디스플레이 할 수 있다(예를 들어, 유지 보수 추적 서브시스템이 마지막 오일 교환 이후 차량이 이동한 거리가 미리 정의된 오일 교환 마일리지 임계 값을 초과함을 감지한 경우). 알림 어플리케이션(150)은 중앙 콘솔 디스플레이(214) 상에 선택된 진동 주파수에서 진동하는 밝기(텍스트, 배경 또는 둘 모두의)로 오일 교환 예정 알림(216)을 출력할 수 있다. 알림 어플리케이션(150)은 알림이 디스플레이된 이후 적어도 임계 지속 시간(예를 들어, 이동 거리) 동안 탑승자가 오일 교환 알림에 주의를 기울이지 않았다고 결정할 수 있다. 그 결정에 응답하여, 알림 어플리케이션(150)은 부정적인 주의 신호를 유지 관리 추적 서브시스템에 전송하고 및/또는 알림을 단계적 확대할 수 있다.
또한, 알림 어플리케이션(150)은 유사한 방식으로 헤드 업 또는 증강 현실 알림을 출력할 수 있다. 예를 들어, 알림 어플리케이션(150)은 운전자 보조 서브시스템으로부터의 알림 신호에 기초하여(예를 들어, 운전자 보조 시스템이 차량 근처에 있는 보행자를 감지하는 경우) 윤곽선(outline) 또는 경계 상자(bounding box(212)가 표시되게 할 수 있다(예를 들어, 전면 유리창(208)에 표시되거나 투영됨). 윤곽선(212)은, 전면 유리창(208)을 통해 볼 때, 차량에 근접한 오브젝트(예를 들어, 차량 밖에 있는 보행자(210))를 둘러싼다. 보행자(210)가 차량 밖으로 이동할 때, 알림 어플리케이션(150)은 윤곽선(212)이 전면 유리창(208)을 통해 볼 때 보행자(210)를 따르도록 윤곽(212)의 투영 위치를 조정할 수 있다. 알림 어플리케이션(150)은 윤곽선(212)이 선택된 진동 주파수로 깜박이게 하고 운전자가 윤곽선(212)에 주의를 기울였는지 여부(그리고 따라서 보행자(210)에 주의를 기울였는지 여부)를 결정할 수 있다. 눈 동공 진동 주파수가 윤곽선(212)의 진동 주파수와 일치하지 않으면, 알림 어플리케이션(150)은 운전자가 보행자(210)에게 주의를 기울이지 않았다고 결정할 수 있고, 이에 응답하여 보행자(210)의 존재에 대한 추가 알림의 출력을 야기할 수 있다(예를 들어, 청각 장애 경고를 출력함으로써). 다른 예로서, 알림 어플리케이션(150)은 내비게이션 서브시스템으로부터의 알림 신호에 기초하여(예를 들어, 내비게이션 서브시스템이 내비게이션 경로에서 예정된 회전을 감지할 때) 내비게이션 정보(예를 들어, 예정된 회전 알림(220))가 전면 유리창(208)에 투영되게 할 수 있다. 알림 어플리케이션(150)은 다가오는 회전 알림(220)이 선택된 진동 주파수로 깜박이게 하고 운전자가 회전 알림(220)에 주의를 기울였는지 여부를 결정할 수 있다. 눈 동공 진동 주파수가 회전 알림(220)의 진동 주파수와 일치하지 않는 경우, 알림 어플리케이션(150)은 운전자가 회전 알림(220)에 주의를 기울이지 않았다고 결정할 수 있고, 이에 응답하여 회전 알림(220)을 단계적 확대할 수 있다(예를 들어, 청각적 네비게이션 안내의 출력을 유발함으로써).
위에서 설명된 알림의 진동에는 깜박임(예를 들어, 온 오프 사이, 표시 및 표시되지 않음 사이에서 진동)과 밝기의 진동이 포함된다. 시각적 알림의 다른 유형의 진동들이 가능하다는 것을 이해해야 한다. 예를 들어, 알림 어플리케이션(150)은 알림이 두 개의 색상들 사이, 동일한 색상의 두 개의 상이한 음영들(예를 들어, 더 밝은 음영과 더 어두운 음영) 사이 및/또는 제1 대비 수준과 제2 대비 수준 사이에서 진동하도록 할 수 있다. 색상, 색조 및/또는 대비 수준의 진동은 점진적이거나(예를 들어, 부드럽고 연속적) 불연속적(예를 들어, 단계적)일 수 있다.
일부 실시 예들에서, 동시에 표시되는 알림들은 상이한 진동 주파수들을 가질 수 있다. 알림을 위한 진동 주파수를 선택할 때, 알림 어플리케이션(150)은 현재 표시된 다른 알림들의 진동 주파수와 다른 주파수를 선택한다. 동시에 표시되는 서로 다른 알림들에 대해 서로 다른 진동 주파수들을 가짐으로써, 알림 어플리케이션(150)은 눈 동공 진동 주파수를 상이한 알림 진동 주파수들에 매칭시킴으로써 알림들 각각에 주어진 주의(또는 주의의 부족)를 결정할 수 있다. 추가적으로, 일부 실시 예들에서, 주변 광의 양을 고려하기 위해, 알림 어플리케이션(150)은 알림의 진동 주파수를 동적으로 조정할 수 있고 및/또는 주변 광의 양에 기초하여 알림의 진동의 제1 및/또는 제2 수준들(예를 들어, 높거나 및/또는 낮은 밝기 수준들)을 조정할 수 있다.
위에서 기술된 기술을 사용하여, 알림에 대한 주의는 시선의 방향 확인에 의존하지 않고 시선의 방향에 기초하여 주의를 결정하는 것보다 더 높은 정확도로 결정될 수 있다. 또한, 동공 주파수 태깅(pupil frequency tagging)을 기반으로 안구 동공에 의한 시각 자극의 주파수를 채택하기 위해 초점 보기(focal view)가 필요하지 않기 때문에, 상술한 기술을 이용하여 탑승자의 주변 시(peripheral vision)의 알림에 대한 주의를 결정할 수 있다.
도 3a 및 도 3b는 다양한 실시 예들의 하나 이상의 양태들에 따른 주의 기반 알림을 제시하기 위한 프로세스(300)의 흐름도이다. 프로세스(300)는 차량 서브시스템(122)이 알림 이벤트를 검출하는 단계(302)로 시작한다. 차량 서브시스템(122)은 알림을 위한 트리거 기준을 만족하는 이벤트 또는 조건을 검출할 수 있다. 예를 들어, 연료 서브시스템은 남은 연료가 임계 값 아래로 떨어졌음을 검출할 수 있다. 또 다른 예로서, 유지 보수 추적 서브시스템은 마지막 오일 교환 이후 시간 또는 주행 거리에 기초하여 차량이 오일 교환 예정임을 검출할 수 있다. 추가 예로서, 운전자 보조 서브시스템은 주행 방향으로 차량과 다른 차량의 거리가 임계 값 아래로 떨어졌음을 검출할 수 있다.
단계(304)에서, 차량 서브시스템(122)은 알림 신호를 알림 어플리케이션(150)으로 전송한다. 알림 신호는 생성될 시각적 알림의 콘텐츠 및 양식을 나타낼 수 있다. 단계(306)에서, 알림 어플리케이션(150)은 알림 신호를 수신하고 알림 신호에 기초하여 시각적 알림을 생성한다. 단계(308)에서, 알림 어플리케이션(150)은 알림 출력 주파수를 선택한다. 알림 어플리케이션(150)은, 존재하는 경우, 현재 제시된 다른 알림의 진동 주파수와 다른 알림에 대한 진동 주파수를 선택한다. 단계(310)에서, 알림 어플리케이션(150)은 I/O 디바이스(108)(예를 들어, 디스플레이(134), 표시등(136) 등)를 통한 출력을 위해 I/O 디바이스 인터페이스(104)에 알림 출력 신호를 전송한다.
단계(312)에서, I/O 디바이스 인터페이스(104)는 알림 출력 신호를 수신한다. 단계(314)에서, I/O 디바이스 인터페이스(104)는 I/O 디바이스(108)를 통해 선택된 출력 주파수에서 알림을 출력한다. 단계(316)에서, I/O 디바이스 인터페이스(104)는 이미징 디바이스(142)를 통해 차량 탑승자(예를 들어, 운전자)의 적어도 한쪽 눈의 이미지들(예를 들어, 이미지들의 시퀀스)를 캡처한다. 단계(318)에서, I/O 디바이스 인터페이스(104)는 이미지들을 알림 어플리케이션(150)으로 전송한다.
도 3b에서 계속해서, 단계(320)에서, 알림 어플리케이션(150)은 눈 동공 직경 및 대응하는 동공 수축 및 팽창의 주파수를 검출하기 위해 이미지들을 처리한다. 알림 어플리케이션(150)은 각각의 이미지에서 눈의 동공을 인식하고 임의의 기술적으로 가능한 기술(예를 들어, 기계 학습 기반 오브젝트 인식)을 사용하여 대응하는 동공 직경을 결정하고, 결과적으로 이미지들의 타임스탬프(timestamp)들에 기초하여 정렬된, 측정된 동공 직경 값들의 시퀀스를 생성한다. 알림 어플리케이션(150)은 동공 직경 값들의 시퀀스에 기초하여 눈 동공 진동 주파수(예를 들어, 동공 수축 및 확장의 주파수)를 결정한다. 알림 어플리케이션(150)이 안구 동공 직경의 진동이 결정 가능한 주파수를 나타내지 않는다고 결정하면(예를 들어, 눈 동공 직경이 결정 가능한 진동 또는 진동 패턴없이 불규칙적으로 또는 무작위로 변경됨), 알림 어플리케이션(150)은 눈 동공 진동 주파수가 가치 없는 것(null)이라고 결정할 수 있다.
단계(322)에서, 알림 어플리케이션(150)은 단계(320)에서 결정된 눈 동공 진동 주파수가 알림의 진동 주파수와 일치하는지 여부를 결정한다. 알림 어플리케이션(150)이 주파수들이 일치한다고 결정하면, 단계(328)에서 알림 어플리케이션(150)은 긍정적인 주의 신호를 차량 서브시스템(122)에 전송한다. 단계(330)에서, 차량 서브시스템(122)은 긍정적인 주의 신호를 수신하고 긍정적인 주의 신호에 기초하여 사용자가 알림에 주의를 기울였음을 결정한다. 그 결정에 응답하여, 차량 서브시스템(122)은 알림 신호를 유지 또는 중단하거나, 단계적 축소된 알림을 위한 알림 신호를 알림 어플리케이션(150)에 전송할 수 있다.
알림 어플리케이션(150)이 주파수들이 일치하지 않거나 눈 동공 진동 주파수가 가치 없는 값이라고 결정하면, 단계(324)에서 알림 어플리케이션(150)은 하나 이상의 후속 동작들이 수행되게 한다. 후속 동작들은 차량 서브시스템(122)에 부정적인 주의 신호를 전송하는 것, 알림을 단계적 확대하는 것 및/또는 차량의 동작에 개입하는 것을 포함할 수 있다. 그 다음, 프로세스(300)는 단계(316)로 돌아가서, 사용자의 눈의 새로운 이미지들이 캡처되어, 업데이트된 눈 동공 진동 주파수가 결정되고, 알림 진동 주파수와 비교될 수 있다.
도 4는 다양한 실시 예들의 하나 이상의 양태들에 따른 주의 기반 알림을 제시하기 위한 방법 단계들의 흐름도이다. 방법 단계들은 도 1 내지 도 3b의 시스템들과 함께 설명되지만, 당업자는 임의의 순서로 방법 단계들을 수행하도록 구성된 임의의 시스템이 다양한 실시 예의 범위 내에 있다는 것을 이해할 것이다.
방법(400)은 알림 어플리케이션(150)이 차량 서브시스템으로부터 알림 신호를 수신하는 단계(402)에서 시작한다. 알림 어플리케이션(150)은 차량의 탑승자(예를 들어, 운전자)에게 제시될 시각적 알림의 콘텐츠 및 선택적으로 양식을 나타내는 신호를 차량 서브시스템(122)으로부터 수신할 수 있다. 알림 어플리케이션(150)은 알림 신호에 기초하여 시각적 알림을 생성할 수 있다.
단계(404)에서, 알림 어플리케이션(150)은 제공될 알림에 대한 출력 주파수를 선택한다. 단계(406)에서, 알림 어플리케이션(150)은 출력 주파수에서 I/O 디바이스에 의한 알림의 출력을 발생시킨다. 알림 어플리케이션(150)은 알림(예를 들어, 알림의 밝기)이 출력 주파수에서 진동하도록 시각적 알림을 I/O 디바이스(108)(예를 들어, 디스플레이(134), 표시등(136) 등)에 출력한다.
단계(408)에서, 알림 어플리케이션(150)은 일정 기간 동안 탑승자의 눈 동공 직경들을 검출한다. 이들 눈 동공 직경들에 기초하여, 알림 어플리케이션(150)은 눈 동공 진동 주파수, 즉 높은 직경 값과 낮은 직경 값 사이의 눈 동공 직경의 진동 주파수(예를 들어, 동공 수축 및 확장의 주파수)를 결정한다. 추가적으로, 알림 어플리케이션(150)이 눈 동공 직경의 진동이 결정 가능한 주파수를 나타내지 않는다고 결정하면(예를 들어, 눈 동공 직경이 결정 가능한 진동 또는 진동 패턴없이 불규칙적으로 또는 무작위로 변경됨), 알림 어플리케이션(150)은 눈 동공 진동 주파수가 검출되지 않는다고 결정할 수 있다.
단계(410)에서, 알림 어플리케이션(150)은 눈 동공 진동 주파수가 알림의 출력 주파수와 일치하는지 여부를 결정한다. 주파수들이 일치하면(예를 들어, 밀리 정의된 허용 오차 내에서), 그 다음, 방법(400)은 단계(412)로 진행하여, 알림 어플리케이션(150)은 긍정적인 주의 신호를 차량 서브시스템(122)에 전송하여 알림에 대한 주의가 기울여졌다는 것을 서브시스템에 시그널링한다.
주파수들이 일치하지 않거나 눈 동공 진동 주파수가 검출되지 않으면, 방법(400)은 단계(414)로 진행하여, 알림 어플리케이션(150)은 하나 이상의 후속 동작들이 수행되게 한다. 후속 동작들에는, 예를 들어, 후속 알림이 출력되도록 하는 것, 알림이 추가 양식들로 디스플레이 되도록 하는 것, 알림이 다르게 출력되도록 하거나(예를 들어, 크기 증가, 다른 화면 위치에 표시) 및/또는 차량 작동에 개입하는 것(예를 들어, 자동 제동 활성화)을 포함한다. 후속 동작들은 알림에 대한 주의가 기울여지지 않았다는 것을 서브시스템에 신호하기 위해 차량 서브시스템(122)에 부정적인 주의 신호를 전송하는 것을 더 포함할 수 있다.
도 5는 다양한 실시 예들의 하나 이상의 양태들에 따른 주의 기반 알림을 제시하기 위한 방법 단계들의 다른 흐름도이다. 방법 단계들은 도 1 내지 도 3b의 시스템들과 함께 설명되지만, 당업자는 임의의 순서로 방법 단계들을 수행하도록 구성된 임의의 시스템이 다양한 실시 예들의 범위 내에 있다는 것을 이해할 것이다.
방법(500)은, 알림 어플리케이션(150)이 차량 서브시스템으로부터 알림 신호를 수신하는, 단계(502)에서 시작한다. 알림 어플리케이션(150)은 차량의 탑승자(예를 들어, 운전자)에게 제시될 시각적 알림의 콘텐츠 및 선택적으로 양식을 나타내는 신호를 차량 서브시스템(122)으로부터 수신할 수 있다. 알림 어플리케이션(150)은 알림 신호에 기초하여 시각적 알림을 생성할 수 있다.
단계(504)에서, 알림 어플리케이션(150)은 제시될 알림에 대한 출력 주파수를 선택한다. 단계(506)에서, 알림 어플리케이션(150)은 출력 주파수에서 I/O 디바이스에 의한 알림의 출력을 발생시킨다. 알림 어플리케이션(150)은 알림(예를 들어, 알림의 밝기)이 출력 주파수에서 진동하도록 시각적 알림을 I/O 디바이스(108)(예를 들어, 디스플레이(134), 표시등(136))에 출력한다.
단계(508)에서, 알림 어플리케이션(150)은 일정 기간 동안 탑승자의 눈 동공 직경들을 검출한다. 이들 눈 동공 직경들에 기초하여, 알림 어플리케이션(150)은 눈 동공 진동 주파수, 즉 높은 직경 값과 낮은 직경 값 사이의 눈 동공 직경의 진동 주파수(예를 들어, 동공 수축 및 확장의 주파수)를 결정한다. 추가적으로, 알림 어플리케이션(150)이 눈 동공 직경의 진동이 결정 가능한 주파수를 나타내지 않는다고 결정하면(예를 들어, 눈 동공 직경이 결정 가능한 진동 또는 진동 패턴없이 불규칙적으로 또는 무작위로 변경됨), 알림 어플리케이션(150)은 눈 동공 진동 주파수가 검출되지 않는다고 결정할 수 있다.
단계(510)에서, 알림 어플리케이션(150)은 눈 동공 진동 주파수가 알림의 출력 주파수와 일치하는지 여부를 결정한다. 주파수가 일치하지 않거나 눈 동공 진동 주파수가 검출되지 않으면, 방법(500)은 단계(512)로 진행하여, 알림 어플리케이션(150)은 알림을 단계적 확대한다(예를 들어, 알림을 다른 양식으로 제시). 단계(512)로부터, 방법(500)은 단계(506)으로 진행하여, 알림(또는 관련 후속 알림)이 동일하거나 상이한 출력 주파수에서 계속 출력될 수 있다. 방법(500)은 그 후 단계(508)로 진행하여, 알림 어플리케이션(150)이 알림 출력 주파수와 비교하기 위해 눈 동공 진동 주파수를 다시 결정할 수 있다.
주파수가 일치하면, 방법(500)은 단계(514)로 진행하여, 알림 어플리케이션(150)이 긍정적인 주의 신호를 차량 서브시스템(122)에 전송하여 알림에 대한 주의가 기울여졌다는 것을 서브시스템에 시그널링한다. 단계(516)에서, 알림 어플리케이션(150)은 알림을 단계적 축소한다. 알림이 단계적 확대되지 않았고 따라서 단계적 축소가 필요하지 않은 경우, 단계(516)가 생략될 수 있다.
일부 실시 예들에서, 눈 동공 직경 및 관련 주파수에 추가로 또는 대안적으로, 사용자가 나타내는 주파수를 결정하기 위해 다른 사용자 특성이 측정될 수 있다. 예를 들어, 생체 인식 센서는 사용자의 뇌전도(electroencephalograph, EEG) 또는 뇌자도(magnetoencephalography, MEG)를 측정할 수 있다. 주파수가 EEG 또는 MEG로부터 결정되고 알림의 진동 주파수와 비교될 수 있다.
일부 실시 예들에서, 알림 어플리케이션(150)은 알림이 더 복잡한 패턴들로 출력되도록 할 수 있다. 예를 들어, 알림 어플리케이션(150)은 알림이 제1(예를 들어, 짧은) 기간 동안 제1 주파수로 진동하게 하고, 그 후, 잠시 중단된 후, 제2(예를 들어, 더 긴) 기간 동안 제2 주파수(이는 제1 주파수와 같거나 다를 수 있는)로 진동(예를 들어, 밝기)하게 할 수 있다. 일부 예들에서, 알림 어플리케이션(150)은 알림이 추가 기간 동안 추가 주파수(이는 제1 또는 제2 주파수들과 같거나 다를 수 있는)에서 진동하게 할 수 있다. 이 다중 기간 패턴은 반복될 수 있다. 따라서, 알림은 상이한 주파수들 및/또는 밝기 수준들에서 짧은 및/또는 더 긴 주기들의 진동들을 포함하는 반복 가능한 시간 패턴에 따라 진동될 수 있다. 알림 어플리케이션(150)은 차량 탑승자의 눈의 이미지들을 처리하여 눈 동공 직경 및 그 변화가 알림과 동일한 주파수로 동일한 시간 패턴을 나타내는지 여부를 결정한다. 눈 동공 직경 변화가 동일한 주파수들과 동일한 패턴을 나타내면, 알림 어플리케이션(150)은 탑승자가 알림에 주의를 기울였다고 결정한다. 눈 동공 직경 변화가 알림과 다른 주파수를 나타내거나 및/또는 동일한 패턴을 나타내지 않는 경우, 알림 어플리케이션(150)은 탑승자가 알림에 주의를 기울이지 않았다고 결정한다.
전술한 기술이 차량의 알림에 대해 설명되었지만, 유사한 기술들이 다른 콘텍스트에서 수행될 수 있다. 예를 들어, 건물 또는 공간의 전자 키오스크(예를 들어, 쇼핑몰, 호텔 리조트, 놀이 공원 등의 전자 디렉토리 및 지도 키오스크)는 디스플레이 디바이스 및 이미징 디바이스를 포함할 수 있다. 사용자가 전자 키오스크에서 특정 위치로 가는 길을 요청하면, 전자 키오스크는, 위에서 설명한 알림의 진동과 유사한, 진동 주파수(예를 들어, 진동 주파수에서 위치 마커 깜박임)에서 요청된 위치 및/또는 요청된 위치로의 경로를 지도에 표시할 수 있다. 이미징 디바이스는 사용자의 눈(들)의 이미지들을 캡처할 수 있으며, 전자 키오스크는 이미지들에 기초하여 눈 동공 진동 주파수를 결정한다. 전자 키오스크는 눈 동공 진동 주파수가 방향의 진동 주파수와 일치하는지 여부를 결정한다. 전자 키오스크에서 주파수들이 일치하지 않는다고 결정하면, 전자 키오스크는 방향의 제시의 단계적 확대를 수행할 수 있다(예를 들어, 위치 확대, 경로를 횡단하는 것처럼 지도 이동, 소리 재생). 다른 예로서, 웨어러블 디바이스는 증강 현실 콘텐츠를 진동 주파수로 디스플레이하고, 눈 동공 진동 주파수를 결정하고 그 주파수를 증강 현실 콘텐츠의 진동 주파수와 비교함으로써 사용자가 증강 현실 콘텐츠에 주의를 기울였는지 여부를 결정할 수 있다.
추가로, 위에서 설명된 기술들은 경험적 연구 및 분석에 사용하기 위해 적용될 수 있다(예를 들어, 차량용 사용자 인터페이스 설계 지원). 예를 들어, 알림 표시 양식의 설계에서 다양한 옵션들이 고려될 수 있다(예를 들어, 대시보드 디자인). 디자이너는 차량 탑승자의 주의를 끌기 위해 어떤 양식 옵션이 더 효과적인지 결정하기 위해 위에서 설명된 기술을 사용하여 알림 표시 양식에 대한 다양한 설계 옵션을 테스트하고 최적화 할 수 있다.
요컨대, 컴퓨팅 시스템은 표시 또는 알림에 주의를 기울였는지 여부를 결정한다. 컴퓨팅 시스템은 제1 주파수에서 알림(예를 들어, 밝기, 발광)의 진폭을 진동시켜 알림을 디스플레이 한다. 컴퓨터 시스템은 사용자의 특성(예를 들어, 눈 동공 직경)과 관련된 센서 데이터를 수집하는 하나 이상의 센서들을 포함한다. 컴퓨터 시스템은 센서 데이터가 특성과 관련된 제2 주파수를 나타내는 지, 그리고 제2 주파수가 제1 주파수와 실질적으로 일치하는지 여부를 결정한다. 제1 주파수와 제2 주파수가 일치하지 않거나 센서 데이터가 특성과 관련된 주파수를 나타내지 않는 경우, 컴퓨터 시스템은 하나 이상의 추가 동작들을 수행할 수 있다. 추가 동작들의 예시는 상이한 양식을 통한 알림 전달, 알림 단계적 확대, 디바이스 또는 시스템의 동작에 자동 개입 등을 포함한다. 일부 실시 예들에서, 컴퓨터 시스템은 차량에 구현될 수 있고, 센서는 카메라 디바이스를 포함한다.
개시된 기술의 적어도 하나의 이점 및 기술적 개선은 컴퓨팅 시스템(예를 들어, 차량의 컴퓨팅 디바이스)이 사용자로부터 상호 작용 응답을 요구하지 않고 알림에 주어진 주의 또는 주의의 부족을 결정할 수 있다는 것이다. 따라서, 컴퓨팅 시스템은, 사용자(예를 들어, 차량 탑승자)가 다른 작업으로부터 주의를 분산시키지 않으면서, 사용자가 알림에 주의를 기울이고 있는지 확인할 수 있다. 또한, 컴퓨팅 시스템은 알림에 대한 주의가 기울여졌는지 여부에 기초하여 하나 이상의 후속 동작들을 수행할 수 있다. 후속 동작들은 다른 양식을 통해 알림을 제공하고, 알림을 단계적 확대하고, 디바이스 또는 시스템의 작동에 자동으로 개입하는 등을 포함할 수 있다. 개시된 기술의 또 다른 장점 및 기술적 개선은 컴퓨팅 시스템이 알림을 전달하는 어떤 양식이 사용자의 주의를 끌 가능성이 더 높은지를 결정할 수 있다는 것이다. 따라서 컴퓨팅 시스템은 알림의 전달에 있어서 특정 양식을 선호할 수 있다. 또 다른 장점과 기술적 개선은 알림이 사용자의 초점 내에 있지 않더라도 사용자에 의한 알림에 대한 주의가 감지될 수 있다는 것이다. 또 다른 장점과 기술적 개선은 사용자의 알림에 대한 주의가 기존 방식에 비해 더 높은 정확도로 결정될 수 있다는 것이다(예를 들어, 시선 방향에 따른 결정).
1. 일부 실시 예들에서, 컴퓨터 구현(computer-implemented) 방법은 제1 시각 자극(visual stimulus)이 제1 주파수에서 진동되게 하는 단계; 사용자 특성과 관련된 제2 주파수를 결정하는 단계; 및 상기 제2 주파수가 상기 제1 주파수와 일치하지 않는다는 결정에 기초하여, 하나 이상의 동작들이 수행되게 하는 단계를 포함한다.
2. 조항 1의 방법에 있어서, 상기 제1 시각 자극이 상기 제1 주파수에서 진동되게 하는 단계는 상기 제1 시각 자극의 밝기 진폭을 상기 제1 주파수로 진동시키는 단계를 포함한다.
3. 조항 1 또는 조항 2의 방법에 있어서, 상기 제1 시각 자극은 표시등(indicator light)을 포함한다.
4. 조항 1 내지 3 중 어느 하나의 방법에 있어서, 상기 제1 시각 자극이 상기 제1 주파수에서 진동되게 하는 단계는 상기 표시등을 상기 제1 주파수로 깜박이는 단계를 포함한다.
5. 조항 1 내지 4 중 어느 하나의 방법에 있어서, 상기 제1 시각 자극은 디스플레이 디바이스를 통해 표시되는 알림을 포함한다.
6. 조항 1 내지 5 중 어느 하나의 방법에 있어서, 상기 사용자 특성은 사용자의 눈 동공 직경을 포함한다.
7. 조항 1 내지 6 중 어느 하나의 방법에 있어서, 상기 제2 주파수는 상기 눈 동공 직경의 진동에 대응한다.
8. 조항 1 내지 7 중 어느 하나의 방법에 있어서, 상기 제2 주파수를 결정하는 단계는 상기 눈 동공 직경을 결정하기 위해 이미징 디바이스를 통해 상기 사용자의 눈의 이미지들을 캡처하는 단계를 포함한다.
9. 조항 1 내지 8 중 어느 하나의 방법에 있어서, 상기 사용자 특성은 사용자의 뇌전도(EEG) 또는 상기 사용자의 뇌자도(MEG)를 포함한다.
10. 조항 1 내지 9 중 어느 하나의 방법에 있어서, 상기 제2 주파수가 상기 제1 주파수와 일치하지 않는다는 결정에 기초하여, 사용자에 의한 상기 제1 시각 자극에 대한 주의의 부족을 결정하는 단계를 더 포함한다.
11. 조항 1 내지 10 중 어느 하나의 방법에 있어서, 하나 이상의 동작들이 수행되게 하는 단계는, 상기 사용자에 의한 상기 제1 시각 자극에 대한 주의의 부족을 결정하는 것에 응답하여, 상기 제1 시각 자극과 연관된 제2 시각 자극이 출력되게 하는 단계를 포함한다.
12. 조항 1 내지 11 중 어느 하나의 방법에 있어서, 상기 제2 시각 자극은 상기 제1 시각 자극의 확대된 버전이다.
13. 조항 1 내지 12 중 어느 하나의 방법에 있어서, 하나 이상의 동작들이 수행되게 하는 단계는, 상기 사용자에 의한 상기 제1 시각 자극에 대한 주의의 부족을 결정하는 것에 응답하여, 상기 제1 시각 자극과 연관된 오디오 구성 요소가 출력되게 하는 단계를 포함한다.
14. 조항 1 내지 13 중 어느 하나의 방법에 있어서, 하나 이상의 동작들이 수행되게 하는 단계는, 상기 사용자에 의한 상기 제1 시각 자극에 대한 주의의 부족을 결정하는 것에 응답하여, 제1 서브시스템의 동작에 개입하는 단계를 포함한다.
15. 일부 실시 예들에서, 명령을 포함하는 하나 이상의 비 일시적 컴퓨터 판독 가능 저장 매체로서, 상기 명령은, 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들이: 제1 시각 자극이 제1 주파수에서 진동되게 하는 단계; 사용자 특성과 관련된 제2 주파수를 결정하는 단계; 및 상기 제2 주파수가 상기 제1 주파수와 일치하지 않는다는 결정에 기초하여, 사용자에 의한 상기 제1 시각 자극에 대한 주의의 부족을 결정하는 단계를 수행하게 한다.
16. 조항 15의 하나 이상의 컴퓨터 판독 가능 저장 매체에 있어서, 상기 제1 시각 자극이 상기 제1 주파수에서 진동되게 하는 단계는: 상기 제1 시각 자극의 밝기 진폭을 상기 제1 주파수로 진동시키는 단계, 또는 상기 제1 시각 자극을 상기 제1 주파수로 깜박이는 단계 중 적어도 하나를 포함한다.
17. 조항 15 또는 조항 16의 하나 이상의 컴퓨터 판독 가능 저장 매체에 있어서, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들이: 상기 사용자에 의한 상기 제1 시각 자극에 대한 주의의 부족을 결정하는 것에 응답하여: 상기 제1 시각 자극과 연관된 제2 시각적 자극이 출력되게 하는 단계, 상기 제1 시각 자극과 연관된 오디오 구성 요소가 출력되게 하는 단계, 또는 제1 서브시스템의 작동에 개입하는 단계 중 적어도 하나의 단계를 수행하게 하는 명령을 더 포함한다.
18. 일부 실시 예들에서, 시스템은 어플리케이션을 저장하는 메모리; 및 프로세서로서, 상기 어플리케이션을 실행할 때: 제1 시각 자극이 제1 주파수에서 진동하게 하고; 눈의 동공과 연관된 제2 주파수를 결정하고; 상기 제2 주파수가 상기 제1 주파수와 일치하지 않는다는 결정에 기초하여, 상기 제1 시각 자극에 대한 주의의 부족을 결정하고; 그리고 상기 제1 시각 자극에 대한 주의의 부족을 결정하는 것에 응답하여, 하나 이상의 동작들이 수행되게 하도록 구성된, 상기 프로세서를 포함한다.
19. 조항 18의 시스템에 있어서, 하나 이상의 동작들이 수행하게 하는 것은 상기 제1 시각 자극과 연관된 상기 제2 시각 자극이 제3 주파수에서 출력되게 하는 것을 포함한다.
20. 조항 18 또는 조항 19의 시스템에 있어서, 상기 프로세서는, 상기 어플리케이션을 실행할 때: 상기 눈의 동공과 연관된 제4 주파수를 결정하고; 그리고 상기 제4 주파수가 상기 제3 주파수와 일치한다는 결정에 기초하여, 상기 제2 시각 자극에 대한 주의의 존재를 결정하도록 더 구성된다.
청구항들 중 어느 하나에 인용된 청구항 요소들 및/또는 본 출원에 설명된 임의의 요소들의 임의의 및 모든 조합은 임의의 방식으로 본 보호의 고려되는 범위 내에 속한다.
다양한 실시 예들의 설명은 예시의 목적으로 제시되었으며, 공개된 실시 예에 한정되거나 배타적인 것으로 의도되지 않는다. 설명된 실시 예들의 범위 및 사상을 벗어나지 않고 많은 수정 및 변경이 당업자에게 명백할 것이다.
본 실시 예들의 양태들은 시스템, 방법 또는 컴퓨터 프로그램 제품으로 구현될 수 있다. 따라서, 본 개시의 양태들은 전체 하드웨어 실시 예, 전체 소프트웨어 실시 예(펌웨어, 레지던트 소프트웨어, 마이크로-코드 등 포함) 또는 소프트웨어와 하드웨어 양태들을 결합한 실시 예의 형태를 취할 수 있으며, 본원에서 모두 일반적으로 "모듈", "시스템" 또는 "컴퓨터"로 지칭될 수 있다. 또한, 본 개시에 설명된 임의의 하드웨어 및/또는 소프트웨어 기술, 프로세스, 기능, 구성 요소, 엔진, 모듈 또는 시스템은 회로 또는 회로들의 세트로서 구현될 수 있다. 또한, 본 개시의 양태들은 컴퓨터 판독 가능 프로그램 코드가 구현된 하나 이상의 컴퓨터 판독 가능 매체(들)에 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
하나 이상의 컴퓨터 판독 가능 매체(들)의 임의의 조합이 이용될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 디바이스, 또는 이들의 임의의 적절한 조합일 수 있지만 이에 제한되지는 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예시들(비 배타적 목록)은 다음과 같다: 하나 이상의 와이어들이 있는 전기 연결부, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능한 프로그래밍 가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 판독 전용 메모리(CD-ROM), 광 저장 디바이스, 자기 저장 디바이스, 또는 전술한 것들의 임의의 적절한 조합. 본 출원서의 콘텍스트에서, 컴퓨터 판독 가능 저장 매체는 명령 실행 시스템, 장치 또는 디바이스에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 임의의 유형의 매체일 수 있다.
본 개시의 양태들은 본 개시의 실시 예들에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 예시 및/또는 블록도를 참조하여 위에서 설명된다. 흐름도 예시 및/또는 블록도의 각 블록, 및 흐름도 예시 및/또는 블록도의 블록들의 조합은 컴퓨터 프로그램 명령에 의해 구현될 수 있음을 이해할 것이다. 이러한 컴퓨터 프로그램 명령은 머신을 생성하기 위해 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 프로세서에 제공될 수 있다. 명령어는, 컴퓨터의 프로세서 또는 기타 프로그램 가능한 데이터 처리 장치를 통해 실행될 때, 흐름도 및/또는 블록 다이어그램 블록 또는 블록들에 지정된 기능들/동작들의 구현을 가능하게 한다. 이러한 프로세서는, 제한없이, 범용 프로세서, 특수 목적 프로세서, 어플리케이션 특정 프로세서 또는 현장 프로그래밍 가능 게이트 어레이일 수 있다.
도면의 흐름도 및 블록도는 본 개시의 다양한 실시 예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 예시한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 지정된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령어를 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 일부 대안적인 구현에서, 블록에 언급된 기능은 도면에 언급된 순서와 다르게 발생할 수 있다는 점에 유의해야 한다. 예를 들어, 연속된 두 개의 블록들은 실제로는 실질적으로 동시에 실행될 수 있으며, 또는 관련된 기능에 따라 블록이 역순으로 실행될 수도 있다. 또한 블록도 및/또는 흐름도 예시의 각 블록과 블록도 및/또는 흐름도 예시의 블록들의 조합은 지정된 기능이나 동작을 수행하는 특수 용도의 하드웨어 기반 시스템 또는 특수 용도의 하드웨어와 컴퓨터 명령의 조합으로 구현될 수 있다는 것을 이해할 수 있다.
전술한 내용은 본 개시의 실시 예에 관한 것이지만, 본 개시의 다른 및 추가 실시 예는 그 기본 범위를 벗어나지 않고 고안될 수 있으며, 그 범위는 다음의 청구 범위에 의해 결정된다.

Claims (20)

  1. 컴퓨터 구현(computer-implemented) 방법에 있어서,
    제1 시각 자극(visual stimulus)이 제1 주파수에서 진동되게 하는 단계;
    사용자 특성과 관련된 제2 주파수를 결정하는 단계; 및
    상기 제2 주파수가 상기 제1 주파수와 일치하지 않는다는 결정에 기초하여, 하나 이상의 동작들이 수행되게 하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제1 시각 자극이 상기 제1 주파수에서 진동되게 하는 단계는 상기 제1 시각 자극의 밝기 진폭을 상기 제1 주파수로 진동시키는 단계를 포함하는, 방법.
  3. 제1항에 있어서, 상기 제1 시각 자극은 표시등(indicator light)을 포함하는, 방법.
  4. 제3항에 있어서, 상기 제1 시각 자극이 상기 제1 주파수에서 진동되게 하는 단계는 상기 표시등을 상기 제1 주파수로 깜박이는 단계를 포함하는, 방법.
  5. 제1항에 있어서, 상기 제1 시각 자극은 디스플레이 디바이스를 통해 표시되는 알림을 포함하는, 방법.
  6. 제1항에 있어서, 상기 사용자 특성은 사용자의 눈 동공 직경을 포함하는, 방법.
  7. 제6항에 있어서, 상기 제2 주파수는 상기 눈 동공 직경의 진동에 대응하는, 방법.
  8. 제6항에 있어서, 상기 제2 주파수를 결정하는 단계는 상기 눈 동공 직경을 결정하기 위해 이미징 디바이스를 통해 상기 사용자의 눈의 이미지들을 캡처하는 단계를 포함하는, 방법.
  9. 제1항에 있어서, 상기 사용자 특성은 사용자의 뇌전도(EEG) 또는 상기 사용자의 뇌자도(MEG)를 포함하는, 방법.
  10. 제1항에 있어서, 상기 제2 주파수가 상기 제1 주파수와 일치하지 않는다는 결정에 기초하여, 사용자에 의한 상기 제1 시각 자극에 대한 주의의 부족을 결정하는 단계를 더 포함하는, 방법.
  11. 제10항에 있어서, 하나 이상의 동작들이 수행되게 하는 단계는, 상기 사용자에 의한 상기 제1 시각 자극에 대한 주의의 부족을 결정하는 것에 응답하여, 상기 제1 시각 자극과 연관된 제2 시각 자극이 출력되게 하는 단계를 포함하는, 방법.
  12. 제11항에 있어서, 상기 제2 시각 자극은 상기 제1 시각 자극의 확대된 버전인, 방법.
  13. 제10항에 있어서, 하나 이상의 동작들이 수행되게 하는 단계는, 상기 사용자에 의한 상기 제1 시각 자극에 대한 주의의 부족을 결정하는 것에 응답하여, 상기 제1 시각 자극과 연관된 오디오 구성 요소가 출력되게 하는 단계를 포함하는, 방법.
  14. 제10항에 있어서, 하나 이상의 동작들이 수행되게 하는 단계는, 상기 사용자에 의한 상기 제1 시각 자극에 대한 주의의 부족을 결정하는 것에 응답하여, 제1 서브시스템의 동작에 개입하는 단계를 포함하는, 방법.
  15. 명령을 포함하는 하나 이상의 비 일시적 컴퓨터 판독 가능 저장 매체로서, 상기 명령은, 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들이:
    제1 시각 자극이 제1 주파수에서 진동되게 하고;
    사용자 특성과 관련된 제2 주파수를 결정하고; 및
    상기 제2 주파수가 상기 제1 주파수와 일치하지 않는다는 결정에 기초하여, 사용자에 의한 상기 제1 시각 자극에 대한 주의의 부족을 결정하는 것을,
    를 수행하게 하는, 하나 이상의 컴퓨터 판독 가능 저장 매체.
  16. 제15항에 있어서, 상기 제1 시각 자극이 상기 제1 주파수에서 진동되게 하는 것은: 상기 제1 시각 자극의 밝기 진폭을 상기 제1 주파수로 진동시키는 것, 또는 상기 제1 시각 자극을 상기 제1 주파수로 깜박이는 것 중 적어도 하나를 포함하는, 하나 이상의 컴퓨터 판독 가능 저장 매체.
  17. 제15항에 있어서, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들이:
    상기 사용자에 의한 상기 제1 시각 자극에 대한 주의의 부족을 결정하는 것에 응답하여:
    상기 제1 시각 자극과 연관된 제2 시각적 자극이 출력되게 하는 것,
    상기 제1 시각 자극과 연관된 오디오 구성 요소가 출력되게 하는 것, 또는
    제1 서브시스템의 작동에 개입하는 것, 중 적어도 하나의 단계를 수행하게 하는 명령을 더 포함하는, 하나 이상의 컴퓨터 판독 가능 저장 매체.
  18. 시스템에 있어서,
    어플리케이션을 저장하는 메모리; 및
    프로세서로서, 상기 어플리케이션을 실행할 때:
    제1 시각 자극이 제1 주파수에서 진동하게 하고;
    눈의 동공과 연관된 제2 주파수를 결정하고;
    상기 제2 주파수가 상기 제1 주파수와 일치하지 않는다는 결정에 기초하여, 상기 제1 시각 자극에 대한 주의의 부족을 결정하고; 그리고
    상기 제1 시각 자극에 대한 주의의 부족을 결정하는 것에 응답하여, 하나 이상의 동작들이 수행되게 하도록 구성된, 상기 프로세서를 포함하는, 시스템.
  19. 제18항에 있어서, 하나 이상의 동작들이 수행하게 하는 것은 상기 제1 시각 자극과 연관된 상기 제2 시각 자극이 제3 주파수에서 출력되게 하는 것을 포함하는, 시스템.
  20. 제19항에 있어서, 상기 프로세서는, 상기 어플리케이션을 실행할 때:
    상기 눈의 동공과 연관된 제4 주파수를 결정하고; 그리고
    상기 제4 주파수가 상기 제3 주파수와 일치한다는 결정에 기초하여, 상기 제2 시각 자극에 대한 주의의 존재를 결정하도록 더 구성되는, 시스템.
KR1020210028114A 2020-03-05 2021-03-03 주의 기반 알림 KR20210113070A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/810,760 US11535260B2 (en) 2020-03-05 2020-03-05 Attention-based notifications
US16/810,760 2020-03-05

Publications (1)

Publication Number Publication Date
KR20210113070A true KR20210113070A (ko) 2021-09-15

Family

ID=74859375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210028114A KR20210113070A (ko) 2020-03-05 2021-03-03 주의 기반 알림

Country Status (5)

Country Link
US (1) US11535260B2 (ko)
EP (1) EP3875299A1 (ko)
JP (1) JP2021140785A (ko)
KR (1) KR20210113070A (ko)
CN (1) CN113359974A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7207434B2 (ja) * 2018-12-27 2023-01-18 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP7143538B2 (ja) * 2019-12-04 2022-09-28 三菱電機株式会社 運転支援装置および運転支援方法
US11539762B2 (en) 2020-10-06 2022-12-27 Harman International Industries, Incorporated Conferencing based on driver state and context
US11518305B2 (en) 2020-10-08 2022-12-06 Harman International Industries, Incorporated Techniques for generating vehicle-to-pedestrian (V2P) communications based on driver monitoring
US11832946B2 (en) * 2021-11-17 2023-12-05 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for producing stimuli in a visual interface

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080234899A1 (en) * 1992-05-05 2008-09-25 Automotive Technologies International, Inc. Vehicular Occupant Sensing and Component Control Techniques
US7788008B2 (en) * 1995-06-07 2010-08-31 Automotive Technologies International, Inc. Eye monitoring system and method for vehicular occupants
US8189825B2 (en) * 1994-05-09 2012-05-29 Breed David S Sound management techniques for vehicles
JP2002367100A (ja) 2001-06-12 2002-12-20 Nissan Motor Co Ltd 運転者状態検出装置
US7592910B2 (en) * 2005-09-28 2009-09-22 Social Fabric Corporation Matching system
US8106783B2 (en) 2008-03-12 2012-01-31 Denso Corporation Input apparatus, remote controller and operating device for vehicle
US8155736B2 (en) * 2009-03-16 2012-04-10 Neurosky, Inc. EEG control of devices using sensory evoked potentials
WO2011045936A1 (ja) * 2009-10-15 2011-04-21 パナソニック株式会社 運転注意量判別装置、方法、および、コンピュータプログラム
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
JP5891632B2 (ja) * 2011-07-26 2016-03-23 富士通株式会社 判定装置、設定装置、判定方法、および判定プログラム
US20190380607A1 (en) * 2014-01-28 2019-12-19 Medibotics Llc Mobile Wearable Device for Measuring Electromagnetic Brain Activity
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
JP6145871B2 (ja) 2013-05-28 2017-06-14 パナソニックＩｐマネジメント株式会社 視作業用照明装置及び表示装置
US20160282939A1 (en) * 2013-06-28 2016-09-29 Danmarks Tekniske Universitet Brain-Computer Interface
CN106062665B (zh) * 2013-09-11 2019-05-17 深圳市汇顶科技股份有限公司 基于用户的眼睛运动和位置的光学感测和跟踪的用户界面
US9469247B2 (en) * 2013-11-21 2016-10-18 Harman International Industries, Incorporated Using external sounds to alert vehicle occupants of external events and mask in-car conversations
KR101855196B1 (ko) * 2013-11-27 2018-06-08 선전 구딕스 테크놀로지 컴퍼니, 리미티드 아이 트래킹 및 사용자 반응 검출
US10720153B2 (en) * 2013-12-13 2020-07-21 Harman International Industries, Incorporated Name-sensitive listening device
US9795015B2 (en) * 2015-06-11 2017-10-17 Harman International Industries, Incorporated Automatic identification and localization of wireless light emitting elements
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
US10016130B2 (en) * 2015-09-04 2018-07-10 University Of Massachusetts Eye tracker system and methods for detecting eye parameters
US10671170B2 (en) * 2016-07-22 2020-06-02 Harman International Industries, Inc. Haptic driving guidance system
JP7082334B2 (ja) * 2016-11-17 2022-06-08 コグニート セラピューティクス，インク． 視覚刺激を介した神経刺激のための方法およびシステム
US20220008746A1 (en) * 2016-11-17 2022-01-13 Cognito Therapeutics, Inc. Methods and systems for neural stimulation via visual stimulation
US10660570B2 (en) * 2016-12-31 2020-05-26 Daqri, Llc Attention, comprehension, and drowsiness monitoring via head mounted device supporting augmented and mixed reality experiences
US10134279B1 (en) * 2017-05-05 2018-11-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for visualizing potential risks
US10837944B2 (en) * 2018-02-06 2020-11-17 Harman International Industries, Incorporated Resonator device for resonance mapping and sound production
US11009954B2 (en) * 2018-06-02 2021-05-18 Harman International Industries, Incorporated Haptics device for producing directional sound and haptic sensations
US10421465B1 (en) * 2018-07-12 2019-09-24 Chongqing Jinkang New Energy Vehicle Co., Ltd. Advanced driver attention escalation using chassis feedback
EP3730374A1 (en) * 2019-04-26 2020-10-28 Tusimple, Inc. Auditory assistant module for autonomous vehicles
US10921899B2 (en) * 2019-07-16 2021-02-16 Harman International Industries, Incorporated Interaction system using collocated visual, haptic, and/or auditory feedback
US20210041953A1 (en) * 2019-08-06 2021-02-11 Neuroenhancement Lab, LLC System and method for communicating brain activity to an imaging device
US20220117548A1 (en) * 2020-10-19 2022-04-21 Tabi Learning Technologies Ltd. System and methods for custom adjustments of a learning system according to an individual's cognition level

Also Published As

Publication number Publication date
CN113359974A (zh) 2021-09-07
US11535260B2 (en) 2022-12-27
US20210276568A1 (en) 2021-09-09
EP3875299A1 (en) 2021-09-08
JP2021140785A (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
KR20210113070A (ko) 주의 기반 알림
JP6149824B2 (ja) 車載装置、車載装置の制御方法及び車載装置の制御プログラム
US9007198B2 (en) Adaptive Actuator interface for active driver warning
US9530065B2 (en) Systems and methods for use at a vehicle including an eye tracking device
US9904362B2 (en) Systems and methods for use at a vehicle including an eye tracking device
FI124068B (en) Procedure for improving driving safety
US20130097557A1 (en) Method of controlling a display component of an adaptive display system
US20120169582A1 (en) System ready switch for eye tracking human machine interaction control system
JP2016110449A (ja) 運転支援システムおよび運転支援方法
US20200290628A1 (en) Personalized device and method for monitoring a motor vehicle driver
JP6095781B2 (ja) 情報提示装置及び情報提示方法
JP6907250B2 (ja) 車両用表示装置
US11518305B2 (en) Techniques for generating vehicle-to-pedestrian (V2P) communications based on driver monitoring
CN112590797A (zh) 用于监视驾驶员的装置及方法和包括该装置的系统
JP7367680B2 (ja) 表示装置
JP2017016457A (ja) 表示制御装置、投影装置、表示制御プログラム、および記録媒体
JP2018083441A (ja) 情報表示方法及び情報表示装置
US20180022357A1 (en) Driving recorder system
JP2007286959A (ja) 運転支援装置
JP2015228203A (ja) 表示制御装置、投影装置、表示制御プログラム、および記録媒体
US20210166659A1 (en) Head-up display device
JP6805974B2 (ja) 走行支援装置及びコンピュータプログラム
JP2017167623A (ja) 情報表示装置、情報表示方法及びプログラム
JP2011086125A (ja) 視認検出装置
JP2014172554A (ja) カメラ付き表示装置

Legal Events

Date Code Title Description
A201 Request for examination