KR20170128397A - 사용자 주의력 및 운전 상태에 맞게 사용자 인터페이스를 조정하는 시스템 및 방법 - Google Patents
사용자 주의력 및 운전 상태에 맞게 사용자 인터페이스를 조정하는 시스템 및 방법 Download PDFInfo
- Publication number
- KR20170128397A KR20170128397A KR1020177027750A KR20177027750A KR20170128397A KR 20170128397 A KR20170128397 A KR 20170128397A KR 1020177027750 A KR1020177027750 A KR 1020177027750A KR 20177027750 A KR20177027750 A KR 20177027750A KR 20170128397 A KR20170128397 A KR 20170128397A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- user interface
- attention
- available
- sensory type
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 142
- 238000011156 evaluation Methods 0.000 claims abstract description 74
- 230000002093 peripheral effect Effects 0.000 claims description 97
- 230000001953 sensory effect Effects 0.000 claims description 79
- 230000004044 response Effects 0.000 claims description 34
- 230000000694 effects Effects 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 9
- 230000035807 sensation Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000004590 computer program Methods 0.000 abstract description 32
- 230000008569 process Effects 0.000 description 65
- 238000013480 data collection Methods 0.000 description 53
- 230000003044 adaptive effect Effects 0.000 description 46
- 230000004048 modification Effects 0.000 description 44
- 238000004458 analytical method Methods 0.000 description 35
- 230000006399 behavior Effects 0.000 description 21
- 238000012986 modification Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000003542 behavioural effect Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 16
- 238000005259 measurement Methods 0.000 description 16
- 238000012544 monitoring process Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000005070 sampling Methods 0.000 description 13
- 230000035945 sensitivity Effects 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000012854 evaluation process Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 241000269400 Sirenidae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010370 hearing loss Effects 0.000 description 1
- 231100000888 hearing loss Toxicity 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000011867 re-evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G06F9/4443—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- B60K35/10—
-
- B60K35/20—
-
- B60K35/28—
-
- B60K35/29—
-
- B60K35/80—
-
- B60K35/81—
-
- B60K35/85—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K37/00—Dashboards
- B60K37/04—Arrangement of fittings on dashboard
- B60K37/06—Arrangement of fittings on dashboard of controls, e.g. controls knobs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- B60K2350/1004—
-
- B60K2350/1028—
-
- B60K2350/1056—
-
- B60K2350/352—
-
- B60K2350/962—
-
- B60K2360/1438—
-
- B60K2360/166—
-
- B60K2360/167—
-
- B60K2360/1868—
-
- B60K2360/197—
-
- B60K2360/48—
-
- B60K2360/573—
-
- B60K2360/583—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
Abstract
운전자의 가용 주의력에 맞게 모바일 애플리케이션의 사용자 인터페이스를 조정하기 위한 방법, 장치 및/또는 컴퓨터 프로그램이 개시된다. 이들은 장치 및/또는 소프트웨어 프로그램을 작동시키는데 사용 가능한 사용자 주의력의 평가를 수신하는 단계, 그 장치 및/또는 소프트웨어 프로그램을 작동시키는데 필요한 사용자 주의력을 평가하는 단계; 및 사용자의 가용 주의력의 평가에 따라 그 장치 및/또는 소프트웨어 프로그램의 사용자 인터페이스를 조정하는 단계를 포함한다.
Description
여기 개시된 방법 및 장치는 컴퓨팅 장치의 사용자 인터페이스 분야에 관한 것이고, 배타적인 것은 아니지만 더욱 상세하게는 자동차 환경에서 작동되는 모바일 장치의 사용자 인터페이스에 관한 것이다.
모바일 통신은 매우 거슬리고, 가장 불편한 상황에서 주의력을 필요로 한다. 몇몇 상황에서, 모바일 통신 또는 모바일 애플리케이션에 의해 발생되는 방해는, 예컨대, 차를 운전할 때 위험할 수 있다. 일반적인 모바일 장치의 사용자 인터페이스는 불편하며, 그렇지 않더라도 운전 중에 사용될 때 위험할 수 있다. 그러므로, 자동차 환경에 맞게 사용자 인터페이스를 조정하는 시스템 및 방법에 대한 필요성이 널리 인식되고 있고 그러한 시스템 및 방법을 가지는 것이 매우 유리할 것이다.
하나의 예시적인 실시예에 따라, 사용자 인터페이스를 조정하기 위한 방법, 장치, 및/또는 컴퓨터 프로그램이 제공되는데, 이들은 장치 및 소프트웨어 프로그램 중 적어도 하나를 작동시키기 위해 사용 가능한 사용자 주의력의 평가를 수신하는 단계, 장치 및 소프트웨어 프로그램 중 적어도 하나를 작동시키기 위해 요구되는 사용자 주의력을 평가하는 단계, 및 사용자의 가용 주의력의 평가에 따라 장치 및 소프트웨어 프로그램 중 적어도 하나의 사용자 인터페이스를 조정하는 단계를 포함한다.
다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램은 추가적으로 복수의 주변 상태를 정하는 단계, 주변 상태 각각에 대하여 한 세트의 측정 가능한 주변 값을 연관짓는 단계, 측정된 주변값을 형성하기 위해 적어도 하나의 주변 상태를 측정하는 단계 및 사용자의 가용 주의력의 평가 및 측정된 주변 값에 따라 사용자 인터페이스를 조정하는 단계를 포함할 수 있다.
또 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램은 추가적으로 적어도 한 명의 운전자의 행동 파라미터를 정하는 단계, 적어도 한 명의 운전자의 행동 파라미터에 대하여 한 세트의 측정 가능한 행동 값을 연관짓는 단계, 측정된 행동 값을 형성하기 위해 적어도 한 명의 운전자의 행동 파라미터를 측정하는 단계, 및 사용자의 가용 주의력의 평가 및 측정된 행동 값에 따라 사용자 인터페이스를 조정하는단계를 포함할 수 있다.
또 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램은 추가적으로 사용자 응답을 측정하여 응답 품질을 형성하는 단계, 및 응답 품질에 따라 사용자 인터페이스를 조정하는 단계를 포함할 수 있다.
또한, 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램에서, 사용자 인터페이스를 조정하는 단계는 사용자와 상호작용하도록 구성된 출력 장치, 사용자와 상호작용하도록 구성된 입력 장치, 사용자 인터페이스 모드, 및 사용자 인터페이스 포맷 중 적어도 하나를 선택하는 단계를 포함할 수 있다.
또한, 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램에서, 복수의 주변 상태를 정하고, 각각의 주변 상태에 대한 한 세트의 측정 가능한 주변 값을 연관짓고, 적어도 하나의 측정 가능한 주변 값을 기초로 사용자 주의력 요구량을 계산하기 위한 적어도 하나의 규칙을 제공하고, 측정된 주변 값을 형성하기 위해 적어도 하나의 주변 상태를 측정하고, 그리고 적어도 하나의 규칙을 이용하여, 적어도 하나의 측정된 주변 값을 포함하는 사용자 주의력 요구량을 계산함으로써 사용자의 가용 주의력이 평가될 수 있다.
또한, 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램에서, 주변 상태는 자동차의 성능, 자동차 운전자의 운전 활동, 자동차 운전자의 비운전 활동, 자동차 내 승객의 활동, 자동차 내 장치의 활동, 도로 상태, 오프로드 상태, 노변 상태, 교통 상태, 내비게이션, 일중시간 및 날씨 중 적어도 하나를 포함할 수 있다.
또한, 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램은 추가적으로 적어도 한 명의 운전자의 행동 파라미터를 정하는 단계, 적어도 한 명의 운전자의 행동 파라미터에 대하여 한 세트의 측정 가능한 행동 값을 연관짓는 단계, 적어도 한 명의 운전자의 행동 파라미터를 측정하여 측정된 행동 값을 형성하는 단계, 및 측정 가능한 주변 값 및 측정된 행동 값 중 적어도 하나를 기초로 하여 사용자 주의력 요구량 값을 계산하기 위한 적어도 하나의 규칙을 제공하는 단계를 포함할 수 있다.
부가적으로, 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램에서, 운전자의 행동 파라미터는 현재 운전되고 있는 자동차를 운전하는, 현재 운전되는 도로를 운전하는, 스티어링 휠을 조작하는, 악셀레이터 패달을 조작하는, 브레이크 페달을 조작하는, 기어 박스를 조작하는, 현재 도로 상태, 오프로드 상태, 노변 상태에서 자동차를 운전하는, 현재의 교통 상태에서 자동차를 운전하는, 현재 날씨 상태에서 자동차를 운전하는, 현재 조작되는 장치를 조작하는, 그리고 현재 자동차 내의 승객과 함께 운전하는 운전자의 히스토리를 포함할 수 있다.
또 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램에서, 출력 장치, 입력 장치, 및 사용자 인터페이스 모드 중 적어도 하나는 소리, 음성 출력, 음성 입력, 시각적 출력, 대쉬보드 디스플레이, 촉각 입력, 터치 감응 스크린, 및 스티어링 휠 컨트롤을 포함하는 한 그룹의 모드로부터 선택된 적어도 하나의 모드를 포함할 수 있고, 부가적으로 이 모드는 가용 주의력, 주변 상태 및 행동 값 중 적어도 하나에 따라 선택된다.
또 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램에서, 출력 장치, 입력 장치, 및 사용자 인터페이스 포맷 중 적어도 하나는 업-다운 선택, 좌-우 선택, D-패드 선택, 8방향 선택, 예스-노 선택, 수치 선택, 및 신호 선택을 포함하는 한 그룹의 포맷 중 적어도 하나의 포맷을 포함하고, 부가적으로 이 포맷은 가용 주의력, 주변 상태, 및 행동 값 중 적어도 하나에 따라 선택된다.
또한, 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램에서, 모드는 음성을 포함할 수 있고, 포맷은 음성의 가변 속도 및/또는 음성의 가변 볼륨을 포함할 수 있다.
또한, 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램에서, 사용자 인터페이스를 조정하는 단계는 사용자에게로의 출력을 지연하는 단계, 적어도 하나의 옵션 및 기능을 제거하는 단계, 및/또는 메뉴를 분할하는 단계를 포함할 수 있다.
부가적으로, 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램은 제1 장치 및 제1 소프트웨어 프로그램 중 적어도 하나를 작동시키는 사용자의 주의력을 소모하는 영향들을 측정하는 단계, 그 영향에 의한 사용자로부터의 주의력 요구량을 평가하는 단계, 제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나를 작동시키기 위한 사용자의 가용 주의력을 평가하는 단계로서, 제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나는 사용자 인터페이스를 포함하는 것인, 가용 주의력을 평가하는 단계, 가용 주의력에 따라 사용자 인터페이스를 수정하는 단계, 제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나와의 사용자 상호작용을 측정하여 사용자 응답 레벨을 형성하는 단계 및 사용자 응답 레벨에 따라 사용자 인터페이스를 조정하는 단계를 포함할 수 있다.
이 방법, 장치, 및/또는 컴퓨터 프로그램의 또 다른 예시적인 실시예에 따라, 사용자 인터페이스를 수정하는 단계는 추가적으로 적어도 하나의 영향을 제1 감각 유형과 연관짓는 단계를 포함하고, 사용자 인터페이스를 수정하는 단계는 추가적으로 제1 감각 유형과 상이한 제2 감각 유형을 이용하는 단계를 포함한다.
이 방법, 장치, 및/또는 컴퓨터 프로그램의 또 다른 예시적인 실시예에 따라, 사용자 가용 주의력을 평가하는 단계는 사용자에 대하여 적어도 하나의 감소된 감각 유형을 탐지하는 단계를 포함할 수 있고, 사용자 인터페이스를 수정하는 단계는 감소된 감각 유형과 상이한 제2 감각 유형을 이용할 수 있다.
이 방법, 장치, 및/또는 컴퓨터 프로그램의 또 다른 예시적인 실시예에 따라, 사용자 인터페이스를 조정하는 단계는 추가적으로 미리 정해진 레벨에 대하여 사용자 응답 레벨을 향상시키도록 사용자 인터페이스를 조정할 수 있다.
이 방법, 장치, 및/또는 컴퓨터 프로그램의 또 다른 예시적인 실시예에 따라, 가용 주의력에 따라 사용자 인터페이스를 수정하는 단계, 및 사용자 응답 레벨에 따라 사용자 인터페이스를 조정하는 단계는 추가적으로 사용자와 상호작용하도록 구성된 출력 장치, 사용자와 상호작용하도록 구성된 입력 장치, 사용자 인터페이스 모드 및 사용자 인터페이스 포맷 중 적어도 하나를 선택하는 단계를 포함할 수 있다.
이 방법, 장치, 및/또는 컴퓨터 프로그램의 또 다른 예시적인 실시예에 따라, 가용 주의력에 따라 사용자 인터페이스를 수정하는 단계 및 사용자 응답 레벨에 따라 사용자 인터페이스를 조정하는 단계는 추가적으로, 제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나의 원래의(native) 사용자 출력 장치 이외의 주변 사용자 출력 장치를 이용하는 것, 및 제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나의 원래의 사용자 입력 장치 이외의 주변 사용자 입력 장치를 이용한 사용자 엔트리의 에뮬레이션(emulation)을 포함할 수 있다.
추가적으로, 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램은 UI 주의력 요구량을 형성하기 위해 수정된 사용자 인터페이스에 의한 사용자로부터의 주의력 요구량을 평가할 수 있고, 가용 주의력보다 낮은 UI 주의력 요구량을 달성하도록 사용자 인터페이스를 수정할 수 있다.
또 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램에서, 사용자 인터페이스를 조정하는 단계는 사용자에게로의 출력을 지연시키는 단계, 적어도 하나의 옵션 및 기능을 제거하는 단계, 메뉴를 분할하는 단계, 및 메뉴 내 옵션의 개수를 줄이는 단계 중 적어도 하나를 포함할 수 있다.
이 방법, 장치, 및/또는 컴퓨터 프로그램의 또 다른 예시적인 실시예에 따라, 사용자 인터페이스를 수정하는 단계는 추가적으로 적어도 하나의 영향을 적어도 하나의 제1 감각 유형과 연관짓는 단계를 포함할 수 있고, 사용자 인터페이스를 수정하는 단계는 추가적으로 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자 출력 장치를 이용하는 단계, 및 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자 입력 장치를 이용한 사용자 엔트리의 에뮬레이션, 및 사용자에 대하여 적어도 하나의 감소된 감각 유형을 탐지하는 단계 중 적어도 하나를 포함할 수 있고, 여기서 사용자 인터페이스를 수정하는 단계는 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자 출력 장치를 이용하는 단계, 및 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자 입력 장치를 이용한 사용자 엔트리의 에뮬레이션을 포함한다.
또한, 다른 예시적인 실시예에 따라, 이 방법, 장치, 및/또는 컴퓨터 프로그램은 적어도 한 명의 운전자의 행동 파라미터를 정하는 단계, 적어도 한 명의 운전자의 행동 파라미터에 대하여 한 세트의 측정 가능한 행동 값을 연관짓는 단계, 적어도 한 명의 운전자의 행동 파라미터를 측정하여 측정된 행동 값을 형성하는 단계, 및 사용자의 가용 주의력의 평가 및 측정된 행동 값에 따라 사용자 인터페이스를 조정하는 단계를 포함할 수 있다.
또한, 이 방법, 장치, 및/또는 컴퓨터 프로그램의 다른 예시적인 실시예에 따라, 사용자의 가용 주의력은 복수의 주변 상태를 정하는 단계, 각각의 주변 상태에 대하여 한 세트의 측정 가능한 주변 값을 연관짓는 단계, 적어도 하나의 측정 가능한 주변 값을 기초로 사용자 주의력 요구량을 계산하기 위한 적어도 하나의 규칙을 제공하는 단계, 적어도 하나의 주변 상태를 측정하여 측정된 주변 값을 형성하는 단계 및 적어도 하나의 규칙을 이용하여, 적어도 하나의 측정된 주변 값을 포함하는 사용자 주의력 요구량을 계산하는 단계를 포함하는 방법에 의해 평가될 수 있다.
또한, 이 방법, 장치, 및/또는 컴퓨터 프로그램의 다른 예시적인 실시예에 따라, 출력 장치, 입력 장치, 및 사용자 인터페이스 모드 중 적어도 하나는 소리, 음성 출력, 음성 입력, 시각적 출력, 대쉬보드 디스플레이, 촉각 입력, 터치 감응 스크린, 및 스티어링 휠 컨트롤을 포함하는 한 그룹의 모드로부터 선택된 적어도 하나의 모드를 포함하고, 이 모드는 가용 주의력, 주변 상태 및 행동 값 중 적어도 하나에 따라 선택될 수 있다.
또한, 이 방법, 장치, 및/또는 컴퓨터 프로그램의 다른 예시적인 실시예에 따라, 출력 장치, 입력 장치, 및 사용자 인터페이스 포맷 중 적어도 하나는 업-다운 선택, 좌-우 선택, D-패드 선택, 8방향 선택, 예스-노 선택, 수치 선택, 및 신호 선택을 포함하는 한 그룹의 포맷 중 적어도 하나의 포맷을 포함하고, 이 포맷은 가용 주의력, 주변 상태, 및 행동 값 중 적어도 하나에 따라 선택될 수 있다.
또한, 이 방법, 장치, 및/또는 컴퓨터 프로그램의 다른 예시적인 실시예에 따라, 모드는 음성을 포함할 수 있고, 포맷은 음성의 가변 속도 및/또는 음성의 가변 볼륨 중 적어도 하나를 포함할 수 있다.
다르게 정의되지 않았다면, 여기 사용된 모든 기술적 및 과학적 용어들은 관련 기술분야에서 당업자들에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 여기 제공된 재료, 방법, 및 예시들은 단지 설명을 위한 것일 뿐, 제한사항으로 의도되지 않았다. 프로세스 자체에서 필수적이거나 고유한 정도를 제외하고, 도면을 포함한 본 개시물에 서술된 방법 및 프로세스의 단계 또는 스테이지에 대하여 의도되었거나 내포된 특정 순서는 존재하지 않는다. 많은 경우에, 프로세스 단계들의 순서는 서술된 방법의 목적 또는 영향을 바꾸지 않고 변경될 수 있다.
지금부터, 다양한 실시예들이 첨부된 도면을 참조하여 단지 예시의 방법으로 서술된다. 이제 특히 도면을 상세하게 참조하는데, 도시된 세부사항은 예시의 방법으로, 단지 바람직한 실시예의 실례를 들어 설명할 목적일 뿐이며, 실시예의 원리 및 개념적 형태의 가장 유용하고 쉽게 이해할 수 있는 설명이라고 믿어지는 것을 제공하기 위해 제시된 것임이 강조된다. 이와 관련하여, 본 발명의 기초적인 이해를 위해 필요한 것보다 더 상세하게 실시예의 구조적 세부사항을 보여주려는 것이 아니며, 도면을 참조하여 설명을 읽을 때 몇몇 형태 및 구조들이 실제로 어떻게 구현되는지 당업자에게 명백할 것이다.
도면에서:
도 1은 적응형 UI 시스템의 간단한 도면이다.
도 2는 적응형 UI 소프트웨어를 처리하는 컴퓨팅 시스템의 간단한 블록도이다.
도 3은 적응형 UI 시스템의 간단한 블록도이다.
도 4는 주의력 평가 및 적응형 UI 소프트웨어의 간단한 블록도이다.
도 5는 데이터 수집 프로세스의 간단한 플로우차트이다.
도 6은 주의력 평가 프로세스의 간단한 플로우차트이다.
도 7은 개인 데이터 수집 프로세스의 간단한 플로우차트이다.
도 8은 UI 수정 소프트웨어 프로그램의 간단한 블록도이다.
도 9는 UI 수정 소프트웨어 프로그램의 간단한 플로우차트이다.
도 10은 UI 선택 프로세스의 간단한 플로우차트이다.
도면에서:
도 1은 적응형 UI 시스템의 간단한 도면이다.
도 2는 적응형 UI 소프트웨어를 처리하는 컴퓨팅 시스템의 간단한 블록도이다.
도 3은 적응형 UI 시스템의 간단한 블록도이다.
도 4는 주의력 평가 및 적응형 UI 소프트웨어의 간단한 블록도이다.
도 5는 데이터 수집 프로세스의 간단한 플로우차트이다.
도 6은 주의력 평가 프로세스의 간단한 플로우차트이다.
도 7은 개인 데이터 수집 프로세스의 간단한 플로우차트이다.
도 8은 UI 수정 소프트웨어 프로그램의 간단한 블록도이다.
도 9는 UI 수정 소프트웨어 프로그램의 간단한 플로우차트이다.
도 10은 UI 선택 프로세스의 간단한 플로우차트이다.
본 실시예들은 운전자의 가용 주의력 및 운전 상태에 맞게 자동차 내의 컴퓨팅 시스템의 사용자 인터페이스(UI)를 조정하는 시스템 및 방법을 포함한다. 여기 제공된 몇 가지 예시적인 실시예에 따른 장치 및 방법의 원리 및 동작은 첨부된 도면과 아래의 설명을 참조하여 더 잘 이해될 것이다.
적어도 하나의 실시예를 상세하게 설명하기에 앞서, 이러한 실시예들이 그것의 적용에 있어서 아래의 설명에 나열되거나 도면에 도시된 컴포넌트의 구조 및 배열의 세부사항으로 제한되지 않음을 이해해야 한다. 다른 실시예들이 다양한 방식으로 실시 또는 수행될 수 있다. 또한, 여기 사용된 문구 및 용어들이 설명을 위한 것이며 제한사항으로 간주되어서는 안된다는 것을 이해해야 한다.
본 명세서에서, 한 도면의 범위 내에서 설명되지 않고, 이전 도면에서 설명되었던 부재번호가 붙여진 도면의 엘리먼트는 이전 도면에서와 동일한 용도 및 설명을 가진다. 이와 유사하게, 텍스트에 의해 설명되는 도면에 나타나지 않는 부재번호에 의해 텍스트에서 식별되는 엘리먼트는 그것이 설명되었던 이전 도면에서와 동일한 용도 및 설명을 가진다.
본 명세서에서 도면은 임의의 축적에 따르지 않을 수 있다. 각각의 도면들은 각각의 축척을 사용할 수도 있고, 동일한 도면 내에서도 상이한 축척이 사용될 수도 있다. 예컨대, 동일한 물체가 각각 도면에서 각각의 축척을 사용하거나, 2개의 인접한 물체가 각각의 축척을 사용할 수 있다.
실시예들의 목적은 운전 상태, 주변 상태 및/또는 운전자의 행동, 및/또는 그러한 주변 환경 및/또는 운전 상태에 의해 요구되는 운전자의 주의력, 및/또는 운전자의 가용 주의력에 맞게 UI를 조정하기 위한 적어도 하나의 시스템 및/또는 방법을 제공하는 것이다.
본 명세서에서 용어 '자동차'는 임의의 타입의 운송수단 및/또는 이동 플랫폼 및/또는 운송 장비를 의미한다. 이러한 운송수단은 기차, 건설 장비 등을 포함하여 지상차량, 선박, 보트, 배, 조선장비 등, 항공기, 비행기, 드론 등일 수 있다. 아래의 실시예가 움직이는 차 또는 운송수단 및 도로 상태의 변경에 대하여 언급하고 있으나, 크래인과 같이 수동으로 작동되는 고정식 장치 또한 고려됨이 이해될 것이다.
용어 '운전자'는 앞서 정의한 임의의 타입의 자동차를 조작하는 사람을 의미한다. 용어 '승객'은 운전자 이외에 자동차에 탑승한 임의의 사람을 의미한다. '주변-관련', '주변 센서' 및 '주변 상황'에서와 같은 용어 '주변' 및 '주변의'는 사용자의 환경, 및 특히 사용자에게 영향을 주고 및/또는 사용자에 의해 영향을 받는 사용자의 환경의 상태를 의미한다. 특히, 이 용어들은 자동차 외부 상태 및/또는 자동차 내부 상태에 관한 것이고, 선택적으로 그리고 부가적으로 자동차 또는 운전자에게 영향을 주거나 자동차의 운전자의 주의력에 영향을 주는 임의의 상태 또는 상황에 관한 것이다. 이와 관련하여, 용어 '주변' 및/또는 '주변의'는 자동차 그 자체, 또는 자동차의 임의의 컴포넌트, 및/또는 자동차 내부의 임의의 상태 또는 상황, 및/또는 자동차 외부의 임의의 상태 또는 상황을 의미할 수 있다. 자동차 외부의 주변 상태 및/또는 상황은 도로, 비포장 도로, 노변 등 및/또는 날씨를 포함할 수 있으나, 이에 제한되는 것은 아니다.
용어 '컴퓨팅 장비' 및/또는 '컴퓨팅 시스템' 및/또는 '컴퓨팅 장치' 및/또는 '계산 시스템' 및/또는 '계산 장치' 등은 임의의 타입의 소프트웨어 프로그램을 실행할 수 있는, 제한하는 것은 아니지만, 프로세싱 장치, 메모리 장치, 저장 장치, 및/또는 통신 장치를 포함하는 임의의 타입 또는 조합의 장치, 또는 컴퓨팅 관련 유닛을 의미할 수 있다.
용어 '모바일 장치'는 운전자의 주의력을 필요로 하거나 및/또는 영향을 줄 수 있는, 자동차 내에 설치 및/또는 장착 및/또는 배치된 임의의 타입의 계산 장치를 의미한다. 모바일 장치는 원래의 자동차의 컴포넌트, 에프터-마켓 장치(after-market device) 및 휴대용 장치를 포함할 수 있다. 이러한 모바일 장치는 운전자의 주머니 속의 모바일 전화(스마트 폰)와 같이, 자동차에 기계적으로 연결되지 않을 수도 있다. 이러한 모바일 장치는 모바일 전화 및/또는 스마트폰, 태블릿 컴퓨터, 랩탑 컴퓨터, PDA, 차에 설치된 스피커폰 시스템, 카 엔터테인먼트 시스템(예컨대, 라디오, CD 플레이어 등), 무선 통신 장치 등을 포함할 수 있다. 모바일 장치는 전형적으로 통신 네트워크(아래에 더 정의됨) 및 특히 무선 및/또는 셀룰러 통신 네트워크와 통신 가능하게 연결될 수 있다.
용어 '모바일 애플리케이션' 또는 간단히 '애플리케이션'은 모바일 장치에 의해 실행될 수 있고 임의의 타입의 사용자 인터페이스를 이용하여 운전자 및/또는 승객과 상호작용하는 임의의 타입의 소프트웨어 및/또는 컴퓨터 프로그램을 의미한다. 용어 '실행되는'은 임의의 타입의 소프트웨어 프로그램의 사용, 조작, 프로세싱, 실행, 설치, 로딩(loading) 등을 의미할 수 있다.
용어 '네트워크' 또는 '통신 네트워크'는 제한하는 것은 아니지만, 고정(와이어, 케이블) 네트워크, 무선 네트워크, 및/또는 위성 네트워크, 고정식 또는 다양한 타입의 셀룰러 네트워크를 포함하는 무선의 광역 네트워크(WAN), 고정식 또는 와이파이를 포함하는 무선의 근거리 네트워크(LAN), 및 고정식 또는 블루투스 및 NFC를 포함하는 무선의 개인 영역 네트워크(PAN) 및 임의의 개수의 네트워크 및 이러한 네트워크의 조합을 포함하는 임의의 타입의 통신 매체를 의미한다.
용어 '서버' 또는 '통신 서버' 또는 '네트워크 서버'는 통신 네트워크에 연결되어 있고, 그 통신 네트워크에 연결된 임의의 개수의 단말 장치에 컴퓨팅 및/또는 소프트웨어 프로세싱 서비스를 제공하는 임의의 타입의 컴퓨팅 머신을 의미한다.
용어 '자동차 컴퓨터' 또는 '자동차 컨트롤러'는 (스마트폰과 같은 운전자의 모바일 장치와는 다른) 실시간으로 정보를 제공할 수 있는 자동차 내부의 임의의 타입의 컴퓨팅 장치를 의미할 수 있다. 이러한 자동차 컴퓨터 또는 컨트롤러는 엔진 관리 컴퓨터, 기어박스 컴퓨터 등을 포함할 수 있다.
용어 '카 엔터테인먼트 시스템'은 라디오 시스템, TV 시스템, 위성 시스템, 모바일 전화와 통합하는 스피커폰 시스템, 자동차 내비게이션 시스템, GPS 장치, 후방 근접 통지 시스템(reverse proximity notification system), 후방 카메라, 대쉬보드 카메라, 충돌 방지 시스템 등을 포함하는, 자동차 내부에 설치된 임의의 오디오 및/또는 비디오 시스템을 의미한다.
용어 '주변 주의력'은 앞서 정의된 주변을 향하는, 또는 주변에 의해 소모되거나 필요로 되는 운전자의 주의력을 의미한다. 용어 '모바일 주의력'은 모바일 장치 및/또는 모바일 애플리케이션으로 향하는 운전자의 주의력을 의미한다. 용어 '가용 주의력'은 모바일 장치 및/또는 모바일 애플리케이션으로 주의력을 돌릴 수 있는 운전자의 능력을 의미한다.
여기 서술된 시스템 및 방법의 목적은 가용 주의력에 맞게 모바일 주의력을 조정하는 것, 또는 더욱 상세하게는 모바일 장치 및/또는 모바일 애플리케이션의 UI를, 그 UI가 가용 주의력보다 크지 않은 운전자의 주의력을 필요로 하도록 조정하는 것이다. 즉, 여기 서술된 시스템 및 방법의 목적은 모바일 주의력을 가용 주의력보다 낮게 감소시키는 것이다.
이제, 하나의 예시적인 실시예에 따른 적응형 UI 시스템(10)의 간단한 도면인 도 1을 참조한다.
도 1은 운전자 주의력 평가 시스템 및 UI 수정 시스템을 포함할 수 있는 적응형 UI 시스템(10)을 포함하는 자동차(11)의 내부를 도시한다.
사용자 인터페이스(UI) 수정 시스템은 UI 수정 소프트웨어 프로그램(12) 및 다양한 사용자 인터페이스 장치(UID)를 포함할 수 있다. UID는 스피커 및 디스플레이와 같은 출력 장치, 및 마이크로폰, 버튼, 키, 스위치, 키패드, 터치 스크린 및/또는 터치 센서와 같은 입력 장치일 수 있다.
운전자 주의력 평가 시스템은 자동차 내의 임의의 컴퓨팅 장비에 의해 실행되는 주의력 평가 소프트웨어 프로그램(13)을 포함할 수 있다. 특히, 배타적인 것은 아니지만, UID는 스티어링 휠 컨트롤이라고도 알려진 스티어링 휠에 내장된 사용자 입력 장치를 포함할 수 있다. 특히, 배타적인 것은 아니지만, UID(33)는 대쉬보드 디스플레이 또는 카 엔터테인먼트 시스템의 디스플레이와 같은 차에 내장된 사용자 출력 장치를 포함할 수 있다.
UID는 또한, 예컨대, 음성 생성하고(예컨대, 텍스트를 음성으로) 또는 음성을 인식함(예컨대, 음성 인식)으로써 사용자와 상호작용할 수 있는 장치 및/또는 소프트웨어 프로그램을 포함할 수 있다.
UI 수정 소프트웨어 프로그램(12) 및 주의력 평가 소프트웨어 프로그램(13)은 하나 이상의 프로세서에 의해, 동일한 프로세서(들)에 의해, 또는 상이한 프로세서(들)에 의해 실행될 수 있다. UI 수정 소프트웨어 프로그램(12) 및 주의력 평가 소프트웨어 프로그램(13)(짧게, 프로그램(12 및 13))은, 예컨대, 스마트폰(14)과 같은 모바일 통신 장치, 카 엔터테인먼트 시스템 및/또는 스피커폰 시스템(15), 자동차 컴퓨터(16) 등의 프로세서에 의해 실행될 수 있다.
프로그램(12 및 13)은 또한, 예컨대, 통신 네트워크(17)를 통해 스마트폰(14), 카 엔터테인먼트 시스템 및/또는 스피커폰 시스템(15), 자동차 컴퓨터(16) 등과 같은 자동차 내의 임의의 다른 컴퓨팅 장치들과 통신할 수 있다. 예를 들어, 임의의 프로그램(12 및 13)은 스마트폰(14)에 의해 실행될 수 있고, 카 엔터테인먼트 시스템 및/또는 스피커폰 시스템(15) 및 자동차 컴퓨터(16)와 통신할 수 있다.
프로그램(12 및 13)은 또한, 예컨대, 통신 네트워크(17)를 통해 도로 센서, 교통 통신 프로세서, 주변 자동차 내에서 동작하는 프로세스를 포함하는 자동차 외부의 임의의 다른 컴퓨팅 장치와 통신할 수도 있다.
모바일 통신 장치(스마트폰)(14)은 또한 임의의 개수의 모바일 애플리케이션(18)을 실행할 수 있다. UI 수정 소프트웨어 프로그램(12) 및/또는 주의력 평가 소프트웨어(13)는 또한 동일한 스마트폰(14)에 의해 실행되는, 및/또는 자동차 내부의 임의의 다른 계산 장치에 의해 실행되는 임의의 이러한 모바일 애플리케이션(18)과 통신할 수 있다. 예를 들어, 프로그램(12 및/또는 13)은 스마트폰(14)에 의해 실행되는 내비게이션 소프트웨어와 통신할 수 있고, 및/또는 자동차 내에 설치된 내비게이션 장치와 통신할 수 있고, 및/또는 자동차 내 승객의 스마트폰에 의해 실행되는 내비게이션 소프트웨어와 통신할 수 있다.
프로그램(12 및/또는 13)은 전형적으로 자동차 외부에 있는 하나 이상의 정보 서비스(19)와 통신할 수 있다. 프로그램(12 및/또는 13)은, 예컨대, 통신 네트워크(17)를 통해 그러한 서비스와 통신할 수 있다. 정보 서비스는, 예컨대, 날씨 정보 서비스일 수 있다.
이제, 하나의 예시적인 실시예에 따른 컴퓨팅 시스템(20)의 간단한 블록도인 도 2를 참조한다. 선택사항으로서, 이전 도면의 세부사항의 맥락에서 도 2의 블록도를 볼 수 있다. 그러나, 물론 임의의 바람직한 환경의 맥락에서 도 2의 블록도를 볼 수도 있다. 게다가, 앞서 언급한 정의들은 아래의 설명에 동등하게 적용될 수 있다.
컴퓨팅 시스템(20)은 UI 수정 소프트웨어 프로그램(12), 및/또는 주의력 평가 소프트웨어(13), 및/또는 모바일 애플리케이션(18)을 실행하기 위해 사용되는 컴퓨팅 장치의 블록도이다. 컴퓨팅 시스템(20)은 그러한 소프트웨어 프로그램 중 임의의 것, 그러한 소프트웨어 프로그램 모두, 또는 그러한 소프트웨어 프로그램의 임의의 조합을 실행할 수 있다.
도 2에 도시된 바와 같이, 컴퓨팅 시스템(20)은 적어도 하나의 프로세서 유닛(21), 하나 이상의 메모리 유닛(22)(예컨대, 랜덤 액세스 메모리(RAM), 플래시 메모리와 같은 비휘발성 메모리 등), (예컨대, 하드디스크 드라이브 및/또는 플로피 디스크 드라이브를 나타내는 제거 가능한 저장 드라이브, 자기 테이프 드라이브, 컴팩트 디스크 드라이브, 플래시 메모리 장치 등을 포함하는) 하나 이상의 저장 유닛(23)을 포함할 수 있다.
컴퓨팅 시스템(20)은 또한 하나 이상의 통신 유닛(24), 하나 이상의 그래픽 프로세서(25) 및 디스플레이(26), 및 상기 유닛들을 연결하는 하나 이상의 통신 버스(27)를 포함할 수 있다.
컴퓨팅 시스템(20)은 또한 임의의 메모리 유닛(22) 및/또는 저장 유닛(23)에 저장될 수 있는 하나 이상의 컴퓨터 프로그램(28) 또는 컴퓨터 제어 로직 알고리즘을 포함할 수 있다. 이러한 컴퓨터 프로그램들은, 실행될 때, 컴퓨팅 시스템(20)이 (예컨대, 도 1의 맥락에서 나열된) 다양한 기능들을 수행하게 할 수 있다. 메모리 유닛(22) 및/또는 저장 유닛(23) 및/또는 임의의 다른 저장장치는 유형의 컴퓨터 판독 가능한 매체의 가능한 예이다. 특히, 컴퓨터 프로그램(28)은 UI 수정 소프트웨어 프로그램(12), 주의력 평가 소프트웨어(13), 및/또는 모바일 애플리케이션(18) 또는 이들의 일부 또는 조합을 포함할 수 있다.
컴퓨팅 시스템(20)은 또한 상술한 UID와 같은 사용자 인터페이스 장치(29) 및/또는 사용자 인터페이스 장치 드라이버를 포함하거나 작동시킬 수 있다.
컴퓨팅 시스템(20)은 또한 하나 이상의 센서(30) 및/또는 센서 드라이버를 포함하거나 작동시킬 수 있다. 센서(30)는 전형적으로 주변 상태, 상황, 및/또는 이벤트를 감지하도록 구성된다.
이제, 하나의 예시적인 실시예에 따른 적응형 UI 시스템(10)의 간단한 블록도인 도 3을 참조한다. 선택사항으로서, 이전 도면의 세부사항의 맥락에서 도 3의 적응형 UI 시스템(10)을 볼 수 있다. 그러나, 물론 임의의 바람직한 환경의 맥락에서 도 3의 적응형 UI 시스템(10)을 볼 수도 있다. 게다가, 상기 언급된 정의들은 아래의 설명에 동등하게 적용될 수 있다.
도 3에 도시된 바와 같이, 적응형 UI 시스템(10)은 모바일 장치(예컨대, 스마트폰)(14) 및 UI 수정 시스템(32)과 통신 가능하게 연결된 운전자 주의력 평가 시스템(31)을 포함할 수 있는데, 이 UI 수정 시스템(32)은 또한 모바일 장치(예컨대, 스마트폰)(14) 과 통신 가능하게 연결될 수 있다.
모바일 장치(14)는 또한 카 엔터테인먼트 시스템 및/또는 스피커폰 시스템(15) 및 운전자 주의력 평가 시스템(31)과 통신 가능하게 연결될 수 있다. UI 수정 시스템(32) 및/또는 모바일 장치(14)는 다양한 사용자 인터페이스 장치(UID)(33)와 통신 가능하게 연결될 수 있다.
설명의 목적으로, 용어 'UI 수정 시스템(32)' 및 '수정 소프트웨어 프로그램(12)'이 상호 치환 가능하고, 용어 '운전자 주의력 평가 시스템(31)' 및 '주의력 평가 소프트웨어 프로그램(13)'이 상호 치환 가능하고, 용어 '모바일 장치(스마트폰)(14)' 및 '모바일 애플리케이션(18)'이 상호 치환 가능함이 이해될 것이다. 그러므로, UI 수정 소프트웨어 프로그램(12)은 모바일 애플리케이션(18) 및 주의력 평가 소프트웨어 프로그램(13)과 통신 가능하게 연결된다. 그리고, 주의력 평가 소프트웨어 프로그램(13) 및 모바일 애플리케이션(18) 또한 통신 가능하게 연결될 수 있다. 이와 유사하게, UI 수정 소프트웨어 프로그램(12) 및/또는 모바일 애플리케이션(18)은 다양한 사용자 인터페이스 장치(UID)(33)와 통신 가능하게 연결될 수 있다.
적응형 UI 시스템(10)이, 전체적으로, 주변 상황에 의해 요구되는 운전자 주의력을 평가하기 위해, 모바일 애플리케이션(18)과 상호작용하는데 사용 가능할 수 있는 운전자의 주의력을 평가하기 위해, 그리고 운전자의 가용 주의력에 맞게 모바일 애플리케이션(18)의 사용자 인터페이스를 조정하기 위해 운전자(34)와 상호작용함이 이해될 것이다.
UI 수정 시스템(32), 운전자 주의력 평가 시스템(31), 및 모바일 애플리케이션(18)은 다양한 방식 및 기술로 연결될 수 있다. 도 3에 도시된 바와 같이, UI 수정 시스템(32), 운전자 주의력 평가 시스템(31), 및 모바일 애플리케이션(18)은 케이블에 의해 직접 연결될 수도 있으나, 임의의 이러한 연결은 임의의 타입의 무선 연결로 대체될 수 있다. 대안으로서, UI 수정 시스템(32), 운전자 주의력 평가 시스템(31) 및 모바일 애플리케이션(18)은 데이지 체인(daisy-chain) 구성으로, 또는 임의의 다른 방법으로, 임의의 타입의 케이블 및/또는 무선 기술을 이용하여, 허브를 통해, 버스상으로 연결될 수도 있다.
운전자 주의력 평가 시스템(31)은 또한 다양한 모니터링 모듈(35)과 통신 가능하게 연결될 수 있고, 선택사항으로서 카 스피커폰 시스템 또는 엔터테인먼트 시스템(15)과도 연결될 수 있다.
용어 '모듈'은 하드웨어 모듈 또는 장치, 또는 전형적으로 대응하는 하드웨어 모듈 또는 장치에 의해 실행되는 소프트웨어 모듈 또는 프로세스를 의미할 수 있다. 임의의 개수의 소프트웨어 모듈이 임의의 개수의 하드웨어 모듈에 의해 실행될 수 있고, 하나의 하드웨어 모듈이 하나 이상의 소프트웨어 모듈을 실행할 수도 있고, 및/또는 하나의 소프트웨어 모듈이 하나 이상의 하드웨어 모듈에 의해 실행될 수도 있음이 이해될 것이다.
모니터링 모듈(35)은 또한 자동차의 성능 및 운전자의 자동차를 운전하는 행동을 모니터하는 자동차 모니터링 모듈, 및 자동차(11) 내부 및/또는 외부의 주변(36) 및/또는 운전자의 주위, 뿐만 아니라 자동차를 운전하는 것 이외의 운전자 행동 및 승객의 행동을 모니터하는 주변 모니터링 모듈을 포함할 수 있다.
자동차 모니터링 모듈은 자동차 컴퓨터 또는 컨트롤러(37)와 같이 자동차(11) 내에 내장될 수 있고, 또는 하나 이상의 자동차 감지 모듈(38)은 주의력 평가 소프트웨어(13)를 실행하는 모바일 장치(예컨대, 스마트폰)과 같은 모바일 장치에 내장될 수 있다. 예를 들어, 전형적으로 모바일 전화에 내장되고, 전형적으로 각각의 소프트웨어 모듈에 의해 작동되는 마이크로폰, 카메라, GPS 모듈, 가속도계, 전자 컴파스 등이 자동차 모니터링 모듈로서 역할할 수 있다. 부가적으로, 주의력 평가 소프트웨어를 실행하는 모바일 장치와 같은 모바일 장치 내에 내장된 자동차 감지 모듈은 자동차 내에 장착된 센서들과 통신할 수 있다.
주변 모니터링 모듈은 주의력 평가 소프트웨어(13)를 실행하는 모바일 장치(예컨대, 스마트 폰)과 같은 모바일 장치 내에 내장된 하나 이상의 주변 감지 모듈(39)을 포함할 수 있다. 예를 들어, 전형적으로 모바일 전화에 내장되고, 전형적으로 각각의 소프트웨어 모듈에 의해 작동되는 마이크로폰, 카메라, GPS 모듈, 가속도계, 전자 컴파스 등은 주변 모니터링 모듈로서 역할할 수 있다.
주변 모니터링 모듈은 또한 일기 예보 웹사이트 및/또는 맵핑 소프트웨어(예컨대, 지형 정보 시스템 또는 서비스)와 같은 하나 이상의 외부 서비스에 접근하는 브라우저와 같은 주변 감지 모바일 애플리케이션(40)일 수 있다.
주변 모니터링 모듈은 또한 맵핑 소프트웨어 및/또는 내비게이션 소프트웨어와 같은 자동차 내에서 작동하거나, 주의력 평가 소프트웨어를 실행하는 모바일 장치를 작동시키거나, 또는 자동차 내의 다른 장치에 의해 실행되는 다른 애플리케이션일 수 있고, 또는 그러한 애플리케이션과 통신할 수 있다.
일기예보 웹사이트, 맵핑 수취인(sendee), 내비게이션 소프트웨어 등과 같은 외부 정보 소스가 포워드 루킹(forward-looking) 정보를 제공할 수 있음이 이해될 것이다. 이러한 포워드 루킹 정보는 운전자의 주의력에 잠재적으로 영향을 주고 및/또는 운전자 주의력을 필요로 하는 미래의 이벤트를 주의력 평가 소프트웨어가 예측하는 것을 가능하게 할 수 있다. 날씨 서비스는 주의력 평가 소프트웨어에 자동차의 앞에 비, 눈 또는 빙판이 있음을 알려줄 수 있다. 맵핑 서비스는 주의력 평가 소프트웨어에 자동차의 앞에 교차로, 커브, 요철(bump) 등이 있음을 알려줄 수 있다. 내비게이션 소프트웨어는 앞서 나열한 자동차 앞의 임의의 국지적인 상황에 도달하는 추정시간을 주의력 평가 소프트웨어에 제공할 수 있다. 부가적으로, 내비게이션 소프트웨어는 자동차의 계획된 경로 및 자동차의 방향전환과 같은 예상되는 운전자의 행동을 주의력 평가 소프트웨어에 제공할 수 있다. 그러므로, 주변 감지 모바일 애플리케이션과 같은 주변 모니터링 모듈은 주의력 평가 소프트웨어가 주의력 요구량을 예측하고, 및/또는 미래의 주의력 요구량을 평가하는 것을 가능하게 할 수 있다. 이러한 미래의 주의력 요구량은 하나의 시퀀스의 시간 관련 평가치 또는 시간 관련 함수로 제공될 수 있다.
이제, 하나의 예시적인 실시예에 따른 적응형 UI 소프트웨어(41)의 간단한 블록도인 도 4를 참조한다. 선택사항으로서, 이전 도면들의 세부사항의 맥락에서 도 4의 블록도를 볼 수 있다. 그러나, 물론 임의의 바람직한 환경의 맥락에서 도 4의 블록도를 볼 수도 있다. 게다가, 앞서 언급한 정의들은 아래의 설명에 동등하게 적용될 수 있다.
도 4에 도시된 바와 같이, 적응형 UI 소프트웨어(41)는 주의력 평가 소프트웨어(13) 및 사용자 인터페이스 수정 모듈(42)을 포함할 수 있다. 주의력 평가 소프트웨어(13)는 데이터 수집 모듈(43), 주의력 평가 모듈(44), 모바일 모니터링 모듈(45), 옵션의 개인화 모듈(46), 관리 모듈(47), 및 데이터베이스(48)를 포함할 수 있다.
데이터 수집 모듈(43)은 자동차 인터페이스 모듈(49), 자동차 감지 인터페이스 모듈(50), 주변 감지 인터페이스 모듈(51), 및 주변 데이터 수집 모듈(52)과 같은 하나 이상의 인터페이싱 모듈에 통신 가능하게 연결될 수 있다.
자동차 인터페이스 모듈(49)은, 예컨대, 도 3의 자동차 컴퓨터 또는 컨트롤러(37)에 통신 가능하게 연결될 수 있다. 자동차 감지 인터페이스 모듈(50)은, 예컨대, 도 3의 자동차 감지 모듈(38)에 통신 가능하게 연결될 수 있다. 주변 감지 인터페이스 모듈(51)은, 예컨대, 도 3의 주변 감지 모듈(39)에 통신 가능하게 연결될 수 있다. 주변 데이터 수집 모듈(52)은, 예컨대, 도 3의 주변 감지 모바일 애플리케이션(40)에 통신 가능하게 연결될 수 있다.
데이터 수집 모듈(43)은 데이터베이스(48) 내의 인터페이싱 모듈로부터 수신된 데이터, 특히, 주변 데이터(53), 자동차 데이터(54), 및 개인 데이터(55)를 수집한다. 데이터 수집 모듈(43)은 데이터 수집 파라미터 및/또는 데이터 수집 규칙(56)에 따라 데이터를 수집할 수 있다.
주변 데이터(53)는:
도로 유형 및 특성을 포함하는 도로
도로 주위 및 시야
자동차 앞쪽 도로의 교차로, 커브, 표지판, 및 유사한 주의력을 소모하는 특징
교통량 및 평균 속도를 포함하는 교통 상태
온도, 예측률, 강우률, 강우 유형 등과 같은 날씨 상태
일중 시간 및 도로 조명 상태
와 같은 주변 또는 자동차 및 운전자의 주위에 대한 현재 및 과거(히스토리) 정보를 포함할 수 있다.
교통 상태는 운전 시간에 겪은 실제 상태, 또는 특정 시간, 요일, 연중날짜 및 위치에서의 과거 교통 패턴 분석을 기초로 하여 추정된 교통량을 포함할 수 있다.
날씨 상태는 특정 시간에서의 태양에 대한 운전자의 위치 및 방향, 및 태양 고도를 포함할 수 있다(예컨대, 태양이 운전자 전방에 낮게 있을 때 평가는 태양광이 시야에 영향을 준다고 알려준다). 태양광 방향(수평 및/또는 수직)은 또한 스마트폰 디스플레이 및/또는 대쉬보드 디스플레이와 같은 임의의 특정 디스플레이의 가시성에 영향을 줄 수 있고, 그러므로 운전자의 주의력 요구량에도 영향을 준다.
자동차 데이터(54)는 속도, 가속도, 방향 전환, (음악, 음성 및 대화를 포함한) 소음 레벨, 스티어링 휠 위치, 기어 위치, 브레이크 페달 상태, 자동차 조명의 상태, (내부 사운드 시스템을 포함하는) 방향 지시(turn signal), 방풍 와이퍼 시스템의 상태, (스피커 폰 시스템의 상태를 포함하는) 엔터테인먼트 시스템의 상태 등과 같은 자동차에 대한 현재 및 과거(히스토리) 정보를 포함할 수 있다.
개인 데이터(55)는 운전자의 나이, 성별, 운전 스타일, 사고 및 최근 사고 히스토리, 시력, 청력, 일반적인 건강 상태, 특정 도로, 특정 도로 유형, 속도, 날씨 상태에 대한 운전자의 히스토리(지식) 등과 같은 운전자에 대한 현재 및 과거(히스토리) 정보를 포함할 수 있다.
데이터 수집 모듈(43)에 의해 수집된 임의의 타입의 데이터는 하나 이상의 데이터 수집 파라미터 및/또는 규칙(56)의 지배를 받을 수 있다. 데이터 수집 모듈(43)은 그러한 데이터 수집 파라미터 및/또는 규칙(56)을 이용하여, 어떤 데이터(예컨대, 주변, 자동차, 및/또는 개인)가 수집되어야 하는지, 그러한 데이터를 언제 수집할 것인지, 얼마나 자주 수집할 것인지 등을 결정할 수 있다.
몇몇 수집된 데이터, 및 특히 주변 데이터는 포워드 루킹 방식이다. 예를 들어, 자동차의 전방의 도로 상태 및/또는 교통 상태를 예측하는 것. 이러한 포워드 루킹 데이터는 자동차의 전방의 특정 거리 또는 진행 시간에 대하여 수집된다. 수집 파라미터 및/또는 데이터 수집 규칙(56)은 요구되는 거리 또는 진행 시간을 나타낼 수 있다. 데이터 수집 모듈(43)은 이러한 데이터 수집 규칙 및/또는 파라미터를 이용하여, 수집되어야 하는 포워드 루킹 데이터를 판정한다. 이러한 데이터 수집 규칙 및/또는 파라미터는 도로 상태, 날씨 상태, 날짜 등과 같은 주변 관련 파라미터, 속도와 같은 자동차 관련 파라미터, 및 도로에 대한 운전자의 지식과 같은 개인 파라미터를 포함할 수 있다.
수집 파라미터 및/또는 데이터 수집 규칙(56)은 또한 마이크로폰, 카메라, 가속도계, GPS 시스템 등과 같은 다양한 센서에 의해 얻어진 몇몇 측정값의 분석에 적용될 수도 있다. 예를 들어, 데이터 수집 규칙(56)은 도로 상태를 분석하기 위해 스티어링 휠 위치와 방향 전환 간의 연관관계를 계산할 수 있다.
주의력 평가 모듈(44)은 주변 데이터(53), 자동차 데이터(54) 및 개인 데이터(55)와 같은 수집된 데이터를 입력 데이터로서 이용할 수 있고, 주의력 평가 데이터(57)를 출력할수 있다. 주의력 평가 모듈(44)은 주의력 평가 규칙(58)을 기초로 주의력 평가 데이터(57)를 계산할 수 있다.
데이터 수집 규칙은 (예컨대, 다음 샘플링을 위한) 샘플링 시간과 같은 시간 파라미터, 샘플링 레이트, 샘플링 정확도, 통지 임계값 등을 포함할 수 있다. 예를 들어, 샘플링 정확도 및/또는 통지 임계값은 주의력 평가 모듈 등에 통지가 제공되어야 하는, 특정 샘플링된 및/또는 측정된 값의 변화 값을 결정할 수 있다.
예를 들어, 제1 주변 상태(또는 자동차 상태 등)를 측정하는 제1 데이터 수집 규칙은, 그 제1 주변 상태에 대하여 특정 값이 샘플링되거나 측정된 때, 하나 이상의 다른 데이터 수집 규칙의, 시간 파라미터와 같은, 하나 이상의 파라미터의 특정한 변화를 나타낼 수 있다.
주의력 평가 규칙은 또한 주의력 요구량을 계산하는 레이트(rate) 및/또는 주의력 평가가 계산되는 기간과 같은 시간 파라미터를 포함할 수도 있다. 주의력 요구량이 계산되는 이러한 기간은 과거 및 미래를 포함할 수 있다. 예를 들어, 이러한 기간은, 예컨대, 운전자의 휴식 기간을 포함할 수 있는데, 이러한 휴식 기간에는 연관된 원인의 제거 또는 감소에 이어, 스트레스와 같은 주의력 관련 상태가 감소될 수 있다.
그러므로, 주의력 평가 규칙은 또한 데이터 수집 규칙 및 특히 데이터 수집 규칙의 시간 파라미터에도 영향을 줄 수 있다. 예를 들어, 주의력 평가 규칙은 운전자 주의력이 미리 정해진 임계값보다 크다면, 하나 이상의 데이터 수집 규칙이 더 자주 실행되어야 한다는 것, 또는 측정의 더 작은 변화도 보고(통지)해야 한다는 것 등을 판정할 수 있다.
예를 들어, 주의력 평가 규칙은 날씨 정보 서비스, 도로 교통 상태, 및/또는 내비게이션 소프트웨어와 같은 외부 소스가 더 높은 레이트로, 또는 더 작은 범위 또는 기간동안 샘플링되어야 하거나, 또는 주의력 요구량이 계산되는 기간을 줄여야 한다고 판정할 수 있다. 예를 들어, 주의력 평가 규칙은 내비게이션 소프트웨어가 더 빠르게 그리고 더 짧은 미래(포워드 루킹) 기간 동안 샘플링되어야 함을 나타낼 수 있다.
사용자 인터페이스 수정 모듈(42)은 임의의 개수의 모바일 애플리케이션(59)의 사용자 인터페이스 소프트웨어에, 그리고 임의의 개수의 모바일 장치(예컨대, 도 1의 스마트폰(14))에, 그리고/또는 엔터테인먼트 시스템 및/또는 스피커폰 시스템(예컨대, 도 1의 엘리먼트(15))에 연결될 수 있다. UI 수정 규칙(60), 주의력 평가 데이터(57)를 이용하여, 사용자 인터페이스 수정 모듈(42)은 변하는 사용자 주의력 요구량에 맞게 조정되도록 모바일 애플리케이션(18)의 사용자 인터페이스를 수정할 수 있다.
예컨대, 사용자 인터페이스 수정 모듈(42)은 하나 이상의 아래의 방법으로 모바일 애플리케이션(18)의 사용자 인터페이스를 수정할 수 있다.
디스플레이상의 아이콘 및/또는 키캡(keycap)과 같은 시각적 컨트롤의 크기를 변경.
디스플레이된 텍스트, 컨트롤 등의 폰트 크기를 변경.
터치 감응 스크린상에 디스플레이된 컨트롤과 같은, 적어도 일부의 컨트롤의 위치를 변경. 디스플레이에 컨트롤 및 다른 UI 엘리먼트를 추가 및 제거. 단일 스크린에 통상적으로 제공된 컨트롤을 2 이상의 스크린 등으로 분할. 컨트롤 상의 텍스트를 아이콘 또는 숫자 또는 특정 색상으로 교체. 컨트롤을 한 줄로(예컨대, 수직 라인), 특정 순서 등으로 정렬.
그래픽 인터페이스를 음성 인터페이스로, 그리고 그 역으로 교체.
터치 입력을 스티어링 휠 컨트롤과 같은 외부 컨트롤러로 교체.
예컨대, 운전자의 가용 주의력이 감소한 때 더 느림 음성 속도를 제공하여, 음성 출력에 가변 속도를 적용.
모바일 애플리케이션의 특정 기능의 동작 또는 그러한 기능을 운전자에게 제공하는 것을 차단, 중지 및/또는 제거.
사용자 인터페이스 내 타이머의 가변 설정, 이러한 타이머는 디폴트 선택을 판정. 예컨대, 운전자의 가용 주의력이 감소한 때 타이머 값을 증가시킴.
모바일 모니터링 모듈(45)은 모바일 장치(스마트폰) 및 특히 모바일 애플리케이션과 인터페이싱할 수 있다. 모바일 인터페이스 모듈(45)은 모바일 장치(스마트폰)에서 현재 실행 중인 특정 모바일 애플리케이션을 식별할 수 있다. 모바일 모니터링 모듈(45)은 운전자의 주의력에 영향을 미치는 그러한 모바일 애플리케이션의 동작에 관한 데이터를 수집할 수 있다.
개인화 모듈(46)은 주변 데이터(53) 및/또는 자동차 데이터(54)를 주의력 평가 데이터(57)와 연관시켜 주변-관련 및/또는 자동차-관련 이벤트와 같은 특정 이벤트에 대한 특정 데이터의 민감도를 분석함으로써, 개인 데이터(55)를 계산할 수 있다.
관리 모듈(47)은, 예컨대, 하나 이상의 측정 가능한 주변 값을 도입 및/또는 수정, 또는 그것을 각각의 주변 상태와 연관지음으로써, 그리고 하나 이상의 측정 가능한 주변 값을 기초로 사용자 주의력 요구량 값을 계산하기 위한 적어도 하나의 규칙을 정의함으로써, 사용자가 복수의 주변 상태를 규정하는 것을 가능하게 한다.
시간 파라미터가 시간 기간을 포함할 수 있고, 시간 기간은 미래 시간 및/또는 예상 이벤트를 포함할 수 있음이 이해될 것이다. 예상 이벤트는 주변 상태, 또는 자동차, 또는 모바일 장치에 의해 실행되는 애플리케이션 등과 연관될 수 있다. 이러한 예상 이벤트는 운전자의 주의에 영향을 줄 수 있다. 예를 들어, 이러한 예상 이벤트는 내비게이션 시스템, 또는 운전자의 행동을 예측하거나 또는 운전자의 행동을 지시하는 소프트웨어로부터 도출될 수 있다. 예를 들어, 예상 이벤트는 운전자에게 방향을 틀도록 하는 명령어에 의해 도출될 수 있다.
수정된 측정 규칙이, 예컨대, 측정 규칙을 호출함으로써, 예컨대, 측정 규칙의 파라미터를 수정함으로써, 하나 이상의 다른 주변 상태의 측정을 호출할 수 있음이 이해될 것이다. 또한, 수정된 측정 규칙이, 예컨대, 주의 분석 규칙을 호출함으로써, 예컨대, 주의력 분석 규칙의 파라미터를 수정함으로써, 예컨대, 시간 파라미터를 수정함으로써, 주의력 평가 계산을 호출할 수 있음이 이해될 것이다.
주의력 평가 소프트웨어가 또한 주변 상태의 측정, 및/또는 사용자 주의력 요구량의 계산이 측정 규칙을 수정할 수 있는 경우, 상기와 같은 액션을 수행할 수 있음이 이해될 것이다. 이러한 수정은 시간적 샘플링 파라미터 및/또는 시간적 분석 파라미터를 변경할 수 있다. 이러한 시간적 샘플링 파라미터 및/또는 시간적 분석 파라미터는 운전자의 휴식 기간을 포함할 수 있는, 미래 시간 기간을 포함할 수 있다. 이러한 규칙 수정은 휴식 기간을 수정하는 것을 포함할 수 있다.
이제, 하나의 예시적인 실시예에 따른, 데이터 수집 프로세스(61)의 간단한 플로우차트인 도 5를 참조한다.
선택사항으로서, 이전 도면들의 세부사항의 맥락에서 도 5의 데이터 수집 프로세스(61)의 플로우차트를 볼 수 있다. 그러나, 물론 임의의 바람직한 환경의 맥락에서 도 5의 데이터 수집 프로세스(61)의 플로우차트가 보여질 수도 있다. 게다가, 앞서 언급한 정의들이 아래의 설명에 동등하게 적용될 수 있다. 예컨대, 데이터 수집 프로세스(61)는 도 4의 데이터 수집 모듈(43)에 의해 실행될 수 있다.
도 5에 도시된 바와 같이, 데이터 수집 프로세스(61)는 자동차 컴퓨터 또는 컨트롤러(37), 자동차 감지 모듈(38), 주변 감지 모듈(39), 및/또는 센싱 모바일 애플리케이션(40) 중 임의의 것에 의해 제공될 수 있는 자동차 데이터 또는 주변 데이터와 같은 복수의 데이터 소스 중 임의의 것으로부터 특정 데이터를 수신함으로써 단계(62)와 함께 시작할 수 있다.
데이터 수집 프로세스(61)는 단계(63)로 진행하여 데이터베이스(48)에, 그리고 특히 주변 데이터(53) 및/또는 자동차 데이터(54)와 같은 관련 데이터베이스에 수집된 데이터를 저장할 수 있다.
그 다음, 데이터 수집 프로세스(61)는 단계(64)로 진행하여, 데이터베이스(48)로부터 (예컨대, 수신된 데이터에 적용되는 규칙)을 로딩(load)할 수 있다. 그 다음, 데이터 수집 프로세스(61)는 단계(65)로 진행하여, 단계(64)에서 로딩된 특정 규칙에 따라 하나 이상의 데이터 소스를 인테로게이트(interrogate)할 수 있다. 데이터 수집 프로세스(61)는 모든 관련 규칙들이 처리될 때까지 단계(64 및 65)를 반복할 수 있다(단계(66)).
데이터 수집 규칙을 기초로, 데이터 수집 프로세스(61)는 단계(67)로 진행하여, 수집된 데이터가 타당한지, 및/또는 주의력 평가를 처리할 필요가 있는지 도 4의 주의력 평가 모듈(44)에 통지한다.
그 다음, 데이터 수집 프로세스(61)는 동일한 규칙에 대하여 또는 임의의 다른 데이터 수집 규칙에 대하여 필요하다면 수집 파라미터를 수정할 수 있다(단계(68)). 특히, 단계(68)는 샘플링 시간, 또는 샘플링 기간, 또는 샘플링 빈도 등을 나타내는 시간 샘플링 파라미터를 선택할 수 있다. 이러한 시간 샘플링 파라미터는 미래 시간 및/또는 예상 이벤트를 포함할 수 있다. 예상 이벤트가 모바일 장치 또는 모바일 애플리케이션, 예컨대, 미래의 방향전환을 지시하는 내비게이션 시스템과 연관될 수 있고, 또는 그것으로부터 도출될 수 있고, 또는 그것에 의해 생성될 수 있음이 이해될 것이다.
그 다음, 데이터 수집 프로세스(61)는 더 많은 데이터를 기다릴 수 있는데(단계(69)), 이러한 데이터의 통신은 전송측(예컨대, 자동차 컴퓨터)에 의해 및/또는 계획된(scheduled) 측정치에 의해 개시될 수 있다.
단계(65)에서, 데이터 수집 프로세스(61)는 자동차 컴퓨터 또는 컨트롤러(37), 자동차 감지 모듈(38), 주변 감지 모듈(39) 및/또는 센싱 모바일 애플리케이션(40) 중 임의의 것에 의해 제공될 수 있는 자동차 데이터 또는 주변 데이터와 같은 임의의 데이터 소스로부터 임의의 다른 타입의 데이터(예컨대, 주변 데이터)를 질문(query)하기 위해, 및/또는 임의의 다른 측정을 실행하거나 및/또는 그 실행을 계획하기 위해 단계(64)에서 로딩된 규칙을 이용할 수 있다.
이제, 하나의 예시적인 실시예에 따른 주의력 평가 프로세스(70)의 간단한 플로우차트인 도 6을 참조한다.
선택사항으로서, 이전 도면의 세부사항의 맥락에서 도 6의 주의력 평가 프로세스(70)의 플로우차트를 볼 수 있다. 그러나, 물론 임의의 바람직한 환경의 맥락에서 도 6의 주의력 평가 프로세스(70)의 플로우차트를 볼 수도 있다. 게다가, 앞서 언급한 정의들이 아래의 설명에 동등하게 적용될 수 있다. 예컨대, 주의력 평가 프로세스(70)의 플로우차트는 도 4의 주의력 평가 모듈(44)에 의해 실행될 수 있다.
도 6에 도시된 바와 같이, 주의력 평가 프로세스(70)는, 예컨대, 평가 통지(72)가 데이터 수집 프로세스(61)로부터 수신될 때 단계(71)와 함께 시작할 수 있다. 그 다음, 주의력 평가 프로세스(70)는 단계(73)로 진행하여, 주의력 평가 및/또는 갱신을 정당화하고 및/또는 필요로 하는 주변 또는 자동차 데이터의 변화와 같은, 통지 이유를 분석할 수 있다. 이러한 이유는 전형적으로 특정한 미리 정해진 임계값을 넘어서는 하나 이상의 타입의 주변 또는 자동차 데이터의 변화에 기인한다.
그러나, 몇몇 분석은 더 정교할 수 있다. 예를 들어, 분석 모듈은 특정 소리를 탐지하고 및/또는 특징짓기 위해 스마트폰(14)의 마이크로폰과 같은, 자동차 내의 마이크로폰에 의해 획득된 소리를 분석할 수 있다.
예를 들어, 운전자가 스티어링 휠을 회전시키기 전에 및/또는 자동차가 방향 전환하기 전에 방향 전환하고자 하는 운전자의 의사를 판단하기 위해, 방향 지시등('방향 지시기'로도 알려짐)와 연관된 소리를 탐지할 수 있다. 예를 들어, 분석 모듈은 승객을 식별하여 운전자에 대한 주의력 부담을 특징짓기 위해 자동차 내의 사람 목소리를 탐지할 수 있다. 예를 들어, 분석 모듈은 소란스러움, 아기 울음소리 등을 탐지할 수 있다. 예를 들어, 분석 모듈은 긴급 구조 차량(예컨대, 경찰 순찰차, 구급차, 소방차 등)의 사이렌과 같은 외부 소음을 탐지할 수 있다.
그 다음, 주의력 평가 프로세스(70)는 단계(74)로 진행하여, (예컨대, 임계값을 넘어선 하나 이상의 특정 주변 또는 자동차 데이터에 따라) 통지 이유와 관련된 주의력 평가 규칙을 로딩할 수 있다.
그 다음, 주의력 평가 프로세스(70)는 단계(75)로 진행하여, 단계(74)에서 로딩된 특정 주의력 평가 규칙에 의해 요구되는, 다른 주변 데이터 및/또는 자동차 데이터 및/또는 개인 데이터를 불러올 수 있다.
그 다음, 주의력 평가 프로세스(70)는 단계(76)로 진행하여, 평가 기간을 판정할 수 있다. 평가 기간은 수집된 데이터(예컨대, 주변 데이터, 자동차 데이터, 사용자 데이터 등)가 고려되어야 하는 시간 기간을 의미한다. 이 기간은 과거(히스토리) 데이터 및/또는 미래(예측) 데이터를 포함할 수 있다. 이러한 미래 데이터는 날씨 정보 소스, 교통 상태 소스, 내비게이션 시스템 등을 포함하는 내부 및/또는 외부 소스로부터 수집될 수 있다. 단계(76)에서, 주의력 평가 프로세스(70)는 규칙 또는 측정 타입의 측정이 계산되어야 하는 범위 및/또는 시간 프레임 및/또는 기간을 판정한다. 이러한 시간 기간은 또한 특정 운전자를 위한 휴식 기간을 포함할 수 있고, 이 휴식 기간 동안 특정 레벨 또는 유형의 주의력이 유지 또는 쇠퇴될 수 있다. 단계(76)에서 판정된 평가 기간은 관련 평가 규칙의 시간 샘플링 파라미터를 기초로 할 수 있다.
그 다음, 주의력 평가 프로세스(70)는 단계(77)로 진행하여, 로딩된 주의력 평가 규칙을 이용하여 주의력 요구 레벨을 계산할 수 있다. 모든 관련 주의력 평가 규칙이 처리된 때(단계(78)), 주의력 평가 프로세스(70)는 단계(79)로 진행하여, 도 4의 주의력 평가 데이터(57)에 갱신된 주의력 평가를 저장할 수 있다.
그 다음, 주의력 평가 프로세스(70)는 단계(80)로 진행하여, 주의력 평가 규칙 및/또는 데이터 수집 규칙을 포함한 임의의 다른 규칙들을 수정할 수 있다. 이러한 수정은 그러한 규칙의 하나 이상의 파라미터를 수정함으로써, 예컨대, 시간 파라미터를 수정함으로써, 예컨대, 관련 시간 기간을 수정함으로써 수행될 수 있다.
그 다음, 주의력 평가 프로세스(70)는 단계(81)로 진행하여, 미래의 주의력 평가를 필요로 하는 상황을 탐지하기 위해 다른 주의력 평가에 따른 주변 또는 자동차 데이터를 스캔(scan)할 수 있고, 그러한 상황이 탐지되지 않으면(단계(82)), 데이터 수집 프로세스(61)로부터 다음 통지(72)를 기다린다(단계(83)).
단계(77)에서 수행된, 예컨대, 특정 주의력 평가 규칙에 의해 정해진 것과 같은 주의력 평가가 특정 주의력 요구량을 하나 이상의 감각 능력 또는 양상(modalities)과 연관지을 수 있음이 이해될 것이다. 예를 들어, 주의력 평가 프로세스는 운전자의 특정 감각 능력, 예를 들어, 시력 및/또는 청력 및/또는 수동적 능력(manual faculty)이 특정 레벨로 부담을 받고 있다고 판정할 수 있다. 즉, 주의력 평가 프로세스는 각각의 레벨의 주의력 요구량을 운전자의 각각의 감각 능력과 연관지을 수 있다.
운전자 주의력 평가 시스템(31), 및 특히 소프트웨어 프로그램(61 및 70)이 아래의 액션을 수행함으로써, 자동차의 운전자에게 적용 가능한 주의 부담 또는 주의력 요구량을 평가할 수 있음이 이해될 것이다.
사용자가 하나 이상의 주변 상태를 규정할 수 있게 한다. 여기서, 용어, 주변 상태는 자동차와 연관된 상태 또는 성능, 도로 및 환경과 같은 자동차 외부의 조건 또는 상황, 및 히스토리 및 통계 데이터를 포함하는 (자동차를 운전하는 것 이외의) 운전자와 연관된 상태 또는 상황을 포함할 수 있다.
각각의 주변 상황에 대하여 적어도 하나의 측정 가능한 주변 값을 사용자가 규정하고 및/또는 연관지는 것을 가능하게 한다. 전형적으로, 사용자는 측정된 주변 상태의 각각의 레벨과 연관된 하나의 세트의 측정 가능한 주변 값을 규정할 수 있다.
사용자가 적어도 하나의 측정 가능한 주변 값을 기초로 사용자 주의 요구 값을 계산하기 위한 적어도 하나의 주의력 평가 규칙을 정의 및/또는 제공하는 것을 가능하게 한다. 이러한 규칙은, 예컨대, 측정되는 주변 상태가 파라미터인 식일 수 있다.
적어도 하나의 주변 상태를 측정하여 측정된 주변 값을 형성한다.
주의력 평가 규칙 및 각각의 측정된 주변 값 중 적어도 하나를 이용하여 측정된 주변 상태 중 임의의 것, 또는 임의의 조합의 주변 상태에 의해 요구되는 사용자 주의력을 계산한다.
이제, 하나의 예시적인 실시예에 따른 개인 데이터 수집 프로세스(84)의 간단한 플로우차트인 도 7을 참조한다.
선택사항으로서, 이전 도면들의 세부사항의 맥락에서 도 7의 개인 데이터 수집 프로세스(84)의 플로우차트를 볼 수 있다. 그러나, 물론 임의의 바람직한 환경의 맥락에서 도 7의 개인 데이터 수집 프로세스(84)의 플로우차트를 볼 수도 있다. 게다가, 앞서 언급한 정의들이 아래의 설명에 동등하게 적용될 수 있다.
상술한 바와 같이, 주의력 평가 프로세스(70)는 수집된 주변 데이터 및 자동차 데이터에 따라 그리고 특정 데이터에 대하여 수집된 개인 데이터에 따라, 운전자에 대한 주의력 부담 및/또는 요구량을 계산한다. 개인 데이터는 동일하거나 유사한 주변 상태에서 특정 자동차 또는 유사한 자동차를 운전한 운전자의 히스토리를 포함하지만 이에 제한되는 것은 아니다. 이러한 주변 상태는 특별한 도로, 또는 도로 유형, 현재 교통 상태, 날씨 상태 및/또는 시간 등일 수 있다. 개인 데이터 수집 프로세스(84)는 이러한 개인 데이터를 수집한다.
도 7에 도시된 바와 같이, 개인 데이터 수집 프로세스(84)는 하나 이상의 주변 상태 또는 자동차 상태 및/또는 성능의 하나 이상의 측정값을 수신함으로써 단계(85)와 함께 시작할 수 있다.
그 다음, 개인 데이터 수집 프로세스(84)는, 예컨대, 수신된 값을 미리 정해진 임계값과 비교함으로써, 또는 수신된 값과 이동 평균(running average)(예컨대, 및 미리 정해진 기간에 걸친 측정값의 평균) 간의 차이를 미리 정해진 임계값과 비교함으로써, 수신된 측정값이 측정된 상태의 변화를 나타내는지 체크할 수 있다(단계(86)).
그 다음, 개인 데이터 수집 프로세스(84)는 단계(87)로 진행하여 운전자 주의력 데이터를 수집할 수 있다.
그 다음, 개인 데이터 수집 프로세스(84)는, 예컨대, 수신된 값과 미리 정해진 임계값을 비교함으로써, 또는 수신된 값과 이동 평균(예컨대, 및 미리 정해진 기간에 걸친 측정값의 평균) 간의 차이를 미리 정해진 임계값과 비교함으로써 수신된 운전자 주의력 데이터가 변경되었는지 체크할 수 있다(단계(88)).
이러한 변화가 탐지되면, 개인 데이터 수집 프로세스(84)는 그 다음 단계(89)로 진행하여, 측정 데이터 또는 상태 또는 데이터의 변경이 유효한 기간을 판정하거나, 또는 재계산 또는 재평가가 필요한지 판정한다. 예를 들어, 이 기간은 그 상태를 야기한 특정 이벤트에 이은 특정 상태의 완화 속도를 결정할 수 있다.
그 다음, 개인 데이터 수집 프로세스(84)는 단계(90)로 진행하여, 그 이벤트를 특정한 기록 시간에 데이터베이스(48)에 및/또는 운전자 주의력 데이터, 자동차 데이터 및 주변 데이터를 포함하는 개인 데이터(55)에 저장한다.
운전자의 주의력은 일정 범위 내의 값, 예컨대, 1과 100 사이의 숫자로 측정될 수 있다. 65의 주의력 평가 값은, 예컨대, 개인적인 수준으로 상한 경계값이 설정될 수 있을 때 가용 주의력이 35 이하임을 의미할 수 있다. 그 다음, 평가된 가용 주의력은, 예컨대, 모바일 애플리케이션에 의한 주의력 요구량을 제어하는데 사용될 수 있다.
대안으로서 또는 부가적으로, 운전자의 주의력은 하나의 세트의 값으로 측정될 수 있는데, 이 때 각각의 값은 주의력의 상이한 양상(주의력 능력)을 나타낸다. 예를 들어, 주의력 요구량은 시각 주의력, 청각 주의력, 촉각 주의력, 인식 주의력, 방향과 연관된 주의력 등으로 나누어질 수 있다.
부가적으로 그리고 선택사항으로서, 주의력 민감도의 측정이, 예컨대, 개인적인 수준으로 설정될 수 있다. 주의력 민감도는 주의력 평가 값의 양적 변화의 형태를 취할 수 있다. 덜 민감한 운전자의 주의력 민감도는 1의 변화값을 가질 수 있고, 더 민감한 운전자는 10과 같은 더 높은 변화값을 가질 수 있다. 그러므로, 덜 민감한 운전자에 대한 주의력 평가 값이, 예컨대, 증가될 때, 그것은 1의 배수만큼 증가될 수 있고, 더 민감한 운전자에 대한 증가는 10의 배수일 것이다.
부가적으로 그리고 선택사항으로서, 주의력 완화 기간의 측정은, 예컨대, 개인적인 수준으로 설정될 수 있다. 그러므로, 덜 민감한 운전자에 대한 주의력 평가 값이, 예컨대, 감소된 때, 그것은 더 민감한 운전자에 대한 것보다 빠르게 감소될 수 있다.
주의력 평가 값의 계산은 측정된 주변 데이터 및 자동차 데이터와, 변화량, 민감도, 완화 기간 등과 같은 개인 파라미터에 대한 변수들을 포함하는 식을 이용할 수 있다. 예를 들어, 측정된 주변 데이터 및 자동차 데이터가 변할 때마다 및/또는 주기적으로, 주의력 평가 엔진(예컨대, 도 6의 단계(77))은 갱신된 주의력 평가 값을 제공하기 위해 식을 재계산한다.
예를 들어, 도 6의 주의력 평가 프로세스(70)는 주의력 평가 값을 계산하기 위해 하나의 식을 이용할 수도 있고, 또는 복수의 그러한 식을 가질 수도 있다. 예를 들어, 각각의 주의력 능력에 대한 식이 존재할 수 있다. 그러므로, 예컨대, 교통 상태는 시각 및 청각 능력에 상이한 영향을 줄 수 있다.
부가적으로 그리고 선택사항으로서, 도 6의 주의력 평가 프로세스(70) 및 특히 주의력 평가 엔진(예컨대, 단계(77))은 그러한 식 및/또는 주의력 능력 간의 상호 연관성(cross-correlation)의 측정을 이용할 수 있다. 예를 들어, 상호 연관 값은 각각의 주의력 능력에 대한 상한값에 대하여 설정될 수 있다. 그러므로, 예컨대, 특정 운전자에 대하여, 오직 시각 주의력만이 (100 중) 60만큼의 부담을 받고 있다면, 가용 주의력은 40이다. 그러나, 청각 및 촉각 주의력 능력이 또한, 예컨대, (100 중) 20 만큼의 부담을 받고 있다면, 시각 주의력 능력의 상한이, 예컨대, 80으로 감소될 수 있다. 그러므로, 가용 시각 주의력은 20(80 - 60)으로 감소된다.
운전자의 주의력을 평가하는 가능한 프로세스 및/또는 실시예에 관한 더 많은 정보는 그 전체가 참조로서 본 명세서에 통합된 "자동차 내에 적응형 사용자 인터페이스를 만들기 위한 스티어링 휠 상의 모션 센서의 사용"이란 제목의 2015년 3월 13일에 출원된 미국 가특허출원번호 제62/132525호에서 찾을 수 있다.
이제, 하나의 예시적인 실시예에 따른 UI 수정 소프트웨어 프로그램(12)의 간단한 블록도인 도 8을 참조한다.
선택사항으로서, 이전 도면들의 세부사항의 맥락에서 도 8의 UI 수정 소프트웨어 프로그램(12)의 블록도를 볼 수 있다. 그러나, 물론 임의의 바람직한 환경의 맥락에서 도 8의 UI 수정 소프트웨어 프로그램(12)의 블록도를 볼 수도 있다. 또한, 상기 언급된 정의들이 아래의 설명에 동등하게 적용될 수 있다.
도 8에 도시된 바와 같이, UI 수정 소프트웨어 프로그램(12)은 아래의 모듈을 포함할 수 있다:
전형적으로 모바일 장치(14)와 인터페이싱하도록 구성된 모바일 인터페이스 모듈(91). 특히, 모바일 인터페이스 모듈(91)은 모바일 장치(14) 내에 설치된 하나 이상의 모듈들과 통신할 수 있다. 하나의 이러한 모듈은 'EFUI OS SDK'(92)일 수 있다.
주의력-적응형 사용자 인터페이스 운영체제 소프트웨어 개발 키트(92)(간단히 OS-SDK(92))는 모바일 장치(14)의 운영체제(93)의 일부분으로서 동작하는, 모바일 장치(14) 내에 설치된 적응형 US 시스템(10)의 한 모듈이다. 특히, OS-SDK(92)는 모바일 장치(14)의 운영체제 또는 모바일 장치(14)에 의해 실행되는 소프트웨어 애플리케이션이 모바일 장치(14)의 사용자 인터페이스 모듈을 작동시키는 방식을 수정할 수 있다. 이러한 사용자 인터페이스 모듈은 터치스크린, 다른 물리적 및/또는 전기적 키 및 버튼, 스피커, 마이크로폰, 예컨대, 블루투스 등에 의해 통신 가능하게 연결된 외부 UI 장치일 수 있다.
용어 "주의력-적응형 사용자 인터페이스'(AAUI)는 변하는 요구량에 따라 특정 장치 또는 소프트웨어 프로그램(애플리케이션)의 사용자 인터페이스를 자동 조절할 수 있는 임의의 방법 및/또는 메커니즘 및/또는 장치를 의미한다. 특히, AAUI는 특정 장치 또는 소프트웨어 프로그램(애플리케이션)에 사용 가능한 사용자의 주의력의 변화에 맞게 조정할 수 있다. 특수한 사례는 AAUI가 사용자가 장치 또는 소프트웨어 프로그램(애플리케이션) UI를 볼 필요성을 완전히 또는 적어도 실질적으로 제거하는 경우이다. 이러한 경우에, AAUI는 아이프리(eye-free) 사용자 인터페이스(EFUI)라 불릴 수 있다.
모바일 인터페이스 모듈(91)과 통신할 수 있는 다른 모듈은 APP-SDK(94)일 수 있다. 주의력-적응형 사용자 인터페이스 모바일 애플리케이션 소프트웨어 개발 키트(94)(간단히 APP-SDK(94))는 모바일 애플리케이션(18)에 내장된 적응형 UI 시스템(10)의 한 모듈이다. APP-SDK(94)는, 예컨대, 모바일 애플리케이션(18)의 사용자 인터페이스 모듈(95)과 인터페이싱할 수 있다. APP-SDK(94)는 전형적으로 모바일 인터페이스 모듈(91)로부터의 명령마다 모바일 애플리케이션(18)의 사용자 인터페이스를 수정하기 위해 OS-SDK(92)와 상호작용한다.
복수의 모바일 애플리케이션(18)이 각각 그것의 APP-SDK(94)를 가진 채 모바일 장치(14)에 설치될 수 있음이 이해될 것이다. 그러므로, 모바일 인터페이스 모듈(91)은 복수의 APP-SDK(94)와 통신 가능하게 연결될 수 있다. 도 8이 단지 하나의 모바일 애플리케이션(18), 사용자 인터페이스 모듈(95) 및 APP-SDK(94)를 도시하고 있으나, 모바일 장치(14)가 복수의 그러한 소프트웨어 프로그램 또는 모듈을 포함할 수 있고, 그러므로 모바일 인터페이스 모듈(91)이 복수의 APP-SDK(94) 및/또는 현재 실행 중인 모바일 애플리케이션(18)과 연관된 APP-SDK(94)와 통신할 수 있음이 이해될 것이다.
UI 수정 소프트웨어 프로그램(12) 및 특히 OS-SDK(92) 및/또는 APP-SDK(94)가 모바일 애플리케이션(18)의 사용자 인터페이스의 적어도 일부분을 대쉬보드 디스플레이, 엔터테인먼트 시스템 디스플레이, 스티어링 휠 컨트롤 등과 같은 자동차의 입력 및/또는 출력 장치로 전용할 수 있음이 이해될 것이다. 그러므로, 주의력-적응형 사용자 인터페이스는, 예컨대, 대쉬보드 스크린 상에 제공되는 수정된 디스플레이를 의미할 수 있다.
또한, UI 수정 소프트웨어 프로그램(12)은 전형적으로 주의력 평가 소프트웨어(13)과 인터페이싱하도록 구성된 평가 인터페이스 모듈(96)을 포함할 수 있다. 평가 인터페이스 모듈(96)은 주변 상태에 의해 소모되는 주의력 및/또는 가용 주의력을 포함하는 운전자의 현재 주의력 상태를 주의력 평가 소프트웨어(13)로부터 수집할 수 있다.
또한, UI 수정 소프트웨어 프로그램(12)은 전형적으로 평가 인터페이스 모듈(96) 및 모바일 인터페이스 모듈(91)과 통신 가능하게 연결된 평가 분석 모듈(97)을 포함할 수 있다. 평가 분석 모듈(97)은 주의력 평가 소프트웨어(13)로부터 수신된 운전자의 가용 주의력 및 현재 작동중인 모바일 애플리케이션(18)의 주의력 요구량을 분석하여 모바일 애플리케이션(18)의 적절한 동작을 결정할 수 있다.
현재 작동중인 모바일 애플리케이션(18)의 적절한 동작을 결정하기 위해, 평가 분석 모듈(97)은 데이터베이스(98)를 찾아볼 수 있다. 데이터베이스(98)는 UI 모드(99)의 목록 또는 데이터베이스, 원형(archetypal) UI 포맷(100)의 목록 또는 데이터베이스, 및 애플리케이션 UI(101)의 목록 또는 데이터베이스를 포함할 수 있다.
또한, UI 수정 소프트웨어 프로그램(12)은 모바일 인터페이스 모듈(91), 평가 분석 모듈(97) 및 UI 모듈의 집합(103)에 통신 가능하게 연결된 주의력-적응형 사용자 인터페이스(AAUI) 모듈(102)을 포함할 수 있다.
UI 모듈(103)은 음성 인식 모듈(104), 텍스트 투 스피치 모듈(105), 스티어링 휠 키패드 모듈(106), 및 터치스크린 모듈(107) 등을 포함할 수 있다.
APP-SDK(94) 및/또는 OS-SDK(92) 및 모바일 인터페이스 모듈(91)을 통해, 그것의 UI(95)에 의해 제공되는 모바일 애플리케이션(18)의 동작에 응답하여, AAUI 모듈(102)은 사용자(34)와 상호작용하도록 UI 모듈(103)을 작동시키기 위해 평가 분석 모듈(97)의 출력을 이용한다. 그러므로, AAUI 모듈(102)은 모바일 애플리케이션(18)의 사용자 인터페이스를 수정하고, 그것을 평가 분석 모듈(97)에 의해 판정된 바와 같이 운전자의 가용 주의력에 맞게 조정한다.
또한, UI 수정 소프트웨어 프로그램(12)은 자동차 엔터테인먼트 시스템(15), UID(33), 모바일 장치(예컨대, 스마트폰)(14)의 I/O 장치 등과 같은 다양한 사용자 입/출력(I/O) 장치에 UI 모듈(103)이 접근하는 것을 가능하게 하는 자동차 인터페이스 모듈(108)을 포함할 수 있다.
이제, 하나의 예시적인 실시예에 따른, UI 수정 소프트웨어 프로그램(12)의 간단한 플로우차트인 도 9를 참조한다.
선택사항으로서, 이전 도면들의 세부사항의 맥락에서 도 9의 UI 수정 소프트웨어 프로그램(12)의 플로우차트를 볼 수 있다. 그러나, 물론 임의의 바람직한 환경의 맥락에서 도 9의 UI 수정 소프트웨어 프로그램(12)의 플로우차트를 볼 수도 있다. 또한, 상기 언급된 정의들이 아래의 설명에 동등하게 적용될 수 있다.
도 9에 도시된 바와 같이, 이 플로우차트는 상호작용하며 작동하는, UI 수정 소프트웨어 프로그램(12)의 평가 분석 모듈(97) 및 AAUI 모듈(102)의 컴포넌트들을 설명한다.
UI 수정 소프트웨어 프로그램(12)의 동작은 평가 분석 모듈(97)이 운전자 주의력 평가 시스템(31)으로부터, 평가 인터페이스 모듈(96)을 통해, (각각의) 운전자 주의력 데이터 및 주변 상태 데이터와 같은 데이터를 수신함으로써, 단계(109 및 110)와 함께 시작할 수 있다.
평가 분석 모듈(97)은 단계(111)로 진행하여, 모바일 장치(14)로부터, 특히 APP-SDK(94) 또는 OS-SDK(92)로부터 모바일 인터페이스 모듈(91)을 통해 모바일 장치(14)에서 현재 실행중인 모바일 애플리케이션(18)에 관한 데이터를 수신할 수 있다. 이러한 데이터를 기초로, 평가 분석 모듈(97)은 단계(112)로 진행하여, 애플리케이션 UI 데이터베이스(101)로부터 애플리케이션 UI 데이터를 선택할 수 있다. 이러한 정보를 기초로, 평가 분석 모듈(97)은 단계(113)로 진행하여, 모바일 애플리케이션(18)의 주의력 요구량을 판정할 수 있다.
수집된 정보를 기초로, 평가 분석 모듈(97)은 단계(114)로 진행하여, UI 모드 데이터베이스(99)로부터 UI 모드를 선택할 수 있다. 용어 'UI 모드'는 사용자 인터페이스 매체 또는 수단의 특수한 구성을 의미할 수 있다. 선택사항의 UI 모드가 모바일 애플리케이션(18)과의 사용자 상호작용을 활성화하지 않을 수도 있음이 이해될 것이다. 이러한 시나리오에서, 평가 분석 모듈(97)은, 예컨대, 모바일 애플리케이션(18)이 운전자의 가용 주의력보다 많은 주의력을 필요로 하므로 현재 실행중인 모바일 애플리케이션(18)과의 사용자 상호작용이 허용되어서는 안 된다고 판정할 수 있다.
예컨대, 모바일 애플리케이션(18)의 주의력 요구량이 사용자의 가용 주의력보다 낮다면, 평가 분석 모듈(97)은 적절한 UI 모드를 선택할 수 있다. 적절한 UI 모드는 모바일 애플리케이션(18)의 주의력 요구량이 운전자의 가용 주의력보다 낮은 하나의 모드이다. 상술한 바와 같이, 운전자의 가용 주의력보다 낮은 운전자의 주의력을 소모하는 UI 모드가 없다면, 평가 분석 모듈(97)은 운전자의 가용 주의력이 모바일 애플리케이션(18)에 의해 요구되는 레벨에 도달할 때까지 모바일 애플리케이션(18)을 비활성화시키거나, 모바일 애플리케이션(18)의 작동을 지연시키거나, 모바일 애플리케이션(18)의 특정 피처 또는 기능을 비활성화할 수 있다.
수집된 정보를 기초로, 평가 분석 모듈(97)은 단계(115)로 진행하여, 원형 포맷 데이터베이스(100)로부터 원형 포맷을 선택할 수 있다.
평가 분석 모듈(97)은 단계(116)로 진행하여 수집된 및/또는 선택된 데이터를 AAUI 모듈(102)로 보낼 수 있다.
단계(109 내지 116)가 주변 상태 뿐만 아니라 주위 상태가 변하여, 주변 상태에 의해 소모되는 운전자의 주의력 및 궁극적으로 운전자의 가용 주의력이 변할 때마다 지속적으로 반복될 수 있다. 명백하게도, 모바일 애플리케이션(18) 또한 변할 수 있다. 그러므로, 평가 분석 모듈(97)은 데이터 업데이트가 사용 가능하게 될 때 데이터 업데이트를 반복적으로 AAUI 모듈(102)로 보낼 수 있다.
그 다음, UI 수정 소프트웨어 프로그램(12)의 동작은 평가 분석 모듈(97)에 의해 수집된 및/또는 선택된 데이터를 수신함으로써 AAUI 모듈(102)의 단계(117)로 이어진다.
그 다음, AAUI 모듈(102)은 단계(118)로 진행하여, 모바일 애플리케이션(18)으로부터, 전형적으로 APP-SDK(94) 또는 OS-SDK(92) 및 모바일 인터페이스 모듈(91)을 통해 UI 컨트롤을 수신할 수 있다. 용어 'UI 컨트롤'은 사용자와의 상호작용을 위한 모바일 애플리케이션(18)의 I/O 명령을 의미한다.
그 다음, AAUI 모듈(102)은 단계(119)로 진행하여, 평가 분석 모듈(97)에 의해 제공되는 데이터에 따라 UI 컨트롤을 상이한 모드의 사용자 인터페이스로 변환할 수 있다. 특히, AAUI 모듈(102)은 평가 분석 모듈(97)에 의해 선택된 UI 모드 및 원형 포맷에 따라, 그리고 주위 상태에 따라 UI 컨트롤을 변환할 수 있다. 단계(119)에서, AAUI 모듈(102)은 한편으로 모바일 장치(스마트폰)(14)에서 현재 작동중인 특정 모바일 애플리케이션(18)의 특정 UI 컨트롤에, 그리고 다른 한편으로는 평가 분석 모듈(97)에 의해 선택된 UI 모드 및 원형 포맷에, 그리고 주의력 평가 시스템(31)에 의해 탐지된 주위 상태에 맞게 조정된 AAUI 컨트롤을 생성한다.
용어 '주위 상태'는 볼륨 레벨, 밝기 등과 같은 피처에 영향을 줄 수 있는 소음 및 조명과 같은 상태를 의미할 수 있다. 예컨대, 소음 레벨이 감소할 때까지, 예컨대, AAUI 모듈(102)은 언어적 메뉴를 표시하는 것과 같은 특정 액션을 지연시키도록 결정할 수 있다.
그 다음, AAUI 모듈(102)은 단계(120)로 진행하여, AAUI 컨트롤을 사용자와 상호작용하기 위해 사용할 수 있고, 그 다음 단계(121)에서 사용자의 응답을 모바일 인터페이스 모듈(91) 및 APP-SDK(94) 또는 OS-SDK(92)를 통해 모바일 애플리케이션(18)으로 보낼 수 있다.
그 다음, AAUI 모듈(102)은 단계(122)로 진행하여, 응답 시간(ns) 에러와 같은 측면에서 사용자의 응답을 평가할 수 있다. 이러한 파라미터를 측정하는 것은 충분한 운전자의 주의력의 부족을 나타낼 수 있다(예를 들어, 느린 응답 또는 반복적인 에러). 에러는 잘못된 UID(33)를 작동시키는 것, 사용 불가능한 선택(예컨대, 잘못된 키)을 만드는 것, 이전 메뉴로의 선택 및 복귀를 만드는 것, 마지막 메뉴의 반복을 요청하는 것 등의 형태로 나타날 수 있다. 그 다음, AAUI 모듈(102)은 단계(123)로 진행하여, 운전자의 응답의 평가를 평가 인터페이스 모듈(96)로 보낼 수 있다.
모바일 애플리케이션의 UI 요구사항 및 사용자에 의한 UI 선택에 따라, 단계(117 내지 123)(선택적으로 단계(124)를 포함)들이 반복될 수 있음이 이해될 것이다.
평가 분석 모듈(97)의 플로우차트로 돌아가면, 단계(124)에서, 평가 분석 모듈(97)은 운전자의 응답 평가를 수신하고, 단계(113)에서, 평가 분석 모듈(97)은 그 운전자의 응답 평가를 모바일 애플리케이션(18)에 의해 요구되는 주의력 레벨을 계산 및 결정하기 위한 알고리즘에 포함시킨다. 그 다음, 평가 분석 모듈(97)은 상이한 UI 모드, 및/또는 상이한 원형 포맷을 선택하고 그 선택을 AAUI 모듈(102)로 보낼 수 있다.
그러므로, UI 수정 소프트웨어 프로그램(12) 및 특히 평가 분석 모듈(97) 및 AAUI 모듈(102)이 실시간으로 측정된 주변 상태, 주위 상태, 및 운전자의 상태에 따라, 모바일 애플리케이션(18)의 사용자 인터페이스의 수정 및/또는 조정을 지속적으로 및/또는 반복적으로 그리고/또는 실시간으로 처리함이 이해될 것이다.
그러므로, 적응형 UI 시스템(10)은 사용자가 아래와 같은 동작을 수행하는 것을 가능하게 한다.
복수의 주변 상태를 규정.
각각의 주변 상태에 대하여 하나의 세트의 측정 가능한 주변 값을 연관짓는 것.
적어도 하나의 주변상태를 측정하기 위한 적어도 하나의 규칙을 정의하여 측정된 주변 값을 형성.
측정 가능한 주변 값을 기초로 사용자 주의력 요구량 값을 계산하기 위한 적어도 하나의 규칙을 정의.
그러므로, 이러한 규칙들을 이용하여, 적응형 UI 시스템(10)은 측정된 주변 값을 형성하기 위해 적어도 하나의 주변 상태를 측정할 수 있고, 측정 가능한 주변 값을 기초로 사용자 주의력 요구량 값을 계산할 수 있고, 그리고 애플리케이션에 사용 가능한 운전자의 주의력의 변화에 맞게 사용자 인터페이스를 조정할 수 있다.
예를 들어, 아래에 적응형 UI 시스템(10)이 애플리케이션에 대하여 사용 가능한 운전자의 주의력 변화에 맞게 사용자 인터페이스를 조정할 수 있는 가능한 시나리오가 설명된다.
사용자는 한 그룹의 친구들과 통신하기 위해 그의 모바일 폰 상의 채팅 프로그램을 이용한다. 그 다음, 사용자는 자동차에 탑승하고 운전을 시작한다. 적응형 UI 시스템(10)은 상태를 탐지하고, 운전중에 사용될 수 있도록, 예컨대, 음성 기반 인터페이스가 강화된 최소한의 GUI를 가지도록 UI를 변경한다.
사용자가 계속해서 자신의 속도를 증가시키도록 운전하여 더 높은 운전자의 주의력의 요구될수록, 더 적은 가용 주의력이 남게 된다. 적응형 UI 시스템(10)은 음성 출력의 속도를 감소시킴으로써 UI를 조정한다.
운전자가 계속 운전하여 학생들이 하교중인 학교 부근에서 도착한다. 적응형 UI 시스템(10)은 위치를 탐지하고, 운전자가 온전히 운전에만 집중할 수 있도록 채팅 기능을 완전히 차단한다. 자동차가 스쿨존을 벗어나면, 적응형 UI 시스템(10)은 운전중에 사용하기 적합한 제한된 모드로 UI를 복귀시킨다.
그러므로, 주의력 평가 소프트웨어 프로그램(13) 및 UI 수정 소프트웨어 프로그램(12)의 기능을 결합하여, 적응형 UI 시스템(10)은 아래의 액션을 실행할 수 있다.
제1 장치(예컨대, 자동차) 및/또는 제1 소프트웨어 프로그램(예컨대, 모바일 애플리케이션)을 조작하는 사용자(예컨대, 운전자)의 주의력을 소모하는 영향들을 측정.
측정된 영향들에 의한 사용자로부터의 주의력 요구량을 평가.
제2 장치(예컨대, 스마트폰) 및/또는 제2 소프트웨어 프로그램(예컨대, 모바일 애플리케이션)을 작동시키는데 요구되는 사용자의 주의력의 가용성을 평가. 여기서, 제2 장치 및/또는 소프트웨어 프로그램은 사용자 인터페이스를 포함한다.
가용 주의력에 따라 사용자 인터페이스를 수정.
제2 장치 및/또는 제2 소프트웨어 프로그램과의 사용자의 상호작용의 질을 측정하고 사용자 응답 레벨을 형성.
사용자 응답 레벨에 따라 제2 장치 및/또는 제2 소프트웨어 프로그램의 사용자 인터페이스를 추가 조정.
예를 들어, 제2 장치 및/또는 제2 소프트웨어 프로그램의 사용자 인터페이스는 미리 정해진 레벨 또는 임계값에 대하여 사용자 응답의 레벨을 향상시키도록 더 조정될 수 있다.
적응형 UI 시스템(10)은 또한 특정 영향이 하나 이상의 감각 유형과 연관된 주의력에 영향을 주도록 감각 유형(또는 능력)과 영향을 연관지을 수 있다. 그 다음, 이러한 사용자 인터페이스를 수정하는 액션들은 추가적으로 제1 감각 유형과 상이한 제2 감각 유형을 이용할 수도 있다.
이와 유사하게, 사용자의 가용 주의력을 평가하는 액션은 사용자의 감소된 감각 유형을 탐지할 수 있고, 그 후 사용자 인터페이스를 수정하는 액션은 감소된 감각 유형과 상이한 제2 감각 유형을 이용할 수 있다.
이제, 하나의 예시적인 실시예에 따른 UI 선택 프로세스(125)의 간단한 플로우차트인 도 10을 참조한다.
선택사항으로서, 이전 도면들의 세부사항의 맥락에서 도 10의 UI 선택 프로세스(125)의 플로우차트를 볼 수 있다. 그러나, 물론 임의의 바람직한 환경의 맥락에서 도 10의 UI 선택 프로세스(125)의 플로우차트를 볼 수도 있다. 또한, 상기 언급된 정의들이 아래의 설명에 동등하게 적용될 수 있다. 특히, UI 선택 프로세스(125)는 도 9의 단계(113 내지 116)의 더욱 상세한 예시적인 실시예로서 이해될 수 있다.
도 10에 도시된 바와 같이, UI 선택 프로세스(125)는 예컨대, 스마트폰(14)에 의해 현재 실행되는 모바일 애플리케이션(18)의 주의력 요구량을 판정함으로써 단계(113)과 함께 시작할 수 있다. UI 선택 프로세스(125)는 요구되는 주의력과 가용 주의력을 비교할 수 있고(단계(126), 요구되는 주의력이 가용 주의력보다 낮다면(단계(127), 그대로의 애플리케이션과 함께 단계(128)로 진행한다.
가용 주의력이 모바일 애플리케이션(18)의 원래의 UI를 수용할만큼 충분하지 않다면, UI 선택 프로세스(125)는 단계(129 및 130)로 진행하여, 제1 UI 모드 및 제1 원형 포맷을 선택할 수 있다. UI 선택 프로세스(125)는 단계(131 및 132)로 진행하여, UI 모드 및 원형 포맷의 현재 선택에 의해 요구되는 UI 주의력을 계산하고, 그것을 사용 가능한 선택과 비교할 수 있다.
예를 들어, 5개의 UI 모드 및 6개의 원형 포맷이 존재할 수 있고, 이는 UI 모드와 원형 포맷의 30가지 가능한 조합을 만들어낸다. 각각의 이러한 조합에 1과 100 사이의 값이 부여될 수 있고, 이 값은 상대적인 주의력 부담(요구량)을 나타낸다. 가용 주의력은 또한 측정될 수 있고, 또는 1 내지 100 사이의 값으로 정규화될 수 있다. UI 모드와 원형 포맷의 특정 조합을 이용하여 수정된 특정 모바일 애플리케이션에 의해 요구되는 주의력은 현재 평가되는 운전자의 가용 주의력과 비교될 수 있다.
UI 모드 및/또는 원형 포맷이 상이한 운전자에 대하여 그리고 상이한 상황에서 상이한 값을 가질 수 있음이 이해될 것이다.
가용 주의력이 UI 모드 및 원형 포맷의 현재 선택을 이용하여 조정된 모바일 애플리케이션(18)의 UI를 수용하기에 적합하다면(단계(133)), UI 선택 프로세스(125)는 단계(134)로 진행하여, 이러한 UI 파라미터(예컨대, UI 모드 및 원형 포맷)를 AAUI(또는 EFUI) 모듈(예컨대, 프로세스(102))로 보낼 수 있다.
가용 주의력이 UI 모드 및 원형 포맷의 현재 선택을 이용하여 조정된 모바일 애플리케이션(18) UI를 수용하는데 충분하지 않다면, UI 선택 프로세스(125)는 다른 원형 포맷을 선택하도록 진행할 수 있다. 특정 UI 모드와 결합된 원형 포맷이 운전자의 가용 주의력보다 낮은 주의력 요구량을 제공하지 않는다면(단계(135)), UI 선택 프로세스(125)는 단계(136)로 진행하여 다른 UI 모드를 선택한다.
UI 모드 및 원형 포맷의 다음 조합이 선택되면(단계(137 및/또는 138)), UI 선택 프로세스(125)는 단계(131 및 132)로 복귀하여, 조정된 UI의 주의력 요구량이 운전자의 가용 주의력과 호환 가능한지 체크할 수 있다. 요구되는 주의력 레벨을 제공할 수 있는 UI 모드 및 원형 포맷의 조합이 없다면, UI 선택 프로세스(125)는 애플리케이션을 중지할 수 있다(단계(139)).
이와 관련하여, 적응형 UI 시스템(10)은 UI 주의력 요구량을 형성하기 위해 수정된 사용자 인터페이스에 의한 사용자로부터의 주의력 요구량을 평가할 수 있고, 그 후 가용 주의력 레벨에 적응된(내의, 낮은) UI 주의력 요구량을 달성하도록 사용자 인터페이스를 수정할 수 있다.
그러므로, 가용 주의력에 따라 사용자 인터페이스를 수정할 때, 및/또는 사용자 응답의 레벨에 따라 사용자 인터페이스를 조정할 때, 적응형 UI 시스템(10)은 (전형적으로 선택된 사용자 인터페이스 모드와 연관된) 선택된 및/또는 사용자 인터페이스 포맷에 맞게 조정된 사용자 인터페이스 모드를 선택할 수 있다. 적응형 UI 시스템(10)은 또한 전형적으로 선택된 사용자 인터페이스 모드와 연관된, 사용자와 상호작용하도록 구성된 출력 장치, 및/또는 전형적으로 선택된 사용자 인터페이스 포맷과 연관된, 사용자와 상호작용하도록 구성된 입력 장치를 선택할 수 있다.
이와 관련하여, 적응형 UI 시스템(10)은 가용 주의력에 따라 사용자 인터페이스를 수정할 수 있고, 및/또는 제2 장치 및/또는 소프트웨어 프로그램의 원래의 출력 장치 이외의 주변 사용자-출력 장치를 이용하여 사용자 응답의 레벨에 따라 사용자 인터페이스를 조정할 수 있다. 적응형 UI 시스템(10)은 또한 제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나의 원래의 사용자-입력 장치 이외의 주변 사용자-입력 장치를 이용하여 사용자 엔트리(user entry)를 에뮬레이팅(emulate)할 수 있다.
이러한 에뮬레이션은 사용자-생성된 입력의 상이한 양상(modality)으로의 변환을 포함할 수 있다(예를 들어, 사용자 음성 입력을 텍스트 입력 또는 알파벳-숫자 입력의 변환). 이러한 에뮬레이션은 사용자 생성된 입력을 대체하는 컴퓨터 생성된 입력을 포함할 수 있다.
예를 들어, 적응형 UI 시스템(10)은 태스크를 필요로 하는 임의의 추가 주의력을 허용하지 않는 포워드 루킹(미래) 주의력 평가를 판정할 수 있다. 예를 들어, 적응형 UI 시스템(10)은 운전자가 급커브에 접근하고 있다고 판정할 수 있다. 적응형 UI 시스템(10)은 또한 급회전에 이은 운전자의 휴식 시간이 짧다고 판정할 수 있다. 그 결과, 적응형 UI 시스템(10)은 다음 15초 동안에는 모든 방해요소가 차단되어야 한다고 판정할 수 있다. 그 다음, 적응형 UI 시스템(10)은 모바일 장치(스마트폰)에 의해 수신된 전화 콜을 인식할 수 있다. 적응형 UI 시스템(10)은 벨울림을 차단할 수 있고, 전화를 받았더라도 발신자가 수 초동안 기다릴 것을 요청하는 사용자 입력을 생성 또는 에뮬레이팅할 수 있다. 차단 기간(예컨대, 15초 또는 방향 전환의 완료)이 끝난 때, 적응형 UI 시스템(10)은 운전자를 발신자와 연결시킬 수 있다.
이와 관련하여, 적응형 UI 시스템(10)은 또한 사용자에게로의 출력을 지연함으로써, 및/또는 모바일 애플리케이션의 메뉴에 의해 제공되는 옵션 및/또는 기능과 같은, 옵션 및/또는 기능을 제거함으로써 사용자 인터페이스를 조정할 수 있다. 적응형 UI 시스템(10)은 또한 메뉴를 분할할 수 있고, 및/또는 메뉴 내의 옵션의 개수를 줄일 수도 있다. 예를 들어, 시각적 메뉴는 음성(언어적으로 제공되는) 메뉴보다 많은 옵션들을 포함할 수 있다. 긴 음성(음성 기반) 메뉴는 짧은 메뉴보다 더 많은 사용자 주의력의 부담을 줄 수 있다. 한편, (시각적) 메뉴를 2개 (이상)의 언어적 메뉴로 분할하는 것은 사용자와의 더 긴 상호작용을 만들 수 있다. (메인 메뉴와 하나 이상의 보조 메뉴로) 분할된 메뉴 내의 옵션의 적절한 선택 및 정렬은 사용자에게 수개의 메뉴를 사용할 필요성을 제거함과 동시에 한 번에 더 적은 옵션을 제공할 수 있다.
적응형 UI 시스템(10)이 사용자가 하나 이상의 영향과 하나 이상의 감각 유형을 연관짓는 것을 가능하게 할 수 있음이 이해될 것이다. 그 다음, UI 시스템(10)은 특정 영향을 탐지할 수 있고, 그 영향에 의해 만들어지고 특정 감각 유형과 연관된 특정 주의력 부담을 평가할 수 있다. 그 다음, UI 시스템(10)은 제1 감각 유형과 상이한 제2 감각 유형에 적응된 특정한 주변 사용자-출력 및/또는 사용자-입력 장치와 연관된 적절한 UI 모드를 선택함으로써 사용자 인터페이스를 수정할 수 있다.
이와 유사하게, 사용자 인터페이스를 수정하는 것은 또한 제1 감각 유형과 상이한 제2 감각 유형에 적응된 주변 사용자-입력 장치를 이용한 사용자 엔트리의 에뮬레이션을 포함할 수 있다.
대안으로서, 사용자 인터페이스를 수정하는 것은 또한 사용자에 대하여 적어도 하나의 감소된 감각 유형을 탐지하는 것, 및 제1 감각 유형과 상이한 제2 감각 유형에 적응된 주변 사용자-출력 장치를 이용하여 사용자 인터페이스를 수정하는 것을 포함할 수 있다.
이와 유사하게, 적응형 UI 시스템(10)은 또한 제1 감각 유형과 상이한 제2 감각 유형에 적응된 주변 사용자-입력 장치를 이용하여 사용자 엔트리를 에뮬레이팅할 수 있다.
개인화를 고려하면, 적응형 UI 시스템(10)은 사용자가 한 명 이상의 운전자의 행동 파라미터를 규정한 후, 각각의 행동 파라미터에 대하여 한 세트의 측정 가능한 행동 값을 연관짓는 것을 가능하게 할 수 있다. 그 다음, 적응형 UI 시스템(10)은 그러한 한 명 이상의 운전자의 행동 파라미터를 측정하여 각각의 측정된 행동 값을 생성할 수 있다. 그 후, 적응형 UI 시스템(10)은 사용자의 가용 주의력의 평가 및 측정된 행동 값에 따라 모바일 애플리케이션(또는 유사물)의 사용자 인터페이스를 조정할 수 있다.
상술한 바와 같이, 적응형 UI 시스템(10)은 아래의 액션을 수행함으로써, 운전자의 가용 주의력에 맞게 모바일 애플리케이션의 사용자 인터페이스를 조정할 수 있다.
사용자가 복수의 주변 상태를 규정하는 것 및 상기 주변 상태 각각에 대하여 한 세트의 측정 가능한 주변 값을 연관짓는 것을 가능하게 한다.
측정 가능한 주변 값을 기초로 사용자 주의력 요구량 값을 계산하기 위한 적어도 하나의 규칙을 사용자가 제공하는 것을 가능하게 한다.
각각의 측정된 주변 값을 형성하기 위해 주변 상태를 측정하고, 적어도 하나의 측정된 주변 값 및 적어도 하나의 각각의 규칙을 이용하여 사용자 주의력 요구량을 계산.
출력 장치 및/또는 입력 장치, 및 소리, 음성 출력, 음성 입력, 시각적 출력, 대쉬보드 디스플레이, 촉각 입력, 터치 감응 스크린, 스티어링 휠 컨트롤 등과 같은 특정 상호작용 매체를 이용하는 대응 사용자 인터페이스 모드를 선택.
UI 모드는 가용 주의력, 주변 상태, 행동 값, 가용 주의력, 또는 가용 주의력의 부재, 또는 특정 감각 유형(기능) 등의 능력의 부족에 따라 선택될 수 있다.
출력 장치, 입력 장치, 및 사용자 인터페이스 포맷은 업-다운 선택, 좌-우 선택, D-패드 선택, 8방향 선택, 예스-노 선택, 숫자 선택, 신호 선택(cued selection) 등과 같은 다양한 선택 수단을 포함, 또는 제공, 또는 지원할 수 있다. UI 포맷은 상술한 바와 같이 가용 주의력, 주변 상태, 행동 값, 및/또는 감각 유형에 따라 선택될 수 있다. 예를 들어, UI 모드가 음성을 지원한다면, 포맷은 음성 속도 및/또는 음성 볼륨을 변경할 수 있다.
이와 관련하여, 적응형 UI 시스템(10)은 운전자가 청력 손실을 앓고 있다고 판정하거나, 운전자의 주위가 시끄럽다고 판정하여, 음성 사용자 인터페이스를 상이한 UI 모드로 변환할 수 있다. 예를 들어, 적응형 UI 시스템(10)은 음성 출력(볼륨)을 자동으로 증가시킬 수도 있고, 음성 입력을 촉각(수동적) 입력(예컨대, 키 입력을 이용하는 메뉴 선택)으로 바꿀 수 있다.
명료함을 위해, 별도의 실시예의 맥락으로 서술된 어느 특징들이 단일 실시예로 결합되어 제공될 수도 있음이 이해될 것이다 반대로, 간결함을 위해, 단일 실시예의 맥락으로 서술된 다양한 특징들이 별도로 또는 임의의 적절한 서브 조합으로 제공될 수도 있다.
상기 설명은 그 특정 실시예와 결합되어 제공되었으나, 다양한 대안, 수정 및 변형이 당업자들에게 명백할 것임이 분명하다. 따라서, 첨부된 청구항의 정신 및 넓은 범위 내에 속하는 모든 이러한 대안, 수정 및 변형을 아우르도록 의도되었다. 본 명세서에서 언급된 모든 공개물, 특허 및 특허 출원은 각각의 개별 공개물, 특허 또는 특허 출원이 참조로서 본 명세서에 통합된 것으로 구체적으로 개별적으로 표시된 것과 동일한 정도로, 본 명세서에서 그 전체가 참조로서 통합된다. 게다가, 본 출원에서 임의의 참조문헌의 인용 또는 식별이 그러한 참조문헌이 종래기술로서 사용 가능하다고 인정한 것으로 해석되어서는 안 된다.
Claims (42)
- 사용자 인터페이스를 조정하는 방법으로서,
제1 장치 및 제1 소프트웨어 프로그램 중 적어도 하나를 작동시키는 사용자의 주의력을 소모하는 영향을 측정하는 단계;
상기 영향에 의한 상기 사용자로부터의 주의력 요구량을 평가하는 단계;
제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나를 작동시키기 위한 상기 사용자의 가용 주의력을 평가하는 단계로서, 상기 제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나는 사용자 인터페이스를 포함하는 것인, 상기 사용자의 가용 주의력을 평가하는 단계;
상기 가용 주의력에 따라 상기 사용자 인터페이스를 수정하는 단계;
상기 제2 장치 및 상기 제2 소프트웨어 프로그램 중 적어도 하나와의 사용자 상호작용을 측정하여 사용자 응답 레벨을 형성하는 단계; 및
상기 사용자 응답 레벨에 따라 상기 사용자 인터페이스를 조정하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법. - 제 1 항에 있어서, 상기 사용자 인터페이스를 수정하는 단계는 추가적으로:
적어도 하나의 상기 영향을 적어도 하나의 제1 감각 유형과 연관짓는 단계를 포함하고,
상기 사용자 인터페이스를 수정하는 단계는 추가적으로:
상기 제1 감각 유형과 상이한 제2 감각 유형을 이용하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법. - 제 1 항에 있어서, 상기 사용자의 가용 주의력을 평가하는 단계는:
상기 사용자에 대하여 적어도 하나의 감소된 감각 유형을 탐지하는 단계를 포함하고, 그리고
상기 사용자 인터페이스를 수정하는 단계는:
상기 감소된 감각 유형과 상이한 제2 감각 유형을 이용하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법. - 제 1 항에 있어서, 상기 사용자 인터페이스를 조정하는 단계는 추가적으로:
미리 정해진 레벨에 대하여 상기 사용자 응답 레벨을 향상시키도록 상기 사용자 인터페이스를 조정하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법. - 제 1 항에 있어서,
상기 가용 주의력에 따라 상기 사용자 인터페이스를 수정하는 단계; 및
상기 사용자 응답 레벨에 따라 상기 사용자 인터페이스를 조정하는 단계 중 적어도 하나는 추가적으로:
상기 사용자와 상호작용하도록 구성된 출력 장치;
상기 사용자와 상호작용하도록 구성된 입력 장치;
사용자 인터페이스 모드; 및
사용자 인터페이스 포맷
중 적어도 하나를 선택하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법. - 제 1 항에 있어서,
상기 가용 주의력에 따라 상기 사용자 인터페이스를 수정하는 단계; 및
상기 사용자 응답 레벨에 따라 상기 사용자 인터페이스를 조정하는 단계 중 적어도 하나는 추가적으로:
제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나의 원래의 사용자-출력 장치 이외의 주변 사용자-출력 장치를 이용하는 것; 및
제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나의 원래의 사용자-입력 장치 이외의 주변 사용자-입력 장치를 이용한 사용자 엔트리의 에뮬레이션(emulation)
중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법. - 제 1 항에 있어서, 추가적으로:
상기 수정된 사용자 인터페이스에 의한 상기 사용자로부터의 주의력 요구량을 평가하여 UI 주의력 요구량을 형성하는 단계; 및
상기 가용 주의력보다 낮은 UI 주의력 요구량을 달성하도록 상기 사용자 인터페이스를 수정하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법. - 제 1 항에 있어서, 상기 사용자 인터페이스를 조정하는 단계는 상기 사용자에게로의 출력을 지연시키는 단계, 옵션 및 기능 중 적어도 하나를 제거하는 단계, 메뉴를 분할하는 단계, 및 메뉴 내의 옵션의 개수를 줄이는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법.
- 제 1 항에 있어서,
상기 사용자 인터페이스를 수정하는 단계는 추가적으로 상기 영향 중 적어도 하나를 적어도 하나의 제1 감각 유형과 연관짓는 단계를 포함하고; 그리고 상기 사용자 인터페이스를 수정하는 단계는 추가적으로:
상기 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자-출력 장치를 이용하는 것; 및
상기 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자-입력 장치를 이용한 사용자 엔트리의 에뮬레이션(emulation); 및
상기 사용자에 대하여 적어도 하나의 감소된 감각 유형을 탐지하는 것 중 적어도 하나를 포함하고; 그리고 상기 사용자 인터페이스를 수정하는 단계는:
상기 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자-출력 장치를 이용하는 것; 및
상기 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자-입력 장치를 이용한 사용자 엔트리의 에뮬레이션
을 포함하는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법. - 제 1 항에 있어서, 추가적으로:
적어도 하나의 운전자 행동 파라미터를 규정하는 단계;
상기 적어도 하나의 운전자 행동 파라미터에 대하여 하나의 세트의 측정 가능한 행동 값을 연관짓는 단계;
상기 적어도 하나의 운전자 행동 파라미터를 측정하여 측정된 행동 값을 형성하는 단계; 및
상기 측정된 행동 값 및 상기 사용자의 가용 주의력의 평가에 따라 상기 사용자 인터페이스를 조정하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법. - 제 1 항에 있어서, 상기 사용자의 가용 주의력은:
복수의 주변 상태를 규정하는 단계;
상기 주변 상태 각각에 대하여 하나의 세트의 측정 가능한 주변 값을 연관짓는 단계;
적어도 하나의 상기 측정 가능한 주변 값을 기초로 사용자 주의력 요구량 값을 계산하기 위한 적어도 하나의 규칙을 제공하는 단계;
적어도 하나의 상기 주변 상태를 측정하여 측정된 주변 값을 형성하는 단계; 및
상기 적어도 하나의 규칙을 이용하여, 적어도 하나의 상기 측정된 주변 값을 포함하는 사용자 주의력 요구량을 계산하는 단계를 포함하는 방법에 의해 평가되는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법. - 제 5 항에 있어서, 상기 출력 장치, 입력 장치, 및 사용자 인터페이스 모드 중 적어도 하나는 소리, 음성 출력, 음성 입력, 시각적 출력, 대쉬보드 디스플레이, 촉각 입력, 터치 감응 스크린, 및 스티어링 휠 컨트롤을 포함하는 한 그룹의 모드로부터 선택된 적어도 하나의 모드를 포함하고;
상기 모드는 가용 주의력, 주변 상태, 및 행동 값 중 적어도 하나에 따라 선택되는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법. - 제 5 항에 있어서, 상기 출력 장치, 입력 장치, 및 사용자 인터페이스 포맷 중 적어도 하나는 업-다운 선택, 좌-우 선택, D-패드 선택, 8방향 선택, 예스-노 선택, 수치 선택, 및 신호 선택을 포함하는 한 그룹의 포맷 중 적어도 하나의 포맷을 포함하고;
상기 포맷은 가용 주의력, 주변 상태, 및 행동 값 중 적어도 하나에 따라 선택되는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법. - 제 5 항에 있어서, 상기 모드는 음성을 포함하고, 상기 포맷은 상기 음성의 가변 속도, 및 상기 음성의 가변 볼륨 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터페이스를 조정하는 방법.
- 사용자 인터페이스를 조정하는 시스템으로서,
주의력 평가 모듈로서:
제1 장치 및 제1 소프트웨어 프로그램 중 적어도 하나를 작동시키는 사용자의 주의력을 소모하는 영향을 측정하고;
상기 영향에 의한 상기 사용자로부터의 주의력 요구량을 평가하고;
제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나를 작동시키기 위한 상기 사용자의 가용 주의력을 평가하도록 구성되어 있고, 상기 제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나는 사용자 인터페이스를 포함하는 것인 상기 주의력 평가 모듈; 및
사용자 인터페이스 조정 모듈로서,
상기 가용 주의력에 따라 상기 사용자 인터페이스를 수정하고;
상기 제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나와의 사용자 상호작용을 측정하여 사용자 응답 레벨을 형성하고; 그리고
상기 사용자 응답 레벨에 따라 상기 사용자 인터페이스를 조정하도록 구성된 상기 사용자 인터페이스 조정 모듈을 포함하는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템. - 제 15 항에 있어서, 상기 사용자 인터페이스 조정 모듈은 추가적으로:
사용자가 상기 영향 중 적어도 하나를 적어도 하나의 제1 감각 유형과 연관짓는 것을 가능하게 하고; 그리고
상기 제1 감각 유형과 상이한 제2 감각 유형을 이용하여 상기 사용자 인터페이스를 수정하도록 구성되어 있는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템. - 제 15 항에 있어서, 상기 주의력 평가 모듈은 추가적으로, 상기 사용자에 대하여, 적어도 하나의 감소된 감각 유형을 탐지하도록 구성되어 있고; 그리고
상기 사용자 인터페이스 조정 모듈은 추가적으로 상기 감소된 감각 유형과 상이한 제2 감각 유형을 이용하도록 구성되어 있는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템. - 제 15 항에 있어서, 상기 사용자 인터페이스 조정 모듈은 추가적으로 미리 정해진 레벨에 대하여 상기 사용자 응답 레벨을 향상시키도록 상기 사용자 인터페이스를 조정하도록 구성되어 있는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템.
- 제 15 항에 있어서, 상기 사용자 인터페이스 조정 모듈은 추가적으로:
상기 사용자와 상호작용하도록 구성된 출력 장치;
상기 사용자와 상호작용하도록 구성된 입력 장치;
사용자 인터페이스 모드; 및
사용자 인터페이스 포맷
중 적어도 하나를 선택하도록 구성되어 있는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템. - 제 15 항에 있어서, 상기 사용자 인터페이스 조정 모듈은 추가적으로:
상기 제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나의 원래의 사용자-출력 장치 이외의 주변 사용자-출력 장치를 이용하고; 그리고
상기 제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나의 원래의 사용자-입력 장치 이외의 주변 사용자-입력 장치를 이용하여 사용자 엔트리를 에뮬레이팅(emulate) 하도록 구성되어 있는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템. - 제 15 항에 있어서,
상기 주의력 평가 모듈은 추가적으로 상기 수정된 사용자 인터페이스에 의한 상기 사용자로부터의 주의력 요구량을 평가하여 UI 주의력 요구량을 형성하도록 구성되어 있고; 그리고
상기 사용자 인터페이스 조정 모듈은 추가적으로 상기 가용 주의력보다 낮은 UI 주의력 요구량을 달성하도록 상기 사용자 인터페이스를 수정하도록 구성되어 있는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템. - 제 15 항에 있어서, 상기 사용자 인터페이스 조정 모듈은 추가적으로: 상기 사용자에게로의 출력 지연, 적어도 하나의 옵션 및 기능의 제거, 메뉴 분할, 및 메뉴 내 옵션의 개수 감소 중 적어도 하나를 수행하도록 구성되어 있는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템.
- 제 15 항에 있어서,
상기 주의력 평가 모듈은 추가적으로:
사용자가 상기 영향 중 적어도 하나를 적어도 하나의 제1 감각 유형과 연관짓는 것을 가능하게 하고; 그리고
상기 사용자에 대하여, 적어도 하나의 감소된 감각 유형을 탐지하도록 구성되어 있고,
상기 사용자 인터페이스 조정 모듈은 추가적으로:
상기 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자-출력 장치를 이용하는 것; 및
상기 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자-입력 장치를 이용하여 사용자 엔트리를 에뮬레이팅하는 것 중 적어도 하나를 수행하도록 구성되어 있는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템. - 제 15 항에 있어서,
상기 주의력 평가 모듈은 추가적으로:
사용자가 적어도 하나의 운전자 행동 파라미터를 규정하는 것을 가능하게 하고;
사용자가 상기 적어도 하나의 운전자 행동 파라미터에 대하여 한 세트의 측정 가능한 행동 값을 연관짓는 것을 가능하게 하고; 그리고
상기 적어도 하나의 운전자 행동 파라미터를 측정하여 측정된 행동 값을 형성하도록 구성되어 있고,
상기 사용자 인터페이스 조정 모듈은 추가적으로 측정된 행동 값 및 사용자의 가용 주의력의 평가에 따라 상기 사용자 인터페이스를 조정하도록 구성되어 있는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템. - 제 15 항에 있어서, 상기 주의력 평가 모듈은:
사용자가 복수의 주변 상태를 규정하는 것을 가능하게 하고;
사용자가 상기 주변 상태 각각에 대하여 한 세트의 측정 가능한 주변 값을 연관짓는 것을 가능하게 하고;
사용자가 적어도 하나의 상기 측정 가능한 주변 값을 기초로 사용자 주의력 요구량을 계산하기 위한 적어도 하나의 규칙을 제공하는 것을 가능하게 하고;
적어도 하나의 상기 주변 상태를 측정하여 측정된 주변 값을 형성하고; 그리고
상기 적어도 하나의 규칙을 이용하고, 상기 적어도 하나의 측정된 주변 값에 따라 사용자 주의력 요구량을 계산하도록 구성되어 있는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템. - 제 19 항에 있어서, 상기 출력 장치, 입력 장치, 및 사용자 인터페이스 모드 중 적어도 하나는 소리, 음성 출력, 음성 입력, 시각적 출력, 대쉬보드 디스플레이, 촉각 입력, 터치 감응 스크린, 및 스티어링 휠 컨트롤을 포함하는 한 그룹의 모드로부터 선택된 적어도 하나의 모드를 포함하고; 그리고
상기 모드는 가용 주의력, 주변 상태, 및 행동 값 중 적어도 하나에 따라 선택되는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템. - 제 19 항에 있어서, 상기 출력 장치, 입력 장치, 및 사용자 인터페이스 포맷 중 적어도 하나는 업-다운 선택, 좌-우 선택, D-패드 선택, 8방향 선택, 예스-노 선택, 수치 선택, 및 신호 선택을 포함하는 한 그룹의 포맷 중 적어도 하나의 포맷을 포함하고;
상기 포맷은 가용 주의력, 주변 상태, 및 행동 값 중 적어도 하나에 따라 선택되는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템. - 제 19 항에 있어서, 상기 모드는 음성을 포함하고, 상기 포맷은 상기 음성의 가변 속도, 및 상기 음성의 가변 볼륨 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 인터페이스를 조정하는 시스템.
- 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체로서, 상기 동작은:
제1 장치 및 제1 소프트웨어 프로그램 중 적어도 하나를 작동시키는 사용자의 주의력을 소모하는 영향을 측정하는 단계;
상기 영향에 의한 상기 사용자로부터의 주의력 요구량을 평가하는 단계;
제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나를 작동시키기 위한 상기 사용자의 가용 주의력을 평가하는 단계로서, 상기 제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나는 사용자 인터페이스를 포함하는 것인, 상기 사용자의 가용 주의력을 평가하는 단계;
상기 가용 주의력에 따라 상기 사용자 인터페이스를 수정하는 단계;
상기 제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나와의 사용자 상호작용을 측정하여 사용자 응답 레벨을 형성하는 단계; 및
상기 사용자 응답 레벨에 따라 상기 사용자 인터페이스를 조정하는 단계를 포함하는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체. - 제 29 항에 있어서, 상기 사용자 인터페이스를 수정하는 단계는 추가적으로:
상기 영향 중 적어도 하나를 적어도 하나의 제1 감각 유형과 연관짓는 단계를 포함하고,
상기 사용자 인터페이스를 수정하는 단계는 추가적으로:
상기 제1 감각 유형과 상이한 제2 감각 유형을 이용하는 단계를 포함하는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체. - 제 29 항에 있어서, 상기 사용자의 가용 주의력을 평가하는 단계는:
상기 사용자에 대하여 적어도 하나의 감소된 감각 유형을 탐지하는 단계를 포함하고, 그리고
상기 사용자 인터페이스를 수정하는 단계는:
상기 감소된 감각 유형과 상이한 제2 감각 유형을 이용하는 단계를 포함하는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체. - 제 29 항에 있어서, 상기 사용자 인터페이스를 조정하는 단계는 추가적으로:
미리 정해진 레벨에 대하여 상기 사용자 응답 레벨을 향상시키도록 상기 사용자 인터페이스를 조정하는 단계를 포함하는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체. - 제 29 항에 있어서,
상기 가용 주의력에 따라 상기 사용자 인터페이스를 수정하는 단계; 및
상기 사용자 응답 레벨에 따라 상기 사용자 인터페이스를 조정하는 단계 중 적어도 하나는 추가적으로:
상기 사용자와 상호작용하도록 구성된 출력 장치;
상기 사용자와 상호작용하도록 구성된 입력 장치;
사용자 인터페이스 모드; 및
사용자 인터페이스 포맷
중 적어도 하나를 선택하는 단계를 포함하는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체. - 제 29 항에 있어서,
상기 가용 주의력에 따라 상기 사용자 인터페이스를 수정하는 단계; 및
상기 사용자 응답 레벨에 따라 상기 사용자 인터페이스를 조정하는 단계 중 적어도 하나는 추가적으로:
제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나의 원래의 사용자-출력 장치 이외의 주변 사용자-출력 장치를 이용하는 것; 및
제2 장치 및 제2 소프트웨어 프로그램 중 적어도 하나의 원래의 사용자-입력 장치 이외의 주변 사용자-입력 장치를 이용한 사용자 엔트리의 에뮬레이션(emulation)
중 적어도 하나를 포함하는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체. - 제 29 항에 있어서, 추가적으로:
상기 수정된 사용자 인터페이스에 의한 상기 사용자로부터의 주의력 요구량을 평가하여 UI 주의력 요구량을 형성하는 단계; 및
상기 가용 주의력보다 낮은 UI 주의력 요구량을 달성하도록 상기 사용자 인터페이스를 수정하는 단계를 포함하는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체. - 제 29 항에 있어서, 상기 사용자 인터페이스를 조정하는 단계는 상기 사용자에게로의 출력을 지연시키는 단계, 옵션 및 기능 중 적어도 하나를 제거하는 단계, 메뉴를 분할하는 단계, 및 메뉴 내의 옵션의 개수를 줄이는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체.
- 제 29 항에 있어서,
상기 사용자 인터페이스를 수정하는 단계는 추가적으로 상기 영향 중 적어도 하나를 적어도 하나의 제1 감각 유형과 연관짓는 단계를 포함하고; 그리고 상기 사용자 인터페이스를 수정하는 단계는 추가적으로:
상기 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자-출력 장치를 이용하는 것; 및
상기 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자-입력 장치를 이용한 사용자 엔트리의 에뮬레이션(emulation); 및
상기 사용자에 대하여 적어도 하나의 감소된 감각 유형을 탐지하는 것 중 적어도 하나를 포함하고; 그리고 상기 사용자 인터페이스를 수정하는 단계는:
상기 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자-출력 장치를 이용하는 것; 및
상기 제1 감각 유형과 상이한 제2 감각 유형에 맞게 조정된 주변 사용자-입력 장치를 이용한 사용자 엔트리의 에뮬레이션을 포함하는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체. - 제 29 항에 있어서, 추가적으로:
적어도 하나의 운전자 행동 파라미터를 규정하는 단계;
상기 적어도 하나의 운전자 행동 파라미터에 대하여 하나의 세트의 측정 가능한 행동 값을 연관짓는 단계;
상기 적어도 하나의 운전자 행동 파라미터를 측정하여 측정된 행동 값을 형성하는 단계; 및
상기 측정된 행동 값 및 상기 사용자의 가용 주의력의 평가에 따라 상기 사용자 인터페이스를 조정하는 단계를 포함하는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체. - 제 29 항에 있어서, 상기 사용자의 가용 주의력은:
복수의 주변 상태를 규정하는 단계;
상기 주변 상태 각각에 대하여 하나의 세트의 측정 가능한 주변 값을 연관짓는 단계;
적어도 하나의 상기 측정 가능한 주변 값을 기초로 사용자 주의력 요구량 값을 계산하기 위한 적어도 하나의 규칙을 제공하는 단계;
적어도 하나의 상기 주변 상태를 측정하여 측정된 주변 값을 형성하는 단계; 및
상기 적어도 하나의 규칙을 이용하여, 적어도 하나의 상기 측정된 주변 값을 포함하는 사용자 주의력 요구량을 계산하는 단계를 포함하는 방법에 의해 평가되는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체. - 제 39 항에 있어서, 상기 출력 장치, 입력 장치, 및 사용자 인터페이스 모드 중 적어도 하나는 소리, 음성 출력, 음성 입력, 시각적 출력, 대쉬보드 디스플레이, 촉각 입력, 터치 감응 스크린, 및 스티어링 휠 컨트롤을 포함하는 한 그룹의 모드로부터 선택된 적어도 하나의 모드를 포함하고;
상기 모드는 가용 주의력, 주변 상태, 및 행동 값 중 적어도 하나에 따라 선택되는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체. - 제 39 항에 있어서, 상기 출력 장치, 입력 장치, 및 사용자 인터페이스 포맷 중 적어도 하나는 업-다운 선택, 좌-우 선택, D-패드 선택, 8방향 선택, 예스-노 선택, 수치 선택, 및 신호 선택을 포함하는 한 그룹의 포맷 중 적어도 하나의 포맷을 포함하고;
상기 포맷은 가용 주의력, 주변 상태, 및 행동 값 중 적어도 하나에 따라 선택되는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체. - 제 39 항에 있어서, 상기 모드는 음성을 포함하고, 상기 포맷은 상기 음성의 가변 속도, 및 상기 음성의 가변 볼륨 중 적어도 하나를 포함하는 것을 특징으로 하는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 동작을 수행하게 만드는 명령어를 포함하는 비일시적 컴퓨터 판독 가능한 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562132525P | 2015-03-13 | 2015-03-13 | |
| US62/132,525 | 2015-03-13 | ||
| PCT/IL2016/050273 WO2016147174A1 (en) | 2015-03-13 | 2016-03-13 | System and method for adapting the user-interface to the user attention and driving conditions |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20170128397A true KR20170128397A (ko) | 2017-11-22 |
Family
ID=55809159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177027750A KR20170128397A (ko) | 2015-03-13 | 2016-03-13 | 사용자 주의력 및 운전 상태에 맞게 사용자 인터페이스를 조정하는 시스템 및 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US20170129497A1 (ko) |
| EP (1) | EP3268241A1 (ko) |
| JP (1) | JP2018508090A (ko) |
| KR (1) | KR20170128397A (ko) |
| CN (1) | CN107428244A (ko) |
| WO (2) | WO2016147174A1 (ko) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ITUA20162279A1 (it) * | 2016-04-04 | 2017-10-04 | Ultraflex Spa | Sistema di sterzatura idraulico per veicoli, in particolare per natanti, o simili |
| US20170337027A1 (en) * | 2016-05-17 | 2017-11-23 | Google Inc. | Dynamic content management of a vehicle display |
| DE102017215407A1 (de) * | 2017-09-04 | 2019-03-07 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren, mobiles Anwendergerät, Computerprogramm zur Ansteuerung eines mobilen Anwendergeräts eines Fahrers eines Fahrzeugs |
| DE102017215404A1 (de) * | 2017-09-04 | 2019-03-07 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren, mobiles Anwendergerät, System, Computerprogramm zur Ansteuerung eines mobilen Anwendergeräts eines Insassen eines Fahrzeugs |
| DE102017215405A1 (de) * | 2017-09-04 | 2019-03-07 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren, mobiles Anwendergerät, System, Computerprogramm zur Ansteuerung eines mobilen Anwendergeräts eines Insassen eines Fahrzeugs |
| US10343596B2 (en) * | 2017-09-29 | 2019-07-09 | Toyota Motor Engineering & Manufacturing North America, Inc. | Turn signal modulator systems and methods |
| US10498685B2 (en) * | 2017-11-20 | 2019-12-03 | Google Llc | Systems, methods, and apparatus for controlling provisioning of notifications based on sources of the notifications |
| US10892907B2 (en) | 2017-12-07 | 2021-01-12 | K4Connect Inc. | Home automation system including user interface operation according to user cognitive level and related methods |
| SE1751654A1 (en) * | 2017-12-27 | 2019-06-28 | Scania Cv Ab | Method and control unit for updating at least one functionality of a vehicle |
| CN108984058A (zh) * | 2018-03-30 | 2018-12-11 | 斑马网络技术有限公司 | 车载显示屏的分区显示适配系统及其应用 |
| JP7081317B2 (ja) * | 2018-06-12 | 2022-06-07 | トヨタ自動車株式会社 | 車両用コクピット |
| DE102018212811A1 (de) * | 2018-08-01 | 2020-02-06 | Bayerische Motoren Werke Aktiengesellschaft | Server, Fortbewegungsmittel und Verfahren zur Auswertung eines Nutzungsverhaltens eines Anwenders eines tragbaren Drahtloskommunikationsgerätes in einem Fortbewegungsmittel |
| DE102019105546A1 (de) * | 2019-03-05 | 2020-09-10 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren, mobiles Anwendergerät, Computerprogramm zum Ansteuern einer Steuereinheit eines Fahrzeugs |
| US11093767B1 (en) * | 2019-03-25 | 2021-08-17 | Amazon Technologies, Inc. | Selecting interactive options based on dynamically determined spare attention capacity |
| US10752253B1 (en) * | 2019-08-28 | 2020-08-25 | Ford Global Technologies, Llc | Driver awareness detection system |
| CN110928620B (zh) * | 2019-11-01 | 2023-09-01 | 中汽智联技术有限公司 | 汽车hmi设计引起驾驶注意力分散评价方法及系统 |
| US11048378B1 (en) | 2019-12-16 | 2021-06-29 | Digits Financial, Inc. | System and method for tracking changes between a current state and a last state seen by a user |
| US11054962B1 (en) * | 2019-12-16 | 2021-07-06 | Digits Financial, Inc. | System and method for displaying changes to a number of entries in a set of data between page views |
| US20220027501A1 (en) * | 2020-07-24 | 2022-01-27 | International Business Machines Corporation | User privacy for autonomous vehicles |
| DE102021126901A1 (de) | 2021-10-17 | 2023-04-20 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Steuerung einer Sprachinteraktion in einem Fahrzeug |
| US20230230577A1 (en) * | 2022-01-04 | 2023-07-20 | Capital One Services, Llc | Dynamic adjustment of content descriptions for visual components |
| FR3132266A1 (fr) * | 2022-01-28 | 2023-08-04 | Renault S.A.S | Procédé d’adaptation d’informations communiquées à un conducteur d’un véhicule et dispositif d’assistance à la conduite apte à mettre en œuvre un tel procédé. |
| CN114610433A (zh) * | 2022-03-23 | 2022-06-10 | 中国第一汽车股份有限公司 | 车辆仪表参数化动态显示方法及系统 |
| CN115581457B (zh) * | 2022-12-13 | 2023-05-12 | 深圳市心流科技有限公司 | 注意力评估方法、装置、设备及存储介质 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2423200A1 (en) * | 2000-09-21 | 2002-03-28 | American Calcar Inc. | Technique for operating a vehicle effectively and safely |
| US6925425B2 (en) * | 2000-10-14 | 2005-08-02 | Motorola, Inc. | Method and apparatus for vehicle operator performance assessment and improvement |
| DE10103401A1 (de) * | 2001-01-26 | 2002-08-01 | Daimler Chrysler Ag | Gefahrenabwendungssystem für ein Fahrzeug |
| US6731925B2 (en) * | 2001-10-24 | 2004-05-04 | Mouhamad Ahmad Naboulsi | Safety control system for vehicles |
| US7039551B2 (en) * | 2002-02-04 | 2006-05-02 | Hrl Laboratories, Llc | Method and apparatus for calculating an operator distraction level |
| DE10350276A1 (de) * | 2003-10-28 | 2005-06-02 | Robert Bosch Gmbh | Vorrichtung zur Ermüdungswarnung in Kraftfahrzeugen mit Abstandswarnsystem |
| DE10355221A1 (de) * | 2003-11-26 | 2005-06-23 | Daimlerchrysler Ag | Verfahren und Computerprogramm zum Erkennen von Unaufmerksamkeiten des Fahrers eines Fahrzeugs |
| JP4550882B2 (ja) * | 2004-11-25 | 2010-09-22 | シャープ株式会社 | 情報分類装置、情報分類方法、情報分類プログラム、情報分類システム |
| KR100753839B1 (ko) * | 2006-08-11 | 2007-08-31 | 한국전자통신연구원 | 적응형 차량 인터페이스 제공 장치 및 방법 |
| JP4814779B2 (ja) * | 2006-12-20 | 2011-11-16 | 三菱ふそうトラック・バス株式会社 | 車両用注意力監視装置 |
| US7880621B2 (en) * | 2006-12-22 | 2011-02-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Distraction estimator |
| US20110082620A1 (en) * | 2009-10-05 | 2011-04-07 | Tesla Motors, Inc. | Adaptive Vehicle User Interface |
| US8825304B2 (en) * | 2010-06-30 | 2014-09-02 | Microsoft Corporation | Mediation of tasks based on assessments of competing cognitive loads and needs |
| US8972106B2 (en) * | 2010-07-29 | 2015-03-03 | Ford Global Technologies, Llc | Systems and methods for scheduling driver interface tasks based on driver workload |
| KR101682208B1 (ko) * | 2010-10-22 | 2016-12-02 | 삼성전자주식회사 | 디스플레이 장치 및 방법 |
| US20120200407A1 (en) * | 2011-02-09 | 2012-08-09 | Robert Paul Morris | Methods, systems, and computer program products for managing attention of an operator an automotive vehicle |
| US20130187845A1 (en) * | 2012-01-20 | 2013-07-25 | Visteon Global Technologies, Inc. | Adaptive interface system |
| KR20130095478A (ko) * | 2012-02-20 | 2013-08-28 | 삼성전자주식회사 | 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체 |
| US8914012B2 (en) * | 2012-10-16 | 2014-12-16 | Excelfore Corporation | System and method for monitoring apps in a vehicle to reduce driver distraction |
| US20160059775A1 (en) * | 2014-09-02 | 2016-03-03 | Nuance Communications, Inc. | Methods and apparatus for providing direction cues to a driver |
-
2016
- 2016-03-13 EP EP16718735.0A patent/EP3268241A1/en not_active Withdrawn
- 2016-03-13 KR KR1020177027750A patent/KR20170128397A/ko unknown
- 2016-03-13 WO PCT/IL2016/050273 patent/WO2016147174A1/en active Application Filing
- 2016-03-13 US US15/102,184 patent/US20170129497A1/en not_active Abandoned
- 2016-03-13 CN CN201680014858.0A patent/CN107428244A/zh active Pending
- 2016-03-13 JP JP2017566229A patent/JP2018508090A/ja active Pending
- 2016-03-13 WO PCT/IL2016/050271 patent/WO2016147173A1/en active Application Filing
- 2016-03-13 US US15/102,143 patent/US20170132016A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20170129497A1 (en) | 2017-05-11 |
| CN107428244A (zh) | 2017-12-01 |
| EP3268241A1 (en) | 2018-01-17 |
| US20170132016A1 (en) | 2017-05-11 |
| JP2018508090A (ja) | 2018-03-22 |
| WO2016147173A1 (en) | 2016-09-22 |
| WO2016147174A1 (en) | 2016-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20170128397A (ko) | 사용자 주의력 및 운전 상태에 맞게 사용자 인터페이스를 조정하는 시스템 및 방법 | |
| US11367293B1 (en) | Apparatuses, systems and methods for classifying digital images | |
| US11034362B2 (en) | Portable personalization | |
| US10399575B2 (en) | Cognitive load driving assistant | |
| US9596643B2 (en) | Providing a user interface experience based on inferred vehicle state | |
| JP2019179570A (ja) | チュートリアルを伴う運転後の総括 | |
| EP2867619B1 (en) | Methods and systems generating driver workload data | |
| US9376117B1 (en) | Driver familiarity adapted explanations for proactive automated vehicle operations | |
| US10216269B2 (en) | Apparatus and method for determining intent of user based on gaze information | |
| US20180022359A1 (en) | Control for an Electronic Multi-Function Apparatus | |
| US9928833B2 (en) | Voice interface for a vehicle | |
| EP3022705A2 (en) | Risk assessment using portable devices | |
| US10065504B2 (en) | Intelligent tutorial for gestures | |
| US11577688B2 (en) | Smart window apparatus, systems, and related methods for use with vehicles | |
| WO2016030934A1 (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
| JP6619316B2 (ja) | 駐車位置探索方法、駐車位置探索装置、駐車位置探索プログラム及び移動体 | |
| JP2019159360A (ja) | 出力装置、出力方法及びプログラム | |
| CN112241237A (zh) | 图像显示装置、图像显示系统以及图像显示方法 | |
| JP2020184020A (ja) | 報知制御装置、報知システム、報知制御方法、及び、制御プログラム | |
| JP2007062734A (ja) | 追従制御装置 | |
| Tchankue et al. | MIMI: A Multimodal and Adaptive Interface for an In-Car Communication System |