RU2707410C2 - Автомобильный мультимодальный интерфейс - Google Patents

Автомобильный мультимодальный интерфейс Download PDF

Info

Publication number
RU2707410C2
RU2707410C2 RU2017117421A RU2017117421A RU2707410C2 RU 2707410 C2 RU2707410 C2 RU 2707410C2 RU 2017117421 A RU2017117421 A RU 2017117421A RU 2017117421 A RU2017117421 A RU 2017117421A RU 2707410 C2 RU2707410 C2 RU 2707410C2
Authority
RU
Russia
Prior art keywords
modality
type
input
task
user
Prior art date
Application number
RU2017117421A
Other languages
English (en)
Other versions
RU2017117421A3 (ru
RU2017117421A (ru
Inventor
Оскар Е. МУРИЛЛО
Кристоффер С. ШУЛЬЦ
Викрам Падмакар БАПАТ
Майк ГЛАСС
Джейсон Райан ФАРМЕР
Original Assignee
МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи filed Critical МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Publication of RU2017117421A publication Critical patent/RU2017117421A/ru
Publication of RU2017117421A3 publication Critical patent/RU2017117421A3/ru
Application granted granted Critical
Publication of RU2707410C2 publication Critical patent/RU2707410C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6075—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • H04M1/6083—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6075—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • H04M1/6083—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system
    • H04M1/6091—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system including a wireless interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/111—Instrument graphical user interfaces or menu aspects for controlling multiple devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B60K2360/1442—Emulation of input devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/151—Instrument output devices for configurable output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/164—Infotainment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/573—Mobile devices controlling vehicle functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/592—Data transfer involving external databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

Изобретение относится к автомобильному мультимодальному интерфейсу. Технический результат - обеспечение возможности управления автомобильной информационной/развлекательной системой мобильным устройством. Принимают от мобильного устройства ввод, имеющий модальность первого типа, соответствующую речевой передаче, который содержит запрос и относится к выполнению задачи воспроизведения музыки; формируют список из множества песен, удовлетворяющих запросу; принимают ввод, имеющий модальность второго типа, которая отличается от модальности первого типа, который выбирает песню из упомянутого множества песен, и относится к выполнению задачи воспроизведения музыки; выполняют задачу воспроизведения музыки, которая содержит воспроизведение упомянутой песни; и во время выполнения упомянутой задачи прерывают эту задачу и представляют пользовательский интерфейс, содержащий средство, выбираемое посредством модальности третьего типа, соответствующей прикосновению, которая отличается от модальностей первого и второго типа в автомобильной информационной/развлекательной системе и относится к другой задаче; и в ответ на прием выбора упомянутого средства посредством модальности третьего типа, выполняют упомянутую другую задачу. 3 н. и 13 з.п. ф-лы, 31 ил.

Description

УРОВЕНЬ ТЕХНИКИ
[1] На сегодняшний день, водители и другие пользователи испытывают разочарование от многих автомобильных информационных/развлекательных систем по причинам, включающим в себя трудность, связанную с использованием систем, а также несогласованность между системами для разных автомобилей. Таким образом, пользовательское восприятие было не настолько хорошим, как могло бы быть, и сохраняется потребность в усовершенствованных автомобильных системах, которые обеспечивают безопасные, стойкие и желательные ощущения пользователя.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[2] Это краткое изложение сущности изобретения приведено для введения в упрощенной форме основных принципов, которые дополнительно описаны в нижеследующем подробном описании. Данное краткое изложение сущности изобретения не призвана идентифицировать ключевые признаки или существенные признаки заявленного изобретения, и также не подлежит использованию для помощи в определении объема заявленного изобретения.
[3] Различные варианты осуществления допускают сопряжение мобильных устройств, например телефонов и пр., с автомобильной информационной/развлекательной системой, чтобы предоставить пользователю возможность управлять автомобильной информационной/ развлекательной системой с помощью своего мобильного телефона. Пользователи могут использовать функциональные возможности своего мобильного телефона для улучшения автомобильного восприятия, которое может быть контекстуально адаптировано к контексту пользователя или автомобиля. Прочие варианты осуществления позволяют обеспечивать автомобильное восприятие посредством облачной службы.
[4] По меньшей мере, в некоторых вариантах осуществления, пользователь может выполнять различные задачи с использованием нескольких разных модальностей с плавным непрерывными модальными переходами между модальностями. Модальности могут включать в себя речь, прикосновение, жесты, жесты NUI, взгляд, и средства управления, например, поворотный переключатель. Плавные модальные переходы позволяют пользователю легко изменять свою модальность ввода в зависимости от своего контекста.
[5] Другие варианты осуществления позволяют адаптировать чисто речевое восприятие на основе сценариев вождения и когнитивной нагрузки пользователя. Прочие варианты осуществления позволяют адаптировать пользовательское восприятие для модальностей поворотного переключателя, жестов, взгляда и сенсорного экрана. Дополнительные варианты осуществления могут обеспечивать адаптивный пользовательский интерфейс, включающий в себя адаптивный пользовательский интерфейс, который может работать совместно с несколькими различными типами экранов, например, экраном телефона, кластерным экраном, экраном консоли и экраном дисплея на лобовом стекле (HUD) и пр. Прочие варианты осуществления обеспечивают универсальную модель команд/управления для множественных типов физического ввода, включающих в себя кнопочные переключатели, емкостные круговые переключатели, механические клавиши, панели и пр.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[6] Подробное описание приведено со ссылкой на прилагаемые чертежи. На фигурах, самая левая цифра(ы) ссылочной позиции идентифицирует фигуру, в которой впервые появляется ссылочная позиция. Использование одинаковых ссылочных позиций в разных местах описания и разных фигурах может указывать аналогичные или идентичные элементы.
[7] Фиг. 1 демонстрирует иллюстративное операционное окружение в соответствии с одним или более вариантами осуществления.
[8] Фиг. 2 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[9] Фиг. 3 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[10] Фиг. 4 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[11] Фиг. 5 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[12] Фиг. 6 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[13] Фиг. 7 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[14] Фиг. 8 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[15] Фиг. 9 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[16] Фиг. 10 - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.
[17] Фиг. 11 - схема, которая демонстрирует вербальный диалог между пользователем и автомобильной системой в соответствии с одним или более вариантами осуществления.
[18] Фиг. 12 - схема, которая демонстрирует вербальный диалог между пользователем и автомобильной системой в соответствии с одним или более вариантами осуществления.
[19] Фиг. 13 - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.
[20] Фиг. 14 - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.
[21] Фиг. 15 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[22] Фиг. 15A - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.
[23] Фиг. 16 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[24] Фиг. 17 демонстрирует аспекты системы в соответствии с одним или более вариантами осуществления.
[25] Фиг. 18 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[26] Фиг. 19 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[27] Фиг. 19A - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.
[28] Фиг. 20 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[29] Фиг. 21 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[30] Фиг. 22 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[31] Фиг. 22A - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.
[32] Фиг. 23 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[33] Фиг. 24 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[34] Фиг. 25 - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.
[35] Фиг. 26 демонстрирует систему в соответствии с одним или более вариантами осуществления.
[36] Фиг. 27 - блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления.
[37] Фиг. 28 демонстрирует иллюстративное вычислительное устройство, которое можно использовать для реализации различных описанных здесь вариантов осуществления.
ПОДРОБНОЕ ОПИСАНИЕ
Обзор
[38] Различные варианты осуществления допускают сопряжение мобильных устройств, например телефонов и пр., с автомобильной информационной/развлекательной системой, чтобы пользователь мог управлять автомобильной информационной/развлекательной системой с помощью своего мобильного телефона. Пользователи могут использовать функциональные возможности своего мобильного телефона для улучшения автомобильного восприятия, которое может быть контекстуально адаптировано к контексту пользователя или автомобиля. Прочие варианты осуществления позволяют обеспечивать автомобильное восприятие посредством облачной службы.
[39] По меньшей мере, в некоторых вариантах осуществления, пользователь может выполнять различные задачи с использованием нескольких разных модальностей с плавным непрерывными модальными переходами между модальностями. Модальности могут включать в себя речь, прикосновение, жесты, жесты NUI, взгляд и средства управления, например, поворотный переключатель. Плавные модальные переходы позволяют пользователю легко изменять свою модальность ввода в зависимости от своего контекста.
[40] Другие варианты осуществления позволяют адаптировать чисто речевое восприятие на основе сценариев вождения и когнитивной нагрузки пользователя. Прочие варианты осуществления позволяют адаптировать пользовательское восприятие для модальностей поворотного переключателя и сенсорного экрана. Дополнительные варианты осуществления могут обеспечивать адаптивный пользовательский интерфейс, включающий в себя адаптивный пользовательский интерфейс, который может работать совместно с несколькими различными типами экранов, например, экраном телефона, кластерным экраном, экраном консоли и экраном дисплея на лобовом стекле (HUD). Прочие варианты осуществления обеспечивают универсальную модель команд/управления для множественных типов физического ввода, включающих в себя кнопочные переключатели, емкостные круговые переключатели, механические клавиши, панели и пр.
[41] В нижеследующем рассмотрении, сначала описано иллюстративное окружение, способное применять описанные здесь методы. Методы могут применяться в иллюстративном окружении, а также в других окружениях.
Иллюстративное окружение
[42] Фиг. 1 демонстрирует иллюстративное окружение 100 в иллюстративной реализации, которое способно применять описанные здесь методы. Проиллюстрированное окружение 100 включает в себя автомобиль 102, мобильное вычислительное устройство в форме телефона 104 и автомобильную консоль 106, имеющую устройство 108 отображения. Консоль 106 показана удаленной от автомобиля 102 в целях нижеследующего описания. Консоль 106 обычно располагается на приборной панели или чуть ниже между водительским креслом и передним пассажирским креслом. Устройство 108 отображения консоли имеет или может иметь тактильные возможности, позволяющие ему принимать тактильный ввод, например, чтобы пользователь мог выбирать контент. Под консолью 106 предусмотрено несколько кнопок, показанных в целом позицией 110. Кроме того, автомобиль 102 может включать в себя поворотный переключатель 112, который может служить в качестве устройства ввода для консоли 106. Поворотный переключатель 112 можно использовать для навигации и выбора контента для контента, который отображается на устройстве 108 отображения. Поворотный переключатель можно поворачивать в направлении по часовой стрелке и в направлении против часовой стрелки в и из плоскости страницы, на которой изображен поворотный переключатель, как указано двумя изогнутыми стрелками. Вращая поворотный переключатель таким образом, пользователь может осуществлять навигацию по контенту, отображаемому на устройстве 108 отображения. Кроме того, поворотный переключатель также включает в себя механизм, который можно нажимать вниз в направлении стрелки, направленной вниз, чтобы производить выбор.
[43] Следует признавать и понимать, что в нижеприведенном описании, хотя мобильное устройство в форме телефона используется для описания контекста вариантов осуществления изобретения, можно использовать другие мобильные устройства, не выходя за рамки сущности и объема заявленного объекта.
[44] Соответственно, для отображаемой конфигурации контента, например, плиток, пиктограмм, объектов и пр., вращение поворотного переключателя позволяет осуществлять навигацию по отображаемому контенту, и нажатие поворотного переключателя позволяет выбирать конкретную деталь контента. Так, например, если устройство 108 отображения отображает список воспроизведения, имеющий несколько разных песен, пользователь может осуществлять навигацию по песням с использованием поворотного переключателя и, найдя конкретную интересующую его песню, пользователь, нажатием поворотного переключателя, может выбирать песню для воспроизведения.
[45] В ходе эксплуатации, телефон 104 может соединяться с консолью 106, чтобы пользователь мог взаимодействовать с контентом посредством консоли. Можно использовать соединение любого подходящего типа. В проиллюстрированном и описанном варианте осуществления, телефон 104 может соединяться с консолью 106 посредством беспроводного соединения, например, соединения Wi-Fi или Bluetooth. Альтернативно или дополнительно, телефон 104 может соединяться с консолью 106 посредством соединения USB, как указано на фигуре.
[46] Будучи соединен с консолью 106, мобильный телефон может объединяться с информационной/развлекательной системой автомобиля, чтобы пользователь мог управлять автомобильной информационной/развлекательной системой с помощью своего мобильного телефона. Пользователи могут использовать функциональные возможности своего мобильного телефона для улучшения автомобильного восприятия, которое может быть контекстуально адаптировано к контексту пользователя или автомобиля, что будет пояснено ниже.
Фиг. 2 демонстрирует телефон 104 в вычислительном окружении 200, которое может включать в себя автомобиль 102 (не показан) и связанную с ним консоль 106. Вычислительное окружение 200 также включает в себя один или более серверов 202 и сеть 204 (проиллюстрированную как "облако"), через которую могут осуществлять связь телефон 104, консоль 106 и серверы 202. Сеть, например, может облегчать связь с различными субъектами, например, компаниями, предоставляющими услуги обеспечения контента, OEM и любыми другими субъектами, соединенными посредством интернета.
[47] В проиллюстрированном и описанном примере, телефон 104 включает в себя, помимо других компонентов, один или более процессоров 206, одну или более компьютерно-считываемых сред 208 хранения, модуль 210 взаимодействия, различные приложения 212 и модуль 214 драйвера дисплея.
[48] В проиллюстрированном и описанном примере, модуль 210 взаимодействия включает в себя функциональные возможности, которые позволяют распознавать речь пользователя и обращаться к нему голосом. Модуль взаимодействия обеспечивает персонального помощника для помощи пользователю при выполнении задач. Так, например, модуль 210 взаимодействия может распознавать слова, произносимые пользователем, например, команды, запросы и пр. Кроме того, модуль 210 взаимодействия включает в себя функциональные возможности, которые позволяют предпринимать действия в отношении элементов принимаемой им передачи. Например, пользователь может обращаться к своему телефону со словами "Скажи, пожалуйста, запланированы ли у меня сегодня какие-нибудь встречи?". Получив этот запрос, модуль 210 взаимодействия, совместно, например, с приложением календаря, может устанавливать, запланированы ли на сегодня какие-либо встречи, и вербально отвечать пользователю "Сегодня у тебя не запланировано никаких встреч".
[49] Приложения 212 могут содержать приложение любого подходящего типа, которое может располагаться на телефоне 104. Такие приложения включают в себя, в порядке примера, но не ограничения, приложения социальных сетей, приложения электронной почты, приложения редактирования текста, приложения календаря, приложения медиапроигрывателя, приложения новостей, спорта и погоды и пр.
[50] Модуль 214 драйвера дисплея включает в себя функциональные возможности, которые позволяют визуализировать дисплей на телефоне 104, а также на устройстве 108 отображения консоли. В ходе эксплуатации, модуль 214 драйвера дисплея может устанавливать свойства, ассоциированные с устройством 108 отображения консоли (например, размеры устройства отображения), и принимать решения по визуализации на основе установленных свойств, что будет пояснено ниже.
[51] Серверы 202 проиллюстрированы как включающие в себя платформу 216 для веб-служб 218. Веб-службы 218 могут включать в себя веб-службу любого подходящего типа. Серверы 202 и ассоциированные с ними веб-службы 218 могут генерировать передачи, которые направляются на телефон 104 посредством сети 204. Принятые передачи обрабатываются телефоном 104 и/или соответствующим приложением, выполняющимся на телефоне, и пользователь может получать уведомление о передаче.
[52] Платформа 216 обобщает основные функциональные возможности оборудования (например, серверов) и программные ресурсы облака и, таким образом, может действовать как ʺоблачная операционная системаʺ. Например, платформа 216 может обобщать ресурсы для обеспечения связи между различными вычислительными устройствами. Платформа 216 также может служить для обобщения масштабирования ресурсов для обеспечения соответствующего уровня масштаба выявленным потребностям в веб-службах 218, реализованных посредством платформы 216. Также могут рассматриваться различные другие примеры, например, выравнивание нагрузки серверов на ферме серверов, защита от злонамеренных сторон (например, спама, вирусов и других вредоносных программ), и т.д.
[53] Таким образом, облако включено как часть стратегии, которая относится к программным и аппаратным ресурсам, поступающим в распоряжение вычислительных устройств через интернет или другие сети.
[54] В целом, любую из описанных здесь функций можно реализовать с использованием программного обеспечения, программно-аппаратного обеспечения, аппаратного обеспечения (например, фиксированной логической схемы), ручной обработки или комбинации этих реализаций. Используемые здесь термины ʺмодульʺ, ʺфункциональные возможностиʺ и ʺлогикаʺ, в целом, представляют программное обеспечение, программно-аппаратное обеспечение, аппаратное обеспечение или их комбинацию. В случае программной реализации, модуль, функциональные возможности или логика представляет программный код, который осуществляет указанные задачи при выполнении на процессоре или процессором (например, CPU или нескольких CPU). Программный код может храниться в одном или более компьютерно-считываемых запоминающих устройствах.
[55] Например, телефон также может включать в себя сущность (например, программную), которая предписывает аппаратным или виртуальным машинам, например, процессорам, функциональным блокам, и т.д. вычислительного устройства осуществлять операции Например, вычислительное устройство может включать в себя компьютерно-считываемую среду, которая может быть выполнена с возможностью поддерживать инструкции, которые предписывают вычислительному устройству и, в частности, операционной системе и соответствующему оборудованию вычислительного устройства осуществлять операции. Таким образом, инструкции функционируют для конфигурирования операционной системы и соответствующего оборудования для осуществления операций, что приводит к преобразованию операционной системы и соответствующего оборудования для осуществления функций. Инструкции могут обеспечиваться компьютерно-считываемой средой вычислительному устройству посредством разнообразных конфигураций.
[56] Одной такой конфигурацией компьютерно-считываемой среды является среда переноса сигнала, что позволяет ей передавать инструкции (например, в качестве несущей волны) на вычислительное устройство, например, через сеть. Компьютерно-считываемая среда также может быть сконфигурирована как машиночитаемый носитель данных и, таким образом, не является средой переноса сигнала. Примеры машиночитаемых носителей данных включают в себя оперативную память (RAM), постоянную память (ROM), оптический диск, флэш-память, жесткий диск и другие запоминающие устройства, которые могут использовать магнитные, оптические и другие технологии хранения инструкций и других данных.
[57] В нижеследующем рассмотрении, в разделе под названием "Выполнение задачи посредством мультимодального ввода" описано, как можно плавно выполнять задачи с использованием различных типов модального ввода в соответствии с одним или более вариантами осуществления. После этого, в разделе под названием "Адаптация чисто речевых вариантов восприятия" описано, как можно обеспечивать чисто речевые варианты восприятия в соответствии с одним или более вариантами осуществления. Затем, в разделе под названием "Адаптация пользовательского восприятия для поворотного переключателя и сенсорного экрана" описано, как пользовательское восприятие можно приспосабливать или иным образом адаптировать для различных типов модальных вводов. После этого, в разделе под названием "Адаптивный пользовательский интерфейс" описан адаптивный пользовательский интерфейс в соответствии с одним или более вариантами осуществления. Затем, в разделе под названием " Адаптивный пользовательский интерфейс с использованием множественных экранов" описано, как можно адаптировать пользовательские интерфейсы в соответствии с множественными экранами. После этого, в разделе под названием "Универсальная модель команд/управления" описана модель, которая использует универсальные команды и средства управления, в соответствии с одним или более вариантами осуществления. Наконец, в разделе под названием ʺИллюстративное устройствоʺ описаны аспекты иллюстративного устройства, которое можно использовать для реализации одного или более вариантов осуществления.
[58] Рассмотрев иллюстративное операционное окружение, рассмотрим понятие мультимодального ввода для выполнения задачи в соответствии с одним или более вариантами осуществления.
Выполнение задачи посредством мультимодального ввода
[59] Как упомянуто выше, по меньшей мере, в некоторых вариантах осуществления, пользователь может выполнять различные задачи с использованием нескольких разных модальностей с плавным непрерывными модальными переходами между модальностями. Модальности могут включать в себя речь, прикосновение, жесты, жесты NUI, взгляд и средства управления, например, поворотный переключатель. Плавные модальные переходы позволяют пользователю легко изменять свою модальность ввода в зависимости от своего контекста. Это позволяет пользователю естественным образом переходить между этими разными модальностями ввода в любой подходящей комбинации. Например, пользователь может плавно переходить между (1) речью и прикосновением, (2) речью и поворотным переключателем, (3) речью, прикосновением и поворотным переключателем или любой комбинацией этих и других модальностей.
[60] Следует признавать и понимать, что действия, ассоциированные с конкретной задачей, могут осуществляться с использованием разных модальностей в зависимости от контекста пользователя. Например, одна задача может предусматривать определенное действие. Это действие может осуществляться с использованием речевой модальности, например, "Воспроизводить следующую музыкальную дорожку". Альтернативно или дополнительно, это действие может осуществляться с использованием тактильного ввода, например тактильного выбора пользователем следующей музыкальной дорожки, отображаемой на устройстве отображения консоли. Альтернативно или дополнительно, это действие может осуществляться пользователем путем навигации к следующей музыкальной дорожке с помощью поворотного переключателя с последующим нажатием поворотного переключателя для выбора следующей музыкальной дорожки. В зависимости от контекста пользователя, пользователь может использовать любую модальность по своему выбору. Так, например, в условиях плотного движения пользователь делать свой выбор просто с использованием речевой модальности. С другой стороны, если пользователь стоит на запрещающем сигнале светофора или на парковке, он может выбрать использовать тактильный ввод или поворотный переключатель для совершения или осуществления того же действия.
Речь и прикосновение
[61] В порядке примера, рассмотрим фиг. 3, в котором аналогичные ссылочные позиции были использованы для изображения аналогичных компонентов. В этом примере, пользователь садится в машину и подключает свой телефон 104 к консоли 106 посредством соединения USB. После этого, появляется так называемый инструментарий 300 "режим вождения" в форме круга. Инструментарий режим вождения позволяет пользователю совершать тактильный выбор устройства отображения консоли для взаимодействия с функциональными возможностями режима вождения. На устройстве отображения консоли также появляется начальный экран, который включает в себя несколько объектов, которые, в этом примере, содержат плитки. Следует признавать и понимать, что на устройстве отображения консоли могут отображаться объекты любого подходящего типа. Таким образом, плитки составляют лишь один пример такого объекта.
[62] В этом примере, пользователь произносит "Позвонить Майку Джонсону". Этот аудиоввод принимается модулем 210 взаимодействия (фиг. 2) на телефоне 104. В результате, модуль взаимодействия взаимодействует с приложением "Контакты" на телефоне 104 для извлечения контактной информации Майка Джонсона. При этом модуль взаимодействия обнаруживает, что в контактах пользователя присутствуют две записи Майк Джонсон. Затем модуль 210 взаимодействия обращается к пользователю со словами "Здесь два Майка Джонсона - кому из них позвонить?" Совместно с этим аудиообращением, модуль 214 драйвера дисплея телефона 104 может предписывать отображение пользовательского интерфейса на устройстве отображения консоли, чтобы пользователь мог выбрать нужного вызываемого абонента. В порядке примера, рассмотрим фиг. 4, где показан пользовательский интерфейс, который включает в себя категорию "People" (люди) с несколькими тактильно выбираемыми вариантами выбора, включающими в себя "recent" (недавние), "inner circle" (ближайший круг), "friends" (друзья), "work" (работа) и "all" (все). Кроме того, в части 400 дисплея перечислены две выбираемые записи "Майк Джонсон". Соответственно, пользователь может тактильно выбирать правильного Майка Джонсона для инициирования восприятия вызова. Это может включать в себя последующее представление пользовательского интерфейса, позволяющего пользователю производить тактильный выбор, позвонить ли по номеру мобильного телефона, рабочего телефона или голосовой связи по IP (VoIP).
[63] Соответственно, в этом конкретном примере, пользователь использовал речевой ввод для предписания поиска в своем телефоне 104. Поиск контактов пользователя на телефоне привел к неопределенности. Затем телефон 104 предписал отображение пользовательского интерфейса на устройстве отображения консоли, чтобы пользователь мог устранять неопределенность посредством тактильного ввода. Таким образом, для выполнения задачи совместно использовались разные модальности ввода.
Речь и поворотный переключатель
[64] Функциональные возможности, аналогичные описанным выше, могут обеспечиваться совместно с поворотным переключателем вместо тактильного ввода. В порядке примера, рассмотрим фиг. 5, в котором аналогичные ссылочные позиции были использованы для изображения аналогичных компонентов.
[65] Аналогично вышеприведенному примеру, пользователь произносит "Позвонить Майку Джонсону". Этот аудиоввод принимается модулем 210 взаимодействия (фиг. 2) на телефоне 104. В результате, модуль взаимодействия взаимодействует с приложением "Контакты" на телефоне 104 для извлечения контактной информации Майка Джонсона. При этом модуль взаимодействия обнаруживает, что в контактах пользователя присутствуют две записи Майк Джонсон. Затем модуль 210 взаимодействия обращается к пользователю со словами "Здесь два Майка Джонсона - кому из них позвонить?" Совместно с этим аудиообращением, модуль 214 драйвера дисплея телефона 104 может предписывать отображение пользовательского интерфейса на устройстве отображения консоли, чтобы пользователь мог выбрать нужного вызываемого абонента, как показано на фиг. 5. В этом конкретном примере, сначала "Майк Джонсон", который появляется в списке, заключается в рамку с помощью инструментария пользовательского интерфейса - в данном случае, прямоугольную - указывающую, что его можно выбирать. Вращая поворотный переключатель, пользователь перевел инструментарий пользовательского интерфейса от первого в списке "Майк Джонсон" (указанного пунктирным прямоугольником) ко второму в списке "Майк Джонсон" (указанному сплошным прямоугольником). Теперь пользователь может просто выбрать второго в списке "Майк Джонсон" нажатием поворотного переключателя в направлении стрелки вниз. Это может инициировать вызов нужного вызываемого абонента. Альтернативно или дополнительно, может обеспечиваться последующее пользовательское восприятие, которое может включать в себя последующее представление пользовательского интерфейса, позволяющего пользователю производить тактильный выбор, позвонить ли по номеру мобильного телефона, рабочего телефона или голосовой связи по IP (VoIP).
[66] Соответственно, в этом конкретном примере, пользователь использовал речевой ввод для предписания поиска в своем телефоне 104. Поиск контактов пользователя на телефоне привел к неопределенности. Затем телефон 104 предписал отображение пользовательского интерфейса на устройстве отображения консоли, чтобы пользователь мог устранять неопределенность путем использования поворотного переключателя. Таким образом, для выполнения задачи совместно использовались разные модальности ввода.
Речь, прикосновение и поворотный переключатель
[67] По меньшей мере, в некоторых вариантах осуществления, пользователь может свободно переходить между модальностями ввода, которые включают в себя речь, прикосновение и поворотный переключатель. В порядке примера, рассмотрим фиг. 6, где пользователь тактильно выбрал пользовательский инструментарий 300 режима вождения для входа в режим вождения. После входа в режим вождения система вербально обращается к пользователю со словами "How may I help you?" (Чем могу помочь?), как показано на фиг. 7.
[68] Водитель отвечает: "Воспроизводить какую-нибудь музыку наподобие Coldplay". Модуль 210 взаимодействия принимает этот ввод и, совместно с приложением воспроизведения медиа на телефоне 104, идентифицирует несколько песен, возвращенных в соответствующем запросе. В порядке примера, рассмотрим фиг. 8.
[69] В данном случае обнаружено три разные песни, перечисленные как показано. Затем пользователь может использовать поворотный переключатель для перебора вариантов выбора и выбирать выделенную песню с использованием поворотного переключателя, как описано выше, или совершать тактильный выбор, касаясь экрана, как показано в иллюстрации. Теперь песня будет воспроизводиться на акустической системе автомобиля.
[70] Затем система собирает сведения о ДТП на маршруте пользователя. Система может делать это, осуществляя связь с облачной службой через облако 204 (фиг. 2). Собрав сведения о ДТП, система может вербально обращаться к пользователю, чтобы установить, желает ли пользователь изменить маршрут. В порядке примера, рассмотрим фиг. 9. В данном случае, система вербально обращается к пользователю и обеспечивает пользовательский инструментарий, который может выбирать пользователь. В этом конкретном случае, пользователь тактильно выбрал "Reroute" (смену маршрута), чтобы объехать место ДТП. Затем пользователь может принимать как звуковые указания, так и визуальные указания, которые обеспечиваются на карте, отображаемой на устройстве отображения консоли. Таким образом, действия, ассоциированные с одной конкретной задачей, могут прерываться, когда контекст пользователя указывает, что выполнимые действия, ассоциированные с другой задачей, доступны для осуществления.
[71] Теперь предположим, что пользователь желает сменить музыкальную дорожку, которую он слушает. Для этого можно просто выбрать прикосновением инструментарий 300 пользовательского интерфейса и, аналогично описанному на фиг. 7, выслушать вербальное обращение системы. Затем пользователь может обеспечить речевой ввод "Воспроизводить следующую дорожку", и система будет автоматически воспроизводить следующую дорожку.
[72] Соответственно, в этом конкретном примере, пользователь использовал три разные модальности ввода для взаимодействия с информационной/развлекательной системой своего автомобиля посредством своего телефона.
[73] На фиг. 10 показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Способ может осуществляться в любом подходящем аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении или их комбинации. В блок-схеме операций существует два столбца - один обозначенный "мобильное устройство" и другой обозначенный "автомобильная информационная/развлекательная система". Это указывает, что некоторые действия осуществляются мобильным устройством, и другие действия осуществляются увеселительной системой автомобиля.
[74] На этапе 1000 устанавливается соединение между мобильным устройством и автомобильной информационной/развлекательной системой. Можно использовать любое подходящее мобильное устройство, включающее в себя, в порядке примера, но не ограничения, мобильный телефон. Кроме того, между мобильным устройством и развлекательной системой может устанавливаться соединение любого подходящего типа. Кроме того, аспекты этого этапа может осуществляться как мобильным устройством, так и развлекательной системой. Например, устройство и система могут, посредством подходящего согласования, соединяться друг с другом в ходе работы. В вышеприведенном примере для установления связи между мобильным устройством и развлекательной системой использовалось соединение USB.
[75] На этапе 1002 принимается ввод, имеющий модальность первого типа. Ввод ассоциирован с конкретной задачей и тем, что пользователь желает осуществить. Конкретная задача может иметь несколько разных действий, подлежащих осуществлению для выполнения задачи. Может приниматься любой подходящий тип модальности, включающий в себя, в порядке примера, но не ограничения, речь, прикосновение, и/или ввод, принятый через средство управления, например поворотный переключатель. В проиллюстрированных выше примерах, ввод, который инициирует пользовательское восприятие, содержит речевой ввод. В ответ на прием ввода, имеющего модальность первого типа, на этапе 1004 осуществляется связь с развлекательной системой. Может осуществляться любой подходящий тип связи. Например, по меньшей мере, в некоторых вариантах осуществления, первый ввод может предписывать мобильному устройству и, в частности, одному или более модулям, выполняющимся на мобильном устройстве, координировать свои действия с одним или более приложениями, которые располагаются на мобильном устройстве. Приложения могут содержать приложение любого подходящего типа. Например, согласно вышеприведенному примеру, если пользователь желает осуществлять связь с конкретной стороной, модуль, выполняющийся на мобильном устройстве, может устанавливать, из приложения контактов устройства, информацию, ассоциированную с нужным вызываемым абонентом. Затем эта информация может передаваться увеселительной системе совместно с информацией и данными, позволяющими визуализировать пользовательский интерфейс, который затем позволяет пользователю устанавливать вызов.
[76] На этапе 1006 принимается передача от мобильного устройства. Передача может включать в себя информацию и данные, позволяющие визуализировать пользовательский интерфейс на визуальной консоли или устройстве отображения увеселительной системы. На этапе 1008 осуществляется одно или более действий, ассоциированных со связью и осуществление задачи. Могут осуществляться любые подходящие действия, включающие в себя, в порядке примера, но не ограничения, обработку данных и информации, обеспеченных мобильным устройством для визуализации пользовательского интерфейса, позволяющего пользователю взаимодействовать с развлекательной системой с использованием одного или более различных типов модальности.
[77] На этапе 1010 принимается ввод, имеющий модальность второго типа, который связан с осуществлением задачи. В проиллюстрированном и описанном примере, модальность второго типа отличается от модальности первого типа. Можно использовать любой подходящий тип модальности, примеры которых приведены выше. В ответ на прием ввода, имеющего модальность второго типа, на этапе 1012 осуществляется одно или более действий, ассоциированных с принятым вводом. Могут осуществляться любые подходящие действия. В проиллюстрированном и описанном примере, эти действия могут быть ассоциированы с задачей, инициированной действиями, осуществляемыми на этапе 1008. Альтернативно или дополнительно, действия, осуществляемые на этапе 1012, могут быть ассоциированы с задачей, которая отличается от задачи, ассоциированной с действиями, осуществляемыми на этапе 1008.
[78] На этапе 1016 принимается ввод, имеющий модальность третьего типа. В проиллюстрированном и описанном примере, модальность третьего типа отличается как от модальности первого типа, так и от модальности второго типа. Можно использовать любой подходящий тип модальности, примеры которых приведены выше. В ответ на прием ввода, имеющего модальность третьего типа, на этапе 1018 осуществляется одно или более действий, ассоциированных с принятым вводом. Могут осуществляться действия любых подходящих типов. В проиллюстрированном и описанном примере, эти действия могут быть ассоциированы с задачей, инициированной действиями, которые осуществлялись на этапе 1008, и действиями, которые осуществлялись на этапе 1012. Альтернативно или дополнительно, эти действия могут быть ассоциированы с задачей, которая отличается от задач, ассоциированных с действиями, осуществляемыми на этапах 1008 и/или 1012. Затем способ предусматривает продолжение приема вводов первого, второго и/или третьего типов модальности и осуществление дополнительных действий, ассоциированных с теми же или другими задачами.
[79] Таким образом, пользователь может выполнять единственную задачу или различные задачи с использованием нескольких разных модальностей с плавным непрерывными модальными переходами между модальностями. Модальности могут включать в себя речь, прикосновение и средства управления, например, поворотный переключатель. Плавные модальные переходы позволяют пользователю легко изменять свою модальность ввода в зависимости от своего контекста. Так, например, если пользователь инициирует задачу с использованием речевой модальности и обнаруживает, что находится в условиях напряженного движения, он может продолжать выполнять задачу с использованием речевой модальности, пока не станет меньше занят вождением, например, на запрещающем сигнале светофора или в условиях свободного движения. Это позволяет пользователю естественным образом переходить между этими разными модальностями ввода в любой подходящей комбинации. Например, пользователь может плавно переходить между (1) речью и прикосновением, (2) речью и поворотным переключателем, (3) речью, прикосновением и поворотным переключателем или любой их комбинацией.
[80] Рассмотрев, как задача может выполняться посредством мультимодального ввода, рассмотрим аспекты адаптации чисто речевых вариантов восприятия на основе контекста пользователя.
Адаптация чисто речевых вариантов восприятия
[81] В одном или более вариантах осуществления, чисто речевые варианты восприятия могут адаптироваться на основе контекста пользователя. Контекст пользователя может включать в себя, в порядке примера, но не ограничения, сценарий вождения пользователя, когнитивную нагрузку и пр. Таким образом, речевое восприятие можно динамически адаптировать для приспособления контекста пользователя таким образом, чтобы повысить безопасность вождения. Кроме того, посредством речевого взаимодействия пользователю может предлагаться использовать конкретный тип ответа. Таким образом, пользователь может на свое усмотрение выбирать тип ответа, наиболее подходящий для его текущего контекста.
[82] В порядке примера, рассмотрим фиг. 11, где показан пользователь, ведущий машину и участвующий в диалоге со своим модулем взаимодействия или персональным помощником. В этом примере пользователь садится в машину и соединяет свое мобильное устройство с развлекательной системой автомобиля. Соответственно, мобильное устройство знает, что пользователь ведет машину.
[83] В этом примере модуль взаимодействия представлен пиктограммой в виде концентрических окружностей, и пользователь представлен пиктограммой пользователя. Заведя машину, пользователь вступает в общение с модулем взаимодействия, который, в свою очередь отвечает: "Чем могу помочь?" Пользователь отвечает: "Какие планы на день?" В ответ на этот вопрос, модуль взаимодействия устанавливает, из приложения календаря пользователя, наметил ли пользователь какие-либо встречи, и отвечает: "У Вас встреча в 10 часов с банкиром. Что-нибудь еще?" Затем пользователь отвечает: "Спасибо, нет".
[84] Некоторое время спустя, пользователь принимает текстовое сообщение, и модуль взаимодействия извещает об этом пользователя, говоря: "Вам написал брат. Прочитать текст?" Спрашивая пользователя, хочет ли он прослушать текстовое сообщение, и поскольку мобильное устройство знает, что пользователь ведет машину, модуль взаимодействия обеспечивает возможность более безопасной модальности, чем отображение сообщения на экране мобильного устройства или устройства отображения консоли. Пользователь отвечает "Нет".
[85] Некоторое время спустя пользователь принимает вызов, и модуль взаимодействия извещает об этом пользователя, говоря "Входящий вызов от Вашей жены. Ответить?" Пользователь отвечает "Да" и коротко говорит с женой. В ходе разговора, пользователь узнает, что его брат пытался связаться с ним. Затем пользователь вступает в общение с модулем взаимодействия, который отвечает "Чем могу помочь?" Пользователь говорит модулю взаимодействия: "Прочесть последнее сообщение от брата". Модуль взаимодействия отвечает '"Привет, братан! Давай вместе поужинаем." Ответить, перезвонить, или ничего не делать?' В этом конкретном случае модуль взаимодействия обращается к пользователю с вопросом, желает ли пользователь использовать конкретный тип ответа, т.е. текстовый ответ или телефонный вызов. Соответственно, модуль взаимодействия дает пользователю возможность выбора наиболее удобной среды передачи данных, исходя из конкретного контекста вождения. В ответ на это обращение, пользователь произносит "ответить". Затем модуль взаимодействия спрашивает пользователя: "Каков Ваш ответ?", на что пользователь отвечает: "Конечно. В восемь. Я забронирую столик и дам тебе знать".
[86] Подтвердив содержание ответа, модуль взаимодействия спрашивает: " Отправить в таком виде, дописать или переписать заново?" Пользователь отвечает "Отправить в таком виде", после чего модуль взаимодействия подтверждает "Ваше сообщение отправлено".
[87] Некоторое время спустя в ходе вождения, пользователь вступает в общение с модулем взаимодействия, и модуль взаимодействия отвечает: "Чем могу помочь?" Пользователь отвечает: "Напомни мне забронировать столик на ужин, когда я приеду на работу". Модуль взаимодействия отвечает "Хорошо. Напомнить Вам забронировать столик на ужин, когда Вы приедете на работу. Правильно?" Пользователь отвечает: "Да", на что модуль взаимодействия отвечает: " Отлично. Напоминание добавлено".
[88] В порядке другого примера, рассмотрим фиг. 12, где показан пользователь, ведущий машину и участвующий в диалоге со своим модулем взаимодействия или персональным помощником. В этом конкретном примере, пользователь активирует свой персональный помощник или модуль взаимодействия. Модуль взаимодействия отвечает: "Чем могу помочь?" Пользователь отвечает: "Воспроизводить какую-нибудь музыку наподобие Coldplay". Модуль взаимодействия отвечает: "Хорошо. Воспроизводить Вашу музыку Coldplay на Xbox music".
[89] Некоторое время спустя модуль взаимодействия прерывает воспроизведение и сообщает пользователю: "На маршруте Вашего движения ДТП привело к большой пробке. Не хотите ли объехать по SR-123, чтобы сэкономить 15 минут?" Пользователь отвечает "Да". Затем модуль взаимодействия отвечает: "Отлично. Прокладываю новый маршрут. Воспользуйтесь съездом, обозначенным 162B, в одной миле от Вас".
[90] Некоторое время спустя модуль взаимодействия вновь активируется и отвечает: "Чем могу помочь?" Пользователь спрашивает: "Когда следующий поворот?" Модуль взаимодействия отвечает: " Через две мили поверните направо на Мерсер Стрит". Некоторое время спустя модуль взаимодействия вновь активируется и отвечает: "Чем могу помочь?" Пользователь говорит: "следующая дорожка", чтобы перейти к следующей песне. Модуль взаимодействия отвечает: "Да. Следующая дорожка".
[91] В вышеописанном примере модуль взаимодействия предоставляет пользователю проактивную помощь. В частности, извещая пользователя о ДТП на маршруте движения, модуль взаимодействия позволяет пользователю заранее принимать решение в отношении маршрута своего движения. Кроме того, модуль взаимодействия заранее определяет объезд, рекомендуемый пользователю. Этот пример также демонстрирует контекстную осведомленность мобильного устройства о ситуации вождения пользователя. Таким образом, будучи контекстуально осведомленным, модуль взаимодействия способен обеспечивать разумные предложения и позволяет улучшить восприятие пользователя. Кроме того, этот пример демонстрирует способность системы поддерживать понимание контекста восприятия пользователя, чтобы можно было точно действовать на последующем вводе в отношении восприятия пользователя. Например, пользователь инициирует восприятие путем воспроизведения музыки, которое затем прерывается системой для извещения о ДТП. В ходе пользовательского восприятия, ассоциированного с приемом информации смены маршрута, пользователь вступает в диалог с системой для перехода к следующей дорожке. Соответственно, система поддерживает понимание контекста восприятия пользователя и способна возобновлять музыкальное восприятие пользователя с того места, где оно было остановлено. Таким образом, система позволяет прерывать выполнение первой задачи, ассоциированной с первым приложением (например, воспроизведение музыки с использованием приложения медиапроигрывателя) в пользу второй другой задачи, ассоциированной со вторым другим приложением (например, перенаправленным приложением карты). Пользователь может взаимодействовать с приложением с использованием нескольких разных модальностей и может плавно переходить между текущей задачей и последующей задачей и обратно.
[92] В порядке другого примера контекстной осведомленности рассмотрим следующее. Предположим, что пользователь движется по магистрали в час пик. Таким образом, движение плотное. Зная, что пользователь движется по конкретной магистрали в конкретное время, модуль взаимодействия может принимать решения в отношении того, как представлять пользовательское восприятие. Так, например, если пользователь принимает текстовое сообщение, модуль взаимодействия может откладывать извещение пользователя на более позднее время, когда пользователь выберется из плотного движения. То же самое справедливо в отношении извещений или обращений любого типа. Этот пример также демонстрирует, как восприятие персонального помощника может адаптироваться к мобильным и немобильным сценариям. В частности, в немобильных сценариях извещения могут обеспечиваться сразу после наступления события, например, приема текстового сообщения. Однако в мобильных сценариях такие извещения нужно модифицировать в отношении хронирования.
[93] В порядке другого примера контекстной осведомленности рассмотрим следующее. Предположим, что пользователь ведет машину в пригородах Сиэтла вблизи Pike's Place Market и ищет автостоянку. Система знает, из календаря пользователя, что пользователь назначил встречу поблизости. Пользователь также сообщает системе, что он пытается найти автостоянку. Система советует: "Возможно, лучше запарковаться сейчас, поскольку, если Вы запаркуетесь, Вам не придется искать более удобную парковку, и нужно будет пройти пешком лишь пять минут вместо того, чтобы 15 минут стоять в пробке, пытаясь найти другое место".
[94] В порядке другого примера, предположим, что пользователь обнаруживает, что в баке мало бензина, находясь в потоке машин. Пользователь может быть подписан на услугу станционного обслуживания "Shell". Зная текущее местоположение и что в баке осталось мало бензина, а также о подписке на станционное обслуживание "Shell", модуль взаимодействия может посоветовать "Вам нужно как можно скорее заправиться. Станция Shell на следующем съезде". Таким образом, модуль взаимодействия способен работать совместно с другими приложениями, выполняющимися на мобильном телефоне пользователя и/или приложениями, выполняющимися удаленно, например, в "облаке", и делать соответствующие контексту предложения на основе информации, полученной от этих других приложений.
[95] В порядке другого примера, система может заметить, что пользователю нравится альтернативная музыка. Когда пользователь ведет машину по Южной Калифорнии, система может сообщать пользователю: "Эй, тебе нравится слушать альтернативную музыку и ездить по Южной Калифорнии? Здесь есть некоторые великолепные местные группы, о которых тебе будет интересно узнать. Желаешь послушать про них?"
[96] На фиг. 13 показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Способ может осуществляться в любом подходящем аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении или их комбинации. В проиллюстрированном и описанном варианте осуществления, способ осуществляется надлежащим образом сконфигурированным мобильным устройством, например, мобильным телефоном.
[97] На этапе 1300 устанавливается, что мобильный телефон движется в автомобиле. Этап может осуществляться любым подходящим образом. Например, по меньшей мере, в некоторых вариантах осуществления этап может осуществляться, когда между мобильным телефоном и развлекательной системой автомобиля установлено оперативное соединение. В ответ на установление того, что мобильный телефон движется в автомобиле, на этапе 1302 модифицируется восприятие персонального помощника, ассоциированное с мобильным телефоном. Это может осуществляться любым подходящим образом. Например, этот этап может осуществляться с использованием речевой модальности для извещений, а не других модальностей, например, экрана дисплея телефона. Например, в немобильных сценариях извещения могут обеспечиваться просто отображением извещения на экране дисплея телефона или, возможно, с использованием бейджа или пиктограммы. Однако в мобильных сценариях речевые извещения можно использовать вместо или помимо визуальных извещений, чтобы способствовать безопасности вождения. Таким образом, пользователю не нужно смотреть на экран телефона, чтобы принимать извещение. Этот этап также может осуществляться за счет предложения типов ответов, которые делают их более безопасными для сценария вождения. Например, в ответ на прием текстового сообщения и извещение пользователя, персональный помощник может предложить типы ответов, которые не требуют, чтобы пользователь отвлекался от дороги, например, текстовый ответ, телефонный вызов, вызов голосовой связи по IP и пр. Далее, этап может осуществляться путем регулировки хронирования извещений. В частности, согласно вышеприведенному примеру, если пользователь едет в час пик, извещение может откладываться до тех пор, пока пользователь не выберется из плотного движения.
[98] На фиг. 14 показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Способ может осуществляться в любом подходящем аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении или их комбинации. В проиллюстрированном и описанном варианте осуществления, способ осуществляется надлежащим образом сконфигурированным мобильным устройством, например, мобильным телефоном.
[99] На этапе 1400 устанавливается, что мобильный телефон движется в автомобиле. Примеры того, как это может осуществляться, приведены выше. На этапе 1402 устанавливается текущий контекст вождения. Этот этап может осуществляться любым подходящим образом. Например, по меньшей мере, в некоторых вариантах осуществления мобильный телефон может устанавливать текущий контекст вождения (например, текущее местоположение, условия движения, погодные условия, конструкцию дороги и пр.) на основе связи с удаленным источником, например веб-службой. В ответ на установление текущего контекста вождения, на этапе 1404 обеспечивается проактивное извещение, ассоциированное с текущим контекстом вождения. Так, например, на основе текущего местоположения и условий движения, персональный помощник телефонного устройства может рекомендовать альтернативные маршруты. Альтернативно или дополнительно, на основе текущих погодных условий, персональный помощник может выдавать предупреждения, ассоциированные с погодой, например, "В Вашем текущем местоположении объявлена угроза торнадо. Найдите безопасное место, например эстакаду, чтобы съехать с дороги".
[100] Рассмотрев различные варианты осуществления, связанные с адаптацией чисто речевого восприятия, рассмотрим возможности адаптации пользовательского интерфейса для поворотного переключателя и сенсорного экрана.
Адаптация пользовательского интерфейса для поворотного переключателя и сенсорного экрана
[101] Одно из соображений, принимаемых во внимание при проектировании механизмов ввода для поворотного переключателя и сенсорного экрана, состоит в том, что, ввиду его тактильной природы, поворотный переключатель обычно труднее проектировать. В то же время, если, помимо ввода через поворотный переключатель, подлежит рассмотрению тактильный ввод, цель ввода должна быть сконструирована для применения обоих. Таким образом, она должна быть сконструирована для облегчения прикосновения для тактильного ввода, а также облегчения навигации для ввода через поворотный переключатель. В проиллюстрированном и описанном варианте осуществления, цели включают в себя объекты, которые могут быть снабжены сквозной системой обозначений для ввода через поворотный переключатель, и размерами для приспособления к тактильному вводу. Можно использовать объекты любого подходящего типа, примеры которых включают в себя плитки или пиктограммы.
[102] В порядке примера, рассмотрим фиг. 15, где показана консоль 106 из фиг. 3, причем аналогичные ссылочные позиции используются для изображения аналогичных компонентов. Показано, что консоль 106 отображает отдельные плитки. Плитки имеют такие размеры, чтобы пользователь мог легко выбирать их прикосновением. В то же время, поворотный переключатель 112 позволяет облегчать навигацию по плиткам благодаря сквозному режиму обозначений. В частности, навигация может начинаться с верхней левой плитки, и вращение поворотного переключателя в направлении по часовой стрелке позволяет переходить к следующей вправо плитке. Это может продолжаться, пока не будет достигнут конец первой строки (т.е. самая правая вкладка в первой строке), после чего дальнейшее вращение поворотного переключателя в направлении по часовой стрелке приведет к переходу к самой левой плитке во второй строке и т.д. Использование единственного линейного направления навигации с помощью поворотного переключателя облегчает пользователю управление навигацией предсказуемым образом. Дело в том, что перебор целей навигации происходит последовательно, упорядоченно и предсказуемо. В этом конкретном примере, навигация по объектам происходит слева направо и сверху вниз.
[103] Кроме того, как описано выше в разделе "Мультимодальный ввод адресации", ввод для выполнения конкретной задачи может предсказуемо и плавно переключаться между поворотным переключателем и прикосновением. Например, предположим, что пользователь тактильно выбрал карту для облегчения своей навигации. Он желает увеличить масштаб карты для получения более детальной визуализации своего текущего местоположения. Хотя инструментарий пользовательского интерфейса на карте позволяет пользователю выполнять множественные тактильные вводы для изменения масштаба карты, в порядке альтернативы можно использовать поворотный переключатель. Это избавляет пользователя от необходимости отвлекаться от дороги каждый раз, когда требуется изменить масштаб тактильными средствами. В частности, выбрав карту, пользователь может просто повернуть поворотный переключатель по часовой стрелке для увеличения масштаба или против часовой стрелки для уменьшения масштаба. Таким образом, пользователю не нужно отводить взгляд от дороги, чтобы изменить масштаб карты.
[104] По меньшей мере, в некоторых вариантах осуществления, когда масштабируемый контент, например, карта или другой интерактивный объект представлен на дисплее консоли, ввод масштабирования может быть зафиксирован на поворотном переключателе чтобы гарантировать, что в случае, когда пользователь пожелает выполнить операцию масштабирования, он будет делать это с использованием наиболее безопасной модальности, т.е. той, которая не требует отводить взгляд от дороги. Таким образом, фиксацию одной из модальностей ввода можно отменять в пользу другой, на основе контекста взаимодействия пользователя с отображаемым контентом, например, объектами, отображаемыми на консоли.
[105] Альтернативно или дополнительно, пользователь может выбрать масштабируемый контент с использованием поворотного переключателя, нажимая на поворотный переключатель в присутствие отображаемого контента. Когда масштабируемый контент отображается, его масштаб можно изменять с использованием тактильного ввода, например, щипкового жеста двумя пальцами.
[106] В других вариантах осуществления, когда масштабируемый контент отображается, поворотный переключатель можно использовать для переключения между отображаемыми средствами управления для выбора модальности масштабирования, нажимать на него, и затем, возможно, отображать средство управления типа ползунок, который можно регулировать посредством прикосновения или поворотного переключателя.
[107] Способы в соответствии с вышеописанными вариантами осуществления, могут осуществляться аналогично описанному в связи с фиг. 10. Таким образом, ввод может приниматься посредством модальностей, отличных от поворотного переключателя, для инициирования задачи или осуществления действий в задаче. Затем пользователь может, при необходимости, переходить к поворотному переключателю для обеспечения ввода. Например, в ряде случаев, ввод можно фиксировать таким образом, что в некоторые конкретные моменты в ходе осуществления задачи, ввод может обеспечиваться только посредством поворотного переключателя. Альтернативно или дополнительно, поворотный переключатель можно использовать при осуществлении задачи для навигации между различными средствами управления, после чего можно использовать ввод посредством других модальностей ввода для осуществления дальнейших действий в задаче.
[108] На фиг. 15A показана блок-схема операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Способ может осуществляться в любом подходящем аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении или их комбинации. В проиллюстрированном и описанном варианте осуществления, способ осуществляется системой, которая включает в себя надлежащим образом сконфигурированное мобильное устройство, например, мобильный телефон, и автомобильную информационную/развлекательную систему.
[109] На этапе 1500 отображается массив объектов на консоли автомобильной информационной/увеселительной системы. Этап может осуществляться любым подходящим образом с использованием объектов любого подходящего типа. Например, дисплей консоли может возбуждаться контентом и приложениями, которые располагаются на мобильном телефоне. Отображаемые объекты могут содержать объектов любых подходящих типов, примеры которых включают в себя плитки, пиктограммы и пр. В примере, приведенном на фиг. 15, массив объектов содержит совокупность плиток, которые отображаются строками и столбцами. На этапе 1502 разрешается взаимодействие с массивом объектов посредством поворотного переключателя или тактильного ввода. Таким образом, пользователь получает возможность взаимодействовать с массивом объектов с использованием любой модальности. На этапе 1504 принимается ввод для осуществления задачи с помощью одного из поворотного переключателя или прикосновения. Можно осуществлять задачу любого подходящего типа. В вышеприведенных примерах, задачи могут включать в себя осуществление навигации по массиву объектов с целью, в конце концов, сделать выбор. На этапе 1506 осуществляется по меньшей мере, одно действие, ассоциированное с принятым вводом. С использованием примера навигации, такое действие может включать в себя визуальное осуществление навигации по объектам, позволяющей пользователю производить выбор. На этапе 1508 принимается ввод для выполнения задачи с помощью другого из поворотного переключателя или прикосновения. Таким образом, пользователь может плавно переходить между модальностями для осуществления одной и той же задачи. Например, если первый ввод был принят посредством поворотного переключателя, навигация будет осуществляться для перехода между отдельными объектами массива. Достигнув интересующего объекта, пользователь может прикоснуться к объекту, чтобы выбрать его. На этапе 1510 осуществляется, по меньшей мере, одно дополнительное действие, ассоциированного с другим принятым вводом. Это может включать в себя, например, запуск контента, ассоциированного с выбранным объектом.
[110] В прочих вариантах осуществления, пользовательский интерфейс, отображаемый на консоли, может адаптироваться для облегчения навигации и потребления контента с использованием поворотного переключателя и сенсорного экрана.
[111] Одну такую адаптацию можно использовать совместно со списками, которые могут иметь большую длину. В порядке примера, рассмотрим фиг. 16, где показана часть списка контактов пользователя. Список контактов имеет много записей, и если пользователь желает вызвать конкретный контакт, находясь за рулем, он сталкивается с проблемой осуществления навигации по большому количеству записей списка контактов для нахождения конкретного интересующего его контакта. В этом примере, предположим, что поворотный переключатель недоступен для использования. В этом случае, список организован так, что включает в себя интерактивный объект, который позволяет пользователю осуществлять алфавитный поиск.
[112] В этом конкретном примере, алфавитным поиском можно пользоваться, выбирая конкретную букву, как показано на фигуре. В данном случае пользователь тактильно выбрал букву "a".
[113] В ответ на тактильный выбор конкретной буквы при отображающихся контактах, обеспечивается сетка из выбираемых букв, позволяющая пользователю переходить к конкретной букве. В порядке примера, рассмотрим фиг. 17, где, ввиду пространственных ограничений, сетка букв показана отдельно от консоли. В этом примере, пользователь тактильно выбрал букву "m". В ответ на тактильный выбор буквы "m", происходит навигация к контактам, начинающихся с буквы "m", например, показанных на фиг. 18. В данном случае пользователь может выбирать конкретный контакт, например, "Mandrake Short", чтобы связаться с ним. После выбора контакта, пользователю может быть представлено несколько вариантов осуществления связи, например, показанных на фиг. 19.
[114] На фиг. 19A показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Способ может осуществляться в любом подходящем аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении или их комбинации. В проиллюстрированном и описанном варианте осуществления, способ осуществляется надлежащим образом сконфигурированным мобильным устройством, например, мобильным телефоном и автомобильной развлекательной/информационной системой.
[115] На этапе 1900 отображается часть обходимого списка. Обходимый список может включать в себя контент из мобильного телефона. В частности, в этом конкретном примере, мобильный телефон подключается в ходе работы к автомобильной развлекательной/информационной системе, как описано выше. Таким образом, контент мобильного телефона может отображаться на консоли автомобиля. Может обеспечиваться обходимый список любого подходящего типа, примером которого является вышеописанный список контактов пользователя.
[116] На этапе 1902 принимается выбор объекта списка. Предметом принятого выбора может быть объект списка любого подходящего типа. Например, в вышеприведенном примере списка контактов, был принят выбор в отношении конкретной отображаемой буквы. По меньшей мере, в некоторых вариантах осуществления, обходимый список может включать в себя объекты списка, которые обеспечивают навигацию в другие места в списке, и объекты списка, которые включают в себя контент списка. В примере списка контактов, объекты списка, которые обеспечивают навигацию в другие места, включают в себя отображаемые буквы, тогда как объекты, которые включают в себя контент списка, включают в себя отдельные контакты пользователя. В ответ на прием выбора объекта списка, на этапе 1904 осуществляется или разрешается навигация к другой части обходимого списка. Этот этап может осуществляться любым подходящим образом. Например, по меньшей мере, в некоторых вариантах осуществления, этап может осуществляться отображением массива или сетки объектов, которые обеспечивают навигацию к разным частям обходимого списка. В вышеприведенном иллюстративном контексте, массив или сетка объектов, которые обеспечивают навигацию в двух разных частях списка, включает в себя отдельные буквы, которые можно выбирать. В ответ на прием выбора одного из отображаемых объектов массива или сетки, на этапе 1904 осуществляется навигация к части списка, соответствующей выбранной букве. На этапе 1906 принимается выбор объекта списка. Этот этап может осуществляться путем приема выбора объекта списка, который включает в себя контент списка. Например, в примере списка контактов, этот этап может осуществляться путем приема выбора отдельного контакта, который появляется в списке. В ответ на прием выбора объекта списка, на этапе 1908 осуществляются функции, ассоциированные со списком. Могут осуществляться функции любого подходящего типа. В вышеприведенном примере списка контактов, такие функции могут включать в себя представление нескольких разных вариантов осуществления связи, которые пользователь может выбирать для осуществления связи с выбранным контактом.
[117] Теперь предположим, что поворотный переключатель доступен, и плитки с буквами, используемые для алфавитного поиска, как в предыдущем примере, отключаются для обеспечения более плавного восприятия. В этом случае, интерактивный объект алфавитного поиска выглядит, как одна крупная буква, заменяющая список, когда пользователь быстро вращает поворотный переключатель.
[118] В порядке примера, рассмотрим фиг. 20. Здесь отображается крупная буква "e". Быстро вращая поворотный переключатель, можно быстро осуществлять навигацию по буквам, пока не появится нужная буква, например, буква "h", как показано на фиг. 21. Теперь, нажимая поворотный переключатель, пользователь возвращается к месту в списке, соответствующему выбранной букве, например, показанному на фиг. 22.
[119] Аналогичным образом, достигнув нужной буквы в списке, пользователь может быстро осуществлять навигацию по записям в списке практически так же, как при осуществлении навигации к отдельным буквам. Таким образом, когда пользователь быстро вращает поворотный переключатель, предполагается, что пользователь желает пропустить много записей в списке и, таким образом, пользователь получает возможность скачкообразно перемещаться по списку и обходить много записей. Альтернативно, медленно вращая поворотный переключатель, пользователь может последовательно перебирать все отображаемые имена. Таким образом, в этом примере, поворотный переключатель может начинать с выбора первого имени в списке, и, медленно вращая поворотный переключатель, пользователь может последовательно перебирать все отображаемые имена. Теперь предположим, что пользователь быстро вращает поворотный переключатель. Это позволяет быстро обходить список и пропускать множественные записи списка, достигая записи, расположенной на несколько записей ниже в списке.
[120] На фиг. 22A показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Способ может осуществляться в любом подходящем аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении или их комбинации. В проиллюстрированном и описанном варианте осуществления, способ осуществляется надлежащим образом сконфигурированным мобильным устройством, например, мобильным телефоном и автомобильной развлекательной/информационной системой.
[121] На этапе 2200 отображается, на автомобильной консоли, одна или более букв. Этот этап может осуществляться любым подходящим образом. Например, по меньшей мере, в некоторых вариантах осуществления, может отображаться одна буква. Альтернативно или дополнительно, по меньшей мере, в некоторых вариантах осуществления, могут отображаться множественные буквы, например, последовательность из трех или четырех букв. Этап 2202 принимает пользовательский ввод через поворотный переключатель. Этот ввод может приниматься в результате вращения пользователем поворотного переключателя в конкретном направлении, например, по часовой стрелке или против часовой стрелки. На этапе 2204 осуществляется перебор букв как функция скорости вращения поворотного переключателя. В проиллюстрированном и описанном примере, перебор букв может включать в себя кратковременное последовательное отображение отдельных букв до появления нужной буквы. На этапе 2206 принимает выбор буквы через поворотный переключатель. Этот этап может осуществляться, например, путем приема пользовательского ввода, состоящего в нажатии поворотного переключателя или иной манипуляции с поворотным переключателем для указания желания выбрать букву. В ответ на прием выбора буквы, на этапе 2208 отображается часть списка, начинающаяся с записей, соответствующих выбранной букве. Например, в примере, приведенном на фиг. 22, могут отображаться записи, начинающиеся с выбранной буквы "H". После этого, поворотный переключатель можно использовать для навигации по части списка, вперед и назад, для достижения нужной записи. После выбора нужной записи, функциональные возможности, включающие в себя функциональные возможности связи-пять, могут представляться пользователю, чтобы он мог осуществлять связь с выбранной записью.
Адаптивный пользовательский интерфейс
[122] Ввиду самой природы различий между мобильным устройством и устройством отображения консоли, восприятие пользовательского интерфейса в отношении их может различаться. Тому может быть несколько причин, не последней из которых является безопасность. Аналогично, если пользователь пользуется своим мобильным устройством вне контекста автомобиля, можно предположить, что внимание пользователя приковано к его восприятию пользовательского интерфейса с мобильным устройством. С другой стороны, когда пользователь сидит в машине, используя свое мобильное устройство для взаимодействия с консолью автомобиля, внимание пользователя менее приковано к восприятию пользовательского интерфейса с консолью.
[123] С учетом этого, различные варианты осуществления адаптируются к восприятию пользовательского интерфейса мобильного устройства для представления контента от мобильного устройства на устройстве отображения консоли таком образом, чтобы пользователь мог отчетливо видеть контент и повышать безопасность.
[124] В порядке примера, рассмотрим фиг. 23, где показано сравнение путем расположения рядом восприятия пользовательского интерфейса мобильного устройства с восприятием пользовательского интерфейса устройства отображения консоли.
[125] Рассмотрим сначала средство управления Pivot на мобильном устройстве, обозначенный, в целом, позицией 2300. Здесь средство управления Pivot организовано в форме горизонтально прокручиваемого списка элементов Pivot, например, ʺplaylistsʺ (списки воспроизведения), ʺgenresʺ (жанры) и пр. Когда пользователь пользуется своим мобильным устройством вне контекста автомобиля, он может просто прокручивать различные элементы Pivot для их отображения на дисплее.
[126] Рассмотрим адаптацию средства управления Pivot для использования совместно с консолью автомобиля, обозначенной, в целом, позицией 2302. Когда контент мобильного устройства проецируется на устройство отображения консоли, средство управления Pivot может адаптироваться для представления контента в режиме, более подходящем для окружения, в котором пользователь может не полностью посвящать свое внимание восприятию пользовательского интерфейса. В частности, первая из адаптаций состоит в том, что средство управления Pivot представлено как вертикальный список вкладок, которые выкладываются со всеми видами, видимый с одного взгляда. В этом состоит отличие от средство управления Pivot на мобильном устройстве, поскольку в этом конкретном случае, пользователю не нужно обеспечивать ввод посредством любой модальности ввода, чтобы видеть все элементы Pivot. Элементы Pivot также представляются увеличенным размером текста, чем используется на мобильном устройстве. Это повышает потребление пользователем с первого взгляда. Кроме того, представлены более крупные цели прикосновения, которые, например, обозначены поздней 2304.
[127] Рассмотрим средство управления списком на мобильном устройстве, обозначенный, в целом, позицией 2306. В этом случае, средство управления списком отображает достаточное количество элементов списка для заполнения дисплея мобильного устройства. В этом конкретном случае, в зависимости от размера текста, это может включать в себя отображение восьми, девяти, 10 или более элементов. Когда пользователь пользуется своим мобильным устройством вне контекста автомобиля, в действительности нет никакой связи безопасности пользователя с количеством отображаемых элементов списка. Дело в том, что предполагается, что пользователь посвящает все свое внимание восприятию пользовательского интерфейса на своем мобильном устройстве. Кроме того, на мобильном устройстве, средство управления списком прокручивается, а именно, прокручивается в вертикальном направлении, для осуществления доступа к неотображаемым элементам, которые расположенные ниже по списку. С другой стороны, когда контент мобильного устройства проецируется на устройство отображения консоли, производятся адаптации средства управления списком.
[128] Например, рассмотрим средство управления списком 2308. Различные варианты осуществления отображают заранее заданное количество элементов списка, которое меньше количества элементов списка, которое отображаются на мобильном устройстве. Так, например, если мобильное устройство отображает 10 элементов, устройство отображения консоли может отображать только шесть элементов для повышения способности бросать взгляд и облегчения потребления. Кроме того, по меньшей мере, в некоторых вариантах осуществления, средство управления списком, отображаемое на консоли, не прокручивается непрерывно, но, вместо этого, использует страничную модель, чтобы пользователь мог пролистывать сразу несколько элементов списка. Кроме того, другие адаптации могут включать в себя использование больших размеров текста и больших размеров целей для элементов, входящих в список консоли. Также обеспечивается видимый фокус для ввода через поворотный переключатель. В порядке примера, элемент "список воспроизведения" может выделяться таким образом, чтобы пользователю было легко визуально устанавливать местоположение в средстве управления Pivot, и может обеспечивать ввод через поворотный переключатель для перемещения вверх и вниз по элементам в средстве управления Pivot.
[129] Можно производить другие адаптации в отношении других вариантов восприятия пользовательского интерфейса. В порядке примера, рассмотрим фиг. 24, где показаны средство 2400 управления медиаэлементами на мобильном устройстве и средство 2402 управления медиаэлементами на устройстве отображения консоли. Тогда как на мобильном устройстве, средство управления медиаэлементами позволяет пользователю воспроизводить аудио- и видеоконтента. Средство управления медиаэлементами на консоли может быть выполнено с возможностью обеспечивать воспроизведение только аудио, но не видеоконтент. Кроме того, обеспечиваются более крупные цели прикосновения, например, кнопки воспроизведения и паузы и видимый фокус для ввода через поворотный переключатель. Опять же, такие адаптации упрощают потребление и повышают безопасность.
[130] Можно производить другие адаптации в отношении других вариантов восприятия пользовательского интерфейса. Например, на мобильном устройстве, на телефоне может обеспечиваться средство управления Panorama, чтобы пользователь мог панорамировать контент или элементы. По меньшей мере, в некоторых вариантах осуществления, всякий раз, когда восприятие пользовательского интерфейса на мобильном устройстве разрешает средство управления Panorama, средство управления Panorama запрещается на консоли и, альтернативно, заменяется средством управления Pivot. Одна причина замены средства управления Panorama средством управления Pivot состоит в том, что средства управления Panorama в основном опираются на использовании маховых жестов и анимации. Благодаря замене средства управления Panorama средством управления Pivot, пользователь может уделять меньше внимания контенту, который появляется в средстве управления Pivot, для осуществления выбора или навигации.
[131] Другие адаптации можно производить в отношении так называемых средств сеточного управления. В частности, некоторые приложения на мобильных устройствах используют сетку для представления контента. Пример сетки показан на фиг. 3. Средства сеточного управления демонстрируют хорошую работу в контексте мобильных устройств, когда пользователь может обращать внимание на восприятие навигации. Варианты восприятия навигации по средству сеточного управления выглядят достаточно свободными, непредсказуемыми и динамичными. Например, обычно пользователь может, посредством различных типов маховых жестов, перемещаться по сетке, казалось бы, непредсказуемым образом для осуществления доступа к контенту сетки. В контексте консоли автомобиля, пользовательское восприятие средства сеточного управления мобильного устройства можно заменить восприятием списочного типа, например, показанным на фиг. 23. Восприятие списка, в контексте устройства отображения консоли, может способствовать более предсказуемому и стойкому восприятию обхода, в частности, в отношении ввода через поворотный переключатель.
[132] На фиг. 25 показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Этапы можно реализовать совместно с любым подходящим аппаратным обеспечением, программным обеспечением, программно-аппаратным обеспечением или их комбинацией. По меньшей мере, в некоторых вариантах осуществления, способ можно реализовать посредством надлежащим образом сконфигурированной системы, например, мобильного устройства и автомобильной информационной/развлекательной системы.
[133] На этапе 2500 мобильное устройство соединяется с автомобильной информационной/развлекательной системой. На этапе 2502 восприятие пользовательского интерфейса, ассоциированное с мобильным устройством, адаптируется к восприятию пользовательского интерфейса, ассоциированному с автомобильной информационной/развлекательной системой. Адаптации могут осуществляться любым подходящим образом. Например, средство управления Pivot на мобильном устройстве может адаптироваться от использования прокручиваемого средство элементов Pivot к использованию визуализации списочного типа, в которой все виды наблюдаются одновременно. Альтернативно или дополнительно, средства управления списком на мобильном устройстве могут адаптироваться от использования прокручиваемого списка к использованию страничной модели, чтобы пользователь мог пролистывать сразу несколько элементов. Дополнительные адаптации могут включать в себя, в порядке примера, но не ограничения, ограничение средств управления медиаэлементами от разрешения воспроизведения аудио и видео на мобильном устройстве до разрешения воспроизведения только аудио на консоли автомобильной информационной/увеселительной системы. Альтернативно или дополнительно, можно производить различные адаптации средства сеточного управления для адаптации восприятия навигации по средству сеточного управления от достаточно свободного и непредсказуемого восприятия на мобильном устройстве к более линейному, последовательному и предсказуемому восприятию навигации, как упомянуто выше.
Адаптивный пользовательский интерфейс с использованием множественных экранов
[134] В одном или более вариантах осуществления, мобильное устройство способно визуализировать несколько различных типов экрана, которые могут входить в состав оборудования автомобиля. Например, различные типы экрана могут включать в себя, в порядке примера, но не ограничения, типы экрана, ассоциированные с консолью, например, описанные выше, так называемый кластер, который может включать в себя один или более подэкранов, дисплей на лобовом стекле (HUD), в котором контент визуализируется на лобовом стекле автомобиля и пр. В порядке примера, рассмотрим фиг. 26.
[135] Здесь система в соответствии с одним или более вариантами осуществления обозначена, в целом, ссылочной позицией 2600. Система 2600 включает в себя мобильное устройство 2602, которое включает в себя, помимо других компонентов, одно или более приложений 2604, обработчик 2606 правил, модуль 2608 драйвера дисплея и различные типы экрана, включающие в себя, в порядке примера, но не ограничения, консоль 2610, кластер 2612 (обычно на приборной панели, включающий в себя спидометр и другие приборы), подэкран 2614 в кластере 2612 и дисплей 2616 на лобовом стекле.
[136] В этом примере, приложения 2604 могут быть написаны независимыми от типа экрана. Это означает, что разработчики приложений могут писать свои приложения для осуществления различных типов функциональных возможностей, позволяющих создавать визуализируемый контент. Визуализируемый контент можно визуализировать на нескольких различных типах экранов в соответствии со свойствами и характеристиками, ассоциированными с экранами.
[137] В ходе эксплуатации, обработчик 2606 правил обеспечивает контейнер, который включает в себя различные правила, ассоциированные с типами экрана, которые присутствуют на конкретном автомобиле. Отдельные правила могут указывать свойства и характеристики, ассоциированные с контентом, который подлежит визуализации на экране любого конкретного типа. Они могут включать в себя, в порядке примера, но не ограничения, правила форматирования контента, эстетические правила, правила визуального проектирования, правила, относящиеся к культуре, правила, относящиеся к географии, правила, зависящие от языка, правила направления чтения (например, правила справа налево, правила слева направо), правила конфигурации водительского кресла (например, левостороннее/правостороннее расположение водительского кресла), правила речевого взаимодействия и пр.
[138] Когда приложение, например, приложение медиапроигрывателя, подключено к автомобильной информационной/развлекательной системе, оно создает визуализируемый контент, который можно визуализировать на нескольких различных типах экранов. Обработчик 2606 правил может обеспечивать набор правил, которые приложение может использовать для форматирования контента для визуализации на нескольких различных типах экранов. Альтернативно, модуль 2608 драйвера дисплея принимает данные и информацию от приложения и работает в согласовании с обработчиком 2606 правил для возбуждения дисплея на одном или более из конкретных типов экрана.
[139] Например, медиаконтент может отображаться на устройстве отображения консоли 2610, тогда как извещения, предупреждения и обращения могут поступать на кластер 2612 и отображаться им. Обработчик 2606 правил содержит правила для каждого конкретного типа экрана и, соответственно, может предписывать приложению или модулю 2608 драйвера дисплея форматировать данные надлежащим образом для отображения на различных типах экранов. Таким образом, разработчики приложений могут писать приложения просто для создания визуализируемого контента независимо от типа экрана, на котором нужно визуализировать контент. Обработчик 2606 правил и приложение или модуль 2608 драйвера дисплея действуют совместно, чтобы гарантировать, что контент, создаваемый любым конкретным приложением, может надлежащим образом визуализироваться на различных экранах в формате, подходящем для этого типа экрана.
[140] Рассмотрев адаптивный пользовательский интерфейс, ассоциированный с множественными экранами, рассмотрим универсальную модель команд/управления в соответствии с одним или более вариантами осуществления.
Универсальная модель команд/управления
[141] В предыдущем разделе, понятие адаптивного пользовательского интерфейса было описано в связи с визуализируемым контентом. Адаптивный пользовательский интерфейс можно дополнительно распространить на понятие так называемых универсальных средств управления. Таким образом, используя модель адаптивного пользовательского интерфейса, разработчики приложений могут разрабатывать свои приложения таким образом, чтобы они не зависели от того, как визуализируются средства управления. Таким образом, средства управления могут включать в себя как аппаратные средства управления, так и программные средства управления. Такие средства управления могут включать в себя списки, варианты выбора, меню, кнопки, панели, поворотные переключатели и пр.
[142] Когда мобильное устройство подключено к автомобильной информационной/развлекательной системе, и приложение запускается, правила от обработчика 2806 правил указывают приложению ограничения, свойства и характеристики средств управления, которые подлежат визуализации на различных типах экрана. Например, правила могут указывать, сколько средств управления подлежит визуализации, размеры средств управления, размеры шрифта и пр. Используя информацию, полученную от обработчика правил, приложение получает возможность адаптировать свои средства управления для согласования с размерами экрана, заданными правилами, которые оно принимает. Это означает, что приложение не нужно писать под заказ и, как в вышеприведенном примере, значительно облегчает работу разработчика приложений при написании приложений. Таким образом, приложения можно писать для универсальных размеров экрана, которые составляют часть телефона и системы автомобиля. Наглядный пример адаптируемости средств управления представлен на фиг. 23 и 24 и связанном с ними описанием.
[143] В связи с этим, использование обработчика правил также повышает гибкость в адаптации элементов пользовательского интерфейса, например средств управления, в случае изменения положений, регулирующих пользовательские интерфейсы автомобиля. Например, в случаях изменения законодательства, связанного с изменением требований к пользовательским интерфейсам автомобиля, может происходить простое изменение правил, вырабатываемых обработчиком 2606 правил, без необходимости переписать какие-либо приложения. Таким образом, разработчики приложений могут писать свои приложения для "универсального средства управления", а не для конкретных применимых положений.
[144] На фиг. 27 показана блок-схема последовательности операций, которая описывает этапы способа в соответствии с одним или более вариантами осуществления. Этапы можно реализовать совместно с любым подходящим аппаратным обеспечением, программным обеспечением, программно-аппаратным обеспечением или их комбинацией. По меньшей мере, в некоторых вариантах осуществления, способ можно реализовать посредством надлежащим образом сконфигурированной системы, например, мобильного устройства и автомобильной информационной/развлекательной системы.
[145] На этапе 2700 мобильное устройство соединяется с автомобильной информационной/развлекательной системой автомобиля. На этапе 2702 запускается приложение на мобильном устройстве. На этапе 2704 устанавливаются одно или более правил, ассоциированных с визуализацией контента и/или средств управления на одном или более типах экрана, ассоциированных с транспортным средством. Этот этап может осуществляться любым подходящим образом. Например, по меньшей мере, в некоторых вариантах осуществления, этап может осуществляться приложением, выполняющимся на мобильном устройстве. Альтернативно или дополнительно, этот этап может осуществляться модулем драйвера дисплея, который работает в согласовании с приложением для обеспечения контента и средств управления, которые подлежат визуализации на типах экрана. На этапе 2706 правила используются для адаптации контента и/или средства управления, которые подлежат визуализации на типах экрана. На этапе 2708 обеспечивают визуализацию адаптированных контента и/или средств управления на типах экрана.
[146] Рассмотрев различные вышеописанные варианты осуществления, рассмотрим иллюстративное устройство, которое можно использовать для реализации вышеописанных вариантов осуществления. Различные элементы, описанные ниже, можно использовать для реализации как мобильного устройства, так и аспектов автомобильного информационного/развлекательного устройства.
Иллюстративное устройство
[147] Фиг. 28 демонстрирует различные компоненты иллюстративного устройства 2800, которое можно реализовать как вычислительное устройство любого типа, которое можно использовать совместно с вышеописанные варианты осуществления.
[148] Устройство 2800 включает в себя устройства 2802 связи, которые обеспечивают проводную и/или беспроводную передачу данных 2804 устройства (например, принятых данных, принимаемых данных, данных, запланированных для вещания, пакетов данных, содержащих данные и т.д.). Данные 2804 устройства или другой контент устройства могут включать в себя настройки конфигурации устройства, медиаконтент, хранящийся на устройстве, и/или информацию, ассоциированную с пользователем устройства. Медиаконтент 2800, хранящийся на устройстве, могут включать в себя любой тип аудио, видео и/или данных изображения. Устройство 2800 включает в себя один или более вводов 2806 данных, через которые может приниматься любой тип данных, медиаконтент, и/или такие вводы, как выбираемые пользователем вводы, сообщения, музыка, телевизионный медиаконтент, записанный видеоконтент и любой другой типа аудио, видео, и/или данных изображения, принятых из любого источника контента и/или данных.
[149] Устройство 2800 также включает в себя интерфейсы 2808 связи, которые можно реализовать в виде любого одного или более из последовательного и/или параллельного интерфейса, беспроводного интерфейса, любого типа сетевого интерфейса, модема, и в виде любого другого типа интерфейса связи. Интерфейсы 2808 связи обеспечивают соединение и/или линии связи между устройством 2800 и сетью связи, посредством которой другие электронные, вычислительные и коммуникационные устройства обмениваются данными с устройством 2800.
[150] Устройство 2800 включает в себя один или более процессоров 2810 (например, любой из микропроцессоров, контроллеров и пр.), которые обрабатывают различные компьютерноисполняемые инструкции для управления работой устройства 2800 и для реализации вариантов осуществления описанных здесь методов. Альтернативно или дополнительно, устройство 2800 можно реализовать посредством любого одного или комбинации из оборудования, программно-аппаратного обеспечения или фиксированной логической схемы, которая реализована совместно со схемами обработки и управления, которые, в целом, обозначены позицией 2812. Хотя это не показано, устройство 2800 может включать в себя системную шину или систему переноса данных, которая связывает различные компоненты в устройстве. Системная шина может включать в себя любую одну или комбинацию из различных шинных структур, например, шину памяти или контроллер памяти, периферийную шину, универсальную последовательную шину, и/или процессорную или локальную шину, которая использует любую из различных шинных архитектур.
[151] Устройство 2800 также включает в себя компьютерно-считываемые среды 2814, например, один или более компонентов памяти, примеры которых включают в себя оперативную память (RAM), энергонезависимую память (например, любую одну или более из постоянной памяти (ROM), флэш-памяти, EPROM, EEPROM и т.д.), и дисковое запоминающее устройство. Дисковое запоминающее устройство может быть реализовано как любой тип магнитного или оптического запоминающего устройства, например, жесткий диск, записываемый и/или перезаписываемый компакт-диск (CD), любой тип цифрового универсального диска (DVD) и пр. Устройство 2800 также может включать в себя устройство 2816 хранения данных большой емкости.
[152] Компьютерно-считываемые среды 2814 обеспечивает механизмы хранения данных для хранения данных 2804 устройства, а также различные приложения 2818 устройства и любые другие типы информации и/или данных, связанных с аспектами работы устройства 2800. Например, операционная система 2820 может поддерживаться как компьютерное приложение с помощью компьютерно-считываемых сред 2814 и выполняться на процессорах 2810. Приложения 2818 устройства могут включать в себя диспетчер устройств (например, управляющее приложение, прикладная программа, модуль обработки и управления сигналом, внутренний код конкретного устройства, аппаратный уровень абстракции для конкретного устройства и т.д.). Приложения 2818 устройства также включают в себя любые системные компоненты или модули для реализации вариантов осуществления описанных здесь методов. В этом примере, приложения 2818 устройства включают в себя приложение 2822 интерфейса и драйвер 2824 захвата жестов, которые показаны как программные модули и/или компьютерные приложения. Драйвер 2824 захвата жестов является примером программного обеспечения, которое используется для обеспечения интерфейса с устройством, выполненным с возможностью захвата жеста, например, сенсорным экраном, сенсорной панелью, камерой и т.д. Альтернативно или дополнительно, приложение 2822 интерфейса и драйвер 2824 захвата жестов можно реализовать как аппаратное обеспечение, программное обеспечение, программно-аппаратное обеспечение или любую их комбинацию. Дополнительно, компьютерно-считываемые среды 2814 могут включать в себя веб-платформу 2825, которая обеспечивает функциональные возможности браузера.
[153] Устройство 2800 также включает в себя систему 2826 ввода/вывода аудио и/или видео, которая выдает аудиоданные на аудиосистему 2828 и/или выдает видеоданные на систему 2830 отображения. Аудиосистема 2828 и/или система 2830 отображения могут включать в себя любые устройства, которые обрабатывают, отображают и/или иным образом воспроизводят аудио, видео и данные изображения. Видеосигналы и аудиосигналы могут передаваться от устройства 2800 на аудио-устройство и/или на устройство отображения по RF (радиочастотной) линии связи, линии связи S-video (S-видео), линии связи композитного видео, линии связи компонентного видео, DVI (цифровой видеоинтерфейс), аналоговому аудио-соединению или другой аналогичной линии связи. Согласно варианту осуществления, аудиосистема 2828 и/или система 2830 отображения реализованы как компоненты, внешние по отношению к устройству 2800. Альтернативно, аудиосистема 2828 и/или система 2830 отображения реализованы как компоненты, встроенные в иллюстративное устройство 2800.
Заключение
[154] Различные варианты осуществления допускают сопряжение мобильных устройств, например телефонов и пр., с автомобильной информационной/развлекательной системой, чтобы пользователь мог управлять автомобильной информационной/развлекательной системой с помощью своего мобильного телефона. Пользователи могут использовать функциональные возможности своего мобильного телефона для улучшения автомобильного восприятия, которое может быть контекстуально адаптировано к контексту пользователя или автомобиля.
[155] По меньшей мере, в некоторых вариантах осуществления, пользователь может выполнять различные задачи с использованием нескольких разных модальностей с плавным непрерывными модальными переходами между модальностями. Модальности могут включать в себя речь, прикосновение и средства управления, например, поворотный переключатель. Плавные модальные переходы позволяют пользователю легко изменять свою модальность ввода в зависимости от своего контекста.
[156] Другие варианты осуществления позволяют адаптировать чисто речевое восприятие на основе сценариев вождения и когнитивной нагрузки пользователя. Прочие варианты осуществления позволяют адаптировать пользовательское восприятие для модальностей поворотного переключателя и сенсорного экрана. Дополнительные варианты осуществления могут обеспечивать адаптивный пользовательский интерфейс, включающий в себя адаптивный пользовательский интерфейс, который может работать совместно с несколькими различными типами экранов, например, экраном телефона, кластерным экраном, экраном консоли и экраном дисплея на лобовом стекле (HUD) и пр. Прочие варианты осуществления обеспечивают универсальную модель команд/управления для множественных типов физического ввода, включающих в себя кнопочные переключатели, емкостные круговые переключатели, механические клавиши, панели и пр.
[157] Хотя варианты осуществления были описаны в отношении структурных признаков и/или этапов способов, следует понимать, что варианты осуществления, заданные в нижеследующей формуле изобретения, не обязательно ограничиваются описанными конкретными признаками или этапами. Напротив, конкретные признаки и этапы раскрыты как иллюстративные формы реализации заявленных вариантов осуществления.

Claims (44)

1. Компьютерно-реализуемый способ управления автомобильной информационной/развлекательной системой посредством мобильного устройства, содержащий этапы, на которых:
устанавливают соединение между мобильным устройством и автомобильной информационной/развлекательной системой;
принимают передачу от мобильного устройства, каковая передача ассоциирована с вводом, имеющим модальность первого типа, соответствующую речевой передаче, которая была принята мобильным устройством, причем данный ввод содержит запрос и относится к выполнению задачи воспроизведения музыки;
формируют список из множества песен, удовлетворяющих данному запросу;
принимают ввод, имеющий модальность второго типа, которая отличается от модальности первого типа, причем данный ввод, имеющий модальность второго типа, выбирает песню из упомянутого множества песен, удовлетворяющих запросу, и относится к выполнению задачи воспроизведения музыки;
выполняют задачу воспроизведения музыки, каковая задача содержит воспроизведение упомянутой песни; и
во время выполнения упомянутой задачи прерывают эту задачу и представляют пользовательский интерфейс, содержащий средство, выбираемое посредством модальности третьего типа, соответствующей прикосновению, которая отличается от модальностей первого и второго типа в автомобильной информационной/развлекательной системе и относится к другой задаче; и
в качестве реакции на прием выбора упомянутого средства посредством модальности третьего типа выполняют упомянутую другую задачу,
при этом упомянутые три разные модальности ввода – модальность первого типа, соответствующая речевой передаче, модальность второго типа и модальность третьего типа, соответствующая прикосновению, - используются для взаимодействия с автомобильной информационной/развлекательной системой посредством мобильного телефона.
2. Компьютерно-реализуемый способ по п. 1, в котором ввод, имеющий модальность второго типа, представляет собой ввод через поворотный переключатель, принятый через поворотный переключатель, связанный с консолью автомобильной информационной/развлекательной системы.
3. Компьютерно-реализуемый способ по п. 1, в котором, по меньшей мере, некоторые действия могут осуществляться с использованием модальности первого типа либо одной или более из модальности второго типа и модальности третьего типа.
4. Компьютерно-реализуемый способ по п. 1, в котором по меньшей мере одна из модальностей первого, второго и третьего типов позволяет осуществлять навигацию по объектам, которые визуализируются на консоли автомобильной информационной/развлекательной системы.
5. Компьютерно-реализуемый способ по п. 1, в котором по меньшей мере одна из модальностей первого, второго и третьего типов позволяет осуществлять навигацию по объектам, которые визуализируются на консоли автомобильной информационной/развлекательной системы, каковые объекты представляют собой плитки.
6. Компьютерно-реализуемый способ по п. 1, в котором ввод, имеющий модальность второго типа, приспособлен устранять неопределенность, связанную с вводом, имеющим модальность первого типа.
7. Компьютерно-реализуемый способ по п. 1, в котором автомобильная информационная/развлекательная система выполнена с возможностью позволять прерывать действия, связанные с одной конкретной задачей, когда контекст пользователя указывает, что выполнимые действия, связанные с другой задачей, доступны для осуществления.
8. Компьютерно-реализуемый способ по п. 1, дополнительно содержащий этапы, на которых:
сохраняют информацию контекста в отношении упомянутой задачи; и
после прерывания этой задачи возобновляют данную задачу с того места, где эта задача была остановлена, с помощью сохраненной информации контекста.
9. Компьютерно-реализуемый способ по п. 6, в котором упомянутая неопределенность соответствует тому, что множество контактов удовлетворяют поиску.
10. Машиночитаемый носитель, хранящий машиноисполняемые инструкции, которые при их исполнении осуществляют операции, содержащие:
установление соединения между мобильным устройством и автомобильной информационной/развлекательной системой транспортного средства;
прием передачи от мобильного устройства, каковая передача ассоциирована с вводом, имеющим модальность первого типа, который был принят мобильным устройством, причем данный ввод относится к выполнению задачи;
выполнение одного или более действий, связанных с этой задачей;
обеспечение, посредством мобильного устройства, появления пользовательского интерфейса на автомобильной информационной/развлекательной системе;
прием, от мобильного устройства посредством автомобильной информационной/развлекательной системы через данный пользовательский интерфейс, ввода, имеющего модальность второго типа, которая отличается от модальности первого типа, каковой ввод, имеющий модальность второго типа, относится к выполнению упомянутой задачи; и
выполнение одного или более действий, связанных с вводом, имеющим модальность второго типа, для выполнения этой задачи, при этом
автомобильная информационная/развлекательная система выполнена с возможностью принимать ввод, имеющий, по меньшей мере, модальность третьего типа, которая отличается от модальностей первого и второго типа, для выполнения одного или более действий, связанных с упомянутой задачей, либо одного или более действий, связанных с другой задачей, и
ввод, имеющий модальность первого типа, содержит речевой ввод, и ввод, имеющий модальность второго типа, приспособлен для устранения неопределенности между двумя контактами, совпадающими при поиске, который приводит в результате к неопределенности и выполняется посредством ввода, имеющего модальность первого типа.
11. Машиночитаемый носитель по п. 10, при этом ввод, имеющий модальность второго типа, представляет собой ввод прикосновением, принимаемый посредством консоли автомобильной информационной/развлекательной системы.
12. Машиночитаемый носитель по п. 10, при этом ввод, имеющий модальность второго типа, представляет собой ввод через поворотный переключатель, принятый через поворотный переключатель, связанный с консолью автомобильной информационной/развлекательной системы.
13. Машиночитаемый носитель по п. 10, при этом, по меньшей мере, некоторые действия могут осуществляться с использованием модальности первого типа либо одной или более из модальности второго типа и модальности третьего типа.
14. Машиночитаемый носитель по п. 10, при этом по меньшей мере одна из модальностей первого, второго и третьего типов позволяет осуществлять навигацию по объектам, которые визуализируются на консоли автомобильной информационной/развлекательной системы.
15. Машиночитаемый носитель по п. 10, в котором операции дополнительно содержат:
определение, посредством мобильного устройства, состояния вождения; и
для конкретной задачи, возникающей во время состояния вождения и обычно осуществляемой посредством предоставления модальности ввода на экране мобильного устройства или устройстве отображения из состава автомобильной информационной/развлекательной системы, в качестве реакции на определение состояния вождения, реализацию модальности, соответствующей речевому вводу, для этой конкретной задачи.
16. Транспортное средство, содержащее:
автомобильную информационную/развлекательную систему, содержащую экран устройства отображения и выполненную с возможностью, при функционировании, соединяться с мобильным устройством и, будучи соединенной с мобильным устройством, выполнять операции, содержащие:
прием передачи от мобильного устройства, каковая передача ассоциирована с вводом, имеющим модальность первого типа, который был принят мобильным устройством, причем данный ввод относится к выполнению задачи, каковая задача содержит воспроизведение музыки, причем модальность первого типа представляет собой речевой ввод, и этот речевой ввод содержит запрос, относящийся к воспроизведению музыки,
формирование списка из множества песен, удовлетворяющих данному запросу,
обеспечение, посредством мобильного устройства, появления пользовательского интерфейса на автомобильной информационной/развлекательной системе;
прием, от мобильного устройства посредством автомобильной информационной/развлекательной системы через данный пользовательский интерфейс, ввода, имеющего модальность второго типа, которая отличается от модальности первого типа, причем данный ввод, имеющий модальность второго типа, выбирает песню из упомянутого множества песен, удовлетворяющих запросу, и относится к выполнению упомянутой задачи, причем модальность второго типа представляет собой ввод через поворотный переключатель,
выполнение задачи воспроизведения музыки, каковая задача содержит воспроизведение песни, выбранной посредством модальности второго типа,
во время выполнения упомянутой задачи, прерывание этой задачи и представление пользовательского интерфейса, содержащего средство, выбираемое посредством модальности третьего типа, соответствующей прикосновению, которая отличается от модальностей первого и второго типа в автомобильной информационной/развлекательной системе и относится к другой задаче; и
в качестве реакции на прием выбора упомянутого средства посредством модальности третьего типа выполнение упомянутой другой задачи.
RU2017117421A 2014-11-20 2015-11-16 Автомобильный мультимодальный интерфейс RU2707410C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/549,496 2014-11-20
US14/549,496 US10116748B2 (en) 2014-11-20 2014-11-20 Vehicle-based multi-modal interface
PCT/US2015/060775 WO2016081326A1 (en) 2014-11-20 2015-11-16 Vehicle-based multi-modal interface

Publications (3)

Publication Number Publication Date
RU2017117421A RU2017117421A (ru) 2018-11-21
RU2017117421A3 RU2017117421A3 (ru) 2019-06-05
RU2707410C2 true RU2707410C2 (ru) 2019-11-26

Family

ID=54704132

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017117421A RU2707410C2 (ru) 2014-11-20 2015-11-16 Автомобильный мультимодальный интерфейс

Country Status (11)

Country Link
US (1) US10116748B2 (ru)
EP (1) EP3221783B1 (ru)
JP (1) JP7093181B2 (ru)
KR (1) KR102416405B1 (ru)
CN (1) CN107077317A (ru)
AU (1) AU2015350267B2 (ru)
BR (1) BR112017008421A2 (ru)
CA (1) CA2965703C (ru)
MX (1) MX2017006086A (ru)
RU (1) RU2707410C2 (ru)
WO (1) WO2016081326A1 (ru)

Families Citing this family (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10073599B2 (en) 2015-01-07 2018-09-11 Microsoft Technology Licensing, Llc Automatic home screen determination based on display device
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
DE102015204336B4 (de) * 2015-03-11 2019-01-31 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Integration von Fahrzeug-Applikationen
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
WO2016210004A1 (en) * 2015-06-25 2016-12-29 Airbiquity Inc. Motor vehicle component to utilize a font or character resource of a separate electronic device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US9699298B2 (en) * 2015-08-10 2017-07-04 Microsoft Technology Licensing, Llc Smart automatic composition of short messaging responses
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
KR20170045662A (ko) * 2015-10-19 2017-04-27 삼성전자주식회사 전자 장치 및 알림 제어 방법
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10423292B2 (en) * 2016-05-17 2019-09-24 Google Llc Managing messages in vehicles
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474946B2 (en) * 2016-06-24 2019-11-12 Microsoft Technology Licensing, Llc Situation aware personal assistant
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10203216B2 (en) 2016-12-31 2019-02-12 Spotify Ab Duration-based customized media program
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
JP6824047B2 (ja) * 2017-01-20 2021-02-03 株式会社クボタ 作業車
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10672379B1 (en) * 2017-09-25 2020-06-02 Amazon Technologies, Inc. Systems and methods for selecting a recipient device for communications
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US20190053022A1 (en) * 2017-12-27 2019-02-14 Intel Corporation Provision of in-vehicle service to a mobile device
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
CN108944450A (zh) * 2018-05-23 2018-12-07 重庆普斯德电子有限公司 双模式汽车仪表显示系统
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
CN108766474A (zh) * 2018-06-04 2018-11-06 深圳市沃特沃德股份有限公司 车载音乐播放方法及车载设备
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
CN110874202B (zh) 2018-08-29 2024-04-19 斑马智行网络(香港)有限公司 交互方法、设备、介质和操作系统
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
JP6993314B2 (ja) * 2018-11-09 2022-01-13 株式会社日立製作所 対話システム、装置、及びプログラム
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) * 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
MX2021011490A (es) * 2019-03-27 2022-01-18 Tvs Motor Co Ltd Tablero de instrumentos con conexion inteligente.
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
WO2020226650A1 (en) * 2019-05-09 2020-11-12 Google Llc Automated assistant suggestions for third-party vehicle computing devices with restricted architecture
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
CN111124332B (zh) * 2019-11-18 2024-03-01 北京小米移动软件有限公司 设备呈现内容的控制方法、控制装置及存储介质
RU2731670C1 (ru) * 2019-12-13 2020-09-07 Сергей Анатольевич Киселев Программно-аппаратный комплекс
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
KR20210156126A (ko) * 2020-06-17 2021-12-24 현대모비스 주식회사 노브를 이용한 디스플레이 제어 시스템
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
CN114816158A (zh) * 2021-01-11 2022-07-29 华为技术有限公司 界面的控制方法、装置、电子设备和可读存储介质
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US20230009427A1 (en) * 2021-07-08 2023-01-12 Hyundai Mobis Co., Ltd. Display control system using knobs
USD985590S1 (en) 2021-08-23 2023-05-09 Waymo Llc Display screen or portion thereof with graphical user interface
EP4162233A1 (en) * 2021-08-24 2023-04-12 Google LLC Proactively activating automated assistant driving modes for varying degrees of travel detection confidence
CN114179613B (zh) * 2021-12-10 2024-03-05 常州星宇车灯股份有限公司 一种用于副驾驶控制面板上的影音触控交互控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110165551A1 (en) * 2008-10-20 2011-07-07 Wataru Yamazaki Device and system for assisting in using equipment
US20120166076A1 (en) * 2010-12-23 2012-06-28 Rody Hardy Predictive Traffic Warning And Suggestive Rerouting System And Method
RU2011149127A (ru) * 2009-06-02 2013-07-20 Форд Глобал Технолоджис, ЛЛК Система и способ бесконтактного управления приложением "электронный календарь" в транспортном средстве
US20130275875A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Automatically Adapting User Interfaces for Hands-Free Interaction
US8744645B1 (en) * 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903737B2 (en) 2000-04-25 2014-12-02 Accenture Global Service Limited Method and system for a wireless universal mobile product interface
JP2002022464A (ja) * 2000-07-05 2002-01-23 Mazda Motor Corp 移動体用情報処理装置、移動体用情報処理方法、及び移動体用情報処理プログラムが記憶された記憶媒体
US7636079B2 (en) 2000-11-29 2009-12-22 Palm Inc. Application access and activation system and method
US20030153354A1 (en) 2001-03-16 2003-08-14 Cupps Bryan T. Novel personal electronics device with keypad application
US20020173344A1 (en) 2001-03-16 2002-11-21 Cupps Bryan T. Novel personal electronics device
FI111494B (fi) 2001-06-29 2003-07-31 Nokia Corp Langaton käyttöliittymän laajennus
JP4013630B2 (ja) * 2002-04-25 2007-11-28 アイシン・エィ・ダブリュ株式会社 事故多発位置報知装置、事故多発位置報知システム及び事故多発位置報知方法
US7046134B2 (en) 2002-06-27 2006-05-16 Axeda Corporation Screen sharing
US7231229B1 (en) 2003-03-16 2007-06-12 Palm, Inc. Communication device interface
JP2005049138A (ja) * 2003-07-30 2005-02-24 Pioneer Electronic Corp 交通状況報知装置、そのシステム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP4452474B2 (ja) * 2003-09-30 2010-04-21 パイオニア株式会社 案内誘導システム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
US7814419B2 (en) 2003-11-26 2010-10-12 Nokia Corporation Changing an orientation of a user interface via a course of motion
JP2005332319A (ja) * 2004-05-21 2005-12-02 Nissan Motor Co Ltd 入力装置
KR100814430B1 (ko) 2004-06-09 2008-03-18 삼성전자주식회사 드라이버 프로그램을 기록한 기록매체
US7554522B2 (en) 2004-12-23 2009-06-30 Microsoft Corporation Personalization of user accessibility options
US7835505B2 (en) 2005-05-13 2010-11-16 Microsoft Corporation Phone-to-monitor connection device
US7933955B2 (en) 2006-07-11 2011-04-26 Igor Khalatian One-click universal screen sharing
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
DE102008051756A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US8015005B2 (en) * 2008-02-15 2011-09-06 Motorola Mobility, Inc. Method and apparatus for voice searching for stored content using uniterm discovery
US20130275899A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
US20100138780A1 (en) 2008-05-20 2010-06-03 Adam Marano Methods and systems for using external display devices with a mobile computing device
JP2009300537A (ja) 2008-06-10 2009-12-24 Fujitsu Ten Ltd 音声作動システム、音声作動方法および車載装置
KR20100035924A (ko) 2008-09-29 2010-04-07 삼성전자주식회사 디스플레이장치 및 외부입력장치를 가지는 디스플레이 시스템과 그 제어 방법
KR100946460B1 (ko) 2008-09-30 2010-03-10 현대자동차주식회사 차량의 입력 장치
WO2010062617A1 (en) 2008-10-27 2010-06-03 Social Gaming Network Apparatuses, methods and systems for an interactive proximity display tether
US8893040B2 (en) * 2008-12-23 2014-11-18 At&T Mobility Ii Llc Systems, devices, or methods for accessing information employing a tumbler-style graphical user interface
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9310880B2 (en) 2009-09-29 2016-04-12 Ncr Corporation Self-service computer with dynamic interface
US9413869B2 (en) * 2010-02-10 2016-08-09 Qualcomm Incorporated Mobile device having plurality of input modes
US8570189B1 (en) * 2010-05-10 2013-10-29 Eric Casebolt Multifunction traffic control and information system
US8731814B2 (en) 2010-07-02 2014-05-20 Ford Global Technologies, Llc Multi-modal navigation system and method
US20120050183A1 (en) 2010-08-27 2012-03-01 Google Inc. Switching display modes based on connection state
WO2012046890A1 (ko) 2010-10-06 2012-04-12 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
CN102006373B (zh) * 2010-11-24 2015-01-28 深圳市车音网科技有限公司 基于语音命令控制的车载服务系统及方法
US8669970B2 (en) 2011-01-27 2014-03-11 Apple Inc. Master synchronization for multiple displays
JP5889542B2 (ja) 2011-04-07 2016-03-22 クラリオン株式会社 無線通信端末及び操作システム
US20120268294A1 (en) * 2011-04-20 2012-10-25 S1Nn Gmbh & Co. Kg Human machine interface unit for a communication device in a vehicle and i/o method using said human machine interface unit
US20120303263A1 (en) 2011-05-23 2012-11-29 Microsoft Corporation Optimization of navigation tools using spatial sorting
US9761083B2 (en) * 2011-09-16 2017-09-12 Elottery, Inc. Location, age and identity verification for mobile gaming
WO2013067526A1 (en) 2011-11-04 2013-05-10 Remote TelePointer, LLC Method and system for user interface for interactive devices using a mobile device
US20130155237A1 (en) 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
KR101901720B1 (ko) 2012-04-02 2018-11-13 삼성전자주식회사 더미 장치와의 연동 방법 및 그 전자 장치
KR101952682B1 (ko) 2012-04-23 2019-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN202565359U (zh) 2012-05-11 2012-11-28 广东欧珀移动通信有限公司 一种微投互动手机
US20140118222A1 (en) 2012-10-30 2014-05-01 Cloudcar, Inc. Projection of content to external display devices
US20140129695A1 (en) 2012-11-02 2014-05-08 Gface Gmbh Connected devices
US9218805B2 (en) * 2013-01-18 2015-12-22 Ford Global Technologies, Llc Method and apparatus for incoming audio processing
US9137476B2 (en) 2013-02-14 2015-09-15 Sony Corporation User-defined home screen for ultra high definition (UHD) TV
US20140267035A1 (en) 2013-03-15 2014-09-18 Sirius Xm Connected Vehicle Services Inc. Multimodal User Interface Design
WO2014157839A1 (en) * 2013-03-26 2014-10-02 Samsung Electronics Co., Ltd. Terminal apparatus mountable in vehicle, mobile device for working with the terminal apparatus, and methods for providing service thereof
KR20140094407A (ko) 2013-04-10 2014-07-30 (주)브라이니클 이동 단말기를 이용한 쇼핑정보 제공방법 및 이동 단말기를 이용하여 쇼핑정보를 제공하는 사용자 인터페이스
CN103347162B (zh) * 2013-06-28 2017-07-18 深圳市掌讯通讯设备有限公司 一种车载装置与智能手机互动控制系统及其方法
WO2015064965A1 (ko) * 2013-10-29 2015-05-07 엘지전자 주식회사 기기간 통신 시스템, 장치 및 제어 방법
EP2960098B1 (en) * 2014-06-27 2020-11-04 Volvo Car Corporation Methods, device and system for assisting a vehicle occupant utilizing functionality of a nomadic device via an in-vehicle system
US20160028870A1 (en) * 2014-07-23 2016-01-28 Lg Electronics Inc. Method of sharing information of a mobile terminal for interworking between an in-vehicle infotainment system and the mobile terminal
US20160044519A1 (en) * 2014-08-08 2016-02-11 GM Global Technology Operations LLC Method and apparatus for supporting mobile device screen replication in automotive environment using flexible network connectivity

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110165551A1 (en) * 2008-10-20 2011-07-07 Wataru Yamazaki Device and system for assisting in using equipment
RU2011149127A (ru) * 2009-06-02 2013-07-20 Форд Глобал Технолоджис, ЛЛК Система и способ бесконтактного управления приложением "электронный календарь" в транспортном средстве
US20130275875A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Automatically Adapting User Interfaces for Hands-Free Interaction
US20120166076A1 (en) * 2010-12-23 2012-06-28 Rody Hardy Predictive Traffic Warning And Suggestive Rerouting System And Method
US8744645B1 (en) * 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system

Also Published As

Publication number Publication date
US20160150020A1 (en) 2016-05-26
CN107077317A (zh) 2017-08-18
US10116748B2 (en) 2018-10-30
EP3221783B1 (en) 2021-09-01
CA2965703A1 (en) 2016-05-26
KR20170088384A (ko) 2017-08-01
KR102416405B1 (ko) 2022-07-01
AU2015350267A1 (en) 2017-05-11
EP3221783A1 (en) 2017-09-27
RU2017117421A3 (ru) 2019-06-05
JP7093181B2 (ja) 2022-06-29
CA2965703C (en) 2022-08-23
WO2016081326A1 (en) 2016-05-26
BR112017008421A2 (pt) 2017-12-26
MX2017006086A (es) 2017-07-27
JP2018508843A (ja) 2018-03-29
RU2017117421A (ru) 2018-11-21
AU2015350267B2 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
RU2707410C2 (ru) Автомобильный мультимодальный интерфейс
US11784951B1 (en) Determining contextually relevant application templates associated with electronic message content
US10101169B2 (en) Architecture for distributing transit data
US20170205243A1 (en) Map application with improved search tools
US20150253148A1 (en) Map Application with Improved Search Tools
US10541885B2 (en) System and method for negotiating control of a shared audio or visual resource
CN116820462A (zh) 生成用于第三方应用程序的导航用户界面
CN108268251B (zh) 多任务处理的移动电话的用户体验设计方法和系统及介质
CN109631920B (zh) 具有改进的导航工具的地图应用
KR20140024005A (ko) 단거리에서 다중 회전을 수행하기 위한 지원을 갖는 네비게이션 시스템
CN109029480B (zh) 具有改进的导航工具的地图应用
JP6004993B2 (ja) ユーザインタフェース装置
CN113885742A (zh) 一种应用内窗口切换方法、装置及设备
Worren et al. ITS Research Activities in Telenor