KR20170088384A - 차량 기반의 멀티 모달 인터페이스 - Google Patents

차량 기반의 멀티 모달 인터페이스 Download PDF

Info

Publication number
KR20170088384A
KR20170088384A KR1020177016830A KR20177016830A KR20170088384A KR 20170088384 A KR20170088384 A KR 20170088384A KR 1020177016830 A KR1020177016830 A KR 1020177016830A KR 20177016830 A KR20177016830 A KR 20177016830A KR 20170088384 A KR20170088384 A KR 20170088384A
Authority
KR
South Korea
Prior art keywords
input
user
modality
task
console
Prior art date
Application number
KR1020177016830A
Other languages
English (en)
Other versions
KR102416405B1 (ko
Inventor
제이슨 라이언 파머
마이크 글래스
비크람 파드마카르 바파트
크리스토퍼 에스 슐츠
오스카 이 무릴료
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170088384A publication Critical patent/KR20170088384A/ko
Application granted granted Critical
Publication of KR102416405B1 publication Critical patent/KR102416405B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B60K37/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6075—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • H04M1/6083—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6075—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • H04M1/6083—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system
    • H04M1/6091—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system including a wireless interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H04M1/7253—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/111—Instrument graphical user interfaces or menu aspects for controlling multiple devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B60K2360/1442—Emulation of input devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/151—Instrument output devices for configurable output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/164—Infotainment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/573—Mobile devices controlling vehicle functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/592—Data transfer involving external databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

다양한 실시형태는, 유저가 그 자신의 이동 전화를 통해 차량 내 정보/엔터테인먼트 시스템을 제어하는 것을 가능하게 하기 위해, 전화 등과 같은 모바일 디바이스가 차량 내 정보/엔터테인먼트 시스템과 통합하는 것을 가능하게 한다. 유저는, 유저의 또는 차량의 컨텍스트(context)에 따라 컨텍스트에 맞게 조정될 수 있는 차량 내 경험을 촉진시키기 위해, 그 자신의 이동 전화의 기능성을 활용할 수 있다. 여전히 다른 실시형태는 클라우드 기반의 서비스를 통해 차량 내 경험을 제공할 수 있다.

Description

차량 기반의 멀티 모달 인터페이스{VEHICLE-BASED MULTI-MODAL INTERFACE}
지금까지, 많은 차량 내(in-vehicle) 정보/엔터테인먼트 시스템은, 시스템을 사용하는 것과 관련된 어려움뿐만 아니라, 차량간 시스템 사이의 불일치를 포함하는 이유 때문에 운전자 및 다른 유저에게 실망감을 안기어 왔다. 이와 같이, 유저 경험은 될 수 있는 최상의 것이 아니었으며, 안전하고, 일관되고, 그리고 바람직한 유저 경험을 제공하는 향상된 차량 내 시스템에 대한 요구가 계속되고 있다.
본 발명의 내용은 하기의 발명을 실시하기 위한 구체적인 내용에서 더 설명되는 개념의 선택을 간소화된 형태로 소개하기 위해 제공된다. 본 발명의 내용은 청구된 특허 대상의 주요한 특징 또는 본질적인 특징을 식별하도록 의도된 것이 아니고, 청구된 특허 대상의 범위를 결정함에 있어서 보조로서 사용되도록 의도된 것도 아니다.
다양한 실시형태는, 유저가 그 자신의 이동 전화를 통해 차량 내 정보/엔터테인먼트 시스템을 제어하는 것을 가능하게 하기 위해, 전화(phone) 등과 같은 모바일 디바이스가 차량 내 정보/엔터테인먼트 시스템과 통합하는 것을 가능하게 한다. 유저는, 유저의 또는 차량의 컨텍스트(context)에 따라 컨텍스트에 맞게 조정될(contextually tailored) 수 있는 차량 내 경험을 촉진시키기 위해, 그 자신의 이동 전화의 기능성을 활용할 수 있다. 여전히 다른 실시형태는 클라우드 기반의 서비스를 통해 차량 내 경험을 제공할 수 있다.
적어도 일부 실시형태에서, 유저는 모달리티(modality) 사이에서 원활하고 연속적인 모달 핸드오프(modal handoff)를 갖는 다수의 상이한 모달리티를 사용하여 다양한 태스크를 완수할 수 있다. 모달리티는, 음성, 터치, 제스쳐, NUI 제스쳐, 시선(gaze), 및 조그 다이얼과 같은 제어부(control)를 포함할 수 있다. 원활한 모달 핸드오프는, 유저가 그 자신의 컨텍스트에 따라 그 자신의 입력 모달리티를 쉽게 변경하는 것을 허용한다.
다른 실시형태는, 운전 시나리오 및 유저의 인지 부하(cognitive load)에 기초하여 음성 전용 경험(voice-only experience)을 조정할 수 있다. 여전히 다른 실시형태는, 조그 다이얼, 제스쳐, 시선 및 터치스크린 모달리티에 대한 유저 경험을 조정할 수 있다. 추가 실시형태는, 다수의 상이한 타입의 스크린, 예를 들면, 전화 스크린, 클러스터 스크린, 콘솔 스크린, 및 헤드업 디스플레이(heads up display; HUD) 스크린 등과 연계하여 동작할 수 있는 적응적 유저 인터페이스(adaptive user interface)를 포함하는 적응적 유저 인터페이스를 제공할 수 있다. 또 다른 실시형태는, 버튼 조그(button jog), 용량성 다이얼(capacitive dial), 하드 키, 패드 등을 포함하는 다수의 타입의 물리적 입력부에 대한 범용 커맨드/제어 모델을 제공한다.
첨부의 도면을 참조로 발명을 실시하기 위한 구체적인 내용이 설명된다. 도면에서, 도면 부호의 가장 왼쪽의 숫자(들)는 그 도면 부호가 처음 나타나는 도면을 식별한다. 설명 및 도면의 상이한 경우에서의 동일한 도면 부호의 사용은 유사한 또는 동일한 아이템을 나타낼 수도 있다.
도 1은 하나 이상의 실시형태에 따른 예시적인 동작 환경을 예시한다.
도 2는 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 3은 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 4는 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 5는 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 6은 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 7은 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 8은 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 9는 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 10은 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다.
도 11은 하나 이상의 실시형태에 따른 유저와 차량 내 시스템 사이의 구두 대화(verbal dialog)를 예시하는 도면이다.
도 12는 하나 이상의 실시형태에 따른 유저와 차량 내 시스템 사이의 구두 대화를 예시하는 도면이다.
도 13은 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다.
도 14는 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다.
도 15는 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 15a는 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다.
도 16은 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 17은 하나 이상의 실시형태에 따른 시스템의 양태를 예시한다.
도 18은 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 19는 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 19a는 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다.
도 20은 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 21은 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 22는 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 22a는 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다.
도 23은 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 24는 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 25는 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다.
도 26은 하나 이상의 실시형태에 따른 시스템을 예시한다.
도 27은 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다.
도 28은 본원에서 설명되는 다양한 실시형태를 구현하기 위해 활용될 수 있는 예시적인 컴퓨팅 디바이스를 예시한다.
개관
다양한 실시형태는, 유저가 그들의 이동 전화를 통해 차량 내 정보/엔터테인먼트 시스템을 제어하는 것을 가능하게 하기 위해, 전화 등과 같은 모바일 디바이스가 차량 내 정보/엔터테인먼트 시스템과 통합하는 것을 가능하게 한다. 유저는, 유저의 또는 차량의 컨텍스트(context)에 따라 컨텍스트에 맞게 조정될(contextually tailored) 수 있는 차량 내 경험을 촉진시키기 위해, 그들의 이동 전화의 기능성을 활용할 수 있다. 여전히 다른 실시형태는 클라우드 기반의 서비스를 통해 차량 내 경험을 제공할 수 있다.
적어도 일부 실시형태에서, 유저는 모달리티 사이에서 원활하고 연속적인 모달 핸드오프를 갖는 다수의 상이한 모달리티를 사용하여 다양한 태스크를 완수할 수 있다. 모달리티는, 음성, 터치, 제스쳐, NUI 제스쳐, 시선, 및 조그 다이얼과 같은 제어부를 포함할 수 있다. 원활한 모달 핸드오프는, 유저가 그들의 컨텍스트에 따라 그들의 입력 모달리티를 쉽게 변경하는 것을 허용한다.
다른 실시형태는, 운전 시나리오 및 유저의 인지 부하에 기초하여 음성 전용 경험을 조정할 수 있다. 여전히 다른 실시형태는, 조그 다이얼 및 터치스크린 모달리티에 대한 유저 경험을 조정할 수 있다. 추가 실시형태는, 다수의 상이한 타입의 스크린, 예를 들면, 전화 스크린, 클러스터 스크린, 콘솔 스크린, 및 헤드업 디스플레이(HUD) 스크린 등과 연계하여 동작할 수 있는 적응적 유저 인터페이스를 포함하는 적응적 유저 인터페이스를 제공할 수 있다. 또 다른 실시형태는, 버튼 조그(button jog), 용량성 다이얼(capacitive dial), 하드 키, 패드 등을 포함하는 다수의 타입의 물리적 입력부에 대한 범용 커맨드/제어 모델을 제공한다.
하기의 논의에서는, 본원에서 설명되는 기술을 활용하도록 동작가능한 예시적인 환경이 먼저 설명된다. 본 기술은 예시적인 환경에서뿐만 아니라, 다른 환경에서도 활용될 수도 있다.
예시적인 환경
도 1은 본원에서 설명되는 기술을 활용하도록 동작 가능한 예시적인 구현예에서의 예시적인 환경(100)을 예시한다. 예시된 환경(100)은, 차량(102), 전화(104) 형태의 모바일 컴퓨팅 디바이스, 및 디스플레이 디바이스(108)를 구비하는 차량 콘솔(106)을 포함한다. 콘솔(106)은 후속하는 설명의 목적을 위해 차량(102)으로부터 제거되어 도시된다. 콘솔(106)은 통상적으로 운전자의 좌석과 조수석(front passenger's seat) 사이의 대시 보드 상에 또는 약간 아래에 존재한다. 콘솔의 디스플레이 디바이스(108)는, 예를 들면, 유저가 콘텐츠 선택을 행하는 것을 가능하게 하기 위해 터치 입력을 수신할 수 있도록 터치 대응이거나 또는 터치에 대응될 수 있다. 콘솔(106) 아래에는, 다수의 버튼이 제공되며 일반적으로 110에서 도시된다. 또한, 차량(102)은, 콘솔(106)에 대한 입력 디바이스로서 기능할 수 있는 조그 다이얼(112)을 포함할 수 있다. 조그 다이얼(112)은, 디스플레이 디바이스(108) 상에 디스플레이되는 콘텐츠를 내비게이팅하여 콘텐츠 선택을 행하기 위해 사용될 수 있다. 조그 다이얼은, 두 개의 원호 모양의 화살표에 의해 나타내어지는 바와 같이, 조그 다이얼이 보이는 지면에서 시계 방향으로 그리고 반시계 방향으로 회전될 수 있다. 조그 다이얼을 이 방식으로 회전시키는 것은, 유저가 디스플레이 디바이스(108) 상에 디스플레이되는 콘텐츠를 내비게이팅하는 것을 허용한다. 게다가, 조그 다이얼은 또한, 선택을 행하기 위해, 아래쪽을 가리키는 화살표의 방향에서 아래쪽으로 눌릴 수 있는 메커니즘을 포함한다.
하기의 설명에서는, 비록 본 발명의 실시형태의 맥락을 설명하기 위해 전화 형태의 모바일 디바이스가 사용되지만, 청구된 특허 대상의 취지와 범위를 벗어나지 않으면서 다른 모바일 디바이스가 사용될 수 있다는 것이 인식되고 이해되어야 한다.
따라서, 타일, 아이콘, 오브젝트 등과 같은 콘텐츠의 디스플레이된 배치에 대해, 조그 다이얼을 회전시키는 것은 디스플레이된 콘텐츠의 내비게이션을 허용하고 조그 다이얼을 아래쪽으로 누르는 것은 콘텐츠의 특정한 부분을 선택한다. 따라서, 예를 들면, 디스플레이 디바이스(108)가 다수의 상이한 노래를 구비하는 플레이리스트를 디스플레이하는 경우, 유저는 조그 다이얼을 사용하여 노래를 내비게이팅할 수 있고, 흥미를 갖는 특정한 노래의 위치를 결정한 경우, 조그 다이얼을 누르는 것에 의해 유저는 재생할 노래를 선택할 수 있다.
동작에서, 전화(104)는, 유저가 콘솔을 통해 콘텐츠와 상호 작용하는 것을 가능하게 하기 위해, 콘솔(106)과 연결될 수 있다. 임의의 적절한 타입의 연결이 사용될 수 있다. 예시되고 설명되는 실시형태에서, 전화(104)는, 와이파이(Wi-Fi) 또는 블루투스(Bluetooth) 연결과 같은 무선 연결을 통해 콘솔(106)과 연결될 수 있다. 대안적으로 또는 추가적으로, 전화(104)는, 도면에서 나타내어지는 바와 같이, USB 연결을 통해 콘솔(106)과 연결될 수 있다.
콘솔(106)과 연결되는 경우, 유저가 그들의 이동 전화를 통해 차량 내 정보/엔터테인먼트 시스템을 제어하는 것을 가능하게 하기 위해, 이동 전화는 차량의 정보/엔터테인먼트 시스템과 통합할 수 있다. 유저는, 유저의 또는 차량의 컨텍스트에 따라 컨텍스트에 맞게 조정될 수 있는 차량 내 경험을 촉진시키기 위해, 그들의 이동 전화의 기능성을 활용할 수 있다. 도 2는, 차량(102)(도시되지 않음) 및 그것의 관련된 콘솔(106)을 포함할 수 있는 컴퓨팅 환경(200)에서의 전화(104)를 예시한다. 컴퓨팅 환경(200)은 또한, 하나 이상의 서버(202) 및 네트워크(204)("클라우드"로 예시됨)를 포함하는데, 전화(104), 콘솔(106) 및 서버(202)는 네트워크(204)를 통해 통신할 수 있다. 네트워크는, 예를 들면, 콘텐츠 제공 서비스를 호스팅하는 회사와 같은 다양한 엔티티, OEM, 및 인터넷에 의해 연결되는 임의의 다른 엔티티와의 통신을 용이하게 할 수 있다.
예시되고 설명되는 예에서, 전화(104)는, 다른 컴포넌트 중에서도, 하나 이상의 프로세서(206), 하나 이상의 컴퓨터 판독가능 저장 매체(208), 상호 작용 모듈(210), 다양한 애플리케이션(212), 및 디스플레이 드라이버 모듈(214)을 포함한다.
예시되고 설명되는 예에서, 상호 작용 모듈(210)은, 유저의 음성 인식 및 오디오 음성 프롬프트(audio voice prompting)를 가능하게 하는 기능성을 포함한다. 상호 작용 모듈은 태스크를 달성함에 있어서 유저를 지원하는 개인 어시스턴트를 제공한다. 따라서, 예를 들면, 상호 작용 모듈(210)은, 커맨드, 질의 등과 같은 유저에 의해 발화되는(spoken) 말(words)을 인식할 수 있다. 게다가, 상호 작용 모듈(210)은, 자신이 수신하는 통신 신호(communication)의 아이템과 관련하여 액션이 취해지는 것을 가능하게 하는 기능성을 포함한다. 예를 들면, 유저는 "오늘 예정된 회의가 있는지 알려줘"라고 묻는 것에 의해 그들의 전화의 응답을 촉구할(prompt) 수도 있다. 이 요청을 수신하는 것에 응답하여, 상호 작용 모듈(210)은, 예를 들면, 캘린더 애플리케이션과 협력하여, 오늘 예정된 어떤 회의가 있는지의 여부를 확인할 수 있고 유저에게 "오늘 예정된 회의는 없습니다"라고 구두로 응답할 수 있다.
애플리케이션(212)은 전화(104) 상에 상주 할 수 있는 임의의 적절한 타입의 애플리케이션을 포함할 수 있다. 이러한 애플리케이션은, 비제한적인 예로서, 소셜 네트워킹 애플리케이션, 이메일 애플리케이션, 문자(text) 애플리케이션, 캘린더 애플리케이션, 미디어 플레이어 애플리케이션, 뉴스, 스포츠, 및 날씨 애플리케이션 등을 포함한다.
디스플레이 드라이버 모듈(214)은, 디스플레이가 전화(104) 상에서 뿐만 아니라, 콘솔의 디스플레이 디바이스(108) 상에서 렌더링되는 것을 가능하게 하는 기능성을 포함한다. 동작에서, 디스플레이 드라이버 모듈(214)은, 하기에서 명백하게 되는 바와 같이, 콘솔의 디스플레이 디바이스(108)와 관련되는 속성(예를 들면, 디스플레이 디바이스 치수)을 확인할 수 있고 확인된 속성에 기초하여 렌더링 결정을 행할 수 있다.
서버(202)는 웹 서비스(218)에 대한 플랫폼(216)을 포함하는 것으로 예시된다. 웹 서비스(218)는 임의의 적절한 타입의 웹 서비스를 포함할 수 있다. 서버(202) 및 그들의 관련된 웹 서비스(218)는, 네트워크(204)를 통해 전화(104)로 제공되는 통신 신호를 생성할 수 있다. 통신 신호가 수신되면, 통신 신호는 전화(104) 및/또는 전화 상에서 실행하는 관련된 애플리케이션에 의해 프로세싱되고, 유저는 통신 신호를 통지 받을 수 있다.
플랫폼(216)은 클라우드의 하드웨어(예를 들면, 서버) 및 소프트웨어 리소스의 기저의 기능성(underlying functionality)을 추상화하고 따라서 "클라우드 운영체제"로서 작용할 수도 있다. 예를 들면, 플랫폼(216)은, 다양한 컴퓨팅 디바이스 사이의 통신을 가능하게 하기 위해, 리소스를 추상화할 수도 있다. 플랫폼(216)은, 플랫폼(216)을 통해 구현되는 웹 서비스(218)에 대한 조우되는 요구에 대해, 대응하는 레벨의 스케일을 제공하기 위해, 리소스의 스케일링을 추상화하도록 또한 기능할 수도 있다. 서버 팜(server farm)에서의 서버의 부하 밸런싱, 악의적인 상대(party)(예를 들면, 스팸, 바이러스, 및 다른 멀웨어)에 대한 보호 등과 같은, 다양한 다른 예가 또한 고려된다.
따라서, 클라우드는, 인터넷 또는 다른 네트워크를 통해 컴퓨팅 디바이스가 이용할 수 있게 만들어지는 소프트웨어 및 하드웨어 리소스에 관련이 있는 전략의 일부로서 포함된다.
일반적으로, 본원에서 설명되는 기능 중 임의의 것은 소프트웨어, 펌웨어, 하드웨어(예를 들면, 고정식 로직 회로부), 수동 프로세싱, 또는 이들 구현예의 조합을 사용하여 구현될 수 있다. 본원에서 사용되는 바와 같은 용어 "모듈", "기능성", 및 "로직"은 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 조합을 일반적으로 나타낸다. 소프트웨어 구현예의 경우, 모듈, 기능성, 또는 로직은, 프로세서(예를 들면, CPU 또는 CPU들) 상에서의 실행시 특정 태스크를 수행하는 프로그램 코드를 나타낸다. 프로그램 코드는 하나 이상의 컴퓨터 판독가능 메모리 디바이스에 저장될 수 있다.
예를 들면, 전화는 또한, 컴퓨팅 디바이스의 하드웨어 또는 가상 머신으로 하여금 동작, 예를 들면, 프로세서, 기능적 블록 등을 수행하게 하는 엔티티(예를 들면, 소프트웨어)를 포함할 수도 있다. 예를 들면, 컴퓨팅 디바이스는, 컴퓨팅 디바이스, 및 특히 컴퓨팅 디바이스의 운영체제 및 관련 하드웨어로 하여금 동작을 수행하게 하는 명령어를 유지하도록 구성될 수도 있는 컴퓨터 판독가능 매체를 포함할 수도 있다. 따라서, 명령어는, 동작을 수행하게끔 운영체제 및 관련 하드웨어를 구성시키도록 기능하고 이 방식에서는 기능을 수행할 운영체제 및 관련 하드웨어의 변환으로 나타나게 된다. 명령어는 다양하고 상이한 구성을 통해 컴퓨터 판독가능 매체에 의해 컴퓨팅 디바이스로 제공될 수도 있다.
컴퓨터 판독가능 매체의 하나의 이러한 구성은 신호 베어링 매체(signal bearing medium)이며 따라서, 예컨대 네트워크를 통해, 명령어를 (예를 들면, 반송파로서) 컴퓨팅 디바이스로 송신하도록 구성된다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체로서 또한 구성될 수도 있으며 따라서 신호 베어링 매체가 아니다. 컴퓨터 판독가능 저장 매체의 예는 랜덤 액세스 메모리(random-access memory; RAM), 리드 온리 메모리(read-only memory; ROM), 광학 디스크, 플래시 메모리, 하드 디스크 메모리, 및 명령어 및 다른 데이터를 저장하기 위해 자기, 광학 및 다른 기술을 사용할 수도 있는 다른 메모리 디바이스를 포함한다.
후속하는 논의에서, "다중 모달 입력을 통한 태스크의 완수"의 제목이 붙은 섹션은, 하나 이상의 실시형태에 따른 상이한 타입의 모달 입력을 사용하여 태스크가 어떻게 원할하게 달성될 수 있는지를 설명한다. 이것에 후속하여, "음성 전용 경험의 조정"의 제목이 붙은 섹션은, 하나 이상의 실시형태에 따라 음성 전용 경험이 어떻게 제공될 수 있는지를 설명한다. 다음으로, "조그 다이얼 및 터치스크린에 대한 유저 경험의 조정"의 제목이 붙은 섹션은, 상이한 타입의 모달 입력에 대해 유저 경험이 어떻게 조정될 수 있는지 또는 다르게는 적응될 수 있는지를 설명한다. 이것에 후속하여, "적응적 유저 인터페이스"의 제목이 붙은 섹션은, 하나 이상의 실시형태에 따른 적응적 유저 인터페이스를 설명한다. 다음으로, "다수의 스크린을 사용한 적응적 유저 인터페이스"의 제목이 붙은 섹션은, 유저 인터페이스가 다수의 스크린에 따라 어떻게 적응될 수 있는지를 설명한다. 이것에 후속하여, "범용 커맨드/제어 모델"의 제목이 붙은 섹션은, 하나 이상의 실시형태에 따른, 범용 커맨드 및 제어를 활용하는 모델을 설명한다. 마지막으로, "예시적인 디바이스"의 제목이 붙은 섹션은, 하나 이상의 실시형태를 구현하기 위해 활용될 수 있는 예시적인 디바이스의 양태를 설명한다.
예시적인 동작 환경을 고려하였으므로, 이제, 하나 이상의 실시형태에 따른, 태스크를 완수하기 위한 멀티 모달 입력의 개념을 고려한다.
멀티 모달 입력을 통한 태스크의 완수
적어도 일부 실시형태에서, 유저는 모달리티 사이에서 원활하고 연속적인 모달 핸드오프를 갖는 다수의 상이한 모달리티를 사용하여 다양한 태스크를 완수할 수 있다. 모달리티는, 음성, 터치, 제스쳐, NUI 제스쳐, 시선, 및 조그 다이얼과 같은 제어부를 포함할 수 있다. 원활한 모달 핸드오프는, 유저가 그들의 컨텍스트에 따라 그들의 입력 모달리티를 쉽게 변경하는 것을 허용한다. 즉, 유저는 임의의 적절한 조합의 이들 상이한 입력 모달리티 사이에서 자연스럽게 이동할 수 있다. 예를 들면, 유저는 (1) 음성과 터치 사이에서, (2) 음성과 조그 다이얼 사이에서, (3) 음성, 터치, 및 조그 다이얼 사이에서 또는 이들 및 다른 모달리티의 임의의 조합 사이에서 원활하게 이동할 수 있다.
특정한 태스크와 관련되는 액션은 유저의 컨텍스트에 따라 상이한 모달리티를 사용하여 수행될 수 있다는 것이 인식되고 이해되어야 한다. 예를 들면, 하나의 태스크는 소정의 액션을 수반할 수도 있다. 이 액션은 음성 모달리티, 예를 들면, "다음 번 음악 트랙을 재생해"를 사용하여 수행될 수도 있을 것이다. 대안적으로 또는 추가적으로, 이 액션은, 콘솔의 디스플레이 디바이스 상에서 디스플레이되는 다음 번 음악 트랙을 유저에 의해 터치 선택할 때 터치 입력을 사용하여 수행될 수도 있을 것이다. 대안적으로 또는 추가적으로, 이 액션은, 유저가 조그 다이얼을 사용하여 다음 번 음악 트랙으로 내비게이팅하고 그 다음 조그 다이얼을 눌러 다음 번 음악 트랙을 선택하는 것에 의해 수행될 수도 있을 것이다. 유저의 컨텍스트에 의존하여, 유저는 어떤 모달리티를 사용할지를 자유롭게 선택한다. 따라서, 예를 들면, 붐비는 교통 상황(busy traffic)에서, 유저는 간단하게 음성 모달리티를 사용하여 그들의 선택을 행할 수도 있다. 한편, 유저가 정지 신호에 있거나 또는 주차장에 있는 경우, 그들은 동일한 액션을 행하거나 또는 수행하기 위해 터치 입력 또는 조그 다이얼을 사용할 것을 선택할 수도 있다.
음성 및 터치
예로서, 동일한 컴포넌트를 묘사하기 위해 동일한 도면 부호가 활용된 도 3을 고려한다. 이 예에서, 유저는 그들의 차에 들어가 있고 그들의 전화(104)를 USB 연결을 통해 콘솔(106)에 연결하였다. 이렇게 하면, 소위 "구동 모드(drive mode)" 도구(instrumentality)(300)가 원의 형태로 나타난다. 구동 모드 도구는, 유저가 콘솔의 디스플레이 디바이스를 터치 선택하여 구동 모드 기능성과 상호 작용하는 것을 가능하게 한다. 시작 스크린이 또한 콘솔의 디스플레이 디바이스 상에서 나타나며, 본 예에서는 타일을 포함하는 다수의 오브젝트를 포함한다. 임의의 적절한 타입의 오브젝트가 콘솔의 디스플레이 디바이스 상에 디스플레이될 수 있다는 것이 인식되고 이해되어야 한다. 이와 같이, 타일은 이러한 오브젝트의 하나의 예를 구성할 뿐이다.
이 예에서, 유저는 그들의 음성을 사용하여 "마이크 존슨(Mike Johnson)에게 전화해"라고 말한다. 이 오디오 입력은 전화(104) 상의 상호 작용 모듈(210)(도 2)에 의해 수신된다. 결과적으로, 상호 작용 모듈은 마이크 존슨의 연락처 정보를 검색하기(retrieve) 위해 전화(104) 상의 "연락처" 애플리케이션과 상호 작용한다. 이렇게 하는 동안, 상호 작용 모듈은, 유저의 연락처에 두 명의 마이크 존슨 엔트리가 존재한다는 것을 알게 된다. 그러면, 상호 작용 모듈(210)은 "두 명의 마이크 존슨이 있습니다 - 누구에게 전화를 걸까요"라고 말하는 것에 의해 유저의 응답을 촉구한다. 이 오디오 프롬프트와 연계하여, 전화(104)의 디스플레이 드라이버 모듈(214)은, 유저가 소망하는 피호출자(callee)를 선택하는 것을 허용하기 위해, 유저 인터페이스로 하여금 콘솔의 디바이스 디스플레이 상에 디스플레이되게 할 수 있다. 예로서, "최근", "이너 서클(inner circle)", "친구", "직장", 및 "전체"를 포함하는 다수의 터치 선택가능한 선택지를 갖는 "사람들" 카테고리를 포함하는 유저 인터페이스를 예시하는 도 4를 고려한다. 게다가, 디스플레이 부(400)는 두 개의 선택가능한 "마이크 존슨" 엔트리를 나열한다. 따라서, 유저는 올바른 마이크 존슨을 터치 선택하여 통화 경험을 개시할 수 있다. 이것은, 이동 전화, 직장 전화, 인터넷 전화(voice over IP; VoIP) 번호 중 어느 것으로 전화를 걸지를 유저가 터치 선택하는 것을 가능하게 하는 유저 인터페이스의 후속하는 표시를 포함할 수 있다.
따라서, 이 특정한 예에서, 유저는 검색이 그들의 전화(104)에 의해 수행되게 하기 위해 음성 입력을 사용하였다. 전화 상에서의 유저의 연락처의 검색은 모호성으로 나타났다. 그 다음, 유저가 터치 입력을 통해 모호성을 제거하는 것을 가능하게 하기 위해, 전화(104)는 유저 인터페이스가 콘솔의 디스플레이 디바이스 상에 디스플레이되게 하였다. 이 방식에서는, 상이한 입력 모달리티가 함께 활용되어 태스크를 완수하였다.
음성 및 조그 다이얼
터치 입력 대신 조그 다이얼과 관련하여, 상기에서 설명된 것과 유사한 기능성이 제공될 수 있다. 예로서, 동일한 컴포넌트를 묘사하기 위해 동일한 도면 부호가 활용된 도 5를 고려한다.
상기 예와 마찬가지로, 유저는 그들의 음성을 사용하여 "마이크 존슨에게 전화해"라고 말한다. 이 오디오 입력은 전화(104) 상의 상호 작용 모듈(210)(도 2)에 의해 수신된다. 결과적으로, 상호 작용 모듈은 마이크 존슨의 연락처 정보를 검색하기(retrieve) 위해 전화(104) 상의 "연락처" 애플리케이션과 상호 작용한다. 이렇게 하는 동안, 상호 작용 모듈은, 유저의 연락처에 두 명의 마이크 존슨 엔트리가 존재한다는 것을 알게 된다. 그러면, 상호 작용 모듈(210)은 "두 명의 마이크 존슨이 있습니다 - 누구에게 전화를 걸까요?"라고 말하는 것에 의해 유저의 응답을 촉구한다. 이 오디오 프롬프트와 연계하여, 전화(104)의 디스플레이 드라이버 모듈(214)은, 유저가 도 5에서 도시되는 바와 같은 소망하는 피호출자(callee)를 선택하는 것을 허용하기 위해, 유저 인터페이스로 하여금 콘솔의 디바이스 디스플레이 상에 디스플레이되게 할 수 있다. 이 특정한 예에서, 리스트에서 나타나는 제1 "마이크 존슨"은, 유저 인터페이스 도구 - 여기서는, 직사각형 - 의 프레임에 들어가서 그것이 선택될 수 있다는 것을 나타낸다. 조그 다이얼을 회전시키는 것에 의해, 유저는 유저 인터페이스 도구를 첫 번째 나열된 "마이크 존슨"(점선의 직사각형에 의해 나타내어짐)으로부터 두 번째 나열된 "마이크 존슨"(실선의 직사각형에 의해 나타내어짐)가지 내비게이팅하였다. 이제, 유저는 조그 다이얼을 아래쪽 화살표의 방향으로 누르는 것에 의해 두 번째 나열된 "마이크 존슨"을 간단히 선택할 수 있다. 이것은 의도된 피호출자에 대한 통화를 개시할 수 있다. 대안적으로 또는 추가적으로, 이동 전화, 직장 전화, 인터넷 전화(VoIP) 번호 중 어느 것으로 전화를 걸지를 유저가 터치 선택하는 것을 가능하게 하는 유저 인터페이스의 후속하는 표시를 포함할 수 있는 후속하는 유저 경험이 제공될 수 있다.
따라서, 이 특정한 예에서, 유저는 검색이 그들의 전화(104)에 의해 수행되게 하기 위해 음성 입력을 사용하였다. 전화 상에서의 유저의 연락처의 검색은 모호성으로 나타났다. 그 다음, 유저가 조그 다이얼의 사용을 통해 모호성을 제거하는 것을 가능하게 하기 위해, 전화(104)는 유저 인터페이스가 콘솔의 디스플레이 디바이스 상에 디스플레이되게 하였다. 이 방식에서는, 상이한 입력 모달리티가 함께 활용되어 태스크를 완수하였다.
음성, 터치, 및 조그 다이얼
적어도 일부 실시형태에서, 유저는, 음성, 터치, 및 조그 다이얼을 포함하는 입력 모달리티 사이에서 자유롭게 이동할 수도 있다. 예로서, 구동 모드에 진입하기 위해 구동 모드 유저 도구(300)를 유저가 터치 선택한 도 6을 고려한다. 구동 모드 진입시, 유저는 시스템, 도 7에서 도시되는 바와 같은 "오늘은 어떻게 도와드릴까요?"에 의해 구두로 응답을 촉구 받는다.
운전자는 "콜드플레이(Coldplay) 같은 음악을 틀어줘"라고 응답한다. 상호 작용 모듈(210)은 이 입력을 수신하고, 전화(104) 상의 미디어 재생 애플리케이션과 협력하여, 관련된 질의에서 리턴되었던 여러가지 노래를 식별한다. 예로서, 도 8을 고려한다.
거기서, 세 개의 상이한 노래가 위치 결정되었고 도시되는 바와 같이 나열된다. 그러면, 유저는 조그 다이얼을 사용하여 선택 항목을 통해 아래로 이동할 수 있고 상기에서 설명되는 바와 같이 조그 다이얼을 사용하여 하일라이트된 노래를 선택할 수 있거나, 또는 예시에서 도시되는 바와 같이 스크린을 터치하는 것에 의해 터치 선택을 행할 수 있다. 이제, 노래는 차량의 사운드 시스템 상에서 재생될 것이다.
후속하여, 시스템은 유저의 경로를 따른 사고를 인식한다. 시스템은, 클라우드(204)(도 2)를 통한 클라우드 서비스와의 통신을 통해 이것을 행할 수 있다. 시스템이 사고를 인식한 경우, 시스템은, 유저가 경로를 재지정 받고자 하는지의 여부를 확인하기 위해 유저에게 구두로 응답을 촉구할 수 있다. 예로서, 도 9를 고려한다. 거기서는, 시스템은 유저에게 구두로 응답을 촉구하고, 유저에 의해 선택될 수 있는 유저 도구를 제공한다. 이 특정한 경우에, 유저는, 그들이 사고를 우회하여 경로를 재지정 받을 수 있도록 "경로 재지정" 선택지(selection)를 터치 선택하였다. 그 다음, 유저는 가청의 방향뿐만 아니라 콘솔의 디스플레이 디바이스의 상에서 디스플레이되는 맵 상에서 제공되는 시각적 방향 둘 다를 수신할 수 있다. 이 방식에서, 하나의 특정한 태스크와 관련되는 액션은, 상이한 태스크와 관련되는 수행 가능한 액션이 수행에 이용 가능하다는 것을 유저의 컨텍스트가 나타내는 경우, 중단될 수 있다.
이제, 유저가 그들이 듣고 있는 음악 트랙을 변경하기를 원한다고 가정한다. 그들은 간단히 유저 인터페이스 도구(300)를 터치 선택하는 것에 의해 그렇게 할 수 있고, 도 7에서 설명되는 것과 유사한 방식으로, 그들은 시스템에 의해 구두로 응답을 촉구 받을 것이다. 그 다음, 유저는 "다음 번 트랙을 재생해"라고 음성 입력을 제공할 수 있고 그러면 시스템은 다음 번 트랙을 자동적으로 재생할 것이다.
따라서, 이 특정한 예에서, 유저는, 그들의 전화를 통해 그들의 차량 정보/엔터테인먼트 시스템을 작동시키기(engage) 위해 세 개의 상이한 입력 모달리티를 사용하였다.
도 10은 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다. 방법은 임의의 적절한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 수행될 수 있다. 흐름도에서, 두 개의 칼럼이 존재한다 - "모바일 디바이스"로 표시된 하나와 "차량 내 정보/엔터테인먼트 시스템"으로 표시된 다른 하나. 이것은, 액션 중 일부가 모바일 디바이스에 의해 수행되고, 나머지 액션이 차량의 엔터테인먼트 시스템에 의해 수행된다는 것을 나타내는 것이다.
단계 1000은 모바일 디바이스와 차량 내 정보/엔터테인먼트 시스템 사이에서 연결을 확립한다. 비제한적인 예로서, 이동 전화를 포함하는 임의의 적절한 모바일 디바이스가 활용될 수 있다. 게다가, 모바일 디바이스와 엔터테인먼트 시스템 사이에서 임의의 적절한 타입의 연결이 확립될 수 있다. 게다가, 이 단계의 양태는, 모바일 디바이스 및 엔터테인먼트 시스템 둘 다에 의해 수행될 수 있다. 예를 들면, 디바이스 및 시스템은, 적절한 핸드셰이크(handshake)를 통해, 서로 동작가능하게 결합될 수 있다. 상기의 예에서는, 모바일 디바이스와 엔터테인먼트 시스템 사이에서 통신을 확립하기 위해 USB 연결이 활용되었다.
단계 1002는 제1 모달리티 타입의 입력을 수신한다. 입력은, 유저가 달성하기를 소망하는 특정한 태스크와 관련된다. 특정한 태스크는, 태스크를 달성하기 위해 수행될 다수의 상이한 액션을 구비할 수도 있다. 비제한적인 예로서, 음성, 터치, 및/또는 조그 다이얼과 같은 제어부를 통해 수신되는 입력을 포함하는 임의의 적절한 모달리티 타입이 수신될 수 있다. 상기의 예시된 예에서, 유저 경험을 개시하는 입력은 음성 입력을 포함한다. 제1 모달리티 타입의 입력을 수신하는 것에 응답하여, 단계 1004는 엔터테인먼트 시스템과 통신한다. 임의의 적절한 타입의 통신이 수행될 수 있다. 예를 들면, 적어도 일부 실시형태에서, 제1 입력은, 모바일 디바이스, 및 특히, 모바일 디바이스 상에서 실행하는 하나 이상의 모듈로 하여금, 모바일 디바이스 상에서 상주하는 하나 이상의 애플리케이션과 협력하게 할 수 있다. 애플리케이션은 임의의 적절한 타입의 애플리케이션을 포함할 수 있다. 예를 들면, 상기의 예에서와 같이, 유저가 특정한 상대와 통신하기를 원하면, 모바일 디바이스 상에서 실행하는 모듈은, 디바이스의 연락처 애플리케이션로부터, 의도된 피호출자와 관련되는 정보를 확인할 수 있다. 그 다음, 이 정보는, 유저 인터페이스가 렌더링되는 것을 가능하게 하고 그 다음 유저가 호(call)를 확립하는 것을 가능하게 할 수 있는 정보 및 데이터와 함께 엔터테인먼트 시스템으로 전달될 수 있다.
단계 1006는 모바일 디바이스로부터 통신 신호를 수신한다. 통신 신호는, 유저 인터페이스가 엔터테인먼트 시스템의 시각적 콘솔 또는 디스플레이 디바이스 상에 렌더링되는 것을 가능하게 하는 정보 및 데이터를 포함할 수 있다. 단계 1008은, 태스크의 통신 및 수행과 관련되는 하나 이상의 액션을 수행한다. 비제한적인 예로서, 하나 이상의 상이한 모달리티 타입을 사용하여 유저가 엔터테인먼트 시스템과 상호 작용하는 것을 허용하는 유저 인터페이스를 렌더링하기 위해, 모바일 디바이스에 의해 제공되는 데이터 및 정보를 프로세싱하는 것을 포함하는 임의의 적절한 액션이 수행될 수 있다.
단계 1010은 태스크를 수행하는 것과 관련되는 제2 모달리티 타입의 입력을 수신한다. 예시되고 설명되는 예에서, 제2 모달리티 타입은 제1 모달리티 타입과는 상이하다. 임의의 적절한 모달리티 타입이 활용될 수 있는데, 그 예는 상기에서 제공되어 있다. 제2 모달리티 타입의 입력을 수신하는 것에 응답하여, 단계 1012는 수신된 입력과 관련되는 하나 이상의 액션을 수행한다. 임의의 적절한 액션이 수행될 수 있다. 예시되고 설명되는 예에서, 이들 액션은, 단계 1008에서 수행되는 액션에 의해 개시되었던 태스크와 관련될 수 있다. 대안적으로 또는 추가적으로, 단계 1012에 의해 수행되는 액션은, 단계 1008에서 수행되는 액션과 관련되는 태스크와는 상이한 태스크와 관련될 수 있다.
단계 1016은 제3 모달리티 타입의 입력을 수신한다. 예시되고 설명되는 예에서, 제3 모달리티 타입은 제1 모달리티 타입 및 제2 모달리티 타입 둘 다와는 상이하다. 임의의 적절한 모달리티 타입이 활용될 수 있는데, 그 예는 상기에서 제공되어 있다. 제3 모달리티 타입의 입력을 수신하는 것에 응답하여, 단계 1018은 수신된 입력과 관련되는 하나 이상의 액션을 수행한다. 임의의 적절한 액션이 수행될 수 있다. 예시되고 설명되는 예에서, 이들 액션은, 단계 1008에 의해 수행되었던 액션 및 단계 1012에 의해 수행되었던 액션에 의해 개시되었던 태스크와 관련될 수 있다. 대안적으로 또는 추가적으로, 이들 액션은, 단계 1008 및/또는 1012에 의해 수행되는 액션과 관련되는 태스크와는 상이한 태스크와 관련될 수 있다. 그 다음, 방법은 제1, 제2, 및/또는 제3 모달리티 타입의 입력을 계속 수신할 수 있고 동일한 또는 상이한 태스크와 관련되는 추가적인 액션을 수행할 수 있다.
이 방식에서, 유저는, 모달리티 사이에서 원활하고 연속적인 모달리티 핸드오프를 갖는 다수의 상이한 모달리티를 사용하여 단일의 태스크 또는 다양한 태스크를 완수할 수 있다. 모달리티는, 음성, 터치, 및 조그 다이얼과 같은 제어부를 포함할 수 있다. 원활한 모달 핸드오프는, 유저가 그들의 컨텍스트에 따라 그들의 입력 모달리티를 쉽게 변경하는 것을 허용한다. 따라서, 예를 들면, 유저가 음성 모달리티를 사용하여 태스크를 개시하고 그들이 복잡한 교통 상황(heavy traffic)에 있다는 것을 발견하면, 그들은, 그들이 덜 바쁘게 운전하고 있을 때까지, 예를 들면, 정지 신호에 있거나 또는 한가한 교통 상황(light traffic)에 있을 때까지, 음성 모달리티를 사용하여 계속 태스크를 수행할 수도 있다. 즉, 유저는 임의의 적절한 조합의 이들 상이한 입력 모달리티 사이에서 자연스럽게 이동할 수 있다. 예를 들면, 유저는 (1) 음성과 터치 사이에서, (2) 음성과 조그 다이얼 사이에서, (3) 음성, 터치, 및 조그 다이얼 사이에서 또는 이들의 임의의 조합 사이에서 원활하게 이동할 수 있다.
멀티 모달 입력을 통해 태스크가 어떻게 완수될 수 있는지를 고려하였으므로, 이제, 유저의 컨텍스트에 기초하여 음성 전용 경험이 어떻게 조정될 수 있는지의 양태를 고려한다.
음성 전용 경험의 조정
하나 이상의 실시형태에서, 음성 전용 경험은 유저의 컨텍스트에 기초하여 조정될 수 있다. 유저의 컨텍스트는, 비제한적인 예로서, 유저의 운전 시나리오, 인지 부하 등을 포함할 수 있다. 따라서, 음성 경험은, 운전 안전성을 증진하는 방식으로 유저의 컨텍스트를 수용하도록 동적으로 적응될 수 있다. 게다가, 음성 상호 작용을 통해, 유저는 특정한 응답 타입을 활용할 것을 촉구 받을 수 있다. 이 방식에서, 유저는, 그들의 현재 컨텍스트에 최상으로 적합되는 응답 타입을 자유롭게 선택한다.
예로서, 유저가 차를 운전하고 있고 차의 상호 작용 모듈 또는 개인 어시스턴트와 대화에 참여하고 있는 것을 예시하는 도 11을 고려한다. 이 예에서, 유저는 차에 들어가 있고 그들의 모바일 디바이스를 그들의 차량의 엔터테인먼트 시스템과 연결하였다. 따라서, 모바일 디바이스는 유저가 운전 중이다는 것을 안다.
이 예에서, 상호 작용 모듈은 동심원 아이콘에 의해 표현되고 유저는 유저 아이콘에 의해 표현된다. 차량을 시동시킨 이후, 유저는 상호 작용 모듈을 작동시키는데, 상호 작용 모듈은, 응답으로, "도와드릴까요?"로 응답한다. 유저는 "오늘 하루는 어때?"라고 응답한다. 이 질문에 응답하여, 상호 작용 모듈은, 유저의 캘린더 애플리케이션으로부터, 유저가 약속이 있는지의 여부를 확인하고 "은행에서 10시에 회의가 있습니다. 더 들어 보시겠습니까?" 라고 응답한다. 그 다음, 유저는 "아니 고마워"라고 응답한다.
언젠가 나중에, 유저는 문자 메시지를 수신하고 상호 작용 모듈은 "형으로부터의 메시지가 있습니다. 들어보시겠습니까?"라고 말하는 것에 의해 유저에게 통지한다. 유저에게 그들이 문자 메시지를 듣기를 원하는지를 물어보는 것에 의해, 그리고 유저가 운전 중이다는 것을 모바일 디바이스가 알기 때문에, 상호 작용 모듈은, 모바일 디바이스의 스크린 또는 콘솔의 디스플레이 디바이스 중 어느 하나 상에 메시지를 디스플레이하는 것보다 더 안전한 모달리티에 대한 기회를 제공하고 있다. 유저는 "아니"라고 응답한다.
언젠가 나중에, 유저는 전화를 받게 되고 상호 작용 모듈은 "부인한테서 전화가 왔습니다. 전화를 받으시겠습니까?"라고 말하는 것에 의해 유저에게 통지한다. 유저는 "응"이라고 응답하고 그의 부인과 간단한 대화를 나눈다. 대화하는 과정 동안, 유저는 그의 형이 그에게 연락하려고 시도했다는 것을 알게 된다. 그러면, 유저는 상호 작용 모듈을 작동시키고, 상호 작용 모듈은 "도와드릴까요?"라고 응답한다. 유저는 상호 작용 모듈에게 "형한테서 온 가장 최근의 메시지를 읽어줘"라고 말한다. 상호 작용 모듈은, "'안녕, 동생, 오늘 같이 저녁 먹자.' 답장하시겠습니까, 전화하시겠습니까, 또는 마치겠습니까?"라고 응답한다. 이 특정한 경우에, 상호 작용 모듈은, 유저가 특정한 응답 타입, 즉, 문자 답장 또는 전화 통화 중 어느 것을 사용할 것을 원하는지의 여부에 관해 유저에게 응답을 촉구한다. 따라서, 상호 작용 모듈은, 유저의 특정한 운전 컨텍스트가 주어지면 가장 편리한 통신 매체를 선택할 기회를 유저에게 제공한다. 이 응답 촉구에 응답하여, 유저는 "답장해"라고 말한다. 상호 작용 모듈은 "뭐라고 답장할까요?"라고 유저에게 물어본다. 답장에서, 유저는 "좋아, 8시에 먹자. 내가 예약하고 알려줄게"라고 응답한다.
답장의 내용을 확인한 이후, 상호 작용 모듈은 "전송할까요, 추가할까요, 또는 다시 작성하시겠습니까?"라고 물어본다. 유저는 "전송해"라고 응답하고 그 후에 상호 작용 모듈은 "메시지가 전송되었습니다"라고 확인한다.
언젠가 나중에 운전하는 과정 동안, 유저는 상호 작용 모듈을 작동시키고 상호 작용 모듈은 "도와드릴까요?"라고 응답한다. 유저는 "회사에 도착하면 저녁 예약하도록 리마인드해줘"라고 응답한다. 상호 작용 모듈은 "알겠습니다. 회사에 도착하면 저녁 식사 예약하도록 리마인드하겠습니다. 맞습니까?"라고 응답한다. 유저는 "응"이라고 응답하고 이 응답에 대해 상호 작용 모듈은 "좋습니다. 리마인더를 추가했습니다"라고 응답한다.
다른 예로서, 유저가 차를 운전하고 있고 차의 상호 작용 모듈 또는 개인 어시스턴트와 대화에 참여하고 있는 것을 예시하는 도 12를 고려한다. 이 특정한 예에서, 유저는 그들의 개인 어시스턴트 또는 상호 작용 모듈을 활성화하였다. 상호 작용 모듈은 "도와드릴까요?"라고 응답한다. 유저는 "콜드플레이(Coldplay) 같은 음악을 틀어줘"라고 응답한다. 상호 작용 모듈은 "알겠습니다. 엑스박스(Xbox) 뮤직에서 콜드플레이 음악을 틀겠습니다"라고 응답한다.
언젠가 나중에, 상호 작용 모듈은 중간에 끼어 들어(interrupt) "가는 경로에 사고가 있어서 큰 지연이 발생합니다. SR-123을 따라 우회하여 15분을 절약할까요?"라고 통지한다. 유저는 "응"이라고 응답한다. 그 다음, 상호 작용 모듈은 "좋습니다. 차례 차례 안내하겠습니다. 1마일 앞에서 162B로 표시된 진출로를 타세요"라고 응답한다.
언젠가 나중에, 상호 작용 모듈은 다시 활성화되고 "도와드릴까요?"라고 응답한다. 유저는 "다음 번 방향 전환은 언제야?"라고 물어본다. 상호 작용 모듈은, 2마일 앞에서 머서가(Mercer Street)로 우회전하세요"라고 응답한다. 언젠가 나중에, 상호 작용 모듈은 다시 활성화되고 "도와드릴까요?"라고 응답한다. 유저는 다음 번 곡으로 전환하기 위해 "다음 트랙"이라고 말한다. 상호 작용 모듈은 "알겠습니다. 다음 트랙"이라고 응답한다.
방금 설명된 예에서, 상호 작용 모듈은 유저에게 예비 조치 지원(proactive assistance)을 제공한다. 구체적으로는, 운전 경로에 사고가 있다는 것을 유저에게 통지하는 것에 의해, 상호 작용 모듈은 유저가 그들의 운전 경로와 관련하여 결정을 행하는 것을 예비 조치로(proactively) 가능하게 한다. 게다가, 상호 작용 모듈은 유저에게 추천할 우회로를 예비 조치로 결정한다. 이 예는 또한, 유저의 운전 상황의 모바일 디바이스의 컨텍스트에 맞는 인식을 예시한다. 즉, 컨텍스트에 맞게 인식하는 것에 의해, 상호 작용 모듈은 유저의 경험을 향상시킬 지능적 제안 및 프롬프트를 제공할 수 있다. 또한, 이 예는, 유저의 경험과 관련한 후속하는 입력이 정확하게 행해질 수 있도록 유저의 경험의 컨텍스트의 이해를 유지하는 시스템의 능력을 예시한다. 예를 들면, 유저는 음악을 트는 것에 의해 경험을 개시하고, 후속하여, 사고에 관한 통지 때문에 시스템에 의해 중단된다. 경로 재지정 정보를 수신하는 것과 관련되는 유저 경험 동안, 유저는 시스템을 작동시켜 다음 번 트랙으로 변경한다. 따라서, 시스템은 유저의 경험의 컨텍스트의 이해를 유지하고 중단했던 곳에서 유저의 음악 경험을 재개할 수 있다. 이와 같이, 시스템은, 제2 상이한 애플리케이션과 관련되는 제2 상이한 태스크(예를 들면, 맵 애플리케이션에 의해 재지향되는 것)에 의해 제1 애플리케이션과 관련되는 제1 태스크(예를 들면, 미디어 플레이어 애플리케이션을 사용하여 음악을 재생하는 것)의 중단을 가능하게 한다. 유저는 다수의 상이한 모달리티를 사용하여 애플리케이션을 작동시킬 수도 있고 현재 태스크와 후속하는 태스크 사이에서 매끄럽게 시프트할 수도 있다.
컨텍스트에 맞는 인식의 다른 예로서, 다음의 것을 고려한다. 유저가 혼잡 시간대(rush hour) 동안 고속도로를 따라 주행하고 있다고 가정한다. 이와 같이, 교통 상황은 혼잡하다. 유저가 특정한 시간에 특정한 고속도로를 주행하고 있다는 것을 아는 것에 의해, 상호 작용 모듈은 유저 경험을 어떻게 제시할지에 관한 결정을 행할 수 있다. 따라서, 예를 들면, 유저가 문자 메시지를 수신하면, 상호 작용 모듈은, 유저가 혼잡 시간대 교통 상황에서 운전하고 있지 않는 나중의 시간까지, 유저에 대한 통지를 지연시킬 것을 선택할 수 있다. 임의의 타입의 통지 또는 프롬프트에 대해서도 마찬가지일 수 있다. 이 예는 또한, 모바일 시나리오에 있을 때와 비모바일 시나리오에 있을 때 개인 어시스턴트 경험이 어떻게 적응될 수 있는지를 예시한다. 구체적으로는, 비모바일 시나리오에서, 통지는 이벤트가 발생하자마자, 예를 들면, 문자 메시지를 수신하자마자 제공될 수 있다. 그러나, 모바일 시나리오에서, 이러한 통지는 타이밍의 관점에서 수정될 수도 있을 것이다.
컨텍스트에 맞는 인식의 다른 예로서, 다음의 것을 고려한다. 유저가 파이크스 플레이스 마켓(Pike's Place Market) 근처의 시애틀 다운타운에서 주행하고 있고 주차 장소를 찾고 있다고 가정한다. 시스템은, 유저의 캘린더를 통해, 유저가 근처 위치에서 약속이 있다는 것을 안다. 유저는 또한 시스템에게 그가 주차 장소를 찾으려고 하고 있다는 것을 통지한다. 시스템은 "주차하면, 다른 장소를 찾아서 15분 동안 교통 혼잡 상황에서 머무는 대신 더 좋은 주차장을 발견할 것이고 걸어서 단지 5분이기 때문에, 지금 주차하는 것이 아마도 최상일 것입니다."라고 제안한다.
다른 예로서, 유저가 연료가 다 떨어져 가고 교통 혼잡 상태에 있는 것을 고려한다. 유저는 "쉘(Shell)" 서비스 스테이션 서비스에 가입했을 수도 있다. 현재 위치 및 차량의 연료가 부족하다는 것뿐만 아니라, "쉘" 서비스 스테이션 가입을 아는 것에 의해, 상호 작용 모듈은 "가능한 한 빨리 연료를 보충해야 합니다. 다음 출구에 쉘 스테이션이 있습니다"라고 제안할 수도 있다. 이 방식에서, 상호 작용 모듈은 유저의 이동 전화 상에서 실행하는 다른 애플리케이션 및/또는 원격으로, 예를 들면, "클라우드"에서 실행하는 애플리케이션과 협력하여 작동할 수 있고, 이들 다른 애플리케이션으로부터 조금씩 수집되는 정보에 기초하여 컨텍스트에 맞게 적절한 제안을 행할 수 있다.
다른 예로서, 시스템은 유저가 얼터너티브 음악(alternative music)을 좋아한다는 것을 알아차릴 수도 있다. 유저가 남캘리포니아를 통해 운전하고 있을 때, 시스템은 유저에게 "이봐요, 당신은 얼터너티브 음악을 좋아하고 남캘리포니아를 통해 운전하고 있어요. 알고 싶어할 수도 있는 몇몇 위대한 지역 밴드가 있어요. 그들에 대해 들어보시겠습니까?"라고 통지할 수도 있다.
도 13은 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다. 방법은 임의의 적절한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 수행될 수 있다. 예시되고 설명되는 실시형태에서, 방법은 적절하게 구성된 모바일 디바이스 예컨대 이동 전화에 의해 수행된다.
단계 1300은, 이동 전화가 차량 안에서 이동 중에 있다는 것을 확인한다. 단계는 임의의 적절한 방식으로 수행될 수 있다. 예를 들면, 적어도 일부 실시형태에서, 단계는, 이동 전화와 차량의 엔터테인먼트 시스템 사이에서 동작 가능한 연결이 확립될 때, 수행될 수 있다. 이동 전화가 차량 안에서 이동하고 있다는 것을 확인하는 것에 응답하여, 단계 1302는 이동 전화와 관련되는 개인 어시스턴트 경험을 수정한다. 이것은 임의의 적절한 방식으로 행해질 수 있다. 예를 들면, 이 단계는, 전화의 디스플레이 스크린과 같은 다른 모달리티보다는 통지를 위해 음성 모달리티를 사용하는 것에 의해 수행될 수 있다. 예를 들면, 비모바일 시나리오에서, 통지는, 전화의 디스플레이 스크린 상에 통지를 단순히 디스플레이하는 것에 의해, 또는 어쩌면 배지 또는 아이콘을 사용하는 것에 의해 제공될 수도 있다. 그러나, 모바일 시나리오에서는, 운전 안전성을 증진시키기 위해 통지를 디스플레이하는 대신 또는 통지를 디스플레이하는 것에 더해, 음성 통지가 사용될 수도 있을 것이다. 이 방식에서, 유저는 통지를 수신하기 위해 전화 스크린을 볼 필요가 없다. 이 단계는 또한, 운전 시나리오에 더욱 안전하게 도움이 되는 응답 타입을 제안하는 것에 의해 수행될 수 있다. 예를 들면, 문자 메시지를 수신하여 유저에게 통지하는 것에 응답하여, 개인 어시스턴트는, 유저가 도로에서 눈을 뗄 필요가 없는 응답 타입, 예를 들면, 문자 답장, 전화 통화, 인터넷 전화 통화 등을 제안할 수도 있다. 또한, 단계는 통지의 타이밍을 조정하는 것에 의해 수행될 수 있다. 구체적으로는, 상기의 예에서와 같이, 유저가 혼잡 시간대 교통 상황에 있으면, 유저가 혼잡 시간대 교통 상황에 있지 않는 그러한 시간까지 통지는 지연될 수도 있을 것이다.
도 14는 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다. 방법은 임의의 적절한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 수행될 수 있다. 예시되고 설명되는 실시형태에서, 방법은 적절하게 구성된 모바일 디바이스 예컨대 이동 전화에 의해 수행된다.
단계 1400은, 이동 전화가 차량 안에서 이동 중에 있다는 것을 확인한다. 이것이 어떻게 행해질 수 있는지의 예는 상기에서 제공되어 있다. 단계 1402는 현재 운전 컨텍스트를 확인한다. 이 단계는 임의의 적절한 방식으로 수행될 수 있다. 예를 들면, 적어도 일부 실시형태에서, 이동 전화는, 웹 서비스와 같은 원격 리소스와의 통신에 기초하여 현재 운전 컨텍스트(예를 들면, 현재 위치, 교통 상황, 날씨 상태, 도로 건설 등)을 확인할 수 있다. 현재 운전 컨텍스트를 확인하는 것에 응답하여, 단계 1404는 현재 운전 컨텍스트와 관련되는 예비 조치 통지(proactive notification)를 제공한다. 따라서, 예를 들면, 현재 위치 및 교통 상황에 기초하여, 전화 디바이스의 개인 어시스턴트는 대안적인 경로를 추천할 수도 있다. 대안적으로 또는 추가적으로, 현재 날씨 상태에 기초하여, 개인 어시스턴트는 날씨 관련 경고, 예를 들면, "현재 위치에 대해 토네이도 경고가 있습니다. 육교와 같은 안전한 장소를 찾아서 도로를 벗어날 것을 고려하세요"를 내릴 수도 있다.
음성 전용 경험을 조정하는 것과 관련되는 다양한 실시형태를 고려하였으므로, 이제, 유저 인터페이스가 조그 다이얼 및 터치스크린에 대해 어떻게 조정될 수 있는지의 논의를 고려한다.
조그 다이얼 및 터치스크린에 대한 유저 인터페이스의 조정
조그 다이얼 및 터치스크린 둘 다에 대한 입력 메커니즘을 설계할 때 고려되는 고려사항 중 하나는, 햅틱 성질(nature)로 인해, 조그 다이얼이 통상적으로 설계하기가 더 어렵다는 것이다. 동시에, 터치 입력이 조그 다이얼 입력에 더해 고려되어야 하면, 입력 타겟은 둘 다를 수용하도록 설계되어야 한다. 즉, 터치 입력을 위한 터치의 용이성뿐만 아니라, 조그 다이얼 입력을 위한 내비게이션의 용이성을 용이하게 하도록 설계되어야 한다. 예시되고 설명되는 실시형태에서, 타겟은, 조그 다이얼 입력을 위해 탭을 통해 선정될 수 있는, 그리고 터치 입력을 수용하도록 사이즈가 정해질 수 있는 오브젝트를 포함한다. 임의의 적절한 타입의 오브젝트가 활용될 수 있는데, 그 예는 타일 또는 아이콘을 포함한다.
예로서, 도 3으로부터의 콘솔(106) 예시하는 도 15를 고려하는데, 동일한 도면 부호는 동일한 컴포넌트를 묘사하기 위해 사용된다. 거기서, 개개의 타일은 콘솔(106)에 의해 디스플레이되는 것으로 도시된다. 타일은 유저에 의해 쉽게 터치 선택되도록 사이즈가 정해진다. 동시에, 타일을 통한 내비게이션은 탭을 통해 선정되는 방식(tabbed-through manner)으로 조그 다이얼(112)을 사용하여 용이하게 될 수 있다. 구체적으로는, 내비게이션은 좌상(upper left)의 타일로 시작할 수 있고, 조그 다이얼을 시계 반향으로 회전시키는 것에 의해, 같은 라인의 그 다음 오른쪽의 타일로 내비게이팅될 수 있다. 이것은 첫 번째 행의 끝(즉, 첫 번째 행의 가장 오른쪽 탭)에 도달될 때까지 계속될 수 있고, 그 후에, 시계 방향에서의 조그 다이얼의 계속된 회전은 두 번째 행의 가장 왼쪽의 타일로 내비게이팅할 것이고, 계속 그런 식이다. 조그 다이얼을 통한 내비게이션에 대해 단일의 선형 방향을 사용하는 것에 의해, 유저는 내비게이션을 예측 가능한 방식으로 더 쉽게 제어할 수 있다. 이것은, 내비게이션 타겟을 통한 진행이 일련의 순서가 정해진 그리고 예측 가능한 방식으로 발생하기 때문이다. 이 특정한 예에서, 오브젝트의 내비게이션은 좌에서 우, 위에서 아래로의 방식으로 발생한다.
게다가, 상기에서 설명되는 바와 같이, 멀티 모달 입력을 다루는 섹션에서, 특정한 태스크를 완수하기 위한 입력은 조그 다이얼과 터치 사이에서 예측 가능하고 매끄러운 방식으로 전환될 수 있다. 예를 들면, 유저가 그들의 내비게이션을 용이하게 하기 위해 맵을 터치 선택했다고 가정한다. 그들은 그들의 현재 위치의 보다 세세한 시각적 자료를 획득하기 위해 맵 상에서 줌인하기를 원한다. 맵 상의 유저 인터페이스 도구는 유저가 다수의 터치 입력을 실행하여 맵을 줌(zoom)하는 것을 허용할 수 있지만, 대안으로서, 조그 다이얼이 사용될 수 있다. 이것은, 유저가 터치 줌을 선택했을 때마다 유저가 그들의 눈을 도로에서 떼야 하는 것을 덜어준다. 구체적으로는, 일단 맵이 선택되면, 유저는 간단히 조그 다이얼을 시계방향으로 돌려 줌인할 수 있거나, 또는 반시계 방향으로 돌려 줌아웃할 수 있다. 이 방식에서, 유저는 맵을 줌하기 위해 그들의 눈을 도로에서 떼지 않아도 된다.
적어도 일부 실시형태에서, 줌 가능한(zoomable) 콘텐츠 예컨대 맵 또는 다른 어포던스(affordance)가 콘솔 디스플레이 상에서 제시되면, 유저가 줌 동작을 실행하기를 소망하는 경우에, 그들이 가장 안전한 모달리티, 즉, 유저가 도로에서 그들의 눈을 떼는 것을 필요로 하지 않는 모달리티를 사용하여 그렇게 하는 것을 보장하기 위해, 줌 입력은 조그 다이얼에 고정될 수 있다. 이 방식에서, 입력 모달리티 중 하나는, 디스플레이된 콘텐츠, 예를 들면, 콘솔 상에 디스플레이되는 오브젝트와의 유저의 상호 작용의 컨텍스트에 기초하여, 다른 모달리티를 위해 잠길 수 있다.
대안적으로 또는 추가적으로, 디스플레이된 콘텐츠가 있는 상태에서 조그 다이얼을 아래로 누르는 것에 의한 것과 같이, 유저는 조그 다이얼을 사용하여 줌 가능한 콘텐츠를 선택했을 수도 있다. 일단 줌 가능한 콘텐츠가 디스플레이되면, 콘텐츠는, 두 손가락 핀치 제스쳐와 같은 터치 입력을 사용하여 줌될 수 있다.
다른 실시형태에서, 일단 줌 가능한 콘텐츠가 디스플레이되면, 조그 다이얼은, 줌 모달리티를 선택하도록, 조그 다이얼을 누르도록, 그리고 그 다음 어쩌면 터치 또는 조그 다이얼에 의해 조정될 수 있는 디스플레이되는 슬라이더 제어를 가지도록 디스플레이된 제어부 전체에 걸쳐 토글하기 위해 활용될 수 있다.
방금 상기에서 설명된 실시형태에 따른 방법은, 도 10과 연계하여 설명된 것과 유사한 방식으로 수행될 수 있다. 즉, 태스크를 개시하기 위해 또는 태스크 내의 액션을 수행하기 위해, 조그 다이얼과는 다른 모달리티를 통해 입력이 수신될 수 있다. 그 다음, 유저는 적절한 입력을 제공하기 위해 조그 다이얼로 전환할 수 있다. 예를 들면, 일부 경우에, 태스크의 수행 동안 일부 특정한 지점에서 조그 다이얼을 통해서만 입력이 제공될 수 있도록, 입력은 잠길 수도 있다. 대안적으로 또는 추가적으로, 조그 다이얼은 태스크의 수행에서 다양한 제어부를 내비게이팅하도록 활용될 수 있고, 그 후에, 태스크 내의 액션을 추가로 수행하기 위해 다른 입력 모달리티를 통한 입력이 활용될 수 있다.
도 15a는 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다. 방법은 임의의 적절한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 수행될 수 있다. 예시되고 설명되는 실시형태에서, 방법은, 차량 내 정보/엔터테인먼트 시스템, 및 이동 전화와 같은 적절히 구성된 모바일 디바이스를 포함하는 시스템에 의해 수행된다.
단계 1500은 차량 내 정보/엔터테인먼트 시스템의 콘솔 상에 오브젝트의 어레이를 디스플레이한다. 단계는 임의의 적절한 타입의 오브젝트를 사용하여 임의의 적절한 방식으로 수행될 수 있다. 예를 들면, 콘솔의 디스플레이는 이동 전화 상에 상주하는 애플리케이션 및 콘텐츠에 의해 구동될 수 있다. 디스플레이될 수 있는 오브젝트는 임의의 적절한 타입의 오브젝트를 포함할 수 있는데, 그 예는 타일, 아이콘 등을 포함한다. 도 15의 예에서, 오브젝트의 어레이는, 행과 열로 디스플레이되는 타일의 집합을 포함한다. 단계 1502는, 조그 다이얼 또는 터치 입력을 통한 오브젝트의 어레이와의 상호 작용을 가능하게 한다. 이 방식에서, 유저는 어느 하나의 모달리티를 사용하여 오브젝트의 어레이를 자유롭게 작동시킨다. 단계 1504는, 조그 다이얼 또는 터치 중 하나를 사용하여 태스크를 달성하는 입력을 수신한다. 임의의 적절한 타입의 태스크가 달성될 수 있다. 상기의 예에서, 태스크는 오브젝트의 어레이를 내비게이팅하여 궁극적으로는 선택을 행하는 것을 포함할 수 있다. 단계 1506은, 수신된 입력과 관련되는 적어도 하나의 액션을 수행한다. 내비게이션 예를 사용하면, 이러한 액션은 오브젝트를 시각적으로 내비게이팅하여 유저가 선택을 행하는 것을 가능하게 하는 것을 포함할 수 있다. 단계 1508는, 조그 다이얼 또는 터치 중 다른 하나를 사용하여 태스크를 달성하는 입력을 수신한다. 이 방식에서, 유저는, 동일한 태스크를 달성하기 위해, 모달리티를 매끄럽게 전환할 수 있다. 예를 들면, 제1 수신된 입력이 조그 다이얼을 통한 것이었다면, 내비게이션은 어레이의 개개의 오브젝트를 내비게이팅하도록 수행될 것이다. 흥미를 갖는 오브젝트에 도달하면, 유저는 오브젝트를 터치하여 그것을 선택할 수도 있다. 단계 1510은, 다른 수신된 입력과 관련되는 적어도 하나의 추가적인 액션을 수행한다. 이것은, 예를 들면, 선택된 오브젝트와 관련되는 콘텐츠를 론칭하는 것을 포함할 수 있다.
여전히 다른 실시형태에서, 콘솔 상에 디스플레이되는 유저 인터페이스는, 조그 다이얼 및 터치 스크린을 사용한 내비게이션 및 콘텐츠 소비를 용이하게 하도록 적응될 수 있다.
하나의 이러한 적응은, 길이가 길 수도 있는 리스트와 연계하여 활용될 수 있다. 예로서, 유저의 연락처 리스트의 일부를 디스플레이하는 도 16을 고려한다. 연락처 리스트는 많은 엔트리를 구비하며, 유저가 운전하는 동안 특정한 연락처로 전화 걸기를 소망하면, 유저는 주목하는 특정한 연락처를 찾기 위해 연락처 리스트의 많은 엔트리를 내비게이팅하는 문제점에 직면한다. 이 예에서, 조그 다이얼은 사용 불가능하다고 가정한다. 이 경우, 리스트는, 유저가 문자 단위로 점프하는 것을 가능하게 하는 어포던스를 포함하도록 구성된다.
이 특정한 예에서, 문자 단위의 점프 피쳐(jump-by-letter feature)는 도면에서 도시되는 바와 같이 특정한 문자를 선택하는 것에 의해 액세스될 수 있다. 거기서, 유저는 문자 "a"를 터치 선택하였다.
연락처가 디스플레이되는 동안 특정한 문자를 터치 선택하는 것에 응답하여, 선택 가능한 문자의 그리드가 제공되어 유저가 특정한 문자로 점프하는 것을 가능하게 한다. 예로서, 간격 제약 때문에, 문자 그리드가 콘솔로부터 떨어져 도시되는 도 17을 고려한다. 이 예에서, 유저는 문자 "m"을 터치 선택하였다. 문자 "m"을 터치 선택하는 것에 응답하여, 도 18에서 도시되는 것과 같은, 문자 "m"으로 시작하는 연락처로의 내비게이션이 발생한다. 거기서, 유저는 통신할 특정한 연락처 - 여기서는, "Mandrake Short" - 를 선택할 수 있다. 일단, 연락처가 선택되면, 유저는, 도 19에서 도시되는 것과 같은 여러가지 통신 옵션을 제시 받을 수 있다.
도 19a는 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다. 방법은 임의의 적절한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 수행될 수 있다. 예시되고 설명되는 실시형태에서, 방법은, 이동 전화와 같은 적절히 구성된 모바일 디바이스, 및 차량 내 정보/엔터테인먼트 시스템에 의해 수행된다.
단계 1900은, 횡단가능한 리스트(traversable list)의 일부를 디스플레이한다. 횡단가능한 리스트는 이동 전화로부터의 콘텐츠를 포함할 수 있다. 구체적으로는, 이 특정한 예에서, 이동 전화는 상기에서 설명되는 바와 같은 차량 내 엔터테인먼트/정보 시스템에 동작 가능하게 결합된다. 이 방식에서, 이동 전화의 콘텐츠는 차량의 콘솔 상에서 디스플레이될 수 있다. 임의의 적절한 타입의 횡단가능한 리스트가 제공될 수 있는데, 그 예는 상기에서 설명되는 바와 같은 유저의 연락처 리스트이다.
단계 1902는 리스트 오브젝트의 선택을 수신한다. 임의의 적절한 타입의 리스트 오브젝트는 수신된 선택의 대상일 수 있다. 예를 들면, 상기의 연락처 리스트 예에서, 선택은 특정하게 디스플레이된 문자와 관련하여 수신되었다. 적어도 일부 실시형태에서, 횡단가능한 리스트는, 리스트 내의 다른 위치로의 내비게이션을 가능하게 하는 리스트 오브젝트, 및 리스트의 콘텐츠를 포함하는 리스트 오브젝트를 포함할 수 있다. 연락처 리스트 예에서, 다른 위치로의 내비게이션을 가능하게 하는 리스트 오브젝트는 디스플레이된 문자를 포함하고, 한편 리스트의 콘텐츠를 포함하는 오브젝트는 유저의 개별 연락처를 포함한다. 리스트 오브젝트의 선택을 수신하는 것에 응답하여, 단계 1904는, 횡단가능한 리스트의 상이한 부분으로 내비게이팅하거나 또는 그 상이한 부분으로의 내비게이션을 가능하게 한다. 이 단계는 임의의 적절한 방식으로 수행될 수 있다. 예를 들면, 적어도 일부 실시형태에서, 단계는, 횡단가능한 리스트의 상이한 부분으로의 내비게이션을 가능하게 하는 오브젝트의 어레이 또는 그리드를 디스플레이하는 것에 의해 수행될 수 있다. 상기의 컨텍스트 예에서, 리스트의 상이한 부분으로의 내비게이션을 가능하게 하는 오브젝트의 어레이 또는 그리드는, 선택될 수도 있는 개별 문자를 포함한다. 어레이 또는 그리드의 디스플레이된 오브젝트 중 하나의 선택을 수신하는 것에 응답하여, 단계 1904는, 선택된 문자에 대응하는 리스트의 부분으로의 내비게이션을 완수한다. 단계 1906은 리스트 오브젝트의 선택을 수신한다. 이 단계는, 리스트의 콘텐츠를 포함하는 리스트 오브젝트의 선택을 수신하는 것에 의해 수행될 수 있다. 예를 들면, 연락처 리스트 예에서, 이 단계는, 리스트 내에서 나타나는 개별 연락처의 선택을 수신하는 것에 의해 수행될 수 있다. 리스트 오브젝트의 선택을 수신하는 것에 응답하여, 단계 1908은 리스트와 관련되는 기능성을 수행한다. 임의의 적절한 타입의 기능성이 수행될 수 있다. 상기의 연락처 리스트 예에서, 이러한 기능성은, 선택된 연락처와 통신하기 위해 유저에 의해 선택될 수 있는 여러가지 상이한 통신 옵션을 제시하는 것을 포함할 수 있다.
이제, 조그 다이얼이 이용 가능하며, 이전 예에서와 같은, 문자 단위의 점프 피쳐를 위해 사용되는 문자를 갖는 타일은, 더 유동적인 경험을 허용하도록 턴오프되는 것이 가정된다. 이 경우, 문자 단위로 점프하는 어포던스는, 유저가 조그 다이얼을 빠르게 돌릴 때 리스트를 대체하는 큰 단일의 문자로서 보인다.
예로서, 도 20을 고려한다. 거기서, 큰 문자 "e"가 디스플레이된다. 조그 다이얼을 빠르게 회전시키는 것에 의해, 문자가 빠르게 내비게이팅되어, 예를 들면, 도 21에서 도시되는 바와 같이, 문자 "h"와 같은 소망하는 문자에 도달할 수 있다. 이제, 조그 다이얼을 누르는 것에 의해, 유저는 도 22에서 도시되는 바와 같은 선택된 문자에 대응하는 장소로 리턴된다.
유사한 방식으로, 일단 유저가 리스트의 소망하는 문자에 도달하면, 그들은, 개별 문자로 내비게이팅하는 동안 그들이 행했던 거의 동일한 방식으로 리스트의 엔트리를 빠르게 내비게이팅할 수 있다. 즉, 유저가 조그 다이얼을 빠르게 회전시키면, 유저가 훨씬 아래의 리스트의 엔트리로 이동하기를 원한다는 가정이 이루어지고, 따라서, 유저는 리스트 아래로 점프할 수 있고 많은 엔트리를 넘어 횡단할 수 있다. 대안적으로, 조그 다이얼을 천천히 회전시키는 것에 의해, 유저는 각각의 디스플레이되는 이름을 통해 아래쪽으로 순차적으로 진행할 수 있다. 따라서, 이 예에서, 조그 다이얼은 리스트의 첫 번째 이름을 선택하는 것에 의해 시작할 수도 있고 조그 다이얼을 천천히 회전시키는 것에 의해 유저는 각각의 디스플레이되는 이름을 통해 순차적으로 아래로 진행할 수 있다. 이제, 유저가 조그 다이얼을 빠르게 회전시킨다고 가정한다. 이 방식에서, 리스트는 빠르게 횡단될 수 있고 다수의 리스트 엔트리는 스킵되어 리스트에서 여러 개의 엔트리 아래에서 나타나는 엔트리에 도달할 수 있다.
도 22a는 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다. 방법은 임의의 적절한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 수행될 수 있다. 예시되고 설명되는 실시형태에서, 방법은, 이동 전화와 같은 적절히 구성된 모바일 디바이스, 및 차량 내 정보/엔터테인먼트 시스템에 의해 수행된다.
단계 2200는, 차량 콘솔 상에, 하나 이상의 문자를 디스플레이한다. 이 단계는 임의의 적절한 방식으로 수행될 수 있다. 예를 들면, 적어도 일부 실시형태에서, 단일의 문자가 디스플레이될 수 있다. 대안적으로 또는 추가적으로, 적어도 일부 실시형태에서, 세 개 또는 네 개의 일련의 문자와 같은 다수의 문자가 디스플레이될 수 있다. 단계 2202는 조그 다이얼을 통해 유저 입력을 수신한다. 이 입력은 유저가 조그 다이얼을 특정한 방향, 예를 들면, 시계 방향 또는 반시계 방향으로 회전시키는 것의 결과로서 수신될 수 있다. 단계 2204는 조그 다이얼 회전 속도의 함수로서 문자를 순환시킨다. 예시되고 설명되는 예에서, 문자를 순환시키는 것은, 지정 문자에 도달할 때까지 순차적인 방식으로 개별 문자를 짧은 순간 동안 디스플레이하는 것을 포함할 수 있다. 단계 2206은 조그 다이얼을 통해 문자 선택을 수신한다. 이 단계는, 예를 들면, 조그 다이얼을 누르는 또는 다르게는 문자를 선택하는 소망을 나타내는 방식으로 조그 다이얼을 활용하는 유저 입력을 수신하는 것에 의해 수행될 수 있다. 문자 선택을 수신하는 것에 응답하여, 단계 2208은 선택된 문자에 대응하는 엔트리로 시작하는 리스트 부분을 디스플레이한다. 예를 들면, 도 22의 예에서와 같이, 선택된 문자 "H"로 시작하는 엔트리가 디스플레이될 수 있다. 이것에 후속하여, 조그 다이얼은 소망하는 엔트리에 도달하도록 리스트 부분을 앞뒤로 내비게이팅하기 위해 사용될 수도 있다. 일단 소망하는 엔트리가 선택되면, 유저가 선택된 엔트리와 통신하는 것을 가능하게 하기 위해 통신 기능성을 포함하는 기능성이 유저에게 노출될 수 있다.
적응적 유저 인터페이스
모바일 디바이스와 콘솔의 디스플레이 디바이스 사이의 차이의 바로 그 본질 때문에, 모바일 디바이스에 있을 때와 콘솔의 디스플레이 디바이스에 있을 때의 유저 인터페이스 경험은 상이할 수 있다. 이것은 다수의 이유 때문일 수 있으며, 다수의 이유 중 안전성은 최소한의 이유는 아니다. 마찬가지로, 유저가 차량의 컨텍스트 밖에서 그들의 모바일 디바이스와 관련되면, 유저의 전체 주목(attention)은 모바일 디바이스와의 그들의 유저 인터페이스 경험에 집중되고 있다고 가정한다. 한편, 유저가 그들의 차 안에서 그들의 모바일 디바이스를 사용하여 차량의 콘솔과 인터페이싱하고 있는 경우, 유저의 전체 주목보다 더 적은 주목이 콘솔과의 유저 인터페이스 경험에 집중된다.
이것을 염두에 두고, 다양한 실시형태는, 유저가 콘텐츠를 명확하게 보는 것을 가능하게 하고 안전성을 증진하는 방식으로 모바일 디바이스로부터의 콘텐츠를 콘솔의 디스플레이 디바이스 상에 제시하기 위해, 모바일 디바이스의 유저 인터페이스 경험에 적응을 가한다.
예로서, 모바일 디바이스의 유저 인터페이스 경험 대 콘솔의 디스플레이 디바이스의 유저 인터페이스 경험의 나란한 비교를 도시하는 도 23을 고려한다.
먼저, 2300에서 일반적으로 도시되는, 모바일 디바이스 상의 피벗 제어부를 고려한다. 거기서, 피벗 제어부는 피벗 아이템, 예를 들면, "플레이리스트", "장르" 등의 수평 방향으로 스크롤 가능한 리스트의 형태로 존재한다. 유저가 차량의 컨텍스트 밖에서 그들의 모바일 디바이스를 활용하는 경우, 그들은 다양한 피벗 아이템을 단순히 스크롤하여 피벗 아이템을 디스플레이 상으로 가져간다.
이제, 2302에서 일반적으로 도시되는 차량의 콘솔과 연계한 사용을 위한 피벗 제어부의 적응을 고려한다. 모바일 디바이스의 콘텐츠가 콘솔의 디스플레이 디바이스 상으로 투영되는 경우, 피벗 제어부는, 유저가 유저 인터페이스 경험에 전체보다 더 적은 그들의 주목을 제공할 수 있는 환경에 더 적절한 방식으로 콘텐츠를 제시하도록 적응될 수 있다. 구체적으로는, 적응의 첫 번째는, 모든 뷰가 한 눈에 보이게 배치되는 탭의 수직 리스트로서 피벗 제어부가 제시되는 것이다. 이것은 모바일 디바이스에서의 피벗 제어부와는 상이한데, 그 이유는, 이 특정한 경우에서는, 유저는 피벗 아이템 전체를 보기 위해 임의의 입력 모달리티를 통해 입력을 제공하지 않아도 되기 때문이다. 피벗 아이템은 또한, 모바일 디바이스에서 활용되는 것보다 더 큰 텍스트 사이즈를 가지고 제시된다. 이것은 유저에 의한 한 눈의 소비(at-a-glance consumption)를 촉진한다. 또한, 2304에서 도시되는 것과 같은 더 큰 터치 타겟이 제시된다.
이제, 2306에서 일반적으로 도시되는, 모바일 디바이스 상의 리스트 제어부를 고려한다. 이 경우에, 리스트 제어부는 모바일 디바이스의 디스플레이를 채우기에 충분한 수의 리스트 아이템을 디스플레이한다. 이 특정한 경우에서, 텍스트의 사이즈에 따라, 이것은 8개, 9개, 또는 10개 이상의 아이템을 디스플레이하는 것을 포함할 수 있을 것이다. 유저가 그들의 모바일 디바이스를 차량의 컨텍스트 밖에서 활용하는 경우, 디스플레이되는 리스트 아이템의 수와 관련하여 유저의 안전성에 대한 우려는 실제로 존재하지 않는다. 이것은, 유저가 그들의 전체 주목을 그들의 모바일 디바이스 상의 유저 인터페이스 경험에 제공하고 있다는 가정이 이루어지기 때문이다. 또한, 모바일 디바이스 상에서, 리스트 제어부는, 리스트 더 아래에서 나타나는 디스플레이되지 않는 아이템에 액세스하기 위해 수직으로 스크롤 가능하게 되는 것에 의한 것과 같이, 스크롤 가능하다. 한편, 모바일 디바이스의 콘텐츠가 콘솔의 디스플레이 디바이스 상으로 투영되는 경우, 리스트 제어부 적응이 이루어진다.
예를 들면, 리스트 제어부(2308)를 고려한다. 다양한 실시형태는, 모바일 디바이스 상에 디스플레이되는 리스트 아이템의 수보다 더 적은 미리 정의된 수의 리스트 아이템을 디스플레이한다. 따라서, 예를 들면, 모바일 디바이스가 10 개의 아이템을 디스플레이하는 경우, 콘솔의 디스플레이 디바이스는, 한 눈에 알아보기(glanceability) 및 용이한 소비를 촉진하기 위해, 여섯 개의 아이템만을 디스플레이할 수도 있다. 게다가, 적어도 일부 실시형태에서, 콘솔 상에 디스플레이되는 리스트 제어부는 연속적으로 스크롤 가능하지 않지 않고, 대신, 유저가 한 번에 다수의 리스트 아이템의 페이지를 넘기도록 페이징 모델을 사용한다. 또한, 다른 적응은, 콘솔의 리스트에서 나타나는 아이템에 대해 더 큰 텍스트 사이즈 및 더 큰 타겟 사이즈를 활용하는 것을 포함할 수 있다. 또한, 조그 다이얼 입력에 대해 가시적인 초점이 제공된다. 예로서, "플레이리스트" 아이템은, 유저가 피벗 제어부에서 위치를 쉽게 시각적으로 확인할 수 있도록 그리고 피벗 제어부에서 아이템 위 아래로 이동하도록 조그 다이얼 입력을 제공할 수 있도록 하일라이트될 수 있다.
다른 적응은, 다른 유저 인터페이스 경험과 관련하여 이루어질 수 있다. 예로서, 모바일 디바이스 상의 미디어 엘리먼트 제어부(2400), 및 콘솔의 디스플레이 디바이스 상의 미디어 엘리먼트 제어부(2402)를 예시하는 도 24를 고려한다. 모바일 디바이스 상에서, 미디어 엘리먼트 제어부는 유저가 오디오 및 비디오 콘텐츠 둘 다를 재생하는 것을 가능하게 할 수 있는 반면, 콘솔 상의 미디어 엘리먼트 제어부는, 비디오 콘텐츠가 아니라 단지 오디오만이 재생되는 것을 가능하게 하도록 구성될 수 있다. 또한, 재생 및 일시정지 버튼과 같은 더 큰 터치 타겟 및 조그 다이얼 입력에 대한 가시적인 초점이 제공된다. 다시, 이러한 적응은 소비의 용이성 및 안전성을 촉진한다.
다른 적응은, 다른 유저 인터페이스 경험과 관련하여 이루어질 수 있다. 예를 들면, 모바일 디바이스에서, 유저가 콘텐츠 또는 아이템을 패닝하는(pan) 것을 가능하게 하기 위해 전화 상에 파노라마 제어부가 제공될 수 있다. 적어도 일부 실시형태에서, 모바일 디바이스 상의 유저 인터페이스 경험이 파노라마 제어부를 인에이블할 임의의 그러한 시간에, 파노라마 제어부는 콘솔 상에서는 허용되지 않고, 대신 피벗 제어부로 대체된다. 파노라마 제어부를 피벗 제어부로 대체하는 하나의 이유는, 파노라마 제어부가 스와이프 제스쳐 및 애니메이션의 사용에 크게 의존하는 경향이 있다는 것이다. 파노라마 제어부를 피벗 제어부로 대체하는 것에 의해, 유저는, 선택 또는 내비게이션을 행하기 위해 피벗 제어부에서 나타나는 콘텐츠에 더 적은 주목을 할애할 수 있다.
다른 적응은 소위 그리드 제어부와 관련하여 이루어질 수 있다. 모바일 디바이스 상의 특정한 일부 애플리케이션은 콘텐츠를 제시하기 위해 그리드를 활용한다. 그리드의 예는 도 3에서 도시된다. 그리드 제어부는, 유저가 그들의 주목을 내비게이션 경험에 할애할 수 있을 때, 모바일 디바이스의 컨텍스트에서 잘 작동하는 경향이 있다. 그리드 제어부 내비게이션 경험은, 다소 자유롭고, 예측불가능하며, 동적인 경향이 있을 수 있다. 예를 들면, 그리드의 콘텐츠에 액세스하기 위해, 유저는, 통상적으로, 다양한 타입의 스와이프 제스쳐를 통해, 겉으로 보기에는 예측 불가능한 방식으로 그리드를 횡단할 수 있다. 차량의 콘솔의 컨텍스트에서, 모바일 디바이스의 그리드 제어부 유저 경험은, 도 23에서 도시되는 것과 같은 리스트 타입 경험으로 대체될 수 있다. 리스트 경험은, 콘솔의 디스플레이 디바이스의 컨텍스트에서, 조그 다이얼 입력과 특히 관련하여, 보다 예측 가능하고 일관된 횡단 경험을 촉진할 수 있다.
도 25는 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다. 단계는 임의의 적절한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합과 관련하여 구현될 수도 있다. 적어도 일부 실시형태에서, 방법은, 차량 내 정보/엔터테인먼트 시스템 및 모바일 디바이스와 같은 적절하게 구성된 시스템에 의해 구현될 수 있다.
단계 2500은 모바일 디바이스를 차량 내 정보/엔터테인먼트 시스템과 결합한다. 단계 2502는, 모바일 디바이스와 관련되는 유저 인터페이스 경험을, 차량 내 정보/엔터테인먼트 시스템과 관련되는 유저 인터페이스 경험으로 적응시킨다. 적응은 임의의 적절한 방식으로 발생할 수 있다. 예를 들면, 모바일 디바이스 상의 피벗 제어부는, 피벗 아이템의 스크롤 가능한 리스트를 사용하는 것으로부터, 모든 뷰가 동시에 보이게 되는 리스트 타입 시각화(list-type visualization)를 사용하는 것으로 적응될 수 있다. 대안적으로 또는 추가적으로, 모바일 디바이스 상의 리스트 제어부는, 스크롤 가능한 리스트를 사용하는 것으로부터, 유저가 한 번에 다수의 아이템의 페이지를 넘기도록 페이징 모델을 사용하는 것으로 적응될 수 있다. 추가적인 적응은, 비제한적인 예로서, 모바일 디바이스 상에서 오디오 및 비디오 둘 다를 가능하게 하는 것으로부터, 차량 내 정보/엔터테인먼트 시스템의 콘솔 상에서 단지 오디오만이 재생되는 것을 가능하게 하는 것으로 미디어 엘리먼트 제어부를 제한하는 것을 포함할 수 있다. 대안적으로 또는 추가적으로, 다양한 그리드 제어 적응은, 모바일 디바이스 상에서의 다소 자유롭고 예측 불가능한 경험으로부터, 상기에서 언급되는 바와 같은 다소 선형적이고, 직렬화되고 예측가능한 내비게이션 경험으로, 그리드 제어부 내비게이션 경험을 적응시키도록 이루어질 수 있다.
다수의 스크린을 사용한 적응적 유저 인터페이스
하나 이상의 실시형태에서, 모바일 디바이스는, 차량의 하드웨어의 일부일 수도 있는 다수의 상이한 스크린 타입으로 렌더링될 수 있다. 예를 들면, 다양한 스크린 타입은, 비제한적인 예로서, 상기에서 설명되는 것과 같은 콘솔, 하나 이상의 서브스크린을 포함할 수도 있는 소위 클러스터, 차량의 전면 유리(windshield) 상에 콘텐츠가 렌더링되는 헤드업 디스플레이(HUD) 등과 관련되는 스크린 타입을 포함할 수 있다. 예로서, 도 26을 고려한다.
거기서, 하나 이상의 실시형태에 따른 시스템은 일반적으로 2600에서 도시된다. 시스템(2600)은, 다른 컴포넌트 중에서도, 하나 이상의 애플리케이션(2604), 규칙 엔진(2606), 디스플레이 드라이버 모듈(2608)을 포함하는 모바일 디바이스(2602) 및 비제한적인 예로서, 콘솔(2610), (통상적으로 속도계 및 다른 게이지를 포함하는 운전자의 대시보드의) 클러스터(2612), 클러스터(2612) 내의 서브스크린(2614), 및 헤드업 디스플레이(2616)를 포함하는 다양하고 상이한 스크린 타입을 포함한다.
이 예에서, 애플리케이션(2604)은 스크린 타입에 무관하도록 작성될 수 있다. 이것에 의해, 애플리케이션 개발자는, 렌더링 가능한 콘텐츠가 생성되는 것으로 귀결되는 다양한 타입의 기능성을 수행하도록 그들의 애플리케이션을 작성할 수 있다는 것이 의도된다. 렌더링 가능한 콘텐츠는, 스크린과 관련되는 속성 및 특성에 따라 다수의 상이한 타입의 스크린에 렌더링될 수 있다.
동작에서, 규칙 엔진(2606)은, 특정한 차량 내에서 존재하는 스크린 타입과 관련되는 다양한 규칙을 포함하는 컨테이너를 제공한다. 개별 규칙은, 임의의 하나의 특정한 타입의 스크린 상에 렌더링될 콘텐츠와 관련되는 속성 및 특성을 명시할 수 있다. 이것은, 비제한적인 예로서, 콘텐츠 포매팅 규칙(content formatting rule), 미적 규칙(aesthetic rule), 시각적 설계 규칙, 문화적으로 관련된 규칙, 지리학적으로 관련된 규칙, 언어 고유의 규칙, 판독 방향 규칙(예를 들면, 우에서 좌로의 규칙, 좌에서 우로의 규칙), 운전석 구성 규칙(예를 들면, 좌측/우측 운전석), 음성 상호 작용 규칙 등을 포함할 수 있다.
미디어 플레이어 애플리케이션과 같은 애플리케이션이 차량 내 정보/엔터테인먼트 시스템에 연결되는 경우, 그것은, 다수의 상이한 타입의 스크린에 렌더링될 수 있는 렌더링 가능한 콘텐츠를 생성한다. 규칙 엔진(2606)은, 다수의 상이한 스크린 타입 상에 렌더링하기 위한 콘텐츠를 정형화하기(format) 위해 애플리케이션이 사용할 수 있는 규칙의 세트를 제공할 수 있다. 대안적으로, 디스플레이 드라이버 모듈(2608)은 애플리케이션으로부터 데이터 및 정보를 수신하고, 특정한 스크린 타입 중 하나 이상 상에서 디스플레이를 구동하도록 규칙 엔진(2606)과 제휴하여 동작한다.
예를 들면, 미디어 콘텐츠는 콘솔(2610)의 디스플레이 디바이스 상에서 디스플레이될 수 있고, 한편 통지, 경보, 및 프롬프트는 클러스터(2612)로 제공될 수 있고, 클러스터(2612)에 의해 디스플레이될 수 있다. 규칙 엔진(2606)은 각각의 특정한 스크린 타입에 대한 규칙을 포함하고, 따라서, 애플리케이션 또는 디스플레이 드라이버 모듈(2608)로 하여금 데이터를, 상이한 타입의 스크린 상에 디스플레이될 적절한 방식으로, 정형화하게 할 수 있다. 이 방식에서, 애플리케이션 개발자는, 콘텐츠가 렌더링될 스크린의 타입을 무시하고 렌더링 가능한 콘텐츠를 단순히 생성하도록 애플리케이션을 작성할 수 있다. 규칙 엔진(2606) 및 애플리케이션 또는 디스플레이 드라이버 모듈(2608)은, 임의의 하나의 특정한 애플리케이션에 의해 생성되는 콘텐츠가 다양한 스크린으로 그 스크린 타입에 대해 적절한 포맷으로 적절히 렌더링될 수 있다는 것을 보장하기 위해 제휴하여 동작한다.
다수의 스크린과 관련되는 적응적 유저 인터페이스를 고려하였으므로, 이제, 하나 이상의 실시형태에 따른 범용 커맨드/제어 모델을 고려한다.
범용 커맨드 /제어 모델
바로 위 섹션에서, 적응적 유저 인터페이스의 개념은 렌더링 가능한 콘텐츠와 연계하여 설명되었다. 적응적 유저 인터페이스는, 소위 범용 제어부의 개념으로 추가로 확장될 수 있다. 즉, 적응적 유저 인터페이스 모델을 사용하면, 애플리케이션 개발자는, 제어부가 어떻게 렌더링되는지에 무관한 방식으로 그들의 애플리케이션을 개발할 수 있다. 즉, 제어부는 하드 제어부 및 소프트 제어부 둘 다를 포함할 수 있다. 이러한 제어부는, 리스트, 선택지, 메뉴, 버튼, 패드, 다이얼 등을 포함할 수 있다.
모바일 디바이스가 차량 내 정보/엔터테인먼트 시스템에 결합되고 애플리케이션이 론칭되는 경우, 규칙 엔진(2806)으로부터의 규칙은, 다양한 스크린 타입 상에서 렌더링될 제어부의 제약, 속성, 및 특성을 애플리케이션에게 나타낸다. 예를 들면, 규칙은, 얼마나 많은 제어부가 렌더링될 것인지, 제어부 사이즈, 폰트 사이즈 등을 나타낼 수도 있다. 규칙 엔진으로부터 확인된 정보를 사용하면, 애플리케이션은, 자신이 수신하는 규칙에 의해 정의되는 바와 같은 스크린 사이즈 내에 적합하도록 자신의 제어부를 적응시킬 수 있다. 이것은, 애플리케이션이 맞춤 작성될(custom written) 필요가 없고, 상기의 예에서와 같이, 애플리케이션을 작성함에 있어서의 애플리케이션 개발자의 일을 크게 용이하게 한다는 것을 의미한다. 즉, 애플리케이션은, 전화 및 차량의 시스템의 일부인 범용 스크린 사이즈에 대해 작성될 수 있다. 콘솔의 적응 가능성의 양호한 예는 도 23 및 도 24 및 상기의 관련된 논의에서 나타난다.
이것과 관련한 규칙 엔진의 사용은 또한, 차량 유저 인터페이스를 통제하는 규정에 대한 변경에도 불구하고, 유저 인터페이스 엘리먼트, 예컨대 제어부를 적응시킴에 있어서 유연성을 촉진한다. 예를 들면, 차량 유저 인터페이스의 요건을 수정하는 규정 변경이 발생하면, 어떠한 애플리케이션도 재작성되는 것을 요구하지 않고도 규칙 엔진(2606)에서 나타나는 규칙에 대한 간단한 변경이 발생할 수 있다. 즉, 애플리케이션 개발자는, 이제, 그들의 애플리케이션을, 특정하게 적용 가능한 규정 대신 "범용적인 제어부"로 작성할 수 있다.
도 27은 하나 이상의 실시형태에 따른 방법에서의 단계를 설명하는 흐름도이다. 단계는 임의의 적절한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합과 관련하여 구현될 수도 있다. 적어도 일부 실시형태에서, 방법은, 차량 내 정보/엔터테인먼트 시스템 및 모바일 디바이스와 같은 적절하게 구성된 시스템에 의해 구현될 수 있다.
단계 2700은 모바일 디바이스를 차량의 차량 내 정보/엔터테인먼트 시스템과 결합한다. 단계 2702는 모바일 디바이스 상에 애플리케이션을 론칭한다. 단계 2704는, 차량과 관련되는 하나 이상의 스크린 타입 상에 콘텐츠 및/또는 제어부를 렌더링하는 것과 관련되는 하나 이상의 규칙을 확인한다. 이 단계는 임의의 적절한 방식으로 수행될 수 있다. 예를 들면, 적어도 일부 실시형태에서, 단계는 모바일 디바이스 상에서 실행하는 애플리케이션에 의해 수행될 수 있다. 대안적으로 또는 추가적으로, 이 단계는, 스크린 타입 상에 렌더링될 콘텐츠 및 제어부를 제공하도록 애플리케이션과 제휴하여 동작하는 디스플레이 드라이버에 의해 수행될 수 있다. 단계 2706은 규칙을 사용하여 스크린 타입 상에 렌더링될 콘텐츠 및/또는 제어부를 적응시킨다. 단계 2908은 적응된 콘텐츠 및/또는 제어부가 스크린 타입 상에 렌더링되게 한다.
상기에서 설명되는 다양한 실시형태를 고려하였으므로, 이제, 상기에서 설명되는 실시형태를 구현하기 위해 활용될 수 있는 예시적인 디바이스의 논의를 고려한다. 설명될 다양한 엘리먼트는, 차량 내 정보/엔터테인먼트 디바이스의 양태 및 모바일 디바이스 둘 다를 구현하는 데 사용될 수 있다.
예시적인 디바이스
도 28은, 상기에서 설명되는 실시형태와 연계하여 사용될 수 있는 임의의 타입의 컴퓨팅 디바이스로서 구현될 수 있는 예시적인 디바이스(2800)의 다양한 컴포넌트를 예시한다.
디바이스(2800)는 디바이스 데이터(2804)(예를 들면, 수신된 데이터, 수신되고 있는 데이터, 브로드캐스트가 예정된 데이터, 데이터의 데이터 패킷 등)의 유선 및/또는 무선 통신을 가능하게 하는 통신 디바이스(2802)를 포함한다. 디바이스 데이터(2804) 또는 다른 디바이스 콘텐츠는 디바이스의 구성 설정, 디바이스 상에 저장되는 미디어 콘텐츠, 및/또는 디바이스의 유저와 관련되는 정보를 포함할 수 있다. 디바이스(2800) 상에 저장되는 미디어 콘텐츠는 임의의 타입의 오디오, 비디오, 및/또는 이미지 데이터를 포함할 수 있다. 디바이스(2800)는 하나 이상의 데이터 입력부(2806)를 포함하는데, 이 하나 이상의 데이터 입력부(2806)를 통해, 유저 선택가능 입력, 메시지, 음악, 텔레비전 미디어 콘텐츠, 녹화된 비디오 콘텐츠, 및 임의의 콘텐츠 및/또는 데이터 소스로부터 수신되는 임의의 다른 타입의 오디오, 비디오, 및/또는 이미지 데이터와 같은, 임의의 타입의 데이터, 미디어 콘텐츠, 및/또는 입력이 수신될 수 있다.
디바이스(2800)는 또한, 직렬 및/또는 병렬 인터페이스, 무선 인터페이스, 임의의 타입의 네트워크 인터페이스, 모뎀 중 임의의 하나 이상으로서, 그리고 임의의 타입의 통신 인터페이스로서 구현될 수 있는 통신 인터페이스(2808)를 포함한다. 통신 인터페이스(2808)는 디바이스(2800)와 통신 네트워크 사이에 접속 및/또는 통신 링크를 제공하는데, 이 접속 및/또는 통신 링크에 의해, 다른 전자 디바이스, 컴퓨팅 디바이스, 및 통신 디바이스는 디바이스(2800)와 데이터를 통신한다.
디바이스(2800)는, 디바이스(2800)의 동작을 제어하기 위해 그리고 본원에서 설명되는 기술의 실시형태를 구현하기 위해 다양한 컴퓨터 실행가능 명령어를 프로세싱하는 하나 이상의 프로세서(2810)(예를 들면, 마이크로프로세서, 컨트롤러 등 중 임의의 것)를 포함한다. 대안적으로 또는 추가적으로, 디바이스(2800)는, 2812에서 일반적으로 식별되는 프로세싱 및 제어 회로와 연계하여 구현되는 하드웨어, 펌웨어, 또는 고정된 논리 회로부 중 임의의 하나 또는 이들의 조합을 사용하여 구현될 수 있다. 비록 도시되지는 않지만, 디바이스(2800)는 디바이스 내의 다양한 컴포넌트를 결합하는 시스템 버스 또는 데이터 전송 시스템을 포함할 수 있다. 시스템 버스는, 메모리 버스 또는 메모리 컨트롤러, 주변장치 버스, 범용 직렬 버스, 및/또는 다양한 버스 아키텍쳐 중 임의의 것을 활용하는 프로세서 또는 로컬 버스와 같은 상이한 버스 구조 중 임의의 하나 또는 그 조합을 포함할 수 있다.
디바이스(2800)는 또한 컴퓨터 판독가능 매체(2814), 예컨대 하나 이상의 메모리 컴포넌트를 포함하는데, 그 예는 랜덤 액세스 메모리(random access memory; RAM), 불휘발성 메모리(예를 들면, 리드 온리 메모리(read-only memory; ROM), 플래시 메모리, EPROM, EEPROM 등 중 임의의 하나 이상), 및 디스크 스토리지 디바이스를 포함한다. 디스크 저장 디바이스는, 하드 디스크 드라이브, 기록가능 및/또는 재기록가능 컴팩트 디스크(compact disc; CD), 임의의 타입의 디지털 다기능 디스크(digital versatile disc; DVD) 등과 같은 임의의 타입의 자기 또는 광학 저장 디바이스로서 구현될 수도 있다. 디바이스(2800)는 또한 대용량 미디어 디바이스(2816)를 포함할 수 있다.
컴퓨터 판독가능 매체(2814)는 디바이스 데이터(2804)뿐만 아니라, 다양한 디바이스 애플리케이션(2818) 및 디바이스(2800)의 동작 양태에 관련되는 임의의 다른 타입의 정보 및/또는 데이터를 저장하기 위한 데이터 저장 메커니즘을 제공한다. 예를 들면, 운영체제(2820)가 컴퓨터 판독가능 매체(2814)를 사용하여 컴퓨터 애플리케이션으로서 유지될 수 있고 프로세서(2810) 상에서 실행될 수 있다. 디바이스 애플리케이션(2818)은 디바이스 매니저(예를 들면, 제어 애플리케이션, 소프트웨어 애플리케이션, 신호 프로세싱 및 제어 모듈, 특정 디바이스에 고유한 코드, 특정 디바이스에 대한 하드웨어 추상 레이어 등)를 포함할 수 있다. 디바이스 애플리케이션(2818)은 또한, 본원에서 설명되는 기술의 실시형태를 구현하기 위한 임의의 시스템 컴포넌트 또는 모듈을 포함한다. 이 예에서, 디바이스 애플리케이션(2818)은, 소프트웨어 모듈 및/또는 컴퓨터 애플리케이션으로서 도시되는 인터페이스 애플리케이션(2822) 및 제스쳐 캡쳐 드라이버(2824)를 포함한다. 제스쳐 캡쳐 드라이버(2824)는, 터치스크린, 트랙 패드, 카메라 등과 같은, 제스쳐를 캡쳐하도록 구성되는 디바이스와의 인터페이스를 제공하기 위해 사용되는 소프트웨어를 나타낸다. 대안적으로 또는 추가적으로, 인터페이스 애플리케이션(2822) 및 제스쳐 캡쳐 드라이버(2824)는, 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로서 구현될 수 있다. 추가적으로, 컴퓨터 판독가능 매체(2814)는, 브라우저 기능성을 제공하는 웹 플랫폼(2825)을 포함할 수 있다.
디바이스(2800)는 또한, 오디오 데이터를 오디오 시스템(2828)으로 제공하는 및/또는 비디오 데이터를 디스플레이 시스템(2830)으로 제공하는 오디오 및/또는 비디오 입출력 시스템(2826)을 포함한다. 오디오 시스템(2828) 및/또는 디스플레이 시스템(2830)은, 오디오, 비디오, 및 이미지 데이터를 프로세싱하는, 디스플레이하는, 및/또는 다르게는 렌더링하는 임의의 디바이스를 포함할 수 있다. 비디오 신호 및 오디오 신호는, RF(radio frequency; 무선 주파수) 링크, S-비디오 링크, 복합 비디오 링크, 컴포넌트 비디오 링크, DVI(digital video interface; 디지털 비디오 인터페이스), 아날로그 오디오 연결, 또는 유사한 통신 링크를 통해, 디바이스(2800)로부터 오디오 디바이스로 및/또는 디스플레이 디바이스로 전달될 수 있다. 실시형태에서, 오디오 시스템(2828) 및/또는 디스플레이 시스템(2830)은 디바이스(2800)에 대한 외부 컴포넌트로서 구현된다. 대안적으로, 오디오 시스템(2828) 및/또는 디스플레이 시스템(2830)은 예시적인 디바이스(2800)의 통합 컴포넌트로서 구현된다.
결론
다양한 실시형태는, 유저가 그들의 이동 전화를 통해 차량 내 정보/엔터테인먼트 시스템을 제어하는 것을 가능하게 하기 위해, 전화 등과 같은 모바일 디바이스가 차량 내 정보/엔터테인먼트 시스템과 통합하는 것을 가능하게 한다. 유저는, 유저의 또는 차량의 컨텍스트에 따라 컨텍스트에 맞게 조정될 수 있는 차량 내 경험을 촉진시키기 위해, 그들의 이동 전화의 기능성을 활용할 수 있다.
적어도 일부 실시형태에서, 유저는 모달리티 사이에서 원활하고 연속적인 모달 핸드오프를 갖는 다수의 상이한 모달리티를 사용하여 다양한 태스크를 완수할 수 있다. 모달리티는, 음성, 터치, 및 조그 다이얼과 같은 제어부를 포함할 수 있다. 원활한 모달 핸드오프는, 유저가 그들의 컨텍스트에 따라 그들의 입력 모달리티를 쉽게 변경하는 것을 허용한다.
다른 실시형태는, 운전 시나리오 및 유저의 인지 부하에 기초하여 음성 전용 경험을 조정할 수 있다. 여전히 다른 실시형태는, 조그 다이얼 및 터치스크린 모달리티에 대한 유저 경험을 조정할 수 있다. 추가 실시형태는, 다수의 상이한 타입의 스크린, 예를 들면, 전화 스크린, 클러스터 스크린, 콘솔 스크린, 및 헤드업 디스플레이(heads up display; HUD) 스크린 등과 연계하여 동작할 수 있는 적응적 유저 인터페이스(adaptive user interface)를 포함하는 적응적 유저 인터페이스를 제공할 수 있다. 또 다른 실시형태는, 버튼 조그(button jog), 용량성 다이얼(capacitive dial), 하드 키, 패드 등을 포함하는 다수의 타입의 물리적 입력부에 대한 범용 커맨드/제어 모델을 제공한다.
비록 본 실시형태가 구조적 특징 및/또는 방법론적 액트(act)에 고유한 언어로 설명되었지만, 첨부된 청구범위에서 정의되는 실시형태는 설명되는 특정한 특징 또는 액트에 반드시 제한되지는 않는다는 것이 이해되어야 한다. 대신, 특정한 특징 및/또는 액트는 청구된 실시형태를 구현하는 예시적인 형태로서 개시된다.

Claims (15)

  1. 컴퓨터 구현 방법으로서,
    모바일 디바이스와 차량 내 정보/엔터테인먼트 시스템 사이에서 연결을 확립하는 단계;
    상기 모바일 디바이스로부터 통신 신호(communication) - 상기 통신 신호는 상기 모바일 디바이스에 의해 수신되었던 제1 모달리티 타입(modality type)의 입력과 관련되고, 상기 입력은 태스크를 달성하는 것과 관련됨 - 을 수신하는 단계;
    상기 태스크와 관련되는 하나 이상의 액션을 수행하는 단계;
    상기 제1 모달리티 타입과는 상이한 제2 모달리티 타입의 입력 - 상기 제2 모달리티 타입의 상기 입력은 상기 태스크를 수행하는 것과 관련됨 - 을 수신하는 단계; 및
    상기 태스크를 수행하기 위한 상기 제2 모달리티 타입의 상기 입력과 관련되는 하나 이상의 액션을 수행하는 단계
    를 포함하고,
    상기 차량 내 정보/엔터테인먼트 시스템은, 상기 태스크와 관련되는 하나 이상의 액션 또는 상이한 태스크와 관련되는 하나 이상의 액션을 수행하기 위해 상기 제1 및 제2 모달리티 타입과는 상이한 적어도 제3 모달리티 타입의 입력을 수신하도록 구성되는 것인, 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 제1 모달리티 타입의 상기 입력은 음성 입력을 포함하는 것인, 컴퓨터 구현 방법.
  3. 제2항에 있어서,
    상기 제2 모달리티 타입의 상기 입력은, 상기 차량 내 정보/엔터테인먼트 시스템의 콘솔을 통해 수신되는 터치 입력을 포함하는 것인, 컴퓨터 구현 방법.
  4. 제2항에 있어서,
    상기 제2 모달리티 타입의 상기 입력은, 상기 차량 내 정보/엔터테인먼트 시스템의 콘솔과 관련되는 조그 다이얼을 통해 수신되는 조그 다이얼 입력을 포함하는 것인, 컴퓨터 구현 방법.
  5. 제1항에 있어서,
    적어도 일부 액션은 상기 제1 입력 모달리티를 사용하여 또는 상기 제2 입력 모달리티 또는 상기 제3 모달리티 중 하나 이상을 사용하여 수행될 수 있는 것인, 컴퓨터 구현 방법.
  6. 제1항에 있어서,
    적어도 일부 액션은 상기 제1 입력 모달리티를 사용하여 또는 상기 제2 입력 모달리티 또는 상기 제3 모달리티 중 하나 이상을 사용하여 수행될 수 있고, 상기 제1 입력 모달리티는 음성 입력을 포함하는 것인, 컴퓨터 구현 방법.
  7. 제1항에 있어서,
    상기 제1, 제2, 또는 제3 모달리티 타입 중 적어도 하나는, 상기 차량 내 정보/엔터테인먼트 시스템의 콘솔 상에 렌더링되는 오브젝트의 내비게이션을 가능하게 하는 것인, 컴퓨터 구현 방법.
  8. 제1항에 있어서,
    상기 제1, 제2, 또는 제3 모달리티 타입 중 적어도 하나는, 상기 차량 내 정보/엔터테인먼트 시스템의 콘솔 상에 렌더링되는 오브젝트의 내비게이션을 가능하게 하고, 상기 오브젝트는 타일을 포함하는 것인, 컴퓨터 구현 방법.
  9. 제1항에 있어서,
    상기 제1 모달리티 타입의 상기 입력은 음성 입력을 포함하고, 상기 제2 모달리티 타입의 상기 입력은 상기 제1 모달리티 타입의 상기 입력과 관련되는 모호성을 제거하도록 구성되는 것인, 컴퓨터 구현 방법.
  10. 제1항에 있어서,
    상기 차량 내 정보/엔터테인먼트 시스템은, 상이한 태스크와 관련되는 수행 가능한 액션이 수행에 이용 가능하다는 것을 유저의 컨텍스트(context)가 나타낼 때, 하나의 특정한 태스크와 관련되는 액션이 중단되는 것을 가능하게 하도록 구성되는 것인, 컴퓨터 구현 방법.
  11. 컴퓨터 판독가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 판독가능 명령어는 실행시,
    모바일 디바이스와 차량 내 정보/엔터테인먼트 시스템 사이에서 연결을 확립하는 동작;
    상기 모바일 디바이스로부터 통신 신호 - 상기 통신 신호는 상기 모바일 디바이스에 의해 수신되었던 제1 모달리티 타입의 입력과 관련되고, 상기 입력은 태스크를 달성하는 것과 관련됨 - 을 수신하는 동작;
    상기 태스크와 관련되는 하나 이상의 액션을 수행하는 동작;
    상기 제1 모달리티 타입과는 상이한 제2 모달리티 타입의 입력 - 상기 제2 모달리티 타입의 상기 입력은 상기 태스크를 수행하는 것과 관련됨 - 을 수신하는 동작;
    상기 태스크를 수행하기 위한 상기 제2 모달리티 타입의 상기 입력과 관련되는 하나 이상의 액션을 수행하는 동작
    을 포함하는 동작들을 수행하고,
    상기 차량 내 정보/엔터테인먼트 시스템은, 상기 태스크와 관련되는 하나 이상의 액션 또는 상이한 태스크와 관련되는 하나 이상의 액션을 수행하기 위해 상기 제1 및 제2 모달리티 타입과는 상이한 적어도 제3 모달리티 타입의 입력을 수신하도록 구성되는 것인, 컴퓨터 판독가능 저장 매체.
  12. 제11항에 있어서,
    상기 제1 모달리티 타입의 상기 입력은 음성 입력을 포함하는 것인, 컴퓨터 판독가능 저장 매체.
  13. 제11항에 있어서,
    상기 제1 모달리티 타입의 상기 입력은 음성 입력을 포함하고, 상기 제2 모달리티 타입의 상기 입력은 상기 차량 내 정보/엔터테인먼트 시스템의 콘솔을 통해 수신되는 터치 입력을 포함하는 것인, 컴퓨터 판독가능 저장 매체.
  14. 제11항에 있어서,
    상기 제1 모달리티 타입의 상기 입력은 음성 입력을 포함하고, 상기 제2 모달리티 타입의 상기 입력은, 상기 차량 내 정보/엔터테인먼트 시스템의 콘솔과 관련되는 조그 다이얼을 통해 수신되는 조그 다이얼 입력을 포함하는 것인, 컴퓨터 판독가능 저장 매체.
  15. 제11항에 있어서,
    적어도 일부 액션은 상기 제1 입력 모달리티를 사용하여 또는 상기 제2 입력 모달리티 또는 상기 제3 모달리티 중 하나 이상을 사용하여 수행될 수 있는 것인, 컴퓨터 판독가능 저장 매체.
KR1020177016830A 2014-11-20 2015-11-16 차량 기반의 멀티 모달 인터페이스 KR102416405B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/549,496 US10116748B2 (en) 2014-11-20 2014-11-20 Vehicle-based multi-modal interface
US14/549,496 2014-11-20
PCT/US2015/060775 WO2016081326A1 (en) 2014-11-20 2015-11-16 Vehicle-based multi-modal interface

Publications (2)

Publication Number Publication Date
KR20170088384A true KR20170088384A (ko) 2017-08-01
KR102416405B1 KR102416405B1 (ko) 2022-07-01

Family

ID=54704132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177016830A KR102416405B1 (ko) 2014-11-20 2015-11-16 차량 기반의 멀티 모달 인터페이스

Country Status (11)

Country Link
US (1) US10116748B2 (ko)
EP (1) EP3221783B1 (ko)
JP (1) JP7093181B2 (ko)
KR (1) KR102416405B1 (ko)
CN (1) CN107077317A (ko)
AU (1) AU2015350267B2 (ko)
BR (1) BR112017008421A2 (ko)
CA (1) CA2965703C (ko)
MX (1) MX2017006086A (ko)
RU (1) RU2707410C2 (ko)
WO (1) WO2016081326A1 (ko)

Families Citing this family (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10073599B2 (en) 2015-01-07 2018-09-11 Microsoft Technology Licensing, Llc Automatic home screen determination based on display device
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
DE102015204336B4 (de) * 2015-03-11 2019-01-31 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Integration von Fahrzeug-Applikationen
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
WO2016210004A1 (en) * 2015-06-25 2016-12-29 Airbiquity Inc. Motor vehicle component to utilize a font or character resource of a separate electronic device
US20160378747A1 (en) * 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US9699298B2 (en) * 2015-08-10 2017-07-04 Microsoft Technology Licensing, Llc Smart automatic composition of short messaging responses
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
KR20170045662A (ko) * 2015-10-19 2017-04-27 삼성전자주식회사 전자 장치 및 알림 제어 방법
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10423292B2 (en) * 2016-05-17 2019-09-24 Google Llc Managing messages in vehicles
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10474946B2 (en) 2016-06-24 2019-11-12 Microsoft Technology Licensing, Llc Situation aware personal assistant
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10203216B2 (en) 2016-12-31 2019-02-12 Spotify Ab Duration-based customized media program
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
JP6824047B2 (ja) * 2017-01-20 2021-02-03 株式会社クボタ 作業車
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10672379B1 (en) * 2017-09-25 2020-06-02 Amazon Technologies, Inc. Systems and methods for selecting a recipient device for communications
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US20190053022A1 (en) * 2017-12-27 2019-02-14 Intel Corporation Provision of in-vehicle service to a mobile device
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
CN108944450A (zh) * 2018-05-23 2018-12-07 重庆普斯德电子有限公司 双模式汽车仪表显示系统
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
CN108766474A (zh) * 2018-06-04 2018-11-06 深圳市沃特沃德股份有限公司 车载音乐播放方法及车载设备
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
CN110874202B (zh) 2018-08-29 2024-04-19 斑马智行网络(香港)有限公司 交互方法、设备、介质和操作系统
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
JP6993314B2 (ja) * 2018-11-09 2022-01-13 株式会社日立製作所 対話システム、装置、及びプログラム
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) * 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US20220177067A1 (en) * 2019-03-27 2022-06-09 Tvs Motor Company Limited Smart connect instrument cluster
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
CN113424151A (zh) * 2019-05-09 2021-09-21 谷歌有限责任公司 用于具有受限架构的第三方车辆计算设备的自动化助理建议
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
CN111124332B (zh) * 2019-11-18 2024-03-01 北京小米移动软件有限公司 设备呈现内容的控制方法、控制装置及存储介质
RU2731670C1 (ru) * 2019-12-13 2020-09-07 Сергей Анатольевич Киселев Программно-аппаратный комплекс
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
KR20210156126A (ko) * 2020-06-17 2021-12-24 현대모비스 주식회사 노브를 이용한 디스플레이 제어 시스템
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
CN114816158A (zh) * 2021-01-11 2022-07-29 华为技术有限公司 界面的控制方法、装置、电子设备和可读存储介质
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US20230009427A1 (en) * 2021-07-08 2023-01-12 Hyundai Mobis Co., Ltd. Display control system using knobs
US20230036986A1 (en) * 2021-07-27 2023-02-02 Qualcomm Incorporated Processing of audio signals from multiple microphones
USD985590S1 (en) 2021-08-23 2023-05-09 Waymo Llc Display screen or portion thereof with graphical user interface
KR20230160376A (ko) * 2021-08-24 2023-11-23 구글 엘엘씨 다양한 이동 검출 신뢰도를 위해 자동화된 어시스턴트 운전 모드를 사전에 활성화
CN114179613B (zh) * 2021-12-10 2024-03-05 常州星宇车灯股份有限公司 一种用于副驾驶控制面板上的影音触控交互控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110165551A1 (en) * 2008-10-20 2011-07-07 Wataru Yamazaki Device and system for assisting in using equipment
US20120166076A1 (en) * 2010-12-23 2012-06-28 Rody Hardy Predictive Traffic Warning And Suggestive Rerouting System And Method
US8744645B1 (en) * 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903737B2 (en) 2000-04-25 2014-12-02 Accenture Global Service Limited Method and system for a wireless universal mobile product interface
JP2002022464A (ja) * 2000-07-05 2002-01-23 Mazda Motor Corp 移動体用情報処理装置、移動体用情報処理方法、及び移動体用情報処理プログラムが記憶された記憶媒体
US7636079B2 (en) 2000-11-29 2009-12-22 Palm Inc. Application access and activation system and method
US20020173344A1 (en) 2001-03-16 2002-11-21 Cupps Bryan T. Novel personal electronics device
US20030153354A1 (en) 2001-03-16 2003-08-14 Cupps Bryan T. Novel personal electronics device with keypad application
FI111494B (fi) 2001-06-29 2003-07-31 Nokia Corp Langaton käyttöliittymän laajennus
JP4013630B2 (ja) * 2002-04-25 2007-11-28 アイシン・エィ・ダブリュ株式会社 事故多発位置報知装置、事故多発位置報知システム及び事故多発位置報知方法
AU2003247842A1 (en) 2002-06-27 2004-01-19 Axeda Systems Operating Company, Inc. Screen sharing
US7231229B1 (en) 2003-03-16 2007-06-12 Palm, Inc. Communication device interface
JP2005049138A (ja) * 2003-07-30 2005-02-24 Pioneer Electronic Corp 交通状況報知装置、そのシステム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP4452474B2 (ja) * 2003-09-30 2010-04-21 パイオニア株式会社 案内誘導システム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
US7814419B2 (en) 2003-11-26 2010-10-12 Nokia Corporation Changing an orientation of a user interface via a course of motion
JP2005332319A (ja) * 2004-05-21 2005-12-02 Nissan Motor Co Ltd 入力装置
KR100814430B1 (ko) 2004-06-09 2008-03-18 삼성전자주식회사 드라이버 프로그램을 기록한 기록매체
US7554522B2 (en) 2004-12-23 2009-06-30 Microsoft Corporation Personalization of user accessibility options
US7835505B2 (en) 2005-05-13 2010-11-16 Microsoft Corporation Phone-to-monitor connection device
US7933955B2 (en) 2006-07-11 2011-04-26 Igor Khalatian One-click universal screen sharing
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
DE102008051756A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US8015005B2 (en) * 2008-02-15 2011-09-06 Motorola Mobility, Inc. Method and apparatus for voice searching for stored content using uniterm discovery
US20130275899A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
CN102027450B (zh) 2008-05-20 2015-05-13 思杰系统有限公司 由移动计算装置使用外部显示装置的方法和系统
JP2009300537A (ja) 2008-06-10 2009-12-24 Fujitsu Ten Ltd 音声作動システム、音声作動方法および車載装置
KR20100035924A (ko) 2008-09-29 2010-04-07 삼성전자주식회사 디스플레이장치 및 외부입력장치를 가지는 디스플레이 시스템과 그 제어 방법
KR100946460B1 (ko) 2008-09-30 2010-03-10 현대자동차주식회사 차량의 입력 장치
JP2012507091A (ja) 2008-10-27 2012-03-22 ソーシャル・ゲーミング・ネットワーク インターラクティブなプロキシミティディスプレイのテザーのための装置、方法およびシステム
US8893040B2 (en) * 2008-12-23 2014-11-18 At&T Mobility Ii Llc Systems, devices, or methods for accessing information employing a tumbler-style graphical user interface
US8554831B2 (en) * 2009-06-02 2013-10-08 Ford Global Technologies, Llc System and method for executing hands-free operation of an electronic calendar application within a vehicle
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9310880B2 (en) 2009-09-29 2016-04-12 Ncr Corporation Self-service computer with dynamic interface
US10705794B2 (en) * 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US9413869B2 (en) * 2010-02-10 2016-08-09 Qualcomm Incorporated Mobile device having plurality of input modes
US8570189B1 (en) * 2010-05-10 2013-10-29 Eric Casebolt Multifunction traffic control and information system
US8731814B2 (en) 2010-07-02 2014-05-20 Ford Global Technologies, Llc Multi-modal navigation system and method
US20120050183A1 (en) 2010-08-27 2012-03-01 Google Inc. Switching display modes based on connection state
WO2012046890A1 (ko) 2010-10-06 2012-04-12 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
CN102006373B (zh) * 2010-11-24 2015-01-28 深圳市车音网科技有限公司 基于语音命令控制的车载服务系统及方法
US8669970B2 (en) 2011-01-27 2014-03-11 Apple Inc. Master synchronization for multiple displays
JP5889542B2 (ja) 2011-04-07 2016-03-22 クラリオン株式会社 無線通信端末及び操作システム
US20120268294A1 (en) * 2011-04-20 2012-10-25 S1Nn Gmbh & Co. Kg Human machine interface unit for a communication device in a vehicle and i/o method using said human machine interface unit
US20120303263A1 (en) 2011-05-23 2012-11-29 Microsoft Corporation Optimization of navigation tools using spatial sorting
US9761083B2 (en) * 2011-09-16 2017-09-12 Elottery, Inc. Location, age and identity verification for mobile gaming
WO2013067526A1 (en) 2011-11-04 2013-05-10 Remote TelePointer, LLC Method and system for user interface for interactive devices using a mobile device
US20130155237A1 (en) 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
KR101901720B1 (ko) 2012-04-02 2018-11-13 삼성전자주식회사 더미 장치와의 연동 방법 및 그 전자 장치
KR101952682B1 (ko) 2012-04-23 2019-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN202565359U (zh) 2012-05-11 2012-11-28 广东欧珀移动通信有限公司 一种微投互动手机
US20140118222A1 (en) 2012-10-30 2014-05-01 Cloudcar, Inc. Projection of content to external display devices
US20140129695A1 (en) 2012-11-02 2014-05-08 Gface Gmbh Connected devices
US9218805B2 (en) * 2013-01-18 2015-12-22 Ford Global Technologies, Llc Method and apparatus for incoming audio processing
US9137476B2 (en) 2013-02-14 2015-09-15 Sony Corporation User-defined home screen for ultra high definition (UHD) TV
US20140267035A1 (en) 2013-03-15 2014-09-18 Sirius Xm Connected Vehicle Services Inc. Multimodal User Interface Design
WO2014157839A1 (en) * 2013-03-26 2014-10-02 Samsung Electronics Co., Ltd. Terminal apparatus mountable in vehicle, mobile device for working with the terminal apparatus, and methods for providing service thereof
KR20140094407A (ko) 2013-04-10 2014-07-30 (주)브라이니클 이동 단말기를 이용한 쇼핑정보 제공방법 및 이동 단말기를 이용하여 쇼핑정보를 제공하는 사용자 인터페이스
CN103347162B (zh) * 2013-06-28 2017-07-18 深圳市掌讯通讯设备有限公司 一种车载装置与智能手机互动控制系统及其方法
WO2015064965A1 (ko) * 2013-10-29 2015-05-07 엘지전자 주식회사 기기간 통신 시스템, 장치 및 제어 방법
EP2960098B1 (en) * 2014-06-27 2020-11-04 Volvo Car Corporation Methods, device and system for assisting a vehicle occupant utilizing functionality of a nomadic device via an in-vehicle system
US20160028870A1 (en) * 2014-07-23 2016-01-28 Lg Electronics Inc. Method of sharing information of a mobile terminal for interworking between an in-vehicle infotainment system and the mobile terminal
US20160044519A1 (en) * 2014-08-08 2016-02-11 GM Global Technology Operations LLC Method and apparatus for supporting mobile device screen replication in automotive environment using flexible network connectivity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110165551A1 (en) * 2008-10-20 2011-07-07 Wataru Yamazaki Device and system for assisting in using equipment
US20120166076A1 (en) * 2010-12-23 2012-06-28 Rody Hardy Predictive Traffic Warning And Suggestive Rerouting System And Method
US8744645B1 (en) * 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system

Also Published As

Publication number Publication date
US20160150020A1 (en) 2016-05-26
KR102416405B1 (ko) 2022-07-01
CN107077317A (zh) 2017-08-18
JP2018508843A (ja) 2018-03-29
BR112017008421A2 (pt) 2017-12-26
RU2017117421A (ru) 2018-11-21
US10116748B2 (en) 2018-10-30
RU2017117421A3 (ko) 2019-06-05
CA2965703A1 (en) 2016-05-26
AU2015350267B2 (en) 2020-06-25
AU2015350267A1 (en) 2017-05-11
RU2707410C2 (ru) 2019-11-26
WO2016081326A1 (en) 2016-05-26
JP7093181B2 (ja) 2022-06-29
EP3221783B1 (en) 2021-09-01
MX2017006086A (es) 2017-07-27
CA2965703C (en) 2022-08-23
EP3221783A1 (en) 2017-09-27

Similar Documents

Publication Publication Date Title
KR102416405B1 (ko) 차량 기반의 멀티 모달 인터페이스
US11784951B1 (en) Determining contextually relevant application templates associated with electronic message content
US11745585B2 (en) Vehicle infotainment apparatus using widget and operation method thereof
US10845871B2 (en) Interaction and management of devices using gaze detection
US20210152942A1 (en) Context-aware voice guidance
EP2893526B1 (en) Context-sensitive handling of interruptions by intelligent digital assistants
US10466876B2 (en) Assisting a user of a software application
KR102188757B1 (ko) 오프-스크린 가시 객체들의 표면화
US9997069B2 (en) Context-aware voice guidance
US9976862B2 (en) Method, device, and terminal for simultaneously displaying multiple users' locations on a map
US10884601B2 (en) Animating an image to indicate that the image is pannable
CN110932888A (zh) 用于协商对共享音频或视觉资源的控制的系统和方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant