KR101967944B1 - 추론된 차량 상태에 기초한 사용자 인터페이스 경험을 제공하는 기법 - Google Patents

추론된 차량 상태에 기초한 사용자 인터페이스 경험을 제공하는 기법 Download PDF

Info

Publication number
KR101967944B1
KR101967944B1 KR1020147016414A KR20147016414A KR101967944B1 KR 101967944 B1 KR101967944 B1 KR 101967944B1 KR 1020147016414 A KR1020147016414 A KR 1020147016414A KR 20147016414 A KR20147016414 A KR 20147016414A KR 101967944 B1 KR101967944 B1 KR 101967944B1
Authority
KR
South Korea
Prior art keywords
vehicle
mobile device
user
input
information
Prior art date
Application number
KR1020147016414A
Other languages
English (en)
Other versions
KR20140106568A (ko
Inventor
티모시 에스 팩
파람비르 발
스리니바스 애다가틀라
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20140106568A publication Critical patent/KR20140106568A/ko
Application granted granted Critical
Publication of KR101967944B1 publication Critical patent/KR101967944B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/02—Access restriction performed under specific conditions
    • H04W48/04—Access restriction performed under specific conditions based on user or terminal location or mobility data, e.g. moving direction, speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1468—Touch gesture
    • B60K2360/1472—Multi-touch gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/151—Instrument output devices for configurable output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/182—Distributing information between displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/566—Mobile devices displaying vehicle information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/573—Mobile devices controlling vehicle functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/586—Wired data transfers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B60K2360/5894—SIM cards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B60K2360/5899—Internet
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/592—Data transfer involving external databases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/828—Mounting or fastening exchangeable modules
    • B60K2360/834—Docking arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량 내에서 모바일 장치를 동작시키는 사용자에게 사용자 인터페이스 경험을 제공하는 모바일 장치가 본 명세서에 기재된다. 모바일 장치는 모드 기능부를 사용하여 사용자 인터페이스 경험을 제공한다. 모드 기능부는 하나 이상의 입력 소스로부터 추론-입력 정보를 수신함으로써 동작한다. 하나 이상의 입력 소스는 모바일 장치의 움직임을 결정하는 모바일 장치에 의해 제공된 하나 이상의 움직임-감지 장치에 대응한다. 모드 기능부는 그 뒤에 차량에 대해 적합한 사용자 인터페이스 경험을 표시하고 추론-입력 정보에 기초하여 차량의 상태를 추론한다. 하나의 시나리오에서, 모드 기능부는 또한 차량이 디스트레스 상태에 있다고 추론할 수 있다. 대응하여, 모드 기능부는 사용자에 대한 지원을 요청할 수 있다.

Description

추론된 차량 상태에 기초한 사용자 인터페이스 경험을 제공하는 기법{PROVIDING A USER INTERFACE EXPERIENCE BASED ON INFERRED VEHICLE STATE}
차량을 운전하는 사용자는 자신의 모바일 장치와 상호작용하기를 원할 수 있다. 예를 들어, 사용자는 전화를 걸거나 받고, 검색을 수행하고, 이메일을 읽는 것등을 하기를 원할 수 있다. 이들 활동은 차량을 운전하는 주요 태스크로부터 사용자를 혼란스럽게 할 수 있고 이에 따라 사용자의 안전(또한, 다른 사람의 안전)에 상당한 위험을 야기할 수 있다. 이러한 문제점을 해결하기 위하여, 많은 관할 구역에서 사용자가 이들의 차량 내의 모바일 장치와 수동으로 상호작용하는 것을 제지하는 법률을 제정하였다.
상기 고려사항에 대한 하나의 해결 방법은 차량을 운전하는 중에 사용자가 자신의 모바일 폰과 상호작용하는 것을 완전히 불가능하게 하는 것이다. 또 다른 해결 방법에 있어서, 사용자는 다양한 핸즈-프리 상호작용 장치를 사용할 수 있다. 예를 들어, 사용자는 요청을 하기 위해 음성 인식 기술을 이용할 수 있다. 사용자는 그 뒤에 모바일 장치를 쥐지 않고 헤드셋 또는 이와 유사한 것을 사용하는 요청을 할 수 있다. 이들 해결방법들은 특정 환경에서 사용자가 자신의 모바일 장치를 사용하는 위험성을 줄이는데 도움이 될 수 있을지라도, 이들 해결 방법은 운전 중에 사용자가 직면할 수 있는 무수한 혼란에 대해 일반적으로 만족스러운 해결 방법을 제공하지는 못한다.
차량 내에서 모바일 장치를 동작시키는 사용자에게 사용자 인터페이스 경험을 제공하는 모바일 장치가 본 명세서에서 기재된다. 모바일 장치는 모드 기능부를 사용하여 이 태스크를 수행한다. 모드 기능부는 하나 이상의 입력 소스로부터 추론-입력 정보를 수신함으로써 동작한다. 하나 이상의 입력 소스는 모바일 장치에 의해 제공된 움직임-감지 장치에 대응한다. 모드 기능부는 그 뒤에 추론-입력 정보에 기초하여 차량의 상태(즉, "차량 상태")를 추론한다. 모드 기능부는 그 뒤에 차량 상태를 고려하여 적합한 사용자 인터페이스 경험을 사용자에게 프리젠테이션한다. 더욱 구체적으로, 모드 기능부는 소정의 주의력-관련 요구(attention-related demands)를 필요로 하는 사용자 인터페이스 경험을 사용자에게 프리젠테이션하고, 이들 주의력-관련 요구는 차량 상태의 면에서 적절하다. 예를 들어, 모드 기능부는 차량 상태가 차량이 고속으로 이동하고 있음을 나타낼 때 사용자의 주의력을 최소 로 요구하는 사용자 인터페이스 경험을 프리젠테이션할 수 있다.
일 시나리오에서, 모드 기능부는 또한 추론-입력 정보에 기초하여 차량이 예를 들면 사고 또는 다른 재난의 결과로서 디스트레스 상태(distress condition)에 있다고 추론할 수 있다. 이러한 평가에 응답하여, 모드 기능부는 사용자에게 지원(assistance)을 제공할 수 있다. 일 경우에, 모드 기능부는 추론-입력 정보, 즉 다음으로부터 수집된 증거에 기초하여 차량이 디스트레스 상태에 있다고 추론할 수 있다: (a) 모바일 장치가 차량 내에 배치되는 경우, (b) 차량이 급작스럽게 정지하거나 또는 이와는 달리 급작스럽게 감속하는 경우, (c) 모바일 장치가 이의 마운트로부터 이탈되는 경우(또는 이들 이벤트들의 서브셋이 발생되는 경우).
전술한 접근방법들은 다양한 타입들의 시스템들, 컴포넌트들, 방법들, 컴퓨터 판독가능 매체, 데이터 구조들, 제조 물품들 등으로 나타낼 수 있다.
본 개요는 개념들의 선택을 단순화된 형태로 소개하도록 제공되고; 이들 개념들은 상세한 설명에서 이하에 더 설명된다. 본 개요는 청구 대상의 핵심 특징들 또는 중요한 특징들을 식별하려는 것이 아니며 청구 대상의 범위를 한정하는데 사용하려는 것도 아니다.
도 1은 차량의 추론된 상태(즉, 차량 상태)에 기초하여 한 사용자 인터페이스 경험을 사용자가 수신하는 예시적인 환경을 도시한 것이다.
도 2는 차량의 내부 영역을 도시한 것이다. 내부 영역은 마운트를 사용하여 차량의 표면에 고정된 모바일 장치를 포함한다.
도 3은 차량 내에 모바일 장치를 고정하기 위하여 사용될 수 있는 전형적인 마운트의 일 타입을 도시한 것이다.
도 4는 도 1의 환경 내에서 사용하기 위한 모바일 장치의 일 도식적인 구현을 도시한 것이다.
도 5는 도 4의 모바일 장치에 의해 사용될 수 있는 도식적인 움직임-감지 장치를 도시한 것이다.
도 6은 출력 정보를 프리젠테이션하기 위하여 모바일 장치에 의해 사용될 수 있는 도식적인 출력 기능부를 도시한 것이다.
도 7은 도 3의 마운트와 연관된 도식적인 기능부 및 이 기능부가 모바일 장치와 상호작용할 수 있는 방식을 도시한 것이다.
도 8 및 도 9는 도 4의 모바일 장치에 의해 제공되는 2가지의 각각의 출력 모드를 도시한 것이다.
도 10 내지 도 12는 도 4의 모바일 장치에 의해 제공되는 3가지의 각각의 입력 모드를 도시한 것이다.
도 13은 도 4의 모바일 장치에 의해 제공되는 전형적인 애플리케이션 및 모드 기능부에 관한 추가 세부사항을 도시한 것이다.
도 14는 도 4의 모바일 장치가 차량의 상태에 응답하여 사용자 인터페이스 경험을 제어할 수 있는 도식적인 옵션들을 도시한 것이다.
도 15는 기능부가 차량에 영향을 미칠 수 있는 디스트레스 상태에 응답하고 이를 추론할 수 있는 도시적인 환경을 도시한 것이다. 예를 들어, 디스트레스 상태는 차량에 사고가 발생 시에 야기될 수 있다.
도 16은 도 15의 환경에서 사용될 수 있는 도식적인 디스트레스 관리 모듈을 도시한 것이다.
도 17은 사용자의 시점으로부터 도 1의 환경의 하나의 동작 방식을 설명하는 도식적인 절차를 도시한 것이다.
도 18은 모바일 장치가 차량의 추론된 상태에 기초하여 사용자 인터페이스 경험을 제공할 수 있는 도식적인 절차를 도시한 것이다.
도 19 내지 도 21은 3가지의 상이한 차량 상태 시나리오에 대응하여 도 18의 절차의 3가지의 상이한 인스턴스화를 도시한 것이다.
도 22는 도 16의 디스트레스 관리 모듈이 차량에 영향을 미칠 수 있는 디스트레스 상태에 응답하고 이를 추론할 수 있는 도시적인 절차를 도시한 것이다.
도 23은 상기 도면들에 도시된 특징부들의 임의의 양태를 구현하기 위해 사용될 수 있는 도식적인 컴퓨팅 기능부를 도시한 것이다.
동일한 부호들은, 본 개시 및 도면들 전반에 걸쳐, 유사한 컴포넌트들 및 특징부들을 참조하기 위해 사용된다. 시리즈 100의 번호들은 도 1에서 원래 발견된 특징부들을 지칭하고, 시리즈 200의 번호들은 도 2에서 원래 발견된 특징부들을 지칭하며, 시리즈 300의 번호들은 도 3에서 원래 발견된 특징부들을 지칭하는 것 등이다.
본 개시는 다음과 같이 구성된다. 섹션 A는 추론된 차량 상태에 따르는 사용자 인터페이스 경험(user interface experience)을 제공하기 위한 예시적인 기능부를 기재한다. 섹션 B는 섹션 A의 기능부의 동작을 설명하는 예시적인 방법을 기재한다. 섹션 C는 섹션 A 및 섹션 B에서 기재된 특징부들의 임의의 양태를 구현하는데 이용될 수 있는 예시적인 컴퓨팅 기능부를 설명한다.
예비적인 내용으로서, 도면들 중 일부는, 기능부, 모듈들, 특징부들, 요소들 등으로서 다양하게 지칭되는 하나 이상의 구조적 컴포넌트들의 문맥에서 개념들을 기재한다. 도면들에 도시된 다양한 컴포넌트들은 임의의 물리적 및 타입의 메커니즘들에 의해, 예를 들어, 소프트웨어, 하드웨어(예를 들어, 칩-구현식 로직 기능부), 펌웨어 등 및/또는 이들의 임의의 조합에 의해 임의의 방식으로 구현될 수 있다. 일 경우에 있어서, 도면들에서의 다양한 컴포넌트들의 별개의 유닛들로의 예시된 분리는 실제 구현에서의 대응하는 별개의 물리적 및 타입의 컴포넌트들의 사용을 반영할 수 있다. 대안적으로 또는 부가적으로, 도면들에 도시된 임의의 단일 컴포넌트는 복수의 실제 물리적 컴포넌트들에 의해 구현될 수 있다. 대안적으로 또는 부가적으로, 도면들에서의 임의의 2 이상의 별도의 컴포넌트들의 도시는 단일의 실제 물리적 컴포넌트에 의해 수행된 상이한 기능들을 반영할 수 있다. 차례로 논의될 도 23은 도면들에 도시된 기능들의 하나의 예시적인 물리적 구현에 관한 부가적인 상세들을 제공한다.
다른 도면들은 플로우차트 형태로 개념들을 기재한다. 이 형태에 있어서, 특정 동작들은 특정 순서로 수행된 별개의 블록들을 구성하는 것으로서 기재된다. 이러한 구현들은 예시적이고 비-제한적이다. 본 명세서에서 기재된 특정 블록들은 함께 그룹화되고 단일 동작으로 수행될 수 있고, 특정 블록들은 복수의 컴포넌트 블록들로 분할될 수 있으며, 특정 블록들은 (그 블록들을 수행하는 병렬 방식을 포함하여) 본 명세서에 도시된 형태로부터 상이한 순서로 수행될 수 있다. 플로우차트들에 도시된 블록들은 임의의 물리적 및 타입의 메커니즘들에 의해, 예를 들어, 소프트웨어, 하드웨어(예를 들어, 칩-구현식 로직 기능부), 펌웨어 등 및/또는 이들의 임의의 조합에 의해 임의의 방식으로 구현될 수 있다.
용어에 관하여, 어구 "하도록 구성된"은 임의의 종류의 물리적 및 타입의 기능부가 식별된 동작을 수행하도록 구성될 수 있는 임의의 방식을 포괄한다. 기능부는 예를 들어, 소프트웨어, 하드웨어(예를 들어, 칩-구현식 로직 기능부), 펌웨어 등 및/또는 이들의 임의의 조합을 이용하여 동작을 수행하도록 구성될 수 있다.
용어 "로직"은 태스크를 수행하기 위한 임의의 물리적 및 타입의 기능부를 포괄한다. 예를 들어, 플로우차트들에 도시된 각각의 동작은 그 동작을 수행하는 로직 컴포넌트에 대응한다. 동작은 예를 들어, 소프트웨어, 하드웨어(예를 들어, 칩-구현식 로직 기능부), 펌웨어 등 및/또는 이들의 임의의 조합을 이용하여 수행될 수 있다. 컴퓨팅 시스템에 의해 구현될 경우, 로직 컴포넌트는, 컴퓨팅 시스템의 물리적 부분이지만 구현되는 전기 컴포넌트를 나타낸다.
특허청구범위에서의 어구 "수단(means)"이 사용되는 경우 35 U.S.C. 제112조 제6항의 조항을 적용하는 것으로 의도된다. 이 특정 어구 이외에, 어떠한 언어도 법령의 그 부분의 조항을 적용하는 것으로 의도된다.
다음의 설명은 하나 이상의 특징부들을 "선택적"으로서 식별할 수도 있다. 이러한 타입의 진술은, 선택적으로 고려될 수도 있는 특징부들의 포괄적인 표시로서 해석되지 않아야 하고; 즉, 텍스트에서 명백하게 식별되지 않더라도, 다른 특징부들이 선택적인 것으로서 고려될 수 있다. 따라서, 용어 "전형적인" 또는 "예시적인"는 잠재적으로 다수의 구현들 중에 하나의 구현을 지칭한다.
A. 예시적인 모바일 장치 및 이의 사용 환경
도 1에는 사용자가 차량 내의 모바일 장치를 동작시킬 수 있는 예시적인 환경(100)이 도시된다. 예를 들어, 도 1에는 차량(106) 내의 모바일 장치(104)를 동작시키는 예시적인 사용자(102), 및 차량(112) 내의 모바일 장치(110)를 동작시키는 사용자(108)가 도시된다. 그러나, 환경(100)은 임의의 수의 사용자, 모바일 장치, 및 차량을 수용할 수 있다. 설명을 간략히 하기 위하여, 이 섹션은 환경(100) 내에서 임의의 모바일 장치의 동작의 전형으로 이 모바일 장치(104)를 취급하는 사용자(102)에 의해 동작되는 모바일 장치(104)의 동작의 예시적인 조합 및 방식을 기초로 할 것이다. 게다가, 특정 경우에, 이 설명은 모바일 장치(104)가 특정 처리 기능을 수행하는 것을 기술할 것이다. 이 기술은 자유롭게 해석된다. 일부 경우에, 모바일 장치(104)는 이 기능을 실행하는 로직을 제공함으로써 기능을 수행할 수 있다. 대안적으로 또는 부가적으로, 모바일 장치(104)는 모바일 장치(104) 대신에 기능을 수행하는 원격 엔티티(remote entity)와의 상호작용에 의해 기능을 수행할 수 있다.
더욱 구체적으로는, 모바일 장치(104)는 적어도 두 모드에서 동작한다. 동작의 핸드헬드 모드에서, 사용자(102)는 모바일 장치를 자신의 손에 쥔 상태로 모바일 장치(104)와 상호작용할 수 있다. 예를 들어, 사용자(102)는 임의의 장치 기능을 수행하기 위해 모바일 장치(104)의 키패드 및/또는 모바일 장치(104)의 터치 입력 장치와 상호작용할 수 있다. 동작의 차량 모드에서, 사용자(102)는 자신의 차량(106) 내의 모바일 장치(104)와 상호작용할 수 있다. 이 모드에서, 모바일 장치(104)는 추론-입력 정보(inference-input information)에 기초하여 차량(106)의 상태(즉, 본 명세서에서 사용된 용어 따라 "차량 상태")를 자동으로 평가한다. 모바일 장치(104)는 그 뒤에 하기에서 더 상세히 설명된 바와 같이 차량 상태에 기초하여 사용자 인터페이스 경험을 프리젠테이션한다.
개관으로서, 차량의 차량 상태는 차량(106)이 현재 사용자(102)에 의해 동작되는 방식을 특징화한다. 차량 상태의 일부 양태는 차량 운동의 다이나믹스(dynamics)에 직접 관련될 수 있다. 이러한 직접 양태는 차량(106)이 이동하는 속도, 차량(106)이 가속하고 감속하는 방식, 차량(106)이 조향하는 방식, 차량(106)의 브레이크가 적용되는 방식, 등을 포함할 수 있지만 이로 제한되지 않는다. 차량 상태의 다른 양태는 차량(106)이 이동하는 방식과 더욱 간접적으로 관계가 있다. 예를 들어, 차량 상태의 이들 양태는 차량(106)의 이동이 수행되는 제한 환경에 관련될 수 있다. 이러한 간접적 양태는 차량(106)이 이동하는 영역, 차량(106)이 이동하는 시간, 차량(106)이 이동하는 날짜, 차량(106)이 이동하는 날씨, 차량(106)이 이동하는 도로 조건, 등을 포함할 수 있지만 이로 제한되지 않는다.
모바일 장치(104)는 추론-입력 정보에 기초하여 차량 상태를 결정할 수 있다. 추론-입력 정보는 차량 상태를 추론하기 위해 사용될 수 있는 임의의 정보에 관련될 수 있다. 일부 추론-입력 정보는 모바일 장치(104)의 내부에 있는 입력 소스로부터 기인될 수 있다. 다른 추론-입력 정보는 모바일 장치(104)의 외부에 있는 입력 소스로부터 기인될 수 있다.
궁극적으로, 차량 상태는 주의력 프로파일(attention profile)과 연관된다. 주의력 프로파일은 사용자(102)가 차량 상태에서 운전하면서 사용자가 유지하기에 적합한 주의력의 타입 및 주의력의 수준을 특징화한다. 예를 들어, 차량 상태가 사용자(102)가 혼잡한 도시 지역에서 고속으로 이동하는 것을 나타내는 것을 가정한다. 이들 고려사항에 기초하여, 모바일 장치(104)는 사용자(102)가 차량(106)을 동작시키는 태스크에 세심한 주의를 하는 것이 적절하다고 결론을 내릴 수 있다. 역으로, 차량 상태는 사용자(102)가 교통 체증 시에 정차된 그의 차량(106) 내에 앉아 있는 것을 나타내는 것을 가정한다. 이 환경에서, 모바일 장치(104)는 사용자(102)가 보조 비-운전-관련 태스크(supplemental non-driving-related task)에 대해 더 큰 주의력을 하는 것이 허용된다고 결론을 내릴 수 있다(제1 시나리오와 비교하여).
모바일 장치(104)는 그 뒤에 차량 상태와 동등한 사용자(102)에 대한 주의력-관련 요구(attention-related demand)를 구성하는 사용자 인터페이스 경험을 프리젠테이션한다. 다시 말해서, 모바일 장치(104)는 예를 들어, 사용자(102)가 차량(106)을 운전하는 중에 제공하기에 "여유"가 있을 수 있는 것을 초과하는 주의력의 수준과 타입을 요구하지 않음으로써 차량 상태의 주의력 프로파일을 고려하여 적절한 방식으로 사용자(102)와 관련된다. 예를 들어, 전술된 제1 시나리오에서(사용자(102)가 혼잡한 지역에서 고속으로 이동하는 경우), 모바일 장치(104)는 사용자(102)의 주의력에 대한 요구에도 거의 요구하지 않는 사용자 인터페이스 경험을 프리젠테이션할 수 있다. 전술된 제2 시나리오에서(사용자(102)가 이동하지 않고 자신의 차량(106)에 앉아 있는 경우), 모바일 장치(104)는 사용자(102)의 주의력에 대해 훨씬 더 큰 요구를 할 수 있다.
모바일 장치(104)는 다양한 방식으로 적합한 사용자 인터페이스 경험을 제공할 수 있다. 일반적으로, 사용자 인터페이스 경험은 사용자(102)가 모바일 장치(104)에 사용자-입력 정보를 제공하거나 또는 모바일 장치(104)로부터 출력 정보를 수신함으로써 모바일 장치(104)와 상호작용하는 방식을 지칭한다. 더욱 구체적으로는, 사용자(102)가 모바일 장치(104)에 사용자-입력 정보를 제공하는 방식은 사용자(102)가 모바일 장치(104)에 사용자-입력 정보를 제공하기 위해 사용할 수 있는 다양한 입력 모드에 의해 정의된다. 예시적인 입력 모드는 키패드 입력 모드, 터치 스크린 입력 모드, 음성-인식 입력 모드, 제스처-인식 입력 모드, 등을 포함할 수 있다(하기에서 더욱 상세히 기재됨). 모바일 장치(104)가 사용자에게 출력 정보를 제공하는 방식은 다양한 출력 모드에 의해 정의된다. 예시적인 출력 모드는 디스플레이 출력 모드, 음성 출력 모드, 등을 포함할 수 있다(하기에서 더욱 상세히 기재됨). 모바일 장치(104)는 특정 입력 모드 및/또는 출력 모드를 가동 및/또는 가동 중지시킴으로써 사용자 인터페이스 경험을 변화시킬 수 있다. 대안적으로 또는 부가적으로, 모바일 장치(104)는 임의의 입력 모드 및/또는 임의의 출력 모드의 동작 방식을 변경함으로써 사용자 인터페이스 경험을 변화시킬 수 있다(재차, 하기에서 더욱 상세히 기재됨).
개관을 제시하였으므로, 이제 도 1에 도시된 개별 특징부들의 더욱 상세한 설명으로 넘어갈 것이다. 모바일 장치(104) 자체로 개시됨에 따라, 이 장치는 임의의 방식으로 구현될 수 있고 임의의 기능 또는 기능들의 조합을 수행할 수 있다. 예를 들어, 모바일 장치(104)는 임의의 타입의 모바일 텔레폰 장치(예컨대, 스마트 폰 장치), 북 리더 장치, PDA(personal digital assistant device), 랩탑 컴퓨팅 장치, 태블릿-타입 컴퓨팅 장치, 넷북-타입 컴퓨팅 장치, 휴대용 게임 장치, 휴대용 미디어 시스템 인터페이스 모듈 장치, 등에 대응할 수 있다.
차량(106)은 사용자(102)를 운송하기 위한 임의의 메커니즘에 대응될 수 있다. 예를 들어, 차량(106)은 임의의 타입의 자동차, 트럭, 버스, 오토바이, 스쿠터, 자전거, 항공기, 배, 등에 대응될 수 있다. 그러나, 설명을 돕기 위해, 이제부터는 차량(106)이 사용자(102)에 의해 동작되는 개인용 자동차에 대응하는 것으로 가정될 것이다.
환경(100)은 또한 모바일 장치(104)가 임의의 원격 엔티티(여기서, "원격 엔티티"는 사용자(102)에 대해 원격에 있는 엔티티를 의미함)와 상호작용하도록 허용하기 위한 통신로(communication conduit, 114)를 포함한다. 예를 들어, 통신로(114)는 사용자(102)가 또 다른 모바일 장치를 이용하는 또 다른 사용자(예컨대, 모바일 장치(110)를 이용하는 사용자(108))와 상호작용하기 위해 모바일 장치(104)를 이용하도록 허용할 수 있다. 부가적으로, 통신로(114)는 사용자(102)가 임의의 원격 서비스와 상호작용하도록 허용할 수 있다. 일반적으로 말해서, 통신로(114)는 로컬 영역 네트워크, 광역 통신망(예를 들어, 인터넷), 또는 이들의 임의의 조합을 나타낼 수 있다. 통신로(114)는 임의의 프로토콜 또는 프로토콜들의 조합에 의해 관리될 수 있다.
더욱 구체적으로는, 통신로(114)는 이의 일부로서 무선 통신 인프라스트럭쳐(wireless communication infrastructure, 116)를 포함할 수 있다. 무선 통신 인프라스트럭쳐(116)는 모바일 장치(104)가 무선 통신을 통하여 원격 엔티티와 통신하도록 허용할 수 있는 기능부를 나타낸다. 무선 통신 인프라스트럭쳐(116)는 임의의 셀 타워(cell tower), 기지국(base station), 중앙 스위칭 스테이션(central switching station), 위성 기능부(satellite functionality), 등을 포괄할 수 있다. 통신로(114)는 또한 하드와이어드 링크(hardwired link), 라우터(router), 게이트웨이 기능부(gateway functionality), 네임 서버(name server), 등을 포함할 수 있다.
환경(100)은 또한 하나 이상의 원격 처리 시스템(remote processing system, 118)을 포함한다. 원격 처리 시스템(118)은 임의의 타입의 서비스를 사용자에게 제공한다. 일 경우에, 각각의 원격 처리 시스템(118)은 하나 이상의 서버 및 연관된 데이터 저장소를 이용하여 구현될 수 있다. 예를 들어, 도 1에는 원격 처리 시스템(118)이 원격 처리 기능부(120) 및 연관된 시스템 저장소(122)의 하나 이상의 인스턴스를 포함할 수 있는 것이 도시된다. 뒤이은 설명은 예시적인 기능을 기초로 할 것이며, 여기서 차량(106) 내에서 모바일 장치(104)의 동작과 밀접한 관계가 있는 상기 기능을 원격 처리 기능부(120)가 수행할 수 있다.
도 2를 참조하면, 이 도면은 차량(106)의 전형적인 내부 영역(200)의 일부를 도시한다. 마운트(mount, 202)는 모바일 장치(104)를 내부 영역(200)에 고정한다. 더욱 구체적으로는, 마운트(202)는 모바일 장치(104)를 차량의 대시보드의 상부, 차량 제어 패널 영역(204) 바로 위의 사용자(102)의 좌측에 고정한다. 파워 코드(power cord, 206)는 차량(106)에 의해 제공된 임의의 전력원으로부터 모바일 장치(104)에 전력을 공급한다(도 7과 관련하여 기재되는 바와 같이 직접적으로 또는 간접적으로).
모바일 장치(104)는 모바일 장치(104)의 앞면으로부터 사용자(102)를 향하여 투영되는, 시야를 갖는 하나 이상의 내부 카메라 장치(도 2에 도시되지 않음)를 포함할 수 있다. 더욱 구체적으로는, 사용자(102)는 카메라 장치의 시야가 사용자(102)의 신체의 적어도 일부를 포괄하는 방식으로 내부 영역(200)에 모바일 장치(104)를 배치할 수 있다. 일 구현에서, 이 배치는 내부 카메라 장치가 상호작용 공간(interaction space)을 형성하는 것을 가능하게 한다. 내부 카메라 장치는 그 상호작용 공간 내에서 사용자(102)에 의해 취해진 제스처를 캡춰할 수 있다. 일 예시적인 구현에서, 상호작용 공간은 일반적으로 차량(106)을 운전하는 사용자(102)를 향하여 모바일 장치(104)의 전면으로부터 대략 60 cm 연장되는 원뿔형 부피(conic volume)에 대응할 수 있다.
그러나, 도 2에 도시된 모바일 장치(104)의 배치는 단지 전형적이며, 이는 사용자(102)가 모바일 장치(104)의 다른 위치 및 배향을 선택할 수 있는 것을 의미한다. 예를 들어, 사용자(102)는 조향 휠에 대해 우측 영역 대신에(도 2에 도시된 바와 같이) 조향 휠에 대해 좌측 영역에 모바일 장치(104)를 배치할 수 있다. 이는 예를 들어, 조향 휠이 차량(106)의 우측에 제공되는 국가에서 적합할 수 있다. 대안적으로, 사용자(102)는 조향 휠 상에 또는 조향 휠 뒤에 모바일 장치(104)를 직접 배치할 수 있다. 대안적으로, 사용자(102)는 모바일 장치(104)를 차량(106)의 윈드쉴드에 고정할 수 있다. 이들 옵션은 제한 없이 예시로서 언급되고, 모바일 장치(104)의 또 다른 배치가 가능하다.
도 3에는 차량의 내부 영역(200)의 일부 표면에 모바일 장치(104)를 고정하기 위하여 사용될 수 있는 하나의 단지 전형적인 마운트(302)가 도시된다(이 마운트(302)는 도 2에 도시된 마운트(202)와 상이한 타입의 마운트인 것을 유의해라). 제한 없이, 도 3의 마운트(302)는 마운트(302)를 내부 영역(200) 내의 표면에 체결하기 위한 임의의 타입의 커플링 메커니즘(coupling mechanism, 304)을 포함한다. 예를 들어, 커플링 메커니즘(304)은 차량(106)의 기동 그릴(air movement grill)에 부착되는 클램프 또는 돌출 부재(도시되지 않음)를 포함할 수 있다. 다른 경우에, 커플링 메커니즘(304)은 임의의 타입의 체결구(예를 들어, 나사, 클램프, 벨크로 커플링 메커니즘(Velcro coupling mechanism), 슬라이딩 커플링 메커니즘(sliding coupling mechanism), 스냅핑 커플링 메커니즘(snapping coupling mechanism), 흡입 컵 커플링 메커니즘(suction cup coupling mechanism), 등)를 이용하여 차량(106)의 임의의 표면에 체결될 수 있는 플레이트 또는 다른 타입의 부재를 포함할 수 있다. 또 다른 경우에, 마운트(302)는 단지 그 표면에 체결되지 않고 대시보드의 상부에서와 같이 내부 영역(200)의 일반적으로 수평 표면 상에 안착될 수 있다. 차량(106)이 이동하는 중에 표면 상에서 이 타입의 마운트가 미끄러지는 위험성을 줄이기 위해, 이는 모래가 충전된 가단성 기저 부재와 같은 중량 부재(weighted member)를 포함할 수 있다.
하나의 단지 예시적인 구현에서, 도 3에 도시된 전형적인 마운트(302)는 크래들(cradle, 308)에서 말단을 이루고 커플링 메커니즘(304)으로부터 연장되는 가요성 암(flexible arm, 306)을 포함한다. 크래들(308)은 모바일 장치(104)를 크래들(308)에 고정하기 위한 조절형 클램프 메커니즘(310)을 포함할 수 있다. 이 특정 시나리오에서, 사용자(102)는 모바일 장치(104)를 크래들(308)에 부착하여 이 모바일 장치가 포트레이트 모드(portrait mode)로 동작할 수 있다. 그러나, 사용자(102)는 대안적으로 모바일 장치(104)를 부착할 수 있어서, 이 모바일 장치가 랜드스케이프 모드(landscape mode)로 동작할 수 있다(도 2에 도시된 바와 같이).
전술된 바와 같이, 모바일 장치(104)는 모바일 장치(104)의 전방면(314)(또는 모바일 장치(104)의 다른 면)으로부터 돌출되는 하나 이상의 내부 카메라 장치(312)를 포함한다. 내부 카메라 장치(312)는 이 장치가 전형적으로 모바일 장치(104)의 일체 부분으로 고려되는 한 "내장형"인 것으로 동일시될 수 있다. 부가적으로, 모바일 장치(104)는 하나 이상의 외부 카메라 장치(도시되지 않음)로부터 이미지 정보를 수신할 수 있다.
추가로, 마운트(302)는 모바일 장치(104)가 마운트(302)의 크래들(308) 내에 삽입될 때를 결정하기 위한 임의의 부착-감지 메커니즘(attachment-sensing mechanism, 316)을 포함할 수 있다. 예를 들어, 부착-감지 메커니즘(316)은 사용자(102)가 모바일 장치(104)를 크래들(308) 내로 삽입할 때 OFF 상태로부터 ON 상태로 그리고 모바일 장치(104)가 크래들(308)로부터 제거될 때 ON 상태로부터 OFF 상태로 토글링되는 기계식 스위치를 포함할 수 있다. 부착-감지 장치의 다른 구현이 광-감지 스위치, 압력-감지 스위치, 등을 포함한다. 대안적으로 또는 부가적으로, 모바일 장치(104)는 부착 감지 메커니즘(도시되지 않음)을 구현할 수 있다. 즉, 상보적인 방식으로, 장치-구현식 부착 감지 메커니즘은 사용자(102)가 모바일 장치(104)를 크래들(308) 내에 배치할 때 가동되도록 구성된다. 대안적으로 또는 부가적으로, 모바일 장치(104)는 이 모바일 장치가 간접 증거(indirect evidence)에 기초하여 크래들(308)로부터 제거되는 것을 추론할 수 있다. 임의의 구현에서, 하기에서 기재되는 바와 같이, 부착-감지 메커니즘(316)은 차량(106)이 디스트레스 상태(distress condition)에 있는지를 결정하는 역할을 한다.
추가로, 마운트(302)는 하나 이상의 보조 센서 장치(320)(일반적으로 점선 박스로 도 3에 도시됨)를 포함할 수 있다. 예를 들어, 센서 장치(320)는 도 5에 도시된 하나 이상의 타입의 운동-감지 장치(430)를 포괄할 수 있다(하기에서 기재됨). 부가적으로, 마운트(302)는 임의의 타입의 하나 이상의 추가 카메라 장치, 등과 같이 추가 이미지-감지 메커니즘을 포괄할 수 있다.
도 4에는 모바일 장치(104)를 구현하기 위해 사용될 수 있는 다양한 컴포넌트들이 도시된다. 이 도면은 일반적으로 상-하 방식(top-to-bottom manner)으로 설명될 것이다. 우선, 모바일 장치(104)는 무선 통신을 통하여 정보를 수신하고 원격 엔티티에 전송하기 위한 통신 기능부(402)를 포함한다. 즉, 통신 기능부(402)는 모바일 장치(104)가 통신로(114)의 무선 통신 인프라스트럭쳐(116)와 상호작용하도록 허용하는 송수신기(transceiver)를 포함할 수 있다.
모바일 장치(104)는 또한 일련의 하나 이상의 애플리케이션(404)을 포함할 수 있다. 애플리케이션(404)은 임의의 각각의 태스크를 수행하기 위한 임의의 타입의 기능부를 나타낸다. 일부 경우에, 애플리케이션(404)은 고-레벨 태스크를 수행한다. 전형적인 예시를 언급하기 위하여, 제1 애플리케이션은 맵 네비게이션 태스크를 수행할 수 있고, 제2 애플리케이션은 미디어 프리젠테이션 태스크를 수행할 수 있으며, 제3 애플리케이션은 이메일 상호작용 태스크를 수행할 수 있고, 등이다. 다른 경우에, 애플리케이션(404)은 저-레벨 관리 및 지원 태스크를 수행한다. 애플리케이션(404)은 예컨대, 실행가능 코드, 스크립 컨텐츠, 등, 또는 이들의 임의의 조합에 의해 임의의 방식으로 구현될 수 있다. 모바일 장치(104)는 또한 임의의 애플리케이션-관련 정보뿐만 아니라 다른 정보를 저장하기 위한 하나 이상의 장치 저장소(406)를 포함할 수 있다.
다른 구현에서, 애플리케이션(404)의 적어도 일부가 원격 처리 시스템(118)에 의해 구현될 수 있다. 예를 들어, 특정 구현에서, 일부 애플리케이션(404)은 네트워크-액세스가능 페이지 및/또는 다른 타입의 기능부를 나타낼 수 있다.
모바일 장치(104)는 또한 장치 운영 시스템(device operating system, 408)을 포함할 수 있다. 장치 운영 시스템(408)은 저-레벨 장치 관리 태스크를 수행하기 위한 기능부를 제공한다. 임의의 애플리케이션이 모바일 장치(104)에 의해 제공된 다양한 리소스를 이용하기 위하여 장치 운영 시스템에 종속될 수 있다.
모바일 장치(104)는 또한 입력 정보를 수신 및 처리하기 위한 입력 기능부(410)를 포함할 수 있다. 일반적으로, 입력 기능부(410)는 내부 입력 장치로부터 입력 정보를 수신하기 위한 일부 기능부(모바일 장치(104) 자체의 일부인 컴포넌트들을 나타냄), 및 외부 입력 장치로부터 입력 정보를 수신하기 위한 일부 기능부를 포함한다. 입력 기능부(410)는 예컨대, 하드와이어드 연결, 무선 연결(예를 들어, 블루투스(Bluetooth)® 연결), 등과 같은 임의의 커플링 기술 또는 커플링 기술들의 조합을 이용하여 외부 입력 장치로부터 입력 정보를 수신할 수 있다.
이 설명은 추론-입력 정보로서 차량(106)의 상태를 추론하기 위해 궁극적으로 사용되는 입력 정보에 관한 것이다. 이 설명은 사용자-입력 정보로서 사용자(102)에 의해 제공되는 입력 정보에 관한 것이다. 이들 두 부류의 입력 정보는 필수적으로 상호배타적이지 않고, 즉 사용자(102)에 의해 입력되는 일부 정보가 추론-입력 정보를 구성할 수 있다. 수식어 "사용자" 또는 "추론" 없이 "입력 정보"에 대한 총칭적 참조는 임의의 타입의 입력 정보를 지칭한다.
입력 기능부(410)는 하나 이상의 내부 카메라 장치(414) 및/또는 하나 이상의 외부 카메라 장치(416)로부터 이미지 정보를 수신하기 위한 선택적 제스처 인식 모듈(412)을 포함한다(예를 들어, 외부 카메라 장치(416)는 차량(106) 내의 일부 다른 유닛에 의해 또는 마운트(302)와 연계될 수 있음). 임의의 이들 카메라 장치는 임의의 타입의 이미지 정보를 제공할 수 있다. 예를 들어, 일 경우에 카메라 장치는 가시-스펙트럼 방사선, 적외선-스펙트럼 방사선, 등, 또는 이들의 조합을 수신함으로써 생성되는 비디오 이미지 정보를 제공할 수 있다. 또 다른 경우에, 카메라 장치는 깊이 정보(depth information)를 제공하기 위해 추가로 처리될 수 있는 이미지 정보를 제공할 수 있다. 깊이 정보는 기준점(예를 들어, 카메라 장치의 위치에 대응함)과 캡춰된 장면(scene) 내에서의 상이한 지점들 간의 거리의 표시(indication)를 제공한다. 깊이 처리 기능부는 예컨대, 비행 시간 기술(time-of-flight technique), 구조 광 기술(structured light technique), 스테레오스코픽 기술(stereoscopic technique), 등과 같은 임의의 기술을 이용하여 깊이 정보를 생성할 수 있다. 이미지 정보를 수신한 후에, 제스처 인식 모듈(412)은 이미지 정보가 사용자(102)가 인식가능 제스처를 취하는 것을 나타내는지를 결정할 수 있다.
입력 기능부(410)는 또한 차량(106)의 외부에 있는 장면을 캡춰하는 하나 이상의 카메라 장치로부터 이미지 정보를 수신할 수 있다. 예를 들어, 내부 또는 외부 카메라 장치는 차량(106)의 정면, 차량(106)의 후방, 차량(106)의 측면, 등에서의 장면을 캡춰할 수 있다. 이들 카메라 장치는 또한 전술된 임의의 타입의 깊이 처리 기능부와 함께 사용될 수 있다. 깊이 처리 기능부의 사용은 모바일 장치(104)가 차량(106)과 다른 근접 차량 그리고 장애물 사이의 거리를 평가하도록 허용한다. 입력 기능부(410)는 또한 예컨대, LIDAR(Light Detection And Ranging) 감지 장치, 등과 같이 임의의 다른 타입의 거리 감지 메커니즘으로부터 추론-입력 정보를 수신할 수 있다.
입력 기능부(410)는 또한 보조 시스템 인터페이스 모듈(supplemental system interface module, 418)을 포함할 수 있다. 보조 시스템 인터페이스 모듈(418)은 임의의 차량 시스템(420) 및/또는 마운트(302) 및/또는 임의의 다른 외부 시스템으로부터 추론-입력 정보를 수신한다. 보조 시스템 인터페이스 모듈(418)은 차량의 정보 관리 시스템에 의해 제공된 임의의 타입의 OBDII 정보를 수신할 수 있다. 이러한 정보는 예컨대, 차량 속도, 조향 상태, 제동 상태, 엔진 온도, 엔진 성능, 오도미터 표시(odometer reading), 오일 레벨, 연료 레벨, 차량(106) 내에서의 승객의 존재, 등에 관한 정보를 제공함으로써 특정 시점에서 차량(106)의 운영 상태를 나타낼 수 있다. 이 정보를 제공하기 위하여, 차량 시스템(420)은 차량(106)에 의해 제공된 복수의 감지 장치로부터 센서 정보를 수신할 수 있다. 대안적으로 또는 부가적으로, 보조 시스템 인터페이스 모듈(318)은 하나 이상의 센서 장치(예컨대, 마운트(302)에 의해 제공된 하나 이상의 보조 가속도계 장치)에 의해 수집되는 추론-입력 정보를 수신할 수 있다.
입력 기능부(410)는 또한 사용자(102)가 터치 입력 장치(424)를 터치할 때 사용자-입력 정보를 수신하기 위한 터치 입력 모듈(422)을 포함할 수 있다. 도 4에 도시되지 않을지라도, 입력 기능부(410)는 또한 임의의 타입의 물리적 키패드 입력 메커니즘, 임의의 타입의 조이스틱 제어 메커니즘, 임의의 타입의 마우스 장치 메커니즘, 등을 포함할 수 있다. 입력 기능부(410)는 또한 하나 이상의 마이크로폰 장치(428)로부터 음성 명령을 수신하기 위한 음성 인식 모듈(426)을 포함할 수 있다.
입력 기능부(410)는 또한 하나 이상의 움직임-감지 장치(430)를 포함할 수 있다. 일반적으로 움직임-감지 장치(430)는 모바일 장치(104)가 임의의 주어진 시간에 이동하는 방식을 결정한다. 그 정보는 차례로 모바일 장치(104)의 동적 움직임 및/또는 임의의 주어진 시간에 이의 위치에 관련할 수 있다. 도 5를 잠시 참조하면, 이 도면은 움직임-감지 장치(430)가 임의의 가속도계 장치(502), 자이로 장치(504), 자기계 장치(506), GPS 장치(508)(또는 다른 위성-기반 위치-결정 메커니즘), 추축 항법 위치-결정 장치(도시되지 않음), 셀 타워 또는 WiFi 삼각 측량 장치(도시되지 않음), 등을 포함할 수 있는 것을 나타낸다. 추가로, 움직임-감지 장치(430)는 예를 들어, 하나 이상의 카메라 장치 및 연관된 기능부에 대응하는, 전술된 임의의 타입의 비전 장치(vision device)를 포함할 수 있다. 즉, 비전 장치에 의해 캡춰된 이미지는 차량(106)의 움직임에 관한 증거를 포함하고, 이에 따라 비전 장치는 소정 타입의 움직임-감지 장치로서 고려될 수 있다. 이 세트의 가능 장치는 포괄적이기보다는 전형적이다. 다른 경우에, 일부 다른 엔티티(모바일 장치(104) 이외에 또는 부가적으로)는 예컨대, 원격 처리 시스템(118)에 의해 제공된 임의의 기능부와 같이 모바일 장치(104)의 움직임을 평가할 수 있다.
모바일 장치(104)는 또한 출력 프리젠테이션에서 사용자(102)에게 정보를 전달하기 위한 출력 기능부(432)를 포함한다. 도 6을 잠시 참조하면, 이 도면은 출력 기능부(432)가 임의의 장치 스크린(602), 하나 이상의 스피커 장치(604), 출력 정보를 임의의 표면에 투사하기 위한 프로젝터 장치(606), 등을 포함할 수 있는 것을 나타낸다.
출력 기능부(432)는 또한 모바일 장치(104)가 차량(106)과 연관된 임의의 차량 시스템(420)에 출력 정보를 전송하도록 허용하는 차량 인터페이스 모듈(608)을 포함한다. 이는 사용자(102)가 모바일 장치(104)와 상호작용하여 차량(106) 자체와 연관된 임의의 기능부의 동작을 제어하도록 허용한다. 예를 들어, 사용자(102)는 별도의 차량 미디어 시스템에 대한 미디어 컨텐츠의 재생(playback)을 제어하기 위해 모바일 장치(104)와 상호작용할 수 있다. 사용자(102)는 차량(106)의 시스템보다는 모바일 장치(104)와 직접 상호작용하는 것을 선호할 수 있으며, 이는 사용자(102)가 모바일 장치(104)가 동작되는 방식에 추측상 이미 친숙하기 때문이다. 게다가, 모바일 장치(104)는 사용자-특정 정보를 제공할 수 있는 원격 시스템 저장소(122)를 액세스한다. 모바일 장치(104)는 특정 사용자(102)에게 맞춤구성된 방식으로 임의의 차량 시스템(420)을 제어하기 위해 이 정보를 레버리지할 수 있다.
따라서, 모바일 장치(104)는 선택적으로 모드 기능부(434)를 포함할 수 있다. 모드 기능부(434)는 위에서 요약된 코어 기능들을 수행하고, 이는 특정 시점에서 차량(106)의 상태를 평가하고 차량 상태를 고려한 사용자 인터페이스 경험을 제공하는 것을 포함한다. 대안적으로, 모드 기능부(434)의 적어도 일부는 원격 처리 시스템(118)에 의해 구현될 수 있다.
도 7에는 마운트(302)(도 3)에 의해 제공된 기능부가 모바일 장치(104)와 상호작용할 수 있는 일 방식이 도시된다. 마운트(302)는 모바일 장치(104)의 입력 기능부(410)에 부착 신호를 제공하는 부착 감지 메커니즘(316)(전술됨)을 포함할 수 있다. 부착 신호는 모바일 장치(104)가 현재 마운트(302)에 커플링되는지의 여부를 나타낸다. 마운트(302)는 또한 모바일 장치(104)의 입력 기능부(410)에 추론-입력 정보를 제공하기 위하여 도 5에 도시된 임의의 타입의 움직임-감지 장치(430)를 포함할 수 있다. 마운트(302)는 또한 모바일 장치(104)의 입력 기능부(410)에 추론-입력 정보를 제공하기 위하여 임의의 다른 선택적 장치(702)를 포함할 수 있다. 대안적으로 또는 부가적으로, 장치(702)는 다양한 처리 기능들을 수행할 수 있고, 그 뒤에 이러한 처리의 결과를 모바일 장치(104)에 전송할 수 있다.
마운트(302)는 또한 예를 들어, 모바일 장치(104)에 의해 제공된 외부 파워 인터페이스 모듈(706)을 통하여 모바일 장치(104)에 전력을 공급하는 전력원(704)을 포함할 수 있다. 전력원(704)은 차례로 예컨대, 차량(106)과 연관된 전력원(도시되지 않음)과 같은 임의의 외부 공급원으로부터 전력을 수신할 수 있다. 이 구현에서, 전력원(704)은 모바일 장치(104)와 마운트(302)의 컴포넌트들 둘 모두에 전력을 공급한다. 대안적으로, 각각의 모바일 장치(104)와 마운트(302)가 별도의 전력원이 제공될 수 있다.
따라서, 도 7에는 모바일 장치(104)의 입력 기능부(410)가 마운트(302)의 컴포넌트들과 통신하도록 허용하는 인터페이스(708, 710)가 도시된다.
도 8 및 도 9는 두 출력 모드를 그림으로(pictorially) 요약한다. 즉, 도 8에서 모바일 장치(104)는 모바일 장치(104)의 디스플레이 스크린(602) 상에 시각적 컨텐츠(802)를 프리젠테이션한다. 도 9에서, 모바일 장치(104)는 시각적 컨텐츠(802)를 보조하거나 또는 대체하는 오디오 컨텐츠(902)를 프리젠테이션한다.
도 10 내지 도 12는 3가지의 입력 모드를 그림으로 요약한다. 즉, 도 10에서 터치 입력 모듈(422)은 사용자(102)가 모바일 장치(104)의 터치 입력 스크린 상에 표시된 아이콘(1004) 또는 다른 객체를 터치하기 위하여 손(1002)을 사용할 때 사용자-입력 정보를 승락한다. 도 11에서, 제스처 인식 모듈(412)은 사용자(102)가 모바일 장치(104)를 터치하지 않고 모바일 장치(104)의 내부 카메라 장치(414)에 의해 캡춰된 체스처를 취할 때 사용자-입력 정보를 수신한다. 제스처 인식 모듈(412)은 각각의 일련의 가능한 후보 제스처와 연관된 후보 제스처 정보와 캡춰된 이미지 정보를 비교함으로써 이 제스처를 인식할 수 있다. 도 12에서 음성 인식 모듈(426)은 사용자(102)가 음성 명령을 통지할 때 사용자-입력 정보를 수신한다.
도 13에는 도 4 내지 도 7의 문맥에서 위에서 소개된 모바일 장치(104)의 컴포넌트들의 서브셋에 관한 추가 정보가 도시된다. 컴포넌트들은 전형적인 애플리케이션(1302) 및 모드 기능부(434)를 포함한다. 명칭이 제안됨에 따라, "전형적인 애플리케이션"(1302)은 모바일 장치(104)에서 구동될 수 있는(및/또는 원격 처리 기능부에서 구동될 수 있는) 일련의 애플리케이션(404) 중 하나를 나타낸다.
더욱 구체적으로는, 도 13에는 각각의 기능들을 수행하는 별도의 엔티티로서 모드 기능부(434)와 전형적인 애플리케이션(1302)이 도시된다. 그러나, 모드 기능부(434)의 임의의 양태가 대안적으로 또는 부가적으로 전형적인 애플리케이션(1302)에 의해 수행될 수 있다. 유사하게, 전형적인 애플리케이션(1302)의 임의의 양태는 대안적으로 또는 부가적으로 모드 기능부(434)에 의해 수행될 수 있다. 추가로, 도 13에 도시된 컴포넌트들은 모바일 장치(104)에 의해 수행되는 것과 같이 본 명세서에 기재된다. 그러나, 대안적으로 또는 부가적으로, 모드 기능부(434) 및 전형적인 애플리케이션(1302)의 기능들 중 적어도 일부가 마운트(302) 및/또는 원격 처리 시스템(118)의 임의의 기능부에 의해 수행될 수 있다.
전형적인 애플리케이션(1302)은 일련의 리소스(1304)를 포함하는 것으로 개념화될 수 있다. 애플리케이션 리소스(1304)는 전형적인 애플리케이션(1302)이 이의 서비스를 제공하기 위하여 사용될 수 있는 이미지 컨텐츠, 텍스트 컨텐츠, 오디오 컨텐츠, 프로그램 컨텐츠, 제어 설정, 등을 나타낸다. 게다가, 일부 경우에 개발자는 상이한 차량 상태에서 호출(invocation)을 위하여 리소스들의 다수의 컬렉션(collection)을 제공할 수 있다. 예를 들어, 두 가지의 주요 차량 상태: 이동하는 상태 및 이동하지 않는 상태가 있는 것을 가정한다. 개발자는 모바일 장치(104)가 이동하는 상태에서 표시할 수 있는 인터페이스 아이콘 및 프롬프트 메시지의 제1 컬렉션 및 모바일 장치(104)가 이동하지 않는 상태에서 표시할 수 있는 인터페이스 아이콘 및 프롬프트 메시지의 제2 컬렉션을 제공할 수 있다. 이동하는 상태 컬렉션은 이동하지 않는 상태 컬렉션과 상이할 수 있다. 예를 들어, 이동하는 상태 컬렉션은 이동하지 않는 상태 컬렉션에 비해 더 큰 크기의 아이콘과 폰트를 사용할 수 있다. 애플리케이션의 실행 중에, 모드 기능부(434)는 특정 시간에 차량 상태를 결정할 수 있다. 대응하여, 모드 기능부(434)는 이동하는 상태에서 사용자 인터페이스 경험을 제공하기 위하여 이동하는 컬렉션을 유발할 수 있고 이동하지 않는 상태에서 사용자 인터페이스 경험을 제공하기 위하여 이동하지 않는 컬렉션을 유발할 수 있다(하기에서 기재된 바와 같이, 모드 기능부(434)는 적합한 사용자 인터페이스 경험을 형성하기 위해 다른 변경을 구성할 수 있음).
두 컬렉션 예시는 단지 예시적인 것이며, 다른 애플리케이션이 차량(106)이 구동하는 상이한 각각의 방법에 대응하는 둘을 초과하는 부류의 리소스 컬렉션을 제공할 수 있다. 예를 들어, 개발자는 낮에 운전하는 차량 상태에 대한 리소스 컬렉션(이동하지 않는 상태에 대한 리소스 컬렉션뿐만 아니라)과 밤에 운전하는 차량 상태에 대한 리소스 컬렉션을 생성할 수 있다.
상기 타입의 개발 환경에서, 개발자는 적합한 소프트웨어 개발 키트(SDK)를 컨설팅하여 자신이 상이한 세트의 리소스를 생성하는데 도울 수 있다. SDK는 상이한 차량 상태에서 사용될 리소스들의 특성에 관한 다양한 요건(requirement) 및 추천(recommendation)을 기재한다. 예를 들어, SDK는 개발자가 특정 차량 상태의 경우 특정 크기보다 작지 않은 폰트를 이용하는 것을 요구 또는 권고할 수 있다.
이제 모드 기능부(434)의 설명을 참조하면, 이 컴포넌트는 3개의 서브-모듈: 인터페이스 모듈(1306), 상태 감지 모듈(1308), 및 경험 프리젠테이션 모듈(1310)을 포함하는 것으로 도시된다. 설명을 돕기 위하여, 이들 3개의 기능을 구현하기 위한 모든 로직이 사실 모드 기능부(434)로 지칭되는 유닛 내에 캡슐화되는 것이 가정될 것이다. 그러나, 전술된 바와 같이, 모드 기능부(434)의 임의의 양태가 대안적으로 또는 부가적으로 전형적인 애플리케이션(1302) 및/또는 일부 다른 엔티티(예컨대, 원격 처리 시스템(118))에 의해 수행될 수 있다.
인터페이스 모듈(1306)은 다양한 형태의 추론-입력 정보를 수신한다. 추론-입력 정보의 인스턴스의 서브셋(1312)은 모바일 장치(104) 자체와 연계되는 입력 소스로부터 기인된다. 추론-입력 정보의 인스턴스의 또 다른 서브셋(1314)은 모바일 장치(104)의 외부에 있는 입력 소스로부터(예를 들어, 차량 시스템(420), 마운트(320), 등으로부터) 기인된다.
예를 들어, 추론-입력 정보의 내부 인스턴스의 서브셋(1312)은 도 5에 도시된 임의의 움직임-감지 장치(430)로부터 기인될 수 있다. 서브셋(1312)은 또한 차량(106) 외측에서 및/또는 차량(106) 내측에서 장면 또는 장면들을 캡춰하는 하나 이상의 내부 카메라 장치로부터 수신된 이미지 정보를 포함할 수 있다. 서브셋(1312)은 또한 하나 이상의 마이크로폰 장치에 의해 캡춰된 오디오 정보를 포함할 수 있다.
외부 추론-입력 정보의 인스턴스의 서브셋(1314)은 예를 들어, OBDII 정보 또는 이와 유사한 것에 의해 표현된 바와 같이 임의의 차량 시스템(420) 내에 센서 정보를 공급하는 임의의 센서 장치로부터 기인될 수 있다. 서브셋(1314)은 또한 차량(106) 외부 및/또는 차량(106) 내부에서 장면 또는 장면들을 캡춰하는 하나 이상의 외부 카메라 장치로부터 수신된 이미지 정보를 포함할 수 있다. 예를 들어, 외향 카메라 장치에 의해 캡춰된 이미지 정보는 보행자 및 근접 차량의 존재, 정지 신호등의 존재, 등을 나타내기 위해 사용될 수 있다. 서브셋(1314)은 또한 하나 이상의 마이크로폰 장치에 의해 캡춰된 오디오 정보를 포함할 수 있다.
이 서브셋(1314)은 또한 원격 소스로부터(예를 들어, 임의의 원격 처리 시스템(118)으로부터) 추출되는 임의의 정보를 포괄할 수 있다. 이러한 정보는 지도 정보, 교통 정보, 도로 조건 정보, 위험 정보, 날씨 정보, 지역 인구 정보, 관심 지정 정보, 특정 관할권과 연관된 운전-관련 규칙에 관한 법률 정보, 등을 포함할 수 있다. 게다가, 지도 정보는 임의의 레벨의 입도(granularity)에서 지역에 관한 정보를 제공할 수 있다. 예를 들어, 지도 정보는 소정 영역에서 신호등, 복합 교차로, 스쿨 존, 등의 위치를 식별할 수 있다.
원격 처리 시스템(118)에 의해 유지되는 정보는 다양한 방식으로 수집될 수 있다. 일 방법에서, 원격 처리 시스템(118)은 예컨대, 도로 카메라 장치, 항공 및 위성 카메라 장치, 온도 감지 장치, 강우-감지 장치, 등과 같은 인-필드 감지 장치(in-field sensing device)에 기초하여 정보를 수집할 수 있다. 부가적으로, 또는 대안적으로, 원격 처리 시스템(118)은 인력으로 정보를 보고하는 인간 관찰자(human observer)로부터 정보를 수집할 수 있다. 부가적으로, 또는 대안적으로, 원격 처리 시스템(118)은 각각의 차량에 제공된 복수의 모바일 장치로부터 정보를 크라우드-소싱함으로써(crowd-sourcing) 정보를 수집할 수 있다.
상기 식별된 형태의 추론-입력 정보는 제한 없이 예시로서 언급되고, 다른 구현이 다른 형태의 추론-입력 정보를 제공할 수 있고 및/또는 전술된 하나 이상의 형태의 추론-입력 정보를 생략할 수 있다.
상태 감지 모듈(1308)은 상기 나열된 형태의 추론-입력 정보(및/또는 다른 형태의 추론-입력 정보)의 임의의 조합에 기초하여 차량(106)의 상태를 추론한다. 상태 감지 모듈(1308)은 다양한 방식으로 이 태스크를 수행할 수 있다. 일 구현에서, 상태 감지 모듈(1308)은 대응 차량 상태 정보에 입력 상태의 상이한 순열(추론-입력 정보에 의해 정해짐)을 맵핑하는 룩업 테이블(lookup table)을 유지할 수 있다. 즉, 상태 감지 모듈(1308)은 입력 조건(L, M, N, P)이 표시되는 경우 차량이 상태(X)에 있는 것을 나타낼 수 있다. 또 다른 경우에, 상태 감지 모듈(1308)은 일련의 입력 조건과 연관된 특징 벡터(feature vector)를 식별된 차량 상태로 맵핑하기 위한 통계 모델을 사용할 수 있다. 그 통계 모델은 기계-학습 공정(machine-learning process)에서 형성될 수 있다. 또 다른 경우에, 상태 감지 모듈(1308)은 입력 조건을 식별된 차량 상태, 등으로 맵핑함으로써 뉴럴 네트워크(neural network) 또는 임의의 타입의 규칙-기반 엔진(rules-based engine)을 사용할 수 있다. 이들 구현은 제한 없이 예시로서 언급된다. 섹션 B는 전형적인 시나리오의 문맥에서 상태 감지 모듈(1308)의 예시적인 거동을 더욱 구체적으로 기재할 것이다.
부가적으로, 상태 감지 모듈(1308)은 사용자(102)가 특정된 또는 예측된 목적지에 도달하려고 하는 루트를 결정하기 위해 루트 예측 모듈을 컨설팅할 수 있다. 루트 정보는, 여행(trip)이 진행됨에 따라 사용자(102)가 직면할 가능성이 있는 곤란한 운전 조건을 실제로 직면하기 전에 예측하는 방식으로, 상태 감지 모듈(1308)이 더욱 사전행동적(proactive) 방식으로 동작하도록 돕는다. 상태 감지 모듈(1308)은 또한 예컨대, 캘린더 정보, 구매 이력 정보, 우선하는 이동 루트 정보, 등과 같이 차량 상태를 생성하기 위해 임의의 다른 사용자 리소스를 마이닝할 수 있다(mine).
경험 프리젠테이션 모듈(1310)은 상태 감지 모듈(1308)로부터 추론된 차량 상태에 관한 정보를 수신한다. 대응하여, 경험 프리젠테이션 모듈(1310)은 차량 상태를 사용자 인터페이스 경함으로 맴핑한다. 일반적으로, 전술된 바와 같이, 모드 기능부(434)는 차량 상태와 동등한 방식으로 사용자(102)의 주의력을 기울이게 하는 사용자 인터페이스 경험을 제공하기 위한 시도를 한다. 이는 사용자 인터페이스 경험이 사용자(102)가 차량 상태를 고려하여 안전하게 제기할 수 없는 사용자(102)로부터의 주의력의 레벨 및 타입을 요구하지 않도록 하는 것을 의미한다. 차례로, 이 거동은 차량(106) 내에서 모바일 장치(104)의 사용과 연관된 위험성을 궁극적으로 줄인다. 동시에, 모드 기능부(434)는 예를 들어, 사용자(102)에게 상당한 위험을 제공하지 않는 특정 상호작용을 불필요하게 배제함으로써 지나치게 제한되지 않는 사용자 경험을 제공한다.
경험 프리젠테이션 모듈(1310)은 또한 사용자(102)에게 프리젠테이션되는 사용자 인터페이스 경험을 선택하기 위해 원격 처리 시스템(118)(이의 연관된 시스템 저장소(122)) 내에 제공된 기능부를 컨설팅할 수 있다. 예를 들어, 경험 프리젠테이션 모듈(1310)은 사용자(102)의 선호도 및 습관을 결정할 수 있고, 그 뒤에 사용자 인터페이스 경험의 선택을 촉구하기 위해 이 정보를 사용할 수 있다. 선호도는 사용자가 상이한 운전 환경에서 수신하기를 선호하는 사용자 인터페이스 경험의 구성을 나타낼 수 있다. 경험 프리젠테이션 모듈(1310)은 특정 운전 환경의 경우 사용자의 선호도를 만족시키려는 시도를 할 수 있고, 이에 따라 이러한 선택이 다른 고려사항에 의해 모순되지 않도록 제공된다. 습관은 사용자가 상이한 사용자 인터페이스 경험과 함께 다양한 운전 환경에 직면할 때 차량(106)을 운전하는 방식(과거의 경우)을 나타낼 수 있다. 사용자가 사용자 인터페이스 경험 및 운전 환경의 특정 조합에 대해 서투르게 수행하는 경우, 경험 프리젠테이션 모듈(1310)은 장래의 경우 이의 사용을 선호하지 않도록 이 조합을 부정적으로 여길 수 있다.
사용자 인터페이스 경험을 제공하는 것에 부가적으로, 경험 프리젠테이션 모듈(1310)은 사용자에게 경고를 표시할 수 있다. 예를 들어, 경고는 자신이 스쿨 존에 도달하는 사실을 사용자에게 경고할 수 있다. 경고는 운전자가 어린이들의 존재에 대해 주의를 기울이게 할 수 있다. 부가적으로, 또는 대안적으로, 경고는 자신이 상기 상황에서 너무 빨리 운전하는 것을 사용자에게 경보할 수 있다.
도 14는 경험 프리젠테이션 모듈(1310)이 원하는 사용자 인터페이스 경험을 형성할 수 있는 상이한 방법들 중 일부를 도시한다(섹션 B는 경험 프리젠테이션 모듈(1310)의 동작의 더 많은 예시를 기재할 것임). 하나의 일반적 카테고리로서, 경험 프리젠테이션 모듈(1310)은 출력 기능부(432)의 일부 양태를 조절할 수 있다. 또 다른 일반적인 카테고리로서, 경험 프리젠테이션 모듈(1310)은 입력 기능부(410)의 일부 양태를 조절할 수 있다. 경험 프리젠테이션 모듈(1310)은 또한 도 1에 도시된 환경(100)의 임의의 다른 양태를 수정할 수 있다.
우선 출력 기능부(432)가 변경되었음을 고려한다. 제1 변경으로서, 경험 프리젠테이션 모듈(1310)은 차량 상태에 응답하여 특정 출력 모드를 허용 또는 비허용할 수 있다(또는 특정 출력 모드의 하나 이상의 부분을 적어도 부분적으로 허용하거나 또는 제한할 수 있음). 일 예시를 언급하기 위해, 경험 프리젠테이션 모듈(1310)은 차량(106)이 이동할 때 디스플레이 출력 모드를 비활성화할 수 있다. 출력 방식 대신에, 경험 프리젠테이션 모듈(1310)은 음성 출력 모드를 통하여 출력 정보를 제공할 수 있거나, 또는 이동 조건이 효과적인 한 어떠한 출력 정보도 전혀 생성하지 않을 수 있다.
대안적으로 또는 부가적으로, 경험 프리젠테이션 모듈(1310)은 이 모듈이 차량 상태에 응답하여 표시하는 컨텐츠를 변경할 수 있다. 예를 들어, 전술된 바와 같이, 애플리케이션은 출력 프리젠테이션을 제공하는데 이용하는 경우 리소스들의 둘 이상의 컬렉션을 포함할 수 있다. 경험 프리젠테이션 모듈(1310)은 차량 상태에 기초하여 리소스들의 적합한 컬렉션을 이용하여 출력 프리젠테이션을 표시할 수 있다. 예를 들어, 경험 프리젠테이션 모듈(1310)은 차량(106)의 속도가 정해진 임계값을 초과하는 큰-크기의 아이콘을 디스플레이할 수 있다.
대안적으로 또는 부가적으로, 경험 프리젠테이션 모듈(1310)은 차량 상태에 응답하여 출력 프리젠테이션 자체의 임의의 속성 또는 특성을 변경할 수 있다. 이 타입의 변경은 바로 위에서 기재된 변경과 유사하다. 그러나, 여기에서 리소스들의 전체적으로 새로운 컬렉션을 선택하는 대신에, 경험 프리젠테이션 모듈(1310)은 출력 프리젠테이션의 하나 이상의 가변 특징을 수정할 수 있다. 이 카테고리는 넓은 범위의 옵션을 포괄한다. 예를 들어, 시각적 출력 프리젠테이션의 경우, 경험 프리젠테이션 모듈(1310)은 디스플레이될 컨텐츠의 임의의 크기, 대비, 색상, 투명도, 등, 컨텐츠가 디스플레이되는 시간, 디스플레이되는 컨텐츠의 상이한 부분들 사이의 공간 조직, 등을 조절할 수 있다. 오디오 출력 프리젠테이션의 경우, 경험 프리젠테이션 모듈(1310)은 표시되는 오디오 컨텐츠의 볼륨, 청취가능 컨텐츠에 의해 제공된 스피킹(speaking)의 속도, 등을 조절할 수 있다.
대안적으로 또는 부가적으로, 경험 프리젠테이션 모듈(1310)은 차량 상태에 기초하여 상이한 목적지에 출력 정보를 전송할 수 있다. 예를 들어, 일부 차량 상태의 경우, 모바일 장치(104)는 모바일 장치(104) 자체와 연관된 출력 장치에 출력 정보를 라우팅할 수 있다. 다른 차량 상태의 경우, 모바일 장치(104)는 예컨대, 차량(106)과 연관된 미디어 시스템과 같이 임의의 차량 시스템(420)에 출력 정보를 라우팅할 수 있다.
경험 프리젠테이션 모듈(1310)은 차량 상태에 기초하여 임의의 출력 프리젠테이션을 수정하기 위하여 또 다른 전략을 이용할 수 있다.
다음으로 입력 기능부(410)를 고려한다. 제1 변경으로서, 경험 프리젠테이션 모듈(1310)은 특정 입력 모드를 허용 또는 비허용할 수 있다(또는 특정 입력 모드의 하나 이상의 부분을 적어도 부분적으로 허용하거나 또는 제한할 수 있음). 일 예시를 언급하기 위해, 경험 프리젠테이션 모듈(1310)은 차량(106)이 고속으로 이동할 때 터치 스크린 입력 모드 및 키패드 입력 모드를 비활성화할 수 있다. 입력 방식 대신에, 경험 프리젠테이션 모듈(1310)은 음성-인식 입력 모드 및/또는 제스처-인식 입력 모드를 통하여 입력을 제공할 수 있다.
대안적으로 또는 부가적으로, 경험 프리젠테이션 모듈(1310)은 차량 상태에 기초하여 수득되는 사용자-입력 정보의 타입을 변경할 수 있다. 예를 들어, 경험 프리젠테이션 모듈(1310)은 차량(106)이 저속으로 이동할 때에 비해 차량(106)이 고속으로 이동하는 동안 더 적은 개수의 음성 명령을 승락할 수 있다. 이 변경은 고속에서 음성-인식 입력 모드의 복잡성 및 이에 따라 이 모드가 사용자(102)에 대해 야기할 수 있는 혼란을 줄이는 것을 도울 수 있다.
대안적으로 또는 부가적으로, 경험 프리젠테이션 모듈(1310)은 임의의 입력 모드가 사용자-입력 정보를 수집하는 방식을 변경할 수 있다. 예를 들어, 특정 시점에서 입력 모드는 응답을 필요로 하는 사용자(102)에 대한 질의(query)를 표시할 수 있고, 응답을 수신하지 않고 소정의 기간 이후에 입력 모드는 질의를 비활성화시킬 수 있다. 고속에서, 입력 모드는 사용자(102)가 혼란스러울 수 있고 신속한 응답을 제공할 수 없기 때문에 사용자(102)로부터 응답을 요구하는 기간을 연장시킬 수 있다.
경험 프리젠테이션 모듈(1310)은 차량 상태에 기초하여 임의의 입력 모드를 수정하기 위하여 또 다른 전략을 사용할 수 있다.
도 15에는 사용자(102)가 차량(106) 내에서 자신의 모바일 장치(104)를 동작할 수 있는 또 다른 환경(1500)이 도시된다. 이 문맥에서, 환경(1500)은 차량(106)이 디스트레스 상태에 있는 것으로 보여질 때를 결정한다. 디스트레스 상태는 차량(106), 더 나아가 차량(106)을 운전하는 사용자(102)에게 일어나는 임의의 외상적 이벤트에 대응한다. 예를 들어, 디스트레스 상태는 차량(106)과 관련하여 발생되는 사고에 대응할 수 있다. 디스트레스 상태가 발생될 때, 환경(1500)은 운전자 지원 시스템(1502)으로부터의 도움을 요구할 수 있다. 운전자 지원 시스템(1502)은 예컨대, (a) 전화, 문자 메시징, 또는 다른 통신 메커니즘에 의해 사용자(102)와의 접촉, (b) 긴급 대응 서비스(또는 서비스들)와의 접촉, (c) 사용자의 가족 구성원 또는 다른 지정된 접촉 지점과의 접촉, (d) 서비스 스테이션 및/또는 다른 지원 센터에 관한 정보 제공, 등에 의해 다양한 방식으로 사용자(102)를 도울 수 있다. 운전자 지원 시스템(1502)이 디스트레스 상태 발생의 관계자(party)에게 통지할 때마다 이는 차량(106)의 위치 및 디스트레스 상태를 둘러싸는 임의의 알맞은 환경을 식별할 수 있다. 운전자 지원 시스템(1502)은 디스트레스 상태의 경우에 사용자(102)를 지원하는 인간 에이전트(human agent)를 배치할 수 있다. 부가적으로, 또는 대안적으로, 운전자 지원 시스템(1502)은 사용자(102)를 지원하기 위한 자동식 기능부를 포함할 수 있다.
도 16은 도 15의 환경(1500)에서 디스트레스 상태에 응답하고 감지할 수 있는 디스트레스 관리 모듈(1602)에 관한 추가 정보를 제공한다. 일 경우에, 모바일 장치(104)는 디스트레스 관리 모듈(1602)을 구현한다. 대안적으로 또는 부가적으로, 원격 처리 시스템(118) 및/또는 마운트(302)가 디스트레스 관리 모듈(1602)의 적어도 일부를 구현할 수 있다.
디스트레스 관리 모듈(1602)은 하나 이상의 외부 입력 소스로부터 추론-입력 정보의 인스턴스들의 서브셋(1608) 및/또는 하나 이상의 내부 입력 소스로부터 추론-입력 정보의 인스턴스들의 서브셋(1606)를 수신하는 인터페이스 모듈(1604)을 포함한다. 다시 말해서, 인터페이스 모듈(1604)은 도 13의 인터페이스 모듈(1306)과 동일한 방식으로 기능을 한다.
디스트레스 상태 감지 모듈(1610)은 디스트레스 상태가 발생되는지를 결정하기 위하여 입력 정보를 분석한다. 상이한 환경이 상이한 방식으로 이 판단을 내릴 수 있다. 일반적으로, 디스트레스 상태 감지 모듈(1610)은 수신되는 추론-입력 정보의 다양한 인스턴스로부터 서명을 생성하고, 그 뒤에 이 서명이 디스트레스 상태의 텔테일 서명(telltale signature)과 매칭되는지를 결정한다. 일 경우에, 디스트레스 상태 감지 모듈(1610)은 (1) 모바일 장치(104)가 차량(106) 내에서 표시하는 경우, 및 (2) 차량(106)이 갑작스럽게 정지하거나 또는 이와는 달리 갑작스럽게 감속(또는 가속)하는 경우, 및/또는 모바일 장치(104)가 갑작스런 감속(또는 가속)의 발생과 대략적으로 동시에 마운트(302)로부터 이탈되는 경우에 디스트레스 상태가 발생된다고 결정한다. 비공식적으로, 이는 모바일 장치의 크래들(308)로부터 모바일 장치(104)를 흔드는 사고가 발생될 수 있음을 의미한다. 또는 모바일 장치(104)는 이와는 달리 필수적으로 크래들(308)로부터 이탈되지 않고 급격한(예를 들어, 진동(jarring)) 감속 또는 가속을 경험할 수 있다. 졸팅 감속(jolting deceleration)은 이동하는 차량(106)이 이의 경로 내에서 대상물과 충돌하는 것을 나타낼 수 있다. 졸팅 가속(jolting acceleration)은 차량(106)이 원래 정지되어 있는 동안을 포함하는, 또 다른 이동하는 대상물과 충돌하는 것을 나타낼 수 있다.
디스트레스 상태 감지 모듈(1610)은 갑작스런 감속 바로 이전에 부착-감지 메커니즘(316)이 모바일 장치(104)가 마운트(302)의 크래들(308) 내에 삽입되는 것을 나타내는 경우 모바일 장치(104)가 차량(106) 내에 배치된 것으로 추정할 수 있다. 게다가, 디스트레스 상태 감지 모듈(1610)은 모바일 장치(104)가 부착-감지 메커니즘(316)의 출력에 기초하여 마운트(302)에서 벗어났다고 결정할 수 있다. 디스트레스 상태 감지 모듈(1610)은 모바일 장치(104)가 급작스럽게 정지하거나 또는 이와는 달리 예를 들어, 가속도계 장치(502)의 출력에 기초하여 급작스럽게 감속(또는 가속)되는 것을 결정할 수 있다.
다른 경우에, 디스트레스 상태 감지 모듈(1610)은 이벤트(2) 및/또는 이벤트(3)의 발생 없이 디스트레스 상태의 발생을 나타낼 수 있다. 예를 들어, 디스트레스 상태 감지 모듈(1610)은 디스트레스 상태의 발생을 평가하는데 있어서 임의의 하기 이벤트를 고려한다: (a) 제동의 급격한 적용, (b) 불규칙적 조향, (c) 상당히 편평하지 않은 표면의 횡단(차량(106)이 도로에서 벗어나 방향전환할 때와 같이), (d) 차량(106)이 이의 측면에서 돌거나 또는 완전히 전복되는 경우, 등. 부가적으로 또는 대안적으로, 디스트레스 상태 감지 모듈(1610)은 하나 이상의 마이크로폰 장치에 의해 캡춰된 오디오 정보 및/또는 하나 이상의 카메라 장치에 의해 캡춰된 이미지 정보에 대한 이의 분석에 기초할 수 있다. 이들 이벤트는 제한 없이 예시로서 언급된다.
동작 모듈(1612)은 디스트레스 상태 감지 모듈(1610)이 디스트레스 상태가 발생된 것을 알릴 때를 운전자 지원 시스템(1502)에 통지할 수 있다. 지원 중심 상호작용 모듈(1614)은 사용자(102)가 그 후에 엔티티로부터 수동 및/또는 자동 도움말(help)을 수신하기 위하여 운전자 지원 시스템(1502)과 통신하도록 허용한다.
종결 요점으로서, 전술된 설명은 차량 내의 모드 기능부(434)의 사용을 제시한다. 그러나, 사용자(102)는 임의의 환경에서 모바일 장치(104)와 상호작용하도록 모드 기능부(434)를 이용할 수 있다. 일반적으로 말하면, 모드 기능부(434)는 사용자(102)가 상이한 사용 시나리오에서 모바일 장치(104)와 상호작용할 수 있고, 추가로 사용자(102)가 이들 상이한 시나리오에서 모바일 장치(104)와 상호작용하는 상이한 각각의 능력을 갖는 이들 환경에서 특히 유용한 서비스를 제공한다. 단지 하나의 예시를 언급하기 위해, 모바일 장치(104)는 사용자(102)가 보행 또는 달리는 중에 모바일 장치(104)와 상호작용하는지를 결정할 수 있으며, 만일 그러한 경우 모바일 장치(104)는 사용자가 보행 또는 달리는 중에 종속될 수 있는 다양한 제약을 고려하는 사용자(102)에게 사용자 인터페이스 경험을 표시할 수 있다(하나의 위치에 있는 동안 모바일 장치(104)와 상호작용하는 것과는 상반되게).
B. 예시적인 공정
도 17 내지 도 22에는 도 1의 환경(100)의 하나 이상의 동작 방법을 설명하는 절차가 도시된다. 환경(100)의 동작에 기초한 원리가 이미 섹션 A에서 기재되었기 때문에, 특정 동작은 이 섹션에서 간략한 형태로 언급될 것이다.
우선 도 17을 참조하면, 이 도면은 사용자(102)의 시각으로부터 도 1의 환경(100)의 일 동작 방법을 제시하는 예시적인 절차(1700)를 도시한다. 블록(1702)에서, 사용자(102)는 예를 들어, 터치 입력 장치(424)를 이용하여 모바일 장치(104)와 상호작용하도록 자신의 손을 사용함으로써 통상적인 동작 모드에서 자신의 모바일 장치(104)를 이용할 수 있다. 블록(1704)에서, 사용자(102)는 차량(106)에 진입하고, 모바일 장치(104)를 마운트(302)와 같은 임의의 타입의 마운트 내에 배치한다. 블록(1706)에서, 사용자(102)는 모바일 장치(104)가 차량 모드에서 동작하도록 지시한다. 블록(1708)에서, 사용자(102)는 차량(106)을 이용하여 네비게이션(navigation)을 시작한다. 블록(1708)에서 사용자(102)는 현재의 차량 상태에 맞춤구성된 사용자 인터페이스 경험을 수신한다. 차량 상태는 차례로 다양한 입력 소스에 의해 공급된 입력 정보를 기초로 한다. 블록(1712)에서, 사용자의 여행이 완료된 후에, 사용자(102)는 마운트(302)로부터 모바일 장치(104)를 제거할 수 있다. 사용자(102)는 그 뒤에 통상적인 핸드헬드 동작 모드에서 모바일 장치(104)를 이용하여 재개할 수 있다.
도 18에는 모드 기능부(434)의 시각으로부터 모드 기능부(434)의 하나의 동작 방법을 설명하는 예시적인 절차(1800)가 도시된다. 블록(1802)에서, 모드 기능부(434)는 하나 이상의 내부 입력 소스(예를 들어, 움직임-감지 장치(430)에 대응함) 및/또는 하나 이상의 외부 입력 소스(예를 들어, 차량 시스템(420)에 의해 제공된 센서 정보에 대응함)를 포함하는 하나 이상의 입력 소스로부터 추론-입력 정보를 수신한다. 블록(1804)에서, 모드 기능부(434)는 추론-입력 정보에 기초하여 차량 상태를 추론한다. 블록(1806)에서, 모드 기능부(434)는 추론된 운전 상태에 기초하여 사용자 인터페이스 경험을 표시한다.
도 19 내지 도 21에는 도 17의 절차(1700)의 3가지의 인스턴스화(instantiation)가 도시된다. 예를 들어, 도 19에는 차량(106)이 이동하거나 또는 이동하지 않는 지에 따르는 시나리오가 도시된다. 블록(1902)에서, 모드 기능부(434)는 추론-입력 정보를 수신한다. 블록(1904)에서, 모드 기능부(434)는 차량(106)이 이동하거나 또는 이동하지 않는지를 결정한다. 블록(1906)에서, 모드 기능부(434)는 도 8에 요약된 변경들의 임의의 조합을 구성할 수 있다.
예를 들어, 하나의 시나리오에서, 모드 기능부(434)는 차량(106)이 움직이고 있다고 판정하기 위하여 임의의 움직임-감지 장치(430) 및/또는 외부 센서 장치에 의해 제공된 추론-입력 정보를 이용할 수 있다. 대응하여, 모드 기능부(434)는 단순화된 컨텐츠를 표시하기 위하여 디스플레이 입력 모드를 이용하거나 또는 디스플레이 입력 모드의 사용을 종료할 수 있다(차량(106)이 정지된 경우 표시될 수 있는 컨텐츠와 비교하여). 디스플레이 입력 모드 대신에, 모드 기능부(434)는 음성-인식 모드 및/또는 제스처-인식 입력 모드를 이용하여 사용자(102)와 선택적으로 상호작용할 수 있다. 대안적으로, 모드 기능부(434)는 차량(106)이 움직이는 동안에 예컨대, 비디오 컨텐츠와 같은 특정 유형의 컨텐츠의 프리젠테이션을 배제할 수 있다.
도 20에는 사용자(102)가 차량(106)을 운전하는 방식에 따른 시나리오가 도시된다. 블록(2002)에서, 모드 기능부(434)는 추론-입력 정보를 수신한다. 블록(2004)에서, 모드 기능부(434)는 모바일 장치(104)가 추론-입력 정보에 기초하여 이동하는 방식을 분류한다. 블록(2006)에서, 모드 기능부(434)는 도 8에서 요약된 변경들의 임의의 조합을 구성할 수 있다.
예를 들어, 모드 기능부(434)는 차량이 이동하는 방식을 특징화하는 움직임 서명(movement signature)을 컴파일하기 위하여 추론-입력 정보의 임의의 조합을 이용할 수 있다. 모드 기능부(434)는 그 뒤에 상이한 부류의 움직임과 연관된 텔테일 움직임 서명과 이 움직임 서명을 비교할 수 있고, 매칭 텔테일 서명은 차량(106)이 현재 겪는 움직임의 타입을 나타낸다. 이러한 부류의 움직임은 다음을 포함할 수 있다(그러나, 이에 제한되지 않음): (a) 정해진 임계값 초과의 속도로 이동함, (b) 급격히 변화하는 속도로 이동함, (c) 구불구불한 도로 위에서 이동함, (d) 현저한 고도 변화가 있는 도로 위에서 이동함, (e) 편평하지 않은 표면 위에서 이동함, (f) 이동 중에 빈번하게 차선 변경을 함, (g) 이동 중에 차량(106)의 브레이크의 빈번한 적용, (h) 이동 중에 빈번한 변속, (i) 이동 중에 또는 이와는 달리 불규칙적 방식으로 이동 중에 도로 위에서 드리프팅(drifting), 등. 모드 기능부(434)는 그 뒤에 매칭 텔테일 움직임 서명과 연관된 사용자 인터페이스 경험을 적용할 수 있다. 일반적인 원리로서, 수집된 증거가 운전의 태스크가 현재 힘들거나 또는 복잡한 태스크인 것을(또는 이여야 하는 것을) 나타내는 경우, 그 뒤에 모드 기능부(434)는 사용자(102)에게 부과되는 주의력-관련 요구를 줄이려고 할 것이다. 대안적으로 또는 부가적으로, 수집된 증거가 사용자(102)가 이미 혼란스러워진 것을(서투른 운전에 의해 입증되는 바와 같이) 나타내는 경우, 그 뒤에 모드 기능부(434)는 사용자(102)에 대해 주의력-관련 부담을 줄이려고 할 것이다.
도 21에는 차량(106)의 평가된 위치에 따른 시나리오가 도시된다. 블록(2102)에서, 모드 기능부(434)는 추론-입력 정보를 수신한다. 추론-입력 정보는 차량(106)의 위치에 관한 임의의 정보를 포함할 수 있다. 이러한 증거는 예컨대, GPS 정보, Wifi 또는 셀 타워 삼각 측량 정보, 추측 항법 정보, 등과 같은 위치 정보를 포함할 수 있다. 부가적으로, 또는 대안적으로, 모드 기능부(434)는 사용자(102)가 하나 이상의 카메라 장치에 의해 캡춰된 이미지 정보 및/또는 하나 이상의 마이크로폰 장치에 의해 캡춰된 오디오 정보에 기초하여 이동하는 환경을 직접 모니터링할 수 있다.
블록(2104)에서, 모드 기능부(434)는 차량(106)이 추론-입력 정보에 기초하여 배치되는 영역을 식별할 수 있다. 이는 임의의 위치-결정 장치에 의해 수신된 위치 정보의 위치-관련 분석을 포함할 수 있다. 예를 들어, 이 동작은 원격 처리 시스템(118) 및/또는 모바일 장치(104)에 의해 제공되는 맵 정보를 컨설팅함으로써 차량(106)의 도로 위치를 결정하는 것을 포함할 수 있다. 영역의 결정은 또한 마이크로폰 장치로부터 수신된 오디오 정보의 분석 및/또는 카메라 장치로부터 수신된 이미지 정보의 분석을 포함할 수 있다. 예를 들어, 모드 기능부(434)는 사용자(102)가 이동하는 도로가 보행자 및/또는 다른 차량으로 정체되는 것을 결정하기 위해 이미지 분석을 따를 수 있다.
이 블록(2104)의 또 다른 일부로서, 모드 기능부(434)는 차량(106)이 배치되는 영역의 운전-관련 연루(driving-related implication)를 확인할 수 있다. 일 구현에서, 모드 기능부(434)는 원격 처리 시스템(118)(및 연관된 시스템 저장소(112))을 컨설팅함으로써 이 평가를 할 수 있다. 원격 처리 시스템(118)은 사용자(102)가 식별된 영역에 있는 동안에 유지하도록 예상하는 주의력의 정도 및 타입과 관계가 있는 임의의 주의력-관련 고려사항인지를 결정할 수 있다. 이 정보에 기초하여, 블록(2106)에서 모드 기능부(434)는 도 8에 요약된 변경들의 임의의 조합을 구성할 수 있다.
예를 들어, 모드 기능부(434)는 사용자(102)가 특정 주의력 프로파일이 적용될 수 있는 임의의 하나 또는 다음의 전형적인 영역 내에 있는지를 확인할 수 있다: (a) 스쿨 존, (b) 건설 구역, (c) 긴급 서비스 근처의 영역, (d) 위험 구역, 등. 더욱 일반적으로는, 모드 기능부는 또한 특정 시점에 차량(106)에 적용될 수 있는 운전 규칙을 결정하기 위하여 임의의 위치-관련 증거를 이용할 수 있다. 모드 기능부(434)는 그 뒤에 식별된 영역에 대해 적합한 사용자 인터페이스 경험을 적용할 수 있다.
대안적으로, 모드 기능부(434)는 사용자(102)가 차량(106)의 표시 위치에 관한 식견(insight)과 조합하여(시나리오 C에서 확인된 바와 같이) 사용자(102)가 자신의 차량(106)을 운전하는 방식에 기초하여 그의 차량 상태를 결정할 수 있다(시나리오 A 또는 시나리오 B에서 확인된 바와 같이). 예를 들어, 모드 기능부(434)는 사용자(102)가 공원에 접한 도로에서 20 MPH 초과로 운전할 때 디스플레이 입력 모드 출력 프리젠테이션을 선택적으로 비활성화할 수 있다.
도 22에는 도 16에 도시된 디스트레스 관리 모듈(1602)의 일 동작 방식을 요약하는 절차(2200)가 도시된다. 블록(2202)에서, 디스트레스 관리 모듈(1602)은 추론-입력 정보를 수신한다. 블록(2204)에서, 디스트레스 관리 모듈(1602)은 차량(106)이 추론-입력 정보에 기초하여 표시 시간에서 디스트레스 상태에 있는지를 결정한다. 블록(2206)에서, 디스트레스 관리 모듈(1602)은 사용자(102)에서 지원을 표시한다(차량(106)이 디스트레스 상태에 있다고 추정함). 이 지원은 원격 운전자 지원 시스템(1502)과의 접촉을 포함할 수 있다.
C. 전형적인 컴퓨팅 기능부
도 23에는 전술된 기능들의 임의의 양태를 구현하는데 사용될 수 있는 예시적인 컴퓨팅 기능부(2300)가 도시된다. 예를 들어, 컴퓨팅 기능부(2300)는 모바일 장치(104)의 임의의 양태를 구현하는데 사용될 수 있다. 부가적으로, 도 23에 도시된 타입의 컴퓨팅 기능부(2300)는 원격 처리 시스템(118)의 임의의 양태를 구현하는데 사용될 수 있다. 일 경우에, 컴퓨팅 기능부(2300)는, 하나 이상의 처리 장치를 포함하는 임의의 타입의 컴퓨팅 장치에 대응할 수 있다. 모든 경우에, 컴퓨팅 기능부(2300)는 하나 이상의 물리적 및 유형의 처리 메커니즘을 나타낸다.
컴퓨팅 기능부(2300)는 RAM(2302) 및 ROM(2304)과 같은 휘발성 및 비-휘발성 메모리뿐만 아니라 하나 이상의 처리 장치(2306)(예를 들어, 하나 이상의 CPU, 및/또는 하나 이상의 GPU, 등)를 포함할 수 있다. 컴퓨팅 기능부(2300)는 또한 선택적으로, 하드 디스크 모듈, 광학 디스크 모듈, 등과 같은 다양한 미디어 장치(2308)를 포함한다. 컴퓨팅 기능부(2300)는, 처리 장치(들)(2306)가 메모리(예를 들어, RAM(2302), ROM(2304), 등)에 의해 유지되는 명령들을 실행할 때에 상기 식별된 다양한 동작들을 수행할 수 있다.
더욱 일반적으로, 명령들 및 다른 정보는, 정적 메모리 저장 장치, 자기 저장 장치, 광학 저장 장치, 등을 포함하지만 이에 제한되지 않는 임의의 컴퓨터 판독가능 매체(2310) 상에 저장될 수 있다. 용어 컴퓨터 판독가능 매체는 또한, 복수의 저장 장치를 포괄한다. 모든 경우에, 컴퓨터 판독가능 매체(2310)는 일부 형태의 물리적 및 유형의 엔티티를 나타낸다.
컴퓨팅 기능부(2300)는 또한, 다양한 입력들을 (입력 모듈들(2314)을 통해) 수신하고 다양한 출력들을 (출력 모듈들을 통해) 제공하기 위한 입력/출력 모듈(2312)을 포함한다. 하나의 특정 출력 메커니즘은 프리젠테이션 모듈(2316) 및 연관된 그래픽 사용자 인터페이스(GUI)(2318)를 포함할 수 있다. 컴퓨팅 기능부(2300)는 또한, 하나 이상의 통신로(2322)을 통해 다른 장치와 데이터를 교환하기 위한 하나 이상의 네트워크 인터페이스(2320)를 포함할 수 있다. 하나 이상의 통신 버스(2324)는 상기 설명된 컴포넌트들을 함께 통신가능하게 커플링시킨다.
통신로(들)(2322)는 임의의 방식으로, 예를 들어, 로컬 영역 네트워크, 광역 네트워크(예를 들어, 인터넷), 등 또는 이들의 임의의 조합에 의해 임의의 방식으로 구현될 수 있다. 통신로(들)(2322)는, 임의의 프로토콜 또는 프로토콜들의 조합에 의해 관리되는 하드와이어드 링크들, 라우터들, 게이트웨이 기능부, 네임 서버들, 등의 임의의 조합을 포함할 수 있다.
대안적으로 또는 부가적으로, 섹션들 A 및 C에서 기재된 기능들 중 임의의 기능은 하나 이상의 하드웨어 로직 컴포넌트들에 의해 적어도 부분적으로 수행될 수 있다. 예를 들어, 제한 없이, 사용될 수 있는 예시적인 타입의 하드웨어 로직 컴포넌트들은 필드-프로그래머블 게이트 어레이들(FPGAs), 어플리케이션-특정 집적 회로들(ASICs), 어플리케이션-특정 표준 제품들(ASSPs), 시스템-온-칩 시스템들(SOCs), 컴플렉스 프로그래머블 로직 장들(CPLDs), 등을 포함한다.
끝으로, 본 명세서에 기재된 기능부는 기능부에 의해 유지되는 사용자 데이터의 프라이버시를 보장하기 위해 다양한 메커니즘을 이용할 수 있다. 예를 들어, 기능부는 사용자가 기능부의 제공을 명확히 선택하도록(및 그 뒤에 명확히 선택하지 않도록) 허용할 수 있다. 기능부는 또한 사용자 데이터의 프라이버시(privacy)를 보장하기 위하여 적합한 보안 메커니즘(예컨대, 데이터-건전화 메커니즘, 암호화 메커니즘, 패스워드-보호 메커니즘, 등)을 제공할 수 있다.
게다가, 설명은 다양한 개념들을 예시적인 난제들 또는 문제들의 문맥에서 설명하였을 수도 있다. 이러한 방식의 설명은, 다른 것들이 난제들 또는 문제들을 본 명세서에 명기된 방식으로 이해하고/하거나 표현하였던 승인을 조성하지는 않는다.
본 발명의 대상이 구조적 특징들 및/또는 방법적 행위들에 특정한 언어로 설명되었지만, 첨부된 청구항들에서 정의된 본 발명의 대상은 상기 설명된 특정한 특징들 또는 단계들로 반드시 한정되지는 않음을 이해해야 한다. 오히려, 상기 설명된 특정 특징들 및 행위들은 청구항을 구현하는 예시적인 형태로서 개시된다.

Claims (18)

  1. 프로세서 구현식 방법(processor implemented method)으로서,
    모바일 장치가 차량에 있을 때 하나 이상의 입력 소스로부터 추론-입력 정보(inference-input information)를 수신하는 단계 - 상기 입력 소스 중 적어도 하나는 상기 모바일 장치의 디스플레이의 정면의 공간을 캡춰하도록 위치된 카메라임 - 와,
    상기 추론-입력 정보에 기초하여 상기 차량의 차량 상태를 추론하는 단계와,
    상기 추론-입력 정보로부터 주의력 프로파일을 생성하는 단계와,
    상기 차량이 직면할 수 있는 장래의 운전 조건을 상기 장래의 운전 조건이 실제로 직면되기 전에 예측하는 단계와,
    상기 차량을 동작시키는 사용자에게 사용자 인터페이스 경험을 표시하는 단계
    를 포함하되,
    상기 사용자 인터페이스 경험은 주의력-관련 요구를 상기 사용자에 대해 부과하고,
    상기 주의력-관련 요구는 상기 차량 상태, 상기 주의력 프로파일 및 상기 예측되는 장래의 운전 조건에 기초하여 선택되며,
    상기 사용자 인터페이스 경험은 상기 사용자가 상기 차량을 동작시키고 있을 때 상기 모바일 장치의 터치 제어를 비활성화시키고 상기 카메라로부터의 입력을 모니터해서 상기 모바일 장치를 제어하는 사용자 제스처를 검출하는
    프로세서 구현식 방법.
  2. 제 1 항에 있어서,
    상기 입력 소스 중 다른 하나는 적어도 하나의 움직임-감지 장치를 포함하고,
    상기 적어도 하나의 움직임-감지 장치는, 가속도계 장치와, 자이로 장치와, 비전 장치(vision device)와, 자기계 장치와, 위치-결정 장치 중 하나 이상을 포함하는
    프로세서 구현식 방법.
  3. 제 2 항에 있어서,
    상기 위치-결정 장치는 GPS 장치를 포함하는
    프로세서 구현식 방법.
  4. 제 1 항에 있어서,
    상기 입력 소스 중 다른 하나는 상기 차량과 관련된 적어도 하나의 감지 장치를 포함하고,
    상기 감지 장치는 상기 모바일 장치의 외부에 위치하는
    프로세서 구현식 방법.
  5. 제 1 항에 있어서,
    상기 입력 소스 중 다른 하나는 상기 차량 내에서 상기 모바일 장치를 지지하는 마운트와 연관된 적어도 하나의 센서 장치를 포함하는
    프로세서 구현식 방법.
  6. 제 1 항에 있어서,
    상기 추론하는 단계는, 상기 추론-입력 정보에 기초하여 상기 차량이 이동하는지 또는 이동하지 않는지 여부를 판정하는 단계를 포함하는
    프로세서 구현식 방법.
  7. 제 1 항에 있어서,
    상기 추론하는 단계는, 상기 추론-입력 정보에 기초하여 상기 차량이 이동하는 방식을 분류하는 단계를 포함하는
    프로세서 구현식 방법.
  8. 제 1 항에 있어서,
    상기 추론하는 단계는,
    상기 추론-입력 정보에 기초하여 상기 차량의 위치를 결정하는 단계와,
    상기 위치와 연관된 상기 주의력-관련 요구를 평가하는 단계
    를 포함하는
    프로세서 구현식 방법.
  9. 제 1 항에 있어서,
    상기 추론하는 단계는, 상기 추론-입력 정보에 기초하여 상기 차량이 디스트레스 상태(distress condition)에 있는지 판정하는 단계를 포함하고,
    상기 추론-입력 정보는,
    상기 모바일 장치가 상기 차량 내에 위치되어 있다는 증거와,
    상기 차량이 급작스럽게 감속 또는 가속된 것, 및 급작스러운 가속 또는 감속 시에 상기 모바일 장치가 상기 차량 내에서 상기 모바일 장치를 지지하고 있는 마운트로부터 이탈된 것 중 적어도 하나의 다른 증거
    를 포함하는,
    프로세서 구현식 방법.
  10. 제 1 항에 있어서,
    상기 표시하는 단계는, 상기 사용자에게 출력 프리젠테이션(presentation)을 전달하는 출력 모드를 적어도 부분적으로 허용하거나 혹은 제한하는 단계를 포함하는
    프로세서 구현식 방법.
  11. 제 1 항에 있어서,
    상기 표시하는 단계는, 상기 사용자에게 전달되는 출력 프리젠테이션에 의해 제공되는 컨텐츠의 타입을 변경하는 단계를 포함하는
    프로세서 구현식 방법.
  12. 제 1 항에 있어서,
    상기 표시하는 단계는, 상기 사용자에게 전달되는 출력 프리젠테이션의 적어도 하나의 특성을 변경하는 단계를 포함하는
    프로세서 구현식 방법.
  13. 제 1 항에 있어서,
    상기 표시하는 단계는, 상기 차량과 연관된 차량 시스템을 제어하는 단계를 포함하고,
    상기 차량 시스템은 상기 모바일 장치의 외부에 있는
    프로세서 구현식 방법.
  14. 제 1 항에 있어서,
    상기 표시하는 단계는, 상기 차량이 디스트레스 상태에 있다는 판정에 응답하여 상기 사용자에 대한 지원을 획득하도록 시도하는 단계를 포함하는
    프로세서 구현식 방법.
  15. 모바일 장치로서,
    디스플레이와,
    상기 디스플레이를 제어하도록 구성된 프로세서와,
    상기 디스플레이의 정면의 공간을 캡춰하도록 구성된 카메라와,
    하나 이상의 입력 소스로부터 추론-입력 정보를 수신하도록 구성된 인터페이스 모듈 - 상기 입력 소스 중 적어도 하나는 상기 모바일 장치가 상기 모바일 장치의 사용자가 동작시키고 있는 차량 내에 있는지 여부를 나타내는 표시를 제공하도록 구성됨 - 과,
    상기 추론-입력 정보에 기초하여 상기 차량의 차량 상태를 추론하도록 구성된 상태 감지 모듈 - 상기 차량 상태는 상기 차량을 동작시키는 중에 상기 사용자가 유지하기에 적합하다고 설정된 주의력의 타입 및 주의력의 레벨을 나타내는 주의력 프로파일을 가짐 - 과,
    상기 모바일 장치가 상기 차량 내에 있을 때 상기 디스플레이 상의 사용자 인터페이스를 핸드헬드 모드로부터 차량 모드로 스위치하도록 구성된 경험 프리젠테이션 모듈 - 상기 경험 프리젠테이션 모듈은 상기 차량 상태에 따라서 상기 모바일 장치의 터치 제어를 비활성화시키고 상기 카메라로부터의 입력을 모니터해서 상기 모바일 장치를 제어하는 사용자 제스처를 검출하도록 더 구성됨 -
    를 포함하고,
    상기 인터페이스 모듈, 상기 상태 감지 모듈 및 상기 경험 프리젠테이션 모듈은 상기 프로세서에 의해 구현되는
    모바일 장치.
  16. 제 15 항에 있어서,
    상기 모바일 장치가 상호작용하는 애플리케이션은 복수의 리소스를 포함하고,
    상기 복수의 리소스는 적어도 제 1 차량 상태에서 애플리케이션에 적합하다고 설정된 제 1 리소스 그룹 및 제 2 차량 상태에서 애플리케이션에 적합하다고 설정된 제 2 리소스 그룹을 포함하며,
    상기 경험 프리젠테이션 모듈은 상기 차량 상태에 기초해서 상기 제 1 리소스 그룹이나 혹은 상기 제 2 리소스 그룹을 사용하도록 구성되는
    모바일 장치.
  17. 하나 이상의 처리 장치에 의해 실행가능한 컴퓨터 판독가능 명령어를 저장하는 컴퓨터 판독가능 저장 장치로서,
    상기 컴퓨터 판독가능 명령어는 상기 하나 이상의 처리 장치로 하여금,
    하나 이상의 입력 소스로부터 추론-입력 정보를 수신하는 동작 - 상기 입력 소스 중 적어도 하나는 모바일 장치가 상기 모바일 장치의 사용자가 동작시키고 있는 차량 내에 있는지 여부를 나타내는 표시를 제공하도록 구성됨 - 과,
    상기 차량을 동작시키는 중에 상기 사용자가 유지하기에 적합하다고 설정된 주의력의 타입 및 주의력의 레벨을 나타내는 주의력 프로파일을 판정하는 동작과,
    상기 모바일 장치가 상기 사용자가 운전 중인 상기 차량 내에 있을 때 상기 모바일 장치의 디스플레이 상의 사용자 인터페이스를 핸드헬드 모드로부터 차량 모드로 스위치하는 동작 - 상기 차량 모드는 상기 모바일 장치의 터치 제어를 비활성화시키고, 상기 차량 모드에서 상기 사용자 인터페이스는 상기 주의력 프로파일을 반영하고 있음 - 과,
    상기 사용자 인터페이스가 상기 차량 모드일 때, 상기 모바일 장치의 상기 디스플레이의 정면의 공간으로부터의 입력을 모니터해서 상기 모바일 장치를 제어하는 사용자 제스처를 검출하는 동작
    을 수행하게 하는,
    컴퓨터 판독가능 저장 장치.
  18. 제 17 항에 있어서,
    상기 컴퓨터 판독가능 명령어는 상기 하나 이상의 처리 장치로 하여금 또한, 상기 모니터하는 것에 기초해서 상기 모바일 장치를 제어하는 동작을 수행하게 하는
    컴퓨터 판독가능 저장 장치.
KR1020147016414A 2011-12-16 2012-12-07 추론된 차량 상태에 기초한 사용자 인터페이스 경험을 제공하는 기법 KR101967944B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/327,786 US8811938B2 (en) 2011-12-16 2011-12-16 Providing a user interface experience based on inferred vehicle state
US13/327,786 2011-12-16
PCT/US2012/068325 WO2013090125A1 (en) 2011-12-16 2012-12-07 Providing a user interface experience based on inferred vehicle state

Publications (2)

Publication Number Publication Date
KR20140106568A KR20140106568A (ko) 2014-09-03
KR101967944B1 true KR101967944B1 (ko) 2019-04-10

Family

ID=48414800

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147016414A KR101967944B1 (ko) 2011-12-16 2012-12-07 추론된 차량 상태에 기초한 사용자 인터페이스 경험을 제공하는 기법

Country Status (6)

Country Link
US (2) US8811938B2 (ko)
EP (1) EP2790968A4 (ko)
JP (2) JP2015510619A (ko)
KR (1) KR101967944B1 (ko)
CN (1) CN103116399B (ko)
WO (1) WO2013090125A1 (ko)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20120052907A1 (en) * 2010-08-30 2012-03-01 Sensory, Incorporated Hands-Free, Eyes-Free Mobile Device for In-Car Use
DE102011109932B4 (de) * 2011-08-10 2014-10-02 Audi Ag Verfahren zum Ansteuern funktioneller Einrichtungen in einem Fahrzeug bei Sprachbefehl-Bedienung
US20150138300A1 (en) 2011-09-02 2015-05-21 Microsoft Technology Licensing, Llc Mobile Video Calls
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
JP5876325B2 (ja) * 2012-02-29 2016-03-02 株式会社デンソー 制御装置及びプログラム
US20130275924A1 (en) * 2012-04-16 2013-10-17 Nuance Communications, Inc. Low-attention gestural user interface
US20130293454A1 (en) * 2012-05-04 2013-11-07 Samsung Electronics Co. Ltd. Terminal and method for controlling the same based on spatial interaction
US20130335567A1 (en) * 2012-06-18 2013-12-19 Wen Chuan Wang Vehicle event data recorder set capable of retaining a handset
US20140002357A1 (en) * 2012-06-28 2014-01-02 Kopin Corporation Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis
US9288387B1 (en) * 2012-09-11 2016-03-15 Amazon Technologies, Inc. Content display controls based on environmental factors
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
ITTO20120972A1 (it) * 2012-11-07 2014-05-08 Fiat Group Automobiles Spa Limitazione della funzionalita' di dispositivi elettronici personali mobili intelligenti di conducenti di autoveicoli durante la guida basata sulla tecnologia nfc
JPWO2014109104A1 (ja) * 2013-01-08 2017-01-19 クラリオン株式会社 音声認識装置、音声認識プログラム及び音声認識方法
ITMO20130012A1 (it) * 2013-01-21 2014-07-22 Fabio Lettieri Dispositivo per l'assistenza alla guida di autoveicoli
US9049564B2 (en) * 2013-02-04 2015-06-02 Zf Friedrichshafen Ag Vehicle broadcasting system
US9736669B2 (en) * 2013-03-11 2017-08-15 General Motors Llc Interface device for providing vehicle services using a vehicle and a mobile communications device
KR101484202B1 (ko) * 2013-03-29 2015-01-21 현대자동차 주식회사 제스쳐 인식 시스템을 갖는 차량
CN103200329A (zh) * 2013-04-10 2013-07-10 威盛电子股份有限公司 语音操控方法、移动终端装置及语音操控系统
DE102013015716B4 (de) 2013-09-20 2023-10-05 Audi Ag Bedienungseinrichtung für eine Anlage im Innenraum eines Kraftwagens
US9547173B2 (en) 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9630631B2 (en) 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9536353B2 (en) 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
KR101569020B1 (ko) * 2013-12-12 2015-11-13 엘지전자 주식회사 휴대 단말기 거치장치
WO2015146283A1 (ja) * 2014-03-25 2015-10-01 クラリオン株式会社 車両用機器
DE102014207637A1 (de) * 2014-04-23 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Gesteninteraktion mit einem Fahrerinformationssystem eines Fahrzeuges
US10099700B2 (en) * 2014-04-30 2018-10-16 Ford Global Technologies, Llc Method and system for driver tailored interaction time alert
GB2529997B (en) 2014-05-01 2019-01-02 Jaguar Land Rover Ltd Vehicle communication system with occupant monitoring
US10032117B2 (en) * 2014-09-17 2018-07-24 Caterpillar Inc. Method for developing machine operation classifier using machine learning
US20160189679A1 (en) * 2014-10-14 2016-06-30 Logitech Europe S.A Apparatus and method for controlling interactions with a portable electronic device
US9892628B2 (en) 2014-10-14 2018-02-13 Logitech Europe S.A. Method of controlling an electronic device
US10757216B1 (en) 2015-02-20 2020-08-25 Amazon Technologies, Inc. Group profiles for group item recommendations
US11363460B1 (en) 2015-03-03 2022-06-14 Amazon Technologies, Inc. Device-based identification for automated user detection
WO2017002488A1 (ja) * 2015-06-30 2017-01-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10969748B1 (en) 2015-12-28 2021-04-06 Disney Enterprises, Inc. Systems and methods for using a vehicle as a motion base for a simulated experience
US11524242B2 (en) 2016-01-20 2022-12-13 Disney Enterprises, Inc. Systems and methods for providing customized instances of a game within a virtual space
FR3048210B1 (fr) * 2016-02-25 2018-03-30 Faurecia Interieur Industrie Element de garnissage comprenant une station d'accueil d'un appareil electronique nomade
US9674664B1 (en) * 2016-04-28 2017-06-06 T-Mobile Usa, Inc. Mobile device in-motion proximity guidance system
US9686644B1 (en) 2016-05-15 2017-06-20 Fmr Llc Geospatial-based detection of mobile computing device movement
US9883403B2 (en) * 2016-05-15 2018-01-30 Fmr Llc Monitoring presence of authorized user during user session based upon mobile computing device motion
US10469653B2 (en) * 2016-05-15 2019-11-05 Fmr Llc Proximity and movement detection of a mobile computing device during a user session
US9652748B1 (en) * 2016-06-13 2017-05-16 State Farm Mutual Automobile Insurance Company Technology for automatically identifying and scheduling provider appointments in response to accident events
EP3535646A4 (en) * 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
US10455165B2 (en) * 2016-12-28 2019-10-22 Microsoft Technology Licensing, Llc Systems, methods, and computer-readable media for using a video capture device to alleviate motion sickness via an augmented display for a passenger
US10387161B2 (en) * 2017-09-01 2019-08-20 Facebook, Inc. Techniques for capturing state information and performing actions for threads in a multi-threaded computing environment
US10970560B2 (en) 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
JP2019137357A (ja) * 2018-02-15 2019-08-22 トヨタ自動車株式会社 車両用音出力及び文字表示装置
US10841632B2 (en) * 2018-08-08 2020-11-17 Disney Enterprises, Inc. Sequential multiplayer storytelling in connected vehicles
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
CZ308257B6 (cs) * 2018-11-07 2020-03-25 Dominik Lednický Způsob omezení používání mobilního telefonu řidičem během jízdy vozidla a zapojení pro realizaci tohoto způsobu
KR20210151089A (ko) * 2019-04-09 2021-12-13 하만인터내셔날인더스트리스인코포레이티드 차량 시스템의 음성 제어
DE102019118189A1 (de) * 2019-07-05 2021-01-07 Bayerische Motoren Werke Aktiengesellschaft Koppelung von Benutzeroberflächen
US10785621B1 (en) 2019-07-30 2020-09-22 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on vehicle-to-vehicle communications
DE102019125376B4 (de) * 2019-09-20 2021-07-29 Valeo Schalter Und Sensoren Gmbh Bedieneingabevorrichtung und Lenkeingabevorichtung
US11945447B2 (en) 2020-02-13 2024-04-02 Toyota Motor North America, Inc. Transport boundary expansion
US11772672B2 (en) 2020-02-13 2023-10-03 Toyota Motor North America, Inc. Unsafe transport operation
JP7331728B2 (ja) * 2020-02-19 2023-08-23 マツダ株式会社 運転者状態推定装置
US11076276B1 (en) 2020-03-13 2021-07-27 Disney Enterprises, Inc. Systems and methods to provide wireless communication between computing platforms and articles
KR20210125631A (ko) * 2020-04-08 2021-10-19 현대자동차주식회사 단말기, 단말기와 통신하는 퍼스널 모빌리티 및 그의 제어 방법
CN113587975A (zh) * 2020-04-30 2021-11-02 伊姆西Ip控股有限责任公司 用于管理应用环境的方法、设备和计算机程序产品
US11225145B1 (en) 2020-09-15 2022-01-18 Honda Motor Co., Ltd. Apparatus and method for emergency control for vehicle
WO2022179704A1 (en) * 2021-02-26 2022-09-01 Spotify Ab Device mount for a vehicle
CN117157965A (zh) * 2021-04-13 2023-12-01 三星电子株式会社 用于车辆的电子设备、用于控制用于车辆的电子设备的移动设备以及通过使用移动设备来控制用于车辆的电子设备的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010051455A2 (en) * 2008-10-31 2010-05-06 University Of Utah Research Foundation Integrated vehicle key and mobile phone system for preventing mobile phone use while driving
JP2010262400A (ja) * 2009-04-30 2010-11-18 Denso Corp 車載用電子機器操作装置

Family Cites Families (367)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
EP0205628B1 (en) 1985-06-19 1990-06-13 International Business Machines Corporation Method for identifying three-dimensional objects using two-dimensional images
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751643A (en) 1986-08-04 1988-06-14 General Electric Company Method and apparatus for determining connected substructures within a body
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
JP2692863B2 (ja) 1988-06-24 1997-12-17 株式会社東芝 無線電話装置
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
US5139261A (en) 1989-09-15 1992-08-18 Openiano Renato M Foot-actuated computer game controller serving as a joystick
US5156243A (en) 1989-11-15 1992-10-20 Mazda Motor Corporation Operation apparatus for vehicle automatic transmission mechanism
JPH03103822U (ko) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
WO1993010708A1 (en) 1991-12-03 1993-06-10 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5525901A (en) 1993-02-02 1996-06-11 Beaudreau Electric, Inc. Sensor systems for monitoring and measuring angular position in two or three axes
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5414643A (en) 1993-06-14 1995-05-09 Hughes Aircraft Company Method and apparatus for continuous time representation of multiple hypothesis tracking data
AU7067394A (en) * 1993-06-21 1995-01-17 Elke Van Buren System for summoning help for vehicle occupants or other people carrying a mobile telephone
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US5959574A (en) 1993-12-21 1999-09-28 Colorado State University Research Foundation Method and system for tracking multiple regional objects by multi-dimensional relaxation
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5615132A (en) 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5732227A (en) 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
JP3267047B2 (ja) 1994-04-25 2002-03-18 株式会社日立製作所 音声による情報処理装置
US5528263A (en) 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
JPH0863326A (ja) 1994-08-22 1996-03-08 Hitachi Ltd 画像処理装置及び方法
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
EP0823683B1 (en) 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
US5757360A (en) 1995-05-03 1998-05-26 Mitsubishi Electric Information Technology Center America, Inc. Hand held computer control device
DE19516664C1 (de) 1995-05-05 1996-08-29 Siemens Ag Verfahren zum Aufbau einer Farbtabelle in einer Computereinheit zur Klassifikation von Bildpunkten in einem Bild
US6205231B1 (en) 1995-05-10 2001-03-20 Identive Corporation Object identification in a moving video image
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US5611731A (en) 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
JPH0981309A (ja) 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
US6072467A (en) 1996-05-03 2000-06-06 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Continuously variable control of animated on-screen characters
AU3283497A (en) 1996-05-08 1997-11-26 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
JP3162630B2 (ja) 1996-07-31 2001-05-08 トヨタ自動車株式会社 ワイヤフレームモデルの面定義方法および装置
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
JPH1084405A (ja) * 1996-09-09 1998-03-31 Pioneer Electron Corp 車載用携帯電話装置及び車載用電話機
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
US5909189A (en) 1996-11-14 1999-06-01 Raytheon Company Group tracking
ATE232621T1 (de) 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
JP4120017B2 (ja) 1997-01-30 2008-07-16 株式会社セガ 入力装置およびゲーム処理装置、その方法
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US6016487A (en) 1997-03-26 2000-01-18 National Research Council Of Canada Method of searching three-dimensional images
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JPH10304464A (ja) * 1997-04-28 1998-11-13 Daihatsu Motor Co Ltd ハンズフリー装置の制御方法
JPH10308802A (ja) * 1997-05-02 1998-11-17 Nissan Motor Co Ltd 移動電話保持装置及び移動電話機
EP1439664B1 (en) 1997-06-25 2007-09-12 Samsung Electronics Co., Ltd. Method and apparatus for controlling devices in a home network
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6750848B1 (en) 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6162123A (en) 1997-11-25 2000-12-19 Woolston; Thomas G. Interactive electronic sword game
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6173070B1 (en) 1997-12-30 2001-01-09 Cognex Corporation Machine vision method using search models to find features in three dimensional images
US6067077A (en) 1998-04-10 2000-05-23 Immersion Corporation Position sensing for force feedback devices
US6269172B1 (en) 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
US6301370B1 (en) 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6657654B2 (en) 1998-04-29 2003-12-02 International Business Machines Corporation Camera for use with personal digital assistants with high speed communication link
US6421453B1 (en) 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6542621B1 (en) 1998-08-31 2003-04-01 Texas Instruments Incorporated Method of dealing with occlusion when tracking multiple objects and people in video sequences
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
WO2000021074A1 (en) 1998-10-05 2000-04-13 Lernout & Hauspie Speech Products N.V. Speech controlled computer user interface
US6353679B1 (en) 1998-11-03 2002-03-05 Compaq Computer Corporation Sample refinement method of multiple mode probability density estimation
US6509889B2 (en) 1998-12-03 2003-01-21 International Business Machines Corporation Method and apparatus for enabling the adaptation of the input parameters for a computer system pointing device
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6222465B1 (en) 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US7202898B1 (en) 1998-12-16 2007-04-10 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6226388B1 (en) 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US6377296B1 (en) 1999-01-28 2002-04-23 International Business Machines Corporation Virtual map system and method for tracking objects
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6591236B2 (en) 1999-04-13 2003-07-08 International Business Machines Corporation Method and system for determining available and alternative speech commands
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6545661B1 (en) 1999-06-21 2003-04-08 Midway Amusement Games, Llc Video game system having a control unit with an accelerometer for controlling a video game
WO2001000463A2 (en) * 1999-06-23 2001-01-04 Jimi Communications Ltd. Vehicle alert communications system
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
JP2001009152A (ja) 1999-06-30 2001-01-16 Konami Co Ltd ゲームシステムおよびコンピュータ読み取り可能な記憶媒体
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
JP2001070640A (ja) 1999-09-07 2001-03-21 Konami Co Ltd ゲーム機
US6795567B1 (en) 1999-09-16 2004-09-21 Hewlett-Packard Development Company, L.P. Method for efficiently tracking object models in video sequences via dynamic ordering of features
US6375572B1 (en) 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
US6642955B1 (en) 2000-01-10 2003-11-04 Extreme Cctv Inc. Surveillance camera system with infrared and visible light bandpass control circuit
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US7500917B2 (en) 2000-02-22 2009-03-10 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US20020055383A1 (en) 2000-02-24 2002-05-09 Namco Ltd. Game system and program
JP2001239897A (ja) * 2000-02-28 2001-09-04 Toshiba Corp 乗物用情報処理装置と車載用情報処理装置及び情報処理方法
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6771818B1 (en) 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
US6980312B1 (en) 2000-04-24 2005-12-27 International Business Machines Corporation Multifunction office device having a graphical user interface implemented with a touch screen
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6554706B2 (en) 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6744420B2 (en) 2000-06-01 2004-06-01 Olympus Optical Co., Ltd. Operation input apparatus using sensor attachable to operator's hand
US6757571B1 (en) 2000-06-13 2004-06-29 Microsoft Corporation System and process for bootstrap initialization of vision-based tracking systems
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US6753879B1 (en) 2000-07-03 2004-06-22 Intel Corporation Creating overlapping real and virtual images
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US7095401B2 (en) 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US6600475B2 (en) 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US6804396B2 (en) 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US6888960B2 (en) 2001-03-28 2005-05-03 Nec Corporation Fast optimal linear approximation of the images of variably illuminated solid objects for recognition
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US6594616B2 (en) 2001-06-18 2003-07-15 Microsoft Corporation System and method for providing a mobile input device
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6868383B1 (en) 2001-07-12 2005-03-15 At&T Corp. Systems and methods for extracting meaning from multimodal inputs using finite-state devices
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
JP3816068B2 (ja) * 2001-08-06 2006-08-30 松下電器産業株式会社 情報提供方法および情報提供装置
JP2003062341A (ja) 2001-08-22 2003-03-04 Nintendo Co Ltd ゲームシステム、パズルゲームプログラムおよびプログラムを記憶した記憶媒体
US6940538B2 (en) 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7007236B2 (en) 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
AU2002342067A1 (en) 2001-10-12 2003-04-22 Hrl Laboratories, Llc Vision-based pointer tracking method and apparatus
US7050607B2 (en) 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
US7394346B2 (en) 2002-01-15 2008-07-01 International Business Machines Corporation Free-space gesture recognition for transaction security and command processing
US6982697B2 (en) 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US6957090B2 (en) * 2002-03-08 2005-10-18 Kyocera Wireless Corp. Hands-free car kit
US7233318B1 (en) 2002-03-13 2007-06-19 Apple Inc. Multi-button mouse
EP1345179A3 (en) 2002-03-13 2004-01-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for computer graphics animation
US6928344B2 (en) 2002-03-25 2005-08-09 Sun Microsystems, Inc. Vehicle mode manager
US7206435B2 (en) 2002-03-26 2007-04-17 Honda Giken Kogyo Kabushiki Kaisha Real-time eye detection and tracking under various light conditions
US7821541B2 (en) 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
JP2005526971A (ja) 2002-04-19 2005-09-08 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． 車両安全装置
JP2003325972A (ja) 2002-05-17 2003-11-18 Nintendo Co Ltd 傾き操作に関連して音と画像を変化させるゲーム装置およびそのゲームプログラム
JP3902508B2 (ja) 2002-05-20 2007-04-11 任天堂株式会社 ゲームシステムおよびゲームプログラム
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
JP5109221B2 (ja) 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
US20040001113A1 (en) 2002-06-28 2004-01-01 John Zipperer Method and apparatus for spline-based trajectory classification, gesture detection and localization
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7227893B1 (en) 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US7225414B1 (en) 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
AU2003275134A1 (en) 2002-09-19 2004-04-08 The Penn State Research Foundation Prosody based audio/visual co-analysis for co-verbal gesture recognition
US20040113933A1 (en) 2002-10-08 2004-06-17 Northrop Grumman Corporation Split and merge behavior analysis and understanding using Hidden Markov Models
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8614741B2 (en) 2003-03-31 2013-12-24 Alcatel Lucent Method and apparatus for intelligent and automatic sensor control using multimedia database system
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
DE10316477A1 (de) * 2003-04-09 2004-10-28 Daimlerchrysler Ag Benutzerschnittstelle und Kommunikationssystem für ein Kraftfahrzeug und zugehörige Betriebsverfahren
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US7639148B2 (en) * 2003-06-06 2009-12-29 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
US7292152B2 (en) * 2003-06-12 2007-11-06 Temic Automotive Of North America, Inc. Method and apparatus for classifying vehicle operator activity state
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7038661B2 (en) 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
DE10330613A1 (de) * 2003-07-07 2005-01-27 Robert Bosch Gmbh Geschwindigkeitsabhängige Dienstebereitstellung in einem Kraftfahrzeug
US20050037730A1 (en) * 2003-08-12 2005-02-17 Albert Montague Mobile wireless phone with impact sensor, detects vehicle accidents/thefts, transmits medical exigency-automatically notifies authorities
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US20050076161A1 (en) 2003-10-03 2005-04-07 Amro Albanna Input system and method
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP2005173702A (ja) * 2003-12-08 2005-06-30 Nissan Motor Co Ltd 運転余裕度判定装置
KR100588042B1 (ko) 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
US20050255434A1 (en) 2004-02-27 2005-11-17 University Of Florida Research Foundation, Inc. Interactive virtual characters for training including medical diagnosis training
US20050212753A1 (en) 2004-03-23 2005-09-29 Marvit David L Motion controlled remote controller
JP3648535B1 (ja) 2004-03-31 2005-05-18 コナミ株式会社 ゲーム装置、コンピュータの制御方法及びプログラム
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
KR101323966B1 (ko) 2004-07-30 2013-10-31 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
US8560972B2 (en) 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US7683883B2 (en) 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US8137195B2 (en) 2004-11-23 2012-03-20 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
CN101622630B (zh) 2005-01-07 2012-07-04 高通股份有限公司 检测和跟踪图像中的物体
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
US7526101B2 (en) 2005-01-24 2009-04-28 Mitsubishi Electric Research Laboratories, Inc. Tracking objects in videos with adaptive classifiers
EP1851750A4 (en) 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US7492367B2 (en) 2005-03-10 2009-02-17 Motus Corporation Apparatus, system and method for interpreting and reproducing physical motion
US20060205394A1 (en) * 2005-03-10 2006-09-14 Vesterinen Matti I Mobile device, a network element and a method of adjusting a setting associated with a mobile device
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
JP5038296B2 (ja) 2005-05-17 2012-10-03 クアルコム，インコーポレイテッド 方位感受性信号出力
JP2006338226A (ja) 2005-06-01 2006-12-14 Hitachi Ltd リモート操作システム
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8313379B2 (en) 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
JP4262726B2 (ja) 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
JP4773170B2 (ja) 2005-09-14 2011-09-14 任天堂株式会社 ゲームプログラムおよびゲームシステム
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US20070143333A1 (en) 2005-12-16 2007-06-21 Microsoft Corporation Creating search folders within applications for other applications
JP4509042B2 (ja) 2006-02-13 2010-07-21 株式会社デンソー 自動車用もてなし情報提供システム
JP4795087B2 (ja) 2006-04-14 2011-10-19 任天堂株式会社 ゲーム装置およびゲームプログラム
US7988558B2 (en) 2006-04-27 2011-08-02 Nintendo Co., Ltd. Game apparatus and storage medium storing game program
JP4679431B2 (ja) 2006-04-28 2011-04-27 任天堂株式会社 音出力制御プログラムおよび音出力制御装置
JP5506129B2 (ja) 2006-05-08 2014-05-28 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム処理方法
CN103778635B (zh) 2006-05-11 2016-09-28 苹果公司 用于处理数据的方法和装置
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP5051822B2 (ja) 2006-08-02 2012-10-17 任天堂株式会社 汎用遠隔制御機能を備えたゲーム装置
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
JP4926799B2 (ja) 2006-10-23 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法
KR100877490B1 (ko) * 2006-11-03 2009-01-12 삼성전기주식회사 휴대단말 및 상기 휴대단말을 제어하는 방법
US8904312B2 (en) 2006-11-09 2014-12-02 Navisense Method and device for touchless signing and recognition
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7916944B2 (en) 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
EP2095296B1 (en) 2007-04-20 2014-01-01 Softkinetic Software A method and system for providing a three-dimensional model of an object of interest.
US7725129B2 (en) 2007-05-16 2010-05-25 Oliver David Grunhold Cell phone based vehicle control system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
TWI338241B (en) 2007-08-23 2011-03-01 Pixart Imaging Inc Interactive image system, interactive device and operative method thereof
CN101141136A (zh) * 2007-09-30 2008-03-12 中兴通讯股份有限公司 一种实现车载通话的方法及装置
WO2009059065A1 (en) 2007-10-30 2009-05-07 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US9171454B2 (en) 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
JP5420833B2 (ja) 2007-11-30 2014-02-19 任天堂株式会社 ゲームシステム
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US9165199B2 (en) 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US20090172606A1 (en) 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
CN201166702Y (zh) * 2008-03-06 2008-12-17 宇龙计算机通信科技(深圳)有限公司 一种具有汽车超速检测功能的移动终端
US8280732B2 (en) 2008-03-27 2012-10-02 Wolfgang Richter System and method for multidimensional gesture analysis
JP2009244959A (ja) * 2008-03-28 2009-10-22 Toyota Motor Corp 運転支援装置、運転支援方法
JP4656177B2 (ja) * 2008-04-14 2011-03-23 トヨタ自動車株式会社 ナビゲーション装置、操作部表示方法
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8428642B2 (en) 2008-05-02 2013-04-23 Delphi Technologies, Inc. Method and apparatus for remote vehicle communications and control
US8311734B2 (en) * 2008-07-01 2012-11-13 Sony Corporation Automatic speed limit adjust for road conditions
JP2010081565A (ja) * 2008-08-27 2010-04-08 Kyocera Corp 携帯電子機器及び車両
CN101364814A (zh) * 2008-09-09 2009-02-11 动力新跃(北京)汽车科技有限公司 驾驶员手机屏蔽器
JP2010072833A (ja) * 2008-09-17 2010-04-02 Toyota Motor Corp 運転支援装置
JP2010081419A (ja) * 2008-09-26 2010-04-08 Sharp Corp 携帯端末、携帯端末の制御方法、検知装置、検知装置の制御方法、携帯端末制御システム、携帯端末制御プログラム、検知装置制御プログラム、コンピュータ読み取り可能な記録媒体
US20100105479A1 (en) 2008-10-23 2010-04-29 Microsoft Corporation Determining orientation in an external reference frame
US8253713B2 (en) 2008-10-23 2012-08-28 At&T Intellectual Property I, L.P. Tracking approaching or hovering objects for user-interfaces
TW201017578A (en) 2008-10-29 2010-05-01 Chunghwa Picture Tubes Ltd Method for rebuilding 3D surface model
US20100121526A1 (en) 2008-11-12 2010-05-13 Don Pham Speed warning method and apparatus for navigation system
US8747224B2 (en) 2008-11-14 2014-06-10 Sony Corporation Operating device
KR101081116B1 (ko) * 2009-04-22 2011-11-07 중앙대학교 산학협력단 텔레매틱스 통합 연동 시스템 및 그 제어 방법
EP2209091B1 (en) 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
US20100195867A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8517834B2 (en) 2009-02-17 2013-08-27 Softkinetic Studios Sa Computer videogame system with body position detector that requires user to assume various body positions
JP5200995B2 (ja) * 2009-02-24 2013-06-05 株式会社デンソー 燃費報知装置
US8395642B2 (en) 2009-03-17 2013-03-12 Mitsubishi Electric Research Laboratories, Inc. Method for virtual image synthesis
US8246458B2 (en) 2009-03-25 2012-08-21 Nintendo Co., Ltd. Game apparatus and recording medium recording game program
CN201548210U (zh) 2009-04-01 2010-08-11 姚征远 投影三维测量装置
US8213962B2 (en) 2009-07-21 2012-07-03 Verizon Patent And Licensing Inc. Vehicle computer link to mobile phone
US8428340B2 (en) 2009-09-21 2013-04-23 Microsoft Corporation Screen space plane identification
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US9104275B2 (en) 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
US8145199B2 (en) * 2009-10-31 2012-03-27 BT Patent LLC Controlling mobile device functions
US8315617B2 (en) * 2009-10-31 2012-11-20 Btpatent Llc Controlling mobile device functions
US20110106375A1 (en) 2009-11-03 2011-05-05 Vishnu Gurusamy Sundaram Method and system for providing an integrated platform for entertainment, information, communication, control and computing applications in vehicles
CN101795504A (zh) * 2009-11-11 2010-08-04 华为终端有限公司 提示手机设置内容的方法、装置和系统
US8672763B2 (en) 2009-11-20 2014-03-18 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
US8677268B2 (en) 2010-01-26 2014-03-18 Apple Inc. Device, method, and graphical user interface for resizing objects
US8379134B2 (en) 2010-02-26 2013-02-19 Research In Motion Limited Object detection and selection using gesture recognition
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US9241064B2 (en) 2010-05-28 2016-01-19 Google Technology Holdings LLC Smart method and device for adaptive user interface experiences
US8471691B2 (en) 2010-06-15 2013-06-25 GM Global Technology Operations LLC Portable vision system
US9140560B2 (en) 2011-11-16 2015-09-22 Flextronics Ap, Llc In-cloud connection for car multimedia
US8756173B2 (en) * 2011-01-19 2014-06-17 Qualcomm Incorporated Machine learning of known or unknown motion states with sensor fusion
CN102204650B (zh) 2011-03-08 2012-09-19 胡任飞 一种低血糖指数保健主食及其制备方法与降血糖应用
US9939888B2 (en) 2011-09-15 2018-04-10 Microsoft Technology Licensing Llc Correlating movement information received from different sources
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US20130155237A1 (en) 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
US9008989B2 (en) 2012-05-02 2015-04-14 Microsoft Technology Licensing, Llc Wireless controller
US9849376B2 (en) 2012-05-02 2017-12-26 Microsoft Technology Licensing, Llc Wireless controller
US9740187B2 (en) 2012-11-21 2017-08-22 Microsoft Technology Licensing, Llc Controlling hardware in an environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010051455A2 (en) * 2008-10-31 2010-05-06 University Of Utah Research Foundation Integrated vehicle key and mobile phone system for preventing mobile phone use while driving
JP2010262400A (ja) * 2009-04-30 2010-11-18 Denso Corp 車載用電子機器操作装置

Also Published As

Publication number Publication date
JP2015510619A (ja) 2015-04-09
WO2013090125A1 (en) 2013-06-20
JP2017135742A (ja) 2017-08-03
US8811938B2 (en) 2014-08-19
US20130157607A1 (en) 2013-06-20
JP6785704B2 (ja) 2020-11-18
KR20140106568A (ko) 2014-09-03
EP2790968A4 (en) 2015-09-02
CN103116399A (zh) 2013-05-22
CN103116399B (zh) 2017-03-01
EP2790968A1 (en) 2014-10-22
US20140329487A1 (en) 2014-11-06
US9596643B2 (en) 2017-03-14

Similar Documents

Publication Publication Date Title
KR101967944B1 (ko) 추론된 차량 상태에 기초한 사용자 인터페이스 경험을 제공하는 기법
US12033446B2 (en) Safety for vehicle users
US9638535B2 (en) Dynamic destination navigation system
US10311658B2 (en) Unexpected impulse change collision detector
US9383214B2 (en) Navigation system with device recognition mechanism and method of operation thereof
JP4683240B2 (ja) 自動車用情報提供システム
US10462281B2 (en) Technologies for user notification suppression
EP3272613A1 (en) Driving assistance method, and driving assistance device, automatic driving control device, vehicle, and driving assistance program using said method
JP6491601B2 (ja) 車両内移動デバイス管理
US20180356237A1 (en) Enhanced navigation instruction and user determination
WO2018013172A1 (en) Autonomous vehicle human driver takeover mechanism using electrodes
JP2016042692A (ja) ドライバステータスインジケータ
US20200356090A1 (en) Client control for an autonomous vehicle ridesharing service
US11853058B1 (en) Systems and methods for controlling operation of autonomous vehicle systems
US20240124012A1 (en) Method, Device and Storage Medium for Scheduling Notification Based on Driving assistance features
WO2017100790A1 (en) Enhanced navigation instruction and user determination
JP2020050204A (ja) 車両の走行制御方法及び走行制御装置
WO2022210172A1 (ja) 車両用表示システム、車両用表示方法、及び車両用表示プログラム
JP2017019349A (ja) 車載機器、情報システムおよび出力制御方法
WO2016152834A1 (ja) 自動走行制御装置及び自動走行制御システム
JP7428076B2 (ja) サーバ装置、制御装置、車両、及び情報処理システムの動作方法
CN118214905A (zh) 采用用户监控系统和远程系统的自适应平视显示器
JP2023045586A (ja) 周囲監視装置、周囲監視方法、および周囲監視プログラム
JP2024079193A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN115086623A (zh) 车载投影系统的投影方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant