KR20190122629A - 제안 시스템의 추천된 조작 액션 및 제안 시스템과의 상호 작용을 표현하는 방법 및 장치 - Google Patents

제안 시스템의 추천된 조작 액션 및 제안 시스템과의 상호 작용을 표현하는 방법 및 장치 Download PDF

Info

Publication number
KR20190122629A
KR20190122629A KR1020190132422A KR20190132422A KR20190122629A KR 20190122629 A KR20190122629 A KR 20190122629A KR 1020190132422 A KR1020190132422 A KR 1020190132422A KR 20190132422 A KR20190132422 A KR 20190132422A KR 20190122629 A KR20190122629 A KR 20190122629A
Authority
KR
South Korea
Prior art keywords
display
recommended
manipulation
action
software application
Prior art date
Application number
KR1020190132422A
Other languages
English (en)
Inventor
다니엘 팔저
헬게 쉐퍼
Original Assignee
폭스바겐 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔 게젤샤프트 filed Critical 폭스바겐 악티엔 게젤샤프트
Publication of KR20190122629A publication Critical patent/KR20190122629A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0252—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for personal computers, e.g. laptops, notebooks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H04M1/72472—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons wherein the items are sorted according to specific criteria, e.g. frequency of use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/161—Explanation of functions, e.g. instructions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제안 시스템의 추천된 조작 액션 및 상기 제안 시스템과의 상호 작용을 표현하기 위해, 2개 이상의 소프트웨어 애플리케이션에 대한 추천이 생성된다(1). 2개 이상의 소프트웨어 애플리케이션의 추천에 대한 디스플레이 및 조작 요소(15, 16, 17)가 공동으로 디스플레이되고(2), 상기 공동으로 디스플레이된 디스플레이 및 조작 요소 중 하나의 작동이 검출된다(3). 상기 작동된 디스플레이 및 조작 요소에 할당되어 있는 상기 소프트웨어 애플리케이션이 오픈되고(4), 상기 오픈된 소프트웨어 애플리케이션에 대해 복수의 추천된 조작 액션 중 하나를 각각 나타내는 복수의 디스플레이 및 조작 요소(17, 22, 23, 24)가 공동으로 디스플레이된다(5).

Description

제안 시스템의 추천된 조작 액션 및 제안 시스템과의 상호 작용을 표현하는 방법 및 장치{METHOD AND DEVICE FOR REPRESENTING RECOMMENDED OPERATING ACTIONS OF A PROPOSAL SYSTEM AND INTERACTION WITH THE PROPOSAL SYSTEM}
본 발명은 특히 차량의 그래픽 사용자 인터페이스에서 사용될 수 있는 제안 시스템의 추천된 조작 액션 및 제안 시스템과의 상호 작용을 표현하는 방법에 관한 것이다. 본 발명은 또한 상기 방법을 수행하기 위한 장치 및 상기 방법을 수행하도록 구성되거나 또는 상기 장치를 포함하는 차량에 관한 것이다.
많은 기술 분야에서 기계 및 장치와의 상호 작용을 위해 사용자 인터페이스(Human Machine Interface)(HMI)가 사용되며, 그래픽 사용자 인터페이스 또는 유저 인터페이스(Graphical User Interface)(GUI)가 현재 널리 보급되고 있다. 그래픽 사용자 인터페이스를 사용하여 그래픽 요소 및 복잡한 조작 단계가 모니터 화면에 표현될 수 있다. 조작은 예를 들어, 터치 감응성 디스플레이 표면, 소위 터치스크린을 터치함으로써 많은 다양한 입력 장치에 의해 수행될 수 있다.
상호 작용을 위해 GUIs 상에는 종종 조작 요소가 이미지 심볼, 소위 아이콘의 형태로 표현된다. 이러한 조작 요소 중 하나가 사용자에 의해 선택되거나 또는 선정될 수 있으며, 그 후 다음 입력을 위해 포커싱된다. 이는 선택 또는 선정된 조작 요소가 그래픽으로 하이라이트됨으로써 사용자에게 보여지게 될 수 있으며, 이는 복수의 선택 또는 선정 가능한 조작 요소가 디스플레이될 때 특히 유리하다. 높은 정도의 디테일을 갖는 더 큰 아이콘은 종종 타일(tile)로도 표시되고, 이들은 일반적으로 직사각형으로 구성되고, 작업 표면 또는 소위 홈 스크린 상에서 복수의 타일이 타일 표면 상에 배치될 수 있다. 아이콘 및 타일은 일반적으로 아이콘 또는 타일을 선택하여 시작되고 조작될 수 있는 소프트웨어 애플리케이션 또는 소프트웨어 응용 프로그램, 약어로 애플리케이션 또는 "앱(Apps)"과 링크된다.
포괄적인 범위의 기능 또는 다수의 기능성을 갖는 GUI의 경우, 다수의 조작 요소가 필요할 수 있으며, 이로 인해 모든 조작 요소가 동시에 유용한 방식으로 디스플레이될 수 없거나 또는 GUI의 명확성 및 조작성이 손상되게 될 수 있다.
이는 예를 들어 자동차 분야에서 GUI를 사용할 때 인포테인먼트, 통신, 보안 및 편의성 분야에서 기능성 및 설정 옵션이 증가함으로 인해 발생하는 경우이다. 특히 주행 중에 차량의 운전자에게 전달되는 정보 또는 조작을 표현하는 경우, 이것들은 운전의 산만함을 최소화하고 주행 안전성을 보장하기 위해 가능한 한 간단하고 직관적이어야 한다.
명확성을 개선하기 위해, 계층적인 메뉴에 복수의 하위 레벨을 제공하는 것이 알려져 있다. 그러나, 이는 차량의 운전자와 같은 사용자가 메뉴를 탐색하고 덜 빈번하게 사용되는 기능을 찾는 것이 어려울 수 있다. 이러한 경우 컨텍스트 종속 메뉴가 제한적으로 해결 방안을 제시할 수 있지만, 사용자가 원하는 디스플레이 또는 조작을 선택하는 것을 필요로 한다. 마지막으로 또한 예를 들어 구성 메뉴에서 기능을 켜고 끄는 것이 반드시 사용자에게 쉽지는 않으며, 수동 조작을 필요로 한다.
사용자 거동 및 사용 상황을 검출하고 이에 기초하여 상황에 따라 조작을 조정하거나 또는 자동화하거나 또는 사용자에게 조작을 위한 추천을 제공함으로써, 사용의 편의성을 높일 수 있다. 차량 운전자의 경우 이로 인해 산만함 또는 간섭이 감소될 수도 있다.
복수의 차량 탑승자를 위해 추천을 제공하는 방법 및 장치가 DE 10 2013 223 684 A1호에 개시되어 있다. 이러한 경우, 차량의 탑승자가 식별되고, 식별된 탑승자에 대해 선호도 정보가 검색된다. 선호도 정보는 여기서 탑승자의 이전의 관찰에 기초하고, 탑승자에 의해 수락되거나 또는 거절되도록 예를 들어 표시되거나 또는 음향적으로 표현되는 추천을 제공할 수 있게 한다. 또한, 탑승자가 하나의 옵션을 선택하거나 또는 모든 옵션을 거절할 수 있는 여러 가지 옵션의 선택을 추천으로 제공하는 것이 제안될 수도 있다.
또한, US 2016/0068169 A1호는 차량에서 액션을 제안 및 자동화하기 위한 시스템 및 방법을 설명하며, 여기서 개선 가능한 거동이 존재할 때 추천이 이루어진다. 유사하게, US 2015/0160019 A1호는 운전자의 인지적 부하가 너무 높아지지 않도록 보장하기 위해 액션을 자동으로 수행하는 차량 탑재 컴퓨터 시스템을 개시한다. 예를 들어 걸려오는 전화가 자동으로 거부될 수 있으며, 이에 대한 정보가 운전자에게 디스플레이될 수 있다.
본 발명의 목적은 사용자에게 생성된 제안이 구조화되어 명료하게 제시될 수 있고 특히 차량에서 사용될 수 있도록, 제안 시스템의 추천된 조작 액션 및 제안 시스템과의 상호 작용을 표현하는 방법 및 장치를 제공하는 것이다.
이러한 목적은 청구항 제1항의 특징을 갖는 방법 및 청구항 제10항에 따른 대응하는 장치에 의해 달성된다. 본 발명의 바람직한 실시예는 종속항의 주제이다.
제안 시스템의 추천된 조작 액션 및 상기 제안 시스템과의 상호 작용을 표현하는 방법은 다음 단계:
- 2개 이상의 소프트웨어 애플리케이션에 대한 추천을 생성하는 단계
- 2개 이상의 소프트웨어 애플리케이션의 추천에 대한 디스플레이 및 조작 요소를 각각 공동으로 디스플레이하는 단계;
- 상기 공동으로 디스플레이된 디스플레이 및 조작 요소 중 하나의 작동을 검출하는 단계;
- 상기 작동된 디스플레이 및 조작 요소에 할당되어 있는 상기 소프트웨어 애플리케이션을 오픈하는 단계;
- 오픈된 소프트웨어 애플리케이션에 대한 복수의 추천된 조작 액션 중 하나를 각각 나타내는 복수의 디스플레이 및 조작 요소를 공동으로 디스플레이하는 단계
를 포함한다.
본 발명의 일 실시예에 따르면, 2개 이상의 소프트웨어 애플리케이션에 대한 디스플레이 및 조작 요소를 공동으로 디스플레이하는 단계는 전체적인 디스플레이 레벨 상에서 이루어지고, 오픈된 소프트웨어 애플리케이션에 대한 복수의 추천된 조작 액션에 대한 디스플레이 및 조작 요소를 공동으로 디스플레이하는 단계는 전체적인 디스플레이 레벨의 하위의 애플리케이션 디스플레이 레벨 상에서 이루어진다. 한편으로는 전체적인 레벨에서 그리고 다른 한편으로는 애플리케이션 디스플레이 레벨에서의 디스플레이 위치를 구별함으로써, 많은 제안이 사용자에게 제시될 수 있고, 이러한 경우 제안 시스템의 명확성이 보장된다.
바람직하게는, 소프트웨어 애플리케이션의 추천에 대한 디스플레이 및 조작 요소는 소프트웨어 애플리케이션을 오픈하기 위한 추천 이외에 상기 소프트웨어 애플리케이션에 대해 추천되는 조작 액션을 또한 나타낸다.
또한, 유리하게는 2개 이상의 소프트웨어 애플리케이션의 조작 액션에 대한 추천이 생성되며, 추천된 조작 액션의 실행에 대한 확률 값이 결정되고, 각각의 소프트웨어 애플리케이션에 대해 현재 가장 높은 확률 값을 갖는 추천된 조작 액션을 나타내는 디스플레이 및 조작 요소가 각각 전체적인 디스플레이 레벨에서 2개 이상의 소프트웨어 애플리케이션에 대해 디스플레이된다.
이러한 경우, 오픈된 소프트웨어 애플리케이션에 대해 디스플레이된 디스플레이 및 조작 요소는 바람직하게는 애플리케이션 디스플레이 레벨에서 추천된 조작 액션의 실행에 대한 확률 값에 따라 배열되어 디스플레이된다.
바람직하게는, 추천된 조작 액션의 실행에 대한 확률 값은 이전의 사용자 거동 및/또는 외부 파라미터로부터 결정되고, 상기 확률 값을 결정하기 위한 상기 외부 파라미터는 상기 사용자의 현재 시간 및/또는 현재 위치를 포함할 수 있다.
본 발명에 따른 방법의 유리한 실시예에 따르면, 상기 전체적인 디스플레이 레벨에서 디스플레이 및 조작 요소의 작동이 검출되면, 제1 조작 액션에서 상기 추천된 소프트웨어 애플리케이션이 오픈되고, 상기 소프트웨어 애플리케이션에 대한 상기 추천된 조작 액션이 자동으로 실행되고, 상기 제1 조작 액션과 다른 제2 조작 액션에서 상기 추천된 소프트웨어 애플리케이션이 거절되고, 그리고 상기 처음 2개의 조작 액션과 다른 제3 조작 액션에서 상기 추천된 소프트웨어 애플리케이션은 오픈되고, 상기 소프트웨어 애플리케이션에 대해 하나 이상의 조작 액션에 대한 추천이 표현된다.
여기서 디스플레이 및 조작 요소가 터치 감응성 디스플레이 상에 디스플레이되고 상기 제1 조작 액션은 표현된 디스플레이 및 조작 요소의 탭핑(tapping)에 대응되고, 상기 제2 조작 액션은 상기 표현된 디스플레이 및 조작 요소 중 하나 상에서 스와이프 업(Swipe up)에 대응되고, 상기 제3 조작 액션은 스와이프 다운(Swipe up)에 대응된다.
상응하게, 제안 시스템의 추천된 조작 액션 및 상기 제안 시스템과의 상호 작용을 표현하는 본 발명에 따른 장치는 추천 유닛, 이미지 생성 유닛, 디스플레이, 컴퓨터 유닛 및 검출 유닛을 포함하고,
- 상기 추천 유닛은 2개 이상의 소프트웨어 애플리케이션에 대한 추천을 생성하고;
- 상기 이미지 생성 유닛은 2개 이상의 소프트웨어 애플리케이션의 추천에 대한 디스플레이 및 조작 요소가 각각 공동으로 디스플레이되도록 상기 디스플레이를 제어하고;
- 상기 검출 유닛은 상기 디스플레이된 디스플레이 및 조작 요소 중 하나의 작동을 검출하고;
- 상기 컴퓨터 유닛 상에서 상기 작동된 디스플레이 및 조작 요소에 할당되어 있는 상기 소프트웨어 애플리케이션이 오픈되고; 그리고
- 상기 이미지 생성 유닛은 오픈된 소프트웨어 애플리케이션에 대한 복수의 추천된 조작 액션 중 하나를 각각 나타내는 복수의 디스플레이 및 조작 요소가 공동으로 디스플레이되도록 상기 디스플레이를 제어한다.
특히 유리하게는 본 발명에 따른 장치는 차량에 제공될 수 있고, 상기 제안 시스템은 상기 차량의 인포테인먼트 시스템을 위한 조작 액션을 추천한다.
본 발명의 다른 특징은 도면과 관련하여 다음의 설명 및 청구범위로부터 명백해질 것이다.
도 1은 제안 시스템의 추천된 조작 액션 및 제안 시스템과의 상호 작용의 표현을 위한 본 발명에 따른 방법의 흐름도를 도시한다.
도 2는 터치 감응성 디스플레이와 결합된 본 방법의 일 실시예에 대한 흐름도를 도시한다.
도 3은 복수의 추천이 전체적인 디스플레이 레벨에 표현되고(도 3a) 추천 중 하나가 실행되는(도 3b), 차량의 제안 시스템에 대한 그래픽 사용자 인터페이스를 도시한다.
도 4는 추천이 거절되거나(도 4a) 또는 추천의 애플리케이션이 오픈되는(도 4b), 그래픽 사용자 인터페이스를 도시한다.
도 5는 오픈된 애플리케이션에 대해 복수의 추천이 디스플레이되는 그래픽 사용자 인터페이스를 도시한다.
도 6은 본 발명에 따른 장치의 블록도를 개략적으로 도시한다.
본 발명의 원리를 더 잘 이해하기 위해, 본 발명의 실시예가 도면을 참조하여 아래에서 보다 상세히 설명될 것이다. 본 발명은 이들 실시예들에 한정되지 않으며, 설명된 특징들은 청구범위에서 정의된 본 발명의 보호 범위를 벗어나지 않고 조합되거나 또는 변경될 수 있음을 이해해야 한다.
도 1은 본 발명에 따른 방법의 흐름도를 나타낸다. 제1 단계(1)에서, 소프트웨어 애플리케이션에 의해 구현되는 다양한 기능을 조작하기 위한 추천이 생성된다. 이러한 경우, 각각의 추천은 특히 사용자의 현재 시간 및 현재 위치와 같은 외부 파라미터와 관련하여 이전 사용자 거동에 기초하여 결정될 수 있다. 또한, 추천된 조작 액션의 상황적 관련성에 대한 확률 값이 결정된다. 이 확률 값은 제안이 이 시점에서 사용자에게 적합한지 여부 또는 학습된 이전의 사용자 거동에 기초하여 조작 액션이 사용자에게 가능한지 여부를 나타낸다.
다음 단계(2)에서는 다양한 기능 또는 소프트웨어 애플리케이션에 대한 추천이 전체적인 디스플레이 레벨에 동시에 디스플레이된다. 여기서 디스플레이 및 조작 요소가 디스플레이될 수 있으며, 상기 디스플레이 및 조작 요소는 오직 현재 추천되는 다양한 애플리케이션만을 나타낸다. 그러나 디스플레이 및 조작 요소를 통해 추가적으로, 현재 가장 가능성이 있다고 간주되는 추천 애플리케이션의 구체적인 조작 액션에 대한 추천도 제공될 수 있다.
표현된 디스플레이 및 조작 요소 중 하나가 사용자에 의해 작동되면, 이는 다음 단계(3)에서 검출된다. 이어서, 단계(4)에서, 디스플레이 및 조작 요소와 할당되어 있는 소프트웨어 애플리케이션이 오픈된다. 이를 위해 단계(5)에서 디스플레이 및 조작 요소가 각각 디스플레이되는 복수의 추천이 애플리케이션 레벨에서 사용자에게 제시된다. 디스플레이된 디스플레이 및 조작 요소 중 하나의 작동이 단계(6)에서 검출되고, 그 후 단계(7)에서 오픈된 소프트웨어 애플리케이션에 대해 추천된 조작 액션을 실행한다. 단계(2)에서 디스플레이된 디스플레이 및 조작 요소가 이미 각 애플리케이션의 구체적인 조작 액션에 대한 추천을 제공한 경우, 단계(5 및 6)를 스킵할 수 있고, 추천된 조작 액션은 애플리케이션을 오픈한 후 자동으로 실행된다.
도 2는 터치 감응성 디스플레이와 관련하여 본 발명에 따른 제안 시스템의 가능한 실시예에 대한 흐름도를 도시한다. 이러한 경우, 방법 단계(1 및 2)는 도 1의 단계들에 대응하고, 전체적인 디스플레이 레벨 상에 동시에 디스플레이된 디스플레이 및 조작 요소는 애플리케이션에 대한 추천 및 추천된 애플리케이션에 대한 조작 액션 모두를 제공한다. 표현된 디스플레이 및 조작 요소는 이 실시예에서 하나 이상의 손가락으로 터치 감응성 디스플레이의 표면을 터치함으로써 사용자에 의해 작동될 수 있다. 마찬가지로, 디스플레이 및 조작 요소의 작동은 또한 디스플레이의 영역에서 적절한 센서에 의한 제스처 인식에 의해서도 검출될 수 있으므로, 디스플레이의 터치가 요구되지 않는다.
표현된 디스플레이 및 조작 요소의 작동이 이루어지면, 상기 작동은 검출되고 이러한 작동의 유형이 평가된다. 이 평가에 의해 단계(8)에서 사용자가 표현된 디스플레이 및 조작 요소를 탭핑한["탭(tap)"이라고도 함] 것으로 나타나면, 이를 통해 단계(11)에서 애플리케이션에 대한 추천뿐만 아니라 이러한 애플리케이션에 대한 조작 액션에 대한 추천도 수용된다. 추천된 애플리케이션이 오픈되고 추천된 조작 액션이 자동으로 실행된다. 반면에 평가에 의해 단계(9)에서 사용자가 디스플레이 및 조작 요소에 대해 스와이프 업("Swipe up")을 수행한 것으로 나타나면, 추천된 애플리케이션은 단계(12)에서 거절된다. 평가에 의해 단계(10)에서 스와이프 다운("Swipe down")을 수행한 것으로 나타나면, 추천된 애플리케이션은 단계(13)에서 오픈되며 이러한 애플리케이션에 대해 복수의 추천이 해당 디스플레이 및 조작 요소와 링크되어 디스플레이된다. 이들 디스플레이 및 조작 요소 중 하나가 예를 들어 다시 탭핑함으로써 작동되면, 이는 단계(14)에서 검출되고 이 애플리케이션에 대해 추천된 조작 액션이 수행된다.
도 3은 본 발명에 따른 제안 시스템을 위한 그래픽 사용자 인터페이스를 나타낸다. 예로서, 차량의 인포테인먼트 시스템에 대한 사용이 참조된다. 제안 시스템은 여기서 차량에 통합된 인포테인먼트 시스템의 조작 액션에 대한 추천을 제공하지만, 예를 들어 차량의 운전자 보조 시스템에도 사용될 수 있다. 그래픽 사용자 인터페이스의 디스플레이는 예를 들어 터치스크린 디스플레이로서 구성되는, 센터 콘솔 영역에 배치된 디스플레이 상에서 이루어질 수 있다.
도 3a에 도시된 바와 같이, 디스플레이 상에 전체적인 디스플레이 레벨로 복수의 추천이 재현된다. 이를 위해 아이콘 또는 타일 형식으로 구성될 수 있는 각각의 디스플레이 및 조작 요소가 표현된다. 필요한 경우 텍스트 힌트와 결합된 적절한 아이콘을 통해, 추천된 애플리케이션 및 각 애플리케이션에 대해 제안되는 조작 액션에 대한 주제별 관계가 각각 제공된다. 이러한 경우 추천 표시줄에 아이콘 또는 타일이 나란히 배열될 수 있다.
추천은 예를 들어 네비게이션을 위한 목적지, 음악 재생을 위한 타이틀 또는 전화 연락처와 관련될 수 있으며, 각각의 디스플레이 및 조작 요소(15, 16, 17)를 통해 표현될 수 있다. 또한, 디스플레이 및 조작 요소(18)가 제공될 수 있는데, 상기 디스플레이 및 조작 요소(18)를 통해 자동 실행된 조작 액션, 예를 들어 송풍기 기능의 자동 변경이 취소될 수 있다. 마지막으로, 구형으로 이루어진 구름 형태의 아이콘(19)은 제안 시스템이 활성이고 추천이 제공되어 필요한 경우 실행될 수 있다는 것을 나타낼 수 있다. 표현된 예에서, 제안 시스템은 예를 들어 사용자가 현재까지 항상 현재 요일의 현재 시간에 이것을 했으므로 연락처 "페터"에게 전화하는 것을 추천한다.
도 3b는 추천된 전화 연락처에 대한 디스플레이 및 조작 요소를 탭핑함으로써 이 추천이 수용된 후에 그래픽 사용자 인터페이스를 도시한다. 이는 대응하는 디스플레이 및 조작 요소 상의 아이콘(20), 예를 들어, 후크 표시에 의해 표현된다. 추가적으로 또는 그 대신에, 디스플레이 및 조작 요소는 표현 또는 컬러가 변경될 수 있다. 사용자에 의한 선택의 결과로서, 전화 애플리케이션은 활성화되어 디스플레이의 하부 영역에서, 예를 들어 소위 위젯(widget)과 같은 서브 윈도우로 오픈되며, 추천된 전화 연락처는 자동으로 선택된다.
사용자가 전체적인 디스플레이 레벨에서 표현되는 추천 중 하나를 거절하고자 하는 경우, 도 4a에 도시된 바와 같이, 해당 디스플레이 및 조작 요소(17) 상에 실행되는 스와이프 업을 통해 이를 페이드 아웃시킬 수 있다. 이러한 방식으로, 사용자에게 흥미로운 추천만이 계속해서 표현되기 때문에, 디스플레이의 명확성이 향상된다. 마찬가지로, 이로써 추천 시스템은 추천의 증가에 의해 명확성이 손상되지 않고 거절된 추천 대신에 다른 추천을 표현할 수 있게 된다.
사용자가 추천된 애플리케이션 중 하나를 사용하려고 하지만 이 애플리케이션에 대해 추천된 사용 제어 액션을 수행하지 않으려는 경우, 도 4b에 도시된 바와 같이, 해당 디스플레이 및 조작 요소(17) 상에 실행되는 스와이프 다운을 통해 대응하는 애플리케이션을 오픈시킬 수 있다. 위의 예에서 이는 전화를 걸기 위한 제안이 사용자에게 적절한 것으로 검출되지만, 사용자는 연락처 "페터"가 아닌 다른 연락처에게 전화하는 것을 원한다는 것을 의미한다.
오픈된 전화 애플리케이션에 대해, 제안 시스템은 이제 도 5에 도시된 바와 같이 애플리케이션 디스플레이 레벨로 복수의 제안을 디스플레이한다. 연락처 "페터"에게 전화하는 제안에 대한 디스플레이 및 조작 요소(17)는 계속 표현된다. 현재 이 추천을 따르지는 않았지만, 이는 여전히 추천 중 제1 위치에 있다. 또한, 제안 시스템이 덜 적절한 것으로 간주하는 추가의 연락처에 대한 제안 - 그러나 그럼에도 불구하고 사용자에게 상황적 관련성이 있음 - 이 마찬가지로 나열되고 대응되는 디스플레이 및 조작 요소(22, 23, 24)를 통해 표현되어 조작될 수 있다. 표현된 디스플레이 및 조작 요소의 순서는 여기서 상황적 관련성의 확률에 의해 결정된다. 추가적으로, 전화 애플리케이션의 추가 기능을 위한 디스플레이 및 조작 요소(25) 및 예를 들어 알파벳 순으로 정렬된 모든 전화 연락처의 목록(26)이 디스플레이될 수 있다.
차량에 통합된 제안 시스템은 필요에 따라 다양한 유형의 정보를 기반으로 사용자를 지원할 수 있다. 따라서, 사용자의 관심 또는 사용자의 이전의 사용자 사용 제어 액션뿐만 아니라 차량의 적절한 센서에 의한 사용자 관찰에 의해 검출될 수 있는 사용자의 현재 거동이 사용될 수 있다. 마찬가지로, 복수의 이용자가 차량을 이용할 때, 사용자의 구별이 이루어져 각각의 사용자에게 맞춤화된 추천을 제공할 수 있기 위해 다른 사용자의 사용자 거동을 개별적으로 획득하여 미래에 고려하는 것이 제안된다. 또한, 예를 들어 현재 속도와 같은 차량 파라미터 또는 차량의 현재 환경에 기초한 현재 주행 상황은 차량 외부에 장착된 센서에 의해 고려될 수 있다.
도 6은 본 발명에 따른 장치의 개략도를 도시한다. 추천 유닛(27)은 2개 이상의 소프트웨어 애플리케이션에 대한 추천을 생성하고, 여기서 또한 추천된 조작 액션에 대한 확률 값을 결정한다. 이를 위해, 추천 유닛(27)에는 차량의 현재 시간 또는 현재 위치, 현재 주행 상황 또는 현재 검출된 사용자 거동과 같은 다양한 파라미터가 공급될 수 있다. 또한, 추천 유닛은 이미 학습된 사용자 거동에 관한 정보를 액세스할 수 있는데, 상기 정보는 예를 들어 차량 내부 또는 차량 외부 메모리의 데이터베이스에 저장될 수 있다. 이미지 생성 유닛(28)은 소프트웨어 애플리케이션의 추천 또는 오픈된 소프트웨어 애플리케이션에 대한 추천된 조작 액션을 위한 디스플레이 및 조작 요소가 디스플레이되도록 터치스크린 디스플레이(31)를 제어한다. 표현된 디스플레이 및 조작 요소의 영역에서의 터치스크린 디스플레이(31)의 표면의 터치는 검출 유닛(30)에 의해 검출되고, 상기 검출 유닛은 이에 관한 정보를 컴퓨터 유닛(29)에 공급하고, 상기 컴퓨터 유닛은 필요한 경우 대응하는 소프트웨어 애플리케이션을 오픈하고 실행시키며 그에 따라 디스플레이를 조정시키도록 이미지 생성 유닛(28)을 구동한다.
본 발명은 차량 기술의 분야에서 유리하게 사용될 수 있지만, 이에 제한되지는 않는다. 오히려, 본 발명은 그래픽 사용자 인터페이스와 조합하여 조작 액션을 위한 제안 시스템과 상호 작용을 수행하는 임의의 컴퓨터 기반 시스템에 사용될 수 있다.
1 복수의 소프트웨어 애플리케이션에 대한 추천을 생성하는 방법 단계
2 생성된 추천을 디스플레이하는 방법 단계
3 추천된 소프트웨어 애플리케이션의 디스플레이 및 조작 요소의 작동을 검출하는 방법 단계
4 소프트웨어 애플리케이션을 오픈하는 방법 단계
5 오픈된 소프트웨어 애플리케이션에 대한 추천을 디스플레이하는 방법 단계
6 추천된 조작 액션의 디스플레이 및 조작 요소의 작동을 검출하는 방법 단계
7 추천된 조작 액션을 실행하는 방법 단계
8 추천의 탭핑을 결정하는 방법 단계
9 스와이프 업을 결정하는 방법 단계
10 스와이프 다운을 결정하는 방법 단계
11 소프트웨어 애플리케이션을 오픈하고 추천된 조작 액션을 실행하는 방법 단계
12 추천된 소프트웨어 애플리케이션을 거절하는 방법 단계
13 소프트웨어 애플리케이션을 오픈하고 추천된 조작 액션을 디스플레이하는 방법 단계
14 추천된 조작 액션에 할당되어 있는 디스플레이 및 조작 요소의 작동을 검출하고 선택된 조작 액션을 실행하는 방법 단계
15, 16, 17, 22, 23, 24 추천에 대한 디스플레이 및 조작 요소
18 자동 실행된 조작 액션을 취소하기 위한 디스플레이 및 조작 요소
19 활성인 제안 시스템에 대한 심볼
20 선택된 추천에 대한 심볼
21 전화 애플리케이션에 대한 위젯
25 전화 애플리케이션에 대한 디스플레이 및 조작 요소
26 전화 연락처의 목록
27 추천 유닛
28 이미지 생성 유닛
29 컴퓨터 유닛
30 검출 유닛
31 터치스크린 디스플레이

Claims (10)

  1. 제안 시스템의 추천된 조작 액션 및 상기 제안 시스템과의 상호 작용을 표현하는 방법으로서,
    - 2개 이상의 소프트웨어 애플리케이션에 대한 추천을 생성하는 단계(1);
    - 전체적인 디스플레이 레벨에서 상기 2개 이상의 소프트웨어 애플리케이션의 추천에 대한 디스플레이 및 조작 요소(15, 16, 17)를 각각 공동으로 디스플레이하는 단계(2);
    - 상기 공동으로 디스플레이된 디스플레이 및 조작 요소 중 하나의 작동을 검출하는 단계(3);
    - 상기 작동된 디스플레이 및 조작 요소에 할당되어 있는 상기 소프트웨어 애플리케이션을 오픈하는 단계(4)
    를 포함하며,
    상기 전체적인 디스플레이 레벨 상의 상기 디스플레이 및 조작 요소(15, 16, 17) 중 적어도 하나는 상기 소프트웨어 애플리케이션을 오픈하기 위한 추천에 추가하여, 상기 소프트웨어 애플리케이션에 대해 추천된 조작 액션도 또한 표현하고,
    상기 디스플레이 및 조작 요소의 작동이 검출되면 상기 추천된 소프트웨어 애플리케이션은 오픈되고, 상기 소프트웨어 애플리케이션에 대한 상기 추천된 조작 액션이 자동으로 실행되는(8, 11) 것을 특징으로 하는 제안 시스템의 추천된 조작 액션 및 상기 제안 시스템과의 상호 작용을 표현하는 방법.
  2. 제1항에 있어서,
    상기 2개 이상의 소프트웨어 애플리케이션의 조작 액션에 대한 추천이 생성되고, 상기 추천된 조작 액션의 실행에 대한 확률 값이 결정되고, 상기 각각의 소프트웨어 애플리케이션에 대해 현재 가장 높은 확률 값을 갖는 추천된 조작 액션을 나타내는 디스플레이 및 조작 요소(15, 16, 17)가 각각 상기 전체적인 디스플레이 레벨에서 상기 2개 이상의 소프트웨어 애플리케이션에 대해 디스플레이되는 것인, 제안 시스템의 추천된 조작 액션 및 상기 제안 시스템과의 상호 작용을 표현하는 방법.
  3. 제2항에 있어서,
    상기 전체적인 디스플레이 레벨에서 디스플레이 및 조작 요소의 작동이 검출되면,
    - 제1 조작 액션(8)에서 상기 추천된 소프트웨어 애플리케이션이 오픈되고, 상기 소프트웨어 애플리케이션에 대한 상기 추천된 조작 액션이 자동으로 실행되고(11);
    - 상기 제1 조작 액션과는 다른 제2 조작 액션(9)에서 상기 추천된 소프트웨어 애플리케이션이 거절되고(12); 그리고
    - 상기 처음 2개의 조작 액션과는 다른 제3 조작 액션(10)에서 상기 추천된 소프트웨어 애플리케이션은 오픈되고, 상기 소프트웨어 애플리케이션에 대해, 상기 오픈된 소프트웨어 애플리케이션에 대해 복수의 추천된 조작 액션 중 하나를 각각 나타내는 복수의 디스플레이 및 조작 요소(17, 22, 23, 24)가 상기 전체적인 디스플레이 레벨의 하위의 애플리케이션 디스플레이 레벨에서 공동으로 디스플레이되는(13) 것인, 제안 시스템의 추천된 조작 액션 및 상기 제안 시스템과의 상호 작용을 표현하는 방법.
  4. 제3항에 있어서,
    상기 오픈된 소프트웨어 애플리케이션에 대해 디스플레이되는 상기 디스플레이 및 조작 요소(17, 22, 23, 24)는 상기 애플리케이션 디스플레이 레벨에서 상기 추천된 조작 액션의 실행에 대한 상기 확률 값에 따라 배열되어 디스플레이되는 것인, 제안 시스템의 추천된 조작 액션 및 상기 제안 시스템과의 상호 작용을 표현하는 방법.
  5. 제3항에 있어서,
    상기 추천된 조작 액션의 실행에 대한 상기 확률 값은 이전의 사용자 거동 및 외부 파라미터 중 적어도 하나로부터 결정되는 것인, 제안 시스템의 추천된 조작 액션 및 상기 제안 시스템과의 상호 작용을 표현하는 방법.
  6. 제5항에 있어서,
    상기 확률 값을 결정하기 위한 상기 외부 파라미터는 상기 사용자의 현재 시간 및 현재 위치 중 적어도 하나를 포함하는 것인, 제안 시스템의 추천된 조작 액션 및 상기 제안 시스템과의 상호 작용을 표현하는 방법.
  7. 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 디스플레이 및 조작 요소는 터치 감응성 디스플레이 상에 표현되고, 상기 제1 조작 액션은 표현된 디스플레이 및 조작 요소의 탭핑(8)에 대응되고, 상기 제2 조작 액션은 표현된 디스플레이 및 조작 요소 상에서 스와이프 업(9)에 대응되고, 상기 제3 조작 액션은 스와이프 다운(10)에 대응되는 것인, 방법.
  8. 제안 시스템의 추천된 조작 액션 및 상기 제안 시스템과의 상호 작용을 표현하는 장치로서,
    - 2개 이상의 소프트웨어 애플리케이션에 대한 추천을 생성하는 추천 유닛(27);
    - 디스플레이(31);
    - 전체적인 디스플레이 레벨에서 2개 이상의 소프트웨어 애플리케이션의 추천에 대한 디스플레이 및 조작 요소가 각각 공동으로 디스플레이되도록 상기 디스플레이(31)를 제어하는 이미지 생성 유닛(28);
    - 상기 디스플레이된 디스플레이 및 조작 요소(15, 16, 17, 22, 23, 24) 중 하나의 작동을 검출하는 검출 유닛(30);
    - 상기 작동된 디스플레이 및 조작 요소에 할당되어 있는 상기 소프트웨어 애플리케이션이 오픈되는 컴퓨터 유닛(29) 중 하나
    를 포함하며,
    상기 전체적인 디스플레이 레벨 상의 상기 디스플레이 및 조작 요소(15, 16, 17) 중 적어도 하나는 상기 소프트웨어 애플리케이션을 오픈하기 위한 추천에 추가하여, 상기 소프트웨어 애플리케이션에 대해 추천된 조작 액션도 또한 표현하고,
    상기 디스플레이 및 조작 요소의 작동이 검출되면 상기 추천된 소프트웨어 애플리케이션은 오픈되고, 상기 소프트웨어 애플리케이션에 대한 상기 추천된 조작 액션이 자동으로 실행되는(8, 11) 것을 특징으로 하는 제안 시스템의 추천된 조작 액션 및 상기 제안 시스템과의 상호 작용을 표현하는 장치.
  9. 제8항에 있어서,
    상기 장치는 차량에 제공되고, 상기 제안 시스템은 상기 차량의 인포테인먼트 시스템을 위한 조작 액션을 추천하는 것인, 제안 시스템의 추천된 조작 액션 및 상기 제안 시스템과의 상호 작용을 표현하는 장치.
  10. 자동차에 있어서,
    상기 자동차는 제8항에 기재된 장치를 포함하거나 또는 제1항에 기재된 방법을 실행하도록 구성되는 것을 특징으로 하는 자동차.
KR1020190132422A 2017-03-06 2019-10-23 제안 시스템의 추천된 조작 액션 및 제안 시스템과의 상호 작용을 표현하는 방법 및 장치 KR20190122629A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017203570.6 2017-03-06
DE102017203570.6A DE102017203570A1 (de) 2017-03-06 2017-03-06 Verfahren und vorrichtung zur darstellung von empfohlenen bedienhandlungen eines vorschlagssystems und interaktion mit dem vorschlagssystem

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180025865A Division KR102176305B1 (ko) 2017-03-06 2018-03-05 제안 시스템의 추천된 조작 액션 및 제안 시스템과의 상호 작용을 표현하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20190122629A true KR20190122629A (ko) 2019-10-30

Family

ID=61226496

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180025865A KR102176305B1 (ko) 2017-03-06 2018-03-05 제안 시스템의 추천된 조작 액션 및 제안 시스템과의 상호 작용을 표현하는 방법 및 장치
KR1020190132422A KR20190122629A (ko) 2017-03-06 2019-10-23 제안 시스템의 추천된 조작 액션 및 제안 시스템과의 상호 작용을 표현하는 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020180025865A KR102176305B1 (ko) 2017-03-06 2018-03-05 제안 시스템의 추천된 조작 액션 및 제안 시스템과의 상호 작용을 표현하는 방법 및 장치

Country Status (5)

Country Link
US (1) US11232362B2 (ko)
EP (1) EP3373123B1 (ko)
KR (2) KR102176305B1 (ko)
CN (1) CN108536347B (ko)
DE (1) DE102017203570A1 (ko)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) * 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
EP3657325A4 (en) * 2019-02-20 2021-05-26 LG Electronics Inc. FREQUENTLY USED APPLICATION BYPASS PROCESS, AND BYPASS DEVICE USING THIS PROCESS
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
DK202070658A1 (en) 2020-06-01 2022-01-13 Apple Inc Suggesting executable actions in response to detecting events
CN114003759A (zh) * 2020-07-14 2022-02-01 佛吉亚歌乐电子(厦门)有限公司 推荐装置及方法
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
DE102022205463A1 (de) 2022-05-31 2023-11-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Konfigurieren einer Bedienschnittstelle zum Bedienen eines Steuergeräts für ein Fahrzeug und Infotainmentsystem

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080163112A1 (en) * 2006-12-29 2008-07-03 Research In Motion Limited Designation of menu actions for applications on a handheld electronic device
US8321802B2 (en) * 2008-11-13 2012-11-27 Qualcomm Incorporated Method and system for context dependent pop-up menus
US8458609B2 (en) * 2009-09-24 2013-06-04 Microsoft Corporation Multi-context service
CN101984657B (zh) * 2010-11-08 2012-12-05 深圳市龙视传媒有限公司 数字电视终端及其应用界面生成关联菜单的方法及装置
US9536197B1 (en) * 2011-04-22 2017-01-03 Angel A. Penilla Methods and systems for processing data streams from data producing objects of vehicle and home entities and generating recommendations and settings
US9781540B2 (en) * 2011-07-07 2017-10-03 Qualcomm Incorporated Application relevance determination based on social context
KR20160099721A (ko) 2011-09-12 2016-08-22 폭스바겐 악티엔 게젤샤프트 정보를 표시하고 전자 기기를 조작하기 위한 방법 및 장치
US20140309868A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc User interface and virtual personality presentation based on user profile
DE102012005858A1 (de) 2012-03-22 2013-09-26 Audi Ag Verfahren zur Wiedergabe von Informationen in einem Kraftfahrzeug
CN103699547B (zh) * 2012-09-28 2019-03-22 北京三星通信技术研究有限公司 一种应用程序推荐方法及终端
KR102045841B1 (ko) * 2012-10-09 2019-11-18 삼성전자주식회사 전자 장치에서 태스크 추천 아이콘을 생성하는 방법 및 장치
US9098180B1 (en) 2013-08-29 2015-08-04 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America User interface and method for personalized radio station creation
DE102013223684A1 (de) 2013-11-20 2015-05-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Geben von Empfehlungen für mehrere Fahrzeuginsassen
US9188449B2 (en) 2013-12-06 2015-11-17 Harman International Industries, Incorporated Controlling in-vehicle computing system based on contextual data
CN103646090A (zh) * 2013-12-16 2014-03-19 百度在线网络技术（北京）有限公司 应用程序推荐方法、程序启动速度的优化方法和装置
US9841879B1 (en) * 2013-12-20 2017-12-12 Amazon Technologies, Inc. Adjusting graphical characteristics for indicating time progression
EP3092560B1 (en) 2014-01-06 2019-05-08 Johnson Controls Technology Company Vehicle with multiple user interface operating domains
US9381813B2 (en) 2014-03-24 2016-07-05 Harman International Industries, Incorporated Selective message presentation by in-vehicle computing system
CN104965630B (zh) * 2014-04-21 2021-03-16 腾讯科技（深圳）有限公司 桌面应用程序图标布局的方法和系统
ES2727955T3 (es) 2014-04-25 2019-10-21 Volkswagen Ag Interfaz de usuario para un sistema de infoentretenimiento de un medio de transporte
US10053112B2 (en) 2014-09-04 2018-08-21 GM Global Technology Operations LLC Systems and methods for suggesting and automating actions within a vehicle
US10067666B2 (en) * 2015-01-08 2018-09-04 Samsung Electronics Co., Ltd. User terminal device and method for controlling the same
KR102364620B1 (ko) * 2015-01-26 2022-02-17 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US10156978B2 (en) 2015-03-31 2018-12-18 Lg Electronics Inc. Terminal and operating method thereof
CN106055190B (zh) * 2015-04-16 2021-03-09 三星电子株式会社 用于经由显示器的部分提供信息的设备和方法
US10200824B2 (en) * 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
CN105320777A (zh) * 2015-11-13 2016-02-10 北京金山安全软件有限公司 一种应用程序推荐方法及装置
KR20170071347A (ko) * 2015-12-15 2017-06-23 엘지전자 주식회사 이동단말기 및 그 제어방법
US10747554B2 (en) * 2016-03-24 2020-08-18 Google Llc Contextual task shortcuts
JP6508177B2 (ja) * 2016-04-27 2019-05-08 株式会社デンソー 支援システム、携帯端末、及び車載装置
CN106250014A (zh) * 2016-07-22 2016-12-21 广东欧珀移动通信有限公司 应用程序的推荐方法及装置
CN106201553B (zh) * 2016-07-22 2019-06-04 北京安云世纪科技有限公司 在桌面推送应用程序的控制方法、装置及终端设备
US11049147B2 (en) * 2016-09-09 2021-06-29 Sony Corporation System and method for providing recommendation on an electronic device based on emotional state detection
US10531227B2 (en) * 2016-10-19 2020-01-07 Google Llc Time-delimited action suggestion system

Also Published As

Publication number Publication date
EP3373123A1 (de) 2018-09-12
EP3373123B1 (de) 2021-04-07
KR20180102018A (ko) 2018-09-14
CN108536347A (zh) 2018-09-14
US20180253652A1 (en) 2018-09-06
US11232362B2 (en) 2022-01-25
KR102176305B1 (ko) 2020-11-09
CN108536347B (zh) 2021-11-26
DE102017203570A1 (de) 2018-09-06

Similar Documents

Publication Publication Date Title
KR102176305B1 (ko) 제안 시스템의 추천된 조작 액션 및 제안 시스템과의 상호 작용을 표현하는 방법 및 장치
US8910086B2 (en) Method for controlling a graphical user interface and operating device for a graphical user interface
EP3000013B1 (en) Interactive multi-touch remote control
US9933885B2 (en) Motor vehicle operating device controlling motor vehicle applications
KR102216299B1 (ko) 자동화된 조작 동작을 갖춘 제안 시스템과의 상호 작용을 위한 방법 및 어셈블리
US10921982B2 (en) Device and method for operating a device
KR102355683B1 (ko) 차량의 그래픽 사용자 인터페이스의 조립체 및 차량에 그래픽 사용자 인터페이스를 제공하는 방법
JP6747835B2 (ja) 画像表示装置
EP3726360B1 (en) Device and method for controlling vehicle component
KR20180095849A (ko) 이미지 기록 유닛 및 차량의 장치들을 조작하기 위한 조작 시스템을 구비한 차량 및 조작 시스템을 작동하기 위한 방법
US10423326B2 (en) Vehicle and control method of the same
KR102349649B1 (ko) 그래픽 사용자 인터페이스의 표시와 조작을 조정하기 위한 방법
US20190331504A1 (en) Method for dynamically adapting an operating device in a motor vehicle, as well as operating device and motor vehicle
GB2517792A (en) Human-machine interface
CN114040857A (zh) 用于运行车辆中的操作系统的方法和车辆中的操作系统
GB2539329A (en) Method for operating a vehicle, in particular a passenger vehicle
CN116783087A (zh) 用于提高在操作设备期间的安全性的方法
KR20160063451A (ko) 차량용 화면 표시장치 및 그 제어방법
JP2019135625A (ja) 画像表示装置
CN113791711A (zh) 车载多屏幕显示分享方法及装置
CN115803214A (zh) 显示区域的控制
GB2519936A (en) Human-machine interface

Legal Events

Date Code Title Description
A107 Divisional application of patent