KR20190097184A - 반복된 액션에 대한 스마트 어시스트 - Google Patents

반복된 액션에 대한 스마트 어시스트 Download PDF

Info

Publication number
KR20190097184A
KR20190097184A KR1020197020752A KR20197020752A KR20190097184A KR 20190097184 A KR20190097184 A KR 20190097184A KR 1020197020752 A KR1020197020752 A KR 1020197020752A KR 20197020752 A KR20197020752 A KR 20197020752A KR 20190097184 A KR20190097184 A KR 20190097184A
Authority
KR
South Korea
Prior art keywords
sequence
actions
user
previous
current
Prior art date
Application number
KR1020197020752A
Other languages
English (en)
Other versions
KR102355481B1 (ko
Inventor
빅터 카뷴
다니엘 케이서
토마스 데셀라어스
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20190097184A publication Critical patent/KR20190097184A/ko
Application granted granted Critical
Publication of KR102355481B1 publication Critical patent/KR102355481B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06K9/00885—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

시스템 및 방법은 컴퓨팅 시스템이 반복된 액션들의 시퀀스를 인식하고 임의의 이러한 인식된 액션들을 자동적으로 반복하도록 제안한다. 예시적 방법은 사용자 액션들의 현재 시퀀스가 사용자 액션들의 이전 시퀀스와 유사한지 결정하는 단계, 상기 이전 시퀀스가 재현가능한지 결정하는 단계, 그리고 재현가능한 경우, 상기 이전 시퀀스에 기초하여 상기 현재 시퀀스를 완료하기 위한 승인을 요청하는 프롬프트의 디스플레이를 개시하는 단계; 및 승인의 표시를 수신함에 응답하여, 상기 이전 시퀀스를 완료하는 단계를 포함한다. 다른 예시적 방법은 사용자인터렉션들의 제1 현재 시퀀스가 완료되었고, 사용자 인터렉션들의 임의의 저장된 시퀀스와 유사하지 않음을 결정하는 단계, 상기 제1 현재 시퀀스를 이전 시퀀스로서 저장하는 단계, 제2 현재 시퀀스를 상기 이전 시퀀스와 유사성 임계치를 만족하는 것으로 식별하는 단계, 및 상기 이전 시퀀스를 바로가기로서 저장하기 위한 승인을 요청하는 프롬프트의 디스플레이를 개시하는 단계를 포함한다.

Description

반복된 액션에 대한 스마트 어시스트
관련 출원
본 출원은 2016년 12월 19일자로 출원된 반복된 액션에 대한 스마트 어시스트(Smart Assist for Repeated Actions)라는 명칭의 미국 특허 출원 제15/383,966호의 계속이며, 이에 대해 우선권을 주장하며, 그 개시 내용은 본 명세서에 참조로서 통합된다.
많은 사용자들은 피자 주문, 택시/차량 서비스 요청, 은행 명세서 다운로드, 대중 교통편 구매 등과 같은 모바일 디바이스 상의 일정 작업들 반복한다. 이러한 작업들의 경우, 사용자는 사용자가 상기 작업을 수행할 때마다 액션들의 시퀀스에 의해 표현되는 워크플로우를 반복한다.
시스템 및 방법은 사용자에 의해 반복되는 워크플로우들을 인식하고, 사용자가 그들을 반복하기 시작할 때를 이해하며, 자동적으로 시퀀스를 완료하도록 제안한다. 워크플로우는 액션들의 시퀀스로서 표현된다. 시퀀스에서 각 액션은 이전에 완료된 워크플로우들과의 비교를 더 강건하게 하기 위해 예를 들면, 화면 좌표나 픽셀 위치를 참조하지 않고 높은 레벨에서 설명된다. 시스템은 완료되지 않은 경우에도 현재 워크플로우를 이전에 수행된 워크플로우들과 비교하여 현재 워크플로우가 이전에 수행된 액션들의 시퀀스를 표현하는지 여부를 결정할 수 있다. 현재 워크플로우가 충분히 유사하다면, 시스템은 사용자를 위해 상기 워크플로우를 재현할 것을 제안할 수 있다. 일부 구현예에서, 시스템은 또한 현재 워크플로우 및 유사한 이전 워크플로우에 대한 신뢰 스코어를 계산할 수 있고, 시스템이 자동으로 워크플로우를 성공적으로 완료할 수 있다고 시스템이 확신할 경우에만 워크플로우를 재현할 것을 제안할 수 있다. 일부 구현예들은 사용자가 반복된 워크플로우들 중 하나 이상을 액션들의 시퀀스로서, 바로가기로서(예: 홈-화면에), 앱 옵션으로서 및/또는 음성 명령으로서 표현된 워크플로우로 저장하게 할 수 있다.
본 발명의 특정 양태에 따르면, 방법은 모바일 어플리케이션으로의 사용자 액션들의 현재 시퀀스가 사용자 액션들의 이전 시퀀스와 유사한지 결정하는 단계 및 상기 이전 시퀀스의 재현성을 반영하는 신뢰 스코어를 계산하는 단계를 포함한다. 또한 방법은 상기 신뢰 스코어가 신뢰 임계치를 만족하는 경우, 상기 이전 시퀀스를 사용하여 상기 사용자 액션들의 현재 시퀀스를 완료하기 위한 승인을 요청하는 프롬프트의 디스플레이를 개시하는 단계 및 상기 완료의 승인의 표시를 수신함에 응답하여 상기 이전 시퀀스를 완료하는 단계를 포함한다.
본 발명의 특정 양태에 따르면, 방법은 사용자 인터렉션들의 제1 현재 시퀀스가 사용자 인터렉션들의 이전 시퀀스들과 유사성 임계치를 만족하지 않음을 결정하는 단계, 액션들의 제1 현재 시퀀스가 완료됨을 결정하는 단계, 및 상기 제1 현재 시퀀스를 제1 이전 시퀀스로서 저장하는 단계를 포함한다. 또한 방법은 제2 현재 시퀀스를 제1 이전 시퀀스와 상기 유사성 임계치를 만족하는 것으로 식별하는 단계 및 상기 제1 이전 시퀀스를 바로가기로서 저장하기 위한 승인을 요청하는 프롬프트의 디스플레이를 개시하는 단계를 포함한다.
본 발명의 특정 양태에 따르면, 시스템은 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 시스템으로 하여금 사용자 인터페이스를 생성하게 하는 명령어들을 저장하는 메모리를 포함한다. 액션들의 바로가기 시퀀스를 기록하는 것을 개시하고, 상기 액션들의 시퀀스에서 각 액션은 사용자 인터페이스와의 사용자 인터렉션의 높은 레벨의 설명이며; 상기 사용자 인터페이스는 액션들의 시퀀스에서 계정 데이터는 상기 액션들에 포함될 것이라는 표시를 수신하도록 구성된다. 상기 사용자 인터페이스는 액션들의 이전 시퀀스들을 공유하는 것이 허락된다는 표시를 수신하도록 구성된다. 또한 상기 사용자 인터페이스는 이전에 저장된 액션들의 시퀀스를 소거(clear)하도록 구성된다. 또한 상기 사용자 인터페이스는 상기 액션들의 바로가기 시퀀스를 개명(rename)하도록 구성된다. 또한 상기 사용자 인터페이스는 상기 시스템이 액션들의 시퀀스를 캡처하는 어플리케이션들을 선택하도록 구성된다. 또한 상기 사용자 인터페이스는 액션의 이전 시퀀스가 공유될 수 있다는 표시를 수신하도록 구성된다.
하나의 일반적 양태에서, 컴퓨터 판독가능 저장 디바이스에 수록된 컴퓨터 프로그램 물은 기판에 형성된 적어도 하나의 프로세서에 의해 실행될 때, 모바일 디바이스로 하여금 개시된 방법들, 동작들 또는 프로세스들 중 임의의 것을 수행하게 하는 명령어들을 포함한다. 또 다른 일반적 양태는 사용자로 하여금 모바일 디바이스 상에서 언제 수행되는 액션 그리고 수행되는 어떤 액션이 장래의 잠재적으로 반복되는 액션들과의 비교를 위해 워크플로우에 저장될 수 있는지 제어하고 커스터마이징하게 하는 사용자 인터페이스를 생성하기 위한 사용자 인터페이스를 구비한 시스템 및/또는 방법을 포함한다. 또 다른 일반적 양태는 적어도 하나의 도면과 관련하여 실질적으로 도시되고 및/또는 기술된 바와 같이 그리고 청구항들에서 더 완전하게 기술된 바와 같이 액션을 완료하는 것에서 언제 어시스턴트를 제공할지 결정하기 위한 시스템 및/또는 방법을 포함한다.
본 명세서에 기술된 본 발명의 구현예들 중 하나 이상은 다음의 이점들을 실현하도록 구현될 수 있다. 일례로서, 구현예는 자주 사용되는 액션들의 시퀀스를 반복하기 위한 바로가기(shortcut)를 제공한다. 바로가기는 사용자에 의해 명시적으로 요청되거나 과거에 수행한 유사한 액션들의 시퀀스의 분석에 기초하여 사용자에게 제안될 수 있다. 바로가기가 사용자에 의해 개시되면, 시스템은 자동으로 단축에 의해 표현된 워크플로우를 완료한다. 또 다른 예로, 시스템은 반복된 워크플로우를 식별하고 사용자를 위한 워크플로우를 자동으로 완료할 것을 제안할 수 있다. 이러한 자동 완료의 예시들은 워크플로우를 완료하는 시간을 감소시키고 상기 워크플로우를 완료하기 위해 필요한 사용자 입력을 감소하거나 제거함으로써 배터리 사용량, 프로세싱 주기, RAM 메모리 사용량 및 다른 시스템 자원의 사용을 감소시킨다. 따라서, 계속적 및/또는 안내된 인간-기계 간 인터렉션 프로세스가 제공될 수 있다. 프로세스는 사용자에게 기술적 작업을 수행하는데 있어서 어시스턴트를 제공할 수 있다. 또한 사용자는 모바일 디바이스와 같은 기술적 시스템을 적절히 동작하는데 도움을 받을 수 있다. 향상된 인간 컴퓨터 인터렉션이 제공되고 기술적 작업을 수행하기 위해 사용자로부터 요구되는 입력이 감소된다. 워크플로우를 액션들의 시퀀스로서 기록하기 위한 프레임워크는 유연하며 액션들은 높은 레벨에서 캡처되어, 사용자 인터페이스의 레이아웃 변경(예: 컨트롤 또는 입력 텍스트 상자 이동 및 시퀀스 내에서 액션들의 순서의 변경)에도 불구하고 유사한 시퀀스들이 식별되도록 한다. 일부 구현예들은 예를 들어 사용자가 어떤 정보가 시퀀스의 일부로서 캡처될 수 있거나 없는지, 시퀀스를 비활성화하거나 공유할지 여부, 언제 시퀀스들을 캡처할지 여부를 결정하게 하는 것과 같이 세분화된 제어 메커니즘을 제공한다.
하나 이상의 구현예들의 세부 내용들이 첨부 도면과 아래의 설명에서 기술된다. 다른 구성들은 아래의 설명, 도면들 및 청구항들로부터 명백해질 것이다.
도 1은 개시된 발명에 따른 예시적 시스템을 도시하는 블록도이다.
도 2는 구현예에 따른 스마트 어시스트 프롬프트를 갖는 모바일 컴퓨팅 디바이스의 예시적 디스플레이를 도시한다.
도 3는 구현예에 따른 바로가기 프롬프트를 갖는 모바일 컴퓨팅 디바이스의 예시적 디스플레이를 도시한다.
도 4는 구현예에 따라 액션 에이전트에 대한 파라미터들을 선택하기 위한 예시적 사용자 인터페이스를 도시한다.
도 5는 개시된 구현예에 따라, 반복된 액션들을 식별하고 스마트 어시스트를 제공하기 위한 예시적 프로세스의 흐름도를 도시한다.
도 6은 기술된 기법들을 구현하는데 사용될 수 있는 컴퓨터 디바이스의 예시를 도시한다.
도 7은 기술된 기법들을 구현하는데 사용될 수 있는 분산 컴퓨터 디바이스의 예시를 도시한다.
다양한 도면들에서 기호들은 동일한 구성요소를 표시한다.
컴퓨팅 디바이스, 특히 모바일 디바이스에서 보다 효율적인 프로세싱을 위한 시스템은 사용자가 반복되고 반복가능한 워크플로우를 시작한 경우를 인식하고 사용자가 추가 입력 없이 또는 최소한의 입력으로 워크플로우를 완료하도록 디바이스를 지시하게 한다. 예시적 시스템은 사용자에 의해 모바일 어플리케이션 또는 웹 사이트에 제공된 입력뿐만 아니라 어플리케이션에 의해 사용자에게 제공된 텍스트, 이미지 및 사운드를 관찰한다. 예시적 시스템은 워크플로우를 표현하는 액션들의 시퀀스(입력, 응답 등)를 높은 레벨에서 기록하여, 화면 레이아웃과 사용자 인터페이스의 가변 부분(예: 광고 배너)에 대한 사소한 변경이 시퀀스에 영향을 미치지 않도록 한다. 시스템은 어떤 시퀀스들이 캡처될지에 관한 사용자 제어를 제공한다.
예시적 시스템은 워크플로우 설명(예: 액션들의 시퀀스)을 저장할 수 있으며 사용자가 이전 시퀀스를 반복하는 경우를 결정하기 위해 부분적으로 기계 학습된 유사성 엔진을 사용할 수 있다. 유사성 메트릭은 시간, 요일, 사용된 어플리케이션, 입력의 수 및 유형, 눌린 화면의 대략적인 영역, 입력 순서 등을 포함하는 시퀀스의 임의의 특징을 포함할 수 있는 시퀀스에 대해 기록된 입력 신호를 가진다. 유사성 엔진은 시퀀스 내 다른 액션들의 순서를 포함하여 약간 변경된 컴포넌트들이 있는 경우에도 유사성을 평가하도록 구성될 수 있다. 따라서, 약간 변경된 레이아웃, 웹페이지의 다른 배너 또는 모바일 앱의 다른 광고 또는 오퍼들은 시퀀스들을 비교하는 기능에 영향을 주지 않는다. 예를 들어, 유사성 엔진은 편집 거리에 기초할 수 있다.
시스템이 액션들의 시퀀스가 이전 시퀀스와 충분히 유사하다고 결정하는 경우, 시스템은 워크플로우를 완료할 것을 제안할 수 있다. 일부 구현예에서, 워크플로우를 완료하는 것이 제공되기 전에, 시스템은 시스템이 시퀀스에 의해 표현된 액션을 재현할 수 있는지에 관한 예측을 생성할 수 있다. 액션 예측기(action predictor)가 이 예측을 생성할 수 있으며, 액션 예측기는 동일한 컨텍스트, 액션의 컨텍스트, 다른 사용자들에 의한 유사한 시퀀스들(사용가능한 경우), 사용자 인터페이스 얼마나 자주 변경되는지 등과 같은 몇몇 요인들에 기초한 신뢰 스코어를 제공하는 다른 기계 학습 모델(완전 또는 부분적으로 학습된)일 수 있다. 신뢰 스코어는 낮음, 중간 또는 높음으로 분류될 수 있다. 신뢰도가 낮으면 시스템에서 아무런 액션도 수행하지 않을 수 있다. 중간인 경우, 시스템은 시퀀스를 잠재적 제안된 완료로서 플래그할 수 있다. 예를 들어, 시스템은 사용자가 해당 액션을 다시 수행하는지 여부를 관찰하고 학습하여 다음에 발생했을 때 신뢰도를 증가시킬 수 있다. 신뢰 스코어가 높으면, 시스템은 사용자에게 시퀀스를 제안할 수 있다. 사용자는 선택적으로 워크플로우를 바로가기로 저장할 수 있다. 사용자가 시스템에서 시퀀스를 재현하도록 선택한 경우, 시스템은 백그라운드에서 액션을 재현하거나 사용자에게 시퀀스에 의해 입력된 내용과 어플리케이션에 의한 응답을 표시할 수 있다. 예시적 시스템은 어떤 액션들이 캡처되는지, 어떤 정보가 캡처되는지 및 저장된 시퀀스들이 공유될 수 있는지 여부에 대한 사용자 제어를 제공할 수 있다.
도 1은 예시적 구현예에 따른 스마트 어시스트 시스템(100)의 블록도이다. 스마트 어시스트 시스템은 자원 소비 및 일정한 반복된 워크프로우들을 완료하기 위한 사용자 입력을 감소시키는 프로세스를 제공한다. 일부 구현예에서, 어시스트 시스템(100)은 어떤 반복된 워크플로우들을 완료하기 위해 제안할지를 지능적으로 선택하여, 시스템이 성공적으로 자동 완료되지 않을 수 있는 워크플로우를 제안하는 것을 회피하도록 한다. 스마트 어시스트 시스템(100)은 모바일 어플리케이션들 전반에 걸쳐 일관된 사용자 경험을 제공하여, 사용자 승인을 통해 임의의 어플리케이션에서 반복되는 액션들의 시퀀스가 자동으로 완료되거나, 즉 스마트 어시스트에 의해 완료될 수 있도록 한다. 일부 구현예에서, 시스템(100)은 또한, 예를 들어 워크플로우에 의해 표현된 액션들의 시퀀스를 다른 모바일 디바이스로 전송하기 위해, 모바일 디바이스의 사용자가 다른 사용자와 워크플로우를 공유하게 하는 프로세스를 포함할 수 있다. 스마트 어시스트는 모바일 디바이스로 하여금 입력 없이 또는 사용자로부터의 최소한의 입력으로 워크플로우를 자동으로 수행하거나 완료하게 한다. 디바이스가 인간 사용자보다 빠르게 워크플로우를 완료할 수 있으므로, 이는 배터리 소모, 메모리 사용량, 프로세서 사이클과 같은 시스템 자원을 절약한다.
스마트 어시스트 시스템(100)은 모바일 디바이스(180)를 포함할 수 있다. 모바일 디바이스(180)는 스마트폰 또는 다른 핸드헬드 컴퓨팅 디바이스, 태블릿, 웨어러블 컴퓨팅 디바이스 등과 같은 임의의 모바일 개인 컴퓨팅 디바이스일 수 있으며, 이는 종래의 오픈 웹 기반 환경이 아닌 폐쇄된 모바일 환경에서 동작한다. 일부 구현예에서, 모바일 디바이스는 개인용 컴퓨터, 넷북 또는 랩톱일 수 있다. 모바일 디바이스(180)는 도 6에 도시된 바와 같이 컴퓨터 디바이스(600)의 일 예일 수 있다. 모바일 디바이스(180)는 하나 이상의 기계 실행가능 명령어들 또는 소프트웨어, 펌웨어 또는 이들의 조합의 조각을 실행하도록 구성된 기판에 형성된 하나 이상의 프로세서를 포함할 수 있다. 모바일 디바이스(180)는 운영 체제(115)를 포함할 수 있다. 모바일 디바이스(180)는 일시적으로, 영구적으로, 반영구적으로, 또는 이들의 조합으로 하나 이상의 데이터 조각을 저장하도록 구성된 하나 이상의 컴퓨터 메모리들을 포함할 수 있다. 따라서, 모바일 디바이스(180)는 소프트웨어, 펌웨어 또는 이들의 조합의 형태로 기계 실행가능 명령어들을 표현하는 모바일 어플리케이션(110), 액션 어시스턴트(120) 및/또는 설정 UI(140)를 포함하는 어플리케이션들을 포함할 수 있다. 모바일 디바이스(180)는 또한 하나 이상의 출력 디바이스들(103)를 포함할 수 있다. 출력 디바이스들은 시각적 컨텐츠를 디스플레이하기 위한 디스플레이 디바이스 및 오디오 컨텐츠를 제시하기 위한 스피커들을 포함할 수 있다.
모바일 디바이스(180)는 액션 어시스턴트(120)를 포함할 수 있다. 액션 어시스턴트(120)는 사용자에 의해 제공된 하나 이상의 모바일 어플리케이션, 웹 어플리케이션 및/또는 웹사이트에 대한 입력을 관찰하도록 구성될 수 있으며, 이들 중 임의의 어플리케이션은 "어플리케이션"으로 지칭될 수 있다. 액션 어시스턴트(120)는 또한 어플리케이션에 의해 사용자에게 제공되는 텍스트, 이미지 및 사운드를 관찰할 수 있다. 사용자 액션들은 탭, 스와이프, 텍스트 입력 또는 사용자가 어플리케이션의 사용자 인터페이스와 인터렉션하기 위해 취하는 다른 동작과 같은 사용자 입력 제스처들을 나타낸다. 예를 들어, 사용자 액션은 사용자가 모바일 디바이스(180)의 터치 스크린과 인터렉션하기 위해 취하는 임의의 액션일 수 있다. 사용자 액션은 또한 마우스, 키보드, 트랙 패드, 마이크로폰 등과 같은 입력 디바이스를 통해 사용자에 의해 입력된 임의의 텍스트 또는 선택일 수 있다. 액션 어시스턴트(120)는 높은 레벨에서 관찰들을 캡처하고, 캡처된 관찰들을 액션들의 시퀀스로 표현된 워크플로우로서 저장한다. 따라서, 액션들의 시퀀스는 높은 레벨에서 캡처된 입력, 결과, 응답 등을 포함할 수 있다. 높은 레벨에서 캡처된 시퀀스는 사용자가 선택한 픽셀 위치와 같은 세부 사항을 포함하지 않는다. 오히려, 높은 레벨에서 캡처된 액션들은 사용자가 액션들을 통해 달성한 것을 식별한다. 예를 들어, 피자 주문 워크플로우는 다음과 같은 액션들의 시퀀스로 캡처될 수 있다.
1. 메인 메뉴로 이동
2. 라지 피자 선택
3. 페퍼로니와 올리브를 추가하여 라지 피자를 수정
4. 수량 2를 입력
5. <add to cart> 제어를 선택
6. 라지 피자 선택
7. 피망, 양파, 올리브 및 버섯을 추가하여 라지 피자를 수정
8. 수량 1를 입력
9. <add to cart> 제어를 선택
10. <checkout> 제어를 선택
11. 저장된 결제 정보를 확인
12. 가능한 빠른 배달 시간 선택
13. <confirm order> 제어를 선택
14. 어플리케이션 종료
다른 예시로서, 피자 주문 워크플로우는 보다 구조화된 접근을 도시하는 다음과 같은 액션들의 시퀀스로 캡처될 수 있다.
1. [select : main_menu]
2. [select:size.lg]
3. [select:topping.pep] & [select:topping.bo]
4. [select:q.2]
5. [select:add_cart]
6. [select:size.lg]
7. [select:topping.gp] & [select:topping.o] & [select:topping.bo] & [select:topping.mush]
8. [select:q.1]
9. [select:add_cart]
10. [select:checkout]
11. [select:cc1]
12. [select: del.asap]
13. [select:order]
14. [select:exit]
위의 두 예시에서 설명된 바와 같이, 시퀀스는 어플리케이션에 의해 제공된 컨텐츠에 관한 피처들(예: 토핑 제어 및 해당 값)과 사용자에 의해 제공된 입력에 관한 피처들(선택한 제어들과 선택한 값)을 포함한다. 액션 어시스턴트(120)는 하나의 액션 시퀀스와 다른 액션 시퀀스 간의 경계를 여러 가지 방식으로 결정할 수 있다. 예를 들어, 시스템은 시퀀스가 완료된 것으로서 지정하는 사용자로부터의 명시적 명령에 기초하여 시퀀스가 종료된 것으로 결정할 수 있다. 다른 예로서, 시스템은 사용자가 다른 어플리케이션으로 스위칭하거나 사용자가 어플리케이션을 닫는 것에 기초하여 시퀀스가 종료된 것으로 결정할 수 있다. 다른 예로서, 시스템은 어플리케이션으로부터의 통지, 예를 들어 "주문 완료", "수신된 주문” 또는 이와 유사한 것을 표시하는 메시지에 기초하여 시퀀스가 종료된 것으로 결정할 수 있다.
액션 어시스턴트(120)는 액션들의 시퀀스 a를 예를 들어 이전 시퀀스들(170)에서 나중에 참조할 수 있도록 이전 시퀀스로서 저장할 수 있다. 액션들의 시퀀스를 저장하는 것에 더하여, 액션 어시스턴트(120)는 또한 시퀀스에 관한 메타데이터를 저장할 수 있다. 메타데이터는 또한 시퀀스에 대한 신호로서 참조될 수 있다. 신호들은 시간, 요일, 사용된 어플리케이션, 입력의 수 및 유형, 눌린 화면의 대략적인 영역, 입력 순서, 디바이스가 이동중이었는지 여부 등을 포함하는 시퀀스의 임의의 특징을 포함할 수 있다. 예를 들면, 시퀀스에 대한 컨텍스트로서, 액션 어시스턴트(120)는 요일, 시간, 그 날이 공휴일이었는지 등을 포함하여 언제 액션이 발생했는지 표시하는 각 액션에 대한 타임 스탬프, 사용자가 어디에 있었는지를 표시하는 위치 스탬프, 위치 이력, 이전에 사용된 어플리케이션들, 액션들의 이전 시퀀스들 등을 기록할 수 있다. 일부 구현예들에서, 신호들은 값들의 어레이 예를 들어, 부동소수점 수들의 어레이, 문자열들의 어레이, 열거 값들의 어레이로서 저장될 수 있다. 시스템은 예를 들어, 이전 시퀀스들(170)에서 액션들의 시퀀스와 메타데이터를 저장할 수 있다.
액션 어시스턴트(120)는 부분적으로 학습될 수 있는 유사성 엔진(155) 및 이전 시퀀스(170)를 사용하여 사용자가 액션 반복을 시작하는 경우를 결정할 수 있다. 유사성 엔진(155)은 액션들의 현재 시퀀스와 이전 시퀀스들(170) 중 하나 이상과의 사이의 유사성 메트릭을 생성하는 예측 모델일 수 있다. 유사성 엔진(155)은 액션들의 현재 시퀀스, 하나 이상의 액션들의 이전 시퀀스(예: 이전 시퀀스들(170)으로부터) 및 시퀀스들 각각에 대한 메타데이터 또는 신호들을 입력으로서 취할 수 있다. 일부 구현예에서, 메타데이터는 피처 벡터로서 제공될 수 있다. 유사성 엔진(155)은 현재 시퀀스와 이전 시퀀스들 각각 사이의 유사성 메트릭을 제공한다. 유사성 메트릭은 예컨대 편집 거리와 같은 다수의 다른 메트릭에 기초할 수 있다. 일부 구현예에서, 시스템은 이전 시퀀스가 동일한 어플리케이션을 공유하는 것과 같이 액션들의 현재 시퀀스와 최소한의 공통성을 가질 때만 이전 액션들의 이전 시퀀스를 선택할 수 있다. 유사성 엔진(155)은 약간 변경된 컴포넌트들이 존재하는 경우에도 유사성을 평가하도록 구성된다. 따라서, 웹페이지상의 다른 배너들, 모바일 앱에서 다른 광고들 또는 오퍼들, 약간 변경된 레이아웃 또는 액션들의 다른 순서는 2개의 시퀀스들을 비교하기 위한 유사성 엔진(155)의 성능에 영향을 미치지 않는다. 일부 구현예에서, 유사성 메트릭은 기계 학습 알고리즘에 의해 생성될 수 있다. 일부 구현예에서, 유사성 엔진(155)은 서버, 예를 들어 서버(190)로부터 모바일 디바이스(180)에 주기적으로 제공될 수 있다.
액션 어시스턴트(120)는 유사성 메트릭을 사용하여 액션들의 현재 세트가 하나 이상의 이전 세트들과 충분히 유사한지를 결정한다. 예를 들어, 액션 어시스턴트(120)는 메트릭을 유사성 임계치와 비교할 수 있다. 임계치는 시스템이 과거에 좋은 예측을 했는지 여부, 이전 시퀀스가 바로 가기로 저장되었는지 여부, 얼마나 많은 이전 시퀀스들이 현재 시퀀스뿐만 아니라 서로 일치하는지 등과 같은 다수의 요인들에 기초하여 조정될 수 있다. 유사성 엔진(155)에 의해 계산된 유사성 메트릭은 현재의 워크플로우가 얼마나 완전한지에 종속적일 수 있다. 예를 들어, 특정한 음식점에서 피자를 주문하기 위해 사용되는 모바일 어플리케이션을 여는 것만으로는, 복수의 이전 시퀀스들이 해당 어플리케이션에 대해 충분히 유사하기 때문에, 해당 특정한 어플리케이션에 대한 이전 시퀀스와 충분히 유사할 수 있다. 따라서, 유사성 엔진(155)은 사용자가 어플리케이션을 사용하여 다시 동일한 액션을 수행하기를 원할 것이라는 높은 신뢰도를 가질 수 있다. 반대로, 사용자는 예약 모바일 어플리케이션을 사용하여 다수의 상이한 음식점들에서 예약을 할 수 있다. 따라서, 예약 어플리케이션을 여는 것만으로는 추가 컨텍스트 없이는 임의의 하나의 특정한 이전 시퀀스와 충분히 유사하지 않다. 예를 들어, 사용자가 매월 같은 시간에 동일한 음식점에 대한 예약을 하거나 특정한 위치에 있을 때, 이러한 신호들은 액션들의 현재 시퀀스가 상기 신호들을 공유하는 경우 해당 음식점에 대한 특정한 이전 시퀀스에 대한 유사성 메트릭을 높이는데 사용될 수 있다.
액션 어시스턴트(120)가 액션들의 현재 시퀀스가 이전 시퀀스와 충분히 유사하다고 결정하면, 액션 어시스턴트(120)는 시스템이 이전 시퀀스에 의해 표현된 액션을 재현할 수 있는지에 관한 예측을 생성할 수 있다. 액션 어시스턴트(120)는 액션 예측기(150)를 사용하여 예측을 생성할 수 있다. 일부 구현예에서, 액션 예측기(150)는 유사성 메트릭을 신뢰 스코어로서 사용할 수 있다. 다시 말해, 유사성 메트릭은 유사성 임계치를 충족할 수 있고, 그것이 충족되면 유사성 임계치는 하나 이상의 신뢰 임계치들과 비교될 수 있다. 일부 구현예에서, 액션 예측기(150)는 별도의 신뢰 스코어를 제공하는, 완전히 또는 부분적으로 학습된, 다른 기계 학습 모델일 수 있다. 신뢰 스코어는 동일한 컨텍스트에서 다수의 시퀀스들에 걸친 사용자의 행동, 워크플로우의 컨텍스트, 다른 사용자(사용가능한 경우)의 유사한 시퀀스들, 워크플로우의 사용자 인터페이스 변경 빈도, 워크플로우에 대한 사용자 인터페이스의 선택의 다양성 등과 같은 여러 요인들에 기초할 수 있다. 신뢰 스코어는 낮음, 중간 또는 높음으로 분류될 수 있다. 신뢰도가 낮으면, 액션 어시스턴트(120)는 워크플로우를 더 이상 추적하지 않을 수 있고 워크플로우를 재현하는 것을 제공하지 않는다. 시퀀스에서 이전 사용자 액션을 신뢰성 있게 재현하기가 너무 어렵기 때문에 신뢰 스코어가 낮을 수 있다. 신뢰 스코어가 중간으로 분류된 경우, 시스템은 시퀀스를 잠재적 제안된 완료로서 플래그할 수 있다. 예를 들어, 일부 구현에서, 시스템은 관찰 및 학습 모드로 진입해 사용자가 그 워크플로우를 다시 수행하는지 여부를 결정할 수 있다. 일부 구현예에서, 시스템은 컴퓨팅 환경(예: 사용자 설정, 특정한 어플리케이션)에 대한 속성이 그러한 모드를 방지하지 않는 한, 관찰 및 학습 모드에 있을 수 있다. 다음에 액션 어시스턴트(120)가 시퀀스를 맞닥뜨리면, 액션 예측기(150)는 신뢰 스코어를 증가시킬 수 있다. 동일한 시퀀스를 최소 횟수만큼 맞닥뜨리면, 신뢰 스코어는가 중간 대신 높은 것으로 분류될 수 있다. 반면에, 액션 어시스턴트(120)는 예를 들어, 시퀀스가 종종 가변적이라, 일정 시간 후에 시퀀스가 시간에 걸쳐 반복되지 않는다는 것을 결정할 수 있으며, 액션 예측기(150)는 신뢰 스코어를 중간에서 낮음으로 감소시킬 수 있다. 중간 신뢰 스코어는 액션들의 시퀀스가 완료될 수 있는지에 대한 불확실성을 표시한다.
신뢰 스코어가 높은 것으로 분류되는 경우, 액션 어시스턴트(120)는 사용자에 대한 액션을 완료할 것을 제안하는 프롬프트를 개시할 수 있다. 사용자가 시스템에 액션을 완료하도록 승인을 표시하면, 액션 어시스턴트(120)는 또한 사용자에게 액션들의 시퀀스 또는 다시 말해 워크플로우를 바로 가기(즉, 바로 가기 시퀀스들(172))로 저장할 기회를 제공하는 프롬프트를 개시할 수 있다. 바로 가기 시퀀스들은 사용자가 바로 가기로 지정한 이전 시퀀스일 수 있다. 이것은 프롬프트에 응답하여 이루어질 수 있거나, 시퀀스가 완료될 때 바로 가기로서 지정된 액션들의 시퀀스를 사용자가 기록하는 명시적인 모드에서 이루어질 수 있다. 각각의 바로가기 시퀀스는 각각의 음성 명령과 연관되어, 사용자가 음성 명령을 통해 바로가기를 개시할 수 있다. 바로가기는 또한, 예를 들어, 모바일 디바이스의 홈 화면 상에 또는 모바일 디바이스의 사용자 인터페이스의 어떤 다른 위치에 배치될 수 있는 선택 가능한 아이콘과 같은 컨트롤과 연관될 수 있다. 일부 구현예에서, 바로가기 시퀀스는 이름 또는 설명과 연관될 수 있다. 일부 구현예에서, 바로가기 시퀀스는 사용자에 의해 선택된, 긴 누름 및 스 와이프와 같은 특정한 입력 시퀀스와 연관될 수 있다.
사용자가 시스템에 워크플로우를 완료하도록 선택하면(예를 들어, 이전 시퀀스를 재현하는 경우), 액션 어시스턴트(120)는 이전 시퀀스를 사용하여 워크플로우를 완료한다. 따라서, 워크플로우을 재현한다는 것은 워크플로우을 완료하는 것을 의미하며, 예를 들어 액션들의 현재 시퀀스에 없지만 액션들의 이전 시퀀스에 있는 시퀀스의 액션들을 수행하는 것을 의미한다. 사용자가 바로 가기(예: 음성 명령 또는 바로 가기 아이콘 선택)를 사용하여 워크플로우를 시작하면, 워크플로우를 재현하는 것은 바로 가기에 대한 액션들의 시퀀스에 포함된 모든 액션들을 수행하는 것을 포함한다. 일부 구현예에서, 액션 어시스턴트(120)는 백그라운드에서 액션들을 재현할 수 있다. 여기에는 액션들의 시퀀스가 끝나면 어플리케이션에 의해 생성된 최종 사용자 인터페이스만 디스플레이하는 것을 포함할 수 있다. 또한, 이는 자동으로 액션들을 수행하는 동안 모든 사용자 인터페이스가 아닌 일부 간헐적 사용자 인터페이스가 디스플레이하는 것을 포함할 수 있다. 일부 구현예에서, 액션 어시스턴트(120)는 사용자가 실제로 입력을 제공하는 것처럼 워크플로우를 재현할 수 있고, 즉, 액션을 수행함에 있어 액션 어시스턴트(120)에 의해 입력된 것과 액션에 응답하여 어플리케이션에 의해 생성된 사용자 인터페이스를 사용자에게 보여준다.
워크플로우를 재현하기 위해, 액션 어시스턴트(120)는 액션들의 현재 시퀀스와 유사한 액션들의 이전 시퀀스를 사용하여 이전 시퀀스와 연관된 어플리케이션에 입력을 제공한다. 액션 어시스턴트(120)는 운영 체제의 일부이기 때문에, 액션 어시스턴트(120)는 어플리케이션(예를 들어, 모바일 어플리케이션, 웹 어플리케이션 또는 웹사이트)에 의해 생성된 사용자 인터페이스 컴포넌트들에 대한 액세스를 갖는다. 따라서, 예를 들어, 액션 어시스턴트(120)는 사용자 인터페이스에서 텍스트 박스를 식별하고 텍스트 박스에 텍스트를 제공하거나, 컨트롤을 찾고 컨트롤의 선택을 시뮬레이션할 수 있다. 액션들의 시퀀스를 재현하는 것은 사용자 행동(예: 클릭, 탭, 타이핑 등) 또는 기타 통상적 방법들을 시뮬레이팅하여 수행될 수 있다.
액션 어시스턴트(120)는 어시스턴트 파라미터들(130)을 사용하여 액션들의 시퀀스를 언제 관찰하고 저장할 것인지, 액션들의 시퀀스와 어떤 종류의 정보를 저장할 것인지, 액션들을 재현할 때 어떤 정보를 사용할 것인지, 시퀀스가 공유될 수 있는지 등을 결정할 수 있다. 예를 들어, 어시스턴트 파라미터(130)는 액션 어시스턴트(120)가 활성인 하나 이상의 어플리케이션들을 표시하는 파라미터를 포함할 수 있다. 다른 예시로서, 어시스턴트 파라미터(130)는 액션 어시스턴트(120)가 활성일 수 없는 하나 이상의 어플리케이션들을 표시하는 파라미터를 포함할 수 있다. 액션 어시스턴트(120)가 활성화되어 있지 않으면, 액션 어시스턴트는 액션들의 시퀀스를 관찰, 캡처 또는 저장하지 않으며, 따라서 시퀀스를 완료할 것을 제안하지 않는다.
어시스턴트 파라미터들(130)은 액션들의 시퀀스의 일부로서 캡처되지 않는 입력을 식별하는 하나 이상의 파라미터들을 포함할 수 있다. 예를 들어, 사용자는 액션 어시스턴트(120)가 사용자 이름, 암호, 계좌 번호, 사용자 식별자 등을 기록 또는 저장하지 않을 것을 지정할 수 있다. 액션 어시스턴트(120)가 캡처/기술/기록되지 않는 액션의 입력을 관찰할 때 액션 어시스턴트(120)는 액션들의 현재 시퀀스를 종료할 수 있다. 다시 말해서, 일부 구현예에서, 캡처되지 않을 입력이 시퀀스를 종료한다. 임의의 추가 액션들을 자동으로 재현할 수 없으므로 시퀀스가 완료된 것으로 간주될 수 있다. 일부 구현예에서, 액션 어시스턴트(120)는 사용자가 제공한 입력 대신에 토큰을 사용할 수 있으므로, 입력없이 액션을 캡처할 수 있다. 이러한 구현예에서, 액션 어시스턴트(120)는 액션을 자동으로 재현할 수 없다. 즉, 액션 어시스턴트(120)는 전체 시퀀스를 계속 재현하기 위해 사용자가 토큰에 의해 표현된 입력을 제공할 것을 요한다. 일부 구현예에서, 결제 또는 계정 정보와 같은 특정 입력은 상기 정보가 사용자가 액션들의 시퀀스에서 액션에 대해 수집될 것을 특별히 요청하지 않는 한, 기본적으로 액션에 대해 수집되지 않을 수 있다.
모바일 디바이스(180)는 설정 UI(140)를 포함할 수 있다. 설정 UI(140)는 사용자가 어시스턴트 파라미터(130)에서 파라미터를 보거나, 추가하거나, 변경할 수 있도록 구성될 수 있다. 다시 말해서, 일부 구현예에서, 설정 UI(140)는 모바일 디바이스(180)의 사용자에게 액션 어시스턴트(120)를 제어하는 능력을 제공할 수 있다. 설정 UI(140)에 의해 제공되는 세분성의 레벨은 구현예에 따라 다를 수 있다. 예를 들어, 설정 UI(140)는 사용자가 모바일 어플리케이션(110) 또는 모바일 어플리케이션(110)의 유형을 선택하게 하고, 그 어플리케이션(110) 또는 어플리케이션 유형에 대한 액션 어시스턴트(120)를 켜거나 끌 수 있게 한다. 다른 예로서, 설정 UI(140)는 사용자가 액션들의 시퀀스에 포함된 입력에 제한을 둘 수 있게 한다. 다른 예로서, 설정 UI(140)는 사용자로 하여금 액션 어시스턴트(120)를 비활성화하게 할 수 있다. 다른 예로서, 설정 UI(140)는 사용자로 하여금 입력 제한의 레벨을 선택하게 할 수 있다. 제한은 모바일 디바이스(180) 상에 액션들의 시퀀스를 캡처할 수 있지만 시퀀스들의 공유를 방지하거나 허용하지 않을 수 있다. 예를 들어, 일부 사용자는 유사성 엔진(155) 및/또는 액션 예측기(150)를 트레이닝하고 정제하는 것을 돕기 위해, 바로가기 시퀀스(172)를 다른 디바이스와 공유하거나 이전 시퀀스들을 서버(190)와 공유할 수 있다. 다른 사용자들은 공유를 방지하기 위해 설정 UI(140)를 사용할 수 있다. 일부 구현예에서, 설정 UI(140)는 사용자가 이전 시퀀스(170)에서 일부 또는 모든 액션들의 시퀀스를 삭제할 수 있게 한다. 일부 구현예에서, 액션 어시스턴트(120)의 개발자는 설정 UI(140)를 제공할 수 있다. 일부 구현예에서, 모바일 어플리케이션(110)의 개발자는 모바일 어플리케이션(110)에 속하는 설정 UI(140)의 일부 기능을 제공할 수 있다. 다시 말해서, 사용자가 모바일 어플리케이션(110)을 다운로드하여 설치할 때, 모바일 어플리케이션은 사용자로 하여금 모바일 어플리케이션(110)에 대해 액션 어시스턴트(120)를 활성화 또는 비활성화 할 수 있게 한다. 또한, 설정 UI(140)는 바로가기 시퀀스를 명시적으로 기록하는 제어 또는 옵션을 포함할 수 있다. 이것은 사용자가 명시적으로 액션들의 세트를 수행하고 해당 세트를 바로가기 시퀀스로 저장하는 특수 트레이닝 모드이다. 다른 바로가기 시퀀스와 마찬가지로, 사용자는 바로 가기에 대한 이름, 제어 및/또는 음성 명령을 저장할 수 있다.
설정 UI(140), 유사성 엔진(155), 액션 예측기(150) 및 액션 어시스턴트(120)가 모바일 디바이스(180) 상에서 실행되는 별개의 어플리케이션으로서 도시되어 있지만, 설정 UI(140), 유사성 엔진(155), 액션 예측기(150) 및 액션 어시스턴트(120) 중 하나 이상은 운영 체제(115)의 일부일 수 있다. 일부 구현예에서, 액션 어시스턴트(120), 유사성 엔진(155), 액션 예측기(150) 및 설정 UI(140)의 모든 컴포넌트들은 운영 체제(115)의 일부일 수 있다. 일부 구현예에서, 설정 UI(140)의 하나 이상의 컴포넌트들은 서버(190)에서 수행될 수 있으며, 예를 들어, 사용자는 사용자가 로그인한 임의의 모바일 디바이스에 대한 어시스턴트 파라미터(130)를 업데이트하기 위해 다운로드되는 액션 어시스턴트 프로필을 가질 수 있다.
스마트 어시스트 시스템(100)은 다수의 상이한 디바이스들, 예를 들어 표준 서버, 그러한 서버들의 그룹, 또는 랙 서버 시스템의 형태를 취하는 컴퓨팅 디바이스 또는 디바이스들일 수 있는 서버(190)를 포함할 수 있으며, 다수의 컴퓨팅 디바이스들에 분산될 수 있다. 또한, 서버(190)는 랩톱 컴퓨터와 같은 퍼스널 컴퓨터에서 구현될 수 있다. 서버(190)는 도 6에 도시된 바와 같은 컴퓨터 디바이스(600) 또는 도 7에 도시된 바와 같은 컴퓨터 디바이스(700)의 예시일 수 있다. 서버(190)는 모바일 디바이스(180)의 사용자에 대한 사용자 계정을 포함할 수 있으며, 사용자에 대한 어시스턴트 파라미터 프로필과 같은 정보를 저장하는데 사용될 수 있다. 서버(190)는 또한 사용자 허가 하에 이전 시퀀스를 수신할 수 있다. 서버(190)는 예를 들어, 사용자 간 트레이닝을 통해 유사성 엔진(155)을 더 잘 트레이닝하고 개선하기 위해 이전 시퀀스를 사용할 수 있다. 서버(190)는 예를 들어, 사용자 간 트레이닝을 통해 액션 예측기(150)를 더 잘 트레이닝하고 개선하기 위해 이전 시퀀스를 사용할 수 있다. 일부 구현예에서, 서버(190)는 모바일 어플리케이션에 대한 패턴이 몇몇 사용자들을 통해 결정될 때 모바일 어플리케이션의 개발자에게 통지하도록 구성될 수 있다. 예를 들어, 많은 사용자들에 걸쳐 이전의 익명화된 시퀀스들을 분석함으로써, 서버(190)는 90%의 사용자들이 유사한 워크플로우, 즉 유사한 액션들의 시퀀스를 공유하고 있다고 결정할 수 있다. 이러한 높은 공통성은 워크플로우에 대한 사용자 요구를 나타내며, 시스템은 워크플로우의 어플리케이션을 개발자에게 알릴 수 있으므로, 상기 워크플로우가 기본적으로 제공될 수 있도록 한다(액션들의 시퀀스의 재현보다 훨씬 빠르게 수행될 수 있음).
모바일 디바이스(180)는 네트워크(160)를 통해 서버(190) 및 다른 모바일 디바이스들과 통신할 수 있다. 네트워크(160)는 예를 들어 인터넷일 수 있거나 또는 네트워크(160)는 예를 들어 게이트웨이 디바이스, 브리지, 스위치 등을 사용하여 구현된 유선 또는 무선 근거리 통신망(LAN), 광역 네트워크(WAN)일 수 있다. 네트워크(160)는 또한 셀룰러 통신 네트워크를 나타낼 수 있다. 네트워크(160)를 통해, 서버(190)는 모바일 디바이스(180)와 통신할 수 있고 데이터를 모바일 디바이스(180)에/모바일 디바이스(180)로부터 전송할 수 있고, 모바일 디바이스(180)는 서버(190) 및 다른 컴퓨팅 디바이스와 통신할 수 있고 데이터를 전송할 수 있다.
스마트 어시스트 시스템(100)은 하나의 예시적인 구성을 나타내고, 구현예는 다른 구성들과 통합될 수 있다. 예를 들어, 일부 구현예는 설정 UI(140), 액션 어시스턴트(120), 운영 체제(115), 모바일 어플리케이션(110), 유사성 엔진(155) 및 액션 예측기(150) 중 하나 이상의 컴포넌트를 단일 모듈 또는 엔진으로 결합할 수 있고, 설정 UI(140)의 하나 이상의 컴포넌트들은 서버(190)에 의해 수행될 수 있다. 다른 예시로서, 어시스턴트 파라미터들(130) 및 이전 시퀀스들(170)과 같은 하나 이상의 데이터 스토어들은 단일 데이터 스토어에 결합되거나, 다수의 데이터 스토어들 또는 파일들에 걸쳐 분산되거나, 다수의 컴퓨팅 디바이스들에 걸쳐 분산되거나, 또는 서버(190)에서 저장될 수 있다.
스마트 어시스트 시스템(100)이 사용자 특정 데이터를 수집하고 저장하거나 또는 개인 정보를 사용하는 경우들에 있어서, 사용자들에게 프로그램들 또는 구성들이 사용자 정보(예를 들면, 사용자의 소셜 네트워크, 소셜 액션들 또는 활동들, 사용자 입력 액션들, 직업, 사용자의 선호들 또는 사용자의 현재 위치에 관한 정보)를 수집할 것인지 여부를 제어할, 사용자와 더 관련된 컨텐츠를 수신할지 및/또는 어떻게 수신할지 제어할 기회가 제공될 수 있다. 추가로, 특정 데이터는 그것이 저장되거나 사용되기 전에 하나 이상의 다양한 방식들로 취급되어, 개인적으로 식별가능한 정보는 제거된다. 예를 들면, 사용자의 신원은 사용자에 관한 개인적으로 식별가능한 정보가 결정될 수 없도록 취급되거나 또는 사용자의 지리적 위치는 위치 정보가 획득된 곳에서 일반화되어(시, 우편번호 또는 주 수준으로), 사용자의 특정한 위치가 결정될 수 없도록 한다. 따라서, 사용자는 사용자에 관한 정보가 어떻게 수집되는지 그리고 스마트 어시스트 시스템에 의해 사용되는지에 관한 제어를 가질 수 있다.
액션들의 캡처 및 다른 기능이 컨텐츠, 레이아웃, 기능 또는 디스플레이 스크린 상에 디스플레이되는 이미지의 다른 양태들의 사용 권한과 일치하는지 여부 및 그에 따른 설정 기능을 결정하기 위한 기능들이 제공될 수 있고, 본 명세서에 기술된 다양한 실시예들에 적용 가능하다. 예를 들어, 일부 어시스턴트 파라미터들(130)은 서비스 조건, 컨텐츠 라이센스 또는 다른 사용 제한에 위배될 수 있는 액션들의 시퀀스의 저장을 제한할 수 있다. 이러한 설정은 새로운 서비스 또는 디바이스 사용 허가를 설정할 때 사용자에 의해 또는 설정 UI(140)를 통해 수행할 수 없는 앱 설치 루틴 등에 의해 수동 또는 자동으로 이루어질 수 있다.
도 2는 구현예에 따른 스마트 어시스트 프롬프트를 갖는 모바일 컴퓨팅 디바이스의 예시적 디스플레이를 도시한다. 도 1의 시스템(100)과 같은 스마트 어시스트 시스템은 디스플레이(200)에 프롬프트(205)를 생성할 수 있다. 도 2의 예에서, 사용자는 라지 씬-크러스트 페퍼로니 피자 및 라지 야채 피자를 주문하기 위해 적어도 하나의 이전 시간에 피자 주문 어플리케이션을 사용했었다. 따라서, 도 2의 예에서, 시스템은 주문을 완료하기 위해 사용자에 의해 제공된 입력을 캡처하는 액션들의 적어도 하나의 이전 시퀀스를 저장했다. 예를 들어, 액션들의 이전 시퀀스는 다음과 같이 저장될 수 있다(예: 이전 시퀀스(170)).
1. 피자 주문 어플리케이션을 연다.
2. <customize> 제어 선택
3. 라지 크기 선택, 씬 크러스트 선택
4. <next> 제어 선택
5. 페퍼로니와 올리브 선택.
6. 수량 2 입력
7. <add to cart> 제어 선택
8. <continue order> 제어 선택
9. <Vegetable> 제어 선택
10. 수량 1 입력
11. <add to cart> 제어 선택
12. <checkout> 제어 선택
13. 저장된 결제 정보를 확인
14. 가능한 빠른 배달 시간 선택
15. <confirm order> 제어를 선택
16. 어플리케이션 종료
시스템은 이 이전 시퀀스가 다수의 요인들에 기초하여 현재 시퀀스와 유사하다고 결정했다. 예를 들어, 시스템의 사용자는 금요일 저녁에 이 주문을 여러 번 했고, 현재 시간은 금요일 저녁에 해당한다. 또 다른 예로, 사용자는 과거에 이 주문만 했을 수 있다. 이러한 경우들에서, 시스템은 사용자가 피자 주문 어플리케이션을 열자마자 프롬프트(205)를 제공할 수 있다. 또 다른 예로서, 시스템은 상기 주문이 사용자가 두 개의 라지 씬 크러스트 피자들을 카트에 넣은 후에 액션들의 이전 시퀀스와 유사하다고 결정할 수 있다. 이는 스몰 피자에 대한 주문을 포함하는 피자 주문 어플리케이션에 대한 다른 시퀀스가 있는 경우에 발생할 수 있다. 물론, 현재의 시퀀스가 유사하다는 것을 결정하기 위해 다른 요인들이 사용될 수 있다.
현재 시퀀스가 이전 시퀀스와 유사하다는 것을 결정하는 것에 더하여, 시스템은 액션이 재현될 수 있다는 높은 신뢰도가 있다고 결정할 수 있다. 예를 들어, 피자 주문 어플리케이션 사용자 인터페이스가 자주 변경되지 않고 및/또는 어플리케이션 내에서 신뢰할 수 있는 사용자 행동의 이력이 있을 수 있다. 시스템이 액션들의 현재 시퀀스가 이전 시퀀스와 충분히 유사하다고 결정하면, 시스템은 프롬프트(205)의 디스플레이를 개시할 수 있다. 프롬프트(205)는 재현될 액션들의 시퀀스의 설명(210)을 포함할 수 있다. 설명(210)은 종래 기법들을 사용하여 생성된 시퀀스의 높은 레벨 설명의 텍스트 버전이다. 프롬프트(205)는 또한 승인 제어(215) 및 비승인 제어(220)를 포함할 수 있다. 사용자가 비승인 제어(220)를 선택하면, 일부 구현예에서, 시스템은 예를 들어 속성을 통해 또는 신뢰도를 낮은 값으로 설정하여, 시퀀스들을 거부된 것으로 표시하여, 시스템이 다시 이 사용자에 대해 액션들의 시퀀스를 완료할 것을 제안하지 않도록 할 수 있다. 일부 구현예에서, 사용자가 비승인 제어(220)를 선택한 경우, 시스템은 신뢰 임계치를 상승시킬 수 있으며, 이는 시스템이 시퀀스를 덜 자주 제공하게 한다. 사용자가 승인 제어(215)를 선택하면, 시스템은 액션들을 재현하기 시작할 수 있다. 예를 들어, 시스템은 액션들의 이전 시퀀스에서 사용자가 제공한 입력을 시뮬레이션할 수 있다. 액션들이 높은 레벨에서 기록되기 때문에, 시스템은 레이아웃 변경에 관계없이 액션들을 재현할 수 있다. 그러나 제어들에 영향을 주는 인터페이스(예: 입력 박스, 드롭 다운 메뉴 등)가 변경되면 액션을 재현하는데 영향을 줄 수 있다. 일부 구현예에서, 디스플레이(200)는 재현된 액션들을 표시할 수 있다. 일부 구현예에서, 디스플레이(200)는, 예를 들어, 피자 주문 어플리케이션에 의해 생성된 개입 화면을 디스플레이하지 않고, 또는 특정 화면, 예를 들어 주문이 이루어진 것을 확인하는 화면만을 디스플레이하고 백그라운드에서 시퀀스를 재현할 수 있다. 이러한 구현예는 디스플레이에 렌더링될 수 있는 여러 화면이 액션 어시스턴트에 의해 대신 처리되기 때문에 시스템 리소스의 사용을 추가로 감소시킨다.
도 3는 구현예에 따른 바로가기 프롬프트를 갖는 모바일 컴퓨팅 디바이스의 예시적 디스플레이를 도시한다. 도 1의 시스템(100)과 같은 스마트 어시스트 시스템은 디스플레이(300)에 프롬프트(305)를 생성할 수 있다. 도 3의 예시에서, 사용자는 도 2의 승인 제어(215)를 선택할 수 있고, 시스템은 이전 시퀀스가 바로가기 시퀀스로 이전에 저장되지 않았으며 사용자가 바로가기에 대한 비승인을 이전에 표시하지 않았음을 결정할 수 있다. 이전 시퀀스의 액션들을 재현하기 전에, 시스템은 프롬프트(305)를 생성할 수 있다. 바로가기 프롬프트(305)는 승인 제어(310 또는 325), 비결정(indecision) 제어(315) 및/또는 비승인 제어(320)를 포함할 수 있다. 사용자가 비승인 제어(320)를 선택하면, 시스템은 바로가기로서 명백하게 비승인된 것으로 이전 시퀀스를 표시하고, 시퀀스를 재현하도록 진행할 수 있다. 이는 상태 플래그 또는 이전 시퀀스의 특성 또는 속성을 통해 이루어질 수 있다. 따라서, 사용자는 시퀀스를 바로가기로서 다시 저장하도록 요청 받지 않을 수 있지만, 시퀀스는 도 2의 프롬프트(205)와 같은 자동 완성 프롬프트에서 제공될 수 있다.
사용자가 비결정 제어(315)를 선택하면, 시스템은 액션들의 이전 시퀀스를 재현하는 것을 진행할 수 있다. 시스템은 다음에 사용자가 액션들의 이전 시퀀스를 수행할 때 다시 프롬프트(305)를 제공할 수 있다. 사용자가 승인 제어(310)를 선택하면, 시스템은 바로가기 시퀀스로 액션들의 이전 시퀀스를 저장할 수 있다. 일부 구현예에서, 이것은 이전 시퀀스에 대한 상태 플래그 또는 이전 시퀀스의 특성 또는 속성을 통해 달성될 수 있다. 일부 구현예에서, 시스템은 이전 시퀀스를 다른 데이터 스토어에 저장하거나 이동시킬 수 있다. 일부 구현예에서, 승인 제어(310)를 선택하는 것은 시스템이 사용자로 하여금 이름, 아이콘 및/또는 바로가기의 위치를 제공하게 하는 또 다른 사용자 인터페이스의 디스플레이를 개시하게 할 수 있다. 예를 들어, 시스템은 사용자로 하여금 홈 화면, 위젯 메뉴 또는 일부 다른 위치에 바로 가기를 포함하도록 지정하게 할 수 있다. 일부 구현예에서, 아이콘은 피자 주문 모바일 어플리케이션에 대한 아이콘의 수정된 버전일 수 있으며, 이는 바로가기가 피자 주문 모바일 어플리케이션에서 액션들을 재현한다는 시각적 표시를 제공한다. 일부 구현예에서, 프롬프트(305)는 사용자가 바로 가기에 대한 음성 명령을 기록하도록 구성되는 승인 제어(325)를 포함할 수 있다. 음성 명령은 사용자가 바로 가기를 개시하도록, 즉 음성 액티베이션에 의해 바로가기 시퀀스와 연관된 액션들을 재현하게 한다. 물론, 다른 구현예는 사용자가 예를 들어, 피자 주문 어플리케이션 메인 메뉴의 메뉴 제어에서 길게 누름 또는 어떤 다른 입력 동작과 같은 입력 액션을 바로 가기와 연관시킬 수 있게 한다.
도 4는 구현예에 따라 액션 에이전트에 대한 파라미터들을 선택하기 위한 예시적 사용자 인터페이스를 도시한다. 도 1의 시스템(100)과 같은 스마트 어시스트 시스템은, 사용자 인터페이스(400)를 생성할 수 있다. 일부 구현예들에서, 사용자 인터페이스(400)는 설정 UI(140)에 의해 생성될 수 있다. 일부 구현예에서, 사용자 인터페이스(400)는 웹 어플리케이션, 예를 들어 사용자에 대한 계정에 액세스하는 서버에서 생성될 수 있다. 도 4의 예시에서, 사용자 인터페이스(400)는 사용자로 하여금 액션 에이전트에 의해 사용되는 파라미터들을 선택하고 조정하게 한다. 이 설정은 모바일 디바이스에서 실행되는 모든 어플리케이션에 적용되거나 특정 어플리케이션들에 적용될 수 있다. 일부 구현예에서, 각 모바일 어플리케이션은 예시적 사용자 인터페이스(400)에 도시된 요소들과 유사한 요소들을 갖는 설정 사용자 인터페이스를 가질 수 있다. 그러한 구현예에서, 입력되거나 삭제된 파라미터는 특정한 모바일 어플리케이션에 적용된다.
도 4의 예시에서, 사용자 인터페이스(400)는 사용자 액션들의 시퀀스를 언제 수집하고 저장할지, 액션들을 어떻게 다룰지(예를 들어, 공유 가부) 그리고 어떤 유형의 정보를 수집할지를 결정하기 위해 액션 어시스턴트에 의해 사용될 수 있는 다양한 파라미터들을 특정하기 위한 제어들을 포함한다. 일부 구현예에서, 사용자 인터페이스는 액션 어시스턴트를 비활성화하는 제어(410)를 포함할 수 있다. 제어(410)는 사용자가 액션 어시스턴트를 끌 수 있게 한다. 액션 어시스턴트가 비활성화되면, 시퀀스 액션들이 관찰되고 캡처되고 저장되지 않는다. 따라서, 액션 어시스턴트는 이전 시퀀스를 자동 완성하는 프롬프트를 제공할 수 없다. 일부 구현예에서, 액션 어시스턴트를 비활성화하는 것은 바로가기 시퀀스를 사용불가능할 수 있다. 다른 구현예에서, 액션 어시스턴트는 사용자에 의해 바로가기가 호출된 경우 여전히 바로가기 시퀀스를 재생할 수 있다. 사용자 인터페이스는 또한 공유 파라미터를 설정 또는 소거하는 제어(415)를 포함할 수 있다. 공유 파라미터가 선택되면, 액션 어시스턴트는 서버와 이전 시퀀스를 공유하여, 서버가 유사성 엔진 및/또는 액션 예측기에 대한 사용자 학습을 통해 수행할 수 있도록 한다. 물론, 액션 어시스턴트는 공유하기 전에 이전 시퀀스에서 개인 정보를 삭제할 수 있다. 예를 들어, 사용자 이름, 결제 정보, 주소 등은 이러한 정보가 시퀀스들에서 보인다면 공유하기 전에 토큰들로 대체될 수 있다. 공유 파라미터는 또한 사용자가 다른 디바이스 및/또는 다른 사용자와 바로가기 시퀀스를 공유할 수 있게 한다. 예를 들어, 사용자는 사용자가 소유한 다른 모바일 디바이스로 바로가기 시퀀스를 보낼 수 있다. 다른 예시로서, 사용자는 다른 사용자의 모바일 디바이스로 바로가기 시퀀스를 보낼 수 있다. 다른 사용자와 공유된 경우, 액션 어시스턴트는 개인 정보를 제거할 수 있다.
사용자 인터페이스(400)는 또한 특정한 입력이 자동화의 대상이 아닌지 여부를 표시하기 위한 몇 가지 제어들을 포함할 수 있다. 자동화 대상이 아닌 입력은 액션들의 시퀀스의 일부로서 저장되지 않는다. 일부 구현예에서, 사용자 인터페이스는 액션들의 시퀀스를 저장할 때 액션 어시스턴트가 사용자 로그인 정보를 포함할 수 있음을 나타내는 제어(420)를 포함할 수 있다. 예를 들면, 사용자는 어플리케이션에 로그인하기 위해 사용자이름과 패스워드가 필요할 수 있다. 제어(420)가 선택되지 않으면, 액션 어시스턴트는 사용자 이름 또는 패스워드를 저장할 수 없다. 따라서, 제어(420)가 선택되지 않으면, 로그인 정보는 자동화의 대상이 되지 않는다. 일부 구현예에서, 이는 액션 어시스턴트가 시퀀스를 포기하거나 시퀀스를 닫게하여, 시퀀스가 로그인 정보를 요청하는 인터페이스에서 종료되도록 할 수 있다. 일부 구현예에서, 액션 어시스턴트는 사용자가 토큰에 대한 값을 제공하지 않으면 액션 어시스턴트가 시퀀스를 수행할 수 없음을 나타내는 토큰으로서 사용자 이름 및 패스워드를 저장할 수 있다. 따라서, 예를 들어, 액션 어시스턴트는 사용자 이름을 필요로 하는 시퀀스 내의 액션까지 시퀀스를 재현할 수 있고, 이때 모바일 디바이스는 사용자 이름과 패스워드를 요청하는 사용자 인터페이스를 디스플레이한다. 사용자가 이 입력을 제공하면, 액션 어시스턴트는 나머지 시퀀스의 재현을 계속할 수 있다. 그러한 상황에서, 액션 어시스턴트는 시퀀스의 반자동 재현을 수행할 수 있다; 시퀀스가 진행되는 동안 어느 시점에서 사용자 인터렉션이 필요하기 때문에 재현이 완전 자동이 아니다.
사용자 인터페이스(400)는 또한 시퀀스에서 결제 또는 계정 입력을 포함할지 여부를 나타내는 파라미터를 설정하는 제어(425)를 포함할 수 있다. 로그인 데이터와 마찬가지로, 사용자는 기본 옵션에 결제 정보를 포함하지 않는 것으로 했음에도 불구하고, 결제 정보를 포함하도록 선택할 수 있다. 따라서, 제어(425)가 선택되지 않으면, 결제 및 계정 정보는 자동화의 대상이 되지 않는다. 결제 정보가 포함되어 있지 않은 경우, 액션 어시스턴트는 로그인 정보와 관련하여 상기 논의된 바와 같이 시퀀스의 반자동 재현을 수행할 수 있다.
사용자 인터페이스(400)는 또한 시퀀스들에서 사용자에 관한 정보를 포함할지 여부를 나타내는 파라미터를 설정하는 제어(430)를 포함할 수 있다. 예를 들어, 제어(430)가 선택되지 않은 경우, 액션 어시스턴트는 액션들의 시퀀스의 일부로서 제공되는 경우, 사용자의 이름, 생년월일, 성별 등을 저장하지 않는다. 따라서, 제어(430)가 선택되지 않으면, 개인 정보는 자동화의 대상이 되지 않는다. 로그인 및 결제 정보와 마찬가지로, 사용자 정보가 저장되어 있지 않으면, 액션 어시스턴트는 상기 시퀀스를 무시하거나 시퀀스를 종료하거나 입력 항목들을 토큰으로 대체할 수 있다.
일부 구현예에서, 하나 이상의 제어들(405, 445, 450 및 455)이 어플리케이션 특정 사용자 인터페이스에 제공되어, 액션 어시스턴트가 어플리케이션 특정 사용자 인터페이스와 연관된 특정한 어플리케이션에 파라미터들 또는 액션들을 적용할 수 있도록 한다.
사용자 인터페이스(400)는 또한 사용자가 액션 어시스턴트가 어느 어플레이션들에서 동작할지, 액션 어시스턴트가 어느 어플레이션들에서 동작하지 않을지 선택하게 할 수 있는 제어(435)를 포함할 수 있다. 다시 말해서, 파라미터들은 액션 어시스턴트가 활성화되는 어플리케이션들을 명시적으로 식별하는 어플리케이션들의 화이트리스트 또는 액션 어시스턴트가 명시적으로 비활성화되는 어플리케이션들의 블랙리스트를 포함할 수 있다. 제어(435)의 선택은 화이트리스트 또는 블랙리스트의 어플리케이션을 리스팅하는 다른 윈도우 또는 사용자 인터페이스의 디스플레이뿐만 아니라, 리스트로부터 어플리케이션을 제거하거나 리스트에 어플리케이션을 추가하는 제어를 개시할 수 있다.
사용자 인터페이스(400)는 또한 사용자가 다른 사용자와의 바로가기 시퀀스를 공유할 수 있게 하는 제어(440)를 포함할 수 있다. 제어(440)의 선택은 시스템이, 예를 들어 디바이스 식별자, 전화 번호, 사용자 이름 등을 통해 다른 디바이스를 선택하게 할 수 있는 다른 윈도우 또는 사용자 인터페이스를 개시하게 할 수 있고, 공유할 바로가기 시퀀스들 중 하나를 선택할 수 있다. 일부 구현예에서, 공유는 음성 명령을 통해 달성될 수 있다. 예를 들어, 제어(440)의 선택은 디바이스 식별자 및 바로가기 시퀀스 식별자를 리스닝하는 리스닝 모드를 개시할 수 있다.
사용자 인터페이스(400)는 또한 사용자가 명시적 트레이닝 모드에 진입하게 하는 제어(445)를 포함할 수 있다. 명시적 트레이닝 모드에서, 사용자가 수행한 액션들은 바로가기 시퀀스로서 저장된다. 다시 말해서, 시스템은 시퀀스가 이전 시퀀스 충분히 유사한지 결정하고 완료를 위한 신뢰 스코어를 계산하기 위해 비교하지 않고; 오히려 시스템은 사용자에 의해 수행된 액션들의 시퀀스를 단지 관찰하고 그것을 바로가기 시퀀스로서 표시한다. 명시적 트레이닝 모드는 사용자에 의한 액션에 의해 또는 시스템이 전형적으로 액션들의 시퀀스를 닫는 지점에서 종료될 수 있으며, 시스템은 사용자에게 바로가기 시퀀스가 종료되어야 하는지를 물을 수 있다.
사용자 인터페이스(400)는 또한 바로가기 시퀀스를 관리하는 제어(450)를 포함할 수 있다. 사용자는 바로가기 시퀀스의 명명하거나 개명하거나, 바로가기 시퀀스를 삭제하거나, 바로가기 시퀀스에 대한 음성 명령을 기록할 수 있다. 사용자 인터페이스(400)는 또한 데이터 스토어로부터 이전 저장된 시퀀스들을 삭제하는 제어(455)를 포함할 수 있다. 일부 구현예에서, 제어부(455)의 작동은 바로가기 시퀀스로서 표시되지 않은 모든 시퀀스를 삭제할 수 있다. 단일 사용자 인터페이스로 예시되어 있지만, 구현예들은 설명된 기능을 가진 여러 사용자 인터페이스를 포함할 수 있다.
도 5는 개시된 구현예에 따라, 반복된 액션들을 식별하고 스마트 어시스트를 제공하기 위한 예시적 프로세스(500)의 흐름도를 도시한다. 프로세스(500)는 도 1의 시스템(100)의 액션 어시스턴트(120)와 같은 모바일 디바이스에서 실행되는 액션 어시스턴트에 의해 수행될 수 있다. 프로세스(500)는 사용자가 이전에 수행했던 액션들의 시퀀스를 식별하고, 사용자에게 시퀀스를 자동 또는 반자동으로 재현하거나 완료하도록 제안하기 위해 사용될 수 있다. 액션 시퀀스를 자동으로 수행한다는 것은 사용자가 시퀀스 재현 중에 입력을 제공하지 않는다는 것을 의미한다. 대신에, 액션 어시스턴트는 액션들의 이전 시퀀스를 사용하여 이전 시퀀스에 의해 달성된 결과와 유사한 결과를 얻기 위해 필요한 입력을 제공한다. 액션 시퀀스를 반자동으로 수행한다는 것은 사용자가 액션들의 시퀀스를 재현하는 동안 어느 시점에서 하나 이상의 데이터 아이템들을 제공하라는 요청을 받을 수 있음을 의미한다. 예를 들어, 사용자는 액션들의 시퀀스를 재현하는 동안 결제 정보 또는 로그인 패스워드를 제공할 수 있다. 프로세스(500)는 사용자의 동의 하에 백그라운드에서 계속 실행될 수 있다. 일부 구현예에서, 프로세스(500)의 일부는 연속적으로 실행되어, 시스템이 사용자 액션들을 모니터링하고 차후의 비교를 위해 액션들을 조직화하도록 할 수 있다. 다시 말해서, 시스템은 트레이닝 모드에서 정보를 수집하기 위해, 예를 들어 나중의 현재 시퀀스와의 비교를 위해 이전 시퀀스를 수집하는 것과 같이, 프로세스(500)의 일부를 사용할 수 있다.
프로세스(500)는 현재 사용자 액션 시퀀스(505)를 캡처하는 액션 어시스턴트에 의해 시작될 수 있다. 이 시스템은 높은 레벨, 즉 기능적 레벨에서 사용자 액션들의 현재 시퀀스를 캡처한다. 따라서, 시스템은 선택된 제어에 대한 이름 또는 식별자를 식별하고 사용자가 입력하거나 말한 내용을 식별함으로써 픽셀 좌표들을 참조하지 않고, 액션들의 현재 세트에서 각 액션을 캡처한다. 이것은 재현 액션들을 더욱 강건하게 한다. 따라서, 사용자 인터페이스의 제어들이 이름을 변경하지 않는 한 액션들의 시퀀스에서 각 액션은 재현될 수 있다. 일부 구현예에서, 액션들은 제어 이름과 소프트-매칭되어 액션들을 재현하는 것에서 보다 유연성을 제공한다. 일부 구현예에서, 각 액션은 사람이 읽을 수 없는 구조화된 표현을 가질 수 있다. 액션들은 데이터 레코드들의 시퀀스로서 저장된 정보일 수 있다. 액션 어시스턴트는 사용자가 모바일 디바이스와 인터렉션할 때 현재 액션들의 시퀀스를 캡처한다. 다시 말해서, 사용자가 입력을 제공하면, 액션들의 현재 시퀀스가 캡처된다. 액션들을 기록하는 것 이외에도, 시스템은 시간, 어플리케이션 실행, 위치, 모바일 디바이스의 이동, 스크린 상에 보이는 다른 요소에 대한 입력의 상대 위치 또는 액션들에 의해 표현되는 워크플로우의 다른 특성과 같은 액션에 대한 신호들을 기록할 수 있다. 따라서, 액션들의 현재 시퀀스를 캡처하는 단계는 액션들과 관련된 신호를 캡처하는 단계를 포함한다.
액션 어시스턴트는 액션들의 시퀀스가 액션들의 이전 시퀀스와 유사한지 여부를 결정할 수 있다(510). 액션 어시스턴트는 주기적으로 또는 액션들의 현재 시퀀스에 액션이 추가될 때마다 비교를 수행할 수 있다. 액션들의 현재 시퀀스가 완료되기 전에 유사성 비교를 수행함으로써, 시스템이 사용자에게 액션을 재현하도록 제안할 수 있다. 액션 어시스턴트는 액션들의 현재 시퀀스가 액션들의 이전 시퀀스와 유사한지 여부를 결정하기 위해 유사성 메트릭을 사용할 수 있다. 유사성 메트릭은 기계 학습 모델일 수 있다. 액션들의 이전 시퀀스는 이전 시간에 사용자에 의해 제공되고 사용자 허가 하에 데이터 스토어에 저장된 시퀀스일 수 있다. 시스템은 액션들의 이전 시퀀스 및 액션들의 현재 시퀀스와 함께 저장된 신호들을 입력으로서 취할 수 있으며, 2개의 시퀀스들에 대한 유사성 메트릭을 생성할 수 있다. 일부 구현예에서, 시스템은 2개의 시퀀스들이 특정 최소한의 요구조건을 공유하는 경우 예를 들면, 동일한 모바일 어플리케이션 또는 웹페이지에서 실행되는 경우, 이전 시퀀스와 현재 시퀀스 간에 유사성 메트릭만 결정할 수 있다. 현재 시퀀스 및 이전 시퀀스는 유사성 메트릭을 만족하는 경우 즉, 유사성 임계치를 충족하거나 초과할 때, 유사한 것으로 결정될 수 있다.
현재 시퀀스가 이전 시퀀스와 유사하지 않으면(510, 아니오), 액션 어시스턴트는 액션들의 현재 시퀀스가 완료되었는지 여부를 결정할 수 있다(515). 액션 어시스턴트는 사용자가 모바일 어플리케이션 또는 웹페이지를 닫았는지, 사용자가 결제 또는 주문을 완료 또는 확인하는 경우, 확인 이메일을 수신한 경우, 확인을 텍스트 메시지를 수신한 경우, 완료 제어의 선택(예: '종료', '제출', 로그아웃 등), 무활동, ‘슬립’ 모드의 선택 및 기타 유사한 사용자 액션들 및 이벤트들과 같은 여러 가지 요인들에 기초하여 시퀀스가 완료되었는지 결정할 수 있다. 액션들의 시퀀스가 완료되지 않으면(515, 아니오), 시스템은 현재 시퀀스에 대한 액션들을 계속 캡처할 수 있다(505). 액션들의 시퀀스가 완료되면(515, 예), 시스템은 액션들의 현재 시퀀스를 상기 현재 시퀀스에 대한 신호들과 함께 액션들의 이전 시퀀스로서 저장할 수 있다(525). 일부 구현예에서, 시스템은 신뢰 스코어로 액션들의 현재 시퀀스를 저장할 수 있다. 그러나 액션들의 이전 시퀀스와 유사하지 않은 액션들의 현재 시퀀스는 아직 신뢰 스코어가 생성되지 않았으므로, 시스템에서 신뢰 스코어와 함께 이러한 유형의 시퀀스를 저장할 수 없다.
현재 시퀀스가 이전 시퀀스와 유사한 경우(510, 예), 시스템은 액션들의 현재 시퀀스 및 유사한 액션들의 이전 시퀀스에 대한 신뢰 스코어를 계산할 수 있다(520). 신뢰 스코어는 액션 어시스턴트가 액션들의 이전 세트로 표현된 워크플로우를 적절하게 재현할 수 있는지 예측할 수 있도록 트레이닝된 부분적으로 또는 완전히 기계 학습 모델일 수 있다. 예측 모델은 입력으로서 다양한 신호들을 취할 수 있다. 일 예시적 신호는 동일한 웹 어플리케이션, 웹페이지 또는 모바일 어플리케이션의 다수의 워크플로우(액션들의 이전 시퀀스)에 걸친 사용자의 행동이다. 여기에는 버튼 또는 기타 제어 선택들의 수를 포함할 수 있다. 예를 들어, 사용자가 '제출’ 제어를 다섯 번 선택하고 현재 시퀀스와 유사한 여러 이전 시퀀스들에서 수량 제어를 한 번 선택했다면, 이 신호는 사용자가 동일한 워크플로우를 반복적으로 수행한다는 높은 신뢰도에 기여할 수 있다. 예측 모델은 컨텍스트 신호들을 사용할 수 있다. 예를 들어, 워크플로우는 특정한 시간대 또는 사용자가 특정한 위치에 있는 경우 일관적일 수 있지만, 그렇지 않은 경우 일관적이지 않을 수 있다. 액션들의 현재 시퀀스의 컨텍스트가 일관된 액션들의 컨텍스트와 일치하면, 모델은 높은 신뢰도를 가질 수 있지만, 그렇지 않은 경우 낮은 신뢰도를 가질 수 있다. 입력으로 사용되는 입력 신호의 다른 예시는 동일한 컨텍스트에서 사용자들의 집계 행동일 수 있다. 이러한 정보는 사용자 동의 하에 다른 사용자들로부터 중앙 서버로 전송되는 익명화된 로그를 사용하여 생성될 수 있다. 입력 신호의 다른 예시는 모바일 어플리케이션 또는 웹페이지의 사용자 인터페이스가 변경되는 빈도이다. 버튼, 텍스트 상자 및 기타 제어들 및 입력들이 자주 변경되면, 예측기는 워크플로우 재현에 대한 보다 낮은 신뢰도를 가질 수 있다. 또 다른 예시적 입력 신호는 특정한 워크플로우에서 사용가능한 선택의 다양성과 동일한 워크플로우를 따를 확률이다. 가변성이 낮으면, 이전의 시퀀스가 많지 않더라도 예측 모델은 높은 신뢰도를 가질 수 있지만, 가변성이 높으면, 많은 이전 시퀀스들이 사용자가 특정한 시퀀스를 따른다(또는 집합적으로, 많은 사용)고 표시하지 않는 한 많은 이전 시퀀스들이 낮은 신뢰도를 가질 수 있다. 다른 예시적 입력 신호는 워크플로우를 사용자에 의해 바로가기로서 저장되었는지 여부이다. 액션들의 현재 시퀀스가 바로 가기로서 표시되거나 태그가 붙은 액션들의 이전 시퀀스와 유사한 경우, 예측 모델은 높은 신뢰 스코어를 출력할 수 있다.
예측 모델은 낮음, 중간, 또는 높음으로 분류될 수 있는 신뢰 스코어를 제공하도록 구성될 수 있다. 신뢰 스코어가 제1 신뢰 임계치를 만족 즉, 충족시키거나 초과하는 경우 높은 것으로 간주될 수 있다. 신뢰 스코어가 제1 신뢰 임계치를 충족시키지 못하고 제2 신뢰 임계치를 충족하거나 초과하는 경우, 신뢰 스코어는 중간으로 간주될 수 있다. 신뢰 스코어가 제1 및 제2 신뢰 임계치를 충족시키지 못하면 스코어는 낮다고 간주된다. 신뢰 스코어가 낮으면, 유사한 워크플로우를 재현하기가 너무 어렵기 때문에 시스템에서 해당 시퀀스에 대해 액션 어시스턴트를 비활성화할 수 있다. 따라서, 시스템은 사용자가 새로운 시퀀스를 시작하면, 액션들의 다른 시퀀스 시퀀스를 계속 캡처할 수 있다(505). 신뢰 스코어가 중간으로 간주되면, 시스템은 액션이 완료되었는지 여부를 결정할 수 있고, 만약 (515, 예)이면, 관찰 및 학습 모드에서 현재 시퀀스를 저장할 수 있다(525). 예를 들어, 현재 시퀀스는 신뢰 스코어를 갖는 이전 시퀀스로서 저장될 수 있다. 다음에 시스템이 유사한 시퀀스를 맞닥뜨리면, 이 이전 신뢰 스코어는 예측 모델에 대한 입력 신호로서 사용될 수 있다. 예측 모델은 신뢰 스코어를 수정하여, 결국 시스템이 액션들의 시퀀스에 의해 표현된 워크플로우에 대해 낮은 신뢰도 또는 높은 신뢰도에 도달하도록 할 수 있다. 액션이 완료되지 않은 경우, 시스템은 사용자가 시퀀스를 완료하는 동안 계속 관찰하고 학습할 수 있다.
신뢰 스코어가 높은 경우, 시스템은 사용자에게 액션을 재현하기를 원하는지 여부를 묻는 프롬프트를 생성할 수 있다(530). 프롬프트는 도 2의 프롬프트(205)와 유사할 수 있다. 사용자가 액션을 재현하기를 원하지 않으면(535, 아니오), 시스템은 다른 워크플로우, 예를 들어 단계(505)에서, 캡처하는 것을 계속할 수 있다. 일부 구현예에서, 시스템은 이전에 유사한 워크플로우를 비승인된 것으로 표시할 수 있으므로, 이들은 다시 제공되지 않거나 다시 제시되기 위해 더 높은 임계치를 충족해야 한다. 사용자가 액션을 재현하기를 원한다면(535, Yes), 시스템은 액션들의 이전 시퀀스가 바로가기로서 이미 저장되었는지 여부를 결정할 수 있다(540). 그것이 (540, 예)이면, 시스템은 액션들의 이전 시퀀스(560)에 의해 표현된 워크플로우를 재현하는 것을 진행할 수 있다. 워크플로우을 재현하기 위해, 시스템은 이전 시퀀스의 액션들을 사용하여 입력을 제공하고 버튼, 메뉴 옵션, 라디오 또는 체크상자 입력, 드롭 다운 메뉴 선택 등과 같은 제어를 선택할 수 있다. 시스템은 백그라운드(background)에서 또는 포어그라운드(foreground)에서 액션들을 재현할 수 있다. 백그라운드에서 재현된 경우, 사용자는 제공된 입력들 및 시스템에 의해 선택된 제어들에 응답하여 생성된 사용자 인터페이스를 볼 수 없다. 포어그라운드에서, 사용자는 사용자 인터페이스들을 볼 수 있다.
액션들의 이전 세트가 바로가로로서 이미 저장되지 않은 경우(540, No), 시스템은 사용자가 액션이 바로가기로 저장할지 묻는 프롬프트를 개시할 수 있다(545). 이 프롬프트는 도 3의 프롬프트(305)와 유사할 수 있다. 사용자가 바로가기(550, 아니오)로서 워크플로우를 저장하기를 원하지 않으면, 시스템은 액션들의 이전 시퀀스에 의해 표현된 워크플로우를 재현하는 것을 진행할 수 있다(560). 사용자가 바로가기(550, 예)로서 워크플로우를 저장하기를 원하지 않으면, 시스템은 사용자가 바로가기 식별자를 액션들의 이전 시퀀스와 연관시키게 하는 방법을 제공할 수 있다(555). 바로가기 식별자는 바로가기를 트리거링하는데 사용되는 이름, 음성 명령, 입력 시퀀스 및 아이콘 등일 수 있다. 일부 구현예에서, 시스템은 설명을 바로가기와 연관시킬 수 있다. 사용자는 음성 명령을 제공하거나 아이콘을 선택하거나 바로가기와 연관된 입력 시퀀스를 수행함으로써 언제든지 바로가기 시퀀스를 재현할 수 있다. 따라서, 시스템이 음성 명령을 수신한 경우, 예를 들어, 시스템은 음성 명령과 연관된 이전 시퀀스를 검색하고 단계(560)를 수행할 수 있다. 바로가기 시퀀스를 재현하는 것에 더하여, 시스템은 하나 이상의 디바이스들 및/또는 사용자들과 바로가기 시퀀스를 공유하도록 구성될 수 있다. 예를 들어, 시스템은 사용자가 바로가기 시퀀스를 선택하고 다른 디바이스로 보낼 수 있게 한다. 다른 디바이스는 사용자 또는 다른 사용자와 연관될 수 있다. 다른 사용자와 연관된 경우, 일부 구현예에서, 시퀀스에서의 사용자 고유의 입력(예: 생일, 사용자 이름, 계정 정보)을 보내기 전에 익명화될 수 있다.
도 6는 본 명세서에 기술된 기법들과 사용될 수 있는 도 1의 시스템(100) 및/또는 모바일 디바이스(180)로서 동작될 수 있는 일반적 컴퓨터 디바이스(600)의 예시를 도시한다. 컴퓨팅 디바이스(600)는 랩톱, 데스크톱, 워크스테인션, 개인 휴대 정보 단말기, 셀룰러 전화기, 스마트폰, 태블릿, 서버 및 웨어러블 디바이스를 포함하는 다른 컴퓨팅 디바이스들과 같은 다양한 예시적 형태의 컴퓨팅 디바이스들을 나타내기 위한 것이다. 여기에 도시된 컴포넌트들, 그들의 연결 및 관계, 및 그들의 기능은 단지 예시적인 것을 의미하며, 본 명세서에 기술된 및/또는 청구된 발명의 구현을 제한하는 것을 의미하지는 않는다.
컴퓨팅 디바이스(600)는 인터페이스(608)를 통해 연결된 프로세서(602), 메모리(604), 저장 디바이스(606) 및 확장 포트(610)를 포함한다. 일부 구현예에서, 컴퓨팅 디바이스(600)는 인터페이스(608)를 통해 연결된 다른 컴포넌트들 중에서 송수신기(646), 통신 인터페이스(644) 및 GPS(Global Positioning System) 수신기 모듈(648)을 포함할 수 있다. 디바이스(600)는 필요에 따라 디지털 신호 처리 회로를 포함할 수 있는 통신 인터페이스(644)를 통해 무선으로 통신할 수 있다. 컴포넌트들(602, 604, 606, 608, 610 640, 644, 646 및 648) 각각은 공통 마더 보드 상에 또는 적절한 다른 방식으로 장착될 수 있다.
프로세서(602)는 메모리(604) 또는 저장 디바이스(606)에 저장된 명령어들을 포함하는, 컴퓨팅 디바이스(600) 내에서 실행하기 위한 명령어들을 프로세싱하여, 디스플레이(616)와 같은 외부 입/출력 디바이스상에 GUI에 대한 그래픽 정보를 디스플레이 할 수 있다. 디스플레이(616)는 모니터 또는 플랫 터치스크린 디스플레이일 수 있다. 일부 구현예에서, 다수의 프로세서들 및/또는 다수의 버스들이 다수의 메모리들 및 다수의 유형의 메모리와 함께, 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들(600)은 필요한 동작의 부분들을 제공하는 각 디바이스와 연결될 수 있다(예를 들어, 서버 뱅크, 블레이드 서버 그룹 또는 멀티 프로세서 시스템).
메모리(604)는 컴퓨팅 디바이스(600) 내에 정보를 저장한다. 일 구현예에서, 메모리(604)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현예에서, 메모리(604)는 비휘발성 메모리 유닛 또는 유닛들이다. 또한, 메모리(604)는 자기 또는 광학 디스크와 같은 컴퓨터 판독가능 매체의 다른 형태 일 수 있다. 일부 구현예에서, 메모리(604)는 확장 인터페이스를 통해 제공되는 확장 메모리를 포함할 수 있다.
저장 디바이스(606)는 컴퓨팅 디바이스(600)에 대한 대형 스토리지를 제공할 수 있다. 일 구현예에서, 저장 디바이스(606)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성의 디바이스를 포함하는 디바이스의 어레이와 같은 컴퓨터 판독가능 매체이거나 컴퓨터 판독가능 매체를 포함할 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체에 유형적으로 수록될 수 있다. 컴퓨터 프로그램 제품은 또한 실행될 때 상기 기술된 바와 같은 하나 이상의 방법을 수행하는 명령어들을 포함할 수 있다. 컴퓨터 또는 기계 판독가능 매체는 메모리(604), 저장 디바이스(606) 또는 프로세서(602)상의 메모리와 같은 저장 디바이스이다.
인터페이스(608)는 컴퓨팅 디바이스(600)에 대한 대역폭 집중 동작들을 관리하는 고속 제어기(608) 또는 낮은 대역폭 집중 동작들을 관리하는 저속 제어기(612) 또는 상기 제어기들의 조합일 수 있다. 외부 인터페이스(640)는 다른 디바이스들과 디바이스(600)의 근거리 통신을 가능하게할 수 있다. 일부 구현예에서, 제어기(608)는 저장 디바이스(606) 및 확장 포트(614)에 연결될 수 있다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 확장 포트는 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입력/출력 디바이스 또는 예를 들어 네트워크 어댑터를 통해 스위치 또는 라우터와 같은 네트워킹 디바이스에 결합될 수 있다.
컴퓨팅 디바이스(600)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 그것은 표준 서버(630)로서 또는 그러한 서버들의 그룹에서 다수로 구현될 수 있다. 또한, 랙 서버 시스템(624)의 일부로서 구현될 수 있다. 또한, 랩톱 컴퓨터(632), 퍼스널 컴퓨터(634), 또는 태블릿/스마트폰(636)과 같은 컴퓨팅 디바이스에서 구현될 수 있다. 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스들(600)로 이루어질 수 있다. 다른 구성들도 가능하다.
도 7는 본 명세서에 기술된 기법들과 사용될 수 있는 도 1의 서버(190)의 예시일 수 있는 일반적 컴퓨터 디바이스(700)의 예시를 도시한다. 컴퓨팅 디바이스(700)는 서버, 블레이드 서버, 데이터 센터, 메인 프레임 및 다른 대규모 컴퓨팅 디바이스들과 같은 대규모 데이터 프로세싱 디바이스의 다양한 예시적 형태들을 나타내기 위한 것이다. 컴퓨팅 디바이스(700)는 가능하게는 하나 이상의 통신 네트워크들에 의해 상호 연결되는 네트워크 연결 스토리지 노드들을 포함하는 다수의 프로세서들을 갖는 분산 시스템일 수 있다. 여기에 도시된 컴포넌트들, 그들의 연결 및 관계, 및 그들의 기능은 단지 예시적인 것을 의미하며, 본 명세서에 기술된 및/또는 청구된 발명의 구현을 제한하는 것을 의미하지는 않는다.
분산 컴퓨팅 시스템(700)은 임의의 수의 컴퓨팅 디바이스들(780)을 포함할 수 있다. 컴퓨팅 디바이스들(780)은 로컬 또는 광역 네트워크, 전용 광 링크, 모뎀, 브리지, 라우터, 스위치, 유선 또는 무선 네트워크 등을 통해 통신하는 서버 또는 랙 서버, 메인 프레임 등을 포함할 수 있다.
일부 구현예에서, 각 컴퓨팅 디바이스(1050)는 다수의 랙들을 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(780a)는 다수의 랙들(758a-758n)을 포함한다. 각각의 랙은 프로세서들(752a-752n 및 762a-762n)과 같은 하나 이상의 프로세서들을 포함할 수 있다. 프로세서들은 데이터 프로세서, 네트워크 연결 저장 디바이스 및 기타 컴퓨터 제어 디바이스를 포함할 수 있다. 일부 구현예에서, 하나의 프로세서는 마스터 프로세서로서 동작하고 스케쥴링 및 데이터 분산 작업들을 제어할 수 있다. 프로세서들은 하나 이상의 랙 스위치들(758)을 통해 상호 연결될 수 있고, 하나 이상의 랙들은 스위치(778)를 통해 연결될 수 있다. 스위치(778)는 다수의 연결된 컴퓨팅 디바이스들(700) 간의 통신을 처리할 수 있다.
각각의 랙은 메모리(754) 및 메모리(764)와 같은 메모리 및 스토리지(예: 756 및 766)를 포함할 수 있다. 스토리지(756 및 766)는 대용량 스토리지를 제공할 수 있으며, 저장 영역 네트워크의 디바이스 또는 기타 구성을 포함하는, 네트워크 연결 디스크, 플로피 디스크, 하드 디스크, 광 디스크, 테이프, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스 또는 디바이스들의 어레이와 같은 휘발성 또는 비휘발성 저장 장치를 포함할 수 있다. 스토리지(756 또는 766)는 다중 프로세서, 다중 랙 또는 다중 컴퓨팅 디바이스간에 공유될 수 있으며, 하나 이상의 프로세서들에 의해 실행 가능한 명령어들을 저장하는 컴퓨터 판독가능 매체를 포함할 수 있다. 메모리(754 및 764)는 예를 들어 휘발성 메모리 유닛 또는 유닛들, 비휘발성 메모리 유닛 또는 유닛들 및/또는 자기 또는 광학 디스크, 플래시 메모리, 캐시, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM) 및 이들의 조합과 같은 다른 형태의 컴퓨터 판독가능 매체를 포함할 수 있다. 메모리(754)와 같은 메모리는 또한 프로세서들(752a-752n) 사이에서 공유될 수 있다. 인덱스와 같은 데이터 구조는 예를 들어 스토리지(756) 및 메모리(754)에 걸쳐 저장될 수 있다. 컴퓨팅 디바이스(700)는 제어기, 버스, 입력/출력 디바이스, 통신 모듈 등과 같은 도시되지 않은 다른 컴포넌트들을 포함할 수 있다.
시스템(100)과 같은 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스들(700)로 이루어질 수 있다. 예를 들어, 디바이스(780a)는 디바이스들(780b, 780c, 및 780d)과 통신할 수 있으며, 이들은 집합적으로 시스템(100)으로 알려질 수 있다. 다른 예로서, 도 1의 시스템(100)은 하나 이상의 컴퓨팅 디바이스(700)를 포함할 수 있다. 컴퓨팅 디바이스들의 일부는 서로 지리적으로 근접하여 위치될 수 있고, 다른 것들은 지리적으로 멀리 위치될 수 있다. 시스템(700)의 레이아웃은 단지 예일 뿐이며, 시스템은 다른 레이아웃 또는 구성들을 가질 수 있다.
본 발명의 특정 양태에 따르면, 방법은 모바일 어플리케이션으로의 사용자 액션들의 현재 시퀀스가 사용자 액션들의 이전 시퀀스와 유사한지 결정하는 단계 및 상기 이전 시퀀스의 재현성을 반영하는 신뢰 스코어를 계산하는 단계를 포함한다. 또한 방법은 상기 신뢰 스코어가 신뢰 임계치를 만족하는 경우, 상기 이전 시퀀스를 사용하여 상기 사용자 액션들의 현재 시퀀스를 완료하기 위한 승인을 요청하는 프롬프트의 디스플레이를 개시하는 단계 및 상기 완료의 승인의 표시를 수신함에 응답하여 상기 이전 시퀀스를 완료하는 단계를 포함한다.
이들 또는 다른 양태들은 다음 구성들 중 하나 이상을 포함할 수 있다. 예를 들어, 이 방법은 또한 상기 이전 시퀀스가 바로가기 시퀀스(shortcut sequence)가 아님을 결정하는 단계; 상기 이전 시퀀스를 바로가기 시퀀스로서 저장하기 위한 승인을 요청하는 프롬프트의 디스플레이를 개시하는 단계; 및 상기 저장하기 위한 승인의 표시를 수신함에 응답하여 상기 이전 시퀀스를 바로가기 시퀀스로서 저장하는 단계를 포함할 수 있다. 일부 구현예에서, 방법은 상기 바로가기 시퀀스의 액션들을 재현하기 위한 아이콘을 모바일 디바이스의 홈 화면에 추가하는 단계를 포함할 수 있다. 다른 예시로서, 신뢰 스코어는 동일한 어플리케이션에서 액션들의 다수의 시퀀스들에 걸친 사용자의 행동, 액션들의 시퀀스에 대한 컨텍스트 피처들 및/또는 동일한 어플리케이션에서 사용자 액션들의 다수의 시퀀스들에 걸친 사용자들의 집합 행동에 기초할 수 있다. 다른 예시로서, 상기 액션들의 현재 시퀀스가 상기 액션들의 이전 시퀀스와 유사하다고 결정하는 단계는 상기 사용자에 의해 제공된 입력 피처들 및 상기 어플리케이션에 의해 제시된 컨텐츠의 피처들을 포함할 수 있다.
다른 예시로서, 본 방법은 또한 사용자 인터렉션들의 제2 현재 시퀀스가 사용자 인터렉션들의 임의의 이전 시퀀스와 유사하지 않음을 결정하는 단계; 상기 제2 현재 시퀀스가 완료되었는지 여부를 결정하는 단계; 및 상기 제2 현재 시퀀스가 완료된 경우 상기 제2 현재 시퀀스를 제2 이전 시퀀스로서 저장하는 단계를 포함할 수 있다. 일부 구현예에서, 제2 현재 시퀀스는 중간 신뢰 스코어로 저장될 수 있다. 상기 신뢰 임계치는 제1 신뢰 임계치일 수 있고, 상기 방법은 상기 신뢰 스코어가 상기 제1 신뢰 임계치를 만족시키지 못하지만 제2 신뢰 임계치를 만족하는 경우, 상기 현재 시퀀스를 중간 신뢰도를 갖는 저장된 시퀀스로서 저장하는 단계를 더 포함할 수 있다.
본 발명의 특정 양태에 따르면, 방법은 사용자 인터렉션들의 제1 현재 시퀀스가 사용자 인터렉션들의 이전 시퀀스들과 유사성 임계치를 만족하지 않음을 결정하는 단계, 액션들의 제1 현재 시퀀스가 완료됨을 결정하는 단계, 및 상기 제1 현재 시퀀스를 제1 이전 시퀀스로서 저장하는 단계를 포함한다. 상기 방법은 또한 제2 현재 시퀀스를 제1 이전 시퀀스와 상기 유사성 임계치를 만족하는 것으로 식별하는 단계 및 상기 제1 이전 시퀀스를 바로가기로서 저장하기 위한 승인을 요청하는 프롬프트의 디스플레이를 개시하는 단계를 포함한다. 이 방법은 사용자의 동의 하에 백그라운드에서 계속 실행될 수 있다. 이 방법은 사용자가 특별히 트리거할 필요는 없다.
이들 또는 다른 양태들은 다음 구성들 중 하나 이상을 포함할 수 있다. 예를 들어, 상기 방법은 상기 제1 이전 시퀀스와 상기 제2 현재 시퀀스 간의 신뢰 스코어를 생성하는 단계, 상기 신뢰 스코어는 상기 제1 이전 시퀀스를 자동적으로 재현하는 것에서의 신뢰도를 표시하며; 및 상기 신뢰 스코어가 제1 신뢰 임계치를 만족하는 경우 상기 프롬프트의 디스플레이를 개시하는 단계를 포함할 수 있다. 다른 예로서, 본 방법은 상기 액션들의 제1 이전 시퀀스를 재현하기 위한 승인을 요청하는 프롬프트의 디스플레이를 개시하는 단계; 및 재현에 대한 승인이 표시된 경우 상기 액션들의 제1 이전 시퀀스를 재현하는 단계를 포함할 수 있다. 다른 예시로서, 방법은 저장하기 위한 승인이 수신된 경우, 음성 명령을 상기 액션들의 제1 이전 시퀀스와 연관시키는 단계를 포함할 수 있다. 다른 예시로서, 방법은 저장하기 위한 승인이 수신된 경우, 선택가능한 아이콘을 상기 액션들의 제1 이전 시퀀스와 연관시키는 단계를 더 포함할 수 있다. 다른 예시로서, 사용자 인터렉션의 제1 현재 시퀀스가 완료되었는지 결정하는 단계는 액션들의 현재 시퀀스에서 현재 액션이 자동화 대상이 아닌 입력을 포함한다고 결정하는 단계 및/또는 사용자가 모바일 어플리케이션을 종료했다고 결정하는 단계를 포함할 수 있다.
본 발명의 특정 양태에 따르면, 시스템은 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서에 의해 실행될 때 시스템으로 하여금 사용자 인터페이스를 생성하게 하는 명령어들을 저장하는 메모리를 포함한다. 사용자 인터페이스는 액션들의 바로가기 시퀀스를 기록하는 것을 개시하도록 구성되며, 상기 액션들의 시퀀스에서 각 액션은 사용자 인터페이스와의 사용자 인터렉션의 높은 레벨의 설명이다. 상기 사용자 인터페이스는 액션들의 시퀀스에서 계정 데이터는 상기 액션들에 포함될 것이라는 표시를 수신하도록 구성될 수 있다. 상기 사용자 인터페이스는 액션들의 이전 시퀀스들을 공유하는 것이 허용된다는 표시를 수신하도록 구성될 수 있다. 상기 사용자 인터페이스는 액션들의 이전에 저장된 시퀀스들을 소거하도록 구성될 수 있다. 상기 사용자 인터페이스는 액션들의 바로가기 시퀀스를 개명하도록 구성될 수 있다. 상기 사용자 인터페이스는 시스템이 액션들의 시퀀스를 캡처하는 어플리케이션들을 선택하도록 구성된다. 상기 사용자 인터페이스는 액션의 이전 시퀀스가 공유될 수 있다는 표시를 수신하도록 구성될 수 있다.
본 발명의 특정 양태에 따르면, 시스템은 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서에 의해 실행될 때 시스템으로 하여금 본 명세서에 개시된 방법들 중 임의의 것을 수행하게 하는 명령어들을 저장하는 메모리를 포함한다.
다양한 구현예들은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행가능하고 및/또는 인터프리트가능한 하나 이상의 컴퓨터 프로그램들에서의 구현예를 포함할 수 있고, 이는 전용 또는 범용일 수 있고, 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스으로부터 데이터 및 명령어들을 수신하고 그에 데이터 및 명령어들을 전송하기 위해 연결될 수 있다.
이들 컴퓨터 프로그램들(프로그램, 소프트웨어, 소프트웨어 어플리케이션 또는 코드로도 알려짐)은 기판에 형성된 프로그래머블 프로세서에 대한 기계 명령어들을 포함하며, 하이레벨 절차어 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계어에서 구현될 수 있다. 본 명세서에서 사용된 바와 같이, 용어 “기계 판독가능 매체”, “컴퓨터 판독가능 매체”는 기계 명령어들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 임의의 비일시적 컴퓨터 프로그램 물, 장치 및/또는 디바이스 예를 들어, 자기 디스크, 광학 디스크, 메모리(RAM 포함), 프로그래머블 로직 디바이스(PLD)를 지칭한다.
본 명세서에서 기술된 시스템들 및 기법들은 예를 들어 데이터 서버와 같은 백엔드 컴포넌트, 어플리케이션 서버와 같은 미들웨어 컴포넌트 또는 그래픽 사용자 인터페이스를 가지는 사용자 컴퓨터 또는 사용자가 본 명세서에 기술된 시스템들 및 기법들의 구현예와 인터렉션할 수 있는 웹 브라우저와 같은 프론트엔드 컴포넌트 또는 하나 이상의 상기 백엔드, 미들웨어 또는 프론트엔드 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호연결될 수 있다. 통신 네트워크들의 예시들은 LAN(local area network), WAN(wide area network) 및 인터넷을 포함한다.
컴퓨팅 시스템은 사용자들 및 서버들을 포함할 수 있다. 사용자와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 인터렉션한다. 사용자와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 사용자-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다.
다수의 구현예들이 기술되었다. 그럼에도 불구하고, 다양한 수정들이 본 발명의 정신과 범위로부터 벗어나지 않고 이루어질 수 있다. 추가로, 도면들에 도시된 논리 흐름들은 원하는 결과들을 달성하기 위해 특정한 도시된 순서, 또는 시계열적 순서를 반드시 필요로 하지 않는다. 추가로, 다른 단계들이 제공될 수 있거나, 단계들이 기술된 흐름으로부터 생략될 수 있고, 다른 컴포넌트들이 기술된 시스템에 추가되거나 그로부터 제거될 수 있다. 따라서, 다른 구현예들도 다음의 청구항들의 범위 내에 있다.

Claims (23)

  1. 방법으로서,
    모바일 어플리케이션으로의 사용자 액션들의 현재 시퀀스가 사용자 액션들의 이전 시퀀스와 유사한지 결정하는 단계;
    상기 이전 시퀀스의 재현성을 반영하는 신뢰 스코어를 계산하는 단계;
    상기 신뢰 스코어가 신뢰 임계치를 만족하는 경우, 상기 이전 시퀀스를 사용하여 상기 사용자 액션들의 현재 시퀀스를 완료하기 위한 승인을 요청하는 프롬프트의 디스플레이를 개시하는 단계; 및
    상기 완료의 승인의 표시를 수신함에 응답하여 상기 이전 시퀀스를 완료하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 청구항 1에 있어서,
    상기 이전 시퀀스가 바로가기 시퀀스(shortcut sequence)가 아님을 결정하는 단계;
    상기 이전 시퀀스를 바로가기 시퀀스로서 저장하기 위한 승인을 요청하는 프롬프트의 디스플레이를 개시하는 단계; 및
    상기 저장하기 위한 승인의 표시를 수신함에 응답하여 상기 이전 시퀀스를 바로가기 시퀀스로서 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  3. 청구항 2에 있어서,
    상기 바로가기 시퀀스의 액션들을 재현하기 위한 아이콘을 모바일 디바이스의 홈 화면에 추가하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 임의의 선행하는 청구항에 있어서,
    상기 신뢰 스코어는 동일한 어플리케이션에서 액션들의 다수의 시퀀스들에 걸친 상기 사용자의 행동에 기초하는 것을 특징으로 하는 방법.
  5. 임의의 선행하는 청구항에 있어서,
    상기 신뢰 스코어는 상기 액션들의 시퀀스에 대한 컨텍스트 피처들에 기초하는 것을 특징으로 하는 방법.
  6. 임의의 선행하는 청구항에 있어서,
    상기 신뢰 스코어는 동일한 어플리케이션에서 사용자 액션들의 다수의 시퀀스들에 걸친 상기 사용자의 집합된 행동에 기초하는 것을 특징으로 하는 방법.
  7. 임의의 선행하는 청구항에 있어서,
    상기 액션들의 현재 시퀀스가 상기 액션들의 이전 시퀀스와 유사하다고 결정하는 단계는 상기 사용자에 의해 제공된 입력 피처들 및 상기 어플리케이션에 의해 제시된 컨텐츠의 피처들을 포함하는 것을 특징으로 하는 방법.
  8. 임의의 선행하는 청구항에 있어서,
    사용자 인터렉션들의 제2 현재 시퀀스가 사용자 인터렉션들의 임의의 이전 시퀀스와 유사하지 않음을 결정하는 단계;
    상기 제2 현재 시퀀스가 완료되었는지 여부를 결정하는 단계; 및
    상기 제2 현재 시퀀스가 완료된 경우 상기 제2 현재 시퀀스를 제2 이전 시퀀스로서 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 청구항 8에 있어서,
    상기 제2 현재 시퀀스는 중간 신뢰 스코어로 저장되는 것을 특징으로 하는 방법.
  10. 임의의 선행하는 청구항에 있어서,
    상기 신뢰 임계치는 제1 신뢰 임계치이며, 상기 방법은:
    상기 신뢰 스코어가 상기 제1 신뢰 임계치를 만족시키지 못하지만 제2 신뢰 임계치를 만족하는 경우, 상기 현재 시퀀스를 중간 신뢰도를 갖는 저장된 시퀀스로서 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  11. 방법으로서,
    사용자 인터렉션들의 제1 현재 시퀀스가 사용자 인터렉션들의 이전 시퀀스들과 유사성 임계치를 만족하지 않음을 결정하는 단계;
    액션들의 제1 현재 시퀀스가 완료됨을 결정하는 단계;
    상기 제1 현재 시퀀스를 제1 이전 시퀀스로서 저장하는 단계;
    제2 현재 시퀀스를 제1 이전 시퀀스와 상기 유사성 임계치를 만족하는 것으로 식별하는 단계; 및
    상기 제1 이전 시퀀스를 바로가기로서 저장하기 위한 승인을 요청하는 프롬프트의 디스플레이를 개시하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 청구항 11에 있어서,
    상기 제1 이전 시퀀스와 상기 제2 현재 시퀀스 간의 신뢰 스코어를 생성하는 단계, 상기 신뢰 스코어는 상기 제1 이전 시퀀스를 자동적으로 재현하는 것에서의 신뢰도를 표시하며; 및
    상기 신뢰 스코어가 제1 신뢰 임계치를 만족하는 경우 상기 프롬프트의 디스플레이를 개시하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  13. 청구항 11 또는 12에 있어서,
    상기 액션들의 제1 이전 시퀀스를 재현하기 위한 승인을 요청하는 프롬프트의 디스플레이를 개시하는 단계; 및
    상기 액션들의 제1 이전 시퀀스를 재현하기 위한 승인을 수신함에 응답하여 상기 액션들의 제1 이전 시퀀스를 재현하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  14. 청구항 11 내지 13 중 어느 한 항에 있어서,
    저장하기 위한 승인이 수신된 경우, 음성 명령을 상기 액션들의 제1 이전 시퀀스와 연관시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  15. 청구항 11 내지 14 중 어느 한 항에 있어서,
    저장하기 위한 승인이 수신된 경우, 선택가능한 아이콘을 상기 액션들의 제1 이전 시퀀스와 연관시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  16. 청구항 11 내지 15 중 어느 한 항에 있어서,
    사용자 인터렉션들의 제1 현재 시퀀스가 완료됨을 결정하는 단계는:
    상기 액션들의 현재 시퀀스 내의 현재 액션이 자동화 대상이 아닌 입력을 포함함을 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  17. 청구항 11 내지 16 중 어느 한 항에 있어서,
    사용자 인터렉션들의 제1 현재 시퀀스가 완료됨을 결정하는 단계는:
    상기 사용자가 모바일 어플리케이션을 종료했음을 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  18. 시스템으로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 시스템으로 하여금 사용자 인터페이스를 생성하게 하는 명령어들을 저장하는 메모리를 포함하며, 상기 사용자 인터페이스는:
    액션들의 바로가기 시퀀스를 기록하는 것을 개시하고, 상기 액션들의 시퀀스에서 각 액션은 사용자 인터페이스와의 사용자 인터렉션의 높은 레벨의 설명이며;
    액션들의 시퀀스에서 계정 데이터는 상기 액션들에 포함될 것이라는 표시를 수신하고; 그리고
    액션들의 이전 시퀀스들을 공유하는 것이 허락된다는 표시를 수신하도록 구성되는 것을 특징으로 하는 시스템.
  19. 청구항 18에 있어서,
    상기 사용자 인터페이스는:
    이전에 저장된 액션들의 시퀀스를 소거(clear)하도록 더 구성되는 것을 특징으로 하는 시스템.
  20. 청구항 18 또는 19에 있어서,
    상기 사용자 인터페이스는:
    상기 액션들의 바로가기 시퀀스를 개명(rename)하도록 더 구성되는 것을 특징으로 하는 시스템.
  21. 청구항 18 내지 20 중 어느 한 항에 있어서,
    상기 사용자 인터페이스는:
    상기 시스템이 액션들의 시퀀스를 캡처하는 어플리케이션들을 선택하도록 더 구성되는 것을 특징으로 하는 시스템.
  22. 청구항 18 내지 21 중 어느 한 항에 있어서,
    상기 사용자 인터페이스는:
    액션의 이전 시퀀스가 공유될 수 있다는 표시를 수신하도록 더 구성되는 것을 특징으로 하는 시스템.
  23. 시스템으로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 시스템으로 하여금 청구항 1 내지 17 중 어느 한 항의 방법을 수행하게 하는 명령어들을 저장하는 메모리를 포함하는 것을 특징으로 하는 시스템.
KR1020197020752A 2016-12-19 2017-09-26 반복된 액션에 대한 스마트 어시스트 KR102355481B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/383,966 US11237696B2 (en) 2016-12-19 2016-12-19 Smart assist for repeated actions
US15/383,966 2016-12-19
PCT/US2017/053455 WO2018118171A1 (en) 2016-12-19 2017-09-26 Smart assist for repeated actions

Publications (2)

Publication Number Publication Date
KR20190097184A true KR20190097184A (ko) 2019-08-20
KR102355481B1 KR102355481B1 (ko) 2022-01-26

Family

ID=60244512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197020752A KR102355481B1 (ko) 2016-12-19 2017-09-26 반복된 액션에 대한 스마트 어시스트

Country Status (8)

Country Link
US (2) US11237696B2 (ko)
EP (2) EP4246321A3 (ko)
JP (1) JP7274418B2 (ko)
KR (1) KR102355481B1 (ko)
CN (1) CN108205467A (ko)
DE (2) DE202017105691U1 (ko)
GB (1) GB2558036A (ko)
WO (1) WO2018118171A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220094848A (ko) * 2020-12-29 2022-07-06 주식회사 레이드백 이미지를 활용한 프로세스 자동화 방법 및 장치

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10535005B1 (en) 2016-10-26 2020-01-14 Google Llc Providing contextual actions for mobile onscreen content
US11237696B2 (en) 2016-12-19 2022-02-01 Google Llc Smart assist for repeated actions
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10922743B1 (en) 2017-01-04 2021-02-16 Amazon Technologies, Inc. Adaptive performance of actions associated with custom user interface controls
US10664146B2 (en) * 2017-01-04 2020-05-26 Amazon Technologies, Inc. Creation of custom user interface controls that are associated with physical devices
US11095733B2 (en) * 2017-05-10 2021-08-17 Embee Mobile, Inc. System and method for the capture of mobile behavior, usage, or content exposure based on changes in UI layout
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10783149B2 (en) * 2017-08-02 2020-09-22 Microsoft Technology Licensing, Llc Dynamic productivity content rendering based upon user interaction patterns
US20190129615A1 (en) * 2017-10-30 2019-05-02 Futurewei Technologies, Inc. Apparatus and method for simplifying repeat performance of a prior performed task based on a context of a mobile device
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
JP7395513B2 (ja) * 2018-06-13 2023-12-11 リアルウェア，インコーポレーテッド バイナリアプリケーションのユーザインターフェースのカスタマイズ
CN110727483A (zh) * 2018-07-16 2020-01-24 西门子股份公司 生成辅助用户与应用程序进行交互的工具的设备和方法
KR102527107B1 (ko) 2018-08-08 2023-05-02 삼성전자주식회사 음성에 기반하여 기능을 실행하기 위한 방법 및 이를 지원하는 사용자 전자 장치
KR102563314B1 (ko) 2018-08-30 2023-08-04 삼성전자주식회사 전자 장치 및 단축 명령어의 바로가기 생성 방법
CN109101101B (zh) * 2018-08-30 2020-12-04 Oppo广东移动通信有限公司 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
JP7151296B2 (ja) * 2018-09-12 2022-10-12 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11487832B2 (en) * 2018-09-27 2022-11-01 Google Llc Analyzing web pages to facilitate automatic navigation
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US20200110870A1 (en) * 2018-10-08 2020-04-09 Ca, Inc. Risk assessment for account authorization
WO2020176112A1 (en) 2019-02-26 2020-09-03 Google Llc Reinforcement learning techniques for selecting a software policy network and autonomously controlling a corresponding software client based on selected policy network
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11093715B2 (en) * 2019-03-29 2021-08-17 Samsung Electronics Co., Ltd. Method and system for learning and enabling commands via user demonstration
US11386791B2 (en) * 2019-03-29 2022-07-12 GM Cruise Holdings, LLC Autonomous vehicle fleet management system
WO2020219085A1 (en) * 2019-04-26 2020-10-29 Google Llc Dynamically delaying execution of automated assistant actions and/or background application requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11461697B2 (en) * 2019-06-05 2022-10-04 Business Objects Software Ltd. Contextual modeling using application metadata
US11656903B2 (en) * 2019-06-25 2023-05-23 Intel Corporation Methods and apparatus to optimize workflows
CN110580122A (zh) * 2019-08-21 2019-12-17 阿里巴巴集团控股有限公司 问答式交互处理方法、装置及设备
US10827089B1 (en) 2019-09-11 2020-11-03 Xerox Corporation Apparatus and method for creating consolidated work flows on a multi-function device
US11019191B1 (en) 2019-12-30 2021-05-25 Motorola Mobility Llc Claim a shareable device for personalized interactive session
US11284264B2 (en) * 2019-12-30 2022-03-22 Motorola Mobility Llc Shareable device use based on user identifiable information
US11640453B2 (en) 2019-12-30 2023-05-02 Motorola Mobility Llc User authentication facilitated by an additional device
US11140239B2 (en) 2019-12-30 2021-10-05 Motorola Mobility Llc End a shareable device interactive session based on user intent
US11354026B1 (en) * 2020-01-28 2022-06-07 Apple Inc. Method and device for assigning an operation set
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
JP7463906B2 (ja) * 2020-08-21 2024-04-09 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
US11748660B2 (en) * 2020-09-17 2023-09-05 Google Llc Automated assistant training and/or execution of inter-user procedures
US11657814B2 (en) * 2020-10-08 2023-05-23 Harman International Industries, Incorporated Techniques for dynamic auditory phrase completion
GB2609947A (en) * 2021-08-18 2023-02-22 Blue Prism Ltd Systems and methods for determining GUI in interaction information for an end user device
US11656881B2 (en) 2021-10-21 2023-05-23 Abbyy Development Inc. Detecting repetitive patterns of user interface actions

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065921A (ja) * 2004-08-25 2006-03-09 Roland Corp 処理シーケンス編集プログラムおよび処理シーケンス編集装置
KR20140009687A (ko) * 2012-07-12 2014-01-23 삼성전자주식회사 매크로 기능을 이용하는 복합 입력 처리 방법 및 장치
KR20160005045A (ko) * 2013-05-07 2016-01-13 퀄컴 인코포레이티드 음성 활성화를 제어하는 방법 및 장치
JP2016040666A (ja) * 2014-08-12 2016-03-24 株式会社Ihi シーケンス生成方法

Family Cites Families (172)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100348915B1 (ko) 1994-05-12 2002-12-26 마이크로소프트 코포레이션 텔레비젼프로그램선택방법및그시스템
US5946647A (en) 1996-02-01 1999-08-31 Apple Computer, Inc. System and method for performing an action on a structure in computer-generated data
JP2001147757A (ja) 1999-11-24 2001-05-29 Mitsubishi Heavy Ind Ltd 画面編集装置
US6662226B1 (en) 2000-01-27 2003-12-09 Inbit, Inc. Method and system for activating and capturing screen displays associated with predetermined user interface events
US8224776B1 (en) 2000-07-26 2012-07-17 Kdl Scan Designs Llc Method and system for hosting entity-specific photo-sharing websites for entity-specific digital cameras
CA2370766C (en) 2000-10-18 2003-09-09 Chipworks Design analysis workstation for analyzing integrated circuits
JP2003114876A (ja) 2001-10-04 2003-04-18 Hitachi Kokusai Electric Inc ネットワーク監視システム
US7421153B1 (en) 2002-04-05 2008-09-02 Bank Of America Corporation Image and data processing system
WO2003088080A1 (en) 2002-04-05 2003-10-23 At & T Corp. Method and system for detecting and extracting named entities from spontaneous communications
US7054917B1 (en) 2002-08-07 2006-05-30 Propel Software Corporation Method for accelerating delivery of content in a computer network
US7376696B2 (en) 2002-08-27 2008-05-20 Intel Corporation User interface to facilitate exchanging files among processor-based devices
JP4213008B2 (ja) 2002-10-09 2009-01-21 パナソニック株式会社 情報端末装置、操作支援方法及び操作支援プログラム
US20050083413A1 (en) 2003-10-20 2005-04-21 Logicalis Method, system, apparatus, and machine-readable medium for use in connection with a server that uses images or audio for initiating remote function calls
US20080235018A1 (en) 2004-01-20 2008-09-25 Koninklikke Philips Electronic,N.V. Method and System for Determing the Topic of a Conversation and Locating and Presenting Related Content
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US7536382B2 (en) 2004-03-31 2009-05-19 Google Inc. Query rewriting with entity detection
US8078607B2 (en) 2006-03-30 2011-12-13 Google Inc. Generating website profiles based on queries from webistes and user activities on the search results
US7639387B2 (en) 2005-08-23 2009-12-29 Ricoh Co., Ltd. Authoring tools using a mixed media environment
US8745483B2 (en) 2004-10-07 2014-06-03 International Business Machines Corporation Methods, systems and computer program products for facilitating visualization of interrelationships in a spreadsheet
US8812551B2 (en) 2004-11-18 2014-08-19 International Business Machines Corporation Client-side manipulation of tables
US7483692B2 (en) 2004-12-28 2009-01-27 Sony Ericsson Mobile Communications Ab System and method of predicting user input to a mobile terminal
US7702611B2 (en) 2005-01-07 2010-04-20 Xerox Corporation Method for automatically performing conceptual highlighting in electronic text
US20090036215A1 (en) 2005-02-28 2009-02-05 Pandanet Inc. Go playing system
US7702128B2 (en) 2005-03-03 2010-04-20 Cssn Inc. Card Scanning Solutions System and method for scanning a business card from within a contacts address book and directly inserting into the address book database
US7809722B2 (en) 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
US20070008321A1 (en) 2005-07-11 2007-01-11 Eastman Kodak Company Identifying collection images with special events
US7752209B2 (en) 2005-09-14 2010-07-06 Jumptap, Inc. Presenting sponsored content on a mobile communication facility
US7548915B2 (en) 2005-09-14 2009-06-16 Jorey Ramer Contextual mobile content placement on a mobile communication facility
US7933897B2 (en) 2005-10-12 2011-04-26 Google Inc. Entity display priority in a distributed geographic information system
US7822759B2 (en) 2005-12-13 2010-10-26 Microsoft Corporation Query-driven sharing and syndication
US8533199B2 (en) 2005-12-14 2013-09-10 Unifi Scientific Advances, Inc Intelligent bookmarks and information management system based on the same
US20070168379A1 (en) 2006-01-17 2007-07-19 Patel Sushma B Method and apparatus for cataloging screen shots of a program
CN101075236A (zh) 2006-06-12 2007-11-21 腾讯科技（深圳）有限公司 一种加快浏览器网页显示的装置和方法
US8347237B2 (en) 2006-06-27 2013-01-01 Palo Alto Research Center Incorporated Method, apparatus, and program product for efficiently detecting relationships in a comprehension state of a collection of information
US7917514B2 (en) 2006-06-28 2011-03-29 Microsoft Corporation Visual and multi-dimensional search
JP5044159B2 (ja) 2006-07-18 2012-10-10 株式会社東芝 操作支援システム及び該システムを搭載する医用診断装置
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US20080114604A1 (en) * 2006-11-15 2008-05-15 Motorola, Inc. Method and system for a user interface using higher order commands
US8090222B1 (en) 2006-11-15 2012-01-03 Google Inc. Selection of an image or images most representative of a set of images
CN101201827B (zh) 2006-12-14 2013-02-20 阿里巴巴集团控股有限公司 一种网页显示的方法和系统
US8671341B1 (en) 2007-01-05 2014-03-11 Linguastat, Inc. Systems and methods for identifying claims associated with electronic text
US20080172619A1 (en) 2007-01-11 2008-07-17 Carrier Scott R Generating a short-cut of functions from pluggable components
KR101370895B1 (ko) 2007-01-19 2014-03-10 엘지전자 주식회사 콘텐츠 표시 방법 및 이를 이용한 단말기
US8869191B2 (en) 2007-01-23 2014-10-21 Cox Communications, Inc. Providing a media guide including parental information
US8214367B2 (en) 2007-02-27 2012-07-03 The Trustees Of Columbia University In The City Of New York Systems, methods, means, and media for recording, searching, and outputting display information
US20080275701A1 (en) 2007-04-25 2008-11-06 Xiaotao Wu System and method for retrieving data based on topics of conversation
CA2686601C (en) 2007-05-07 2016-10-04 Fourthwall Media Providing personalized resources on-demand over a broadband network to consumer device applications
US8688089B2 (en) 2007-06-26 2014-04-01 Gosub 60, Inc. Methods and systems for providing in-game hot spots
WO2009001138A1 (en) 2007-06-28 2008-12-31 Taptu Ltd Search result ranking
US7921069B2 (en) 2007-06-28 2011-04-05 Yahoo! Inc. Granular data for behavioral targeting using predictive models
US20090228777A1 (en) 2007-08-17 2009-09-10 Accupatent, Inc. System and Method for Search
WO2009026193A2 (en) 2007-08-17 2009-02-26 Accupatent, Inc. System and method for search
US20110035662A1 (en) 2009-02-18 2011-02-10 King Martin T Interacting with rendered documents using a multi-function mobile device, such as a mobile phone
AU2008312423B2 (en) 2007-10-17 2013-12-19 Vcvc Iii Llc NLP-based content recommender
US8594996B2 (en) 2007-10-17 2013-11-26 Evri Inc. NLP-based entity recognition and disambiguation
WO2009054619A2 (en) 2007-10-22 2009-04-30 Moon Key Lee Augmented reality computer device
US9159034B2 (en) 2007-11-02 2015-10-13 Ebay Inc. Geographically localized recommendations in a computing advice facility
US20110246471A1 (en) 2010-04-06 2011-10-06 Selim Shlomo Rakib Retrieving video annotation metadata using a p2p network
US8214767B2 (en) * 2008-01-14 2012-07-03 Hewlett-Packard Development Company, L.P. Method and computer program product for generating shortcuts for launching computer program functionality on a computer
US8255386B1 (en) 2008-01-30 2012-08-28 Google Inc. Selection of documents to place in search index
JP5336748B2 (ja) 2008-03-06 2013-11-06 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツ中のアクセシビリティに関する問題箇所を他人へ効果的に伝達するためのコンピュータ、方法、プログラム
US8131066B2 (en) 2008-04-04 2012-03-06 Microsoft Corporation Image classification
US7970808B2 (en) 2008-05-05 2011-06-28 Microsoft Corporation Leveraging cross-document context to label entity
US8630972B2 (en) 2008-06-21 2014-01-14 Microsoft Corporation Providing context for web articles
US20100010987A1 (en) 2008-07-01 2010-01-14 Barry Smyth Searching system having a server which automatically generates search data sets for shared searching
CN101667185B (zh) 2008-09-05 2012-10-17 深圳富泰宏精密工业有限公司 行动装置及其图片快速显示方法
CN101763357B (zh) 2008-11-13 2016-09-14 北京搜狗科技发展有限公司 一种用于浏览器加载互联网资源的方法及系统
CN102257502B (zh) 2008-12-18 2015-11-25 皇家飞利浦电子股份有限公司 软件错误和性能缺陷报告系统
US8452720B2 (en) 2009-01-30 2013-05-28 Ntt Docomo, Inc. System and methods for optimizing user interaction in web-related activites
US8229883B2 (en) 2009-03-30 2012-07-24 Sap Ag Graph based re-composition of document fragments for name entity recognition under exploitation of enterprise databases
GB2481565B (en) 2009-04-01 2014-04-30 Hewlett Packard Development Co Screen capture
US8370762B2 (en) 2009-04-10 2013-02-05 Cellco Partnership Mobile functional icon use in operational area in touch panel devices
US8533223B2 (en) 2009-05-12 2013-09-10 Comcast Interactive Media, LLC. Disambiguation and tagging of entities
US20100306249A1 (en) 2009-05-27 2010-12-02 James Hill Social network systems and methods
US20100313141A1 (en) 2009-06-03 2010-12-09 Tianli Yu System and Method for Learning User Genres and Styles and for Matching Products to User Preferences
CN101587495A (zh) 2009-07-08 2009-11-25 伍帝州 通过浏览器下载部署应用并提供应用入口的方法及系统
US8571319B2 (en) 2009-07-28 2013-10-29 International Business Machines Corporation Enhanced screen capture for form manipulation
US9135277B2 (en) 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
US8539487B2 (en) 2009-09-11 2013-09-17 International Business Machines Corporation Automatically generating compound commands in a computer system
CN102597993B (zh) 2009-09-25 2014-03-12 国际商业机器公司 利用统一资源标识符管理应用状态信息
KR101651128B1 (ko) 2009-10-05 2016-08-25 엘지전자 주식회사 이동 단말기 이것의 애플리케이션 실행 제어 방법
US8131786B1 (en) 2009-11-23 2012-03-06 Google Inc. Training scoring models optimized for highly-ranked results
US9405772B2 (en) 2009-12-02 2016-08-02 Google Inc. Actionable search results for street view visual queries
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
US8977639B2 (en) 2009-12-02 2015-03-10 Google Inc. Actionable search results for visual queries
US9081868B2 (en) * 2009-12-16 2015-07-14 Google Technology Holdings LLC Voice web search
US20110145692A1 (en) 2009-12-16 2011-06-16 Peter Noyes Method for Tracking Annotations with Associated Actions
US20110191676A1 (en) 2010-01-29 2011-08-04 Microsoft Corporation Cross-Browser Interactivity Recording, Playback, and Editing
JP2013519162A (ja) 2010-02-01 2013-05-23 ジャンプタップ，インコーポレイテッド 統合化された広告システム
US20110225152A1 (en) 2010-03-15 2011-09-15 Microsoft Corporation Constructing a search-result caption
US8799061B1 (en) 2010-04-26 2014-08-05 Google Inc. Classifying users for ad targeting
US8494439B2 (en) 2010-05-04 2013-07-23 Robert Bosch Gmbh Application state and activity transfer between devices
KR101657545B1 (ko) 2010-05-11 2016-09-19 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US9158846B2 (en) 2010-06-10 2015-10-13 Microsoft Technology Licensing, Llc Entity detection and extraction for entity cards
US8468110B1 (en) 2010-07-22 2013-06-18 Intuit Inc. Real-time user behavior prediction
US20120083294A1 (en) 2010-09-30 2012-04-05 Apple Inc. Integrated image detection and contextual commands
US20120092286A1 (en) 2010-10-19 2012-04-19 Microsoft Corporation Synthetic Gesture Trace Generator
US9189549B2 (en) 2010-11-08 2015-11-17 Microsoft Technology Licensing, Llc Presenting actions and providers associated with entities
AU2011336445B2 (en) 2010-12-01 2017-04-13 Google Llc Identifying matching canonical documents in response to a visual query
KR101757870B1 (ko) 2010-12-16 2017-07-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8880555B2 (en) 2010-12-17 2014-11-04 Facebook, Inc. Ranking of address book contacts based on social proximity
KR101741551B1 (ko) 2010-12-20 2017-06-15 엘지전자 주식회사 이동 단말기 및 이것의 애플리케이션 제어 방법
CN102098380A (zh) 2010-12-22 2011-06-15 中兴通讯股份有限公司 在移动终端中自定义快捷方式的方法和装置
US9542501B2 (en) 2011-01-28 2017-01-10 Radware Ltd. System and method for presenting content in a client/server environment
US8341156B1 (en) 2011-04-04 2012-12-25 Google Inc. System and method for identifying erroneous business listings
CN103620592A (zh) 2011-04-19 2014-03-05 诺基亚公司 用于推荐结果的灵活多样化的方法和装置
JP2012252742A (ja) 2011-06-02 2012-12-20 Elpida Memory Inc 半導体装置
CN103890695B (zh) 2011-08-11 2017-10-13 视力移动技术有限公司 基于手势的接口系统和方法
US8280414B1 (en) 2011-09-26 2012-10-02 Google Inc. Map tile data pre-fetching based on mobile device generated event analysis
US8204966B1 (en) 2011-09-26 2012-06-19 Google Inc. Map tile data pre-fetching based on user activity analysis
US20150212695A1 (en) 2011-10-05 2015-07-30 Google Inc. Suggested action feedback
WO2013052866A2 (en) 2011-10-05 2013-04-11 Google Inc. Semantic selection and purpose facilitation
US20130097507A1 (en) 2011-10-18 2013-04-18 Utc Fire And Security Corporation Filmstrip interface for searching video
EP2587745A1 (en) 2011-10-26 2013-05-01 Swisscom AG A method and system of obtaining contact information for a person or an entity
US9355186B2 (en) 2011-11-01 2016-05-31 Google Inc. Launching applications from webpages
US20130117252A1 (en) 2011-11-09 2013-05-09 Google Inc. Large-scale real-time fetch service
US9665643B2 (en) 2011-12-30 2017-05-30 Microsoft Technology Licensing, Llc Knowledge-based entity detection and disambiguation
US9514556B2 (en) 2012-01-31 2016-12-06 Given Imaging Ltd. System and method for displaying motility events in an in vivo image stream
US8453058B1 (en) * 2012-02-20 2013-05-28 Google Inc. Crowd-sourced audio shortcuts
US9171068B2 (en) 2012-03-07 2015-10-27 Ut-Battelle, Llc Recommending personally interested contents by text mining, filtering, and interfaces
US20130263098A1 (en) 2012-03-29 2013-10-03 Pawel Piotr Duda Method and system for testing of mobile web sites
JP2013210952A (ja) 2012-03-30 2013-10-10 Sony Corp 情報処理装置、電子機器、情報処理方法、及びプログラム
US9836545B2 (en) 2012-04-27 2017-12-05 Yahoo Holdings, Inc. Systems and methods for personalized generalized content recommendations
WO2013173940A1 (en) 2012-05-22 2013-11-28 Beijing Baina Info - Tech,Co., Ltd A method and system for providing application data
US9582146B2 (en) 2012-05-29 2017-02-28 Nokia Technologies Oy Causing display of search results
US9075974B2 (en) 2012-07-25 2015-07-07 Google Inc. Securing information using entity detection
US10091552B2 (en) 2012-09-19 2018-10-02 Rovi Guides, Inc. Methods and systems for selecting optimized viewing portions
US9165406B1 (en) 2012-09-21 2015-10-20 A9.Com, Inc. Providing overlays based on text in a live camera view
US9274839B2 (en) 2012-09-27 2016-03-01 Intel Corporation Techniques for dynamic physical memory partitioning
US9407824B2 (en) 2012-11-01 2016-08-02 Google Inc. Multi-directional content capture on mobile devices
EP2728481A1 (en) 2012-11-04 2014-05-07 Rightware Oy Evaluation of page load performance of web browser
US20140146200A1 (en) 2012-11-28 2014-05-29 Research In Motion Limited Entries to an electronic calendar
US9245372B2 (en) 2012-12-04 2016-01-26 Nintendo Co., Ltd. Map systems and methods for displaying panoramic images
US20150178786A1 (en) 2012-12-25 2015-06-25 Catharina A.J. Claessens Pictollage: Image-Based Contextual Advertising Through Programmatically Composed Collages
US20140188956A1 (en) 2012-12-28 2014-07-03 Microsoft Corporation Personalized real-time recommendation system
US20140188889A1 (en) 2012-12-31 2014-07-03 Motorola Mobility Llc Predictive Selection and Parallel Execution of Applications and Services
JP5637403B2 (ja) 2013-01-16 2014-12-10 カシオ計算機株式会社 認証処理装置、認証処理方法、およびプログラム
US10445786B2 (en) 2013-01-23 2019-10-15 Facebook, Inc. Sponsored interfaces in a social networking system
US20150169701A1 (en) 2013-01-25 2015-06-18 Google Inc. Providing customized content in knowledge panels
CN105074700A (zh) 2013-03-01 2015-11-18 奎克西公司 产生含有到应用程序的状态链接的搜索结果
US20140279013A1 (en) 2013-03-13 2014-09-18 Ebay Inc. Online and offline ecommerce connections
US9247309B2 (en) 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
WO2014146265A1 (en) 2013-03-20 2014-09-25 Nokia Corporation Method and apparatus for personalized resource recommendations
WO2014176322A1 (en) 2013-04-23 2014-10-30 Quixey, Inc. Entity bidding
US9276883B2 (en) 2013-04-28 2016-03-01 Tencent Technology (Shenzhen) Company Limited Information collection, storage, and sharing platform
US9786075B2 (en) 2013-06-07 2017-10-10 Microsoft Technology Licensing, Llc Image extraction and image-based rendering for manifolds of terrestrial and aerial visualizations
US9721107B2 (en) 2013-06-08 2017-08-01 Apple Inc. Using biometric verification to grant access to redacted content
KR102136602B1 (ko) 2013-07-10 2020-07-22 삼성전자 주식회사 휴대단말기의 컨텐츠 처리 장치 및 방법
US9329692B2 (en) 2013-09-27 2016-05-03 Microsoft Technology Licensing, Llc Actionable content displayed on a touch screen
US9436918B2 (en) 2013-10-07 2016-09-06 Microsoft Technology Licensing, Llc Smart selection of text spans
GB2519546A (en) 2013-10-24 2015-04-29 Ibm Assistive technology during interactive computer use
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
US9679078B2 (en) 2014-05-21 2017-06-13 Facebook, Inc. Search client context on online social networks
US9798708B1 (en) 2014-07-11 2017-10-24 Google Inc. Annotating relevant content in a screen capture image
US8954836B1 (en) 2014-08-19 2015-02-10 Adlast, Inc. Systems and methods for directing access to products and services
US9965559B2 (en) 2014-08-21 2018-05-08 Google Llc Providing automatic actions for mobile onscreen content
US9424668B1 (en) 2014-08-28 2016-08-23 Google Inc. Session-based character recognition for document reconstruction
US9606716B2 (en) 2014-10-24 2017-03-28 Google Inc. Drag-and-drop on a mobile device
CN104506575B (zh) 2014-12-02 2019-03-26 小米科技有限责任公司 推送主题的方法及装置
US10028116B2 (en) 2015-02-10 2018-07-17 Microsoft Technology Licensing, Llc De-siloing applications for personalization and task completion services
US10121157B2 (en) 2015-04-17 2018-11-06 GoodData Corporation Recommending user actions based on collective intelligence for a multi-tenant data analysis system
US9703541B2 (en) 2015-04-28 2017-07-11 Google Inc. Entity action suggestion on a mobile device
US10902339B2 (en) 2015-05-26 2021-01-26 Oracle International Corporation System and method providing automatic completion of task structures in a project plan
US20170031575A1 (en) * 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Tailored computing experience based on contextual signals
US10970646B2 (en) 2015-10-01 2021-04-06 Google Llc Action suggestions for user-selected content
US10178527B2 (en) 2015-10-22 2019-01-08 Google Llc Personalized entity repository
US10055390B2 (en) 2015-11-18 2018-08-21 Google Llc Simulated hyperlinks on a mobile device based on user intent and a centered selection of text
US10146397B2 (en) * 2015-11-27 2018-12-04 International Business Machines Corporation User experience steering
US10257303B2 (en) * 2016-03-31 2019-04-09 International Business Machines Corporation Proxy-computer-based provision of alternative graphical user interfaces
US10802839B2 (en) * 2016-11-21 2020-10-13 Vmware, Inc. User interface customization based on user tendencies
US11237696B2 (en) 2016-12-19 2022-02-01 Google Llc Smart assist for repeated actions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065921A (ja) * 2004-08-25 2006-03-09 Roland Corp 処理シーケンス編集プログラムおよび処理シーケンス編集装置
KR20140009687A (ko) * 2012-07-12 2014-01-23 삼성전자주식회사 매크로 기능을 이용하는 복합 입력 처리 방법 및 장치
KR20160005045A (ko) * 2013-05-07 2016-01-13 퀄컴 인코포레이티드 음성 활성화를 제어하는 방법 및 장치
JP2016040666A (ja) * 2014-08-12 2016-03-24 株式会社Ihi シーケンス生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220094848A (ko) * 2020-12-29 2022-07-06 주식회사 레이드백 이미지를 활용한 프로세스 자동화 방법 및 장치

Also Published As

Publication number Publication date
WO2018118171A1 (en) 2018-06-28
GB201715581D0 (en) 2017-11-08
DE202017105691U1 (de) 2018-01-19
EP3539076B1 (en) 2023-09-13
JP7274418B2 (ja) 2023-05-16
JP2020514857A (ja) 2020-05-21
KR102355481B1 (ko) 2022-01-26
DE102017121758A1 (de) 2018-06-21
EP3539076A1 (en) 2019-09-18
US20180173403A1 (en) 2018-06-21
US11860668B2 (en) 2024-01-02
CN108205467A (zh) 2018-06-26
EP4246321A3 (en) 2023-11-08
US11237696B2 (en) 2022-02-01
GB2558036A (en) 2018-07-04
EP3539076A4 (en) 2020-12-30
EP4246321A2 (en) 2023-09-20
US20220147227A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
KR102355481B1 (ko) 반복된 액션에 대한 스마트 어시스트
US10996828B2 (en) Method and system for configuring selection of contextual dashboards
US11138003B2 (en) Methods and systems for automatic determination of a device-specific configuration for a software application operating on a user device
US9787798B2 (en) Generating collapsed user interface interaction sequence controls in mobile applications
WO2019112841A1 (en) Sharing of user information with and between bots
CN110651251A (zh) 用于自适应用户界面的系统和方法
US10536556B2 (en) Automation of browsing mode switching
CN109814801A (zh) 应用登录方法、装置、终端及存储介质
US11278801B2 (en) Management of provisioning of video game during game preview
US11868492B2 (en) Systems and methods for mediating permissions
US10157210B2 (en) Searching and accessing software application functionality using application connections
JP7359548B2 (ja) モバイル端末、モバイル端末のアプリケーション管理方法、ターゲット広告提供システム、およびプログラム
US20160098260A1 (en) Single gesture access to an operating system menu to initiate operations related to a currently executing application
CN104199616A (zh) 一种移动终端的信息输入方法及设备
US11681816B1 (en) Private session for mobile application
US20170169022A1 (en) Generating Software Application Search Results Using Application Connections
WO2024063802A1 (en) Private session for mobile application
EP3994644A1 (en) Recognizing problems in productivity flow for productivity applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right