KR102601108B1 - 자동채움 필드 분류를 위한 시스템 및 방법 - Google Patents
자동채움 필드 분류를 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR102601108B1 KR102601108B1 KR1020237013874A KR20237013874A KR102601108B1 KR 102601108 B1 KR102601108 B1 KR 102601108B1 KR 1020237013874 A KR1020237013874 A KR 1020237013874A KR 20237013874 A KR20237013874 A KR 20237013874A KR 102601108 B1 KR102601108 B1 KR 102601108B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- values
- remote provider
- suggested
- additional
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000004044 response Effects 0.000 claims abstract description 82
- 238000013468 resource allocation Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 230000003993 interaction Effects 0.000 description 10
- 230000000670 limiting effect Effects 0.000 description 9
- 241001523858 Felipes Species 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000246 remedial effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 101100520142 Caenorhabditis elegans pin-2 gene Proteins 0.000 description 1
- 241001672694 Citrus reticulata Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 101150037009 pin1 gene Proteins 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/174—Form filling; Merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
예시적 방법은 사용자 디바이스의 사용자 인터페이스(UI)에서 애플리케이션에 의해 디스플레이되는 사용자 특정 정보를 제외한 콘텐츠의 서브세트를 결정하는 단계를 포함한다. 방법은 애플리케이션에 대한 자동채움 요청을 원격 제공자에게 전송하는 단계를 더 포함한다. 방법은 또한 하나 이상의 제안된 사용자 값 및 UI에서 애플리케이션에 의해 디스플레이되는 텍스트 입력 필드에 대한 필드 분류 요청을 수신하는 단계를 포함한다. 방법은 상기 텍스트 입력 필드에서 상기 사용자 입력 값을 검출하고, 상기 사용자 입력 값과 상기 하나 이상의 제안된 사용자 값 각각의 비교에 기초하여, 상기 하나 이상의 제안된 사용자 값 각각에 대한 유사성 메트릭을 결정하는 단계를 더 포함한다. 방법은 또한 하나 이상의 제안된 사용자 값 중 적어도 하나에 대한 유사성 메트릭을 포함하는 필드 분류 요청에 대한 응답을 원격 제공자에게 전송하는 단계를 포함한다.
Description
관련 출원에 대한 상호 참조
본 출원은 2018년 3월 6일에 출원된 미국 가출원 번호 62/639,471에 우선권을 주장하며, 본 명세서에 기술된 바와 같이, 그 전체 내용은 본 명세서에서 완전히 본 명세서에 참고로서 통합된다.
모바일 디바이스, 모바일폰, 개인용 컴퓨터 및 태블릿을 포함한 많은 최신 컴퓨팅 디바이스는 사용자가 컴퓨팅 디바이스와 인터렉션할 수 있도록 하는 사용자 인터페이스(UI)를 제공한다. 예를 들어, 어플리케이션 프로그램은 UI를 사용하여 이미지, 텍스트 및 윈도우, 대화 상자, 팝업, 이미지, 버튼, 스크롤 막대 및 아이콘과 같은 그래픽 요소를 사용하여 사용자와 통신할 수 있다. UI는 또한 터치 스크린, 존재-감응형 디스플레이, 컴퓨터 마우스, 키보드 및 사용자가 UI 및 그에 따라 어플리케이션 프로그램을 제어하게 하는 기타 디바이스와 같은 디바이스들로부터 입력을 수신할 수 있다.
일부 경우에, UI를 사용하여 운영 체제와 인터렉션하여 컴퓨팅 디바이스를 관리할 수 있다. 예를 들어, 운영 체제는 UI를 사용하여 컴퓨팅 디바이스의 일부 양태(들)(예: 오디오 제어, 비디오 출력, 컴퓨터 메모리 및 운영 체제에 의해 사용되는 사람 언어(들)(예: 영어, 프랑스어, 만다린, 힌디어, 러시아어 등의 정보를 받도록 선택))에 대한 제어 설정과 관련된 하나 이상의 윈도우들을 그리는 제어판 또는 설정 어플리케이션을 가질 수 있다. 제어판/설정 어플리케이션은 UI를 사용하여 윈도우(들)과 관련된 후속 입력을 수신할 수 있다. UI는 제어판/설정 어플리케이션을 통해 운영 체제에 입력을 제공하여 컴퓨팅 디바이스를 관리할 수 있다.
그러나 수동으로 UI에 데이터를 입력하는 것은 사용자에게 불편하고 느리고 번거롭거나 특히 UI가 작은 모바일 디바이스에서 오류를 생성할 수 있다.
예시적 실시예는 사용자 디바이스에 사용자 입력 데이터를 저장하지 않고, 사용자 입력 데이터를 크라우드 소싱 및 스코어링에 기초하여 원격 제공자의 도움으로 사용자 디바이스의 운영 체제가 애플리케이션에 대한 자동채움 데이터를 제공할 수 있게 하는 시스템에 관한 것이다. 보다 구체적으로, 사용자가 민감한 정보 또는 기밀 정보를 입력할 수 있음을 인식하면, 사용자 디바이스의 운영 체제는 사용자 디바이스의 사용자 인터페이스(UI)에서 애플리케이션에 의해 디스플레이되는 해당 사용자에 특정적인 특정 정보를 제외하는 콘텐츠의 서브 세트를 결정할 수 있다. 그 후, 추가 양태에서, 운영 체제는 이 콘텐츠의 서브 세트를 사용하여 애플리케이션에 대한 자동채움 요청을 생성하고 원격 제공자에게 전송할 수 있다. 추가적으로, 이 요청에 기초하여, 운영 체제는 적어도 하나 이상의 제안된 사용자 값 및 UI에서 애플리케이션에 의해 디스플레이되는 텍스트 입력 필드에 대한 필드 분류 요청을 포함하는 원격 제공자로부터 응답을 수신할 수 있다. 또한, 운영 체제는 텍스트 입력 필드에서 사용자 입력을 검출할 수 있고, 상기 텍스트 입력 필드에서 상기 사용자 입력 값을 검출함에 응답하여, 상기 사용자 입력 값과 상기 하나 이상의 제안된 사용자 값 각각의 비교에 기초하여, 상기 하나 이상의 제안된 사용자 값 각각에 대한 유사성 메트릭을 결정할 수 있다. 다른 양태에서, 운영 체재는 상기 필드 분류 요청에 대한 응답을 상기 원격 제공자에게 전송할 수 있고, 상기 응답은 상기 하나 이상의 제안된 값 중 적어도 하나에 대한 상기 유사성 메트릭을 포함한다.
일 양태에서, 방법은 사용자 디바이스의 사용자 인터페이스(UI)에서 애플리케이션에 의해 디스플레이되는 콘텐츠의 서브세트를 결정하는 단계를 포함하며, 상기 서브세트는 사용자 특정 정보를 제외한다. 상기 방법은 상기 애플리케이션에 대한 자동채움 요청을 원격 제공자에게 전송하는 단계를 더 포함하며, 상기 자동채움 요청은 상기 UI에 디스플레이된 콘텐츠의 상기 서브세트를 포함한다. 또한 방법은 상기 자동채움 요청에 응답하여 상기 원격 제공자로부터, 상기 UI에서 상기 애플리케이션에 의해 디스플레이된 텍스트 입력 필드에 대한 하나 이상의 제안된 사용자 값 및 필드 분류 요청을 수신하는 단계를 포함한다. 방법은 상기 텍스트 입력 필드에서 사용자 입력 값을 검출하는 단계를 더 포함한다. 방법은 상기 텍스트 입력 필드에서 상기 사용자 입력 값을 검출함에 응답하여, 상기 사용자 입력 값과 상기 하나 이상의 제안된 사용자 값 각각의 비교에 기초하여, 상기 하나 이상의 제안된 사용자 값 각각에 대한 유사성 메트릭을 결정하는 단계를 더 포함한다. 또한 방법은 상기 필드 분류 요청에 대한 응답을 상기 원격 제공자에게 전송하는 단계를 포함하며, 상기 응답은 상기 하나 이상의 제안된 사용자 값 중 적어도 하나에 대한 상기 유사성 메트릭을 포함한다.
일 양태에서, 사용자 디바이스가 제공된다. 사용자 디바이스는 UI 및 운영 체제를 포함하며, 상기 운영 체제는 상기 사용자 디바이스의 상기 UI에서 애플리케이션에 의해 디스플레이되는 콘텐츠의 서브세트를 결정하도록 구성되며, 상기 서브세트는 사용자 특정 정보를 제외한다. 운영 체제는 상기 애플리케이션에 대한 자동채움 요청을 원격 제공자에게 전송하도록 더 구성되며, 상기 자동채움 요청은 상기 UI에 디스플레이된 콘텐츠의 상기 서브세트를 포함한다. 운영 체제는 상기 자동채움 요청에 응답하여 상기 원격 제공자로부터, 상기 UI에서 상기 애플리케이션에 의해 디스플레이된 텍스트 입력 필드에 대한 하나 이상의 제안된 사용자 값 및 필드 분류 요청을 수신하도록 구성된다. 운영 체제는 텍스트 입력 필드에서 사용자 입력 값을 검출하도록 추가로 구성된다. 운영 체제는 상기 텍스트 입력 필드에서 상기 사용자 입력 값을 검출함에 응답하여, 상기 사용자 입력 값과 상기 하나 이상의 제안된 사용자 값 각각의 비교에 기초하여, 상기 하나 이상의 제안된 사용자 값 각각에 대한 유사성 메트릭을 결정하도록 더 구성된다. 운영 체제는 상기 필드 분류 요청에 대한 응답을 상기 원격 제공자에게 전송하도록 구성되며, 상기 응답은 상기 하나 이상의 제안된 사용자 값 중 적어도 하나에 대한 상기 유사성 메트릭을 포함한다.
다른 양태에서, 사용자 디바이스의 운영 체제로 하여금 기능들을 수행하게 하기 위는 하나 이상의 프로세서들에 의해 실행 가능한 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체가 제공된다. 기능은 사용자 디바이스의 사용자 인터페이스(UI)에서 애플리케이션에 의해 디스플레이되는 콘텐츠의 서브세트를 결정하는 동작을 포함하며, 상기 서브세트는 사용자 특정 정보를 제외한다. 기능은 상기 애플리케이션에 대한 자동채움 요청을 원격 제공자에게 전송하는 동작을 포함하며, 상기 자동채움 요청은 상기 UI에 디스플레이된 콘텐츠의 상기 서브세트를 포함한다. 이러한 기능은 상기 자동채움 요청에 응답하여 상기 원격 제공자로부터, 상기 UI에서 상기 애플리케이션에 의해 디스플레이된 텍스트 입력 필드에 대한 하나 이상의 제안된 사용자 값 및 필드 분류 요청을 수신하는 동작을 포함한다. 이러한 기능은 텍스트 입력 필드에서 사용자 입력 값 검출하는 동작을 포함한다. 이러한 기능은 상기 텍스트 입력 필드에서 상기 사용자 입력 값을 검출함에 응답하여, 상기 사용자 입력 값과 상기 하나 이상의 제안된 사용자 값 각각의 비교에 기초하여, 상기 하나 이상의 제안된 사용자 값 각각에 대한 유사성 메트릭을 결정하는 동작을 더 포함한다. 이러한 기능은 상기 필드 분류 요청에 대한 응답을 상기 원격 제공자에게 전송하는 동작을 포함하며, 상기 응답은 상기 하나 이상의 제안된 사용자 값 중 적어도 하나에 대한 상기 유사성 메트릭을 포함한다.
다른 양태에서, UI, 적어도 하나의 프로세서 및 명령어들(적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서로 하여금 기능들을 수행하게 함)이 저장된 비일시적 컴퓨터 판독가능 매체를 포함하는 시스템이 제공된다. 시스템은 기능은 사용자 디바이스의 사용자 인터페이스(UI)에서 애플리케이션에 의해 디스플레이되는 콘텐츠의 서브세트를 결정하는 수단을 포함하며, 상기 서브세트는 사용자 특정 정보를 제외한다. 상기 시스템은 상기 애플리케이션에 대한 자동채움 요청을 원격 제공자에게 전송하는 수단을 더 포함하며, 상기 자동채움 요청은 상기 UI에 디스플레이된 콘텐츠의 상기 서브세트를 포함한다. 상기 시스템은 상기 자동채움 요청에 응답하여 상기 원격 제공자로부터, 상기 Ui에서 상기 애플리케이션에 의해 디스플레이된 텍스트 입력 필드에 대한 하나 이상의 제안된 사용자 값 및 필드 분류 요청을 수신하는 수단을 더 포함한다. 상기 시스템은 텍스트 입력 필드에서 사용자 입력 값을 검출하는 수단을 더 포함한다. 상기 시스템은 상기 텍스트 입력 필드에서 상기 사용자 입력 값을 검출함에 응답하여, 상기 사용자 입력 값과 상기 하나 이상의 제안된 사용자 값 각각의 비교에 기초하여, 상기 하나 이상의 제안된 사용자 값 각각에 대한 유사성 메트릭을 결정하는 동작을 더 포함한다. 또한 상기 시스템은 상기 필드 분류 요청에 대한 응답을 상기 원격 제공자에게 전송하는 동작을 포함하며, 상기 응답은 상기 하나 이상의 제안된 사용자 값 중 적어도 하나에 대한 상기 유사성 메트릭을 포함한다.
전술한 요약은 단지 예시적 것이며 어떤 식으로든 제한하려는 것이 아니다. 전술한 예시적인 양태, 실시예 및 구성에 추가하여, 추가적 양태, 실시예 및 구성은 도면 및 다음의 상세한 설명 및 첨부 도면을 참조함으로써 명백해질 것이다.
도 1은 예시적 실시예에 따른 분산 컴퓨팅 아키텍처를 도시한다.
도 2는 예시적 실시예에 따른 방법의 흐름도이다.
도 3a는 예시적 실시예에 따라, 원격 제공자에게 자동채움 요청을 전송하고, 원격 제공자로부터 제안된 사용자 데이터 및 필드 분류 요청을 수신하는 제1 디바이스의 운영 체제를 도시한다.
도 3b는 예시적 실시예에 따라, 제1 모바일 디바이스의 애플리케이션의 텍스트 입력 필드로의 데이터의 수동 사용자 기입 및 사용자 입력 데이터에 기초하여 하나 이상의 유사성 메트릭을 생성하고 원격 제공자에게 송신하는 운영 체제를 도시한다.
도 4a는 예시적 실시예에 따라, 원격 제공자에게 자동채움 요청을 전송하고, 원격 제공자로부터 제안된 사용자 데이터 및 필드 분류 요청을 수신하는 제2 디바이스의 운영 체제를 도시한다.
도 4b는 예시적 실시예에 따라, 제2 모바일 디바이스의 애플리케이션의 텍스트 입력 필드로의 데이터의 수동 사용자 기입 및 사용자 입력 데이터에 기초하여 하나 이상의 유사성 메트릭을 생성하고 원격 제공자에게 송신하는 운영 체제를 도시한다.
도 5는 예시적 실시예에 따라, 원격 제공자에게 자동채움 요청을 송신하고, 원격 제공자로부터 자동채움 값을 수신 및 디스플레이하는 제3 사용자 디바이스의 운영 체제를 도시한다.
도 6는 예시적 실시예에 따른 예시적 컴퓨팅 디바이스의 기능 블록도이다.
도 2는 예시적 실시예에 따른 방법의 흐름도이다.
도 3a는 예시적 실시예에 따라, 원격 제공자에게 자동채움 요청을 전송하고, 원격 제공자로부터 제안된 사용자 데이터 및 필드 분류 요청을 수신하는 제1 디바이스의 운영 체제를 도시한다.
도 3b는 예시적 실시예에 따라, 제1 모바일 디바이스의 애플리케이션의 텍스트 입력 필드로의 데이터의 수동 사용자 기입 및 사용자 입력 데이터에 기초하여 하나 이상의 유사성 메트릭을 생성하고 원격 제공자에게 송신하는 운영 체제를 도시한다.
도 4a는 예시적 실시예에 따라, 원격 제공자에게 자동채움 요청을 전송하고, 원격 제공자로부터 제안된 사용자 데이터 및 필드 분류 요청을 수신하는 제2 디바이스의 운영 체제를 도시한다.
도 4b는 예시적 실시예에 따라, 제2 모바일 디바이스의 애플리케이션의 텍스트 입력 필드로의 데이터의 수동 사용자 기입 및 사용자 입력 데이터에 기초하여 하나 이상의 유사성 메트릭을 생성하고 원격 제공자에게 송신하는 운영 체제를 도시한다.
도 5는 예시적 실시예에 따라, 원격 제공자에게 자동채움 요청을 송신하고, 원격 제공자로부터 자동채움 값을 수신 및 디스플레이하는 제3 사용자 디바이스의 운영 체제를 도시한다.
도 6는 예시적 실시예에 따른 예시적 컴퓨팅 디바이스의 기능 블록도이다.
예시적 방법들 및 시스템들이 본 명세서에 기술된다. 본 명세서에 기술된 임의의 실시예 또는 구성은 다른 실시예들 또는 구성들에 비해 선호되거나 이점이 있는 것으로서 해석되어야만 하는 것은 아니다. 본 명세서에 기술된 예시적 실시예들은 제한을 의미하지 않는다. 개시된 시스템 및 방법의 특정 양태들은 매우 다양한 상이한 구성으로 배열되고 조합될 수 있으며, 이들 모두는 본 명세서에서 고려된다는 것을 쉽게 이해될 것이다.
추가로, 도면들에 도시된 특정 배열들은 제한으로서 보여져서는 아니된다. 다른 실시예들은 해당 도면에서 도시된 각 엘리먼트보다 더 많게 또는 더 적게 포함할 수 있다는 것이 이해되어야 한다. 추가로, 도시된 엘리먼트들의 일부는 조합되거나 생략될 수 있다. 추가로, 예시적 실시예는 도면들에 도시되지 않은 엘리먼트들을 포함할 수 있다.
본 명세서에 일반적으로 기술되고 도면들에 도시된 것으로서 본 개시의 양태들은 광범위한 상이한 구성들로 배열, 대체, 조합, 분리 및 디자인될 수 있고, 이 모든 것들은 본 명세서에서 고려된다.
I. 개요
모바일 디바이스, 모바일폰, 개인용 컴퓨터 및 태블릿을 포함한 사용자 디바이스는 최신 통신 네트워크에서 어디에나 존재한다. 이들 디바이스들 중 다수는 그러한 네트워크 내에서 통신을 지원하면서 하나 이상의 어플리케이션들을 실행할 수 있다. 또한, 이들 디바이스들 중 다수는 사용자가 사용자 디바이스와 인터렉션할 수 있게 하는 하나 이상의 UI들을 제공한다.
예를 들어, 사용자는 UI를 사용하여 이미지, 텍스트 및 다른 그래픽 요소를 사용하여 사용자 디바이스의 어플리케이션에 의해 사용될 정보를 통신할 수 있다. UI는 또한 터치 스크린, 존재-감응형 디스플레이, 컴퓨터 마우스, 키보드 및 사용자가 UI 및 그에 따라 어플리케이션을 제어하게 하는 기타 디바이스와 같은 사용자 디바이스와 연결된 다수의 디바이스들로부터 입력을 수신할 수 있다.
최적의 시나리오에서, 사용자는 UI를 효과적이고 효율적으로 사용하여 그러한 정보를 통신할 수 있을 것이나, 하나 이상의 팩터들은 그렇게 하기 위한 사용자의 능력에 제한을 줄 수 있다. 따라서, 이러한 제한 하에서 동작되는 경우, 점점 더 많은 정보를 통신할 필요성이 증가함에 따라, 이 정보를 효과적이고 효율적으로 통신하는 능력이 제한될 수 있다.
예를 들어, 작은 화면을 가진 사용자 디바이스의 경우, 특히 사용자가 기억하기 어려운 텍스트인 경우, 어플리케이션에서 사용될 정보를 통신하기 위해 UI에 방대한 양의 텍스트를 입력하는 것은 매우 어려울 수 있다. 따라서, 어플리케이션이 이 정보를 기억할 수 있는 것은 다음에 어플리케이션이 사용자에 의해 사용될 때 재통신할 필요가 없기 때문에 유리할 수 있다. 그러나, 사용자가 통신을 시도하는 어플리케이션의 수가 증가함에 따라, UI를 사용하여 많은 양의 텍스트를 이러한 각각의 어플리케이션(처음 또는 기타)에 통신하는데 부과되는 부담은 사용자에게도 부담된다. 개별 어플리케이션이 사용자에 의해 입력된 정보를 기억하더라도 이것은 사실일 수 있다. 결과적으로 이러한 정보를 입력하기 위한 프롬프트가 표시되면 사용자는 이러한 어플리케이션에 덜 참여하거나 사용을 포기할 수 있다.
이들 문제점 중 일부는 사용자 디바이스의 운영 체제가 원격 제공자의 도움으로 다수의 어플리케이션들에 걸쳐서 자동 채움을 지원하기 위한 중간자로서 서비스함으로써 사용자 디바이스의 사용자가 이러한 어플리케이션들에 의해 사용될 정보를 효과적이고 효율적으로 통신하게 하는 방법, 시스템 및 디바이스를 통해 해결될 수 있다. 구체적으로, 일부 예에서, 부분적으로 자동채움을 가능하게 하고, 인가된 원격 제공자가 자동채움을 위한 데이터를 제공하게 하고, 자동채움 데이터를 검색하고, 자동채움 데이터를 향후 사용을 위해 저장함으로써 사용자는 사용자 디바이스의 운영 체제 레벨에서 자동채움을 사용할 수 있다.
그러나 일부 사용자는 자동채움 제안 또는 운영 체제 또는 원격 제공자의 자동채움 요청과의 지속적인 인터렉션으로 인해 좌절하거나 피로해질 수 있다. 이 문제는 사용자에게 제공된 자동채움 제안이 올바르지 않거나 잘못 배치된 경우, 특히 사용자가 이전에 자동채움 프로세스 및 자동채움 원격 제공자와 인터렉션했었던 경우 더욱 심해질 수 있다. 따라서 이상적인 세계에서 자동채움 원격 제공자는 사용자의 디바이스에 디스플레이되는 애플리케이션에서 사용자의 데이터를 자동채움할 위치를 정확히 알고 있을 것이다.
안타깝게도 대부분의 운영 체제, 애플리케이션 및 자동채움 원격 제공자는 이러한 방식으로 작동하지 않으며, 대신 현재 상당히 신뢰할 수 없는 옵션에만 의존할 수 있다. 일례로, 이러한 서비스는 사용자 입력 데이터와 사용자가 이 데이터를 입력하거나 입력해야 하는 텍스트 입력 필드의 올바른 의미를 파악하기 위해 휴리스틱 및 휴리스틱 데이터를 사용할 수 있다(예: 원격 제공자는 뷰 리소스 식별자의 하위 문자열에서 사용자 이름 또는 암호를 찾을 수 있음). 그러나 이러한 휴리스틱 및 휴리스틱 데이터의 문제는 신뢰할 수 없다는 것이고, 사용자가 일반적으로 피하려고 하는 바로 그 문제로 이어진다는 것이다: 사용자가 데이터를 직접 입력하는 것보다 더 많은 시간과 노력을 낭비하는 것이다. 이러한 비효율성은 여러 가지 방식으로 발생한다.
일 예에서, 사용자는 종종 잘못 추측되는 자동채움 입력 데이터 및 텍스트 입력 필드를 수정하는데 시간과 노력을 소비할 수 있다(예를 들어, 원격 제공자는 사용자 이름에 대한 자동채움 데이터를 암호 필드로 전송한다). 다른 예에서, 사용자는 운영 체제 또는 원격 제공자가 자동으로 채울 수 있는 필드를 전혀 검출하지 못한다는 것을 인지할 수 있고, 이는 사용자에게 매우 실망스러울 수 있다-특히, 하나 이상의 원격 제공자 또는 사용자가 인터렉션했던 애플리케이션에 대해 입력된 데이터가 이전에 저장되었음을 알고 있는 경우.
그러나 위에서 설명한 바와 같이, 원격 제공자는 사용자가 향후 자동채움 사용을 위해 해당 데이터를 사용할 수 있도록 허용할 때까지 사용자가 향후 자동채움 사용을 위해 입력할 수 있는 데이터에 액세스할 수 없기 때문에 원격 제공자가 운영 체제에 사용자가 입력한 데이터가 향후 자동채움 사용을 위해 사용될 것인지에 관한 유형, 범위 및 세부 정보 또는 그 방법에 대한 통찰력이나 방향을 제공하기가 어렵다.
또한 보안 및/또는 기타 이유로, 운영 체제는 사용자 동의없이 원격 제공자에게 자동으로 채워지는 애플리케이션의 사용자 데이터를 해제할 수 없다(반대의 경우도 마찬가지). 따라서 사용자의 특정 정보를 제공하거나 반복적이거나 잘못된 자동채움 프롬프트로 사용자를 괴롭히지 않고, 지능적으로 제안된 자동채움 데이터를 얻기 위해 원격 제공자와 동적으로 인터렉션할 수 있는 운영 체제가 직접적으로 필요하다.
사용자 입력 데이터를 사용자 디바이스에 저장하지 않고, 사용자 동의 전에 이 데이터를 손상시키지 않고, 사용자 입력 데이터를 크라우드 소싱 및 스코어링에 기초하여 원격 제공자의 도움으로 사용자 디바이스가 애플리케이션에 대한 자동채움 데이터를 사용자에게 프롬프트할 수 있도록 하는 방법, 시스템 및 디바이스와 관련된 예시적 실시예가 본 명세서에 개시된다. 구체적으로, 본 명세서에 개시된 예시적 실시예는 감소된 모바일 디바이스의 UI 풋프린트에 기초하여 이해하거나 전달하기 어려울 수 있는, 사용자에게 동의를 구하거나 귀찮게하거나 많은 옵션을 제시하지 않고, 사용자가 원격 제공자에 의해 사용을 위해 제안된 자동채움 데이터를 지능적으로 알 수 있도록 한다. 동시에 사용자를 둘러싼 특정 정보를 최대한 주의, 기밀 및 보안으로 취급해야할 필요가 있을 수 있다.
본 명세서에서 제안된 자동채움 솔루션에서, 크라우드 소싱을 위해 사용자의 데이터를 자동채움 서비스 또는 원격 제공자에게 임의로 보내는 대신, 이러한 당사자가 제안된 데이터를 운영 체제에 보내고 운영 체제는 사용자가 해당 데이터를 입력했는지 확인한다. 달리 말하면, 높은 수준의 근사치에서 예시적 실시예는 다음과 같이 동작할 수 있다: (1) 모바일 디바이스의 운영 체제가 모바일 디바이스의 UI에 디스플레이된 콘텐츠의 보안 서브 세트에 기초하여 원격 제공자에게 자동채움 요청을 송신한다. (2) 원격 제공자는 일반 사용자 데이터를 모바일 디바이스의 운영 체제에 송신하고, 채움 요청을 필드 분류가 필요한 것으로 마킹한다. (3) 운영 체제는 사용자가 애플리케이션에 입력한 임의의 데이터에 대한 유사성 메트릭에 기초하여 추가 자동채움 사용을 위해 필드 분류 결과를 반환한다.
일 예시적 실시예에서, 운영 체제는 사용자 디바이스의 사용자 인터페이스(UI)에서 애플리케이션에 의해 디스플레이되는 콘텐츠의 서브세트를 결정할 수 있으며, 상기 서브 세트는 사용자 특정 정보를 제외한다. 특히, 사용자는 컴퓨팅 디바이스와 인터렉션하고, 해당 디바이스의 어플리케이션과 인터렉션하기로 결정할 수 있다. 운영 체제는 사용자가 애플리케이션과 인터렉션하고, 운영 체제가 애플리케이션 자동채움과 관련이 있는 콘텐츠가 있다는 것을 인식할 수 있다.
일반적으로 UI에 애플리케이션에 의해 디스플레이된 콘텐츠는 운영 체제에서 확인할 수 있는 애플리케이션과 연관된 정보를 지칭한다. 일례에서, 이 콘텐츠는 사용자 디바이스의 UI에 디스플레이되는 콘텐츠의 현재 보기 계층 구조를 포함하거나 민감한 정보 및/또는 개인 정보를 포함할 수 있으며, 운영 체제는 사용자 특정 콘텐츠를 제외하는 콘텐츠의 서브세트만 결정한다.
추가 양태에서, 운영 체제는 상기 애플리케이션에 대한 자동채움 요청을 원격 제공자에게 전송할 수 있고, 상기 자동채움 요청은 상기 UI에 디스플레이된 콘텐츠의 상기 서브세트를 포함한다. 특히, 사용자 특정 정보를 제외한 디스플레이된 콘텐츠의 서브셋에 기초하여, 운영 체제는 잠재적으로 채울 수 있는 UI 상에 디스플레이된 필드들의 원격 제공자에게 경고하기 위해, 이 콘텐츠의 서브셋 내에 또는 이와 연관된 정보를 포함하는 요청을 원격 제공자에게 송신할 수 있다. 임의의 이벤트에서, 이 요청은 원격 제공자가 UI 상에 디스플레이된 콘텐츠를 안전하게 비공개적으로 파싱하여 어떤 정보가 애플리케이션에 대한 자동채움을 용이하게 하는데 유용한지를 결정할 수 있게 함으로써 운영 체제 및 사용자에게 유리할 수 있다(예를 들어, 애플리케이션에서 어떤 텍스트 입력 필드가 자동채움될지 결정).
어느 경우이든, 운영 체제는 애플리케이션과 함께 사용하기 위해 자동채움 요청(UI에 디스플레이되는 콘텐츠의 서브세트를 포함)을 전송할 수도 있다. 일부 예에서, 이 요청은 애플리케이션의 개시에 응답하여 전송될 수 있다. 일부 예에서, 이 요청은 애플리케이션의 텍스트 입력 필드의 선택에 응답하여 전송될 수 있다.
다른 양태에서, 운영 체제는 상기 자동채움 요청에 응답하여 상기 원격 제공자로부터, 상기 UI에서 상기 애플리케이션에 의해 디스플레이된 텍스트 입력 필드에 대한 하나 이상의 제안된 사용자 값 및 필드 분류 요청을 수신할 수 있다. 일반적으로, 원격 제공자로부터 수신된 응답은 자동채움을 촉진하는데 운영 체제 및 원격 제공자 등에 유용한 데이터를 제공할 수 있다.
일 예에서, 응답은 원격 제공자가 사용자에 의해 입력되고 및/또는 이전에 애플리케이션 또는 다른 애플리케이션에서 자동으로 채워진 사용자 값과 상관 관계를 결정하는 하나 이상의 제안된 사용자 값에 기초하여 자동채움을 용이하게 하는 운영 체제에 유용한 데이터를 포함할 수 있다. 이러한 방식으로, 원격 제공자가 애플리케이션 및 UI를 통해 사용자에게 자동채움 값을 제안하려고 시도하기 전에, 원격 제공자는 사용자를 괴롭히거나 방해하지 않고 애플리케이션에서 자동채움 텍스트 필드를 정확하게 식별할 수 있기를 희망하는 운영 체제에 제안된 사용자 값을 제공할 수 있다. 그러나 동시에, 운영 체제는 사용자에게 자동채움 값을 사용자에게 제안하는 가장 좋은 방법을 식별하려는 원격 제공자의 "무차별 대입"시도에 압도당하는 것을 원하지 않을 수 있다(예: 특히 많은 사용자를 대상으로 확장된 경우 일부가 궁극적으로 애플리케이션에 디스플레이된 텍스트 필드와 일치하기를 희망하며 과도한 양의 제안된 사용자 값을 송신). 이러한 무차별 대입 공격에 대처하기 위해, 예시적 실시예에서, 운영 체제는 여러 전술을 사용할 수 있다.
예를 들어, 운영 체제는 다음과 같이 제한하는 인터페이스(예: 애플리케이션 프로그래밍 인터페이스 또는 API)를 통해 원격 제공자로부터 제안된 사용자 값 및/또는 필드 분류 요청을 수신할 수 있다: (1) 하나 이상의 미리 결정된 팩터에 기초하여 원격 제공자로부터 수신되는 제안된 사용자 값의 총 수; (2) 제안된 사용자 값의 하나 이상의 특성 또는 속성에 기초하여, 제안된 사용자 값 자체의 특성; (3) 필드 분류 요청 또는 그들이 수신되는 빈도의 미리 결정된 최대 총 수에 기초하여 필드 분류 요청의 전체 수; (4) 사용자 입력 필드의 미리 결정된 최대 수에 기초하여 필드 분류 요청에 대한 사용자 입력 필드의 수; 및/또는 (5) 각 텍스트 입력 필드에 대한 필드 분류 요청의 수에 대한 필드 분류 요청의 미리 결정된 최대 필드 당 최대 수(예를 들어, 인터페이스는 텍스트 입력 필드 당 3개 이상의 필드 분류 요청을 허용하지 않을 것임).
제안된 사용자 값 및 필드 분류 요청 외에도, 원격 제공자는 운영 체제의 자동채움 요청에 대한 응답으로 자동채움를 용이하게 하는데 운영 체제에 유용한 추가 정보를 제공할 수 있다. 예를 들어, 제안된 사용자 값 및 필드 분류 요청 외에도, 원격 제공자는 애플리케이션에 의해 디스플레이되는 추가 텍스트 입력 필드에 대한 자동채움 값을 제공할 수 있고, 상기 추가 텍스트 필드는 원격 제공자가 이미 성공적으로 식별한 필드이다. 이에 응답하여, 일부 예에서, 운영 체제는 또한 자동채움 값이 추가 텍스트 입력 필드에 디스플레이되도록할 수 있다.
그러나 이러한 시나리오에서, 원격 제공자는 운영 체제의 기대나 인터페이스의 제한을 준수하지 않을 수 있다. 그리고 둘 중 하나를 수행하면 운영 체제가 원격 제공자의 액세스를 제한하는 방식으로 응답할 수 있다. 예를 들어, 운영 체제는 본 명세서에 기술된 프로세스 또는 그 일부에 할당된 리소스의 미리 결정된 할당을 가질 수 있으며, 운영 체제가 이 미리 결정된 리소스 할당이 초과되었다고 결정하면, 개선 조치를 취할 수 있다(예: 하나 이상의 원격 제공자로부터 임의의 추가로 제안된 사용자 값 또는 필드 분류 요청을 거부한다).
다른 양태에서, 운영 체제는 또한 필드 분류 요청이 수신되었던 텍스트 입력 필드에서 사용자 입력 값을 검출할 수 있고, 이에 응답하여, 하나 이상의 제안된 사용자 값 각각에 대한 사용자 입력 값의 비교에 기초하여 하나 이상의 제안된 사용자 값 각각에 대한 유사성 메트릭을 결정할 수 있다. 일부 예에서, 이 유사성 메트릭은 사용자 입력 값이 원격 제공자에 의해 제공되는 하나 이상의 제안된 사용자 값에 얼마나 근접했는지에 기초하여 생성된 스코어에 반영될 수 있다. 또한, 이러한 유사성 메트릭(예를 들어, 기본 비교 모델 또는 알고리즘)의 계산에 기반을 둔 방법은 다양할 수 있으며(예: 문자열 매칭 모델 또는 편집 거리 모델), 동적 일 수 있다(예: 기본 비교 모델은 자동채움 요청 간에 업데이트할 수 있으며, 관련 또는 서드 파티 소스(예: Google Play Store)를 통해 획득될 수도 있다.) 그리고, 이러한 방법은 원격 제공자에 의해 선택 가능할 수 있고(예를 들어, 운영 체제는 기본 비교 모델의 리스트를 원격 제공자에게 전송할 수 있으며, 원격 제공자의 선택된 기본 비교 모델에 기초하여, 선택된 기본 비교 모델을 적용함으로써 하나 이상의 제안된 사용자 값 각각에 대해 유사성 메트릭을 결정할 수 있다) 및/또는 디폴트로 설정될 수 있다.
다른 양태에서, 운영 체재는 상기 필드 분류 요청에 대한 응답을 상기 원격 제공자에게 전송할 수 있고, 상기 응답은 상기 하나 이상의 제안된 사용자 값 중 적어도 하나에 대한 상기 유사성 메트릭을 포함한다. 일부 예에서, 유사성 메트릭의 이러한 전송은 비-분별적일 수 있거나(예를 들어, 운영 체제는 모든 제안된 사용자 값에 대한 유사성 메트릭을 생성하고, 복수의 제안된 사용자 값 각각에 대한 유사성 메트릭을 전송할 수 있음) 또는 더 타겟팅되고 분석적일 수 있다(예를 들어, 운영 체제는 모든 제안된 사용자 값에 대해 유사성 메트릭을 생성할 수 있지만, 복수의 제안된 사용자 값 중 가장 일치하는 사용자 값에 대한 유사성 메트릭만 전송할 수 있음) 어느 쪽이든, 유사성 메트릭은 애플리케이션의 잠재적으로 자동채움 가능한 필드를 더 잘 식별하기 위해 원격 제공자가 사용될 수 있으며, 이는 애플리케이션이 향후 동일하거나 다른 사용자에 의해 실행될 때 원격 제공자가 더 나은 자동채움 서비스를 제공할 수 있도록 한다.
II. 분산 컴퓨팅 아키텍처
다양한 실시예들에 대한 상세한 참조가 이루어질 것이며, 그 예시들은 첨부도면에 도시된다. 다음의 상세한 설명에서, 본 개시 내용 및 설명된 실시예들에 대한 철저한 이해를 제공하기 위해 다수의 특정 세부 사항들이 설명된다. 그러나, 본 개시는 이러한 특정 세부 사항 없이도 실시될 수 있다. 다른 경우들에서, 공지된 방법들, 절차들, 컴포넌트들 및 회로들은 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 상세히 설명되지 않았다.
도 1은 예시적 실시예에 따른, 네트워크(106)를 통해, 사용자 디바이스(104a, 104b, 104c, 104d, 104e) 및 원격 제공자(112 및 114)와 통신하도록 구성된 서버 디바이스들(108, 110)을 갖는 분산 컴퓨팅 아키텍처(100)를 도시한다. 네트워크(106)는 근거리 통신망(LAN), 광역 통신망(WAN), 기업 인트라넷, 공용 인터넷, 또는 네트워킹된 컴퓨팅 디바이스들 사이의 통신 경로를 제공하도록 구성된 임의의 다른 유형의 네트워크에 대응할 수 있다. 네트워크(106)는 또한 하나 이상의 LAN, WAN, 회사 인트라넷 및/또는 공용 인터넷의 조합에 대응할 수 있다.
도 1에는 소수의 사용자 디바이스 집합만 도시되어 있지만, 분산 어플리케이션 아키텍처는 수십, 수백 또는 수천 개의 사용자 디바이스를 서비스할 수 있다. 더욱이, 사용자 디바이스들(104a, 104b, 104c, 104d, 104e)(또는 임의의 추가적 프로그래머블 디바이스들)은 사용자가 컴퓨팅 디바이스의 운영 체제에 관여하여 원격 제공자의 도움으로 다수의 어플리케이션들에 걸쳐 자동 채움을 용이하게 할 수 있는 일반 랩톱 컴퓨터, 데스크톱 컴퓨터, 웨어러블 컴퓨팅 디바이스, 모바일 컴퓨팅 디바이스, HMD(head-mountable device), 네트워크 터미널, 무선 통신 디바이스(예를 들어, 스마트폰 또는 휴대폰) 등과 같은 임의의 종류의 컴퓨팅 디바이스일 수 있다. 일부 실시예에서, 사용자 디바이스들(104a, 104b, 104c)로 표시된 것과 같은 사용자 디바이스들은 네트워크(106)에 직접 연결될 수 있다. 다른 실시예에서, 사용자 디바이스(104d 및 104e)로 표시된 것과 같은 사용자 디바이스들은 사용자 디바이스(104c)와 같은 연관된 컴퓨팅 디바이스를 통해 네트워크(106)에 간접적으로 연결될 수 있다. 그러한 실시예에서, 사용자 디바이스(104c)는 사용자 디바이스들(104d 및 104e)과 네트워크(106) 사이의 전자 통신을 전달하기 위해 연관된 컴퓨팅 디바이스로서 동작할 수 있다. 도 1에 도시되지 않은 또 다른 실시예에서, 사용자 디바이스는 네트워크(106)에 직접 및 간접적으로 연결될 수 있다.
서버 디바이스들(108, 110)은 컴퓨터 프로세싱 리소스들 및 데이터를 요구에 따라 컴퓨터 및 다른 디바이스들과 공유하는 클라우드 기반 서버 시스템의 일부로서 동작할 수 있다. 특히, 서버 디바이스들(108, 110)은 사용자 디바이스들(104a-104e)에 의해 요청된 하나 이상의 서비스들을 수행하도록 구성될 수 있다. 예를 들어, 서버 디바이스(108 및/또는 110)는 사용자 디바이스들(104a-104e)에 콘텐츠를 제공할 수 있다. 다른 양태에서, 서버 디바이스(108 및/또는 110)는 직접 또는 서드 파티로부터 요청된 콘텐츠의 전송을 용이하게 함으로써 콘텐츠를 사용자 디바이스들(104a-104e)에 제공할 수 있다. 콘텐츠는 웹페이지, 하이퍼텍스트, 스크립트, 컴파일된 소프트웨어와 같은 이진 데이터, 이미지, 오디오 및/또는 비디오를 포함할 수 있지만 이에 한정되지는 않는다. 콘텐츠는 압축 및/또는 비압축 콘텐츠를 포함할 수 있다. 콘텐츠는 암호화되거나 및/또는 암호화되지 않을 수 있다.
또한 원격 제공자들(112, 114)은 컴퓨터 프로세싱 리소스들 및 데이터를 요구에 따라 컴퓨터 및 다른 디바이스들과 공유하는 클라우드 기반 서버 시스템의 일부로서 동작할 수 있다. 특히, 예시적인 실시예에 따라, 원격 제공자(112, 114)는 네트워크(106) 상에서 콘텐츠를 제공, 수신, 저장, 관리 및 전송할 수 있다. 예를 들어, 원격 제공자(112 및/또는 114)는 사용자 디바이스(104a-104e)에 의해 사용될 콘텐츠에 대한 요청을 수신하고, 콘텐츠를 포함하는 응답을 생성하여 네트워크에 연결된 디바이스에 전송할 수 있다.
예시에서, 서버 디바이스(108 및/또는 110)는 원격 제공자(112 및/또는 114)의 도움으로 사용자 디바이스(104a-104e) 상의 다수의 어플리케이션에 걸쳐 자동 채움을 용이하게 하는 콘텐츠를 제공할 수 있다. 추가적으로, 서버 디바이스(108 및/또는 110)는 데이터베이스, 검색, 계산, 그래픽, 오디오, 비디오, 월드 와이드 웹/인터넷 이용 및/또는 다른 기능을 위한 소프트웨어에 대한 액세스를 사용자 디바이스(104a-104e)에 제공할 수 있다. 다른 많은 콘텐츠 예시들도 가능하다.
III. 방법 흐름도 및 예시적 실시예
도 2는 원격 제공자가 UI를 통해 사용자 디바이스의 운영 체제에 의해 디스플레이되는 애플리케이션에 대한 자동채움 서비스를 더 잘 제공할 수 있도록 수행될 수 있는 방법(200)을 보여주는 흐름도를 도시한다. 방법(200)은 도 1과 관련하여 도시되고 기술된 바와 같이 사용자 디바이스(104a-104e) 및 원격 제공자(112 및/또는 114), 일부 경우에 서버(108 및/또는 110)와 같은 하나 이상의 컴퓨팅 디바이스에 의해 수행될 수 있다. 추가적 예들에서, 방법(200)은 클라우드 기반 시스템의 일부로서 동작하는, 사용자 디바이스들(104a-104e) 및 원격 제공자(112 및/또는 114)에 의해, 그리고 일부 경우들에 서버(108 및/또는 110)에 의해 수행될 수 있다. 또한, 방법(200)은 도 1에 특별히 도시된 것 이외의 하나 이상의 다른 유형의 컴퓨팅 디바이스에 의해 수행될 수 있다.
추가적으로, 방법(200)의 단계들이 이하에서 운영 체제에 의해 완료되는 것으로 설명되지만, 사용자 디바이스와 관련된 다른 컴포넌트들, 어플리케이션들 및/또는 기술들도 방법(200)의 단계들을 수행할 수 있다.
또한, 본 명세서에 설명된 흐름도와 관련하여 설명된 기능은 특수 기능 및/또는 구성된 일반 기능 하드웨어 모듈, 특정 논리 기능을 달성하기 위해 프로세서에 의해 실행되는 프로그램 코드의 일부, 결정 및/또는 도 2에 도시된 흐름도와 관련하여 설명된 단계들로서 구현될 수 있다. 사용된 프로그램 코드는 예를 들어 디스크 또는 하드 드라이브를 포함하는 저장 디바이스와 같은 임의의 유형의 컴퓨터 판독가능 매체에 저장될 수 있다.
또한, 도 2에 도시된 흐름도의 각 블록은 프로세스에서 특정 논리 기능을 수행하도록 배선된 회로를 나타낼 수 있다. 구체적으로 표시되지 않는 한, 도 2에 도시된 흐름도의 기능들은 개별적으로 기술된 기능들의 실질적 동시 실행을 포함하여, 도시되거나 논의된 것으로부터 순서가 불완전하게 실행될 수 있거나, 또는 관련 기능에 따라 일부 예에서는 설명된 방법의 전체 기능이 유지되는 한 역순으로 실행될 수 있다.
블록(210)에서, 방법(200)은 사용자 디바이스의 사용자 인터페이스(UI)에서 애플리케이션에 의해 디스플레이되는 콘텐츠의 서브세트를 결정하는 단계를 포함하며, 상기 서브세트는 사용자 특정 정보를 제외한다. 특히, 사용자는 컴퓨팅 디바이스와 인터렉션하고, 해당 디바이스의 어플리케이션과 인터렉션하기로 결정할 수 있다. 운영 체제는 사용자가 애플리케이션과 인터렉션하고, 운영 체제가 애플리케이션 자동채움과 관련이 있는 콘텐츠가 있다는 것을 인식할 수 있다.
일반적으로 운영 체제는 일반적으로 자동 채움과 연관된 특정 데이터를 인식할 수 있다. 예를 들어, 운영 체제는 애플리케이션과 연관된 텍스트 입력 필드가 공통 자동채움 디스크립터(예를 들어, "이메일" 또는 "사용자 이름")를 포함하거나 연관된다는 것을 인식할 수 있다.
일 예에서, 운영 체제는 이벤트, 아마도 자동채움 트리거 이벤트의 트리거링으로 인해 UI에서 애플리케이션에 의해 디스플레이되는 콘텐츠의 서브세트를 결정하기 시작할 수 있다. 그러한 이벤트들은 디바이스와의 사용자 인터렉션의 상태를 포함하여, 사용자 디바이스의 현재 상태 또는 그 애플리케이션에 대한 정보를 제공할 수 있다. 자동채움 트리거 이벤트는 운영 체제가 적절한 시점에 인가된 자동 채움에 관여할 시기를 알도록 하기 위해 사용될 수 있다. 일부 예에서, 자동채움 트리거 이벤트들은 디바이스와의 직접 또는 간접 사용자 인터렉션들일 수 있다. 일반적으로, 사용자가 자동채움을 인가하면, 디바이스와의 사용자 인터렉션은 운영 체제에 의해 모니터링될 수 있다.
일 실시예에서, 예시적 자동채움 트리거 이벤트들은 다른 시나리오들 중에서도, 어플리케이션의 사용자의 개시 또는 어플리케이션의 텍스트 입력 필드의 사용자 선택과 같이 사용자의 요청과 같은 사용자 디바이스와의 직접적인 사용자 인터렉션과 연관된 데이터에 의해 표시될 수 있다.
다른 예에서, 자동채움 트리거 이벤트들은 다른 시나리오들 중에서도, 어플리케이션이 개시되었다는 신호, 또는 어플리케이션의 텍스트 입력 필드 또는 사용자 디바이스의 UI 상에 디스플레이된 콘텐츠의 일부 다른 파라미터에 포커싱되었다는 신호와 같은 사용자 디바이스와의 간접적 사용자 인터렉션과 연관된 데이터를 포함할 수 있다. 추가적 양태에서, 사용자 디바이스와의 사용자의 간접적 인터렉션은 UI 상에 디스플레이된 키보드와 같은 GUI 또는 그래픽에 의해 반영될 수 있다.
일반적으로 UI에 애플리케이션에 의해 디스플레이된 콘텐츠는 운영 체제에서 확인할 수 있는 애플리케이션과 연관된 정보를 지칭한다. 일례에서, 이 콘텐츠는 사용자 디바이스의 UI 상에 디스플레이된 콘텐츠의 현재 뷰 계층을 포함할 수 있다. 그러나, 콘텐츠는 또한 민감한 정보 및/또는 개인 정보를 포함할 수 있기 때문에, 운영 체제는 사용자 특정 정보를 배제하는 콘텐츠의 서브셋만을 결정한다.
일부 예에서, 사용자-특정 정보는 개인 식별 정보, 또는 한 사람을 식별, 접촉, 위치 찾기를 하기 위해 또는 다른 정보 또는 데이터의 컨텍스트에서 개인을 식별하기 위해 그 자체로 또는 다른 정보와 함께 사용될 수 있는 임의의 다른 정보를 포함할 수 있다. 추가적 예에서, 사용자 특정 정보는 사용자가 민감한 및/또는 사적인 것으로 지정한 정보를 포함할 수 있다.
또 다른 예에서, 사용자 특정 정보는 사용자와 연관된 하나 이상의 팩터들에 기초하여 민감한 및/또는 사적인 것으로 지정된 정보를 포함할 수 있다. 예를 들어, 사용자 특정 정보는 다른 가능성들 중에서, 사용자, 사용자 디바이스 및/또는 원격 제공자가 위치한 지리적 영역에 기초하여, 민감성 및/또는 사적인 것으로 지정된 정보를 포함할 수 있다. 또 다른 예에서, 사용자 특정 정보는 사용자의 속성(예: 사용자의 나이)에 기초하여 민감한 및/또는 사적인 것으로 지정된 정보를 포함할 수 있다.
블록(220)에서, 방법(200)은 상기 애플리케이션에 대한 자동채움 요청을 원격 제공자에게 전송하는 단계를 더 포함하며, 상기 자동채움 요청은 상기 UI에 디스플레이된 콘텐츠의 상기 서브세트를 포함한다. 요청은 사용자 디바이스에서 자동채움의 사용을 용이하게 하는데 도움이되도록 미리 선택된 원격 제공자 또는 사용자가 이전에 인터렉션했거나 인터렉션하지 않았을 수 있는 다수의 원격 제공자에게 송신될 수 있다. 특히, 사용자 특정 정보를 제외한 디스플레이된 콘텐츠의 서브셋에 기초하여, 운영 체제는 잠재적으로 채울 수 있는 UI 상에 디스플레이된 필드들의 원격 제공자에게 경고하기 위해, 이 콘텐츠의 서브셋 내에 또는 이와 연관된 정보를 포함하는 요청을 원격 제공자에게 송신할 수 있다. 임의의 이벤트에서, 이 요청은 원격 제공자가 UI 상에 디스플레이된 콘텐츠를 안전하게 비공개적으로 파싱하여 어떤 정보가 애플리케이션에 대한 자동채움을 용이하게 하는데 유용한지를 결정할 수 있게 함으로써 운영 체제 및 사용자에게 유리할 수 있다(예를 들어, 애플리케이션에서 어떤 텍스트 입력 필드가 자동채움될지 결정).
일부 예에서, 요청은 UI 상에 디스플레이된 텍스트 입력 필드들과 연관된 정보를 포함할 수 있다. 일 양태에서, 이 정보는 텍스트 입력 필드들과 연관된 하나 이상의 디스크립터들을 포함할 수 있다. 예를 들어, 이러한 디스크립터들은 "이름", "사용자 이름", "이메일", "암호", "주소", "도시", "주", "우편 번호", "국가", "계정 번호" 및/또는 "카드 번호"와 같은 용어를 포함할 수 있다.
다른 예에서, 요청은 사용자 디바이스의 현재 뷰 계층과 연관된 정보를 포함할 수 있다. 일 양태에서, 이 정보는 UI 상에 디스플레이된 콘텐츠의 서브셋(예를 들어, 기본 스크립트 및/또는 코드)을 컴파일 또는 유지하는 것과 연관된 정보를 포함할 수 있다. 다른 양태에서, 이 정보는 UI 상에 디스플레이된 콘텐츠의 서브셋(예를 들어, 콘텐츠의 서브셋의 와이어프레임 표현)을 일정 추정치들과 연관된 정보를 포함할 수 있다. 또 다른 양태에서, 이 정보는 UI 상에 디스플레이된 콘텐츠의 서브셋의 아키텍처와 연관된 정보(예를 들어, 상대적 레이아웃, 선형 레이아웃, 버튼, 테이블 레이아웃, 테이블 행, 체크 박스 및/또는 기타 엘리먼트들과 연관된 정보)를 포함할 수 있다.
어느 경우이든, 운영 체제는 애플리케이션과 함께 사용하기 위해 자동채움 요청(UI에 디스플레이되는 콘텐츠의 서브세트를 포함)을 전송할 수도 있다. 일부 예에서, 이 요청은 애플리케이션의 개시에 응답하여 전송될 수 있다. 일부 예에서, 이 요청은 애플리케이션의 텍스트 입력 필드의 선택에 응답하여 전송될 수 있다.
또 다른 일부 예에서, 이 요청은 하나 이상의 텍스트 입력 필드와 연관된 메타 데이터를 포함할 수 있다. 이 메타 데이터는 다른 데이터에 대한 정보를 제공하는 데이터 또는 정보일 수 있다(예: 설명 메타데이터(발견 및 식별을 목적으로 리소스를 설명할 수 있고, 제목, 요약, 저자 및 키워드와 같은 엘리먼트를 포함할 수 있음), 구조 메타데이터(데이터의 컨테이너에 관한 것일 수 있으며, 복합 오브젝트가 결합되는 방식을 표시함. 예를 들어, 챕터를 형성하기 위해 페이지를 정렬되는 방식 및 디지털 자료의 유형, 버전, 관계 및 기타 특성을 설명)) 및 관리 메타데이터(생성된 시기와 방법, 파일 유형 및 기타 기술 정보, 리소스에 액세스 할 수 있는 사람 등 리소스 관리에 도움이 되는 정보를 제공할 수 있음)).
블록(230)에서, 방법(200)은 상기 자동채움 요청에 응답하여 상기 원격 제공자로부터, 상기 UI에서 상기 애플리케이션에 의해 디스플레이된 텍스트 입력 필드에 대한 하나 이상의 제안된 사용자 값 및 필드 분류 요청을 수신하는 단계를 더 포함할 수 있다. 일반적으로, 원격 제공자로부터 수신된 응답은 자동채움을 촉진하는데 운영 체제 및 원격 제공자 등에 유용한 데이터를 제공할 수 있다.
일 예에서, 응답은 원격 제공자가 사용자에 의해 입력되고 및/또는 이전에 애플리케이션 또는 다른 애플리케이션에서 자동으로 채워진 사용자 값과 상관 관계를 판단하는 하나 이상의 제안된 사용자 값에 기초하여 자동채움를 용이하게 하는 운영 체제에 유용한 데이터를 포함할 수 있다. 이러한 방식으로 원격 제공자는 애플리케이션에서 텍스트 입력 필드를 식별할 수 있기를 희망하여 운영 체제에 제안된 사용자 값을 제공하여, 원격 제공자가 애플리케이션 및 UI를 통해 사용자에게 자동채움 값을 제안하기 전에 원격 제공자가 사용자를 괴롭히거나 사용자의 입력에 의존하지 않고 향후 입력 필드를 자동으로 채울 수 있도록 한다.
그러나, 동시에, 운영 체제는 일부가 궁극적으로 애플리케이션에 디스플레이된 텍스트 입력 필드와 일치하기를 희망하며 과도한 양의 제안된 사용자 값을 송신함으로써 사용자에게 자동채움 값을 사용자에게 제안하는 가장 좋은 방법을 식별하려는 원격 제공자의 "무차별 대입"시도에 압도당하는 것을 원하지 않을 수 있다. 이러한 무차별 대입 공격에 대처하기 위해 운영 체제는 여러 전술을 사용할 수 있다.
일 예에서, 운영 체제는 하나 이상의 미리 결정된 팩터에 기초하여 원격 제공자로부터 수신된 제안된 사용자 값의 총 수를 제한하는 인터페이스를 통해 원격 제공자로부터 제안된 사용자 값을 수신할 수 있다. 예를 들어, 그러한 인터페이스는 제안된 사용자 값의 미리 결정된 최대 총 수에 기초하여 제안된 사용자 값의 전체 수를 제한할 수 있다(예를 들어, 인터페이스는 임의의 하나의 원격 제공자로부터 10개 이상의 제안된 사용자 값을 허용하지 않을 것이다). 다른 예에서, 인터페이스는 각 텍스트 입력 필드에 대한 제안된 사용자 값의 수를 제안된 사용자 값의 미리 결정된 최대 필드 당 수로 제한할 수 있다(예를 들어, 인터페이스는 텍스트 입력 필드 당 3개 이상의 제안된 사용자 값을 허용하지 않을 것이다).
또 다른 예에서, 인터페이스는 제안된 사용자 값의 하나 이상의 특성 또는 속성에 기초하여 제안된 사용자 값 자체의 특성을 제한할 수 있다. 예를 들어, 인터페이스는 단일 특성(예를 들어, 미리 결정된 최소 문자 수) 또는 다수의 특성(예를 들어, 인터페이스가 하나 이상의 제안된 사용자 값 각각을 상기 제안된 사용자 값이 숫자만 포함하는 경우 제1 미리 결정된 최소 문자 수로 제한하고, 상기 제안된 사용자 값이 적어도 하나의 비-숫자 문자를 포함하는 경우 제2 미리 결정된 최소 문자 수로 제한할 수 있음)에 기초하여 하나 이상의 제안된 사용자 값 각각을 제한할 수 있다.
원격 제공자의 제안된 사용자 값과 유사하게, 운영 체제는 운영 체제의 자동채움 요청에 대한 응답으로 원격 제공자로부터 수신되는 필드 분류 요청의 수 또는 유형을 제한할 수 있다. 예를 들어, 인터페이스는 필드 분류 요청의 미리 결정된 최대 총 수(예를 들어, 인터페이스는 어느 한 원격 제공자로부터의 필드 분류 요청을 10개 이상 허용하지 않음) 또는 원격 제공자가 제공하는 빈도(인터페이스는 어느 한 원격 제공자로부터 시간당 10개 이상의 필드 분류 요청을 허용하지 않음)에 기초하여 필드 분류 요청의 전체 수를 제한할 수 있다.
다른 예에서, 인터페이스는 애플리케이션의 사용자 입력 필드의 수에 기초하여 필드 분류 요청의 수를 제한할 수 있다(예를 들어, 인터페이스는 단지 2개의 사용자 입력 필드가 있기 때문에 10개 이상의 필드 분류 요청을 허용하지 않을 것이다). 유사하게, 인터페이스는 각 텍스트 입력 필드에 대한 필드 분류 요청의 수를 필드 분류 요청의 미리 결정된 최대 필드 당 최대 수로 제한할 수 있다(예를 들어, 인터페이스는 텍스트 입력 필드 당 3개 이상의 필드 분류 요청을 허용하지 않을 것이다).
제안된 사용자 값 및 필드 분류 요청 외에도, 원격 제공자는 운영 체제의 자동채움 요청에 대한 응답으로 자동채움를 용이하게 하는데 운영 체제에 유용한 추가 정보를 제공할 수 있다. 예를 들어, 제안된 사용자 값 및 필드 분류 요청에 더하여, 원격 제공자는 애플리케이션에 의해 디스플레이되는 추가 텍스트 입력 필드에 대한 자동채움 값을 제공할 수 있다(예를 들어, 원격 제공자는 추가 분석없이 특정 추가 텍스트 입력 필드에 자동채움이 제안될 수 있는 일부 자동채움 값이 있음을 알 수 있다). 이에 응답하여, 일부 예에서, 운영 체제는 또한 자동채움 값이 추가 텍스트 입력 필드에 디스플레이되도록 할 수 있다.
그러나 이러한 시나리오에서, 원격 제공자는 운영 체제의 기대나 인터페이스의 제한 둘 모두를 준수하지 않을 수 있다. 그리고, 그렇게하면 운영 체제가 원격 제공자의 액세스를 제한하도록 응답할 수 있다. 예를 들어, 운영 체제는 본 명세서에 기술된 프로세스 또는 그 일부에 할당된 리소스의 미리 결정된 할당을 가질 수 있다(예: 운영 체제는 원격 제공자로부터 제안된 사용자 값 및 필드 분류 요청을 수신하기 위해 5%의 미리 결정된 시스템 리소스 할당을 가질 수 있다). 또한, 일부 예에서, 운영 체제가 이 미리 결정된 리소스 할당이 초과되었다고 결정하면, 개선 조치를 취할 수 있다(예를 들어, 미리 결정된 리소스할당인 5%가 초과되었다고 결정하는 것에 응답하여, 운영 체제는 원격 제공자로부터 임의의 추가적 제안된 사용자 값 또는 필드 분류 요청의 수신을 거부할 수 있다).
블록(240)에서, 방법(200)은 텍스트 입력 필드에서 사용자 입력 값을 검출하는 단계를 더 포함할 수 있다. 사용자 입력 값은 사용자가 개별 문자, 숫자 또는 단어를 입력(예를 들어, 타이핑)함에 따라 일정 기간에 걸쳐 수신될 수 있다. 운영 체제는 또한 운영 체제가 스코어링 메트릭을 생성하고 필드 분류 요청에 대한 응답을 제공할 수 있는 시기를 결정하기 위해, 필드 분류 요청이 수신된 텍스트 입력 필드를 모니터링할 수 있다.
블록(250)에서 방법(200)은 상기 텍스트 입력 필드에서 상기 사용자 입력 값을 검출함에 응답하여, 상기 사용자 입력 값과 상기 하나 이상의 제안된 사용자 값 각각의 비교에 기초하여, 상기 하나 이상의 제안된 사용자 값 각각에 대한 유사성 메트릭을 결정하는 단계를 더 포함한다.
일부 예에서, 이 유사성 메트릭은 사용자 입력 값이 원격 제공자에 의해 제공된 제안된 사용자 값들 중 하나 이상에 얼마나 근접했는지에 기초하여 생성된 점수에 반영될 수 있다(예를 들어, 일치가 얼마나 정확한지 알려주는 점수, 여기서 점수는 텍스트 입력 필드 ID와 연관된 모든 제안된 사용자 값 중 가장 높은 점수이다). 즉, 한 사용자가 입력한 값이 제1 필드 분류 요청(예: 제안된 이메일 값)에 대응하는 제안된 사용자 값과 완전히 일치(100%)되고 제2 필드 분류 요청(예를 들어, 제안된 사용자 이름)에 대응하는 다른 제안된 사용자 값과 부분적으로만 일치하는(예: 40%) 경우, 제1 필드 분류 요청에 대응하는 유사성 메트릭은 원격 제공자에 의해 더 우월한 일치인 것으로 보여질 수 있다. 따라서 원격 제공자는 필드가 사용자 이름 필드보다 이메일 필드일 가능성이 더 높다고 결론을 내릴 수 있다.
더욱이, 이러한 유사성 메트릭(예를 들어, 기본 비교 모델 또는 알고리즘)의 계산에 기반을 둔 방법은 다양할 수 있다(예를 들어, 문자열 매칭 모델 또는 편집 거리 모델). 추가 양태에서, 이러한 방법은 심지어 동적일 수 있다(예를 들어, 기본 비교 모델은 자동채움 요청 간에 업데이트 가능하며, 관련 또는 서드 파티 소스(예를 들어, Google Play Store)를 통해 획득할 수도 있음).
추가적으로, 이러한 방법은 원격 제공자에 의해 선택 가능할 수 있다(예를 들어, 운영 체제는 기본 비교 모델의 리스트를 원격 제공자에게 전송할 수 있으며, 원격 제공자의 선택된 기본 비교 모델에 기초하여, 선택된 기본 비교 모델을 적용함으로써 하나 이상의 제안된 사용자 값 각각에 대해 유사성 메트릭을 결정할 수 있다). 추가 양태에서, 설정되지 않은 경우, 운영 체제는 하나 이상의 팩터에 기초하여 디폴트 방법(예: 알고리즘)을 사용할 수 있다(예를 들어, 가장 일반적으로 사용되는 모델은 편집 거리에 기초한 것일 수 있으며, 따라서 디폴트 매칭 방법으로 사용될 수 있다).
블록(260)에서, 방법(200)은 상기 필드 분류 요청에 대한 응답을 상기 원격 제공자에게 전송하는 단계를 포함하며, 상기 응답은 상기 하나 이상의 제안된 사용자 값 중 적어도 하나에 대한 상기 유사성 메트릭을 포함한다. 일부 예에서, 유사성 메트릭들의 이러한 전송은 무분별할 수 있다(예를 들어, 운영 체제는 원격 제공자에 의해 송신된 모든 제안된 사용자 값에 대한 점수를 생성하고 추가 분석없이 원격 제공자에게 다시 전송한다). 달리 말하면, 일부 예에서, 원격 제공자로부터 수신된 하나 이상의 제안된 사용자 값은 복수의 제안된 사용자 값을 포함할 수 있으며, 이에 응답하여 운영 체제는 모든 제안된 사용자 값에 대한 유사성 메트릭을 생성하고 복수의 제안된 사용자 값 각각에 대한 유사성 메트릭을 전송할 수 있다. 그러나 일부 다른 예에서, 이 전송은 더 타겟팅되고 분석적일 수 있다.
예를 들어, 일부 실시예에서, 원격 제공자로부터 수신된 하나 이상의 제안된 사용자 값은 복수의 제안된 사용자 값을 포함할 수 있으며, 이에 응답하여 운영 체제는 모든 제안된 사용자 값에 대한 유사성 메트릭을 생성할 수 있지만 복수의 제안된 사용자 값으로부터 가장 일치하는 사용자 값에 대한 유사성 메트릭만 전송할 수 있다.
IV. 기타 예시적인 실시예들
또 다른 예에서, 필드 분류 요청은 다수의 텍스트 입력 필드를 표시할 수 있다. 일부 예에서, 동일한 세트의 제안된 사용자 값이 각각의 텍스트 입력 필드에 대한 유사성 메트릭을 생성하는데 사용될 수 있다. 운영 체제는 추가 텍스트 입력 필드에서 추가 사용자 입력 값을 검출할 수 있다. 그 다음, 상기 추가 텍스트 입력 필드에서 상기 추가 사용자 입력 값을 검출함에 응답하여, 운영 체제는 상기 추가 사용자 입력 값과 상기 하나 이상의 제안된 사용자 값 각각의 비교에 기초하여, 상기 하나 이상의 제안된 사용자 값 각각에 대한 추가 유사성 메트릭을 결정할 수 있다. 추가적으로, 운영 체제는 추가 응답을 상기 원격 제공자에게 전송할 수 있고, 상기 추가 응답은 상기 하나 이상의 제안된 사용자 값 중 적어도 하나에 대한 상기 추가 유사성 메트릭을 포함한다.
다른 예에서, 상이한 세트의 제안된 사용자 값이 각각의 텍스트 입력 필드에 대한 유사성 메트릭을 생성하는데 사용될 수 있다. 운영 체제는 상기 자동채움 요청에 응답하여 상기 원격 제공자로부터 하나 이상의 추가 제안된 값을 수신하고, 상기 하나 이상의 추가 제안된 값은 상기 하나 이상의 제안 사용자 값과 상이하다. 추가 양태에서, 운영 체제는 또한 추가 텍스트 입력 필드에서 추가 사용자 입력 값을 검출할 수 있다. 그 다음, 상기 추가 텍스트 입력 필드에서 상기 추가 사용자 입력 값을 검출함에 응답하여, 운영 체제는 상기 추가 사용자 입력 값과 상기 하나 이상의 제안된 값 각각의 비교에 기초하여, 상기 하나 이상의 제안된 값 각각에 대한 추가 유사성 메트릭을 결정할 수 있다. 다른 추가적 양태에서, 운영 체제는 추가 응답을 상기 원격 제공자에게 전송하는 할 수 있고, 상기 추가 응답은 상기 하나 이상의 추가 제안된 값 중 적어도 하나에 대한 상기 추가 유사성 메트릭을 포함한다.
V. 추가 설명적 도면 및 예시적 실시예
도 3a는 예시적 실시예에 따라, 제1 모바일 디바이스의 애플리케이션과의 제1 사용자의 인터렉션에 기초하여, 원격 제공자에게 자동채움 요청을 송신하고, 원격 제공자로부터 하나 이상의 제안된 사용자 값 및 필드 분류 요청을 수신하는 운영 체제를 도시한다. 특히, 셀룰러폰과 같은 사용자 디바이스(302)는 사용자 디바이스 상에 어플리케이션(304)의 일부를 표시할 수 있다. 애플리케이션(304)은 또한 사용자 디바이스(302)의 Ui에 디스플레이된 공통 자동채움 디스크립터(306)(예: "이메일")를 포함하거나 이와 연관된 텍스트 입력 필드를 포함할 수 있다. 이 예에서, 사용자 디바이스(302)의 운영 체제가 공통 자동채움 디스크립터(306)를 인식하면, 운영 체제는 자동채움(310)을 원격 제공자(310)에 송신할 수 있다.
추가로, 이 예에서, 위에서 설명된 바와 같이, 이 자동채움 요청(308)은 일부 포커스를 갖는 애플리케이션의 텍스트 입력 필드(여기서, "이메일" 텍스트 입력 필드는 텍스트가 디스플레이된 키보드를 통해 필드에 타이핑될 수 있음을 표시하는 수직선을 갖는다) 및/또는 그러한 포커스를 갖지 않는 애플리케이션의 텍스트 입력 필드(여기서, "암호" 텍스트 입력 필드는 이러한 수직선이 없음)에 응답할 수 있다.
그러나 이러한 시나리오 중 하나에서, 운영 체제가 이러한 자동채움 요청을 보내기 전에, 사용자 특정 정보를 제외하고 UI에 디스플레이되는 콘텐츠의 서브세트를 결정한다. 이 서브세트가 운영 체제에 의해 결정되고, 일부 이벤트가 동작을 트리거하여 자동채움 요청을 생성하고 전송하면, 운영 체제는 이 자동채움 요청을 생성하고 원격 제공자에게 전송한다(여기서 자동채움 요청(308)로 설명되며, UI에 디스플레이된 콘텐츠의 서브세트를 포함한다).
원격 제공자가 자동채움 요청을 수신하면, 원격 제공자는 운영 체제에 적어도 두 가지 정보를 제공할 수 있다: (1) 제안된 사용자 데이터(312)(제안된 사용자 값 "felipe@x.com" 및 "LemeF" 포함); 및 (2) 필드 분류 요청(314)(여기서 "autofillId1"로 표시됨).
제1 포인트와 관련하여, 하나 이상의 제안된 사용자 값은 운영 체제가 자동채움 요청(308)을 송신한 애플리케이션을 자동채우는 것과 관련될 수 있는 데이터로서 원격 제공자에 의해 제공될 수 있다. 다시, 이 예에서, 두 개의 제안된 사용자 값은 "felipe@x.com" 및 "LemeF"로 표시된다.
이 실시예의 맥락에서, 이전에 입력된 제안된 사용자 데이터(312)는 UserData 오브젝트에 의해 정의될 수 있으며, id 및 field_id의 맵 -> list_of_values 쌍을 포함할 수 있으며, 여기서 id는 전체 사용자 데이터를 식별하고(그러므로 버전 관리에 사용될 수 있음), field_id는 필드 유형을 나타내고, list_of_values는 해당 필드와 연관된 사용자 입력 값 리스트이다. 이 예에서 field_id "email"은 "felipe@x.com"값에 매핑되고 field_id "username"은 "LemeF"에 매핑된다.
또한 이 실시예의 맥락에서, id 및 field_id 둘 모두는 원격 제공자에 의해 설정되고 운영 체제에 의해 블랙 박스로 취급되는 임의의 값일 수 있지만, 이러한 프로세스를 디버그하는데 도움이 되는 의미있는 값을 포함할 수 있다. 예를 들어, 이러한 값을 포함하는 경우, 운영 체제는 아래 예시 코드를 통해 이 프로세스를 분석할 수 있다.
autofillManager.setUserData(new UserData.Builder( "v1")
.add( "email", "felipe@x.com")
.add(“username”, “LemeF”)
.build());
또한, 일부 실시예에서, UserData는 원격 제공자와 연관된 캐시된 오브젝트일 수 있으므로 다수의 요청에서 사용될 수 있다. 추가 양태에서, (예를 들어, 보안 목적으로) 선택해야 하는 하나 이상의 이유가 있을 수 있기 때문에, UserData는 유지되지 않을 수 있으며(즉, 일시적으로 저장될 수 있음), 대신 운영 체제 재부팅시 또는 현재 사용자가 변경되었거나 원격 제공자가 UserData를 재설정한 경우 소거될 수 있다. 이와 관련하여, 원격 제공자는 자동채움 프로세스의 추가 양태로 진행하기 전에 UserData가 설정되었는지 확인할 수 있고, 그 예는 아래에 설명된다:
if (autofillManager.getUserDataId() == null) {
autofillManager.setUserData(...)
}
또 다른 실시예에서, 원격 제공자는 또한 버전 관리를 위해 id를 사용할 수 있으며, 그 예가 아래에 설명된다:
if (!myCurrentId.equals(autofillManager.getUserDataId())) {
autofillManager.setUserData(...)
}
제2 포인트로 돌아 가면, 운영 체제가 동일하거나 다른 사용자에 대해 자동채움 요청(308)을 송신한 애플리케이션의 자동채움를 촉진하기 위해 원격 제공자에 의해 필드 분류 요청(314)이 제공될 수 있다. 이 예에서, 필드 분류 요청은 "autofillId1"로 표시된다.
이 실시예의 맥락에서, 원격 제공자는 FillResponse 오브젝트에서 필드 분류를 명시 적으로 요청할 수 있으며, 이 오브젝트가 사용되어야 하는 필드를 특정하며, 그 예는 아래에 설명된다:
fillcallback.onSuccess(new FillResponse.Builder()
.setFieldClassificationIds(autofillId1)
.build());
추가 양태에서, 자동채움 컨텍스트가 커밋될 때, 운영 체제는 원격 제공자가 제공하는 두 개의 제안된 사용자 값(여기서는 "felipe@x.com" 및 "LemeF"로 표시됨) 중 어느 하나가 표시된 필드 분류 요청(여기서는 "autofillId1"로 표시됨)에 대해 사용자가 수동으로 입력한 값 중 임의의 것과 일치하는지 검증할 수 있다. 그러나, 운영 체제는 자동채움 값을 제안하는 가장 좋은 방법을 식별하기 위한 원격 제공자의 무차별 대입 시도에 압도당하는 것을 원하지 않기 때문에, 운영 체제는 위에서 상세히 제시된 다수의 전략을 통해 원격 제공자가 송신한 제안된 사용자 값 또는 필드 분류 요청의 과도한 양을 줄일 수 있다.
도 3b로 돌아 가면, 도 3b는 제1 모바일 디바이스에서 애플리케이션의 텍스트 입력 필드에 제1 사용자의 데이터 수동 입력을 도시한다. 추가로, 도 3b는 사용자 입력 데이터에 기초하여 운영 체제에 의해 하나 이상의 유사성 메트릭을 생성하고 원격 제공자에게 보내는 결과를 보여준다.
특히, 도 3b는 사용자가 사용자 입력 값(316)(여기서는 "felipe@x.com")을 제1 텍스트 입력 필드(306)(여기서는 "이메일" 텍스트 입력 필드)에 수동으로 입력할 수 있음을 보여준다. 이에 응답하여, 운영 체제는 텍스트 입력 필드(306)에서 사용자 입력 값(316)을 검출하고, 이 사용자 입력 값(316)과 각각의 하나 이상의 값과의 비교에 기초하여 제안된 사용자 데이터(312)의 하나 이상의 값 각각에 대한 유사성 메트릭을 결정하기 시작할 수 있다. 이와 관련하여, 운영 체제는 사용자 디바이스에 사용자 입력 데이터를 저장하지 않고 사용자 입력 데이터를 분석하고 스코어링할 수 있으며, 이는 차례로 원격 제공자(310)가 미래의 자동채움 노력을 지원할 수 있다(사용자 디바이스(302) 또는 다른 사용자 디바이스에서 실행 중인 애플리케이션(304)의 맥락에서).
특히, 이 실시예의 맥락에서, 원격 제공자는 기존의 FillEventHistory 메커니즘을 사용하여 이 프로세스의 결과를 검증할 수 있다. FillEventHistory는 원격 제공자가 이전 자동채움 세션에서 발생한 이벤트에 대해 운영 체제에 문의할 수 있도록 하는 API이다. TYPE_CONTEXT_COMMITTED 유형의 이벤트는 사용자가 화면을 제출(커밋)한 이벤트를 나타낸다. 서비스 제공자가 해당 화면에서 필드 분류를 요청하고 요청이 수락된 경우, 결과는 FillEventHistory 오브젝트에서 사용할 수 있다. 원격 제공자는 getFieldsClassification()을 호출하여 결과를 검증할 수 있고, 그러면 "autofillId1"과 같은 식별자로 키가 지정된 FieldClassification 오브젝트의 맵을 반환할 수 있다. 이러한 식별자(예를 들어, 순차 식별자)는 뷰를 식별하기 위해 운영 체제에 의해 제공될 수 있으며, 원격 제공자는 원격 제공자가 필드 분류를 요청하는 뷰를 운영 체제에 알리기 위해 식별자를 사용할 수 있다.
추가 양태에서, FieldClassification 오브젝트는 또한 어떤 텍스트 입력 필드(필드 ID로 식별됨)가 자동채움된 ID와 일치하는지를 나타낼 수 있는 Match 오브젝트를 포함할 수 있으며, 이는 일치가 얼마나 정확한지 알려주는 점수(예: 점수는 텍스트 입력 필드 ID와 연관된 모든 사용자 값 중 가장 높은 점수이다)도 포함할 수 있다. 예를 들어 사용자가 "autofillId1" 필드에 "felipe@x.com"을 입력한 경우, 운영 체제에서 반환하는 결과는 다음 예와 같이 표현될 수 있다.
Map<AutofillId, FieldClassification> results = fillEvent.getFieldsClassification();
for (auto entry : results.entrySet() {
AutofillId id = entry.getKey();
FieldClassification fc = entry.getValue();
System.out.println(id + “: ” + fc.getMatches());
}
// Output:
// autofillId1: “email” -> 1.0 (100.0000%)
즉, 이 예에서 "autofillId1" 필드의 점수는 field_id "email"에 대응하는 사용자 값과 100% 일치했다(즉, 사용자가 입력한 사용자 입력 값(316)은 제안된 사용자 데이터(312) 및 필드 분류 요청(314)에 제시된 "felipe@x.com"과 완전히 일치).
추가 양태에서, 일치 점수를 정의하는데 사용된 방법 및 알고리즘은 알고리즘의 이름과 선택적 인수를 취하는 UserData.Builder.setFieldClassificationAlgorithm() 메서드에 의해 정의될 수 있지만, 특히 원격 제공자에 의해 특정되지 않은 경우 기본 알고리즘이 사용될 수 있다.
또 다른 양태에서, 운영 체제는 필드 분류 요청(314)에 대한 응답을 생성하고 원격 제공자(310)에 전송할 수 있으며, 여기서 응답은 유사성 메트릭(318)을 포함하고, 원격 제공자(310)는 향후 애플리케이션에 대한 자동채움를 개선하기 위해 유사성 메트릭(318)을 이용할 수 있다.
도 3a와 유사하게 도 4a는 제2 모바일 디바이스의 애플리케이션과의 제2 사용자의 인터렉션에 기초하여, 원격 제공자에게 자동채움 요청을 송신하고, 원격 제공자로부터 하나 이상의 제안된 사용자 값 및 필드 분류 요청을 수신하는 운영 체제를 도시한다. 특히, 사용자 디바이스(402)(사용자 디바이스(302)와 유사)는 사용자 디바이스(402)의 애플리케이션(304)의 일부를 디스플레이할 수 있다. 애플리케이션(304)은 또한 사용자 디바이스(402)의 Ui에 디스플레이된 공통 자동채움 디스크립터(306)(예: "이메일")를 포함하거나 이와 연관된 텍스트 입력 필드를 포함할 수 있다.
도 3a와 같이, 도 4a의 운영 체제는 이 자동채움 요청(여기서는 자동채움 요청(408)로 설명되고, UI에 디스플레이되는 콘텐츠의 서브세트를 포함)을 생성하고 원격 제공자에게 전송한다. 또한 도 3a와 마찬가지로, 도 4a의 운영 체제는 원격 제공자로부터 적어도 두 가지 정보를 제공받을 수 있다: (1) 제안된 사용자 데이터(412)(여기서는 "jason@y.com" 및 "LongJ"로 표시됨); 및 (2) 필드 분류 요청(414)(여기서는 "autofillId1"로 표시됨).
도 4b로 돌아가면, 제1 모바일 디바이스의 애플리케이션의 텍스트 입력 필드에 데이터를 제2 사용자가 수동으로 입력하는 것이 도시된다. 도 3b와 같이, 도 4b는 사용자가 사용자 입력 값(416)(여기서는 "jason@x.com")을 제1 텍스트 입력 필드(306)(여기서는 "Email" 텍스트 입력 필드)에 수동으로 입력할 수 있음을 보여준다. 도 3b에서와 같이, 텍스트 입력 필드(306)에서 사용자 입력 값(416)을 검출하는 것에 응답하여, 운영 체제는 이 사용자 입력 값(416)과 이들 값 각각과의 비교에 기초하여 제안된 사용자 데이터(412)의 하나 이상의 값 각각에 대한 유사성 메트릭을 결정하기 시작할 수 있다.
그리고 다시, 이와 관련하여, 운영 체제는 사용자 디바이스에 사용자 입력 데이터를 저장하지 않고 사용자 입력 데이터를 분석하고 스코어링할 수 있으며, 이는 차례로 원격 제공자(310)가 미래의 자동채움 노력을 지원할 수 있다(사용자 디바이스(302), 사용자 디바이스(402) 또는 다른 사용자 디바이스에서 실행 중인 애플리케이션(304)의 맥락에서).
그러나, 도 3b와 달리, 제안된 사용자 데이터(412) 및 사용자 입력 값(416)의 맥락에서 "autofillId1" 필드의 점수는 90% 점수를 생성한다(즉, 사용자가 입력한 "jason@x.com"(416)은 사용자 제안 데이터(412) 및 필드 분류 요청(414)에서 제시된 "jason@y.com"과 90%만 일치한다).
추가적으로, 도 3b에서와 같이, 도 4b의 운영 체제는 필드 분류 요청(414)에 대한 응답을 생성하여 원격 제공자(310)에 전송할 수 있으며, 응답은 유사성 메트릭(418)을 포함할 수 있으며, 원격 제공자(310)는 애플리케이션(304)에 대한 자동채움 서비스를 더 잘 제공하기 위해 적어도 유사성 메트릭(318 및 418)을 활용할 수 있다. 이러한 방식으로, 예시적 실시예는 다수의 사용자로부터의 사용자 입력 데이터로 크라우드 소싱을 활용하여 원격 제공자가 애플리케이션의 필드를 이해하도록 신속하게 트레이닝하는 동시에, 사용자 동의없이 민감한 사용자 정보를 손상시키지 않는다. 이와 관련하여, 원격 제공자가 사용자에게 제안할 사용자 값을 제안하려면, 원격 제공자가 사전에 사용자의 동의를 얻어야한다. 따라서, 본 실시예는 사용자 동의없이 알려지지 않거나 임의의 원격 제공자를 지원하는 운영 체제에 관한 것이 아니다.
도 3a 및 4a와 유사하게, 제3 모바일 디바이스의 애플리케이션과의 제3 사용자의 인터렉션에 기초한 도 5는 예시적 실시예에 따라 원격 제공자에게 자동채움 요청을 송신하는 운영 체제를 도시한다. 특히, 사용자 디바이스(502)(사용자 디바이스(302 및 402)와 유사)는 사용자 디바이스(502)의 애플리케이션(304)의 일부를 디스플레이할 수 있다. 유사하게, 애플리케이션(304)은 또한 사용자 디바이스(502)의 Ui에 디스플레이된 공통 자동채움 디스크립터(306)(예: "이메일")를 포함하거나 이와 연관된 텍스트 입력 필드를 포함할 수 있다.
도 5로 돌아가면, 운영 체제는 자동채움 요청(여기서 508로 예시되고 UI에 디스플레이되는 콘텐츠의 서브세트를 포함)을 생성하고 다시 원격 제공자(310)에 전송할 수 있다. 그러나, 도 3a 및 4a의 예시적 실시예와 달리, 도 5의 예시적 실시예의 운영 체제는 하나 이상의 제안된 사용자 값 또는 필드 분류 요청을 제시하지 않을 수 있지만, 대신 자동채움 값(여기에서 "email"필드의 경우 "jim@y.com"로 표시됨)으로 제시될 수 있고, 텍스트 입력 필드(306)에 자동으로 채워질 수 있다.
구체적으로, 이 예시적 실시예에서, 원격 제공자(310)는 적어도 2개의 운영 체제의 유사성 메트릭(318 및 418)의 이점을 가질 수 있기 때문에, 특정 제안된 사용자 값(여기서는 "jim@y.com") 및 해당 값을 입력해야 하는 특정 텍스트 입력 필드(여기서는 "email"필드) 둘 모두를 포함하는 자동채움 값(510)을 제안하는 신뢰를 구축했을 수 있다. 따라서, 이 실시예의 결과는 사용자 디바이스(502)의 운영 체제가 사용자 디바이스(302, 402 또는 502)의 특정 사용자 콘텐츠를 손상시키지 않으면서, 원격 제공자(310) 뿐만 아니라 사용자 디바이스(302 및 402)의 운영 체제의 노력과 분석을 안전하게 활용했다는 것이다.
추가 양태에서, 도 5에서, 운영 체제는 또한 사용자에게 UI 상에 디스플레이된 어플리케이션의 텍스트 입력 필드가 자동채움 되었음을 알리기 위해 확인 메시지(512)를 디스플레이할 수 있다. 추가적 예에서, 운영 체제는 또한 사용자에게 어플리케이션의 텍스트 입력 필드가 자동채움 프로세스 중에 운영 체제에 의해 채워진 데이터가 소거될 수 있음을 알리기 위해 실행취소 프롬프트(514)를 디스플레이할 수 있다.
VI. 추가 우려 사항 및 제안된 솔루션
그러나 일부 추가 양태에서, 자동채움 프로세스를 수행하는 부담이 상당할 수 있기 때문에, 운영 체제의 전체 성능에 영향을 미칠 수 있으며, 아마도 부정적인 영향을 미칠 수도 있다. 위에서 설명한 예 중 하나에서, 필드 분류 기능은 다음 이유 중 하나 이상으로 인해 사용자 디바이스의 상태 및 성능에 부정적인 영향을 미칠 수 있다: (1) 원격 제공자가 액티비티를 자동채움할 수 없고 null 응답을 반환하는 경우, 운영 체제가 해당 액티비티에 대한 자동채움을 일시적으로 비활성화할 수 있다; 그러나 원격 제공자가 null을 반환하는 대신 필드 분류를 설정하면 세션이 열린 상태로 유지될 수 있다. (2) 운영 체제는 사용자의 입력 값을 메모리에 유지할 수 있다. (3) 운영 체제는 커밋시 필드 분류 일치를 계산한 다음 일치 항목을 원격 제공자에게 보낼 수 있으며, 이는 차례로 O(N x M) 동작 (및 데이터 구조)일 수 있고, 여기서 N은 사용자 입력 값 항목의 수이고, M은 분류 가능한 필드의 수이다.
운영 체제에 대한 전반적인 성능 영향을 완화하기 위해, 자동채움 프로세스 동안 운영 체제에서 다음 완화 조치 중 하나 이상을 채택할 수 있다: (1) 제안된 사용자 값의 미리 결정된 최대 총 수에 기초하여 제안된 사용자 값의 전체 수를 제한(예를 들어, 인터페이스는 임의의 하나의 원격 제공자로부터 10개 이상의 제안된 사용자 값을 허용하지 않을 것이다); (2) 각 텍스트 입력 필드에 대한 제안된 사용자 값의 수를 제안된 사용자 값의 미리 결정된 최대 필드 당 수로 제한(예를 들어, 인터페이스는 텍스트 입력 필드 당 3개 이상의 제안된 사용자 값을 허용하지 않을 것이다); (3) 제안된 사용자 값의 속성 또는 특성에 기초하여 제안된 사용자 값의 특성을 제한(예를 들어, 특성의 미리 결정된 최소 수, 상기 하나 이상의 제안된 사용자 값 각각을 상기 제안된 사용자 값이 숫자만 포함하는 경우 제1 미리 결정된 최소 문자 수로 제한하고, 상기 제안된 사용자 값이 적어도 하나의 비-숫자 문자를 포함하는 경우 제2 미리 결정된 최소 문자 수로 제한); (4) 필드 분류 요청의 미리 결정된 최대 총 수에 기초하여 필드 분류 요청의 전체 수를 제한(예를 들어, 인터페이스는 어느 한 원격 제공자로부터의 필드 분류 요청을 10개 이상 허용하지 않음); 원격 제공자가 필드 분류 요청을 제공하는 빈도를 제한(예를 들어, 인터페이스는 어느 한 원격 제공자로부터 시간당 10개 이상의 필드 분류 요청을 허용하지 않음); (5) 사용자 입력 필드의 수에 기초하여 필드 분류 요청의 수를 제한(예를 들어, 인터페이스는 단지 2개의 사용자 입력 필드가 있으므로 10개 이상의 필드 분류 요청을 허용하지 않을 것이다); (6) 각 텍스트 입력 필드에 대한 필드 분류 요청의 수를 필드 분류 요청의 미리 결정된 최대 필드 당 최대 수로 제한(예를 들어, 인터페이스는 텍스트 입력 필드 당 3개 이상의 필드 분류 요청을 허용하지 않을 것임); (7) 응답에 필드 분류만 있는 경우 워크플로우를 최적화(예: 위에서 설명한 null 응답 시나리오).
추가 양태에서, 이러한 시나리오에서, 원격 제공자는 또한 상이한 또는 관련 서비스의 호스트로 또는 이를 통해 통신함으로써 승인된 최대 값을 검사할 수 있다(예: UserData.getMaxFieldsSize(), UserData.getMaxUserDataSize(), UserData.getMaxFieldClassificationIdsSize() and UserData.getMaxValueLength()). 이러한 값은 사용자 설정에 의해 정의되거나 원격 서버에서 즉시 조정하거나 다른 방법으로 설정될 수 있다. 마찬가지로, 원격 제공자는 AutofillManager.isFieldClassificationEnabled()를 호출하여 기능을 사용할 수 있는지 여부를 확인할 수도 있다(예: 속도 제한 위반 등으로 인해 운영 체제가 자동으로 비활성화되었을 수 있음).
그러나 이러한 시나리오에서, 원격 제공자는 운영 체제의 기대나 인터페이스의 제한 사항을 준수하지 않을 수 있으며, 자체 보존을 위해 운영 체제가 그에 따라 응답할 수 있다. 예를 들어, 운영 체제는 본 명세서에 기술된 프로세스 또는 그 일부에 할당된 리소스의 미리 결정된 할당을 가질 수 있다(예: 운영 체제는 원격 제공자로부터 제안된 사용자 값 및 필드 분류 요청을 수신하기 위해 5%의 미리 결정된 시스템 리소스 할당을 가질 수 있다). 또한, 일부 예에서, 운영 체제가 이 미리 결정된 리소스 할당이 초과되었다고 결정하면, 개선 조치를 취할 수 있다(예를 들어, 미리 결정된 리소스할당인 5%가 초과되었다고 결정하는 것에 응답하여, 운영 체제는 원격 제공자로부터 임의의 추가적 제안된 사용자 값 또는 필드 분류의 수신을 거부할 수 있다).
또 다른 양태에서, 자동채움 프로세스에서 사용자 데이터의 운영 체제의 분석 및 스코어링으로 인해 보안이 사용자에게 문제가 될 수 있다. 다시 말하지만, 운영 체제가 사용자가 입력한 값을 원격 제공자에게 직접 알려주지는 않지만, 원격 제공자는 지속적인 무차별 대입을 사용하여 이러한 값을 시도하거나 알아낼 수 있다.
일 예에서, 원격 제공자는 일반적인 핀 코드(예: pin1 = {1111}, pin2 = {0000}, pin3 = {1234} 등) 리스트와 제안된 사용자 값을 전송한 다음 이 값 중 하나는 100% 일치함을 확인할 수 있다. 또한, 이와 관련하여, 원격 제공자가 많은 사용자(예: 수천 명의 사용자)에 대해 이 프로세스를 반복적으로 수행하는 경우, 결국 원격 제공자는 일치 항목을 찾을 수 있다. 이러한 "무차별 대입" 공격의 위험을 완화하기 위해, 일부 실시예에서 운영 체제는 위에 설명된 보호 노력 중 하나 이상을 수행할 수 있다.
추가 양태에서, 일부 실시예들에서, 운영 체제는 또한 특정성의 다양한 수준(이들 값을 10 및 3으로 각각 제한)에서 다수의 다양한 방식으로 이러한 우려를 완화할 수 있다(예: UserData에 추가될 수 있는 필드의 수를 제한(UserData.getMaxFieldSize()를 통해), 문자의 최소 수 설정(UserData.getMinValueLength())를 통해, 등). 마지막으로, 위에서 설명한 UserData에는 PII가 포함될 수 있으므로, 여러 추가 측정을 통해 추가로 보호할 수 있고(예: 메모리에만 보관될 수 있다(즉, 디바이스가 재부팅될 때 디스크에 유지되지 않음)), 그 값은 기록되지 않을 것이다(toString(), dump(), log() 등).
VII. 컴퓨터 디바이스
*이제 도 6를 참조하면, 도 6는 예시적 실시예에 따른 컴퓨팅 디바이스(600)의 기능 블록도이다. 특히, 도 6에 도시된 컴퓨팅 디바이스(600)는 서버 디바이스(108 및/또는 110) 및/또는 원격 제공자(112 및/또는 114), 임의의 사용자 디바이스(104a-104e), 방법(200), 전술한 바와 같은 사용자 디바이스(302), 사용자 디바이스(402) 및/또는 사용자 디바이스(502)의 적어도 하나의 기능을 수행하도록 구성될 수 있다.
컴퓨팅 디바이스(600)는 사용자 인터페이스 모듈(601), 네트워크 통신 인터페이스 모듈(602), 하나 이상의 프로세서(603), 데이터 스토리지(604) 및 하나 이상의 센서(620)를 포함할 수 있으며, 이들 모두는 시스템 버스, 네트워크, 또는 다른 연결 메커니즘(605)을 통해 서로 연결될 수 있다.
사용자 인터페이스 모듈(601)은 외부 사용자 입력/출력 디바이스들로 데이터를 송수신하도록 동작할 수 있다. 예를 들어, 사용자 인터페이스 모듈(601)은 키보드, 키패드, 터치 스크린, 존재 감응형 디스플레이, 컴퓨터 마우스, 트랙볼, 조이스틱, 카메라, 음성 인식 모듈 및/또는 기타 유사한 디바이스와 같은 사용자 입력 디바이스와 데이터를 송수신하도록 구성될 수 있다. 사용자 인터페이스 모듈(601)은 또한 하나 이상의 음극선관(CRT), 액정 디스플레이(LCD), 발광 다이오드(LED), 디지털 광 처리(DLP) 기술을 사용하는 디스플레이, 프린터, 전구 및/또는 현재 알려진 또는 나중에 개발될 다른 유사한 디바이스와 같은 사용자 디스플레이 디바이스에 출력을 제공하도록 구성될 수 있다. 사용자 인터페이스 모듈(601)은 또한 스피커, 스피커 잭, 오디오 출력 포트, 오디오 출력 디바이스, 이어폰 및/또는 다른 유사한 디바이스와 같은 청각적 출력(들)을 생성하도록 구성될 수 있다. 사용자 인터페이스 모듈(601)은 터치 및/또는 컴퓨팅 디바이스(600)와의 물리적 접촉에 의해 검출 가능한 진동 및/또는 다른 출력과 같은 햅틱 출력(들)을 생성할 수 있는 하나 이상의 햅틱 디바이스로 더 구성될 수 있다. 일부 실시예들에서, 사용자 인터페이스 모듈(601)은 컴퓨팅 디바이스(600)를 활용하기 위한 GUI를 제공하기 위해 사용될 수 있다.
네트워크 통신 인터페이스 모듈(602)은 네트워크를 통해 통신하도록 구성 가능한 하나 이상의 무선 인터페이스(607) 및/또는 하나 이상의 유선 인터페이스(608)를 포함할 수 있다. 무선 인터페이스(607)는 하나 이상의 무선 송신기, 수신기 및/또는 블루투스 송수신기, 지그비 송수신기, Wi-Fi 송수신기, WiMAX 송수신기 및/또는 무선 네트워크를 통해 통신하도록 구성 가능한 다른 유사한 유형의 무선 송수신기와 같은 송수신기를 포함할 수 있다. 유선 인터페이스(608)는 하나 이상의 유선 송신기, 수신기 및/또는 이더넷 송수신기, USB(Universal Serial Bus) 송수신기 또는 꼬임 나선, 동축 케이블, 광섬유 링크 또는 유선 네트워크에 대한 유사한 물리적 연결을 통해 통신하도록 구성 가능한 유사한 송수신기와 같은 송수신기를 포함할 수 있다.
일부 실시예에서, 네트워크 통신 인터페이스 모듈(602)은 신뢰성 있고, 보안된 및/또는 인증된 통신을 제공하도록 구성될 수 있다. 각 통신에 대해, 메시지 헤더 및/또는 푸터(예를 들어, 패킷/메시지 시퀀싱 정보, 캡슐화 헤더(들) 및/또는 푸터, 크기/시간 정보 및 CRC 및/또는 패리티 검사 값과 같은 전송 검증 정보)의 일부로서, 신뢰성 있는 통신(즉, 보장된 메시지 전달)을 보장하기 위한 정보가 제공될 수 있다. 통신은 DES, AES, RSA, Diffie-Hellman 및/또는 DSA와 같은(이에 한정되지 않음) 하나 이상의 암호화 프로토콜 및/또는 알고리즘을 사용하여, 보안화(예를 들어, 인코딩 또는 암호화) 및/또는 복호화/디코딩될 수 있다. 다른 암호화 프로토콜 및/또는 알고리즘도 통신을 보안화(그리고 복호화/디코딩)하기 위해 여기에 나열된 것들과 함께 또는 그 외에 사용될 수 있다.
하나 이상의 프로세서(603)는 하나 이상의 범용 프로세서 및/또는 하나 이상의 특수 목적 프로세서(예를 들어, 디지털 신호 프로세서, 그래픽 프로세싱 유닛, 애플리케이션 특정 집적 회로 등)를 포함할 수 있다. 하나 이상의 프로세서(603)는 데이터 스토리지(604) 및/또는 본 명세서에 기술된 다른 명령어에 포함된 컴퓨터 판독 가능 프로그램 명령어(606)을 실행하도록 구성될 수 있다.
데이터 스토리지(604)는 하나 이상의 프로세서(603) 중 적어도 하나에 의해 판독 및/또는 액세스될 수 있는 하나 이상의 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 하나 이상의 컴퓨터 판독가능 저장 매체는 광학적, 자기적, 유기적 또는 하나 이상의 프로세서들(603) 중 적어도 하나와 전체로 또는 부분적으로 통합될 수 있는 다른 메모리 또는 디스크 스토리지와 같은 휘발성 및/또는 비휘발성 저장 컴포넌트를 포함할 수 있다. 일부 실시예에서, 데이터 스토리지(604)는 단일 물리적 디바이스(예를 들어, 하나의 광학적, 자기적, 유기적 또는 다른 메모리 또는 디스크 스토리지)를 사용하여 구현될 수 있고, 다른 실시예에서 데이터 스토리지(604)는 둘 이상의 물리적 디바이스를 사용하여 구현될 수 있다.
데이터 스토리지(604)는 컴퓨터 판독가능 프로그램 명령어들(606) 및 아마도 추가 데이터를 포함할 수 있다. 일부 실시예에서, 데이터 스토리지(604)는 본 명세서에서 기술된 방법들, 시나리오들 및 기법들의 적어도 일부 및/또는 본 명세서에서 기술된 디바이스들 및 네트워크들의 기능의 적어도 일부를 수행하기 위해 필요한 스토리지를 추가로 포함할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(600)는 하나 이상의 센서(620)를 포함할 수 있다. 센서(들)(620)는 컴퓨팅 디바이스(600)의 환경에서 조건을 측정하고 해당 환경에 관한 데이터를 제공하도록 구성될 수 있다. 예를 들어, 센서(들)(620)는 다음 중 하나 이상을 포함할 수 있다: (i) RFID 판독기, 근접 센서, 1차원 바코드 판독기, 2차원 바코드(예를 들어, QR 코드) 판독기 및 레이저 트래커와 같은(이에 한정되지 않음) 다른 객체 및/또는 디바이스를 식별하기 위한 식별 센서(여기서, 식별 센서(들)는 RFID 태그, 바코드, QR 코드와 같은 식별자 및/또는 판독되어 적어도 식별 정보를 제공하도록 구성된 기타 디바이스들 및/또는 객체를 판독하도록 구성될 수 있음); (ii) 기울기 센서, 자이로스코프, 가속도계, 도플러 센서, GPS 디바이스, 소나 센서, 레이더 디바이스, 레이저 변위 센서 및 나침반과 같은(이에 한정되지 않음) 컴퓨팅 디바이스(600)의 위치 및/또는 움직임을 측정하는 센서; (iii) 적외선 센서, 광학 센서, 광 센서, 카메라, 바이오 센서, 생체 센서, 용량성 센서, 터치 센서, 온도 센서, 무선 센서, 라디오 센서, 움직임 센서, 마이크로폰, 소리 센서, 초음파 센서 및/또는 연기 센서와 같은(이에 한정되지 않음) 컴퓨팅 디바이스(600)의 환경을 나타내는 데이터를 획득하기 위한 환경 센서; 및 (iv) 하나 이상의 크기의 힘, 토크, 접지력, 마찰력을 측정하는 하나 이상의 센서 및/또는 ZMP 및/또는 ZMP의 위치를 식별하는 ZMP(zero moment point) 센서와 같이(이에 한정되지 않음), 컴퓨팅 디바이스(600)에 작용하는 하나 이상의 힘(예를 들어, 관성력 및/또는 G- 포스)을 측정하기 위한 포스 센서. 센서(들)(620)의 다른 많은 예시들도 가능하다.
본 개시는 본 출원에 기술된 특정한 실시예에 의해 제한되지 않으며, 이는 다양한 양태들의 예시로서 의도되었다. 통상의 기술자에게 명백한 바와 같이, 많은 수정 및 변형이 본 발명의 정신 및 범위를 벗어나지 않고 이루어질 수 있다. 본원에 열거된 것 외에, 본 개시의 범위 내의 기능적으로 균등한 방법 및 장치는 전술 한 설명으로부터 통상의 기술자에게 명백할 것이다. 이러한 수정 및 변형은 첨부된 청구항들의 범위 내에 속한다.
상기 상세한 설명은 첨부된 도면을 참조하여 개시된 시스템, 장치 및 방법의 다양한 구성 및 기능을 설명한다. 도면에서, 컨텍스트가 달리 지시하지 않는 한, 유사한 기호는 일반적으로 유사한 컴포넌트들을 나타낸다. 상세한 설명, 도면 및 청구항에 설명된 예시적 실시예는 제한적인 것으로 의도되지 않았다. 다른 실시예들도 활용될 수 있고, 본 명세서에 제시된 주제의 정신 또는 범위로부터 벗어남 없이 다른 변경들이 이루어질 수 있다. 본 명세서에 일반적으로 기술되고 도면들에 도시된 것으로서 본 개시의 양태들은 광범위한 상이한 구성들로 배열, 대체, 조합, 분리 및 디자인될 수 있고, 이 모든 것들은 명시적으로 본 명세서에서 고려된다.
도면에서 그리고 본 명세서에서 논의된 바와 같이 래더 다이어그램, 시나리오 및 흐름도 중 일부 또는 전부와 관련하여, 각 블록 및/또는 통신은 예시적 실시예에 따른 정보의 프로세싱 및/또는 정보의 전송을 나타낼 수 있다. 대안적 실시예가 이들 예시적 실시예의 범위 내에 포함된다. 이러한 대안적 실시예들에서, 예를 들어, 블록들, 전송들, 통신들, 요청들, 응답들 및/또는 메시지들로서 기술된 기능들은 관련된 기능에 따라 실질적으로 동시 또는 역순을 포함하여 도시되거나 논의된 것으로부터 순서가 불일치할 수 있다. 또한, 더 많거나 적은 블록 및/또는 기능이 본 명세서에서 논의된 임의의 래더 다이어그램, 시나리오 및 흐름도와 함께 사용될 수 있고, 이들 래더 다이어그램, 시나리오 및 흐름도는 부분적으로 또는 전체적으로 서로 결합될 수 있다.
정보의 프로세싱을 표현하는 블록은 본 명세서에 기술된 방법 또는 기법의 특정한 논리적 기능들을 수행하도록 구성될 수 있는 회로에 대응할 수 있다. 대안적으로 또는 추가적으로, 정보의 프로세싱을 표현하는 블록은(관련 데이터를 포함하는) 프로그램 코드의 모듈, 세그먼트 또는 부분에 대응할 수 있다. 프로그램 코드는 상기 방법 또는 기법의 특정한 논리적 기능들 또는 액션들을 구현하기 위한 프로세서에 의해 실행가능한 하나 이상의 명령어들을 포함할 수 있다. 프로그램 코드 및/또는 관련 데이터는 디스크 또는 하드 드라이브 또는 다른 저장 매체를 포함하는 저장 디바이스와 같은 임의의 유형의 컴퓨터 판독가능 매체에 저장될 수 있다.
또한, 컴퓨터 판독가능 매체는 레지스터 메모리, 프로세서 캐시 및 RAM 같은 단기로 데이터를 저장하는 비일시적 컴퓨터 판독가능 매체와 같은 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 또한 컴퓨터 판독가능 매체는 예를 들면, ROM, 광학적 또는 자기적 디스크, CD-ROM과 같은 이차적 또는 영구적 장기 스토리지와 같이 오랜 기간동안 프로그램 코드 및/또는 데이터를 저장하는 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 또한, 컴퓨터 판독가능 매체는 임의의 기타 휘발성 또는 비휘발성 저장 시스템일 수 있다. 컴퓨터 판독가능 매체는 예를 들면 컴퓨터 판독가능 저장 매체 또는 유형적 저장 디바이스로 고려될 수 있다.
또한, 하나 이상의 정보 전송을 나타내는 블록은 동일한 물리적 디바이스에서 소프트웨어 및/또는 하드웨어 모듈 간의 정보 전송에 대응할 수 있다. 그러나, 다른 정보 전송은 상이한 물리적 디바이스들에서 소프트웨어 모듈 및/또는 하드웨어 모듈들 사이에서 이루어질 수 있다.
다양한 양태들 및 실시예들이 개시되었지만, 다른 양태들 및 실시예들이 통상의 기술자에게 명백해질 것이다. 본 명세서에 개시된 다양한 양태들 및 실시예들은 후술하는 청구항들에 의해 표시된 진정한 범위와 함께 예시적 목적으로 제공되었고, 제한하기 위한 것으로 의도되지 않았다.
Claims (20)
- 방법으로서,
원격 제공자에 의해, 애플리케이션에 대한 자동채움 요청을 수신하는 단계, 상기 자동채움 요청은 사용자 디바이스의 사용자 인터페이스에서 상기 애플리케이션에 의해 디스플레이되는 콘텐츠의 서브세트를 포함하며;
상기 자동채움 요청 수신에 응답하여, 상기 원격 제공자에 의해, 하나 이상의 제안된 사용자 값을 결정하는 단계;
상기 원격 제공자에 의해, 상기 하나 이상의 제안된 사용자 값 및 상기 사용자 인터페이스에서 상기 애플리케이션에 의해 디스플레이되는 텍스트 입력 필드에 대한 필드 분류 요청을 전송하는 단계; 및
상기 원격 제공자에 의해, 상기 사용자 디바이스로부터, 상기 필드 분류 요청에 대한 응답을 수신하는 단계를 포함하며, 상기 응답은 하나 이상의 제안된 사용자 값 중 적어도 하나에 대한 유사성 메트릭을 포함하고, 상기 유사성 메트릭은 상기 텍스트 입력 필드의 사용자 입력 값과 상기 하나 이상의 제안된 사용자 값 중 적어도 하나와의 비교에 기초하는, 방법. - 청구항 1에 있어서, 상기 하나 이상의 제안된 사용자 값 중 적어도 하나에 대한 상기 유사성 메트릭은 편집 거리 모델을 적용하는 것에 더 기초하거나 또는 기본 비교 모델을 적용하는 것에 더 기초하며, 상기 기본 비교 모델은 자동채움 요청 사이에 업데이트가능한, 방법.
- 청구항 1에 있어서,
상기 원격 제공자에 의해, 하나 이상의 기본 비교 모델을 수신하는 단계; 및
상기 원격 제공자에 의해, 상기 하나 이상의 기본 비교 모델로부터 선택된 기본 비교 모델을 전송하는 단계를 더 포함하며, 상기 하나 이상의 제안된 사용자 값 각각에 대한 유사성 메트릭은 상기 선택된 기본 비교 모델을 적용하는 것에 더 기초하는, 방법. - 청구항 1에 있어서, 상기 하나 이상의 제안된 사용자 값은 복수의 제안된 사용자 값을 포함하고, 상기 응답은 상기 복수의 제안된 사용자 값으로부터 가장 일치하는 사용자 값에 대한 유사성 메트릭을 포함하는, 방법.
- 청구항 1에 있어서, 상기 하나 이상의 제안된 사용자 값은 복수의 제안된 사용자 값을 포함하고, 상기 응답은 상기 복수의 제안된 사용자 값 각각에 대한 상기 유사성 메트릭을 포함하는, 방법.
- 청구항 1에 있어서, 상기 필드 분류 요청은 상기 사용자 인터페이스에서 상기 애플리케이션에 의해 디스플레이된 추가 텍스트 입력 필드를 더 표시하고, 상기 방법은:
상기 원격 제공자에 의해, 추가 응답을 수신하는 단계를 더 포함하고, 상기 추가 응답은 상기 하나 이상의 제안된 사용자 값 중 적어도 하나의 추가 사용자 값에 대한 추가 유사성 메트릭을 포함하고, 상기 하나 이상의 제안된 사용자 값 중 적어도 하나의 추가 사용자 값에 대한 추가 유사성 메트릭은 상기 추가 텍스트 입력 필드의 추가 사용자 입력 값에 기초하는, 방법. - 청구항 1에 있어서, 상기 필드 분류 요청은 상기 사용자 인터페이스에서 상기 애플리케이션에 의해 디스플레이된 추가 텍스트 입력 필드를 더 표시하고, 상기 방법은:
상기 자동채움 요청에 응답하여, 상기 원격 제공자에 의해, 하나 이상의 추가 제안된 값을 전송하는 단계, 상기 하나 이상의 추가 제안된 값은 상기 하나 이상의 제안된 사용자 값과 상이하며;
상기 원격 제공자에 의해, 추가 응답을 수신하는 단계를 더 포함하고, 상기 추가 응답은 하나 이상의 추가 제안된 값 중 적어도 하나에 대한 추가 유사성 메트릭을 포함하며, 상기 추가 유사성 메트릭은 상기 추가 텍스트 입력 필드에서 추가 사용자 입력 값과 상기 하나 이상의 추가 제안된 값 중 적어도 하나와의 비교에 기초하는, 방법. - 청구항 1에 있어서,
상기 원격 제공자에 의해, 상기 사용자 디바이스에 의해 수락될 제안된 사용자 값의 미리 결정된 최대 총 수를 수신하는 단계를 더 포함하며, 상기 하나 이상의 제안된 사용자 값을 전송하는 단계는 상기 하나 이상의 제안된 사용자 값의 제안된 값의 미리 결정된 최대 총 수보다 많이 전송하지 않는 것을 포함하는, 방법. - 청구항 1에 있어서,
상기 원격 제공자에 의해, 상기 사용자 디바이스에 의해 수락될 제안된 사용자 값의 미리 결정된 최대 필드 당 수를 수신하는 단계를 더 포함하며, 상기 하나 이상의 제안된 사용자 값을 전송하는 단계는 상기 제안된 사용자 값의 미리 결정된 최대 필드 당 수보다 많이 전송하지 않는 것을 포함하는, 방법. - 청구항 1에 있어서,
상기 원격 제공자에 의해, 상기 사용자 디바이스에 의해 수락될 미리 결정된 최소 문자 수를 수신하는 단계를 더 포함하고, 상기 하나 이상의 제안된 사용자 값을 전송하는 단계는 적어도 상기 미리 결정된 최소 문자 수를 전송하는 것을 포함하는, 방법. - 청구항 1에 있어서,
상기 원격 제공자에 의해, 숫자만 포함하는 제안된 사용자 값에 대한 미리 결정된 제1 최소 문자 수 및 적어도 하나 이상의 숫자가 아닌 문자를 포함하는 제안된 사용자 값에 대한 미리 결정된 제2 최소 문자 수를 수신하는 단계를 더 포함하며, 상기 하나 이상의 제안된 사용자 값을 전송하는 단계는:
상기 하나 이상의 제안된 사용자 값이 숫자만을 포함하는 경우, 상기 하나 이상의 제안된 사용자 값 각각에 대해 미리 결정된 제1 최소 문자 수를 전송하는 단계, 및
상기 하나 이상의 제안된 사용자 값이 적어도 하나의 숫자가 아닌 문자를 포함하는 경우, 상기 하나 이상의 제안된 사용자 값 각각에 대해 미리 결정된 제2 최소 문자 수를 전송하는 단계를 포함하는, 방법. - 청구항 1에 있어서,
상기 원격 제공자에 의해, 최대 사용자 입력의 미리 결정된 최대 수를 수신하는 단계를 더 포함하며, 상기 필드 분류 요청을 대한 사용자 입력 필드의 수는 최대 사용자 입력의 미리 결정된 최대 수로 제한되는, 방법. - 청구항 1에 있어서,
상기 원격 제공자에 의해, 미리 결정된 최대 빈도를 수신하는 단계, 상기 원격 제공자에 의해 수신된 상기 애플리케이션에 대한 필드 분류 요청은 미리 결정된 최대 빈도로 제한되는, 방법. - 청구항 1에 있어서,
상기 원격 제공자에 의해, 필드 분류 요청의 미리 결정된 최대 총 수를 수신하는 단계, 상기 원격 제공자에 의해 수신된 상기 애플리케이션에 대한 필드 분류 요청은 상기 필드 분류 요청의 미리 결정된 최대 총 수로 제한되는, 방법. - 청구항 1에 있어서,
상기 원격 제공자에 의해, 필드 분류 요청의 최대 필드 당 수를 수신하는 단계를 더 포함하고, 상기 원격 제공자에 의해 수신된 각각의 텍스트 입력 필드에 대한 필드 분류 요청은 필드 분류 요청의 최대 필드 당 수로 제한되는, 방법. - 청구항 1에 있어서,
상기 자동채움 요청에 응답하여, 상기 원격 제공자로부터, 상기 애플리케이션에 의해 디스플레이되는 추가 텍스트 입력 필드에 대한 자동채움 값을 전송하는 단계, 상기 자동채움 값을 전송하는 단계는 상기 자동채움 값이 추가 텍스트 입력 필드에 디스플레이되게 하는, 방법. - 청구항 1에 있어서,
상기 원격 제공자에 의해, 미리 결정된 운영 체제 리소스 할당이 초과된 후 추가 제안된 사용자 값 또는 추가 필드 분류 요청을 전송하는 단계를 더 포함하며, 상기 추가 제안된 사용자 입력 값 및 추가 필드 분류 요청은 사용자 디바이스에 의해 거부되는, 방법. - 청구항 1에 있어서, 상기 원격 제공자에 의해 전송된 하나 이상의 후속 필드 분류 요청은 상기 하나 이상의 제안된 사용자 값을 포함하는 캐시된 객체에 의해 충족되는, 방법.
- 컴퓨팅 디바이스로서,
하나 이상의 프로세서들; 및
하나 이상의 프로세서들로 하여금 동작들을 수행하게 하는 하나 이상의 프로세서들에 의해 실행가능한 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체를 포함하며, 상기 동작들은:
원격 제공자에 의해, 애플리케이션에 대한 자동채움 요청을 수신하는 동작, 상기 자동채움 요청은 사용자 디바이스의 사용자 인터페이스에서 상기 애플리케이션에 의해 디스플레이되는 콘텐츠의 서브세트를 포함하며;
상기 자동채움 요청 수신에 응답하여, 상기 원격 제공자에 의해, 하나 이상의 제안된 사용자 값을 결정하는 동작;
상기 원격 제공자에 의해, 상기 하나 이상의 제안된 사용자 값 및 상기 사용자 인터페이스에서 상기 애플리케이션에 의해 디스플레이되는 텍스트 입력 필드에 대한 필드 분류 요청을 전송하는 동작; 및
상기 원격 제공자에 의해, 상기 사용자 디바이스로부터, 상기 필드 분류 요청에 대한 응답을 수신하는 동작을 포함하며, 상기 응답은 하나 이상의 제안된 사용자 값 중 적어도 하나에 대한 유사성 메트릭을 포함하고, 상기 유사성 메트릭은 상기 텍스트 입력 필드의 사용자 입력 값과 상기 하나 이상의 제안된 사용자 값 중 적어도 하나와의 비교에 기초하는, 컴퓨팅 디바이스. - 하나 이상의 프로세서로 하여금 동작들을 수행하게 하는 하나 이상의 프로세서에 의해 실행 가능한 명령어가 저장된 비일시적 컴퓨터 판독가능 매체로서, 상기 동작들은:
원격 제공자에 의해, 애플리케이션에 대한 자동채움 요청을 수신하는 동작, 상기 자동채움 요청은 사용자 디바이스의 사용자 인터페이스에서 상기 애플리케이션에 의해 디스플레이되는 콘텐츠의 서브세트를 포함하며;
상기 자동채움 요청 수신에 응답하여, 상기 원격 제공자에 의해, 하나 이상의 제안된 사용자 값을 결정하는 동작;
상기 원격 제공자에 의해, 상기 하나 이상의 제안된 사용자 값 및 상기 사용자 인터페이스에서 상기 애플리케이션에 의해 디스플레이되는 텍스트 입력 필드에 대한 필드 분류 요청을 전송하는 동작; 및
상기 원격 제공자에 의해, 상기 사용자 디바이스로부터, 상기 필드 분류 요청에 대한 응답을 수신하는 동작을 포함하며, 상기 응답은 하나 이상의 제안된 사용자 값 중 적어도 하나에 대한 유사성 메트릭을 포함하고, 상기 유사성 메트릭은 상기 텍스트 입력 필드의 사용자 입력 값과 상기 하나 이상의 제안된 사용자 값 중 적어도 하나와의 비교에 기초하는, 비일시적 컴퓨터 판독가능 매체.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862639471P | 2018-03-06 | 2018-03-06 | |
| US62/639,471 | 2018-03-06 | ||
| PCT/US2019/020615 WO2019173244A1 (en) | 2018-03-06 | 2019-03-04 | Systems and methods for autofill field classification |
| KR1020207027621A KR102526620B1 (ko) | 2018-03-06 | 2019-03-04 | 자동채움 필드 분류를 위한 시스템 및 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207027621A Division KR102526620B1 (ko) | 2018-03-06 | 2019-03-04 | 자동채움 필드 분류를 위한 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230062660A KR20230062660A (ko) | 2023-05-09 |
| KR102601108B1 true KR102601108B1 (ko) | 2023-11-10 |
Family
ID=65818088
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237013874A KR102601108B1 (ko) | 2018-03-06 | 2019-03-04 | 자동채움 필드 분류를 위한 시스템 및 방법 |
| KR1020207027621A KR102526620B1 (ko) | 2018-03-06 | 2019-03-04 | 자동채움 필드 분류를 위한 시스템 및 방법 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207027621A KR102526620B1 (ko) | 2018-03-06 | 2019-03-04 | 자동채움 필드 분류를 위한 시스템 및 방법 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11151311B2 (ko) |
| EP (2) | EP3762840B1 (ko) |
| JP (2) | JP7110373B2 (ko) |
| KR (2) | KR102601108B1 (ko) |
| CN (1) | CN111771203A (ko) |
| DE (1) | DE112019001184T5 (ko) |
| WO (1) | WO2019173244A1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11151311B2 (en) | 2018-03-06 | 2021-10-19 | Google Llc | Systems and methods for autofill field classification |
| US11327636B2 (en) * | 2019-08-20 | 2022-05-10 | Dell Products L.P. | Dynamically scale complexity of a user interface based on cognitive load |
| US11449512B2 (en) * | 2019-10-22 | 2022-09-20 | Sap Se | Value help functionality in distributed cloud environment |
| US11556707B2 (en) * | 2020-06-18 | 2023-01-17 | Google Llc | Fulfillment of actionable requests ahead of a user selecting a particular autocomplete suggestion for completing a current user input |
| US11475214B1 (en) * | 2021-06-08 | 2022-10-18 | Oracle International Corporation | Systems and methods for auto-completing fields on digital forms |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5845300A (en) * | 1996-06-05 | 1998-12-01 | Microsoft Corporation | Method and apparatus for suggesting completions for a partially entered data item based on previously-entered, associated data items |
| US6754820B1 (en) | 2001-01-30 | 2004-06-22 | Tecsec, Inc. | Multiple level access system |
| US6651217B1 (en) * | 1999-09-01 | 2003-11-18 | Microsoft Corporation | System and method for populating forms with previously used data values |
| US20020062342A1 (en) * | 2000-11-22 | 2002-05-23 | Sidles Charles S. | Method and system for completing forms on wide area networks such as the internet |
| US7343551B1 (en) * | 2002-11-27 | 2008-03-11 | Adobe Systems Incorporated | Autocompleting form fields based on previously entered values |
| JP2005165826A (ja) | 2003-12-04 | 2005-06-23 | Nippon Telegr & Teleph Corp <Ntt> | データ入力支援方法とそのシステム、プログラム及び端末装置 |
| US7660779B2 (en) * | 2004-05-12 | 2010-02-09 | Microsoft Corporation | Intelligent autofill |
| US7836044B2 (en) * | 2004-06-22 | 2010-11-16 | Google Inc. | Anticipated query generation and processing in a search engine |
| US8522257B2 (en) * | 2006-11-15 | 2013-08-27 | Yahoo! Inc. | System and method for context information retrieval |
| US8527881B2 (en) * | 2007-01-30 | 2013-09-03 | Oracle International Corporation | Enterprise web browser extension |
| US20080235567A1 (en) * | 2007-03-22 | 2008-09-25 | Binu Raj | Intelligent form filler |
| JP2009277026A (ja) | 2008-05-15 | 2009-11-26 | Nec Corp | フォーム入力支援システム、フォーム入力支援方法、及びフォーム入力支援用プログラム |
| JP2011170757A (ja) | 2010-02-22 | 2011-09-01 | Nomura Research Institute Ltd | 個人情報入力用管理サーバ、クライアント端末、個人情報入力システムおよびプログラム |
| US20120063684A1 (en) | 2010-09-09 | 2012-03-15 | Fuji Xerox Co., Ltd. | Systems and methods for interactive form filling |
| US8850310B2 (en) * | 2011-10-11 | 2014-09-30 | Microsoft Corporation | Data entry suggestion lists for designated document data entry areas based on data from other document data entry areas |
| US20130104022A1 (en) * | 2011-10-22 | 2013-04-25 | Jonathan Coon | Systems and methods for automatically filling-in information |
| US9002847B2 (en) * | 2012-02-29 | 2015-04-07 | Hewlett-Packard Development Company, L.P. | Identifying an auto-complete communication pattern |
| JP2014115198A (ja) | 2012-12-10 | 2014-06-26 | Mitsubishi Heavy Ind Ltd | ガス採取バック及びレーザ計測装置 |
| JP6029192B2 (ja) | 2013-01-22 | 2016-11-24 | Ｎｅｃソリューションイノベータ株式会社 | 入力支援システム、入力支援方法および入力支援プログラム |
| US9547420B1 (en) * | 2013-02-11 | 2017-01-17 | Amazon Technologies, Inc. | Spatial approaches to text suggestion |
| US20140258828A1 (en) * | 2013-03-11 | 2014-09-11 | Brent Lymer | Pick-and-place webform autofill |
| US10430516B2 (en) * | 2013-06-13 | 2019-10-01 | Microsoft Technology Licensing, Llc | Automatically displaying suggestions for entry |
| GB2515108A (en) * | 2013-06-14 | 2014-12-17 | Mastercard International Inc | A browser plug-in and a method of operating a browser plug-in |
| US9218332B2 (en) * | 2014-01-21 | 2015-12-22 | Linkedin Corporation | Method and system for auto-populating electronic forms |
| US10210246B2 (en) * | 2014-09-26 | 2019-02-19 | Oracle International Corporation | Techniques for similarity analysis and data enrichment using knowledge sources |
| US10133813B2 (en) * | 2015-08-12 | 2018-11-20 | Adobe Systems Incorporated | Form value prediction utilizing synonymous field recognition |
| US10089292B2 (en) * | 2015-09-11 | 2018-10-02 | Adobe Systems Incorporated | Categorization of forms to aid in form completion |
| US10776571B2 (en) * | 2016-05-04 | 2020-09-15 | Google Llc | Dispatch of user input to multiple input fields in a user interface |
| US11423209B2 (en) * | 2016-06-10 | 2022-08-23 | Apple Inc. | Device, method, and graphical user interface for classifying and populating fields of electronic forms |
| US11049190B2 (en) * | 2016-07-15 | 2021-06-29 | Intuit Inc. | System and method for automatically generating calculations for fields in compliance forms |
| US10169321B2 (en) * | 2016-08-05 | 2019-01-01 | Capital One Services, Llc | Browser extension for field detection and automatic population |
| US10416854B2 (en) * | 2017-03-07 | 2019-09-17 | Google Llc | Autofill for a user device |
| US10943063B1 (en) * | 2017-09-25 | 2021-03-09 | Anonyome Labs, Inc. | Apparatus and method to automate website user interface navigation |
| US10635748B2 (en) * | 2017-12-14 | 2020-04-28 | International Business Machines Corporation | Cognitive auto-fill content recommendation |
| US11151311B2 (en) | 2018-03-06 | 2021-10-19 | Google Llc | Systems and methods for autofill field classification |
| US10749759B2 (en) * | 2018-03-23 | 2020-08-18 | Hewlett Packard Enterprise Development Lp | System and method to provide network insights for correct and efficient network configuration |
| US10936609B2 (en) * | 2018-05-18 | 2021-03-02 | Apple Inc. | Presenting user information suggestions |
| US20210056148A1 (en) * | 2019-08-23 | 2021-02-25 | Masterobjects, Inc. | System and Method For Asynchronous Client Server Session Communication |
-
2019
- 2019-03-04 US US16/963,730 patent/US11151311B2/en active Active
- 2019-03-04 CN CN201980015308.4A patent/CN111771203A/zh active Pending
- 2019-03-04 KR KR1020237013874A patent/KR102601108B1/ko active IP Right Grant
- 2019-03-04 JP JP2020546350A patent/JP7110373B2/ja active Active
- 2019-03-04 KR KR1020207027621A patent/KR102526620B1/ko active IP Right Grant
- 2019-03-04 EP EP19712086.8A patent/EP3762840B1/en active Active
- 2019-03-04 EP EP22156049.3A patent/EP4016371B1/en active Active
- 2019-03-04 DE DE112019001184.7T patent/DE112019001184T5/de active Pending
- 2019-03-04 WO PCT/US2019/020615 patent/WO2019173244A1/en unknown
-
2021
- 2021-09-13 US US17/473,203 patent/US11604921B2/en active Active
-
2022
- 2022-07-20 JP JP2022115492A patent/JP7394184B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP7394184B2 (ja) | 2023-12-07 |
| EP3762840B1 (en) | 2022-05-04 |
| EP4016371B1 (en) | 2023-08-23 |
| JP2022160482A (ja) | 2022-10-19 |
| DE112019001184T5 (de) | 2020-12-10 |
| US11604921B2 (en) | 2023-03-14 |
| EP4016371A1 (en) | 2022-06-22 |
| KR20230062660A (ko) | 2023-05-09 |
| US20210406456A1 (en) | 2021-12-30 |
| CN111771203A (zh) | 2020-10-13 |
| EP3762840A1 (en) | 2021-01-13 |
| WO2019173244A1 (en) | 2019-09-12 |
| JP2021517297A (ja) | 2021-07-15 |
| US20210027013A1 (en) | 2021-01-28 |
| KR102526620B1 (ko) | 2023-04-27 |
| JP7110373B2 (ja) | 2022-08-01 |
| US11151311B2 (en) | 2021-10-19 |
| KR20200123228A (ko) | 2020-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11385779B2 (en) | Autofill for a user device | |
| KR102601108B1 (ko) | 자동채움 필드 분류를 위한 시스템 및 방법 | |
| US11775742B2 (en) | Integrating additional data sources into a mobile autofill mechanism | |
| JP2021121944A (ja) | 自動記入アプリケーションのカスタマイズされたユーザプロンプト | |
| KR102274055B1 (ko) | 메시지 시스템 및 애플리케이션 활성화 방법과 이를 수행하기 위한 사용자 단말 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |