KR20190130685A - 개인적 엔티티들을 모델링 - Google Patents

개인적 엔티티들을 모델링 Download PDF

Info

Publication number
KR20190130685A
KR20190130685A KR1020197033842A KR20197033842A KR20190130685A KR 20190130685 A KR20190130685 A KR 20190130685A KR 1020197033842 A KR1020197033842 A KR 1020197033842A KR 20197033842 A KR20197033842 A KR 20197033842A KR 20190130685 A KR20190130685 A KR 20190130685A
Authority
KR
South Korea
Prior art keywords
entity
personal
content
personal entity
entities
Prior art date
Application number
KR1020197033842A
Other languages
English (en)
Other versions
KR102189854B1 (ko
Inventor
매튜 샤리피
데이비드 페트로우
프라나브 카이탄
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20190130685A publication Critical patent/KR20190130685A/ko
Application granted granted Critical
Publication of KR102189854B1 publication Critical patent/KR102189854B1/ko

Links

Images

Classifications

    • G06F17/278—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06K9/6276—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

컴퓨팅 디바이스들을 위한 개인 엔티티 모델링을 위한 시스템들 및 방법들이 제공된다. 예를 들어, 컴퓨팅 디바이스는 적어도 하나의 프로세서와, 그리고 명령어들을 저장한 메모리를 포함하고, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행될 때, 모바일 디바이스로 하여금 동작들을 수행하게 하며, 상기 동작들은 상기 모바일 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠에서 개인 엔티티(personal entity)를 식별하는 것과, 상기 컨텐츠로부터 상기 개인 엔티티에 대한 트레이닝 예들(training examples)을 생성하는 것과, 그리고 상기 트레이닝 예들을 이용하여 상기 개인 엔티티를 모델링하기 위해 이용되는 임베딩(embedding)을 업데이트하는 것을 포함한다. 상기 임베딩은 상기 개인 엔티티에 관하여 예측을 하기 위해 이용될 수 있다. 예를 들어, 상기 동작들은 또한, 상기 임베딩에 기초하여, 상기 컴퓨팅 디바이스 상에 디스플레이된 제1 개인 엔티티와 제2 엔티티 사이의 관련성을 예측하는 것과 그리고 상기 컴퓨팅 디바이스 상에 디스플레이될, 상기 제2 엔티티와 관계된 추천을 제공하는 것을 포함한다.

Description

개인적 엔티티들을 모델링{MODELING PERSONAL ENTITIES}
본 출원은, 2015년 7월 29자로 출원된 발명의 명칭이 "MODELING PERSONAL ENTITIES"인 미국 출원 제14/812,877호의 우선권을 주장하고, 이의 계속출원이며, 상기 출원은 그 전체가 본 명세서에 참조로서 포함된다.
스마트 폰들, 웨어러블 디바이스들, 태블릿들, 랩탑들, 등과 같은 모바일 디바이스들의 사용이 증가하고 있다. 사용자가 보는 컨텐츠 및 사용자의 인터랙션(interaction)들을 이해함으로써, 모바일 디바이스는 예를 들어, 사용자에게 개인화된 예측들 및 지원(assistance)을 제공할 수 있다. 컨텐츠 및 인터랙션들을 이해하는 것의 일부는 디바이스 스크린의 컨텐츠에서 인식된 엔티티들을 지식 베이스 내의 엔티티들에 매핑하는 것을 수반(involving)한다. 이러한 공공 지식 베이스는 거대(huge)할 수 있지만, 이들에는 사용자가 자주 인터랙션하는 많은 개인 엔티티들이 결여되어 있을 것이다.
여기에 기술된 구현들은 임베딩 공간(embedding space)에서 개인 엔티티들을 검출하고 모델링한다. 임베딩 공간들은 시간에 걸쳐 학습되고 조정되어서, 임베딩들은 사용자의 개인 지식 베이스가 된다. 시스템은 모바일 디바이스 상의 스크린들, 사용자의 계정의 이메일 메시지들, 사용자의 소셜 미디어 계정의 업데이트들 및 게시물들, 등을 포함하는, 컴퓨팅 디바이스에 의해 생성된 어떤 컨텐츠 내의 엔티티들을 모델링할 수 있다. 이메일 시스템과 같은 일부 구현들에서, 개인 엔티티들의 검출은 사용자가 (예컨대, 이메일의 발신자 또는 수신자 어드레스에서) 엔티티를 구체적으로 식별함에 기초할 수 있다. 일부 구현들에서, 시스템은 주어진 스크린상의 어떤 텍스트가 엔티티를 구성하는지를 결정할 수 있다. 일부 구현들에서, 시스템은 어플리케이션들/스크린들에서 대면하는(encounter) n-그램을 트랙킹할 수 있고, 특정 n-그램이 빈번하게 나타날 때, 시스템은 상기 n-그램을 개인 엔티티로 고려할 수 있다. 개인 엔티티가 아직 모델링되지 않은 경우, 시스템은 엔티티의 이름을 정규화하고(normalize), 엔티티에 랜덤한 특징 벡터(feature vector)들의 세트를 할당하고, 엔티티의 모델링을 시작할 수 있다.
엔티티를 모델링할 시, 시스템은 CBOW(continuous bag of words)-유사 트레이닝 모델을 사용할 수 있는 바, 여기서 시스템은 특징(feature) 또는 특징들의 세트를 고려하여 개인 엔티티를 예측한다. 특징은 (예컨대, 과거 및 현재 스크린들로부터의) 다른 개인 엔티티들, 공공 엔티티/토픽, 엔티티가 가장 자주 나타나는 어플리케이션, 등을 포함할 수 있다. 예를 들어, 시스템은 하나의 엔티티를 다른 엔티티를 고려하여(예컨대, Mary와 Rob은 둘 다 종종 동일한 이메일 스트림에 포함됨 또는 미식 축구는 John과의 통신들에서 일반적으로 논의됨) 예측하도록 모델을 트레이닝시킬 수 있다. 일부 구현들에서, 캡처된 스크린 컨텐츠의 슬라이딩 윈도우는 상기 윈도우에서 식별된 개인 엔티티들을 식별하고 모델링하기 위한 컨텍스트를 제공하는 데 사용될 수 있다. 추가적으로, 시스템은 사용자가 전형적으로 이메일을 읽은 다음 뉴스 앱을 여는 것과 같은, 개인 시퀀스들을 예측하도록 트레이닝될 수 있다.
본 명세서에 설명된 일 양상에서, 방법은 모바일 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠 내의 개인 엔티티를 식별하는 단계, 컨텐츠로부터 개인 엔티티에 대한 트레이닝 예들을 생성하는 단계, 및 트레이닝 예들을 사용하여 개인 엔티티를 모델링하는 데 사용되는 임베딩을 업데이트하는 단계를 포함한다. 개인 엔티티는 모바일 디바이스의 사용자에게 개인적일 수 있다. 임베딩은 개인 엔티티에 관한 예측들을 하기 위해 사용될 수 있다.
본 명세서에 설명된 또 다른 양상에서, 방법은 컴퓨팅 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠 내의 제1 개인 엔티티를 식별하는 단계 - 상기 제1 개인 엔티티는 상기 컴퓨팅 디바이스의 사용자와 관련된 개인 지식 베이스 내의 임베딩과 관련됨 -, 상기 임베딩에 기초하여 상기 제1 엔티티와 상기 제2 엔티티 사이의 관련성(association)을 예측하는 단계, 및 상기 제2 엔티티에 관계된 추천(recommendation)을 제공하는 단계를 포함하고, 상기 추천은 상기 컴퓨팅 디바이스 상에 디스플레이될 것이다.
본 명세서에 설명된 다른 양상에서, 방법은 디스플레이 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠 내의 특징들을 식별하는 단계, 개인 엔티티들을 임베딩들로서 모델링하는 개인 지식 베이스 내의 개인 엔티티에 대한 임베딩을 사용하여 특징들에 의해 예측되는 개인 엔티티를 식별하는 단계, 및 개인 엔티티에 관계된 추천을 제공하는 단계를 포함하고, 상기 추천은 디스플레이 디바이스에 디스플레이될 것이다.
본 명세서에 설명된 또 다른 양상에서, 컴퓨팅 시스템은 적어도 하나의 프로세서 및 명령어들을 저장한 메모리를 포함하고, 상기 명령어들은 적어도 하나의 프로세서에 의해 실행될 때 컴퓨팅 시스템으로 하여금 개시된 방법들, 동작들 또는 프로세스들 중 어느 것을 수행하도록 한다.
본 명세서에 설명된 다른 양상에서, 컴퓨터 판독 가능 저장 디바이스 상에 수록된 컴퓨터 프로그램 물은 명령어들을 포함하고, 상기 명령어들은 기판에 형성된 적어도 하나의 프로세서에 의해 실행될 때 컴퓨팅 디바이스로 하여금 개시된 방법들, 동작들 또는 프로세스들 중 어느 것을 수행하도록 한다. 본 명세서에 기술된 또 다른 일반적인 양상은 실질적으로 도면들 중 적어도 하나에 도시되고 이와 연계하여 기술되며 그리고/또는 특허청구범위에서 더욱 완전하게 제시되는 바와 같이, 컴퓨팅 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠에서 발견된 개인 엔티티들을 모델링하도록 예측 모델을 트레이닝시키는 시스템 및/또는 방법을 포함한다. 모델은 특정 엔티티가 특정 어플리케이션에서 대면될 때, 특정 토픽을 논의할 때 또는 특정 활동을 수행할 때, 등등의 경우에, 존재할 가능성이 더 높음을 결정한다는 점에서 개인 엔티티에 대한 임베딩은 컨텍스트를 고려한다.
여기에 설명된 본 발명의 구현들 중 하나 이상은 다음의 장점들 중 하나 이상을 실현하도록 구현될 수 있다. 일례로서, 일단 개인 엔티티들의 모델링(예를 들어, 개인 지식 베이스)이 생성되면, 시스템은 이를 사용하여 스크린 컨텐츠에 기초하여 단어들 또는 문구들을 예측하고, 개인 엔티티들에 대한 서클들 또는 카테고리들을 식별하고, 가장 가까운 이웃 조회(retrieval)로 온-디바이스 검색(on-device search)을 강화시키고, 예측들을 개인화(예컨대, 이전의 온스크린 컨텐츠에 기초하여 텍스트 메시지의 수신자를 예측, 특정 사람에게 메시징할 때 특정 카테고리에 관계된 엔티티들을 바이어스, 등)한다. 개인 엔티티들에 대한 표시로서 임베딩들을 사용하는 것은 시스템이 엔티티를 수반하는 관계들에 대한 결정을 내릴 필요가 없을을 의미하며, 이는 개인 엔티티들의 사용에 있어 더 큰 플렉서빌리티(flexibility)를 제공한다. 임베딩 공간에서 각 개인 엔티티를 모델링하는 것은 또한, 어떤 분류자(classifier)가 임베딩들을 예측 태스크의 특징들로서 사용할 수 있게 한다.
하나 이상의 구현들의 세부 사항은 첨부 도면들 및 이하의 상세한 설명에서 제시된다. 다른 특징들은 상세한 설명 및 도면들로부터 그리고 특허청구범위로부터 분명해질 것이다.
도 1은 개시된 본 발명에 따른 예시적인 시스템을 도시하는 블록도이다.
도 2는 개시된 본 발명에 따른 사용자 경험을 개인화하기 위해 개인 엔티티들을 발견 및 이용하기 위한 예시적인 프로세스의 순서도를 도시한다.
도 3은 개시된 구현들에 따른 개인 엔티티들을 모델링하기 위한 예시적인 프로세스의 순서도를 도시한다.
도 4는 개시된 구현들에 따른 사용자 경험을 커스토마이징하기 위해 모델링된 개인 엔티티들을 이용하기 위한 예시적인 프로세스의 순서도를 도시한다.
도 5는 개시된 구현들에 따른 사용자 경험을 커스토마이징하기 위해 모델링된 개인 엔티티들을 이용하기 위한 다른 예시적인 프로세스의 순서도를 도시한다.
도 6은 개시된 구현들에 따른 사용자 경험을 커스토마이징하기 위해 모델링된 개인 엔티티들을 이용하기 위한 다른 예시적인 프로세스의 순서도를 도시한다.
도 7은 개시된 구현들에 따른 사용자 경험을 커스토마이징하기 위해 모델링된 개인 엔티티들을 이용하기 위한 다른 예시적인 프로세스의 순서도를 도시한다.
도 8은 기술된 기법들을 구현하기 위해 이용될 수 있는 컴퓨터 디바이스의 예를 도시한다.
도 9는 기술된 기법들을 구현하기 위해 이용될 수 있는 분산 컴퓨터 디바이스의 예를 도시한다.
다양한 도면들에서 유사한 도면 부호들은 유사한 요소들을 나타낸다.
도 1은 예시적인 구현에 따른 개인 엔티티 모델링 시스템의 블록도이다. 시스템(100)은 컴퓨팅 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠 내의 개인 (예를 들어, 비공공(non-bublic) 엔티티들을 검출하고 컴퓨팅 디바이스 상의 사용자 경험을 개인화하기 위해 기계 학습 추천 엔진에 의해 사용되는 임베딩으로서 엔티티들을 모델링하는 데 사용될 수 있다. 사용자 경험을 개인화하는 것은 토픽들, 단어들 또는 문구들을 예측하는 것, 관계된 개인 엔티티들의 클러스터들을 식별하는 것, 사용자에게 전달되는 타겟화된 컨텐츠, 등을 포함할 수 있다. 도 1의 시스템(100)은 클라이언트-서버 시스템에 의해 사용될 수 있으며, 일부 데이터 프로세싱 또는 데이터 저장은 서버(170)에서 발생할 수 있다. 그러나, 다른 구성들 및 어플리케이션들이 사용될 수 있다. 예를 들어, 데이터 프로세싱 및 데이터 저장은 컴퓨팅 디바이스(110) 상에서 독점적으로 발생할 수 있다. 일부 구현들에서, 컴퓨팅 디바이스(110)의 사용자는 프로세싱의 일부들이 서버(170)에서 수행되어야 함을 나타낼 수 있다. 따라서, 구현들은 예시된 정확한 구성들에 제한되지 않는다.
개인 엔티티 모델링 시스템(100)은 컴퓨팅 디바이스(110)를 포함할 수 있다. 컴퓨팅 디바이스(110)는 통상의 개방(open) 웹-기반의 환경이 아닌 폐쇄(closed) 모바일 환경에서 동작하는 스마트폰 또는 다른 핸드 헬드 컴퓨팅 디바이스, 태블릿, 웨어러블 컴퓨팅 디바이스, 등과 같은 어떤 모바일 컴퓨팅 디바이스일 수 있다. 컴퓨팅 디바이스(110)는 또한, 랩톱 또는 넷-기반의 컴퓨터, 데스크탑 컴퓨터, 프로세서를 갖는 텔레비전, 등과 같은 다른 타입의 개인용 전자 컴퓨팅 디바이스들일 수 있다. 컴퓨팅 디바이스(110)는 도 8에 도시된 컴퓨터 디바이스(800 또는 850)의 예일 수 있다. 컴퓨팅 디바이스(110)는 단일 사용자에 의해 사용되는 컴퓨팅 디바이스일 수 있거나 또는 복수의 사용자들에 의해 공유되는 컴퓨팅 디바이스일 수 있다.
컴퓨팅 디바이스(110)는 하나 이상의 기계 실행가능 명령어들 또는 소프트웨어, 펌웨어 또는 이들의 조합의 조각들을 실행하도록 구성된 기판에 형성된 하나 이상의 프로세서들을 포함할 수 있다. 프로세서들은 반도체 기반일 수 있는 바 즉, 프로세서들은 디지털 로직을 수행할 수 있는 반도체 물질을 포함할 수 있다. 따라서, 컴퓨팅 디바이스(110)는 일시적으로, 영구적으로, 반영구적으로, 또는 이들의 조합으로 하나 이상의 데이터 조각들을 저장하도록 구성된 하나 이상의 컴퓨터 메모리들을 포함할 수 있다. 따라서, 컴퓨팅 디바이스(110)는 소프트웨어, 펌웨어 또는 이들의 조합의 형태로 머신 실행가능 명령어들을 나타내는 어플리케이션들(120)을 포함할 수 있다. 어플리케이션들(120)에서 식별된 컴포넌트들은 운영 체제의 일부일 수 있거나 또는 운영 체제를 사용하여 실행되도록 개발된 어플리케이션들일 수 있다. 일부 구현들에서, 어플리케이션들(120)은 모바일 어플리케이션 들일 수 있다. 통상적으로, 모바일 어플리케이션은 폐쇄 환경에서 동작하는 바, 이는 사용자가 웹-기반의 브라우저 환경에서 통상적으로 수행되는 활동들을 수행하기 위해 개별적인 어플리케이션들을 사용함을 의미한다. 예를 들어, 호텔을 예약하기 위해 bookit.com에 가기 보다는, 컴퓨팅 디바이스(110)의 사용자는 bookit.com에 의해 제공되는 어플리케이션들(120)에서 모바일 어플리케이션을 사용할 수 있다. 어플리케이션들(120)은 또한, 모바일 어플리케이션을 미러링할 수 있는 웹 어플리케이션을 포함할 수 있는 바, 예를 들어 상기 웹 어플리케이션은 모바일 어플리케이션과 동일하거나 유사한 컨텐츠를 제공한다. 일부 구현들에서, 어플리케이션들(120)은 컴퓨팅 디바이스(110)의 운영 체제에 의해 수행되는 기능들을 포함할 수 있다.
어플리케이션들(120)은 스크린 컨텐츠 엔진(122), 개인 엔티티 검출 엔진(124), 개인 엔티티 모델링 엔진(126) 및 추천 엔진(128)을 포함할 수 있다. 일부 구현들에서, 이들 어플리케이션들 중 하나 이상은 컴퓨팅 디바이스(110)의 운영 체제(미도시)에 의해 제공될 수 있다. 일부 구현들에서, 이들 어플리케이션들 중 하나 이상은 사용자에 의해 다운로드되고 인스톨될 수 있다.
스크린 컨텐츠 엔진(122)은 다양한 기능들을 포함할 수 있다. 일부 구현들에서, 스크린 컨텐츠 엔진(122)은 어플리케이션 프로그램 인터페이스(API)로부터 컴퓨팅 디바이스의 스크린 상에 표시된 텍스트 정보를 얻도록 구성될 수 있다. 일부 구현들에서, 스크린 컨텐츠 엔진(122)은 스크린 상에 디스플레이된 텍스트 필드들의 컨텐츠를 결정할 수 있는 운영 체제에 구축될 수 있다. 텍스트적 정보는 스크린 캡처된 컨텐츠로 고려될 수 있으며 API에 대한 호출 마다 또는 텍스트 필드들의 컨텐츠가 결정될 때마다 스크린 캡처로 고려될 수 있다. 일부 구현들에서, 스크린 컨텐츠 엔진(122)은 디바이스의 프레임 버퍼의 컨텐츠를 복사 또는 판독함으로써 스크린 상에 디스플레이된 이미지를 캡처하도록 구성될 수 있다. 따라서, 캡처된 스크린은 이미지일 수 있고 캡처된 이미지로지 지칭될 수 있다. 스크린 컨텐츠 엔진(122)은 간격들에서 스크린을 캡처할 수 있다. 간격은 작을 수 있는 바, 예를 들어 매 0.5 초 또는 매 1 초일 수 있다. 일부 구현들에서, 스크린 컨텐츠 엔진(122)은 터치 이벤트가 발생할 때마다(예컨대, 사용자가 스크롤, 줌, 링크를 클릭, 등등을 위해 스크린을 터치할 때마다), 명시적인 사용자 요청 또는 커맨드에 응답하여, 또는 디바이스가 하나의 모바일 어플리케이션으로부터 다른 모바일 어플리케이션으로 천이(transition)할 때, 스크린을 캡처하도록 구성될 수 있다. 일부 구현들에서, 스크린 컨텐츠 엔진(122)은 스크린이 변경되지 않을 때 스크린 캡처가 발생하는 간격을 증가시킬 수 있다. 즉, 스크린이 정적인 경우, 스크린 컨텐츠 엔진(122)은 덜 자주 이미지를 캡처할 수 있다.
스크린 컨텐츠 엔진(122)은 인식 엔진에 캡처된 컨텐츠 또는 스크린 이미지들 및 메타데이터를 제공할 수 있고, 상기 인식 엔진은 스크린 캡처 엔진(122)의 일부일 수 있고 컴퓨팅 디바이스(110) 또는 서버(170)와 같은 서버 상에 위치할 수 있다. 스크린 캡처 이미지가 인식 엔진에 제공되면, 인식 엔진은 스크린 캡처 이미지의 컨텐츠에서 단어들, 엔티티들, 로고들, 등을 식별할 수 있다. 따라서, 인식 엔진은 인식된 컨텐츠를 생성할 수 있는 바, 이는 단어들뿐만 아니라 이미지들로부터 비롯될 수 있다. 메타데이터는 타임스탬프, 모바일 디바이스 타입, 모바일 디바이스 식별자, 컨텐츠가 캡처된 때 실행되는 모바일 어플리케이션, 예를 들어 스크린 상에 디스플레이된 컨텐츠를 렌더링한 어플리케이션, 등을 포함할 수 있다. 일부 구현들에서, 메타데이터는 또한, 어느 어플리케이션들이 활성인지, 디바이스의 위치, 주변 광, 디바이스의 모션, 등을 포함한다. 시스템은 컨텐츠 분석(예컨대, 엔티티 명확화(entity disambiguation)), 특징 생성(예컨대, 엔티티와 관련된 컨텍스트 및 환경을 결정하는 것), 등을 지원하기 위해 이 추가적인 디바이스 정보를 사용할 수 있다. 따라서, 인식 엔진은 통상의 또는 차후 개발되는 기법들을 사용하여, 문자 인식, 이미지 인식, 로고 인식, 등과 같은 다양한 타입의 인식을 수행하도록 구성될 수 있다.
컴퓨팅 엔티티(110)는 또한, 개인 엔티티 검출 엔진(124)을 포함할 수 있다. 개인 엔티티 검출 엔진(124)은 스크린 컨텐츠 엔진(122)에 의해 인식된 엔티티들이 잠재적인 개인 엔티티들인지를 결정하도록 구성될 수 있다. 엔티티는 사람, 장소, 아이템, 아이디어, 주제, 토픽, 단어, 문구, 추상적인 컨셉, 구체적인 요소, 기타 적합한 것 또는 이들의 조합일 수 있다. 엔티티들은 엔티티들뿐만 아니라 엔티티들에 관한 정보도 저장하는 지식 베이스에 저장될 수 있다. 일부 구현들에서, 지식 베이스는 엔티티들에 관한 정보를 엔티티들 간의 관계의 형태로 저장한다. 예를 들어, 공공 지식 베이스의 엔티티들은 관계들을 나타내는 라벨링된 에지들에 의해 서로 관계될 수 있다. 공공 지식 베이스(144) 또는 공공 지식 베이스(184)와 같은 지식 베이스는 공공 엔티티들을 포함할 수 있다. 공공 엔티티는 지식 베이스(184)와 같이 공개적으로 이용가능한 지식 베이스에 존재하는 엔티티이다. 공공 지식 베이스는 인터넷을 통해 이용 가능한 정보로부터 생성될 수 있고, 사용자들의 콜렉션에 의해 큐레이팅될 수 있다. 이러한 공공 지식 베이스들은 규모가 크며, 때로는 수백만 개의 엔티티들을 포함하다. 이와는 대조적으로, 개인 엔티티는 컴퓨팅 디바이스의 사용자에게 관련되거나 흥미있는 엔티티이며 공공 지식 베이스에 존재하지 않는 엔티티이다. 예를 들어, 사용자는 배우 Tom Hanks에 관심이 있을 수 있지만, 대부분의 공공 지식 베이스들은 Tom Hanks를 나타내기 위한 엔티티를 가지며, 따라서 Tom Hanks는 개인 엔티티가 아니다. 이와는 대조적으로 사용자는 종종 동료인 Tom Smith에게 텍스팅하거나 또는 Tom Smith를 참조할 수 있다. 동료인 Tom Smith는 개인 엔티티일 가능성이 높은 바, 그 이유는 공공 지식 베이스가 상기 동료를 나타내는 엔티티를 가지지 않거나, 또는 Tom Smith로 명명된 엔티티를 가질 수 있되, 온-스크린 컨텍스트에 기초하여 시스템이 공공 Tom Smith가 상기 지칭되는 엔티티와 동일하지 않음을 결정할 수 있기 때문이다. 마찬가지로, 사용자는 암석(rock hounding)에 관심을 가질 수 있다. 암석이 더욱 특수화된 관심사이기 때문에, 공공 지식 베이스는 암석을 나타내는 엔티티를 포함하지 않을 수 있다. 그 다음, 이러한 엔티티는 사용자를 위한 개인 엔티티일 수 있다.
일부 구현들에서, 개인 엔티티 검출 엔진(124)은 잠재적인 개인 엔티티들을 식별하기 위해 알려진 엔티티 타입들을 갖는 필드들을 사용할 수 있다. 예를 들어, 이메일 어플리케이션이나 연락처 어플리케이션에서, 특정 텍스트 필드들은 이메일의 수신 또는 참조 필드들과 같은 사람 엔티티들을 포함하는 것으로 알려져 있다. 다른 필드들은 어드레스 또는 전화 번호, 등과 같은 다른 엔티티 타입들을 포함하는 것으로 알려질 수 있다. 어플리케이션이 이러한 엔티티-타입화된 필드들을 포함하는 것으로 알려진 경우, 개인 엔티티 검출 엔진(124)은 잠재적인 개인 엔티티들을 식별하기 위해 엔티티-타입화된 필드들 내의 텍스트를 이용할 수 있다. 개인 엔티티 검출 엔진(124)은 또한, 개인 엔티티들을 식별하는 다른 방법들을 사용할 수 있다. 예를 들어, 시스템은 인식된 아이템들이 가능한 엔티티들인지를 결정하기 위해 통상의 엔티티 식별 방법들을 사용할 수 있다. 통상의 방법들은 컨텐츠에서 잠재적인 개인 엔티티들을 식별하기 위해 자연어 프로세싱 기법들을 수반한다. 자연어 프로세싱은 품사 태깅(part-of-speech tagging), 명사구 식별, 명명된 엔티티 인식 및 타입 할당, 등을 포함한다. 일부 구현들에서, 개인 엔티티 검출 엔진(124)은 또한, 어플리케이션들에 걸쳐 n-그램들의 발생을 트래킹할 수 있다. 개인 엔티티 검출 엔진(124)은, 이메일, 연락처들, 메시징, 소셜 미디어 상의 코멘트들 또는 게시물들, 등과 같은 사적 컨텐츠 어플리케이션들에서 빈번하게 발생하는 n-그램을 구할(look for) 수 있는 바, 이들은 공공 컨텐츠 어플리케이션들(예를 들어, 뉴스-피드들, 예약 어플리케이션들, 게임들, 등)에서 동일한 빈도로 발생하지 않는다. 개인 엔티티 검출 엔진(124)은 공개 컨텐츠 어플리케이션들에서보다 개인 컨텐츠 어플리케이션들에서 자주 발생하는 n-그램들을 개인 엔티티들로 고려할 수 있다.
일부 구현들에서, 개인 엔티티 검출 엔진(124)은 잠재적인 개인 엔티티들이 공공 지식 베이스에서 발생하는지를 검증할 수 있다. 예를 들어, 지식 베이스(144 또는 184)와 같은 공공 지식 베이스는 엔티티를 식별하는 데 사용되는 텍스트 설명 또는 설명들 또는 키워드들뿐만 아니라 명확성(disambiguation) 데이터를 포함할 수 있다. 예를 들어, 공공 지식 베이스는 또한, 두 개의 유사하게 명명된 엔티티들 간의 차이를 결정하는 것을 돕기 위해 엔티티와 함께 발생(co-occur)하는 다른 엔티티들 또는 단어들을 포함할 수 있다. 개인 엔티티 검출 엔진(124)이 공공 지식 베이스 내의 잠재적인 개인 엔티티의 매치를 발견하면, 개인 엔티티 검출 엔진(124)은 엔티티를 폐기할 수 있다. 그렇지 않으면, 엔티티는 개인 엔티티로 고려될 수 있다. 개인 엔티티 검출 엔진(124)은 엔티티의 이름을 정규화하고, 개인 지식 베이스(134)에 개인 엔티티를 저장할 수 있다. 그 다음, 개인 엔티티 검출 엔진(124)은 개인 엔티티에 대한 임베딩을 학습하기 위해 개인 엔티티 모델링 엔진(128)에 엔티티를 제공한다.
초기에는, 개인 엔티티는 초기 임베딩을 할당받을 수 있다. 초기 임베딩은 랜덤하거나 또는 알려진 경우 개인 엔티티의 엔티티 타입에 기초할 수 있다. 초기 임베딩은 개인 지식 베이스(134)에 엔티티 이름과 함께 저장될 수 있다. 그 다음, 개인 엔티티 모델링 엔진(126)은 개인용 엔티티에 대한 적절한 임베딩을 학습하기 위해 word2vec 시스템과 같은 예측 모델을 계속 트레이닝시킬 수 있다. 예를 들어, 개인 엔티티 모델링 엔진(126)은 다른 개인 엔티티들의 세트를 고려하여 개인 엔티티를 예측하는 연속적인 CBOW(continuous bag of words)-유사 모델을 사용할 수 있다. 다른 개인 엔티티들은 모델링되는 개인 엔티티를 갖는 현재의 스크린(예컨대, 현재의 스크린 캡처) 상에서 또는 과거 및/또는 미래의 스크린 캡처들의 윈도우에서 발생할 수 있다. 윈도우의 길이는 구현에 종속적일 수 있다. 이러한 타입의 트레이닝은 임베딩 공간에 관계된 개인 엔티티들을 함께 클러스터링한다.
일부 구현들에서, 개인 엔티티 모델링 엔진(126)은 동일한 스크린 상에서(예를 들어, 동일한 스크린 캡처 이벤트) 또는 스크린 캡처 이벤트들의 윈도우에서 개인 엔티티와 함께 발생하는 공공 및 개인 엔티티들의 세트를 고려하여 개인 엔티티를 예측하도록 예측 모델을 트레이닝할 수 있다. 일부 구현들에서, 개인 엔티티 모델링 엔진(126)은 개인 엔티티가 스크린 캡처 컨텐츠에서 어디에 그리고 어떻게 나타나는지의 구조적 속성들(properties)을 예측하도록 트레이닝될 수 있다. 구조적 속성들은 폰트, 포맷(formatting) 또는 레이아웃 속성들을 포함할 수 있다. 이러한 타입의 트레이닝은 동일한 컨텍스트에서 나타나는 개인 엔티티들을 함께 클러스터링한다. 일부 구현들에서, 개인 엔티티 모델링 엔진(126)은 특정 개인 엔티티를 고려하여 현재 실행중인 어플리케이션, 다음 어플리케이션 또는 개인 엔티티 타입을 예측할 수 있다. 이러한 타입의 트레이닝은 임베딩 공간에서 동일한 컨텍스트에서 발생하는 동일한 타입의 개인 엔티티들을 함께 클러스터링한다. 이들은 예측 모델에 사용된 연속적인 트레이닝의 타입들의 예들로서 주어진다. 예측 모델의 의도된 사용들은 어떤 트레이닝 방법들이 사용되는지를 지시할(dictate) 수 있다. 일부 구현들에서, 개인 엔티티 모델링 엔진(126)은 복수의 예측 타입들(예를 들어, 구조적 속성들을 예측하기 위한 예들 및 다른 엔티티를 고려하여 개인 엔티티를 예측하기 위한 예들)을 나타내는 트레이닝 예들을 생성할 수 있다. 일부 구현들에서, 서로 다른 타입들의 트레이닝 예들은 하나의 타입을 다른 타입보다 선호하도록 가중될 수 있다. 예를 들어, 구조를 예측하는 트레이닝 예들은 개인 엔티티를 예측하는 트레이닝 예들보다 덜 가중될 수 있다(또는 그 반대일 수 있다). 그러한 구현에서, 더 높게 가중화된 예들은 결과적인 임베딩에 더 많은 기여를 한다.
개인 엔티티 모델링 엔진(126)과 같은 예측 모델은, 특징들의 세트를 고려하여 클래스(class) 또는 값(value)을 예측할 수 있는 LSTM(long-term-memory) 신경망, 피드-포워드 신경망feed-forward neural network), 지원 벡터 머신(SVM) 분류자, 등과 같은 어떤 타입의 기계 학습 알고리즘이다. 예를 들어, 예측 모델은 다른 엔티티, 특정 모바일 어플리케이션, 다른 엔티티들의 세트, 토픽, 구조적 속성들의 세트 등을 고려하여 하나의 엔티티를 예측하도록 트레이닝될 수 있다. 개인 엔티티 모델링 엔진(126)은 두 가지 모드들, 즉 트레이닝 모드 및 추론 모드를 갖는다. 트레이닝 모드에서, 개인 엔티티 검출 엔진(124)은 예측 모델에 대한 긍정 트레이닝(positive training) 예들로서, 캡처된 컨텐츠(예를 들어, 컴퓨팅 디바이스 상에 디스플레이된 컨텐츠)로부터 생성된 특징 벡터들을 사용한다. 트레이닝 예들은 시간 걸쳐 수집될 수 있으며 개인 엔티티에 대한 임베딩을 업데이트하는 데 사용된다. 특징 벡터들은 모델이 무엇을 예측하도록 트레이닝되는지(예를 들어, 다른 엔티티, 토픽, 엔티티들의 세트, 모바일 어플리케이션, 등)에 좌우된다. 일부 구현들에서, 엔티티에 대한 트레이닝 예들은 사용자가 엔티티의 디스플레이에 후속적으로 어떤 타입의 액션들을 취하는 지를 포함할 수 있다. 예를 들어, 사용자가 하나의 모바일 어플리케이션으로부터 다른 모바일 어플리케이션으로 스위칭할 때, 이 컨텍스트는 제1 모바일 어플리케이션에 나타나는 개인 엔티티에 대한 임베딩을 업데이트하는 데 사용될 수 있다. 따라서, 특정 개인 엔티티가 시간에 걸쳐 대면됨에 따라, 임베딩은 엔티티가 나타나는 컨텍스트 및 어떤 컨텍스트가 전형적으로 뒤따르는지를 더욱 정확하게 반영하게 된다. 모델은 모델이 어떻게 트레이닝되는지에 따라 다양한 방식들로 사용자 경험을 개인화하기 위해 추론 모드에서 사용될 수 있다.
일부 구현들에서, 스크린 컨텐츠 엔진(122)은 캡처된 컨텐츠를 인덱싱하도록 구성된 인덱싱 엔진을 포함할 수 있다. 인덱스은 또한, 스크린 캡처 이미지를 상기 이미지에서 식별된 텍스트, 엔티티들, 이미지들, 로고들, 등과 관련시킬 수 있다. 따라서, 예를 들어, 인덱싱 엔진은 캡처된 이미지 및 캡처된 컨텐츠에 대한 (예를 들어, 스크린 캡처 인덱스(146)에 저장된) 인덱스 엔트리들을 생성할 수 있다. 일부 구현들에서, 인덱싱 엔진은 서버(170)와 같은 서버 상에 있을 수 있고, 스크린 컨텐츠 엔진(122)은 캡처된 이미지 및 캡처된 컨텐츠를 서버에 제공할 수 있다. 인덱스는 반전된 인덱스(inverted index)일 수 있는 바, 여기서 핵심 값(key value)(예컨대, 단어, 문구, 엔티티, 이미지, 로고, 등)은 상기 핵심 값을 포함하는 이미지들의 리스트(예컨대, 캡처된 스크린 이미지들의 사본)과 관련된다. 인덱스는 상기 리스트에서 각각의 캡처된 이미지와 관련된 메타데이터(예를 들어, 캡처된 이미지 상에서 핵심 값이 발생하는 곳, 이미지에 대한 핵심 값에 대한 랭킹, 등)를 포함할 수 있다. 일부 구현들에서, 인덱스는 또한, 타임스탬프에 의해 인덱싱된 캡처된 이미지들의 리스트를 포함할 수 있다. 인덱스 엔진은 예컨대, 스크린 캡처 인덱스(146)에서 인덱스를 메모리에 저장할 수 있다. 물론, 일부 구현들에서, 시스템은 컴퓨팅 디바이스(110)에 추가적으로 또는 이 대신에 서버 상의 사용자 계정에 인덱스를 저장할 수 있다. 컴퓨팅 디바이스(110)의 사용자는 스크린 컨텐츠 엔진(122)이 활성일 때를 제어할 수 있다. 예를 들어, 사용자는 다른 특정된 어플리케이션들(120)이 실행 중일 때만(예를 들어, 소셜 미디어 모바일 어플리케이션에 있는 경우에만) 스크린 컨텐츠 엔진(122)이 활성인 것으로 특정할 수 있다. 사용자는 또한, 예를 들어 설정 어플리케이션을 통해 스크린 컨텐츠 엔진(122)을 수동으로 켜고 끌 수 있다. 일부 구현들에서, 사용자는 제스처 또는 액션으로 스크린 컨텐츠 엔진(122)을 인보크(invoke)할 수 있다. 스크린 컨텐츠 엔진(122)을 디스에이블시키는 것은 또한, 여기에 설명된 스크린 컨텐츠에서 개인 엔티티들의 검출 및 모델링을 디스에이블시킬 수 있다.
어플리케이션들(120)은 또한, 추천 엔진(128)을 포함할 수 있다. 추천 엔진(128)은 컴퓨팅 디바이스(110)의 사용자에게 개인화된 지원을 제공하기 위해 추론 모드에서 개인 엔티티 모델링 엔진(126) 및 개인 지식 베이스(134)를 사용할 수 있다. 개인화된 지원은 구현에 따라 다양한 기법들을 포함한다. 예를 들어, 일부 구현들에서, 추천 엔진(128)은 입력의 컨텍스트에 기초하여 입력에 대한 완성(completion)들을 결정할 수 있다. 다른 예에서, 추천 엔진(128)은 유사한 개인 엔티티들의 클러스터 또는 그룹을 식별할 수 있다. 예를 들어, 추천 엔진(128)은 미식 축구에 대한 관심을 공유하는 개인 엔티티들의 그룹, 멕시코 레스토랑에 관계된 개인 엔티티들의 그룹, 컨텍스트(예를 들어, 화요일에 점심 식사를 위한 모임)를 공유하는 개인 엔티티들의 그룹, 등을 식별할 수 있다. 추천 엔진(128) 또는 다른 어플리케이션은 사용자에게 전달된 컨텐츠, 추가적인 이메일 또는 텍스트 수신자들, 토론을 위한 토픽들, 현재 스크린을 공유하는 사람들, 등을 제안하기 위해 그룹들을 사용할 수 있다. 일부 구현들에서, 추천 엔진(128) 는 두 개의 개인 엔티티들의 임베딩들이 가까울 때 상기 두 개의 개인 엔티티들을 병합하는 것을 제안하는 조화 프로세스(reconciliation process)를 포함할 수 있다. 예를 들어, 추천 엔진(128)은 두 개의 개인 엔티티들의 임베딩들 사이의 거리가 높은 임계 내에 있을 때, 예를 들어, 고도의 유사성을 나타낼 때, 상기 두 개의 개인 엔티티들을 병합하는 것을 제안하거나 병합을 자동으로 수행할 수 있다. 개인 지식 베이스의 개인 엔티티들을 병합하는 것은 개인 엔티티가 다양한 이름들을 통해 식별될 수 있게 한다. 마찬가지로, 추천 엔진(128)은, 임베딩이 불안정하거나 개인 엔티티에 대한 트레이닝 예들이 종종 불일치할 때, 하나의 개인 엔티티를 두 개의 개인 엔티티들로 분리하는 것을 제안(또는 자동으로 수행)할 수 있다. 상기 개인화 지원 시나리오들은 예시들로만 제공되며 구현들은 주어진 예들에만 한정되지 않는다.
컴퓨팅 디바이스(110)는 컴퓨팅 디바이스(110)의 메모리에 저장되고 어플리케이션들(120)에 의해 사용되는 데이터 저장소들(130)을 포함할 수 있다. 일부 구현들에서, 데이터 저장소들(130)은 스크린 캡처 이미지들에서 식별된 아이템들을 포함하는 스크린 캡처 인덱스(146) 및 공공 지식 베이스(144)를 포함할 수 있다. 공공 지식 베이스(144)는 연역적 추리(deductive reasoning)를 제공하는 형태로 데이터에 관한 지식을 기술하는 데이터 및 규칙들을 저장하는 그래프-기반의 데이터 저장소일 수 있다. 예를 들어, 지식 베이스에서 정보는 다른 엔티티들과의 관계들의 형태로 엔티티들에 관하여 저장될 수 있다. 엔티티는 사람, 장소, 아이템, 아이디어, 토픽, 단어, 문구, 추상적인 컨셉, 구체적인 요소, 기타 적합한 것 또는 이들의 조합일 수 있다. 엔티티들은 관계들을 나타내는 라벨링된 에지들에 의해 서로 관계될 수 있다. 라벨링된 에지들은 지향되거나(directed) 비지향될(undirected) 수 있다. 예를 들어, National Football League를 표시하는 엔티티는 "팀을 가지고 있음(has team)" 관계에 의해 Jaguar 엔티티에 관계될 수 있다. 공공 지식 베이스(144)는, 특히 대규모의 지식 베이스(184)가 수백만의 엔티티들 및 수십억의 관계들을 포함하는 경우, 서버(170)에 위치된 더 큰 지식 베이스(184) 내의 엔티티들 및 관계들의 서브세트일 수 있다. 예를 들어, 공공 지식 베이스(144) 내의 엔티티들 및 관계들은 지식 베이스(184)로부터 가장 인기있는 엔티티들 및 관계들을 나타낼 수 있거나 또는 사용자 선호도들에 기초하여 선택될수 있다. 예를 들어, 사용자가 프로파일을 갖는다면, 엔티티들 및 관계들은 프로파일에 기초하여 또는는 스크린 캡처 이미지들의 컨텐츠에서 빈번하게 식별되는 엔티티들의 타입들에 기초하여 공공 지식 베이스(144)에 포함되도록 선택될 수 있다.
데이터 저장소들(130)은 개인 지식 베이스(134)를 포함할 수 있다. 개인 지식 베이스(134)는 컴퓨팅 디바이스(110)와 같은 사용자 디바이스 상에 그리고/또는 개인 지식 베이스(182)와 같이 사용자와 관련된 계정의 서버(170) 상에 저장될 수 있다. 개인 지식 베이스(134)(및 개인 지식 베이스(182))는 개인 엔티티의 하나 이상의 설명들 및 개인 엔티티에 대한 관련 임베딩을 저장할 수 있다. 따라서, 개인 지식 베이스(134)에서, 개인 엔티티들은 임베딩에 의해 표시되고 하나 이상의 텍스트적 설명들에 의해 식별된다. 텍스트적 설명들은 대문자를 제거하는 것, 등과 같이 표준화될 수 있다. 일부 구현들에서, 개인 엔티티에 관한 다른 정보는 또한, 개인 지식 베이스(134)에 저장될 수 있다. 예를 들어, 이메일 어드레스, 전화 번호 또는 소셜 미디어 식별자는 개인 엔티티와 관련될 수 있는 바, 이는 추천 엔진(128)을 지원할 수 있다. 예를 들어, 추천 엔진(128)이 토픽을 공유할 개인 엔티티를 제안할 때, 추천 엔진(128)은 이메일, 텍스트, 또는 게시물을 개인 엔티티에 자동으로 전송하기 위해 이 추가적인 정보를 사용할 수 있다.
개인 엔티티 모델링 시스템(100)은 다수의 서로 다른 디바이스들, 예를 들어 표준 서버, 그러한 서버들의 그룹, 또는 랙 서버 시스템의 형태를 취하는 컴퓨팅 디바이스 또는 디바이스들일 수 있는 서버(170)를 포함할 수 있다. 예를 들어, 서버(170)는 복수의 컴퓨팅 디바이스들에 걸쳐 분산된 방식으로 구현될 수 있다. 추가적으로, 서버(170)는 개인용 컴퓨터, 예를 들어 랩탑 컴퓨터에 구현될 수 있다. 서버(170)는 도 8에 도시된 바와 같은 컴퓨터 디바이스(800) 또는 도 9에 도시된 바와 같은 컴퓨터 디바이스(900)의 일례일 수 있다. 서버(170)는 하나 이상의 머신 실행가능 명령어들 또는 소프트웨어, 펌웨어 또는 이들의 조합의 조각들을 실행하도록 구성된 기판에 형성된 하나 이상의 프로세서들을 포함할 수 있다. 프로세서들은 반도체-기반일 수 있는 바, 즉, 프로세서들은 디지털 로직을 수행할 수 있는 반도체 물질을 포함할 수 있다.
서버(170)는 또한, 하나 이상의 컴퓨터 메모리들을 포함할 수 있다. 메모리들, 예를 들어 메인 메모리는 일시적으로, 영구적으로, 반영구적으로(semi-permanently), 또는 이들의 조합으로 하나 이상의 데이터 조각들을 저장하도록 구성될 수 있다. 메모리들은 하나 이상의 프로세서들에 의해 판독 및/또는 실행될 수 있는 포맷으로 정보를 저장하는 어떤 타입의 저장 디바이스를 포함할 수 있다. 메모리들은 휘발성 메모리, 비 휘발성 메모리, 또는 이들의 조합을 포함할 수 있으며, 하나 이상의 프로세서들에 의해 실행될 때 특정 동작들을 수행하는 모듈들 또는 엔진들을 저장할 수 있다. 일부 구현들에서, 모듈들은 외부 저장 디바이스에 저장될 수 있고 서버(170)의 메모리에 로딩될 수 있다. 일부 구현들에서, 모듈은 스크린 컨텐츠 엔진(122), 개인 엔티티 검출 엔진(124), 개인 엔티티 모델링 엔진(126) 또는 추천 엔진(128)의 기능들 중 하나 이상을 수행할 수 있다. 일부 구현들에서, 서버(170)는 정보 파일들 중 하나 이상의 백업 사본들을 데이터 저장소(130)에 저장할 수 있고, 데이터 저장소(130) 내의 정보 파일 중 하나 이상에 대한 소스 데이터를 제공할 수 있다.
예를 들어, 서버(170)는 스크린 컨텐츠 엔진(172), 엔티티 모델링 엔진(176), 및/또는 추천 엔진(178)을 포함할 수 있다. 예를 들어, 스크린 컨텐츠 엔진(172)은 컴퓨팅 디바이스(110) 상의 스크린 컨텐츠 엔진(122)으로부터 스크린 캡처 이미지를 수신할 수 있고, 이미지 내의 핵심 아이템들을 식별하기 위해 인식을 수행할 수 있다. 따라서, 스크린 컨텐츠 엔진(172)은, 스크린 캡처 이미지에서 스크린 컨텐츠를 분석하고 스크린 컨텐츠에서 단어들, 엔티티들, 로고들, 등과 같은 핵심 아이템들을 식별하는 컴포넌트들을 포함할 수 있다. 식별된 엔티티들은 공공 지식 베이스(184) 및/또는 사용자 계정과 관련된 개인 지식 베이스(182)에 있는 엔티티들일 수 있다. 따라서, 스크린 컨텐츠 엔진(172)은 통상의 또는 차후 개발되는 기법들을 사용하여, 문자 인식, 이미지 인식, 로고 인식, 등과 같은 다양한 타입의 인식을 수행하도록 구성될 수 있다. 일부 구현들에서, 스크린 컨텐츠 엔진(172)은 스크린 캡처 인덱스(186)에 반전된 인덱스를 저장하여, 전술한 바와 같이, 핵심 아이템들을 인덱스할 수 있다. 스크린 캡처 인덱스(186)는 컴퓨팅 디바이스(110)의 사용자와 관련된다.
일부 구현들에서, 스크린 컨텐츠 엔진(172)은 컴퓨팅 디바이스(110) 상의 개인 엔티티 검출 엔진(124)에 인식된 아이템들을 제공하거나 또는 엔티티 모델링 엔진(176)에 인식된 아이템들을 제공할 수 있다. 엔티티 모델링 엔진(176)은 개인 엔티티 검출 엔진(124)에 관하여 상기 기술된 바와 같이 캡처된 스크린(또는 스크린들의 윈도우)으로부터 개인 엔티티들을 식별할 수 있다. 일부 구현들에서, 상기 엔티티 모델링 엔진(176)은 또한, 상기 엔티티 모델링 엔진(176)에 관하여 상기 설명된 바와 같이 상기 스크린 컨텐츠에서 식별된 개인 엔티티들의 임베딩을 업데이트할 수 있다. 따라서, 엔티티 모델링 엔진(176)은 개인 엔티티 검출 엔진(124) 또는 개인 엔티티 모델링 엔진(126)의 기능들 중 하나 이상을 수행할 수 있다. 그러므로, 엔티티 모델링 엔진(176)은 개인 지식 베이스(134) 또는 개인 지식 베이스(182)를 갱신할 수 있다.
서버(170)는 공공 지식 베이스(184)를 저장할 수 있다. 공공 지식 베이스(184)는 연역적 추리를 제공하는 형태로 데이터에 관한 지식을 기술하는 데이터 및 규칙들을 저장하는 대규모 그래프-기반의 데이터 저장소일 수 있다. 다수의 엔티티들 및 심지어는 제한된 수의 관계들을 갖는 지식 베이스는 수십억 개의 연결들을 가질 수 있다. 일부 구현들에서, 지식 베이스(184)는 서버(170) 및/또는 컴퓨팅 디바이스(110)로부터 액세스가능한 외부 저장 디바이스에 저장될 수 있다. 일부 구현들에서, 공공 지식 베이스(184)는 복수의 저장 디바이스들 및/또는 복수의 컴퓨팅 디바이스들, 예컨대 복수의 서버들에 걸쳐 분산될 수 있다. 공공 지식 베이스(184) 내의 엔티티들 및 관계들은 예를 들어 인덱스를 통해 검색 가능할 수 있다. 예를 들어, 인덱스는 엔티티가 참조된 텍스트를 포함할 수 있다. 따라서, 지식 베이스(184)에 대한 참조는 텍스트 균등물을 사용하여 엔티티를 찾는 것을 용이하게 하는 인덱스를 포함하는 것으로 이해될 수 있다.
컴퓨팅 디바이스(110)는 서버(170)와 그리고 네트워크(160)를 통해 다른 모바일 디바이스들과 통신할 수 있다. 네트워크(160)는 예를 들어, 인터넷일 수 있거나 또는 네트워크(160)는 예컨대, 게이트웨이 디바이스들, 브리지(bridge)들, 스위치들 및/또는 기타 등등을 사용하여 구현되는 유선 또는 무선 LAN(local area network), WAN(wide area network), 등일 수 있다. 네트워크(160)는 또한, 셀룰러 통신 네트워크를 나타낼 수 있다. 네트워크(160)를 통해 서버(170)는 컴퓨팅 디바이스(110)와 통신하고 컴퓨팅 디바이스(110)에/로부터 데이터를 전송할 수 있고, 컴퓨팅 디바이스(110)는 다른 모바일 디바이스들(도시되지 않음)과 통신할 수 있다.
개인 엔티티 모델링 시스템(100)은 하나의 예시적인 구성을 나타내고 구현들은 다른 구성들을 통합할 수 있다. 예를 들어, 일부 구현들은 스크린 컨텐츠 엔진(122), 개인 엔티티 검출 엔진(124), 개인 엔티티 모델링 엔진(126) 또는 추천 엔진(128)의 컴포넌트들 중 하나 이상을 단일 모듈 또는 엔진으로 결합할 수 있다. 마찬가지로, 일부 구현들은 스크린 컨텐츠 엔진(172), 엔티티 모델링 엔진(176) 또는 추천 엔진(178) 중 하나 이상을 단일 모듈 또는 어플리케이션으로 결합할 수 있다. 다른 예로서, 스크린 캡처 인덱스(146), 공공 지식 베이스(144) 또는 개인 지식 베이스(134)와 같은 데이터 저장소들 중 하나 이상은 단일 데이터 저장소로 결합될 수 있거나 또는 복수의 컴퓨팅 디바이스들에 분산될 수 있거나 또는 서버(170) 또는 사용자에 의해 특정된 다른 위치에 저장될 수 있다. 더욱이, 특정 실시예들에서, 본 명세서에 기술된 방법들의 양상들은 프라이버시, 낮은 레이턴시, 네트워크 범위를 벗어난 동작, 등과 같은 서버(170)와의 통신이 없이 컴퓨팅 디바이스(110) 상에서 발생할 수 있다.
개인 엔티티 모델링 시스템(100)이 사용자에 특정적인 데이터(user-specific data)를 수집 및 저장하거나 또는 개인 정보를 이용할 수 있는 정도에서, 사용자들은 사용자들은 프로그램들 또는 특징들이 사용자 정보(예컨대, 사용자의 소셜 네트워크, 소셜 액션들 또는 활동들, 사용자의 선호도들 또는 사용자의 현재의 위치에 관한 정보)를 수집할지의 여부를 제어거나 또는 스크린 캡처 이미지들 및 컨텐츠를 저장할지의 여부 그리고/또는 저장하는 법을 제어할 기회를 제공받을 수 있다. 예를 들어, 시스템은 뱅킹 어플리케이션들, 건강 어플리케이션들 또는 기타 유사한 어플리케이션들과 같은 특정 어플리케이션들에 대해 컨텐츠를 캡처하지 못하도록 하거나 또는 그러한 컨텐츠를 캡처하는 것이 서비스의 약관(terms)을 침해하는 경우 상기 컨텐츠를 캡처하지 못하게 할 수 있다. 추가적으로, 사용자는 특정 어플리케이션들 또는 어플리케이션들의 카테고리들에 대해 스크린 컨텐츠를 캡처하는 것을 디스에이블시킬 기회를 제공받을 수 있다. 추가적으로, 특정 데이터는 이 데이터가 저장되거나 사용되기 전에 개인적으로 식별가능한 정보가 제거되도록 하나 이상의 방식들로 처리될 수 있다. 예를 들어, 사용자에 대한 어떤 개인적으로 식별가능한 정보도 결정될 수 없도록 사용자의 신원이 처리될 수 있거나 또는 (예컨대, 시, 우편번호, 또는 주(state) 레벨로) 지리적 위치 정보가 획득되는 사용자의 지리적 위치가 일반화될 수 있어서 사용자의 특별한 지리적 위치가 결정될 수 없게 된다. 따라서, 사용자는 정보가 사용자에 관하여 어떻게 수집되고 모바일 개인 엔티티 모델링 시스템에 의해 사용되는지에 관한 제어권을 가질 수 있다.
도 2는 개시된 본 발명에 따라, 사용자 경험을 개인화하기 위해 개인 엔티티들을 발견하고 사용하기 위한 예시적인 프로세스(200)의 흐름도를 도시한다. 프로세스(200)는 도 1의 시스템(100)과 같은 모바일 개인 엔티티 모델링 시스템에 의해 수행될 수 있다. 프로세스(200)는 개인 엔티티들을 검출하고 이들을 임베딩으로서 모델링하기 위해 이용되는 바, 이는 시스템이 다양한 유연한 방식으로 사용자 경험을 개인화할 수 있게 한다. 프로세스(200)는 컴퓨팅 디바이스(205) 상에 디스플레이하기 위해 생성된 컨텐츠 내의 개인 엔티티를 검출함으로써 시작될 수 있다. 시스템은 도 1에 관하여 상술한 바와 같이, 스크린 상에 디스플레이된 정보를 획득하고 정보에 대한 인식을 수행하기 위해 스크린 캡처 이미지들 또는 API 호출들을 사용할 수 있다. 시스템은 특정 데이터 필드(예를 들어, 이메일 어플리케이션의 수신자 어드레스)와의 관련성에 기초하여 또는 사적-컨텐츠 어플리케이션들에 나타나는 빈번한 n-그램들에 기초하여 또는 텍스트 및 이미지에 대한 통상의 엔티티 검출 기법들에 기초하여 개인 엔티티를 검출할 수 있다. 개인 엔티티는 공공 지식 베이스에서 발견되지 않는 엔티티일 수 있다. 시스템은 개인 엔티티를 임베딩으로서 모델링할 수 있다(단계 (210)). 일부 구현들에서, 시스템은 최소 횟수로 검출된 개인 엔티티들만을 모델링할 수 있다. 모델링은 초기 임베딩으로 시작될 수 있고, 상기 초기 임베딩은 그 다음, 모델에 제공된 예들에 기초하여 기계 학습 예측 모델에 의해 수정된다. 예를 들어, 시스템은 주기적으로(on a periodic basis) (예를 들어, 스크린 캡처 또는 API 호출들로부터) 스크린 정보를 획득할 수 있고, 개인 엔티티가 트레이닝 예들로서 발생하는 컨텍스트를 예측 모델에 제공할 수 있다. 도 3에 관하여 후술되는 바와 같이, 트레이닝 예들로서 제공되는 컨텍스트는 구현에 좌우될 수 있다.
일단 임베딩이 충분히 트레이닝되면, 시스템은 사용자 경험을 개인화하기 위해 개인 엔티티를 위한 임베딩을 사용할 수 있다(단계 215). 예를 들어, 개인 엔티티가 일정 횟수 대면될 때, (트레이닝 데이터에 관한) 개인 엔티티를 수반하는 분류들에 대한 에러율이 특정 임계 아래로 떨어지면, 등등에서, 충분한 트레이닝이 결정될 수 있다. 사용자 경험을 개인화하는 것은 다양한 기능들을 포함할 수 있다. 예를 들어, 시스템은 스크린상의 컨텐츠에 기초하여 단어들 또는 구문들을 예측할 수 있다. 온스크린 컨텐츠는 다른 개인 엔티티들 및 공공 엔티티들을 모두 포함할 수 있다. 다른 예로서, 시스템은 특정 토픽 또는 이벤트 (예컨대, 애니메이션 토론, 주중 점심 식사 또는 미식 축구 플레이)와 함께 발생하는 개인 엔티티들과 같은 유사한 개인 엔티티들을 식별하기 위해 임베딩들을 이용할 수 있다. 다른 예로서, 시스템은 토픽 분류자를 위한 임베딩들을 사용할 수 있는 바, 이는 사용자가 온스크린 컨텍스트에 기초하여 특정 인물과 연락하기를 원할 때를 예측할 수 있다. 예를 들어, 시스템은 사용자가 식당에 관한 정보를 봄에 따라, 사용자가 전형적으로, 3 개의 개인 엔티티들과 식사를 함을 결정할 수 있고, 상기 3 개의 개인 엔티티들과 레스토랑에 또는 상기 레스토랑의 예약에 관한 정보를 공유할 것을 제안할 수 있다.
마찬가지로, 시스템은 사용자가 하나 이상의 개인 엔티티들과 채팅하고 있음을 결정할 수 있고, 토론의 토픽을 제안할 수 있다. 예를 들어, 임베딩들은 개인 엔티티들의 그룹이 영화의 컨텍스트에서 종종 언급됨을 나타낼 수 있고, 사용자가 그룹의 하나 이상의 멤버들과 채팅할 때, 토론할 새로운 영화 또는 배우에 대한 최근의 새로운 아이템을 제안할 수 있음을 나타낼 수 있다. 다른 예로서, 시스템은 임베딩들에 기초하여 사용자에게 전달되는 개인화된 컨텐츠를 제공할 수 있다. 예를 들어, 시스템은 임베딩들이 영화의 컨텍스트에서 함께 발생한다고 나타내는 온스크린 개인 엔티티들에 대한 새로운 영화에 대한 광고를 제공할 수 있다. 다른 예로서, 시스템은 온-디바이스 검색에서 가장 가까운 이웃 조회를 위해 임베딩들을 사용할 수 있다. 따라서, 사용자가 특정 엔티티를 검색하는 경우, 시스템은 검색 결과를 강화하기 위해 검색에 대해 가장 가까운 이웃 매치들을 제공할 수 있다. 임베딩들로부터 사용자 경험을 개인화하는 이러한 예시들은 단지 예들로만 제공되며 구현들은 사용자 경험을 개인화하기 위한 임베딩들의 다른 사용들을 포함할 수 있다.
도 3은 개시된 구현들에 따라 개인 엔티티들을 모델링하기 위한 예시적인 프로세스(300)의 흐름도를 도시한다. 프로세스(300)는 도 1의 시스템(100)과 같은 모바일 개인 엔티티 모델링 시스템에 의해 수행될 수 있다. 프로세스(300)는 개인 엔티티들을 검출하고 이들을 임베딩들로서 모델링하는 데 사용될 수 있다. 프로세스(300)는 캡처된 스크린 정보에서 비-공공 엔티티를 검출함으로써 시작될 수 있다(단계 305). 상술한 바와 같이, 비-공공 엔티티는 공공 지식 베이스, 예를 들어, 시스템에 의해 액세스되는 공공 지식 베이스에 존재하지 않는 엔티티이다. 시스템에 의해 사용되는 공공 지식 베이스에 엔티티가 결여되면, 이는 비-공공 엔티티이다. 비-공공 엔티티는 이미지뿐만 아니라 텍스트에서도 인식될 수 있다. 예를 들어, 일부 이미지들은 관련 설명을 가지며, 설명은 비-공공 엔티티에 대한 설명 또는 다른 식별자이거나 또는 이를 포함할 수 있다. 이의 예들은 소셜 미디어 사용자 식별자에 태깅된 연락처 또는 이미지들과 관련된 이미지들이다. 시스템은 비공공 엔티티가 개인 엔티티인지 여부를 결정할 수 있다(단계 310). 엔티티가 도 1의 개인 지식 베이스(134)과 같은 개인 지식 베이스에 이미 존재하는 경우, 엔티티는 개인 엔티티이다(단계 310, 예). 그렇지 않은 경우(단계 310, 아니오), 시스템은 비-공공 엔티티가 개인 엔티티로 고려되기에 충분히 빈번하게 대면되었는지를 결정할 수 있다(단계 315). 빈도는 엔티티를 검출하는 데 사용되는 방법에 좌우될 수 있다. 예를 들어, 필드 타입(예컨대, 발신자 이메일 어드레스)에 기초하여 검출된 엔티티는 한 번만 나타나면 될 수 있지만, 사적 컨텐츠 어플리케이션에서 생성된 컨텐츠에서 검출된 n-그램인 엔티티는 여러 번 대면되어야할 수 있다. 따라서, 빈도 임계는 구현에 특정적일뿐만 아니라 소스에 특정적일 수 있다(예를 들어, 서로 다른 소스들은 서로 다른 임계들을 갖는다). 빈도 임계가 충족되지 않으면(단계 315, 아니오), 시스템은 엔티티의 다른 발생들을 발견하기 위해 스크린 컨텐츠를 분석하는 것을 계속할 수 있다(단계 305). 빈도 임계가 충족되면(단계 315, 예), 시스템은 엔티티에게 초기 임베딩을 할당할 수 있다(단계 320). 초기 임베딩은 랜덤하게 할당되거나 또는 엔티티 타입에 기초하여 디폴트가 할당될 수 있다. 예를 들어, 개인 엔티티들은 어드레스 엔티티들, 토픽 엔티티들 또는 전화 번호 엔티티들, 등으로부터 서로 다른 초기 임베딩을 가질 수 있다. 초기 임베딩 및 비-공공 엔티티는 단계(320)의 일부로서 개인 지식 베이스에 추가되어, 시스템은 개인 엔티티를 임베딩으로서 모델링하는 것을 시작할 수 있다.
시스템은 캡처된 스크린 정보로부터 개인 엔티티에 대한 트레이닝 예들을 생성할 수 있다(단계 325). 트레이닝 예들은 스크린 캡처 정보로부터 검출된 다양한 정보를 포함할 수 있다. 예를 들어, 트레이닝 예들은 스크린 캡처 정보에서 식별된 다른 개인 엔티티들, 스크린 캡처 정보에서 식별된 공공 엔티티들, 스크린 캡처 정보에서 식별된 공공 및 개인 엔티티들의 조합, 포맷 및 레이아웃과 같은 구조적 속성들, 개인 엔티티가 스크린 상에서 나타나는 곳 및 나타나는 법, 컴퓨팅 디바이스의 상태에 관한 메타데이터, 현재 실행중인 어플리케이션에 관한 메타데이터, 등을 포함할 수 있다. 일부 구현들에서, 트레이닝 예들은 하나의 스크린에 대한 스크린 캡처 정보에 기초할 수 있다. 일부 구현들에서, 트레이닝 예들은 과거 스크린들 또는 과거 및 미래 스크린들의 윈도우로부터의 스크린 캡처 정보에 기초할 수 있다. 즉, 시스템은 시간의 윈도우를 통과할 때까지 트레이닝 예들을 생성하는 것을 지연시킬 수 있고, 트레이닝 예들을 생성하기 위해 시간의 윈도우로부터 스크린 캡처 이벤트들을 포함할 수 있다. 시간의 윈도우를 사용하는 구현에서, 트레이닝 예들 중 일부는 개인 엔티티가 검출된 스크린 캡처 이벤트에 후속적으로 사용자가 취한 액션들을 포함할 수 있다. 예를 들어, 사용자가 종종 특정 토픽(예컨대, 점심 식사)을 논의한 후에 예약 어플리케이션으로 스위칭하는 경우, 시스템은 토픽을 고려하여 예약 어플리케이션을 예측하는 트레이닝 예를 포함할 수 있다. 시스템은 예측 모델을 트레이닝하기 위해 트레이닝 예들을 이용하고, 따라서, 개인 엔티티에 대한 임베딩을 업데이트한다(단계 330). 시스템은 엔티티에 대한 임베딩을 개량(refine)하기 위해 사용자 설정이 허용하는 한 연속적으로 프로세스(300)를 수행할 수 있다. 이는 시스템이 결국, 개인 엔티티가 온스크린 컨텐츠에서 대면되거나 또는 온스크린 컨텐츠와 관련될 때 임베딩에 기초하여 개인화된 지원을 제공하기 위해 임베딩을 사용할 수 있게 한다.
도 4는 개시된 구현들에 따른, 사용자 경험을 커스토마이징하기 위해 모델링된 개인 엔티티들을 사용하기 위한 예시적인 프로세스(400)의 흐름도를 도시한다. 일단 예측 모델이 트레이닝되면, 시스템은 다양한 방식들로 예측 모델을 사용할 수 있다. 한 가지 방식은 개인 및 사적인 엔티티들을 자동 완성 동작에서 제안들로서 제공하는 것이다. 트레이닝된 예측 모델은 다른 온스크린 컨텐츠에 기초하여 단어들 또는 구문들을 예측할 수 있다. 이는 사용자가 이미 타이핑 것만 사용하는 기존의 자동 완성 동작들과는 다르다. 통상의 자동 완성 동작들에 비해 프로세스(400)의 이점은 프로세스(400)가 심지어 사용자에 의해 제공되는 어떤 문자들의 부재 시에도 단어들 또는 문구들을 제안할 수 있다는 것이다. 즉, 프로세스(400)는 사용자가 어떤 텍스트를 입력하기 전에 사용자가 텍스트 박스에 커서를 위치시킴을 결정할 시 제안되는 엔티티를 제공할 수 있다. 프로세스(400)는 도 1의 시스템(100)과 같은 모바일 개인 엔티티 모델링 시스템에 의해 실행될 수 있다. 프로세스(400)는 도 2의 단계(215)와 관련하여 기술된 바와 같이, 사용자 경험을 개인화하기 위해 임베딩을 사용하는 예이다. 프로세스(400)는 시스템에 의해 반복되는 방식으로(on a recurrent basis) 실행될 수 있는 바 - 예를 들어, 사용자가 텍스트 박스와 같은 입력 제어에 최초로 포커스를 보낼 때, 시스템은 프로세스(400)를 수행할 수 있고, 엔티티들의 리스트를 제안되는 완성들로서 제공할 수 있다. 사용자가 완성들 중 하나를 선택하지 않으면, 시스템은 사용자로부터 입력을 수신한 후, 예컨대, 각각의 텍스트 입력이 수신된 후, 완성들로서 제안되는 엔티티들을 개량하기 위해 텍스트 입력을 이용하여, 다시 프로세스(400)를 수행할 수 있다.
프로세스(400)는 사용자에 의해 제공된 입력을 결정함으로써 시작한다(단계 405). 실제 입력은 블랭크(blank) 또는 널(null)일 수 있는 바, 이는 입력을 제공할 의도를 나타낸다. 예를 들어, 사용자가 텍스트 박스에 커서를 위치시키는 것과 같이, 입력 제어에 포커스를 보낼 때, 시스템은 사용자가 입력을 제공할 의도를 가짐을 결정하고, 입력이 현재 블랭크 또는 널임을 결정할 수 있다. 사용자가 어떤 텍스트, 숫자들 또는 문자들을 제공한 경우, 입력 제어를 통해 시스템은 제공된 텍스트를 포함하는 입력을 결정할 수 있다. 시스템은 또한, 입력과 관련된 컴퓨팅 디바이스에 의해 디스플레이되는 컨텐츠를 결정할 수 있다. 예를 들어, 시스템은 입력 제어와 관련된 스크린 캡처 정보에 디스플레이된 다른 엔티티들, 예를 들어 현재 스크린 상에 디스플레이된 엔티티들 또는 현재 스크린을 포함하는 윈도우에 디스플레이된 엔티티들을 결정할 수 있다. 스크린 캡처 정보에서 인식되는 엔티티들 및 스크린 캡처 정보에 대한 메타데이터는 입력과 관련된 컨텐츠이다. 시스템은 컨텐츠에 기초하여 입력에 대한 특징들의 세트를 생성할 수 있다(단계 410). 특징들은 다른 엔티티들 및 현재 스크린에 관한 메타데이터를 포함한다. 예를 들어, 특징들은 스크린 상에 입력이 발생하는 실행중인 어플리케이션, 입력 제어와 전형적으로 관련된 엔티티의 타입(예컨대, 사람 또는 장소), 등등을 포함할 수 있다.
그 다음, 시스템은 입력에 대한 완성들을 결정할 수 있다(단계 415). 시스템은 특징들 및 예측 모델을 사용하여 결정된 완성들뿐만 아니라, 통상의 방법들 (예를 들어, 사용자에 의해 제공된 입력으로 시작하는 것으로 알려진 단어들)을 사용하여 완성들을 결정할 수 있다. 즉, 시스템은 예측 모델에 특징들을 제공할 수 있으며, 상기 예측 모델은 또한, 임베딩들 및 특징들에 기초하여 입력에 대한 일부 완성들을 제공할 수 있다. 예측 모델에 의해 제공되는 완성들은 엔티티 또는 엔티티들을 설명하는 단어들 또는 문구들의 형태의 개인 엔티티, 개인 엔티티들의 그룹, 공공 엔티티, 토픽, 등일 수 있다. 예를 들어, 단어는 엔티티들의 그룹과 관계된 카테고리 또는 토픽을 설명할 수 있다. 다른 예로서, 단어들은 엔티티를 설명할 수 있다. 완성들을 결정할 시, 예측 모델은 확률 임계를 만족하는 완성들만을 제공할 수 있다. 즉, 사람들, 장소들, 토픽들을 포함하여 가장 가능성이 높은 완성들만 예측 모델에 의해 완성들로서 제공될 수 있다. 상기 시스템은 완성들을 랭킹할 수 있으며, 상기 랭킹은 임베딩에 기초하여 상기 예측 모델에 의한 스코어 결정을 고려한다(단계 420). 스코어는 제공되는 특징들에 기초하여 완성이 예측되는 확률을 나타낼 수 있다. 예측 모델에 의해 제공된 완성에 대한 랭킹은 이 스코어 및 완성과 관련된 단어들/문구들이 얼마나 밀접하게 사용자에 의해 지금까지 제공된 입력과 매치하는지에 대한 결정을 고려할 수 있다. 예를 들어, 입력이 null이면 랭킹은 확률 스코어에만 의존할 수 있다. 입력이 3 개의 문자들을 포함할 때, 랭킹은 확률 스코어 및 단어들/문구들이 얼마나 밀접하게 3 개의 문자들과 매치하는지를 반영하는 스코어의 조합일 수 있다. 이는 시스템이 사용자에 의한 오스펠링 및 오타들을 고려할 수 있게 한다. 예를 들어, 심지어 완성의 설명에서 처음 세개의 문자들 중 단 두 개만 사용자에 의해 제공된 세개의 문자들과 매치하더라도 매우 가능성이 높은 예측되는 완성이 여전히 높은 랭킹을 가질 수 있다.
시스템은 제안들로서 가장 높은 랭킹의 완성들을 사용자에게 제공할 수 있다(단계 425). 이는 사용자가 더 적은 키 스트로크들로 입력을 완성할 수 있게 한다. 일부 경우들에서, 사용자는 예측되는 완성들 중 하나를 선택하기 전에 단지 텍스트 박스에 커서를 위치시키기만 하면 되며, 따라서 어떤 키 스트로크들도 전혀 하지 않아도 된다. 따라서, 프로세스(400)는 임베딩들로서 모델링된 개인 엔티티들에 기초하여 개인화된 완성들을 제공함으로써 사용자 경험을 향상시키는 예이다.
도 5는 개시된 구현들에 따라, 사용자 경험을 커스토마이징하기 위해 모델링된 개인 엔티티들을 사용하기 위한 다른 예시적인 프로세스(500)의 흐름도를 도시한다. 프로세스(500)는 현재 스크린 상에 디스플레이된 개인 엔티티들과 관련된 관심과 관계된 추천을 제공함으로써 사용자 경험을 커스토마이징하기 위해 예측 모델을 사용하는 또 다른 방식을 도시한다. 통상의 추천 시스템들에 비해 프로세스(500)의 이점은 프로세스(500)가 단지 공공 엔티티들만 아니라 개인 엔티티들에 관계된 추천들을 제안할 수 있다는 것이다. 엔티티들을 모델링하는 것이 전형적으로 상당량의 입력을 요구하기 때문에 개인 엔티티들을 모델링하는 것은 도전적인 과제였다. 예를 들어, 공공 지식 베이스의 큐레이션은 수십만의 노동 시간을 포함해 왔다. 이는 개인의 레벨에서 실현가능하지 않다. 더욱이, 지식 베이스는 전형적으로 엔티티들 간의 관계들의 형태로 엔티티들에 관한 정보를 포함한다. 이러한 타입의 표시 역시 개인의 레벨에서 실현가능하지 않다. 프로세스(500)에서 사용되는 개인 지식 베이스는 개인 엔티티들을 임베딩들로서 나타내어서, 사용자는 지식 베이스를 활성적으로 채우고 트레이닝할 필요가 없다. 대신, 개인 지식 베이스는 기계 학습 예측 모델의 장점을 취한다. 따라서, 프로세스(500)는 도 1의 시스템(100)과 같은 모바일 개인 엔티티 모델링 시스템에 의해 실행될 수 있다. 프로세스(500)는 도 2의 단계(215)에 관하여 기술된 바와 같이, 사용자 경험을 개인화하기 위해 임베딩들을 사용하는 예이다. 프로세스(500)는 시스템에 의해 연속적으로 실행될 수 있는 바 - 예를 들어, 시스템은 사용자에게 전달된 컨텐츠, 예를 들어, 온스크린 컨텐츠와 관계된 광고를 디스플레이하기 또는 개인 통신 타입 어플리케이션에서 대화의 토픽을 제안하기 위해 주기적으로 프로세스(500)를 수행할 수 있다.
프로세스(500)는 컴퓨팅 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠에서 개인 엔티티를 식별함으로써 시작한다(단계 505). 컨텐츠는 스크린 캡처 이벤트 또는 윈도우 캡처 이벤트들과 관련될 수 있다. 시스템은 도 2의 단계(205) 및 도 3의 단계(305)뿐만 아니라 스크린 컨텐츠 엔진(122) 및 개인 엔티티 검출 엔진(124)에 관하여 상술한 인식 기법들을 사용하여 개인 엔티티를 식별할 수 있다. 시스템은 개인 엔티티에 대한 임베딩을 사용하여 개인 엔티티와 관계된 제2 엔티티를 식별할 수 있다(단계 510). 즉, 시스템은 스크린 캡처 컨텐츠 및 식별된 개인 엔티티로부터 생성된 특징들을 갖는 예측 모델을 제공할 수 있고, 예측 모델은 개인 엔티티에 대한 특징들 및 임베딩에 기초하여 제2 엔티티를 예측할 수 있다. 제2 엔티티는 다른 개인 엔티티이거나 또는 공공 엔티티일 수 있다. 개인 및 공공 엔티티들은 종종 개인 엔티티와 관련된 사람들, 장소들, 컨텍스트들, 토픽들, 취미들, 활동들, 등을 나타낼 수 있다. 예를 들어, 시스템은 개인 엔티티 Rob이 종종 미식 축구에 관한 논의들(가능성 높게는 공공 엔티티이되, 가능하게는 개인 엔티티)과 관련됨을 결정할 수 있다. 다른 예로서, 시스템은 개인 엔티티 Alice가 종종 Uncle Joe's에서의 점심 식사와 같은 컨텍스트와 관련됨을 결정할 수 있다. 컨텍스트는 이벤트의 시간 또는 위치를 나타낼 수 있다.
그 다음, 시스템은 제2 엔티티와 관련된 추천을 제공하고 컴퓨팅 디바이스상에서 추천의 디스플레이를 개시할 수 있다(단계 515). 추천은 제2 엔티티와 관계된 광고와 같이 사용자에게 전달되는 컨텐츠, 제2 엔티티와 관계된 대화의 제안되는 토픽, 제2 엔티티와 관계된 친구들의 서클(예컨대, 토픽 또는 관심사), 등등이다. 예를 들어, 사용자가 Rob과 대화를 시작할 때, 시스템은 새로운 미식 출구 영화에 대한 광고 또는 다가올 미식 축구 게임의 세부 사항을 제공할 수 있다. 또 다른 예로서, 시스템은, Tom이 미식 축구와 관련된 제2 개인 엔티티일 수 있기 때문에 Rob과의 대화에 Tom을 추가할 것을 제안할 수 있다. 마찬가지로, 시스템은 사용자가 Alice와 점심 식사에 대하여 채팅할 때 Uncle Joe's에 예약을 하는 것을 추천할 수 있다. 이들은 시스템이 온스크린 컨텐츠에 기초하여 개인화된 추천들을 제공하기 위해 어떻게 프로세스(500)을 사용하는지의 비배타적인(non-exhaustive) 예들로서 제공된다. 일부 구현들에서, 시스템은 선택된 추천을 예측 모델에 대한 트레이닝 예로서 사용할 수 있다. 프로세스(500)는 종료된다.
도 6은 개시된 구현들에 따른, 사용자 경험을 커스토마이징하기 위해 모델링된 개인 엔티티들을 사용하기 위한 다른 예시적인 프로세스(600)의 흐름도를 도시한다. 프로세스(600)는 현재 스크린과 관련된 개인 엔티티에 관계된 추천을 제공함으로써 사용자 경험을 커스토마이징하기 위해 예측 모델을 사용하는 다른 방식을 도시한다. 프로세스(600)는 도 1의 시스템(100)과 같은 모바일 개인 엔티티 모델링 시스템에 의해 실행될 수 있다. 프로세스(600)는 도 2의 단계(215)에 관하여 기술된 바와 같이, 사용자 경험을 개인화하기 위해 임베딩을 사용하는 예이다. 프로세스(600)는 시스템에 의해 연속적으로 실행될 수 있는 바 - 예를 들어, 시스템은 스크린 컨텐츠에서 식별된 공공 엔티티들에 기초하여, 대화에 포함시킬, 스크린 또는 스크린 상의 정보를 공유할 또는 예약에 포함시킬, 기타 목적을 위한 개인 엔티티를 제안하기 위해 주기적으로 프로세스(600)를 수행할 수 있다.
프로세스(600)는 컴퓨팅 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠에서 특징들을 식별함으로써 시작한다(단계 605). 컨텐츠는 스크린 캡처 이벤트 또는 스크린 캡처 이벤트들의 윈도우와 관련될 수 있다. 특징들은 공공 엔티티들, 컨텍스트, 개인 엔티티들, 등을 포함할 수 있다. 컨텍스트는 이벤트의 시간 및/또는 위치(예컨대, Luigis에서의 저녁 식사)를 나타낼 수 있다. 공공이든 또는 사적이든 엔티티들은 사람들, 장소들, 토픽들, 취미들, 활동들, 등을 나타낼 수 있다. 시스템은 도 2의 단계(205) 및 도 3의 단계(305)뿐만 아니라 스크린 컨텐츠 엔진(122) 및 개인 엔티티 검출 엔진(124)에 관하여 상기에 기술된 인식 기법들을 이용하여 특징들을 식별할 수 있다. 본 명세서에 나타낸 바와 같이, 스크린 캡처 정보의 윈도우는 컨텐츠 내의 특징들을 식별하기 위한 컨텍스트로서 사용될 수 있다. 시스템은 개인 엔티티에 대한 임베딩을 사용하여 특징들에 의해 예측되는 개인 엔티티를 식별할 수 있다(단계 610). 즉, 시스템은 컨텐츠로부터 생성된 특징들을 갖는 예측 모델을 제공할 수 있고, 예측 모델은 특징들에 기초하여 개인 엔티티를 예측할 수 있다. 개인 엔티티는 개인 지식 베이스에서 발견되는 사람, 토픽, 취미, 활동, 등을 나타낼 수 있다. 예를 들어, 시스템은 Alice가 이탈리아 레스토랑과 관련됨을 결정할 수 있다. 그 다음, 시스템은 개인 엔티티와 관계된 추천을 제공하고 컴퓨팅 디바이스 상에서 추천의 디스플레이를 개시할 수 있다(단계 615). 추천은 관심사와 관계된 사용자에게 전달되는 컨텐츠, 관심사와 관계된 대화의 제안되는 토픽, 관심사와 관계된 친구들의 서클, 컨텍스트와 관계된 액션, 등등일 수 있다. 예를 들어, 사용자가 축구에 관한 기사를 공유하길 바랄 때, 시스템은 Rob과 Tom을 수신자들로서 추천할 수 있다. 또 다른 예로서, 사용자가 Uncle Joe's의 점심 메뉴를 보고 있는 경우, 시스템은 Alice와 스크린을 공유하거나 또는 Uncle Joe's의 점심 식사에 대한 캘린더 초대에 Alice를 포함시키는 것과 같은 액션을 제안할 수 있다. 이들은 시스템이 온스크린 컨텐츠에 기초하여 개인화된 추천들을 제공하기 위해 어떻게 프로세스(600)를 사용하는지의 비배타적인 예들로서 제공된다. 일부 구현들에서, 사용자가 추천을 선택하면, 시스템은 선택을 개인 엔티티에 대한 긍정 트레이닝 예로서 사용할 수 있다. 그 다음, 프로세스(600)는 종료한다.
도 7은 개시된 구현들에 따라, 사용자 경험을 커스토마이징하기 위해 모델링된 개인 엔티티들을 사용하기 위한 또 다른 예시적인 프로세스(700)의 흐름도를 도시한다. 프로세스(700)는 관계된 개인 엔티티들 발견하고 이들을 사용자에게 제공되는 검색 결과에 포함시킴으로써 온-디바이스 검색을 커스토마이징하기 위해 예측 모델을 사용하는 다른 방식을 도시한다. 프로세스(700)는 도 1의 시스템(100)과 같은 모바일 개인 엔티티 모델링 시스템에 의해 실행될 수 있다. 프로세스(700)는 도 2의 단계(215)에 관하여 기술된 바와 같이, 사용자 경험을 개인화하기 위해 임베딩들을 사용하는 예이다. 프로세스(700)는 예를 들어, 명시적인 검색 요청을 통해 사용자에 의해 또는 요청에 의한 암시적인 검색 요청의 결과로서 시스템에 의해 개시될 수 있다.
프로세스(700)는 온-디바이스 검색을 위한 쿼리를 수신함으로써 시작한다(단계 705). 쿼리는 개인 엔티티를 포함할 수 있다. 시스템은 도 2의 단계(205) 및 도 3의 단계(305)뿐만 아니라 스크린 컨텐츠 엔진(122) 및 개인 엔티티 검출 엔진(124)에 관하여 전술한 엔티티 인식 기법들에 기초하여 쿼리 내의 개인 엔티티를 식별할 수 있다. 시스템은 임베딩들에 기초하여 개인 엔티티에 가장 가까운 이웃을 결정할 수 있다(단계 710). 즉, 시스템은 통상의 가장 가까운 이웃결정 기법들(conventional nearest neighbor techniques)을 사용하여 임베딩들의 유사성에 기초하여 개인 엔티티에 대한 근사 매치들을 찾을 수 있다. 시스템은 검색 결과를 결정하기 위해 가장 가까운 이웃 및 개인 엔티티를 사용하고(단계 715), 검색 결과를 사용자에게 제공할 수 있다(단계 720). 검색 결과는, 예를 들어, 스크린 캡처들의 인덱스 또는 파일들의 디렉토리, 등으로부터 획득될 수 있다. 그 다음, 프로세스(700)는 종료된다.
예를 들어, 예측 모델은 Bill 및 Jason이라는 두 개의 개인 엔티티들을 포함할 수 있다. Bill과 Jason은 둘 모두가 동일한 컨텍스트에 나타나기 때문에(예컨대, 동일한 캘린더 초대에 포함, 그룹 텍스트 대화에 포함, 동일한 이메일에 포함되는, 등), 매우 유사한 임베딩들을 가질 수 있다. 사용자가 Bill과의 대화 또는 Bill의 사진을 검색할 때, 시스템은 또한, Jason과의 대화들 또는 Jason의 사진들을 포함할 수 있다. 이는 시스템으로 하여금 사용자가 실수로, 대화에 대해 검색한 것이 Jason이 아닌 Rob과 관련되었다고 생각하거나 또는 사진을 본 것이 Rob이 아닌 Jason으로 라벨링되었다고 생각한 경우에도 사용자가 요청한 것과 유사한 검색 결과를 제공할 수 있게 한다. 다른 예로서, 사용자는 컴퓨팅 디바이스에서 "테니스"를 검색할 수 있다. 이 쿼리에 응답하여, 시스템은 개인 엔티티(또는 둘 이상의 개인 엔티티들)가 테니스와 관계됨을 결정하고 심지어 대화들이 용어 "테니스"를 포함하지 않더라도 테니스에 대한 쿼리에 응답하여 상기 개인 엔티티와의 대화들을 리턴하기 위해 예측 모델을 사용할 수 있다.
도 8은 본 명세서에 설명된 기법들과 함께 사용될 수 있는, 도 1의 서버(170) 및/또는 디바이스(110)로서 동작될 수 있는 일반적인 컴퓨터 디바이스(800)의 예를 도시한다. 컴퓨팅 디바이스(800)는 랩탑들, 데스크탑들, 워크스테이션들, 개인 디지털 단말기(PDA)들, 셀룰러 전화들, 스마트폰들, 태블릿들, 서버들 및 웨어러블한 디바이스들을 포함하는 다른 컴퓨팅 디바이스들과 같은 컴퓨팅 디바이스들의 다양한 예시적인 형태들을 나타내도록 의도된 것이다. 여기에 표시된 컴포넌트들, 이들의 연결들 및 관계들 및 이들의 기능들은 예시적일 뿐이며, 본 명세서에서 설명되거나 청구된 발명들의 구현들을 제한하기 위함이 아니다.
컴퓨팅 디바이스(800)는 인터페이스(808)를 통해 연결되는 프로세서(802), 메모리(804), 저장 디바이스(806) 및 확장 포트(810)를 포함한다. 일부 구현들에서, 컴퓨팅 디바이스(800)는 다른 컴포넌트들 중에서도, 인터페이스(808)를 통해 연결되는 송수신기(846), 통신 인터페이스(844), 그리고 GPS(Global Positioning System) 수신기 모듈(848)을 포함할 수 있다. 디바이스(800)는 필요에 따라 디지털 신호처리 회로를 포함할 수 있는 통신 인터페이스(844)를 통해 무선으로 통신할 수 있다. 컴포넌트들(802, 804, 806, 808, 810, 840, 844, 846 및 848) 각각은 공통 마더보드에, 또는 다른 적절한 방식들로 장착될 수 있다.
프로세서(802)는 디스플레이(816)와 같은 외부 입/출력 디바이스 상의 GUI를 위한 그래픽 정보를 디스플레이하기 위해, 메모리(804)에 또는 저장 디바이스(806) 상에 저장된 명령어들을 포함하여 컴퓨팅 디바이스(800) 내에서의 실행을 위한 명령어들을 프로세스할 수 있다. 디스플레이(816)는 모니터 또는 플랫 터치스크린 디스플레이일 수 있다. 일부 구현들에서, 복수의 메모리들 및 메모리 유형들과 함께 복수의 프로세서들 및/또는 복수의 버스들이 적절하게 사용될 수 있다. 또한, 복수의 컴퓨팅 디바이스들(800)이 연결될 수 있으며, 각각의 디바이스는 (예를 들어, 서버 뱅크, 블레이드 서버들의 그룹 또는 멀티프로세서 시스템으로서) 필요한 동작들의 일부들을 제공한다.
메모리(804)는 컴퓨팅 디바이스(800) 내의 정보를 저장한다. 한 구현에서, 메모리(804)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현에서, 메모리(804)는 비휘발성 메모리 유닛 또는 유닛들이다. 메모리(804)는 또한, 자기 또는 광학 디스크와 같은 컴퓨터 판독가능 매체의 또 다른 형태일 수 있다. 일부 구현들에서, 메모리(804)는 확장 인터페이스를 통해 제공되는 확장 메모리를 포함할 수 있다.
저장 디바이스(806)는 컴퓨팅 디바이스(800)에 대해 대용량 스토리지(storage)를 제공할 수 있다. 한 구현에서, 저장 디바이스(806)는 스토리지 영역 네트워크 또는 다른 구성들 내의 디바이스들을 포함하여 플로피디스크 디바이스, 하드디스크 디바이스, 광학 디스크 디바이스 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 디바이스들의 어레이와 같은 컴퓨터 판독가능 매체일 수 있거나 이를 포함할 수 있다. 컴퓨터 프로그램 물은 컴퓨터 판독가능 매체에 유형으로 수록될 수 있다. 컴퓨터 프로그램 물은 또한 명령어들을 포함할 수 있는 바, 상기 명령어들은 실행될 때, 상술된 방법들과 같은 하나 이상의 방법들을 수행한다. 컴퓨터 또는 기계 판독가능 매체는 메모리(804), 저장 디바이스(806), 또는 프로세서(802) 상의 메모리와 같은 저장 디바이스이다.
인터페이스(808)는 컴퓨팅 디바이스(800)에 대한 대역폭-집약적 동작들(bandwidth-intensive operations)을 관리하는 고속제어기, 또는 저 대역폭-집약적 동작들을 관리하는 저속제어기, 또는 이러한 제어기들의 조합일 수 있다. 외부 인터페이스(840)는 디바이스(800)가 다른 디바이스들과의 근거리 통신을 가능하게 하기 위해 제공될 수 있다. 일부 구현들에서, 제어기(808)는 저장 디바이스(806) 및 확장 포트(814)와 결합될 수 있다. 다양한 통신 포트들(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷(Ethernet))을 포함할 수 있는 확장 포트는, 키보드, 포인팅 디바이스, 스캐너, 또는 스위치나 라우터와 같은 네트워킹 디바이스와 같은 하나 이상의 입/출력 디바이스들에 예를 들어, 네트워크 어답터를 통하여 결합될 수 있다.
컴퓨팅 디바이스(800)는 도면에 도시된 바와 같이 다수의 다양한 형태들로 구현될 수 있다. 예를 들어, 이는 표준 서버(830)로서 구현되거나 또는 그러한 서버들의 그룹에서 여러 번 구현될 수 있다. 또한, 이는 랙 서버 시스템의 일부로서 구현될 수 있다. 추가적으로, 이는 랩 탑 컴퓨터(832), 개인용 컴퓨터(834) 또는 태블릿/스마트폰(836)과 같은 컴퓨팅 디바이스에 구현될 수 있다. 전체 시스템은 서로 통신하는 복수의 컴퓨팅 디바이스들(800)로 구성될 수 있다. 다른 구성들도 가능하다.
도 9는 본 명세서에 설명된 기법들과 함께 사용될 수 있는, 도 1의 시스템(170)일 수 있는 일반적인 컴퓨터 디바이스(900)의 한 예시를 나타낸다. 컴퓨팅 디바이스(900)는 서버들, 블레이드 서버들, 데이터 센터들, 메인 프레임들 및 다른 대규모 컴퓨팅 디바이스들과 같은 대규모 데이터 프로세싱 디바이스들의 다양한 예시적 형태들을 나타내도록 의도된 것이다. 컴퓨팅 디바이스(900)는 가능하게는 하나 이상의 통신 네트워크들에 의해 상호접속된 네트워크 어태치 스토리지 노드들을 포함하는 복수의 프로세서들을 가진 분산 시스템일 수 있다. 여기에 표시된 컴포넌트들, 그리고 이들의 연결들, 관계들, 그리고 이들의 기능들은 예시들일 뿐이며, 본 명세서에 기술 및/또는 청구되는 발명들의 구현들을 제한하기 위함이 아니다.
분산 컴퓨팅 시스템(900)은 어떤 수의 컴퓨팅 디바이스들(980)을 포함할 수 있다. 컴퓨팅 디바이스들(980)은 로컬 영역 또는 광역 네트워크, 전용 광 링크들, 모뎀들, 브릿지들, 라우터들, 스위치들, 유선 또는 무선 네트워크들, 등을 통해 통신하는 서버 또는 랙 서버들, 메인프레임들, 등을 포함할 수 있다.
일부 구현들에서, 각 컴퓨팅 디바이스는 복수의 랙들을 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(980a)는 복수의 랙들(958a-958n)을 포함할 수 있다. 각각의 랙은 프로세서들(952a-952n 및 962a-962n)과 같은, 하나 이상의 프로세서들을 포함할 수 있다. 프로세서들은 데이터 프로세서들, 네트워크 어태치 저장 디바이스(network attached storage devices)들 및 기타 컴퓨터 제어 디바이스들을 포함할 수 있다. 일부 구현들에서, 한 프로세서는 마스터 프로세서로서 동작할 수 있고, 스케쥴링 및 데이터 분배 태스크들을 제어할 수 있다. 프로세서들은 하나 이상의 랙 스위치들(958)을 통해 상호접속될 수 있고, 하나 이상의 랙들은 스위치(978)를 통해 접속될 수 있다. 스위치(978)는 복수의 접속된 컴퓨팅 디바이스들(900) 간의 통신을 처리할 수 있다.
각각의 랙은 메모리(954) 및 메모리(964)와 같은 메모리와, 스토리지(956) 및 스토리지(966)와 같은 스토리지(storage)를 포함할 수 있다. 스토리지(956 및 966)는 매스 스토리지를 제공할 수 있고, 스토리지 영역 네트워크(Storage area network) 또는 기타 구성들 내 디바이스들을 포함하는, 네트워크-어태치 디스크들(network-attached disks), 플로피 디스크들, 하드 디스크들, 광 디스크들, 테이프들, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스들, 또는 디바이스들의 어레이와 같은, 휘발성 또는 비휘발성 스토리지를 포함할 수 있다. 스토리지(956 또는 966)는 복수의 프로세서들, 복수의 랙들, 또는 복수의 컴퓨팅 디바이스들 간에 공유될 수 있고, 하나 이상의 프로세서들에 의해 실행가능한 명령어들을 저장하는 컴퓨터 판독가능 매체를 포함할 수 있다. 메모리(954 및 964)는 예를 들어, 휘발성 메모리 유닛 또는 유닛들, 비휘발성 메모리 유닛 또는 유닛들, 및/또는 자기 또는 광디스크들, 플레시 메모리, 캐시, RAM(Random Access Memory), ROM(Read Only Memory), 그리고 이들의 조합들과 같은, 컴퓨터 판독가능 매체의 기타 형태들을 포함할 수 있다. 메모리(954)와 같은 메모리는 또한, 프로세서들(952a-952n) 간에 공유될 수 있다. 인덱스와 같은 데이터 스트럭쳐들은 예를 들어, 스토리지(956) 및 메모리(954)에 걸쳐 저장될 수 있다. 컴퓨팅 디바이스(900)는 제어기들, 버스들, 입/출력 디바이스들, 통신 모듈들 등과 같은 도시되지 않은 기타 컴포넌트들을 포함할 수 있다.
시스템(100)과 같은 전체 시스템은 서로 통신하는 복수의 컴퓨팅 디바이스들(900)로 구성될 수 있다. 예를 들어, 디바이스(980a)는 디바이스들(980b, 980c, 그리고 980d)과 통신할 수 있으며, 이들은 집합적으로 시스템(100)으로서 알려질 수 있다. 또 다른 예시로서, 도 1의 시스템(100)은 하나 이상의 컴퓨팅 디바이스들(900)을 포함할 수 있다. 컴퓨팅 디바이스들 중 일부는 지리적으로 서로 가깝게 위치될 수 있으며, 다른 컴퓨팅 디바이스들은 지리적으로 멀리 위치될 수 있다. 컴퓨팅 디바이스(900)의 레이아웃은 한 예시일 뿐이며, 시스템은 다른 레이아웃들 또는 구성들을 취할 수 있다.
본 발명의 특정 양상들에 따르면, 모바일 디바이스는 적어도 하나의 프로세서 및 적어도 하나의 프로세서에 의해 실행될 때 모바일 디바이스로 하여금 동작들을 수행하게 하는 명령어들을 저장하는 메모리를 포함한다. 동작들은 모바일 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠에서 개인 엔티티를 식별하는 것과, 컨텐츠로부터 개인 엔티티에 대한 트레이닝 예들을 생성하는 것과, 트레이닝 예들을 사용하여 개인 엔티티를 모델링하는 데 사용된 임베딩을 업데이트하는 것을 포함할 수 있다. 개인 엔티티는 모바일 디바이스의 사용자에게 개인적일 수 있다. 임베딩은 개인 엔티티에 관한 예측들을 하기 위해 사용될 수 있다.
이 양상 및 다른 양상들은 다음의 특징들 중 하나 이상을 포함할 수 있다. 예를 들어, 개인 엔티티는 메시지의 발신자 또는 수신자 필드 내의 위치에 기초하여 식별될 수 있다. 다른 예로서, 개인 엔티티를 식별하는 것은 컨텐츠에서 n-그램을 식별하는 것과 그리고 사적 컨텐츠 어플리케이션들에서 n-그램에 대한 발생 빈도가 임계를 만족하거나 초과함을 결정하는 것을 포함할 수 있다. 다른 예로서, 상기 개인 엔티티를 식별하는 것은 상기 개인 엔티티가 개인 지식 베이스에 존재하는지의 여부를 결정하는 것과, 상기 개인 엔티티가 상기 개인 지식 베이스에 존재하지 않을 때 상기 개인 엔티티에 초기 임베딩을 할당하는 것을 포함할 수 있다. 다른 예로서, 컨텐츠는 제1 컨텐츠이고, 메모리는 명령어들을 더 저장하는 바, 상기 명령어들은 모바일 디바이스로 하여금 상기 모바일 디바이스의 사용자에 의해 제공된 입력 - 상기 입력은 상기 모바일 디바이스 상에 디스플레이되는 제2 컨텐츠와 관련됨 - 을 식별하고, 입력에 대한 완성들 - 상기 완성들은 제2 컨텐츠에 기초한 개인 엔티티를 포함함 -을 결정하고, 상기 완성들을 랭킹하고 - 상기 개인 엔티티의 랭킹은 제2 컨텐츠를 고려하여 개인 엔티티에 대한 임베딩에 의해 결정된 스코어를 고려함 - , 그리고 모바일 상에 디스플레이하기 위해 가장 높은 랭킹의 완성들을 제공하도록 한다.
또 다른 예로서, 트레이닝 예들을 생성하는 것은 컨텐츠에서 식별된 다른 개인 엔티티들의 세트에 대해, 상기 세트와 개인 엔티티 간의 예측을 생성하는 것을 포함한다. 다른 예에서, 트레이닝 예들을 생성하는 것은 컨텐츠에서 식별된 공공 엔티티들에 대해, 공공 엔티티와 개인 엔티티 사이의 예측을 생성하는 것을 포함한다. 다른 예로서, 개인 엔티티는 제1 개인 엔티티이고, 트레이닝 예들을 생성하는 것은 제2 개인 엔티티 및 컨텐츠에서 식별된 공공 엔티티에 대해 제2 개인 엔티티와 공공 엔티티와 제1 개인 엔티티 사이의 예측을 생성하는 것을 포함한다. 다른 예에서, 디스플레이를 위해 생성된 컨텐츠는 시간의 윈도우 동안 생성된 컨텐츠를 포함한다.
본 발명의 특정 양상들에 따르면, 방법은 컴퓨팅 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠에서 제1 개인 엔티티를 식별하는 단계 - 상기 제1 개인 엔티티는 상기 컴퓨팅 디바이스의 사용자와 관련된 개인 지식 베이스 내의 임베딩과 관련됨 - 와, 상기 임베딩에 기초하여 상기 제1 개인 엔티티와 제2 엔티티 사이의 관련성을 예측하는 단계와, 그리고 상기 제2 엔티티에 관계된 추천을 제공하는 단계를 포함하며, 상기 추천은 상기 컴퓨팅 디바이스 상에 디스플레이될 것이다.
이 양상 및 다른 양상들은 다음 특징들 중 하나 이상을 포함할 수 있다. 예를 들어, 추천은 제2 엔티티와 관계된 광고일 수 있다. 다른 예로서, 제2 엔티티는 토픽을 나타내고, 추천은 제2 엔티티와 관련된 제3 개인 엔티티이다. 이러한 구현에서, 추천을 디스플레이하는 것은 제3 개인 엔티티와 컨텐츠를 공유하는 것을 제안하는 것을 포함할 수 있다. 상기 컨텐츠는 메시지를 포함할 수 있고, 상기 추천은 상기 제3 개인 엔티티가 상기 메시지를 보도록 하기 위한 초대일 수 있다. 다른 예로서, 제2 엔티티는 컨텍스트를 나타낼 수 있고, 추천을 디스플레이하는 것은 제1 개인 엔티티 및 컨텍스트를 포함하는 액션을 제안하는 것을 포함할 수 있다. 일부 구현들에서, 컨텍스트는 시간이고 액션은 제1 개인 엔티티와 관계된 예약이다.
전술한 양상들 중 어느 것과 조합하여 기술된 특징들이 상술한 양상들 중 다른 것들과 함께 이용될 수 있음이 이해될 것이다.
본 발명의 특정 양상들에 따르면, 컴퓨팅 시스템은 적어도 하나의 프로세서, 디스플레이 디바이스, 개인 지식 베이스를 저장하는 메모리를 포함하고, 상기 개인 지식 베이스는 개인 엔티티들을 임베딩들로서 모델링하고, 상기 메모리를 명령어들을 포함하며, 상기 명령어들은 적어도 하나의 프로세서에 의해 실행될 때, 상기 컴퓨팅 시스템으로 하여금 동작들을 수행하게 한다. 상기 동작들은 디스플레이 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠에서 특징들을 식별하는 것과, 상기 개인 지식 베이스 내의 상기 개인 엔티티에 대한 임베딩을 이용하여 상기 특징들에 의해 예측되는 개인 엔티티를 식별하는 것과 그리고 디스플레이 디바이스 상에 디스플레이될 상기 개인 엔티티와 관계된 추천을 제공하는 것을 포함한다.
이 양상 및 다른 양상들은 다음 특징들 중 하나 이상을 포함할 수 있다. 예를 들어, 추천은 개인 엔티티를 수반하는 액션이거나 또는 개인 엔티티와 현재 스크린과 관련된 컨텐츠를 공유하기 위한 제안일 수 있다. 다른 예로서, 디스플레이하기 위해 생성된 컨텐츠는 제1 어플리케이션에 의해 생성될 수 있고, 추천은 제2 어플리케이션을 열기 위한 제안이다. 상기 제2 어플리케이션은 컴퓨팅 디바이스 상에 인스톨되지 않을 수 있으며, 제안은 상기 제2 어플리케이션의 인스톨을 포함할 수 있다. 또 다른 예로서, 추천은 입력 제어에서 사용자로부터 입력을 수신하기 전의 입력 제어에 대한 완성이다.
다양한 구현들은, 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령어들을 수신하고 그리고 이들에 데이터 및 명령어들을 전송하기 위해 결합된, 특수용 또는 범용일 수 있는, 적어도 하나의 프로그램가능 프로세서를 포함하는 프로그램가능 시스템 상에서 실행가능 및/또는 해석가능한 하나 이상의 컴퓨터 프로그램들의 구현을 포함할 수 있다.
이들 컴퓨터 프로그램들(프로그램들, 소프트웨어, 소프트웨어 어플리케이션들 또는 코드로도 알려짐)은 프로그램가능 프로세서에 대한 기계 명령어들을 포함하고, 하이-레벨 절차(high-level procedural) 및/또는 객체-지향(object-oriented) 프로그래밍 언어 및/또는 어셈블리/기계언어로 구현될 수 있다. 본 명세서에 기재된 "기계 판독가능 매체", "컴퓨터 판독가능 매체"라는 용어는 기계 명령어들 및/또는 데이터를 프로그램가능 프로세서에 제공하는데 사용되는 어떤 비-일시적인 컴퓨터 프로그램 물, 장치 및/또는 디바이스(예를 들어, 자기디스크, 광디스크, 메모리(RAM 포함), PLD(Programmable Logic Devices))를 지칭한다.
본 명세서에서 설명된 시스템들과 기법들은 백 엔드 컴포넌트(예를 들어, 데이터 서버로서)를 포함하거나, 미들웨어 컴포넌트(예를 들어, 어플리케이션 서버)를 포함하거나, 프론트 엔드 컴포넌트(예를 들어, 사용자가 본 명세서에 설명된 시스템들 및 기법들의 구현과 인터랙션할 수 있게 하는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터) 또는 이러한 백 엔드, 미들웨어 또는 프론드 엔드 컴포넌트들의 어떤 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 디지털 데이터 통신(예를 들어, 통신 네트워크)의 어떤 형태 또는 매체에 의해 상호접속될 수 있다. 통신 네트워크들의 예시들은 근거리 통신망("LAN"), 광역 통신망("WAN"), 그리고 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트들과 서버들을 포함한다. 클라이언트와 서버는 일반적으로 서로로부터 원격이며, 전형적으로 통신 네트워크를 통해 인터랙션한다. 클라이언트 및 서버의 관계는, 각각의 컴퓨터들 상에서 실행되고 서로에 대하여 클라이언트-서버 관계를 가지는 컴퓨터 프로그램들에 의해 발생된다.
다수의 구현들이 설명되었다. 그럼에도 불구하고, 본 발명의 사상 및 범위를 벗어나지 않고 다양한 변형이 이루어질 수 있다. 추가적으로, 도면들에서 묘사된 논리 흐름들은 바람직한 결과들을 달성하기 위해 도시된 특정 순서 또는 순차적 순서를 요구하지 않는다. 추가적으로, 다른 단계들이 제공되거나 설명된 흐름 들로부터 단계들이 제거될 수 있으며, 다른 컴포넌트들이 설명된 시스템들에 추가되거나 상기 설명된 시스템으로부터 제거될 수 있다. 따라서, 다른 구현들은 하기 특허청구범위 내에 있다.
다음에서, 본 발명에 따른 시스템 및 방법들의 추가 예들이 기술된다.
제1 예에서, 방법은 모바일 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠에서 개인 엔티티를 식별하는 단계와, 상기 컨텐츠로부터 상기 개인 엔티티에 대한 트레이닝 예들을 생성하는 단계와, 그리고 상기 트레이닝 예들을 사용하여 상기 개인 엔티티를 모델링하는 데 사용되는 임베딩을 업데이트하는 단계를 포함한다.
제1 예에 기초한 제2 예에서, 상기 개인 엔티티는 메시지의 발신자 또는 수신자 필드 내의 위치에 기초하여 식별될 수 있다. 제1 또는 제2 예에 기초한 제3 예에서, 상기 개인 엔티티를 식별하는 것은 상기 컨텐츠에서 n-그램을 식별하는 것과 그리고 사적인 컨텐츠 어플리케이션들에서 n-그램에 대한 발생의 빈도가 임계를 충족시키거나 초과함을 결정하는 것을 포함할 수 있다. 어떤 선행 예에 기초한 제4 예에서, 상기 개인 엔티티를 식별하는 것은 상기 개인 엔티티가 개인 지식 베이스에 존재하는지의 여부를 결정하는 것과 그리고 상기 개인 엔티티가 상기 개인 지식 베이스에 존재하지 않을 때 상기 개인 엔티티에 초기 임베딩을 할당할 수 있다.
어떤 선행 예에 기초한 제5 예에서, 상기 컨텐츠는 제1 컨텐츠일 수 있고, 상기 방법은 모바일 디바이스의 사용자에 의해 제공된 입력을 식별하는 단계를 더 포함할 수 있다. 상기 입력은 상기 모바일 디바이스 상에 디스플레이되는 제2 컨텐츠와 관련될 수 있다. 입력에 대한 완성들이 결정될 수 있으며, 상기 완성들은 상기 제2 컨텐츠에 기초한 개인 엔티티를 포함한다. 완성들은 랭킹될 수 있으며, 개인 엔티티의 랭킹은 상기 제2 컨텐츠를 고려하여 상기 개인 엔티티에 대한 임베딩에 의해 결정되는 스코어를 고려한다. 가장 높은 랭킹의 완성들은 상기 모바일 디바이스 상에 디스플레이하기 위해 제공될 수 있다.
어떤 선행 예에 기초한 제6 예에서, 트레이닝 예들을 생성하는 것은 상기 컨텐츠에서 식별된 다른 개인 엔티티들의 세트에 대해, 상기 세트와 상기 개인 엔티티 간의 예측을 생성하는 것을 포함할 수 있다. 어떤 선행 예에 기초한 제7 예에서, 트레이닝 예들을 생성하는 것은 상기 컨텐츠에서 식별된 공공 엔티티들에 대해, 상기 공공 엔티티와 상기 개인 엔티티 사이의 예측을 생성하는 것을 포함할 수 있다. 어떤 선행 예에 기초한 제8 예에서, 디스플레이하기 위해 생성된 컨텐츠는 시간의 윈도우 동안 생성된 컨텐츠를 포함할 수 있다. 어떤 선행 예에 기초한 제9 예에서, 상기 개인 엔티티는 상기 모바일 디바이스의 사용자에게 개인적일 수 있다.
제10 예에서, 방법은 컴퓨팅 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠에서 제1 개인 엔티티를 식별하는 단계 - 상기 제1 개인 엔티티는 상기 컴퓨팅 디바이스의 사용자와 관련된 개인 지식 베이스 내의 임베딩에 관련됨 - 와, 상기 임베딩에 기초하여 상기 제1 개인 엔티티와 제2 엔티티 사이의 관련성을 예측하는 단계와, 상기 제2 엔티티와 관계된 추천을 제공하는 단계를 포함하며, 상기 추천은 상기 컴퓨팅 디바이스 상에 디스플레이될 것이다.
제10 예에 기초한 제11 예에서, 상기 추천은 상기 제2 엔티티와 관계된 사용자에게 전달되는 컨텐츠일 수 있다.
제10 예에 기초한 제12 예에서, 상기 제2 엔티티는 토픽을 나타낼 수 있고, 상기 추천은 상기 제2 엔티티와 관련된 제3 개인 엔티티이다.
제12 예에 기초한 제13 예에서, 상기 추천을 디스플레이하는 것은 상기 제3 개인 엔티티와 컨텐츠를 공유하는 것을 제안하는 것을 포함할 수 있다.
제13 예에 기초한 제14 예에서, 상기 컨텐츠는 메시지를 포함할 수 있고, 상기 추천은 상기 메시지를 보기 위해 상기 제3 개인 엔티티를 초대하는 것일 수 있다.
제10 예에 기초한 제15 예에서, 상기 제2 엔티티는 컨텍스트를 나타낼 수 있고, 상기 추천을 디스플레이하는 것은 상기 제1 개인 엔티티 및 상기 컨텍스트를 포함하는 액션을 제안하는 것을 포함할 수 있다.
제15 예에 기초한 제16 예에서, 상기 컨텍스트는 시간일 수 있고 상기 액션은 상기 제1 개인 엔티티와 관계된 예약일 수 있다.
제17 예에서, 방법은 디스플레이 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠에서 특징들(features)을 식별하는 단계와, 개인 엔티티들을 임베딩들로 모델링하는 개인 지식 베이스에서 개인 엔티티에 대한 임베딩을 사용하여 상기 특징들에 의해 예측되는 개인 엔티티를 식별하는 단계와, 그리고 상기 디스플레이 디바이스에 디스플레이될 상기 개인 엔티티와 관계된 추천을 제공하는 단계를 포함한다.
제17 예에 기초한 제18 예에서, 상기 추천은 상기 개인 엔티티를 수반하는 액션일 수 있다. 제17 예에 기초한 제19 예에서, 상기 추천은 현재 스크린과 관련된 컨텐츠를 상기 개인 엔티티와 공유하기 위한 제안일 수 있다. 제17 예에 기초한 제20 예에서, 디스플레이하기 위해 생성된 컨텐츠는 제1 어플리케이션에 의해 생성될 수 있고, 상기 추천은 제2 어플리케이션을 열기 위한 제안이다.
제17 예에 기초한 제21 예에서, 상기 추천은 입력 제어에서 사용자로부터 입력을 수신하기 전 입력 제어에 대한 완성일 수 있다.
제22 예에서, 컴퓨팅 시스템은 적어도 하나의 프로세서 및 명령어들을 저장한 메모리를 포함하고, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행될 때 상기 컴퓨팅 시스템으로 하여금 어떤 선행 예들의 방법을 수행하게 한다.
제23 예에서, 컴퓨터 판독가능 명령어들을 저장한 컴퓨터 판독가능 매체로서, 상기 컴퓨터 판독가능 명령어들은 실행될 때 컴퓨팅 시스템이 제1 예 내지 제20 예의 방법을 수행하게 한다.

Claims (16)

  1. 모바일 디바이스로서,
    적어도 하나의 프로세서와; 그리고
    명령어들을 저장하는 메모리를 포함하고, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 모바일 디바이스로 하여금:
    상기 모바일 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠에서 개인 엔티티(personal entity)를 식별하고,
    상기 컨텐츠로부터 상기 개인 엔티티에 대한 트레이닝 예들(training examples)을 생성하고,
    상기 트레이닝 예들을 이용하여 상기 개인 엔티티를 모델링하기 위해 이용되는 임베딩(embedding)을 업데이트하도록 하는 모바일 디바이스.
  2. 제1항에 있어서,
    상기 개인 엔티티는 메시지의 발신자 또는 수신자 필드 내의 위치에 기초하여 식별되는 것인 모바일 디바이스.
  3. 제1항에 있어서,
    상기 개인 엔티티를 식별하는 것은:
    상기 컨텐츠에서 n-그램을 식별하는 것과; 그리고
    사적인 컨텐츠 어플리케이션들(private-content applications)에서 n-그램에 대한 발생의 빈도가 임계를 충족시키거나 초과함을 결정하는 것을 포함하는 것인 모바일 디바이스.
  4. 제1항에 있어서,
    상기 개인 엔티티를 식별하는 것은:
    상기 개인 엔티티가 개인 지식 베이스(personal knowledge base)에 존재하는지의 여부를 결정하는 것과; 그리고
    상기 개인 엔티티가 상기 개인 지식 베이스에 존재하지 않을 때 상기 개인 엔티티에 초기 임베딩을 할당하는 것을 포함하는 것인 모바일 디바이스.
  5. 제1항에 있어서,
    상기 컨텐츠는 제1 컨텐츠일 수 있고, 상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 모바일 디바이스로 하여금:
    상기 모바일 디바이스의 사용자에 의해 제공된 입력을 식별 - 상기 입력은 상기 모바일 디바이스 상에 디스플레이되는 제2 컨텐츠와 관련됨 - 하고,
    상기 입력에 대한 완성들을 결정 - 상기 완성들은 상기 제2 컨텐츠에 기초한 개인 엔티티를 포함함 - 하고,
    상기 완성들을 랭킹 - 상기 개인 엔티티의 랭킹은 상기 제2 컨텐츠를 고려하여 상기 개인 엔티티에 대한 임베딩에 의해 결정되는 스코어를 고려함 - 하고,
    상기 모바일 디바이스 상에 디스플레이하기 위해 가장 높은 랭킹의 완성들을 제공하도록 하는 명령어들을 더 저장한 것인 모바일 디바이스.
  6. 제1항에 있어서,
    상기 트레이닝 예들을 생성하는 것은 상기 컨텐츠에서 식별된 다른 개인 엔티티들의 세트에 대해, 상기 세트와 상기 개인 엔티티 간의 예측을 생성하는 것을 포함하는 것인 모바일 디바이스.
  7. 제1항에 있어서,
    상기 트레이닝 예들을 생성하는 것은 상기 컨텐츠에서 식별된 공공 엔티티들에 대해, 상기 공공 엔티티와 상기 개인 엔티티 사이의 예측을 생성하는 것을 포함하는 것인 모바일 디바이스.
  8. 제1항에 있어서,
    상기 디스플레이하기 위해 생성된 컨텐츠는 시간의 윈도우 동안 생성된 컨텐츠를 포함하는 것인 모바일 디바이스.
  9. 모바일 디바이스의 하나 이상의 프로세서에 의해 구현되는 방법으로서,
    상기 모바일 디바이스 상에 디스플레이하기 위해 생성된 컨텐츠에서 개인 엔티티(personal entity)를 식별하는 단계;
    상기 컨텐츠로부터 상기 개인 엔티티에 대한 트레이닝 예들(training examples)을 생성하는 단계; 그리고
    상기 트레이닝 예들을 이용하여 상기 개인 엔티티를 모델링하기 위해 이용되는 임베딩(embedding)을 업데이트하는 단계를 포함하는 것을 특징으로 하는 모바일 디바이스의 하나 이상의 프로세서에 의해 구현되는 방법.
  10. 제9항에 있어서,
    상기 개인 엔티티는 메시지의 발신자 또는 수신자 필드 내의 위치에 기초하여 식별되는 것을 특징으로 하는 모바일 디바이스의 하나 이상의 프로세서에 의해 구현되는 방법.
  11. 제9항에 있어서,
    상기 개인 엔티티를 식별하는 것은:
    상기 컨텐츠에서 n-그램을 식별하는 것과; 그리고
    사적인 컨텐츠 어플리케이션들(private-content applications)에서 n-그램에 대한 발생의 빈도가 임계를 충족시키거나 초과함을 결정하는 것을 포함하는 것을 특징으로 하는 모바일 디바이스의 하나 이상의 프로세서에 의해 구현되는 방법.
  12. 제9항에 있어서,
    상기 개인 엔티티를 식별하는 것은:
    상기 개인 엔티티가 개인 지식 베이스(personal knowledge base)에 존재하는지의 여부를 결정하는 것과; 그리고
    상기 개인 엔티티가 상기 개인 지식 베이스에 존재하지 않을 때 상기 개인 엔티티에 초기 임베딩을 할당하는 것을 포함하는 것을 특징으로 하는 모바일 디바이스의 하나 이상의 프로세서에 의해 구현되는 방법.
  13. 제9항에 있어서,
    상기 컨텐츠는 제1 컨텐츠일 수 있고, 상기 방법은,
    상기 모바일 디바이스의 사용자에 의해 제공된 입력을 식별하는 단계 - 상기 입력은 상기 모바일 디바이스 상에 디스플레이되는 제2 컨텐츠와 관련됨 -;
    상기 입력에 대한 완성들을 결정하는 단계 - 상기 완성들은 상기 제2 컨텐츠에 기초한 개인 엔티티를 포함함 -;
    상기 완성들을 랭킹하는 단계 - 상기 개인 엔티티의 랭킹은 상기 제2 컨텐츠를 고려하여 상기 개인 엔티티에 대한 임베딩에 의해 결정되는 스코어를 고려함 -; 그리고
    상기 모바일 디바이스 상에 디스플레이하기 위해 가장 높은 랭킹의 완성들을 제공하는 단계를 더 포함하는 것을 특징으로 하는 모바일 디바이스의 하나 이상의 프로세서에 의해 구현되는 방법.
  14. 제9항에 있어서,
    상기 트레이닝 예들을 생성하는 것은 상기 컨텐츠에서 식별된 다른 개인 엔티티들의 세트에 대해, 상기 세트와 상기 개인 엔티티 간의 예측을 생성하는 것을 포함하는 것을 특징으로 하는 모바일 디바이스의 하나 이상의 프로세서에 의해 구현되는 방법.
  15. 제9항에 있어서,
    상기 트레이닝 예들을 생성하는 것은 상기 컨텐츠에서 식별된 공공 엔티티들에 대해, 상기 공공 엔티티와 상기 개인 엔티티 사이의 예측을 생성하는 것을 포함하는 것을 특징으로 하는 모바일 디바이스의 하나 이상의 프로세서에 의해 구현되는 방법.
  16. 제9항에 있어서,
    상기 디스플레이하기 위해 생성된 컨텐츠는 시간의 윈도우 동안 생성된 컨텐츠를 포함하는 것을 특징으로 하는 모바일 디바이스의 하나 이상의 프로세서에 의해 구현되는 방법.
KR1020197033842A 2015-07-29 2016-07-28 개인적 엔티티들을 모델링 KR102189854B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/812,877 US10803391B2 (en) 2015-07-29 2015-07-29 Modeling personal entities on a mobile device using embeddings
US14/812,877 2015-07-29
PCT/US2016/044464 WO2017019861A1 (en) 2015-07-29 2016-07-28 Modeling personal entities

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177031186A Division KR102048029B1 (ko) 2015-07-29 2016-07-28 개인적 엔티티들을 모델링

Publications (2)

Publication Number Publication Date
KR20190130685A true KR20190130685A (ko) 2019-11-22
KR102189854B1 KR102189854B1 (ko) 2020-12-11

Family

ID=56684743

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177031186A KR102048029B1 (ko) 2015-07-29 2016-07-28 개인적 엔티티들을 모델링
KR1020197033842A KR102189854B1 (ko) 2015-07-29 2016-07-28 개인적 엔티티들을 모델링

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177031186A KR102048029B1 (ko) 2015-07-29 2016-07-28 개인적 엔티티들을 모델링

Country Status (9)

Country Link
US (1) US10803391B2 (ko)
EP (1) EP3295329A1 (ko)
JP (1) JP6882988B2 (ko)
KR (2) KR102048029B1 (ko)
CN (1) CN107851092B (ko)
DE (1) DE112016003112T5 (ko)
GB (1) GB2553994A (ko)
RU (1) RU2017137748A (ko)
WO (1) WO2017019861A1 (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US20160085733A1 (en) 2005-10-26 2016-03-24 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US20140156901A1 (en) 2005-10-26 2014-06-05 Cortica Ltd. Computing device, a system and a method for parallel processing of data streams
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US11537636B2 (en) 2007-08-21 2022-12-27 Cortica, Ltd. System and method for using multimedia content as search queries
US10803391B2 (en) 2015-07-29 2020-10-13 Google Llc Modeling personal entities on a mobile device using embeddings
US10241754B1 (en) * 2015-09-29 2019-03-26 Amazon Technologies, Inc. Systems and methods for providing supplemental information with a response to a command
WO2017105641A1 (en) 2015-12-15 2017-06-22 Cortica, Ltd. Identification of key points in multimedia data elements
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
US11210583B2 (en) * 2016-07-20 2021-12-28 Apple Inc. Using proxies to enable on-device machine learning
US10841257B1 (en) * 2016-10-25 2020-11-17 Twitter, Inc. Determining engagement scores for sub-categories in a digital domain by a computing system
CN109314660B (zh) * 2017-03-31 2021-11-23 微软技术许可有限责任公司 在自动聊天中提供新闻推荐的方法和装置
US11074280B2 (en) 2017-05-18 2021-07-27 Aiqudo, Inc Cluster based search and recommendation method to rapidly on-board commands in personal assistants
EP3631650A4 (en) * 2017-05-26 2020-10-28 Microsoft Technology Licensing, LLC RECOMMENDED BY FRIENDS FOR AUTOMATED CHAT
WO2019008581A1 (en) 2017-07-05 2019-01-10 Cortica Ltd. DETERMINATION OF DRIVING POLICIES
US11899707B2 (en) 2017-07-09 2024-02-13 Cortica Ltd. Driving policies determination
US11361383B1 (en) * 2017-09-06 2022-06-14 United Services Automobile Association (Usaa) Simplified interactive user interface
US11216745B2 (en) * 2017-11-07 2022-01-04 Google Llc Incognito mode for personalized machine-learned models
US11422996B1 (en) * 2018-04-26 2022-08-23 Snap Inc. Joint embedding content neural networks
CN108959461B (zh) * 2018-06-15 2021-07-27 东南大学 一种基于图模型的实体链接方法
US10887655B2 (en) * 2018-06-27 2021-01-05 Microsoft Technology Licensing, Llc Cluster-based collaborative filtering
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US10706308B2 (en) * 2018-08-07 2020-07-07 Accenture Global Solutions Limited Image processing for automated object identification
US11613261B2 (en) 2018-09-05 2023-03-28 Autobrains Technologies Ltd Generating a database and alerting about improperly driven vehicles
US11526670B2 (en) * 2018-09-28 2022-12-13 The Mitre Corporation Machine learning of colloquial place names
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US11904863B2 (en) 2018-10-26 2024-02-20 AutoBrains Technologies Ltd. Passing a curve
US11700356B2 (en) 2018-10-26 2023-07-11 AutoBrains Technologies Ltd. Control transfer of a vehicle
US11392738B2 (en) 2018-10-26 2022-07-19 Autobrains Technologies Ltd Generating a simulation scenario
US11604844B2 (en) * 2018-11-05 2023-03-14 Samsung Electronics Co., Ltd. System and method for cross-domain recommendations
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11669431B2 (en) * 2019-01-11 2023-06-06 Google Llc Analytics personalization framework
CN109767301B (zh) * 2019-01-14 2021-05-07 北京大学 推荐方法及系统、计算机装置、计算机可读存储介质
US11170647B2 (en) 2019-02-07 2021-11-09 Cartica Ai Ltd. Detection of vacant parking spaces
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US11908242B2 (en) 2019-03-31 2024-02-20 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US11488290B2 (en) 2019-03-31 2022-11-01 Cortica Ltd. Hybrid representation of a media unit
US11397742B2 (en) 2019-06-21 2022-07-26 Microsoft Technology Licensing, Llc Rescaling layer in neural network
US11204968B2 (en) * 2019-06-21 2021-12-21 Microsoft Technology Licensing, Llc Embedding layer in neural network for ranking candidates
US11704292B2 (en) 2019-09-26 2023-07-18 Cortica Ltd. System and method for enriching a concept database
KR20210045891A (ko) * 2019-10-17 2021-04-27 삼성전자주식회사 전자 장치 및 전자 장치의 화면 캡쳐 운용 방법
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US11321785B2 (en) 2020-04-30 2022-05-03 Intuit Inc. System and method for providing global tag suggestions based on user information and transaction data
US11347780B2 (en) * 2020-04-30 2022-05-31 Intuit Inc. System and method for automatic suggestion and or correcting of search keywords
CN111710011B (zh) * 2020-06-10 2021-06-25 广州梦映动漫网络科技有限公司 一种漫画生成方法、系统、电子设备及介质
US11687833B2 (en) * 2020-08-27 2023-06-27 Google Llc Data management forecasting from distributed tracing
US11790172B2 (en) * 2020-09-18 2023-10-17 Microsoft Technology Licensing, Llc Systems and methods for identifying entities and constraints in natural language input
CN113298253B (zh) * 2021-06-03 2021-12-14 清华大学 用于命名实体识别的模型训练方法、识别方法及装置
US20230091581A1 (en) * 2021-09-21 2023-03-23 Bank Of America Corporation Personal Data Discovery

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090282012A1 (en) * 2008-05-05 2009-11-12 Microsoft Corporation Leveraging cross-document context to label entity
KR20110055636A (ko) * 2008-08-14 2011-05-25 구글 인코포레이티드 상이한 순서들로 메시지들을 제시하기 위한 다수의 뷰포트들을 가진 메시징 애플리케이션
US20140052540A1 (en) * 2012-08-20 2014-02-20 Giridhar Rajaram Providing content using inferred topics extracted from communications in a social networking system
JP2014048689A (ja) * 2012-08-29 2014-03-17 Konica Minolta Inc 検索支援システム、検索支援方法、およびコンピュータプログラム

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1346510B1 (en) * 2000-12-08 2007-05-16 Chikka Pte Ltd A messaging system involving wireless communications and method therefor
US20040015906A1 (en) 2001-04-30 2004-01-22 Goraya Tanvir Y. Adaptive dynamic personal modeling system and method
US20040230572A1 (en) * 2001-06-22 2004-11-18 Nosa Omoigui System and method for semantic knowledge retrieval, management, capture, sharing, discovery, delivery and presentation
EP1497751A4 (en) 2002-04-05 2009-10-21 At & T Corp METHOD AND SYSTEM FOR DETECTION AND EXTRACTION OF NAMED ENTITIES OF SPONTANEOUS COMMUNICATIONS
US20060235873A1 (en) * 2003-10-22 2006-10-19 Jookster Networks, Inc. Social network-based internet search engine
US7421514B2 (en) * 2004-05-21 2008-09-02 J2 Global Communications Messaging protocol for processing messages with attachments by inserting into a field of the message a unique property of the attaching entity
US7478192B2 (en) * 2004-11-03 2009-01-13 Saffron Technology, Inc. Network of networks of associative memory networks
US7917943B1 (en) * 2006-12-01 2011-03-29 Goodmail Systems, Inc. E-mail Stamping with accredited entity name
US20070168379A1 (en) * 2006-01-17 2007-07-19 Patel Sushma B Method and apparatus for cataloging screen shots of a program
US20080109714A1 (en) * 2006-11-03 2008-05-08 Sap Ag Capturing screen information
US8626840B2 (en) * 2006-11-17 2014-01-07 Comverse Ltd. Method and system for generating a referencing secondary electronic mail message from a primary electronic mail message
US8583419B2 (en) * 2007-04-02 2013-11-12 Syed Yasin Latent metonymical analysis and indexing (LMAI)
AU2008312423B2 (en) * 2007-10-17 2013-12-19 Vcvc Iii Llc NLP-based content recommender
US8190541B2 (en) * 2008-02-25 2012-05-29 Atigeo Llc Determining relevant information for domains of interest
WO2010008685A2 (en) * 2008-05-28 2010-01-21 Aptima, Inc. Systems and methods for analyzing entity profiles
CA2746675C (en) * 2008-12-12 2015-03-31 Atigeo Llc Providing recommendations using information determined for domains of interest
JP5044591B2 (ja) 2009-03-13 2012-10-10 株式会社東芝 メンバキーワード関係表示装置
US20100293247A1 (en) * 2009-05-18 2010-11-18 Verizon Patent And Licensing Inc. Application of social networking data
US8996550B2 (en) * 2009-06-03 2015-03-31 Google Inc. Autocompletion for partially entered query
US8719191B2 (en) 2010-03-01 2014-05-06 International Business Machines Corporation Training and verification using a correlated boosted entity model
US9244970B2 (en) 2010-08-06 2016-01-26 Nec Corporation Communication assistance device, communication assistance method, and computer readable recording medium
US9065786B2 (en) * 2010-09-24 2015-06-23 Yagi Corp. Context-sensitive auto-responder
WO2012177862A1 (en) * 2011-06-22 2012-12-27 Retail Royalty Company Methods and systems for online shopping incorporating dashboard features
US8983826B2 (en) 2011-06-30 2015-03-17 Palo Alto Research Center Incorporated Method and system for extracting shadow entities from emails
US20130031106A1 (en) 2011-07-29 2013-01-31 Microsoft Corporation Social network powered query suggestions
US10523618B2 (en) * 2011-09-07 2019-12-31 Elwha Llc Computational systems and methods for identifying a communications partner
TWI473474B (zh) * 2012-01-06 2015-02-11 Univ Nat Central 電子郵件分類方法
US9275152B2 (en) * 2012-02-22 2016-03-01 Google Inc. Related entities
CN103514165A (zh) * 2012-06-15 2014-01-15 佳能株式会社 用于识别对话中所提及的人的方法和装置
WO2014000200A1 (en) * 2012-06-28 2014-01-03 Sap Ag Consistent interface for document output request
US20140031060A1 (en) * 2012-07-25 2014-01-30 Aro, Inc. Creating Context Slices of a Storyline from Mobile Device Data
JP2014032434A (ja) 2012-08-01 2014-02-20 Sony Corp 情報処理装置、情報処理方法、及び、情報処理システム
US20140059130A1 (en) * 2012-08-22 2014-02-27 Mainsoft R&D Ltd. System and method for updating connections in social networks
US20140095629A1 (en) * 2012-10-02 2014-04-03 Thinkpuddle Inc. Systems and Methods for Organizing Events
US8949358B2 (en) 2012-10-25 2015-02-03 Palo Alto Research Center Incorporated Method and system for building an entity profile from email address and name information
US10025445B2 (en) * 2012-12-21 2018-07-17 International Business Machines Corporation Automated screen captures
US9129227B1 (en) * 2012-12-31 2015-09-08 Google Inc. Methods, systems, and media for recommending content items based on topics
WO2014139120A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Search intent preview, disambiguation, and refinement
US9191357B2 (en) * 2013-03-15 2015-11-17 Sap Se Consistent interface for email activity business object
TWI502381B (zh) * 2013-04-24 2015-10-01 Ind Tech Res Inst 別名查詢系統及其方法
KR102067057B1 (ko) * 2013-07-24 2020-01-16 엘지전자 주식회사 디지털 디바이스 및 제어 방법
US9384243B2 (en) * 2013-08-07 2016-07-05 Facebook, Inc. Real-time trend detection in a social network
US9727752B2 (en) * 2013-09-25 2017-08-08 Kairos Social Solutions, Inc. Device, system, and method of identifying a specific user from a profile image containing multiple people
US20150256491A1 (en) * 2014-03-04 2015-09-10 Microsoft Corporation Recipient suggestion system
IN2014MU00919A (ko) * 2014-03-20 2015-09-25 Tata Consultancy Services Ltd
US9459889B2 (en) * 2014-05-19 2016-10-04 Qualcomm Incorporated Systems and methods for context-aware application control
US10078631B2 (en) * 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US20150370787A1 (en) * 2014-06-18 2015-12-24 Microsoft Corporation Session Context Modeling For Conversational Understanding Systems
US9686275B2 (en) * 2014-07-07 2017-06-20 International Business Machines Corporation Correlating cognitive biometrics for continuous identify verification
US9875268B2 (en) * 2014-08-13 2018-01-23 International Business Machines Corporation Natural language management of online social network connections
US9965559B2 (en) * 2014-08-21 2018-05-08 Google Llc Providing automatic actions for mobile onscreen content
US9621650B2 (en) * 2014-09-30 2017-04-11 Google Inc Mobile application state identifier framework
US9575952B2 (en) * 2014-10-21 2017-02-21 At&T Intellectual Property I, L.P. Unsupervised topic modeling for short texts
CN104598617A (zh) 2015-01-30 2015-05-06 百度在线网络技术（北京）有限公司 一种搜索结果展示方法及装置
CN104636466B (zh) 2015-02-11 2020-07-31 中国科学院计算技术研究所 一种面向开放网页的实体属性抽取方法和系统
US10079785B2 (en) * 2015-02-12 2018-09-18 Google Llc Determining reply content for a reply to an electronic communication
US20170004134A1 (en) * 2015-07-03 2017-01-05 Microsoft Technology Licensing, Llc Asynchronous search query
US10803391B2 (en) 2015-07-29 2020-10-13 Google Llc Modeling personal entities on a mobile device using embeddings

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090282012A1 (en) * 2008-05-05 2009-11-12 Microsoft Corporation Leveraging cross-document context to label entity
KR20110055636A (ko) * 2008-08-14 2011-05-25 구글 인코포레이티드 상이한 순서들로 메시지들을 제시하기 위한 다수의 뷰포트들을 가진 메시징 애플리케이션
US20140052540A1 (en) * 2012-08-20 2014-02-20 Giridhar Rajaram Providing content using inferred topics extracted from communications in a social networking system
JP2014048689A (ja) * 2012-08-29 2014-03-17 Konica Minolta Inc 検索支援システム、検索支援方法、およびコンピュータプログラム

Also Published As

Publication number Publication date
JP6882988B2 (ja) 2021-06-02
EP3295329A1 (en) 2018-03-21
CN107851092A (zh) 2018-03-27
JP2018523187A (ja) 2018-08-16
RU2017137748A (ru) 2019-08-29
US20170032257A1 (en) 2017-02-02
WO2017019861A1 (en) 2017-02-02
KR102189854B1 (ko) 2020-12-11
KR102048029B1 (ko) 2019-11-22
US10803391B2 (en) 2020-10-13
KR20170132271A (ko) 2017-12-01
GB2553994A (en) 2018-03-21
CN107851092B (zh) 2022-04-26
DE112016003112T5 (de) 2018-04-12
GB201717801D0 (en) 2017-12-13

Similar Documents

Publication Publication Date Title
KR102048029B1 (ko) 개인적 엔티티들을 모델링
US11573810B1 (en) Sharing screen content in a mobile environment
US9965559B2 (en) Providing automatic actions for mobile onscreen content
US11716600B2 (en) Personalized entity repository
TWI678631B (zh) 利用通訊工具服務的關鍵詞檢索方法及系統
US20140279722A1 (en) Methods and systems for inferring user attributes in a social networking system
US10540666B2 (en) Method and system for updating an intent space and estimating intent based on an intent space
US11606362B2 (en) Privacy-preserving composite views of computer resources in communication groups
EP3306555A1 (en) Diversifying media search results on online social networks
CN110929122A (zh) 一种数据处理方法、装置和用于数据处理的装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant