KR20150048751A - 피처 기반 후보 선택 - Google Patents

피처 기반 후보 선택 Download PDF

Info

Publication number
KR20150048751A
KR20150048751A KR1020157005231A KR20157005231A KR20150048751A KR 20150048751 A KR20150048751 A KR 20150048751A KR 1020157005231 A KR1020157005231 A KR 1020157005231A KR 20157005231 A KR20157005231 A KR 20157005231A KR 20150048751 A KR20150048751 A KR 20150048751A
Authority
KR
South Korea
Prior art keywords
candidate
candidates
score
images
storage medium
Prior art date
Application number
KR1020157005231A
Other languages
English (en)
Other versions
KR101911999B1 (ko
Inventor
신징 왕
매튜 로버트 스콧
시 첸
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150048751A publication Critical patent/KR20150048751A/ko
Application granted granted Critical
Publication of KR101911999B1 publication Critical patent/KR101911999B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

선택 또는 삽입할 후보는 추출된 후보 피처 및 기준 피처에 기초할 수 있다. 후보 피처는 점수화되고 순위화될 수 있는 한편, 후보들이 기준에 기초하여 고려대상에서 제외된다. 잔여 후보는 선택 및/또는 삽입을 위해 제시될 수 있다.

Description

피처 기반 후보 선택{FEATURE-BASED CANDIDATE SELECTION}
본 발명은 일반적으로 입력 방식 편집기(IME: input method editor)에 관한 것으로, 보다 구체적으로는 복수의 운영 모드를 갖는 IME에 관한 것이다.
입력 방식 편집기(IME)는 사용자가 컴퓨팅 장치의 호스트 애플리케이션에 텍스트를 입력하도록 도와주는 컴퓨터 기능이다. IME는 사용자로부터의 수신된 입력에 기초하여 몇몇 제안된 단어 및 구를 호스트 애플리케이션에 삽입하기 위한 후보로서 제공할 수 있다. 예를 들어, 사용자는 단어나 구의 하나 이상의 시작 문자(initial character)를 입력할 수 있고, IME는 시작 문자에 기초하여 사용자가 원하는 단어나 구를 선택하도록 하나 이상의 제안된 단어나 구를 제공할 수 있다.
다른 예로, IME는 사용자가 중국어와 같은 비라틴 문자를 입력하는 것을 도와줄 수 있다. 사용자는 키보드 및 IME를 통해 라틴어 문자를 입력하고 IME는 라틴어 문자에 기초하여 호스트 애플리케이션에 삽입하기 위한 후보로서 하나 이상의 중국어 문자를 반환한다. 그 후 사용자는 적절한 문자를 선택할 수 있으며 이것을 호스트 애플리케이션에 삽입할 수 있다. 많은 통상의 키보드가 라틴어 문자 입력을 지원하므로, IME는 라틴어 사용자가 라틴어 키보드를 사용하여 비라틴어 문자를 입력하는데 유용하다.
사용자에 의해 선택된 후보는 채팅 애플리케이션, 문서 편집 애플리케이션, 이메일 애플리케이션, 드로잉 애플리케이션, 게이밍 애플리케이션 등과 같은 다양한 호스트 애플리케이션에 삽입될 수 있다.
본 개요는 후속하여 발명의 상세한 설명 부분에서 설명되는 개념들 중 선택된 것들을 단순화된 형태로 소개하고자 제공되는 것이다. 본 개요는 청구항의 청구대상의 핵심적인 특징이나 필수적인 특징들을 밝히고자 함이 아니며, 청구항의 청구대상의 범위를 결정하는 데 도움이 되고자 함도 아니다. 예를 들어, "기술(technique)"이란 용어는 전술한 문맥상 그리고 본 명세서에 걸쳐 허용되는 장치, 시스템, 방법 및/또는 컴퓨터 판독가능 명령어를 지칭할 수 있다.
본 명세서는 IME(input method editor)를 통해 사용자에 의해 선택 및/또는 삽입할 대체 후보를 제공하기 위한 기술을 개시한다. 다양한 실시예에서, IME는 컴퓨팅 장치에 의해 실행가능하다. IME는 호스트 애플리케이션에 삽입할 후보를 사용자에게 제시할 수 있다. IME는 사용자의 입력 및 그 입력의 컨텍스트에 따라서 상이한 유형의 후보를 제시할 수 있다. IME는 텍스트 후보 및 대체 후보를 입력 형태와 다른 형태로 제공할 수 있다.
상세한 설명은 첨부 도면을 참조하여 개시된다. 도면에서, 참조번호의 맨좌측 숫자는 그 참조번호가 처음 나타나는 도면을 나타낸다. 상이한 도면에서 사용되는 동일한 참조번호는 유사하거나 동일한 항목을 나타낸다.
도 1은 적어도 하나의 실시예에 따른 IME의 예시적인 구성의 블록도이다.
도 2는 적어도 하나의 실시예에 따른 IME를 이용하는 호스트 애플리케이션의 일례를 도시한 도면이다.
도 3은 IME를 구현하기 위한 환경 및 예시적인 컴퓨팅 장치를 도시한 것이다.
도 4는 적어도 하나의 실시예에 따른 IME에 의해 수행되는 예시적인 프로세스의 흐름도이다.
본 명세서는 호스트 애플리케이션에 삽입하기 위해 사용자에 의해 선택될 수 있는 후보를 사용자에게 제시하는 입력 방식 편집기(IME)에 관한 기술을 개시하고 있다. 사용자에게 제시되는 후보는 IME의 사용자 선택가능한 모드에 적어도 부분적으로 기초할 수 있다. 이들 후보는, 보충 정보를 사용자에게 제공하고 사용자 경험을 향상시키기 위해, 비라틴어 또는 중국어 문자와 같은 텍스트 후보와, 멀티미디어 후보와 같은 리치 후보(rich candidate)를 포함할 수 있다. 이에 더하여 또는 이에 갈음하여, 후보는 사용자 입력의 컨텍스트에 적어도 부분적으로 기초할 수 있으며, 이 컨텍스트는 호스트 애플리케이션, 이전의 사용자 입력, 인접한 사용자 입력, 이들의 조합, 및 기타 컨텍스트 정보를 포함할 수 있지만, 이들로 한정되지는 않는다. 부가적으로 또는 대안적으로, 후보는 사용자 선택 시에 입력된 텍스트를 대체하거나 확장할 수 있다.
다양한 실시예에서, 사용자 입력은 사용자에 의해 IME의 합성 창(composition window)에 입력된 하나 이상의 텍스트 문자 또는 심벌이다. 사용자 입력은 하나 이상의 표현, 검색어, 이들의 일부 또는 이들의 조합을 나타낼 수 있다. 예를 들어, 사용자 입력은 일련의 시작 문자들, 약어, 스펠링, 및/또는 하나 이상의 단어 또는 구의 번역일 수 있다. 단어 또는 구와 같이 사용자 입력에 의해 표현되는 사용자 입력 및 표현은 동일하거나 상이한 언어로 되어 있을 수 있다. 사용자는 키보드 입력, 음성 입력, 터치 스크린 입력, 제스처, 움직임 또는 이들의 조합과 같이 다양한 입력 방법을 통해 사용자 입력을 입력할 수 있다.
다양한 실시예에서, 후보들은 사용자 입력과 다른 형태로 제공된다. 예를 들어, 사용자가 텍스트를 입력하면, 대체 후보는 이미지, 비디오, 오디오 파일, 웹 링크, 웹 페이지, 맵, 기타 멀티미디어 파일, 또는 이들의 조합의 형태로 제공될 수 있다.
다양한 실시예에서, 후보들은 사용자 입력 및/또는 사용자 입력의 컨텍스트에 대한 관련성에 따라 순위가 정해진다.
예시적인 시스템 모델
도 1은 IME의 예시적인 시스템 모델을 도시한 것이다. 예를 들어, IME(100)는 후보 관리자(102) 및 삽입 관리자(104)를 포함할 수 있다. 후보 관리자(102)는 사용자 입력, 사용자 입력의 컨텍스트, 또는 이들의 조합을 분석하는 분석기(106)를 포함한다. 예컨대, 분석기(106)는 입력이 무엇을 나타내는지를 추론하기 위해 사용자 입력을 텍스트 형태로 분석할 수 있다. 분석기(106)는 또한 사용자 입력의 컨텍스트를 판단할 수 있다. 예를 들어, 사용자 입력의 컨텍스트는 IME가 지원하고 있는 호스트 프로그램, 동일한 IME 세션에 사용자에 의해 행해진 과거 및/또는 별도의 입력, 현재의 입력에 인접한 호스트 프로그램 내에서 참가자에 의해 행해진 입력, 사용자의 위치, 기타 요소들, 또는 이들의 조합을 포함하지만, 이들로 한정되지는 않는다.
다양한 실시예에서, 위치 정보, 대화 또는 검색 컨텐츠와 같은 개인 정보가 저장되거나 전송되면, 사용자는 수집, 저장, 및/또는 전송을 허용하기로 결정할 기회, 및/또는 이들을 중단할 기회를 가질 수 있다. 다양한 실시예에서, 개인 정보가 저장되거나 전송될 경우, 개인 데이터를 보호하기 위해 적절한 보안 조치 및 특징이 적재적소에 갖추어져 있어야 한다. 이에 더하여 또는 이에 갈음하여, 컨텍스트는 단어 또는 구를 트리거링하는 것을 포함할 수 있다. 예를 들어, 사용자는 대안적인 후보를 찾는 입력 바로 앞에 "photo of"란 구를 입력할 수 있다. 이 예에서, "photo of"란 구는 사용자가 후속하는 입력의 이미지 또는 사진을 보는 것에 관심이 있다는 컨텍스트를 제공할 수 있다. 단어나 구를 트리거링하는 다른 예로는 "image", "video", "sound", "hear", "nearby", "picture", "let me see", "have a look at", "did you see" 등을 포함할 수 있지만, 이들로 한정되지는 않는다. 단어나 구를 트리거링하는 것은 문화 및/또는 언어에 특정될 수 있다는 것을 이해할 수 있을 것이다.
다양한 실시예에서, 사용자 입력의 컨텍스트 및 컨텐츠는 후보의 선택을 통지하는데 사용된다. 가능한 실시예에서, 사용자 입력의 컨텍스트 및 컨텐츠는 후보들을 수집하기 위한 검색을 공식화하는데 사용된다. 일례에서, 사용자는 텍스트 "forbidden city"를 채트 프로그램에 입력하는데, "forbidden city"를 입력하기 몇 라인 또는 엔트리 전에 그 사용자 또는 제3자가 "moat"란 용어를 이전에 입력한다. 이 예에서, 입력의 컨텐츠는 "forbidden city"일 수 있고 입력의 컨텍스트는 채트 프로그램 및 텍스트 입력 "moat"일 수 있다.
이 예에서, 후보 관리자(102)는 이미지, 비디오, 오디오 파일, 그래픽, 그 외의 것들, 또는 이들의 조합을 검색하여 "forbidden city"에서, 또는 그 근방에서, 또는 그 소속 또는 그 내부에서 "moat"를 찾아낼 수 있다. 이 예는 사용자 입력의 컨텍스트를 고려하지 않는 검색과는 상이할 수 있다.
다양한 실시예에서, 후보 관리자(102)에 의한 검색은, 다양한 형태의 미디어를 검색할 수 있는 검색 엔진 컴퓨팅 장치 상의 상용 검색 엔진과 같은, 검색 엔진에 의해 용이해질 수 있다. 예를 들어, 검색 엔진 컴퓨팅 장치는 후보들을 수집하기 위해 Bing®, Google®, Yahoo®, Alibaba® 등과 같은 검색 엔진을 선택할 수 있다. 후보의 예로는 웹 검색 결과, 비디오 검색 결과, 이미지 검색 결과, 오디오 파일 검색 결과 또는 사전 및 백과사전 검색 결과를 들 수 있다.
다양한 실시예에서, 후보 관리자(102)에 의한 검색은 적어도 부분적으로 사용자 입력의 컨텐츠 및/또는 사용자 입력의 컨텍스트에 기초할 수 있다.
다양한 실시예에서, 후보 관리자(102)에 의한 검색은 후보들을 임의의 주변 텍스트, 후보와 연관된 메타데이터, 또는 이들의 조합과 함께 반환할 수 있다.
다양한 실시예에서, 후보 관리자(102)에 의한 검색은 후보들을 결과 정보와 함께 순위화된 포맷으로 반환할 수 있다. 예를 들어, 결과 정보는 순위화된 포맷을 포함할 수 있고 상위 결과들의 세트, 하위 또는 최하위 결과들의 세트, 및/또는 중복 후보들을 제공할 수 있다.
다양한 실시예에서, 후보 관리자(102)는 후보들로부터 하나 이상의 기준(reference)을 선택한다. 예를 들어, 검색 엔진에 의해 반환된 모든 후보 이미지들의 세트 중에서 몇몇 기준 이미지가 선택될 수 있다. 기준 이미지는 적어도 부분적으로 순위(rank) 및 중복 또는 유사한 반환 이미지의 수에 기초하여 선택될 수 있다. 예를 들어, 검색으로부터 반환된 상위 N 개의 후보 이미지(여기서 N은 0 이상의 정수이다)가 가능한 기준 이미지로서 고려될 수 있다. 이에 더하여 또는 이에 갈음하여, 검색으로부터 반환된 하위 M 개의 후보 이미지 또는 바닥 후보 이미지(여기서 M은 0 이상의 정수이다)가 기준 이미지로서 회피해야할 가능한 이미지로서 고려될 수 있다. 이에 더하여 또는 이에 갈음하여, 중복 또는 유사한 이미지의 수가 가능한 기준 이미지로서 고려될 수 있다. 예를 들어, 제1 후보 이미지가 제2 후보 이미지보다 더 많이 중복되거나 유사한 이미지를 가지면, 제1 후보 이미지는 제2 후보 이미지보다 더 나은 기준 이미지로 고려될 수 있다. 이에 더하여 또는 이에 갈음하여, 중복 또는 유사한 이미지의 수는 후보 이미지의 인기(popularity), 유행(trendiness), 또는 유사한 측면을 나타낼 수 있다.
이에 더하여 또는 이에 갈음하여, 후보 관리자(102)는 추출기(108)를 포함할 수 있다. 다양한 실시예에서, 추출기(108)는 기준의 피처(feature)를 추출할 수 있다. 예를 들어, 추출기(108)는 기준 이미지로 선택된 후보 이미지로부터 피처를 추출할 수 있다. 다양한 실시예에서, 기준 이미지로부터 추출된 피처는 평균 피처를 포함할 수 있다.
이에 더하여 또는 이에 갈음하여, 추출기(108)는 기준 이미지로서 선택되지 않은 후보 이미지로부터 피처를 추출할 수 있다. 다양한 실시예에서, 후보 이미지로부터 추출된 피처는 기준 이미지로부터의 추출된 피처와 비교된다. 예를 들어, 후보 이미지로부터 추출된 피처와 기준 이미지로부터 추출된 피처 사이의 코사인 거리(cosine distance)가 계산될 수 있다. 이에 더하여 또는 이에 갈음하여, 후보 이미지의 메타데이터 또는 주변 텍스트에 포함된 정보는 기준 이미지의 메타데이터 또는 주변 텍스트에 포함된 정보와 비교될 수 있다. 예를 들어, 코사인 거리는 둘 사이에서 계산된다.
다양한 실시예에서, 각각의 추출된 피처 및 기준에 대한 비교는 후보의 디멘션(dimension)을 포함할 수 있다. 후보의 각 디멘션은 그 점수, 순위, 사용자에게 프리젠테이션하기 위한 적합도, 또는 이들의 조합을 결정하는데 사용될 수 있다. 다양한 실시예에서, 취합된 디멘션의 수는 클 수 있다. 이에 더하여 또는 이에 갈음하여, 이 모듈에서 또는 관련 프로세스 또는 방법의 유사한 단계에서 제2 디멘션에 비해 제1 디멘션의 값 또는 가중치는 평가 또는 판단될 필요가 없다.
이에 더하여 또는 이에 갈음하여, 후보 관리자(102)는 분류기(110)를 포함할 수 있다. 다양한 실시예에서, 분류기(110)는 각 후보를 분류할 수 있다. 예를 들어, 분류기(110)는 후보 이미지와 연관된 디멘션을 이용하여 후보 이미지에 점수를 할당할 수 있다. 다양한 실시예에서, 분류기는 수동으로 프로그램될 수도 있고, 피처와 점수 사이의 최초 상관에 의해 배정될 수도 있으며(이 경우 모델이 후속 검색 또는 추가에 의해 확장됨), 로직 엔진에 의해 생성될 수도 있고, 또는 이들의 조합으로 이루어질 수도 있다. 이에 더하여 또는 이에 갈음하여, 분류기는 발전되거나, 업데이트되거나, 오프라인 또는 온라인으로 유지되거나, 또는 이들의 조합으로 될 수 있다. 이에 더하여 또는 이에 갈음하여, 디멘션에 반영된 이미지의 상대적인 피처를 점수에 맵핑시키기 위해 회귀 모델(regression model)이 사용될 수 있다. 다양한 실시예에서, 각각의 후보 이미지에 대해 점수가 취합되어 후보 점수를 생성할 수 있다.
이에 더하여 또는 이에 갈음하여, 후보 관리자(102)는 랭커(ranker)(112)를 포함할 수 있다. 다양한 실시예에서, 랭커(112)는 각 후보의 순위를 매길 수 있다. 예를 들어, 랭커(112)는 적어도 부분적으로 후보 점수에 기초하여 각각의 후보 이미지의 순위를 매길 수 있다.
이에 더하여 또는 이에 갈음하여, 후보 관리자(102)는 선택 프로세스를 포함할 수 있는데, 선택 프로세스에서 후보가 선택되거나, 선택에 이용가능하게 되거나, 선택에 이용가능하지 않게 되거나, 고려대상에서 제외되거나, 또는 이들이 조합될 수 있다. 예를 들어, 후보 관리자(102)는 리듀서(114)를 포함할 수 있다. 다양한 실시예에서, 리듀서(114)는 고려대상인 후보의 수를 줄일 수 있다. 예를 들어, 리듀서(114)는 적어도 부분적으로 후보 점수에 기초하여 각 후보 이미지를 고려대상에서 제외시킬 수 있다. 다양한 실시예에서, 임계치 미만의 후보 점수를 갖는 후보는 고려대상에서 제외될 것이다.
이에 더하여 또는 이에 갈음하여, 후보 관리자(102)는 중복 리무버(116)를 포함할 수 있다. 다양한 실시예에서, 중복 리무버(116)는 선택 프로세스의 일부로서 포함될 수 있다. 다양한 실시예에서, 중복 리무버(116)는 고려되는 후보의 수를 줄일 수 있다. 예를 들어, 중복 리무버(116)는 후보 이미지로부터 중복 이미지를 제외시킬 수 있다. 이에 더하여 또는 이에 갈음하여, 중복 리무버(116)는 중복 이미지 뿐만 아니라 서로 유사한 후보 이미지도 제외시킬 수 있다. 예를 들어, 제1 및 제2 후보 이미지 사이의 차이가 임계치 차이 미만이거나 또는 유사도 임계치 내이면, 제1 및 제2 후보 이미지는 서로 충분히 유사하거나 중복되는 것으로 고려될 수 있다. 이 예에서, 중복 리무버(116)는 제1 또는 제2 후보 이미지를 후보대상에서 제외시키고/또는 그 후보를 선택에 이용가능하지 않게 만들 수 있다.
예를 들어, 위에서 논의한 바와 같이, 다양한 실시예에서, 사용자 입력의 컨텐츠 및 사용자 입력의 컨텍스트는 제시될 후보를 통보하고 결정하는데 사용된다. 다양한 실시예에서, 사용자 입력의 컨텍스트 및 컨텐츠는 후보 수집, 피처 추출, 후보 분류, 및/또는 후보 순위화를 위해 검색을 공식화하는데 사용된다. 예컨대, 사용자가 텍스트 "forbidden city"를 채트 프로그램에 입력한다. 그러나, 텍스트 "forbidden city"를 입력하기 몇 라인 또는 엔트리 전에, 사용자 및 제3자가 "moat"를 입력한다. 이 예에서, 입력의 컨텐츠는 "forbidden city"일 수 있고 입력의 컨텍스트는 채트 프로그램 및 텍스트 입력 "moat"일 수 있다.
이 예에서, 후보 관리자(102)는 이미지, 비디오, 오디오 파일, 그래픽, 그 외의 것들, 또는 이들의 조합을 검색하여 "forbidden city"에서, 또는 그 근방에서, 또는 그 소속 또는 그 내부에서 "moat"를 찾아낼 수 있다. 이 예는 사용자 입력의 컨텍스트는 고려하지 않고 단지 "forbidden city"에 대한 검색만 고려하는 검색과는 상이할 수 있다. 이 예에서 "forbidden city"에 대한 검색은 해자(moat)를 포함하는 자금성(Forbidden City)의 이미지를 반환할 수도 있고 반환하지 않을 수도 있다. 이에 더하여 또는 이에 갈음하여, 추출기(108)는 피처를 추출하고 "moat"란 용어와 관련된 디멘션을 생성할 수 있다. 이에 더하여 또는 이에 갈음하여, 분류기(110)는 해자 피처와 관련된 디멘션이 없는 이미지보다 해자 피처와 관련된 디멘션을 포함하는 이미지에 더 높은 점수를 맵핑할 수 있다. 이에 더하여 또는 이에 갈음하여, 랭커(112)는 해자 없는 후보 이미지보다 해자를 포함하는 후보 이미지에 더 높은 순위를 할당할 수 있다. 이 예에서, "forbidden city"와 관련된 입력의 컨텍스트를 고려함으로써, 예컨대, 사용자가 자금성 자체의 이미지가 아니라 자금성에서의 해자의 이미지를 원할 경우, 이전에 사용된 용어 "moat"가 결과적으로 보다 바람직한 후보 이미지의 세트가 될 수 있다.
이에 더하여 또는 이에 갈음하여, IME(100)는 삽입 관리자(104)를 포함할 수 있다. 다양한 실시예에서, 삽입 관리자(104)는 사용자에게 삽입할 후보를 제공할 수 있는 인서터(118)를 포함한다. 예를 들어, 인서터(118)는 적어도 부분적으로 사용자 입력, 사용자 입력의 컨텍스트, 나머지 후보, 또는 이들의 조합에 기초하여 후보 이미지의 서브세트가 사용자에게 디스플레이되게 할 수 있다. 예를 들어, 사용자가 채트 프로그램에 텍스트를 입력하고 있으면, 인서터(118)는 채트 프로그램을 IME를 위한 호스트 프로그램으로서 식별할 수 있고 적절한 수의 후보 이미지를 한번에 디스플레이할 수 있다. 이에 더하여 또는 이에 갈음하여, 인서터(118)는 모든 이용가능한 후보 이미지를 동시에 보여줄 수 있다.
도 2는 적어도 하나의 실시예에 따른 IME를 이용하는 호스트 애플리케이션의 일례를 도시한 도면이다. 예를 들어, 도 2는 다양한 실시예에 따른 IME를 이용하는 호스트 애플리케이션(202)의 일례(200)를 보여준다. 호스트 애플리케이션(202)은 본 명세서에서 채트 애플리케이션으로서 도시되어 있다. 호스트 애플리케이션(202)은 문서 편집 애플리케이션, 드로잉 애플리케이션, 이메일 애플리케이션, 또는 다양한 다른 애플리케이션일 수도 있다.
도시된 예에서, 호스트 애플리케이션(202)은 일반적으로 204로 표시된 텍스트 삽입 영역을 포함한다. 텍스트 삽입 영역(204)은 사용자에 의해 또는 IME(206)를 통해 호스트 애플리케이션에 직접 삽입된 문자를 포함한다. 텍스트 삽입 영역(204)은 또한, 후보가, 예컨대 삽입 관리자(104)에 의해 호스트 애플리케이션(202)의 어디에 삽입되어야 하는지의 표시를 나타내는, "|"로 표시된 입력 표시를 포함한다. 입력 표시는 예컨대 마우스의 포커스일 수 있다. 입력 표시는 또한 컴퓨팅 장치 상에서 실행되는 많은 호스트 애플리케이션 중에서 IME(206)에 의해 삽입된 후보를 수신하는 컴퓨팅 장치의 호스트 애플리케이션(202)을 나타낸다. 일특정 예에서, 복수의 호스트 애플리케이션이 IME(206)의 피처를 동시에 이용할 수 있으며, 사용자는 호스트 애플리케이션들 사이에서 입력 표시를 이동시킴으로써 후보를 수신할 호스트 애플리케이션들 중 하나 이상의 사이에서 전환할 수 있다.
도시된 예에서, IME(206)는 핀인(pinyin)을 사용하여 중국어 문자를 호스트 애플리케이션(202)에 삽입하도록 동작하고 있다.
IME(206)는 사용자 입력을 수신하는 합성 창(composition window)(210), 텍스트 후보를 사용자에게 제시하는 텍스트 후보 창(212), 및 대체 형태의 후보를 사용자에게 제시하는 대체 후보 창(214)을 포함하는 사용자 인터페이스(208)로서 도시되어 있다. 텍스트 후보 창(212)은 이전 및 다음의 후보 화살표(216)를 포함하는 것으로 도시되어 있는데, 이것은 사용자의 상호작용에 의해 텍스트 후보 창(212)에 현재 표시되어 있지 않은 추가적인 텍스트 후보를 수신할 수 있게 한다. 대체 후보 창(214) 또한 이전 및 다음의 후보 화살표(216)를 포함하는 것으로 도시되어 있는데, 이것은 사용자의 상호작용에 의해 대체 후보 창(214)에 현재 표시되어 있지 않은 추가적인 텍스트 후보를 수신할 수 있게 한다.
다양한 대체 후보 모드가 예시되지만, 본 발명의 범주로부터 벗어나지 않고 기타 대체 후보 모드들이 사용될 수도 있다. 예를 들어, IME(206)는, 예컨대 대체 후보가 MPEG-1 또는 MPEG-2 오디오 레이어 III(mp3) 파일과 같은 오디오 파일을 포함할 수 있는 오디오 모드를 포함할 수 있다. 이에 더하여 또는 이에 갈음하여, IME(206)는 예컨대 대체 후보가 비디오를 포함할 수 있는 비디오 모드를 포함할 수 있다. 이에 더하여 또는 이에 갈음하여, IME(206)는 대체 후보가 그래픽 텍스트를 포함할 수 있는 그래픽 텍스트 모드를 포함할 수 있다. 그패픽 텍스트의 일례로는 텍스트를 포함하는 그래픽 파일(예컨대, 이미지 파일)을 들 수 있다. 이에 더하여 또는 이에 갈음하여, IME(206)는 예컨대 대체 후보가 애니에이션 그래픽 이미지를 포함할 수 있는 애니메이션 그래픽 이미지 모드를 포함할 수 있다. 이전 및 다음 후보 화살표(216)와 상호작용함으로써, 사용자는 리치 후보 모드 메뉴에 있는 이들 추가적인 리치 후보 모드에 대한 액세스를 획득할 수 있다. 이에 더하여 또는 이에 갈음하여, IME(206)는 사용자 입력의 컨텍스트를 고려하고 하나의 유형을 다른 유형 앞에 디스플레이하거나 또는 둘의 조합 또는 모든 가능한 유형을 디스플레이할 수 있다.
도시된 예에서, 사용자는 텍스트 "ha'ha"를 입력하였다. 사용자가 이 컨텍스트에서 텍스트를 입력하는 결과로서, IME(206)는 대체 후보 모드에 있다. 텍스트 후보 창(212)은 대체 후보 모드에 있는 동안, 핀인으로부터 텍스트 "ha'ha"를 중국어 문자로 계속해서 번역한다. 반면에, 대체 후보 창(214)은 텍스트 "ha'ha"에 대한 이미지 검색 결과를 사용자에게 제시한다. 도시된 바와 같이, 대체 후보 창(214)은 다양한 만화 동물들이 웃고 있는 이미지를 포함하는 옵션 2-5를 제시한다.
다양한 실시예에서, 사용자는 IME(206)로 하여금 "1"을 입력함으로써 텍스트 삽입 영역(204)에서 텍스트 후보 창(212)에 표시된 중국어 문자를 호스트 애플리케이션(202)에 삽입하거나 또는 "2", "3", "4", 또는 "5"를 입력함으로써 대체 후보 창(214)에 표시된 이미지를 삽입하게 할 수 있다. 본 발명의 범주로부터 벗어나지 않고 다른 사용자 선택 옵션이 이용될 수도 있다.
예시적인 컴퓨팅 장치 및 예시적인 운영 환경
도 3은 다양한 실시예에 따른, 본 명세서에 기술된 시스템 및 방법을 구현할 수 있는 대표적인 컴퓨팅 장치(300)를 도시한 것이다. 본 명세서에 기술된 기법 및 메커니즘은 컴퓨팅 장치(300)의 복수의 인스턴스 및 임의의 다른 컴퓨팅 장치, 시스템, 및/또는 환경에 의해 구현될 수 있다. 도 3에 도시된 컴퓨팅 장치(300)는 컴퓨팅 장치의 일례일 뿐이며, 전술한 프로세스 및/또는 절차를 수행하기 위해 이용되는 임의의 컴퓨팅 장치의 기능 또는 사용 범위로 어떠한 한정을 하고자 하는 것은 아니다.
적어도 하나의 구성에서, 컴퓨팅 장치(300)는 적어도 하나의 프로세서(302) 및 시스템 메모리(304)를 포함한다. 프로세서(302)는 컴퓨팅 장치(300)로 하여금 다양한 기능을 수행하게 하는 하나 이상의 모듈 및/또는 프로세스를 실행할 수 있다. 일부 실시예에서, 프로세서(302)는 CPU나 GPU, CPU와 GPU, 또는 당해 기술분야에 공지되어 있는 기타 처리 장치 또는 컴포넌트를 포함할 수 있다. 또한, 각각의 프로세서(302)는 자신의 로컬 메모리를 포함하고, 로컬 메모리는 프로그램 모듈, 프로그램 데이터, 및/또는 하나 이상의 운영 체제를 저장할 수 있다.
컴퓨팅 장치(300)의 정확한 구성 및 유형에 따라, 시스템 메모리(304)는 휘발성(예컨대, RAM), 비휘발성(예컨대, ROM, 플래시 메모리, 소형 하드 드라이브, 메모리 카드 등) 또는 이들의 일부 조합일 수 있다. 시스템 메모리(304)는 운영 체제(306), 하나 이상의 프로그램 모듈(308), 및 프로그램 데이터를 포함할 수 있다. 운영 체제(306)는 (속성 및 이벤트를 포함하는)컴포넌트, 객체, 상속(inheritance), 다형성(polymorphism), 리플렉션(reflection)을 지원하고 객체 지향 컴포넌트 기반 애플리케이션 프로그래밍 인터페이스(API)를 제공하는 컴포넌트 기반 프레임워크(334)를 포함한다. 컴퓨팅 장치(300)는 점선(312)으로 표시된 매우 기본적인 예시적인 구성으로 이루어진다. 또한, 단말기는 보다 적은 컴포넌트를 가질 수 있지만 그러한 기본 구성을 가질 수 있는 컴퓨팅 장치와 상호작용할 수 있다.
프로그램 모듈(308)은 제한적인 것은 아니지만 IME(334), 애플리케이션(336), 및/또는 기타 컴포넌트(338)를 포함할 수 있다. 다양한 실시예에서, IME(334)는 사용자 인터페이스(UI)(340), 후보 관리자(102), 및/또는 삽입 관리자(104)를 포함할 수 있다. 다양한 실시예에서, 후보 관리자(102)는 분석기(106), 추출기(108) 및/또는 분류기(110)를 포함한다.
컴퓨팅 장치(300)는 추가 피처 및/또는 기능을 가질 수 있다. 예를 들어, 컴퓨팅 장치(300)는 또한 자기 디스크, 광학 디스크, 또는 테이프와 같은 추가 데이터 저장 장치(착탈식 및/또는 비착탈식)를 포함할 수도 있다. 그러한 추가 저장부는 도 3에 착탈식 저장부(314) 및 비착탈식 저장부(316)로 도시되어 있다.
저장 장치 및 임의의 관련 컴퓨터 판독가능 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 및 기타 데이터를 저장할 수 있다. 컴퓨터 판독가능 매체는 적어도 두 유형의 컴퓨터 판독가능 매체, 즉 컴퓨터 저장 매체 및 통신 매체를 포함한다.
컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 및 기타 데이터와 같은 정보의 저장을 위해 임의의 방법이나 기술로 구현된 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체를 포함한다.
컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD 또는 기타 광학 저장부,자기 카세트, 자기 테이프, 자기 디스크 저장부 또는 기타 자기 저장 장치, 또는 컴퓨팅 장치에 의한 액세스를 위해 정보를 저장하는데 사용될 수 있는 임의의 다른 비전송 매체를 포함하지만, 이들로 한정되지는 않는다.
반면에, 통신 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호 내의 다른 데이터, 또는 기타 전송 메커니즘을 구현할 수 있다. 본 명세서에 정의된 바와 같이, 컴퓨터 저장 매체는 통신 매체를 포함하지 않는다.
또한, 컴퓨터 판독가능 매체는 프로세서(302)에 의해 실행될 경우 본 명세서에 기술된 다양한 기능 및/또는 동작을 수행하는 컴퓨터 실행가능 명령어를 포함할 수 있다.
컴퓨팅 장치(300)는 또한 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등과 같은 입력 장치(318)를 가질 수 있다. 디스플레이, 스피커, 프린터 등과 같은 출력 장치(320) 또한 포함될 수 있다.
컴퓨팅 장치(300)는 또한 장치가 예컨대 네트워크를 통해 다른 컴퓨팅 장치(324)와 통신할 수 있게 하는 통신 연결부(322)를 포함할 수 있다. 예를 들어, 통신 매체 및 통신 연결부는 유선 네트워크 또는 유선 연결부와 같은 유선 매체와, 음향, 무선 주파수(RF), 적외선 및 기타 무선 매체와 같은 무선 매체를 포함한다. 통신 연결부(322)는 통신 매체의 일부 예이다. 통신 매체는 통상적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 등에 의해 구현될 수 있다.
도 3은 예시적인 시스템이 동작할 수 있는 예시적인 운영 환경의 개략도를 도시한 것이다. 예를 들어, 시스템의 다양한 실시예들이 컴퓨팅 장치(300) 상에서 동작할 수 있다. 컴퓨팅 장치(300)는 사용자 장치(326)와 직접 또는 간접적으로 상호작용할 수 있다. 컴퓨팅 장치는 네트워크(328)에 연결될 수 있다. 네트워크 장치(328)는 서버(330), 모바일 장치(332), 및/또는 기타 연결부 및/또는 자원을 포함하는 다른 컴퓨팅 장치(324)에 대한 액세스를 제공할 수 있다. 연결은 유선 또는 무선으로 이루어질 수 있다.
도시된 컴퓨팅 장치(300)는 적절한 장치의 일례일 뿐이며, 기술된 다양한 실시예의 사용 또는 기능의 범위로 한정하고자 하는 것이 아니다. 실시예들과 사용하기에 적합할 수 있는 다른 잘 알려져 있는 컴퓨팅 장치, 시스템, 환경 및/또는 구성은 개인용 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋탑 박스, 게임 콘솔, 프로그램가능한 가전, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 이들 시스템 또는 장치 중 어느 하나를 포함하는 분산 컴퓨팅 환경, FPGA(field programmable gate array) 및 ASIC(application specific integrated circuit)를 이용하는 구현물들 등을 포함하며, 이들로 제한되지는 않는다.
단일 컴퓨팅 장치 상에서의 공유 자원 컴퓨팅 환경의 구현 및 관리는 네트워크 인터페이스 카드, 허브, 라우터, 서버, 브리지, 스위치 및 인터넷을 통한 통신과 연관된 기타 컴포넌트와 같은 네트워킹 하드웨어에 대한 의존 없이 그리고 소프트웨어 애플리케이션 및 인터넷을 통한 통신에 대한 프로토콜에 대한 의존 없이 복수의 컴퓨터 사용자들이 동시에 동일한 컴퓨팅 작업을 협업할 수 있게 하거나 또는 동일한 컴퓨팅 경험을 공유할 수 있게 한다.
이에 더하여 또는 이에 갈음하여, IME(334)를 구현하는 컴퓨팅 장치(300)는 예컨대 네트워크(328)를 통해 하나 이상의 검색 엔진 컴퓨팅 장치(342)와 통신할 수 있다.
통신 연결부(322)는 네트워크(328)와 같은 네트워크를 통해 하나 이상의 검색 엔진 컴퓨팅 장치(342)와 데이터를 주고받기 위해 프로세서(302)에 의해 액세스 가능하다. 검색 엔진 컴퓨팅 장치(342)는 하나 이상의 검색 엔진(344)을 사용하여 검색을 수행하도록 구성될 수 있다. 검색 엔진(344)은 Bing®, Google®, 또는 Yahoo®, 또는 검색 엔진들의 조합, 또는 IME(334)(예컨대, 번역 엔진)와 함께 동작하도록 구성된 고객 검색 엔진과 같은 포괄적인 검색 엔진일 수 있다. 검색 엔진(344)은 또한 Bing®, MAp, 또는 Google® 이미지 검색과 같은 검색 엔진의 특화된 형태일 수 있다.
IME(334)는 범용 또는 특수목적 컴퓨터 시스템의 구성 또는 환경에 사용될 수 있음을 이해해야 한다. 예들로는 개인용 컴퓨터, 서버 컴퓨터, 핸드헬드 장치 또는 휴대용 장치, 태블릿 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋탑 박스, 프로그램가능 가전, 네트워크 PC, 및 임의의 전술한 시스템 또는 장치를 포함하는 분산 컴퓨팅 환경을 들 수 있다.
이해를 쉽게 하기 위해 본 명세서에서 논의되는 프로세스는 독립적인 블록으로 표현된 별개의 동작들로 구분된다. 그러나, 이들 별개로 구분된 동작들은 이들 수행에 있어서 반드시 순서 의존적으로 해석해서는 안 된다. 프로세스들이 기술되는 순서는 한정사항으로 해석되어서는 안 되며, 임의의 수의 기술된 프로세스 블록은 그 프로세스 또는 다른 프로세스를 구현하기 위해 임의의 순서로 조합될 수도 있다. 또한, 제공된 동작 중 하나 이상은 수정되거나 생략될 수도 있다.
프로세스들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있는 일련의 동작을 나타내는 논리적 흐름도에서의 블록들의 집합으로서 도시되어 있다. 논의를 위해, 프로세스들은 도 1 내지 3에 도시된 시스템을 참조하여 기술된다. 그러나, 프로세스들은 다른 아키텍처 및 장치를 이용하여 수행될 수도 있다.
도 4는 적어도 부분적으로 입력에 기초하여 하나 이상의 후보를 제공하는 예시적인 프로세스(400)의 흐름도이다. 402에서, IME에 의해 입력이 수신된다. 이 입력은 사용자로부터의 입력일 수 있고, 텍스트, 그래픽, 제스처, 음성, 사운드, 모션, 또는 이들의 조합을 포함할 수 있으며, 키보드, 마이크 또는 음성 입력 메커니즘, 마우스, 터치 스크린 및/또는 이들의 조합으로부터 수신될 수 있다. 이에 더하여 또는 이에 갈음하여, 입력은 입력의 컨텍스트와 함께 수신될 수 있다. 컨텍스트는 IME가 지원하고 있는 호스트 애플리케이션을 포함할 수 있다. 이에 더하여 또는 이에 갈음하여, 컨텍스트는 사용자에 의해 입력된 단어나 구를 입력과 별개로, 또는 입력에 인접하게 또는 이들의 조합으로 포함할 수 있다.
404에서, IME는 입력의 컨텐츠 및 입력의 컨텍스트를 분석할 수 있다. 컨텐츠 및 컨텍스트는 대체 후보가 제공되어야 하는지를 판단하기 위해, 함께 또는 별도로, IME에 의해 사용될 수 있다. 예를 들어, 입력이 트리거 구에 바로 인접하면, 이 컨텍스트는 사용자가 대체 후보에 관심이 있을 가능성을 증가시킬 수 있고 대체 후보가 제공될 수 있다.
406에서, IME는 하나 이상의 후보를 수집할 수 있다. 예를 들어, 수신된 입력이 쿼리로 공식화되어 검색 엔진으로 전송될 수 있다. 이에 더하여 또는 이에 갈음하여, 예컨대, 관련 쿼리 항목을 추가하거나 제외시킴으로써 컨텍스트의 면면들이 쿼리에 영향을 줄 수도 있다. 다양한 실시예에서, 쿼리는 순위화된 결과의 형태로 결과를 반환할 것이다. 순위화된 결과는 다수의 상위 결과, 다수의 하위 또는 바닥 순위의 결과, 및 다양한 중복 및/또는 유사한 결과를 포함할 수 있다. 이에 더하여 또는 이에 갈음하여, 이들 결과는 각 후보와 연관된 임의의 메타데이터를 포함할 수 있다. 이에 더하여 또는 이에 갈음하여, 이들 결과는 또한 후보의 주변 텍스트를 포함할 수 있다.
408에서, IME는 후보로부터 하나 이상의 기준을 선택할 수 있다. IME는 쿼리로부터 반환된 후보의 순위 및 중복 또는 유사한 후보의 수에 적어도 부분적으로 기초하여 기준을 선택할 수 있다.
410에서, IME는 기준으로부터 피처를 추출할 수 있다. 기준으로부터 추출된 피처는 기준 피처일 수 있다. 다양한 실시예에서, 기준 피처는 입력의 컨텐츠 및 컨텍스트를 감안하여 주어진 후보 세트에 대한 평균 피처로 고려될 수 있다.
412에서, IME는 후보 이미지로부터 피처를 추출할 수 있다. 후보 이미지로부터 추출된 피처는 후보 피처로 고려될 수 있다. 다양한 실시예에서, 추출된 후보 피처는 유사한 추출된 기준 피처와 비교된다. 유사한 추출된 피처들 간의 차이는 후보와 연관된 디멘션을 정의하는데 사용될 수 있다. 다양한 실시예에서, 추출된 피처는 기준 자체에 포함된 피처를 포함할 수 있는데, 예컨대, 기준이 이미지이면, 그 이미지는 물(water) 피처가 추출될 수 있는 물의 이미지를 포함할 수 있다. 이에 더하여 또는 이에 갈음하여, 추출된 피처는 후보와 연관된 정보에 포함된 피처를 포함할 수 있다. 예를 들어, 이미지는 검사 및/또는 추출될 수 있는 메타데이터를 포함할 수 있다. 이에 더하여 또는 이에 갈음하여, 이미지는 쿼리 결과의 일부로서 반환된 텍스트에 의해 둘러싸였을 수 있다. 주변 텍스트가 검사 및/또는 추출될 수 있다.
414에서, IME는 각 후보의 점수를 매길 수 있다. 다양한 실시예에서, 분류기는 디멘션 및 추출된 피처에 적어도 일부 기초하여 각 후보의 점수를 매긴다. 다양한 실시예에서, 분류기는 오프라인 학습 또는 훈련 모델일 수 있다. 이에 더하여 또는 이에 갈음하여, 분류기는 초기 설정 및 예제로 수동으로 배정될 수 있고 모델 커버리지를 확장하고/또는 모델 정확도를 높이기 위해 배정된 소재 주위를 검색함으로써 훈련될 수 있다. 다양한 실시예에서, 감정적인 단어는 다른 형태로 대체하거나 보충할 타겟이다. 이에 더하여 또는 이에 갈음하여, 인기있는 용어, 구, 주제, 또는 이들의 조합이 시드(seed) 및 검색 방법을 이용하여 맵핑될 수 있다. IME는 분류기를 사용하여 추출된 피처를 점수에 맵핑할 수 있다. 후보 점수를 높이기 위해 각 후보에 대해 각 피처에 대한 점수 및/또는 디멘션이 수집될 수 있다.
416에서, IME는 후보 점수에 적어도 일부 기초하여 후보의 순위를 매길 수 있다.
418에서, IME는 제1 기준에 적어도 일부 기초하여 후보들을 제외시킬 수 있다. 다양한 실시예에서, 제1 기준은 후보 점수가 임계 점수보다 높은지를 포함한다. 후보 점수가 임계 점수보다 낮은 경우, 후보는 고려대상에서 제외된다.
420에서, IME는 제2 기준에 적어도 일부 기초하여 후보들을 제외시킬 수 있다. 다양한 실시예에서, 제2 기준은 후보가 다른 후보와 중복되거나 또는 유사한지를 포함한다. 후보가 다른 후보와 중복될 경우, IME는 그 후보 또는 다른 후보를 고려대상에서 제외시킨다. 이와 유사하게, 후보와 다른 후보 사이의 차이점이 구별 임계치를 초과하지 못할 경우, IME는 그 후보 또는 다른 후보를 고려대상에서 제되시킬 수 있다. 다양한 실시예에서, 후보와 다른 후보 사이의 비교는 로컬 피처, 글로벌 피처, 픽셀 레벨 비교, 또는 이들의 조합에 적어도 일부 기초할 수 있다.
422에서, IME는 사용자에 의해 애플리케이션에 삽입하거나 선택할 하나 이상의 후보를 제공할 수 있다.
결론
전술한 발명 대상은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어로 구현될 수 있다. 구현예들은 구조적인 특징 및/또는 방법적 동작에 특유한 언어로 기술되어 있지만, 첨부된 청구항들에 정의된 청구대상은 반드시 전술한 특정한 특징이나 동작으로 제한되지는 않음을 이해해야 한다. 오히려, 전술한 특정한 특징 및 동작은 청구항을 구현하는 예시적인 형태로서 개시되어 있다. 예를 들어, 방법적 동작은 본 명세서에 기술된 순서나 조합으로 수행될 필요가 없고 하나 이상의 동작의 임의의 조합으로 수행될 수도 있다.

Claims (20)

  1. 하나 이상의 프로세서에 의해 실행가능한 명령어를 저장하고 있는 컴퓨터 판독가능 저장 매체로서,
    상기 명령어는 상기 하나 이상의 프로세서로 하여금,
    검색 기준(search criteria) -상기 검색 기준은 적어도 사용자 입력을 포함함- 및 결과 정보에 적어도 일부 기초하여 검색 엔진에 의해 반환된 하나 이상의 후보로부터 하나 이상의 기준(reference)을 선택하게 하고,
    상기 하나 이상의 후보로부터 추출된 하나 이상의 후보 피처와 상기 하나 이상의 기준으로부터 추출된 하나 이상의 기준 피처 사이의 비교에 적어도 일부 기초하여 상기 하나 이상의 후보에 대응 점수를 할당하게 하며,
    상기 점수에 적어도 일부 기초하여 상기 후보 중 하나 이상을 선택하게 하고,
    사용자 선택을 위해 상기 하나 이상의 후보 중 상기 선택된 하나 이상을 제공하게 하는
    컴퓨터 판독가능 저장 매체.
  2. 제1항에 있어서,
    상기 명령어는 상기 하나 이상의 프로세서로 하여금
    텍스트 입력, 제스처, 모션, 및 음성 입력 중 하나 이상을 포함하는 상기 사용자 입력을 수신하게 하고,
    상기 사용자 입력의 컨텍스트 또는 상기 사용자 입력의 컨텐츠 중 하나 이상을 분석하게 하며,
    상기 사용자 입력의 컨텍스트 및 상기 사용자 입력의 컨텐츠 중 상기 하나 이상에 적어도 일부 기초하여 상기 하나 이상의 후보를 수집하게 하는
    컴퓨터 판독가능 저장 매체.
  3. 제2항에 있어서,
    상기 사용자 입력의 컨텍스트는 이전의 검색, 이전의 사용자 입력, 및 컴퓨터 프로그램 중 하나 이상을 포함하는
    컴퓨터 판독가능 저장 매체.
  4. 제2항에 있어서,
    상기 검색 엔진에 의해 수집된 상기 하나 이상의 후보는 랭크된 순서로 반환되는
    컴퓨터 판독가능 저장 매체.
  5. 제4항에 있어서,
    상기 결과 정보는 상위 결과 세트(a set of top ranked results), 하위 결과 세트(a set of tail ranked results), 및 중복 결과 세트(a set duplicate results) 중 하나 이상에 적어도 일부 기초하는
    컴퓨터 판독가능 저장 매체.
  6. 제1항에 있어서,
    상기 하나 이상의 후보는 후보 이미지, 후보 비디오, 후보 오디오 파일, 및 텍스트화된 그래픽(textralized graphic) 중 하나 이상을 포함하는
    컴퓨터 판독가능 저장 매체.
  7. 제1항에 있어서,
    상기 기준 피처는 상기 하나 이상의 기준의 평균 피처를 포함하는
    컴퓨터 판독가능 저장 매체.
  8. 제1항에 있어서,
    상기 점수는 분류기에 적어도 일부 기초하여 할당되는
    컴퓨터 판독가능 저장 매체.
  9. 제8항에 있어서,
    상기 분류기는 피처를 점수 값에 맵핑하는 학습된 모델에 적어도 일부 기초하여 점수를 할당하는
    컴퓨터 판독가능 저장 매체.
  10. 제8항에 있어서,
    상기 분류기는 회귀 모델(regression model)에 적어도 일부 기초하여 점수를 할당하는
    컴퓨터 판독가능 저장 매체.
  11. 제1항에 있어서,
    상기 점수에 적어도 일부 기초하여 하나 이상의 후보를 선택하는 것은 상기 점수를 임계 점수 값과 비교하는 것을 포함하고, 상기 임계 점수 값보다 더 큰 점수를 갖는 하나 이상의 후보가 선택에 이용가능한
    컴퓨터 판독가능 저장 매체.
  12. 제1항에 있어서,
    상기 점수에 적어도 일부 기초하여 하나 이상의 후보를 선택하는 것은 후보와 다른 후보 간의 비교를 포함하며, 다른 후보와 중복되거나 또는 유사성 임계치 내에 있는 후보가 선택에 이용가능하지 않게 되는
    컴퓨터 판독가능 저장 매체.
  13. 제12항에 있어서,
    상기 후보와 상기 다른 후보와의 비교는 로컬 피처, 글로벌 피처, 및 픽셀 레벨 비교 중 하나 이상에 적어도 일부 기초하는
    컴퓨터 판독가능 저장 매체.
  14. 시스템으로서,
    하나 이상의 프로세서와,
    상기 하나 이상의 프로세서에 의해 실행가능하며, 하나 이상의 기준 이미지로부터 하나 이상의 기준 피처를 추출하고 하나 이상의 후보 이미지로부터 하나 이상의 후보 피처를 추출하는 추출기 -상기 하나 이상의 기준 이미지는 검색 결과에 적어도 일부 기초하여, 검색 엔진으로부터 반환된 상기 하나 이상의 후보 이미지로부터 선택됨- 와,
    상기 하나 이상의 프로세서에 의해 실행가능하며, 상기 추출된 후보 피처 및 상기 추출된 기준 피처 사이의 비교에 적어도 일부 기초하여 점수를 하나 이상의 후보 이미지에 할당하는 분류기와,
    상기 하나 이상의 프로세서에 의해 실행가능하며, 상기 하나 이상의 후보 이미지를 선택을 위해 제공하는 삽입 관리자
    를 포함하는 시스템.
  15. 제14항에 있어서,
    상기 하나 이상의 프로세서에 의해 실행가능하며, 텍스트 입력의 컨텍스트, 상기 텍스트 입력의 컨텐츠, 또는 이들의 조합을 분석하는 분석기와,
    상기 하나 이상의 프로세서에 의해 실행가능하며, 상기 텍스트 입력의 컨텍스트 및 상기 텍스트 입력의 컨텐츠에 적어도 일부 기초하여 하나 이상의 후보 이미지를 수집하고, 상위 결과 세트, 하위 결과 세트, 및 중복 결과 세트 중 하나 이상에 적어도 일부 기초하여 하나 이상의 후보 이미지로부터 하나 이상의 기준 이미지를 선택하는 후보 관리자
    를 더 포함하는 시스템.
  16. 제14항에 있어서,
    상기 하나 이상의 프로세서에 의해 실행가능하며, 임계 점수 값과 비교된 후보의 점수에 적어도 일부 기초하여 상기 하나 이상의 후보 이미지로부터 제1 후보 이미지를 제거하는 리듀서(reducer)를 더 포함하는
    시스템.
  17. 제14항에 있어서,
    상기 하나 이상의 프로세서에 의해 실행가능하며, 다른 후보에 대한 후보의 중복성 및 다른 후보에 대한 후보의 유사도 중 하나 이상에 적어도 일부 기초하여 상기 하나 이상의 후보로부터 제2 후보 이미지를 제거하는 중복 리무버(duplicate remover)를 더 포함하는
    시스템.
  18. 입력 방식 편집기(IME; input method editor) 인터페이스를 통해 사용자로부터 텍스트 입력을 수신하는 단계와,
    컴퓨팅 장치에 의해, 상기 텍스트 입력의 컨텐츠 및 상기 텍스트 입력의 컨텍스트를 분석하는 단계와,
    상기 텍스트 입력의 컨텍스트 및 상기 텍스트 입력의 컨텐츠에 적어도 일부 기초하여 검색 엔진으로부터 하나 이상의 후보 이미지를 수집하는 단계와,
    상기 검색 결과로부터의 결과에 적어도 일부 기초하여 상기 하나 이상의 후보 이미지로부터 하나 이상의 기준 이미지를 선택하는 단계와,
    상기 하나 이상의 기준 이미지로부터 하나 이상의 기준 피처를 추출하는 단계와,
    상기 하나 이상의 후보 이미지로부터 하나 이상의 후보 피처를 추출하는 단계와,
    상기 추출된 후보 피처에 적어도 일부 기초하여 하나 이상의 후보 이미지에 점수를 할당하는 단계와,
    상기 점수에 적어도 일부 기초하여 하나 이상의 후보 이미지의 순위를 매기는 단계와,
    제1 후보 이미지의 점수가 임계 점수 미만일 경우 상기 하나 이상의 후보 이미지로부터 상기 제1 후보 이미지를 제거하는 단계와,
    제2 후보와 다른 후보 사이의 피처의 비교에 적어도 일부 기초하여 상기 하나 이상의 후보로부터 상기 제2 후보를 제거하는 단계와,
    상기 하나 이상의 후보 중 잔여 후보 이미지의 순위화된 서브셋을, 상기 IME 인터페이스를 통해 선택하도록, 상기 사용자에게 제공하는 단계
    를 포함하는 방법.
  19. 제18항에 있어서,
    상기 검색 엔진으로부터의 결과는 상위 결과 세트, 하위 결과 세트, 및 중복 결과 세트 중 하나 이상을 포함하는
    방법.
  20. 제18항에 있어서,
    상기 제2 후보와 상기 다른 후보 사이의 피처의 비교는 로컬 피처, 글로벌 피처, 및 픽셀 레벨 비교 중 하나 이상에 적어도 일부 기초하는
    방법.
KR1020157005231A 2012-08-30 2012-08-30 피처 기반 후보 선택 기법 KR101911999B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/080749 WO2014032244A1 (en) 2012-08-30 2012-08-30 Feature-based candidate selection

Publications (2)

Publication Number Publication Date
KR20150048751A true KR20150048751A (ko) 2015-05-07
KR101911999B1 KR101911999B1 (ko) 2018-10-25

Family

ID=50182361

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157005231A KR101911999B1 (ko) 2012-08-30 2012-08-30 피처 기반 후보 선택 기법

Country Status (6)

Country Link
US (1) US9767156B2 (ko)
EP (1) EP2891078A4 (ko)
JP (1) JP6122499B2 (ko)
KR (1) KR101911999B1 (ko)
CN (1) CN104823183B (ko)
WO (1) WO2014032244A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11175789B2 (en) 2018-11-13 2021-11-16 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling the electronic apparatus thereof

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9348479B2 (en) 2011-12-08 2016-05-24 Microsoft Technology Licensing, Llc Sentiment aware user interface customization
US9378290B2 (en) 2011-12-20 2016-06-28 Microsoft Technology Licensing, Llc Scenario-adaptive input method editor
CN110488991A (zh) 2012-06-25 2019-11-22 微软技术许可有限责任公司 输入法编辑器应用平台
WO2014127535A1 (en) * 2013-02-22 2014-08-28 Google Inc. Systems and methods for automated content generation
WO2015018055A1 (en) 2013-08-09 2015-02-12 Microsoft Corporation Input method editor providing language assistance
US9706112B2 (en) * 2015-09-02 2017-07-11 Mediatek Inc. Image tuning in photographic system
US20170308289A1 (en) * 2016-04-20 2017-10-26 Google Inc. Iconographic symbol search within a graphical keyboard
CN106326916B (zh) * 2016-08-11 2019-08-13 电子科技大学 基于多尺度特征估计和高阶bing特征的目标检测方法
CN108279828A (zh) * 2016-12-30 2018-07-13 北京搜狗科技发展有限公司 一种启动应用程序的方法、装置和终端
EP3421315B1 (en) * 2017-06-27 2020-04-15 Tata Consultancy Services Limited Systems and methods for authenticating drivers based on gps data
CN109426831B (zh) * 2017-08-30 2022-12-13 腾讯科技（深圳）有限公司 图片相似匹配及模型训练的方法、装置及计算机设备
US11977591B2 (en) * 2018-03-16 2024-05-07 Microsoft Technology Licensing, Llc Synthesized facts from multiple sources

Family Cites Families (200)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7529981A (en) 1980-09-19 1982-03-25 Hitachi Limited Language analysis by pattern recognition
US6236964B1 (en) 1990-02-01 2001-05-22 Canon Kabushiki Kaisha Speech recognition apparatus and method for matching inputted speech and a word generated from stored referenced phoneme data
JPH07160827A (ja) 1993-12-09 1995-06-23 Matsushita Electric Ind Co Ltd 手書きストローク編集装置及び方法
US5873107A (en) 1996-03-29 1999-02-16 Apple Computer, Inc. System for automatically retrieving information relevant to text being authored
US6014638A (en) 1996-05-29 2000-01-11 America Online, Inc. System for customizing computer displays in accordance with user preferences
US5995928A (en) 1996-10-02 1999-11-30 Speechworks International, Inc. Method and apparatus for continuous spelling speech recognition with early identification
US6092044A (en) 1997-03-28 2000-07-18 Dragon Systems, Inc. Pronunciation generation in speech recognition
EP0972254A1 (en) 1997-04-01 2000-01-19 Yeong Kuang Oon Didactic and content oriented word processing method with incrementally changed belief system
US6076056A (en) 1997-09-19 2000-06-13 Microsoft Corporation Speech recognition system for recognizing continuous and isolated speech
US6377965B1 (en) 1997-11-07 2002-04-23 Microsoft Corporation Automatic word completion system for partially entered data
US6185534B1 (en) 1998-03-23 2001-02-06 Microsoft Corporation Modeling emotion and personality in a computer user interface
US6247043B1 (en) 1998-06-11 2001-06-12 International Business Machines Corporation Apparatus, program products and methods utilizing intelligent contact management
US6085160A (en) 1998-07-10 2000-07-04 Lernout & Hauspie Speech Products N.V. Language independent speech recognition
US6527715B2 (en) 1998-10-30 2003-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for predicting human cognitive performance using data from an actigraph
JP2000148748A (ja) 1998-11-13 2000-05-30 Nec Corp 仮名漢字変換及び画像検索表示システム
US6460015B1 (en) 1998-12-15 2002-10-01 International Business Machines Corporation Method, system and computer program product for automatic character transliteration in a text string object
US7099876B1 (en) 1998-12-15 2006-08-29 International Business Machines Corporation Method, system and computer program product for storing transliteration and/or phonetic spelling information in a text string class
US6363342B2 (en) 1998-12-18 2002-03-26 Matsushita Electric Industrial Co., Ltd. System for developing word-pronunciation pairs
JP2000221990A (ja) 1999-01-28 2000-08-11 Ricoh Co Ltd 音声認識装置
DE60026637T2 (de) 1999-06-30 2006-10-05 International Business Machines Corp. Verfahren zur Erweiterung des Wortschatzes eines Spracherkennungssystems
US6578022B1 (en) 2000-04-18 2003-06-10 Icplanet Corporation Interactive intelligent searching with executable suggestions
US6963841B2 (en) 2000-04-21 2005-11-08 Lessac Technology, Inc. Speech training method with alternative proper pronunciation database
US7107204B1 (en) 2000-04-24 2006-09-12 Microsoft Corporation Computer-aided writing system and method with cross-language writing wizard
US7089504B1 (en) 2000-05-02 2006-08-08 Walt Froloff System and method for embedment of emotive content in modern text processing, publishing and communication
US7277732B2 (en) 2000-10-13 2007-10-02 Microsoft Corporation Language input system for mobile devices
US6731307B1 (en) 2000-10-30 2004-05-04 Koninklije Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality
JP2002258894A (ja) 2001-03-02 2002-09-11 Fujitsu Ltd 音声データ圧縮・解凍装置及び方法
US7308439B2 (en) 2001-06-06 2007-12-11 Hyperthink Llc Methods and systems for user activated automated searching
CN1391180A (zh) 2001-06-11 2003-01-15 国际商业机器公司 外语写作辅助方法和辅助工具
US8112529B2 (en) 2001-08-20 2012-02-07 Masterobjects, Inc. System and method for asynchronous client server session communication
US7353247B2 (en) 2001-10-19 2008-04-01 Microsoft Corporation Querying applications using online messenger service
US7283992B2 (en) 2001-11-30 2007-10-16 Microsoft Corporation Media agent to suggest contextually related media content
US20030160830A1 (en) 2002-02-22 2003-08-28 Degross Lee M. Pop-up edictionary
US20030179229A1 (en) 2002-03-25 2003-09-25 Julian Van Erlach Biometrically-determined device interface and content
US20030220917A1 (en) * 2002-04-03 2003-11-27 Max Copperman Contextual search
US7194538B1 (en) 2002-06-04 2007-03-20 Veritas Operating Corporation Storage area network (SAN) management system for discovering SAN components using a SAN management server
US7047193B1 (en) 2002-09-13 2006-05-16 Apple Computer, Inc. Unsupervised data-driven pronunciation modeling
US7293015B2 (en) 2002-09-19 2007-11-06 Microsoft Corporation Method and system for detecting user intentions in retrieval of hint sentences
US7552051B2 (en) 2002-12-13 2009-06-23 Xerox Corporation Method and apparatus for mapping multiword expressions to identifiers using finite-state networks
US7360151B1 (en) 2003-05-27 2008-04-15 Walt Froloff System and method for creating custom specific text and emotive content message response templates for textual communications
US20040243415A1 (en) 2003-06-02 2004-12-02 International Business Machines Corporation Architecture for a speech input method editor for handheld portable devices
US7881934B2 (en) 2003-09-12 2011-02-01 Toyota Infotechnology Center Co., Ltd. Method and system for adjusting the voice prompt of an interactive system based upon the user's state
US7389223B2 (en) 2003-09-18 2008-06-17 International Business Machines Corporation Method and apparatus for testing a software program using mock translation input method editor
US7447627B2 (en) 2003-10-23 2008-11-04 Microsoft Corporation Compound word breaker and spell checker
US7634720B2 (en) 2003-10-24 2009-12-15 Microsoft Corporation System and method for providing context to an input method
US7412385B2 (en) 2003-11-12 2008-08-12 Microsoft Corporation System for identifying paraphrases using machine translation
US7689412B2 (en) 2003-12-05 2010-03-30 Microsoft Corporation Synonymous collocation extraction using translation information
US20070089125A1 (en) 2003-12-22 2007-04-19 Koninklijke Philips Electronic, N.V. Content-processing system, method, and computer program product for monitoring the viewer's mood
US20050160107A1 (en) * 2003-12-29 2005-07-21 Ping Liang Advanced search, file system, and intelligent assistant agent
US7590533B2 (en) 2004-03-10 2009-09-15 Microsoft Corporation New-word pronunciation learning using a pronunciation graph
US20050216253A1 (en) 2004-03-25 2005-09-29 Microsoft Corporation System and method for reverse transliteration using statistical alignment
EP1759278A4 (en) 2004-04-19 2009-05-06 Exbiblio Bv PROCESSING TECHNIQUES FOR VISUAL DATA ENTRY FROM A RENDERED DOCUMENT
US7451152B2 (en) 2004-07-29 2008-11-11 Yahoo! Inc. Systems and methods for contextual transaction proposals
WO2006011819A1 (en) 2004-07-30 2006-02-02 Eurekster, Inc. Adaptive search engine
US7725318B2 (en) 2004-07-30 2010-05-25 Nice Systems Inc. System and method for improving the accuracy of audio searching
US7505954B2 (en) 2004-08-18 2009-03-17 International Business Machines Corporation Search bar with intelligent parametric search statement generation
US7490033B2 (en) 2005-01-13 2009-02-10 International Business Machines Corporation System for compiling word usage frequencies
US7599915B2 (en) 2005-01-24 2009-10-06 At&T Intellectual Property I, L.P. Portal linking tool
US20070106663A1 (en) * 2005-02-01 2007-05-10 Outland Research, Llc Methods and apparatus for using user personality type to improve the organization of documents retrieved in response to a search query
US8694317B2 (en) 2005-02-05 2014-04-08 Aurix Limited Methods and apparatus relating to searching of spoken audio data
US9165280B2 (en) 2005-02-22 2015-10-20 International Business Machines Corporation Predictive user modeling in user interface design
US7555713B2 (en) 2005-02-22 2009-06-30 George Liang Yang Writing and reading aid system
GB2424091A (en) * 2005-03-11 2006-09-13 Alamy Ltd Ranking of images in the results of a search
US7970812B2 (en) 2005-03-17 2011-06-28 Microsoft Corporation Redistribution of space between text segments
US7512904B2 (en) 2005-03-22 2009-03-31 Microsoft Corporation Operating system launch menu program listing
US20060224046A1 (en) 2005-04-01 2006-10-05 Motorola, Inc. Method and system for enhancing a user experience using a user's physiological state
CN1851617A (zh) 2005-04-22 2006-10-25 英华达(上海)电子有限公司 移动设备上便于ocr并输入到现有编辑器的转换装置及其方法
US7401073B2 (en) 2005-04-28 2008-07-15 International Business Machines Corporation Term-statistics modification for category-based search
US7277029B2 (en) 2005-06-23 2007-10-02 Microsoft Corporation Using language models to expand wildcards
JP2007024960A (ja) 2005-07-12 2007-02-01 Internatl Business Mach Corp <Ibm> システム、プログラムおよび制御方法
WO2007016370A2 (en) 2005-07-29 2007-02-08 Eazypaper Inc. Computer method and apparatus using embedded message window for displaying messages in a functional bar
CN1908863A (zh) 2005-08-07 2007-02-07 黄金富 双语混合输入方法及具有字典功能的手机
US7844599B2 (en) 2005-08-24 2010-11-30 Yahoo! Inc. Biasing queries to determine suggested queries
US20070052868A1 (en) 2005-09-02 2007-03-08 Charisma Communications, Inc. Multimedia accessible universal input device
US7676517B2 (en) 2005-10-14 2010-03-09 Microsoft Corporation Search results injected into client applications
US7565157B1 (en) 2005-11-18 2009-07-21 A9.Com, Inc. System and method for providing search results based on location
GB0524354D0 (en) 2005-11-30 2006-01-04 Ibm Method, system and computer program product for composing a reply to a text message received in a messaging application
US20070150279A1 (en) 2005-12-27 2007-06-28 Oracle International Corporation Word matching with context sensitive character to sound correlating
JP4816409B2 (ja) 2006-01-10 2011-11-16 日産自動車株式会社 認識辞書システムおよびその更新方法
US20070192710A1 (en) 2006-02-15 2007-08-16 Frank Platz Lean context driven user interface
US7953730B1 (en) 2006-03-02 2011-05-31 A9.Com, Inc. System and method for presenting a search history
US7676460B2 (en) 2006-03-03 2010-03-09 International Business Machines Corporation Techniques for providing suggestions for creating a search query
US7983910B2 (en) 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
US7831911B2 (en) 2006-03-08 2010-11-09 Microsoft Corporation Spell checking system including a phonetic speller
US7593927B2 (en) 2006-03-10 2009-09-22 Microsoft Corporation Unstructured data in a mining model language
US8725729B2 (en) * 2006-04-03 2014-05-13 Steven G. Lisa System, methods and applications for embedded internet searching and result display
US20070255567A1 (en) 2006-04-27 2007-11-01 At&T Corp. System and method for generating a pronunciation dictionary
CN1851709A (zh) * 2006-05-25 2006-10-25 浙江大学 嵌入式多媒体基于内容的查询和检索的实现方法
US7849115B2 (en) 2006-06-05 2010-12-07 Bruce Reiner Method and apparatus for adapting computer-based systems to end-user profiles
US7818332B2 (en) 2006-08-16 2010-10-19 Microsoft Corporation Query speller
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7647351B2 (en) 2006-09-14 2010-01-12 Stragent, Llc Web scrape template generation
WO2008040585A1 (en) 2006-10-02 2008-04-10 International Business Machines Corporation Method and system of automatically adapting a user interface
US8511565B2 (en) 2006-10-17 2013-08-20 Silverbrook Research Pty Ltd Method of providing information via context searching of a printed graphic image
JP4888071B2 (ja) 2006-11-15 2012-02-29 富士通株式会社 プログラム、コピーアンドペースト処理方法、装置及び記録媒体
US7957955B2 (en) 2007-01-05 2011-06-07 Apple Inc. Method and system for providing word recommendations for text input
US7742774B2 (en) 2007-01-11 2010-06-22 Virgin Mobile Usa, L.P. Location-based text messaging
US8677281B2 (en) 2007-02-09 2014-03-18 Intel-Ge Care Innovations Llc System, apparatus and method for emotional experience time sampling via a mobile graphical user interface
US7991609B2 (en) 2007-02-28 2011-08-02 Microsoft Corporation Web-based proofing and usage guidance
EP2135231A4 (en) 2007-03-01 2014-10-15 Adapx Inc SYSTEM AND METHOD FOR DYNAMIC LEARNING
US8285745B2 (en) * 2007-03-01 2012-10-09 Microsoft Corporation User query mining for advertising matching
CN101286093A (zh) 2007-04-09 2008-10-15 谷歌股份有限公司 客户端输入方法
CN101286154B (zh) 2007-04-09 2016-08-10 谷歌股份有限公司 输入法编辑器用户档案
CN101286094A (zh) 2007-04-10 2008-10-15 谷歌股份有限公司 多模式输入法编辑器
CN105204617B (zh) 2007-04-11 2018-12-14 谷歌有限责任公司 用于输入法编辑器集成的方法和系统
CN104866469B (zh) 2007-04-11 2018-10-02 谷歌有限责任公司 具有第二语言模式的输入法编辑器
US8200663B2 (en) * 2007-04-25 2012-06-12 Chacha Search, Inc. Method and system for improvement of relevance of search results
US7930676B1 (en) 2007-04-27 2011-04-19 Intuit Inc. System and method for adapting software elements based on mood state profiling
US8799307B2 (en) 2007-05-16 2014-08-05 Google Inc. Cross-language information retrieval
US20080294982A1 (en) 2007-05-21 2008-11-27 Microsoft Corporation Providing relevant text auto-completions
CN101815996A (zh) 2007-06-01 2010-08-25 谷歌股份有限公司 检测名称实体和新词
WO2008151465A1 (en) 2007-06-14 2008-12-18 Google Inc. Dictionary word and phrase determination
CN101779200B (zh) 2007-06-14 2013-03-20 谷歌股份有限公司 词典词和短语确定方法和设备
US20090002178A1 (en) 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
US20090043584A1 (en) 2007-08-06 2009-02-12 Lawrence Brooke Frank Philips System and method for phonetic representation
US20090043741A1 (en) 2007-08-09 2009-02-12 Dohyung Kim Autocompletion and Automatic Input Method Correction for Partially Entered Search Query
US7917355B2 (en) 2007-08-23 2011-03-29 Google Inc. Word detection
US8661340B2 (en) 2007-09-13 2014-02-25 Apple Inc. Input methods for device having multi-language environment
US8694483B2 (en) * 2007-10-19 2014-04-08 Xerox Corporation Real-time query suggestion in a troubleshooting context
US20090128567A1 (en) 2007-11-15 2009-05-21 Brian Mark Shuster Multi-instance, multi-user animation with coordinated chat
US7728735B2 (en) 2007-12-04 2010-06-01 At&T Intellectual Property I, L.P. Methods, apparatus, and computer program products for estimating a mood of a user, using a mood of a user for network/service control, and presenting suggestions for interacting with a user based on the user's mood
US8478787B2 (en) 2007-12-06 2013-07-02 Google Inc. Name detection
US8165406B2 (en) * 2007-12-12 2012-04-24 Microsoft Corp. Interactive concept learning in image search
US20090177976A1 (en) 2008-01-09 2009-07-09 Bokor Brian R Managing and presenting avatar mood effects in a virtual world
US7984004B2 (en) * 2008-01-17 2011-07-19 Microsoft Corporation Query suggestion generation
US8196042B2 (en) 2008-01-21 2012-06-05 Microsoft Corporation Self-revelation aids for interfaces
US8473276B2 (en) 2008-02-19 2013-06-25 Google Inc. Universal language input
US8010465B2 (en) 2008-02-26 2011-08-30 Microsoft Corporation Predicting candidates using input scopes
US7917488B2 (en) 2008-03-03 2011-03-29 Microsoft Corporation Cross-lingual search re-ranking
US7472061B1 (en) 2008-03-31 2008-12-30 International Business Machines Corporation Systems and methods for building a native language phoneme lexicon having native pronunciations of non-native words derived from non-native pronunciations
US20090249198A1 (en) 2008-04-01 2009-10-01 Yahoo! Inc. Techniques for input recogniton and completion
CN101276245B (zh) 2008-04-16 2010-07-07 北京搜狗科技发展有限公司 一种输入过程中编码纠错的提示方法和系统
CN106598266B (zh) 2008-05-19 2019-07-02 上海触乐信息科技有限公司 多语言混合输入的方法和系统
US20090313239A1 (en) 2008-06-16 2009-12-17 Microsoft Corporation Adaptive Visual Similarity for Text-Based Image Search Results Re-ranking
US8745051B2 (en) 2008-07-03 2014-06-03 Google Inc. Resource locator suggestions from input character sequence
CA2732268C (en) 2008-07-28 2020-07-21 Breakthrough Performancetech, Llc Systems and methods for computerized interactive skill training
CN101661474B (zh) * 2008-08-26 2012-07-04 华为技术有限公司 一种搜索方法和系统
US20110107265A1 (en) 2008-10-16 2011-05-05 Bank Of America Corporation Customizable graphical user interface
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US8494835B2 (en) 2008-12-02 2013-07-23 Electronics And Telecommunications Research Institute Post-editing apparatus and method for correcting translation errors
EP2380093B1 (en) * 2009-01-21 2016-07-20 Telefonaktiebolaget LM Ericsson (publ) Generation of annotation tags based on multimodal metadata and structured semantic descriptors
US8539359B2 (en) 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US8564541B2 (en) 2009-03-16 2013-10-22 Apple Inc. Zhuyin input interface on a device
KR20120016060A (ko) 2009-03-20 2012-02-22 구글 인코포레이티드 입력 방식 편집기 컴퓨팅 디바이스와의 상호작용
CN101848272B (zh) 2009-03-25 2013-08-28 鸿富锦精密工业（深圳）有限公司 手机的输入法切换方法
US11076189B2 (en) 2009-03-30 2021-07-27 Time Warner Cable Enterprises Llc Personal media channel apparatus and methods
US8230336B2 (en) 2009-04-22 2012-07-24 Microsoft Corporation Efficient discovery, display, and autocompletion of links to wiki resources
CN101901235B (zh) 2009-05-27 2013-03-27 国际商业机器公司 文档处理方法和系统
US9104244B2 (en) 2009-06-05 2015-08-11 Yahoo! Inc. All-in-one Chinese character input method
US20110014952A1 (en) 2009-07-15 2011-01-20 Sony Ericsson Mobile Communications Ab Audio recognition during voice sessions to provide enhanced user interface functionality
US8479094B2 (en) 2009-09-08 2013-07-02 Kenneth Peyton Fouts Interactive writing aid to assist a user in finding information and incorporating information correctly into a written work
US20110066431A1 (en) 2009-09-15 2011-03-17 Mediatek Inc. Hand-held input apparatus and input method for inputting data to a remote receiving device
TW201113870A (en) 2009-10-09 2011-04-16 Inst Information Industry Method for analyzing sentence emotion, sentence emotion analyzing system, computer readable and writable recording medium and multimedia device
CN102056335B (zh) * 2009-11-06 2014-02-19 华为技术有限公司 移动搜索方法、装置和系统
CN106126350B (zh) 2009-11-27 2020-01-24 谷歌有限责任公司 客户端-服务器输入法编辑器体系结构
US8612206B2 (en) 2009-12-08 2013-12-17 Microsoft Corporation Transliterating semitic languages including diacritics
EP2339576B1 (en) 2009-12-23 2019-08-07 Google LLC Multi-modal input on an electronic device
US8631004B2 (en) 2009-12-28 2014-01-14 Yahoo! Inc. Search suggestion clustering and presentation
US20110178981A1 (en) 2010-01-21 2011-07-21 International Business Machines Corporation Collecting community feedback for collaborative document development
US20110184723A1 (en) 2010-01-25 2011-07-28 Microsoft Corporation Phonetic suggestion engine
US20110191321A1 (en) 2010-02-01 2011-08-04 Microsoft Corporation Contextual display advertisements for a webpage
KR101220709B1 (ko) 2010-02-03 2013-01-10 삼성전자주식회사 한글 및 한자가 혼용된 문서에 대한 전자 사전 검색 장치 및 방법
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US20110219299A1 (en) 2010-03-07 2011-09-08 DSNR Labs Ltd. Method and system of providing completion suggestion to a partial linguistic element
CN102193643B (zh) 2010-03-15 2014-07-02 北京搜狗科技发展有限公司 一种文字输入方法和具有翻译功能的输入法系统
JP5921527B2 (ja) 2010-04-12 2016-05-24 グーグル インコーポレイテッド インプットメソッドエディタのための拡張フレームワーク
US20110258535A1 (en) 2010-04-20 2011-10-20 Scribd, Inc. Integrated document viewer with automatic sharing of reading-related activities across external social networks
US8161073B2 (en) 2010-05-05 2012-04-17 Holovisions, LLC Context-driven search
US20110289105A1 (en) 2010-05-18 2011-11-24 Tabulaw, Inc. Framework for conducting legal research and writing based on accumulated legal knowledge
US8694899B2 (en) 2010-06-01 2014-04-08 Apple Inc. Avatars reflecting user states
JP5455232B2 (ja) 2010-06-25 2014-03-26 Ｋｄｄｉ株式会社 画像選定装置、方法及びプログラム
CN102314461B (zh) 2010-06-30 2015-03-11 北京搜狗科技发展有限公司 一种导航提示方法及系统
CN102314441A (zh) * 2010-06-30 2012-01-11 百度在线网络技术（北京）有限公司 用于供用户进行个性化素材输入的方法、设备和系统
US8463592B2 (en) 2010-07-27 2013-06-11 International Business Machines Corporation Mode supporting multiple language input for entering text
US20120036468A1 (en) 2010-08-03 2012-02-09 Nokia Corporation User input remapping
US8473289B2 (en) 2010-08-06 2013-06-25 Google Inc. Disambiguating input based on context
US20120060113A1 (en) 2010-09-08 2012-03-08 Nuance Communications, Inc. Methods and apparatus for displaying content
US8594997B2 (en) 2010-09-27 2013-11-26 Sap Ag Context-aware conversational user interface
US8593422B2 (en) 2010-11-05 2013-11-26 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
CN102012748B (zh) 2010-11-30 2012-06-27 哈尔滨工业大学 语句级中英文混合输入方法
US8712989B2 (en) 2010-12-03 2014-04-29 Microsoft Corporation Wild card auto completion
EP2661705A4 (en) 2011-01-05 2016-06-01 Google Inc METHOD AND SYSTEM FOR FACILITATING TEXT INPUT
US20120297294A1 (en) 2011-05-17 2012-11-22 Microsoft Corporation Network search for writing assistance
WO2012159249A1 (en) 2011-05-20 2012-11-29 Microsoft Corporation Advaced prediction
US8446432B2 (en) 2011-07-12 2013-05-21 Sony Corporation Context aware user interface system
US8762356B1 (en) 2011-07-15 2014-06-24 Google Inc. Detecting change in rate of input reception
US8564684B2 (en) 2011-08-17 2013-10-22 Digimarc Corporation Emotional illumination, and related arrangements
US20130054617A1 (en) 2011-08-30 2013-02-28 Alison Williams Colman Linking Browser Content to Social Network Data
US20130091409A1 (en) 2011-10-07 2013-04-11 Agile Insights, Llc Method and system for dynamic assembly of multimedia presentation threads
US10264102B2 (en) 2011-11-03 2019-04-16 Aaron Nahumi System, methods and computer readable medium for augmented personalized social network
US8612414B2 (en) 2011-11-21 2013-12-17 Google Inc. Grouped search query refinements
US20150370833A1 (en) * 2011-11-28 2015-12-24 Google Inc. Visual refinements in image search
US9378290B2 (en) 2011-12-20 2016-06-28 Microsoft Technology Licensing, Llc Scenario-adaptive input method editor
US8996356B1 (en) 2012-04-10 2015-03-31 Google Inc. Techniques for predictive input method editors
CN110488991A (zh) 2012-06-25 2019-11-22 微软技术许可有限责任公司 输入法编辑器应用平台
EP2867756A4 (en) 2012-06-29 2015-06-17 Microsoft Technology Licensing Llc INPUT METHOD EDITOR
US20150106702A1 (en) 2012-06-29 2015-04-16 Microsoft Corporation Cross-Lingual Input Method Editor
US8959109B2 (en) 2012-08-06 2015-02-17 Microsoft Corporation Business intelligent in-document suggestions
US8498864B1 (en) 2012-09-27 2013-07-30 Google Inc. Methods and systems for predicting a text
WO2015018055A1 (en) 2013-08-09 2015-02-12 Microsoft Corporation Input method editor providing language assistance

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11175789B2 (en) 2018-11-13 2021-11-16 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling the electronic apparatus thereof

Also Published As

Publication number Publication date
EP2891078A1 (en) 2015-07-08
JP2015528604A (ja) 2015-09-28
US9767156B2 (en) 2017-09-19
US20150161126A1 (en) 2015-06-11
JP6122499B2 (ja) 2017-04-26
WO2014032244A1 (en) 2014-03-06
EP2891078A4 (en) 2016-03-23
CN104823183B (zh) 2018-04-24
CN104823183A (zh) 2015-08-05
KR101911999B1 (ko) 2018-10-25

Similar Documents

Publication Publication Date Title
KR101911999B1 (ko) 피처 기반 후보 선택 기법
CN110020411B (zh) 图文内容生成方法及设备
US11747960B2 (en) Efficiently augmenting images with related content
KR102197364B1 (ko) 모바일 비디오 서치 기법
US9411830B2 (en) Interactive multi-modal image search
US9886958B2 (en) Language and domain independent model based approach for on-screen item selection
KR102243536B1 (ko) 어플리케이션의 내용 분석을 통해 사용자 접근을 제어하는 방법 및 시스템
JP6361351B2 (ja) 発話ワードをランク付けする方法、プログラム及び計算処理システム
WO2022052817A1 (zh) 搜索处理方法、装置、终端及存储介质
CN104298429A (zh) 一种基于输入的信息展示方法和输入法系统
US10242033B2 (en) Extrapolative search techniques
CN109684497B (zh) 一种图文匹配的信息发送方法、装置及电子设备
CN111309200B (zh) 一种扩展阅读内容的确定方法、装置、设备及存储介质
JP2014056503A (ja) 多言語環境でのコミュニケーションに適する非テキスト要素を特定するためのコンピュータ実装方法、プログラム、および、システム
CN113127669B (zh) 广告配图方法、装置、设备和存储介质
CN115811638A (zh) 一种信息展示方法、装置、设备及存储介质
US20230351091A1 (en) Presenting Intelligently Suggested Content Enhancements
JP6676699B2 (ja) 予約語及び属性言語間の関連度を用いた情報提供方法及び装置
CN111507065A (zh) 阅读信息的处理方法、设备及存储介质
CN108509058B (zh) 输入方法与相关设备
JP6488399B2 (ja) 情報提示システム、及び情報提示方法
CN116719927A (zh) 摘要生成方法、装置、智能终端和计算机可读存储介质
KR20210047837A (ko) 어플리케이션의 내용 분석을 통해 사용자 접근을 제어하는 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right