KR20180102148A - 그래픽 키보드 내에서의 도형 심볼 검색 - Google Patents

그래픽 키보드 내에서의 도형 심볼 검색 Download PDF

Info

Publication number
KR20180102148A
KR20180102148A KR1020187023215A KR20187023215A KR20180102148A KR 20180102148 A KR20180102148 A KR 20180102148A KR 1020187023215 A KR1020187023215 A KR 1020187023215A KR 20187023215 A KR20187023215 A KR 20187023215A KR 20180102148 A KR20180102148 A KR 20180102148A
Authority
KR
South Korea
Prior art keywords
search
graphical
computing device
keyboard
display
Prior art date
Application number
KR1020187023215A
Other languages
English (en)
Other versions
KR102151683B1 (ko
Inventor
동호 김
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20180102148A publication Critical patent/KR20180102148A/ko
Application granted granted Critical
Publication of KR102151683B1 publication Critical patent/KR102151683B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G06F17/30277—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

그래픽 키보드의 도형 검색 기능과 연관된 도형 검색 키를 포함하는 그래픽 키보드를 디스플레이하는 컴퓨팅 디바이스가 기술되며, 컴퓨팅 디바이스는 도형 검색 키의 선택에 응답하여, 도형 검색 기능과 연관된 검색 쿼리들의 표시를 디스플레이하도록 구성된 도형 검색 박스를 포함하는 제1 업데이트된 그래픽 키보드를 디스플레이한다. 컴퓨팅 디바이스는 사용자 입력에 기초하여 도형 검색 쿼리를 결정하고 도형 검색 박스 내에 도형 검색 쿼리의 그래픽 표시를 디스플레이한다. 디바이스는, 도형 검색 쿼리에 기초하여 및 그래픽 키보드의 도형 검색 기능을 사용하여, 후보 도형 심볼들을 식별하고 그리고 후보 도형 심볼들에 대응하는 하나 이상의 선택 가능한 요소들을 디스플레이하는 도형 제안 영역을 포함하는 제2의 업데이트된 그래픽 키보드를 디스플레이한다.

Description

그래픽 키보드 내에서의 도형 심볼 검색
몇몇 애플리케이션들을 동시에 실행할 수 있음에도 불구하고, 일부 모바일 컴퓨팅 디바이스들은 한 번에 하나의 애플리케이션에 대한 그래픽 사용자 인터페이스(GUI)만 제시할 수 있다. 한 번에 다수의 애플리케이션들과 인터랙팅하기 위해, 모바일 컴퓨팅 디바이스의 사용자가 상이한 애플리케이션 GUI들 사이를 스위칭해야 할 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스의 사용자는 메시징 애플리케이션의 텍스트 입력을 중단하고, 디바이스로 하여금 메시지를 작성하거나 텍스트를 입력할 때 사용할 특정한 정보 (예를 들어, 이모지 심볼과 같은 도형 심볼) 조각을 검색하기 위해 검색 애플리케이션으로 토글(toggle)하게 하는 입력을 제공해야 할 수 있다.
일 예시에서, 방법은 컴퓨팅 디바이스에 의해, 디스플레이를 위해, 복수의 키들을 포함하는 그래픽 키보드를 출력하는 단계, 상기 복수의 키들은 상기 그래픽 키보드의 도형 검색 기능과 연관된 도형 검색 키를 포함하고, 상기 도형 검색 키의 선택의 표시를 수신함에 응답하여, 상기 컴퓨팅 디바이스에 의해, 디스플레이를 위해, 상기 복수의 키들에 더하여, 상기 도형 검색 기능과 연관된 검색 쿼리들의 표시들을 디스플레이하도록 구성된 도형 검색 박스를 포함하는 제1 업데이트된 그래픽 키보드를 출력하는 단계, 상기 컴퓨팅 디바이스에 의해, 사용자 입력에 기초하여 도형 검색 쿼리를 결정하는 단계를 포함한다. 방법은 상기 컴퓨팅 디바이스에 의해, 상기 도형 검색 박스 내에 디스플레이를 위해 상기 도형 검색 쿼리의 그래픽 표시를 출력하는 단계, 상기 컴퓨팅 디바이스에 의해, 상기 도형 검색 쿼리에 기초하여 및 상기 그래픽 키보드의 상기 도형 검색 기능을 사용하여, 하나 이상의 후보 도형 심볼들을 식별하는 단계 및 상기 하나 이상의 후보 도형 심볼들을 식별함에 응답하여, 상기 컴퓨팅 디바이스에 의해, 디스플레이를 위해, 상기 복수의 키들 중 적어도 일부에 더하여, 상기 하나 이상의 후보 도형 심볼들에 대응하는 하나 이상의 선택 가능한 요소들을 디스플레이하는 도형 제안 영역(region)을 포함하는 제2 업데이트된 그래픽 키보드를 출력하는 단계를 더 포함한다.
다른 예시에서, 컴퓨팅 디바이스는 프레젠스 감지형(presence-sensitive) 디스플레이, 적어도 하나의 프로세서 및 명령어들을 저장하는 메모리를 포함한다. 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행시 상기 적어도 하나의 프로세서로 하여금 디스플레이를 위해, 복수의 키들을 포함하는 그래픽 키보드를 출력하는 단계, 상기 복수의 키들은 상기 그래픽 키보드의 도형 검색 기능과 연관된 도형 검색 키를 포함하고, 상기 도형 검색 키의 선택의 표시를 수신함에 응답하여, 프레젠스 감지형 디스플레이에서의 디스플레이를 위해, 상기 복수의 키들에 더하여, 상기 도형 검색 기능과 연관된 검색 쿼리들의 표시들을 디스플레이하도록 구성된 도형 검색 박스를 포함하는 제1 업데이트된 그래픽 키보드를 출력하게 한다. 상기 명령어들은 실행시 사용자 입력에 기초하여 도형 검색 쿼리를 결정하고 프레젠스 감지형 디스플레이에서의 디스플레이를 위해 상기 도형 검색 박스 내에 상기 도형 검색 쿼리의 그래픽 표시를 출력하고 상기 도형 검색 쿼리에 기초하여 및 상기 그래픽 키보드의 상기 도형 검색 기능을 사용하여, 하나 이상의 후보 도형 심볼들을 식별하며 및 상기 하나 이상의 후보 도형 심볼들을 식별함에 응답하여, 프레젠스 감지형 디스플레이에서의 디스플레이를 위해, 상기 복수의 키들 중 적어도 일부에 더하여, 상기 하나 이상의 후보 도형 심볼들에 대응하는 하나 이상의 선택 가능한 요소들을 디스플레이하는 도형 제안 영역을 포함하는 제2 업데이트된 그래픽 키보드를 출력하게 한다.
다른 예시에서, 명령어들이 인코딩된 컴퓨터 판독가능 저장매체는 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행시, 적어도 하나의 프로세서로 하여금, 디스플레이를 위해, 복수의 키들을 포함하는 그래픽 키보드를 출력하고, 상기 복수의 카들은 상기 그래픽 키보드의 도형 검색 기능과 연관된 도형 검색 키를 포함하며, 상기 도형 검색 키의 선택의 표시를 수신함에 응답하여, 디스플레이를 위해, 상기 복수의 키들에 더하여, 도형 검색 기능과 연관된 검색 쿼리들의 표시들을 디스플레이하도록 구성된 도형 검색 박스를 포함하는 제1 업데이트된 그래픽 키보드를 출력하며, 사용자 입력에 기초하여 도형 검색 쿼리를 결정하게 한다. 상기 명령어들은 실행시, 상기 적어도 하나의 프로세서로 하여금, 도형 검색 박스 내에 디스플레이를 위해, 도형 검색 쿼리의 그래픽 표시를 출력하고 도형 검색 쿼리에 기초 및 그래픽 키보드의 도형 검색 기능을 사용하여 하나 이상의 후보 도형 심볼들을 식별하고 및 하나 이상의 후보 도형 심볼들을 식별함에 응답하여, 디스플레이를 위해, 복수의 키들 중 적어도 일부에 더하여, 하나 이상의 후보 도형 심볼들에 대응하는 하나 이상의 선택 가능한 요소들을 디스플레이하는 도형 제안 영역을 포함하는 제2 업데이트된 그래픽 키보드를 출력하게 한다.
하나 이상의 예시들에 대한 세부 사항들은 첨부된 도면 및 이하의 설명에 기재된다. 본 개시의 다른 구성들, 객체들 및 이점들은 상세한 설명 및 도면들 및 청구항들로부터 명백해질 것이다.
도 1a-1d는 본 발명의 하나 이상의 양태들에 따라, 통합된 도형 검색을 갖는 그래픽 키보드를 제시하도록 구성된 예시적인 컴퓨팅 디바이스를 도시하는 개념도들이다.
도 2는 본 발명의 하나 이상의 양태들에 따라, 통합된 도형 검색을 갖는 그래픽 키보드를 제시하도록 구성된 예시적인 컴퓨팅 디바이스를 도시하는 블록도이다.
도 3은 본 발명의 하나 이상의 기법들에 따라, 원격 디바이스에서 디스플레이하기 위한 그래픽 콘텐츠를 출력하는 예시적인 컴퓨팅 디바이스를 도시하는 블록도이다.
도 4a-4f는 본 발명의 하나 이상의 양태들에 따라, 통합된 도형 검색을 갖는 그래픽 키보드를 제공하도록 구성된 예시적인 컴퓨팅 디바이스의 예시적인 그래픽 사용자 인터페이스를 도시하는 개념도이다.
도 5는 본 발명의 하나 이상의 양태들에 따라, 통합된 도형 검색을 갖는 그래픽 키보드를 제공하도록 구성된 컴퓨팅 디바이스의 예시적인 동작들을 도시하는 흐름도이다.
일반적으로, 본 개시는 컴퓨팅 디바이스가 그래픽 키보드의 도형 검색 영역 내에서 도형 심볼 검색을 수행할 수 있게 하는 기법에 관한 것이다. 예를 들어, 컴퓨팅 디바이스가 메시징 애플리케이션의 그래픽 사용자 인터페이스(GUI)의 그래픽 키보드에서 입력을 검출할 때, 컴퓨팅 디바이스는 도형 검색 키의 선택의 표시를 수신할 수 있고, 선택에 응답하여, 컴퓨팅 디바이스는 그래픽 키보드 내에 도형 검색 상자를 디스플레이할 수 있다. 그래픽 키보드에서 나중에 검출 된 입력에 기초하여, 컴퓨팅 디바이스는 컴퓨터 디바이스가 하나 이상의 후보 도형 심볼들을 식별할 수 있는 도형 검색 쿼리(예를 들어, 이모지 심볼에 대한 타이핑된 텍스트, 수기 또는 손으로 그린 *?*쿼리)를 결정할 수 있다. 컴퓨팅 디바이스는 그래픽 키보드의 도형 제안 영역 내에 후보 도형 심볼들을 디스플레이할 수 있고, 사용자는 전자 메시지에 대한 콘텐츠로서 사용될 후보 도형 심볼들 중 하나 이상을 선택할 수 있다.
도형 심볼 검색 능력이 내장된 그래픽 키보드를 제공함으로써, 사용자가 분류된(categorized) 도형 심볼들의 많은 페이지들을 찾아내거나(wade through) 특정한 도형 심볼을 찾기 위해 애플리케이션 GUI들 사이를 스위칭하도록 요청하기보다는, 예시적인 컴퓨팅 디바이스의 사용자는 사용자가 이미 타이핑하고 있는 그래픽 키보드 내로부터 선택 가능한 도형 심볼들을 신속히 검색하고 획득할 수 있다. 이러한 방식으로, 특정한 도형 심볼을 발견하기 위해 컴퓨팅 디바이스에 의해 요청되는 사용자 입력들의 수 및 시간의 양을 감소시킬 수 있으며, 이를 통해 본 개시의 기법들은 사용자 경험을 단순화할 수 있고 컴퓨팅 디바이스의 전력 소비를 감소시킬 수 있다.
본 명세서에서 사용된 바와 같이, "도형 심볼"이라는 용어는 일반적으로 ASCII 또는 유니코드 표준의 일부인 다양한 유형의 "이모지(emoji)" 문자들, 이모지 구문들, 이모지 심볼들 및 모든 다른 유형의 (일반적으로 비 텍스트인) 이모티콘들, 아이콘들, 문자들 및 특수 심볼들을 지칭하기 위해 사용된다. 본 명세서에 사용된 바와 같이, 도형 심볼들은 중국어 문자들 및 로마 숫자들과 같은 표의 심볼들로 해석되어서는 안되며 표의 심볼들과는 완전히 구별되는 것이다. 용이한 설명을 위해 다음의 기법들이 이모지 심볼들의 관점에서 주로 기술된다. 그러나 이러한 기법들은 모든 유형의 도형 심볼과 함께 사용될 수 있다.
본 명세서 전반에 걸쳐, 컴퓨팅 디바이스가 정보를 분석하기 위해 컴퓨팅 디바이스의 사용자로부터 허가를 받는 경우에만 컴퓨팅 디바이스 및/또는 컴퓨팅 시스템이 컴퓨팅 디바이스 및 컴퓨팅 디바이스의 사용자와 연관된 정보 (예를 들어, 컨텍스트, 위치들, 속도들, 검색 쿼리들 등)을 분석하는 예시들이 기술된다. 예를 들어, 아래에 논의된 상황들에서, 컴퓨팅 디바이스 또는 컴퓨팅 시스템이 사용자와 연관된 정보를 수집하거나 사용할 수 있기 전에, 사용자는 컴퓨팅 디바이스 및/또는 컴퓨팅 시스템의 프로그램 구성들 또는 프로그램들이 사용자 정보 (예를 들어, 사용자의 현재 위치, 현재 속도 등에 관한 정보)를 사용하거나 수집할 지 여부를 제어하기 위한 입력을 제공할 기회 또는 디바이스 및/또는 시스템이 사용자와 관련될 수 있는 콘텐츠를 수신할 수 있는지 여부 및/또는 방법을 지시할 기회가 제공될 수 있다. 추가로, 일정 데이터는 컴퓨팅 디바이스 및/또는 컴퓨팅 시스템에 의해 저장되거나 사용되기 전에 하나 이상의 방식들로 처리될 수 있고, 이로써 개인 식별 정보가 제거된다. 예를 들어, 사용자의 신원이 처리되어 사용자에 대해 개인 식별 정보가 결정될 수 없거나, 또는 사용자의 지리적 위치가 위치 정보가 획득된 곳(예를 들어, 도시, 우편 번호 또는 주 수준)으로 일반화될 수 있어 사용자의 특정 위치가 결정되지 못할 수 있다. 따라서, 사용자는 사용자에 관한 정보가 컴퓨팅 시스템 및 컴퓨팅 디바이스에 의해 어떻게 수집되고 사용되는지를 제어할 수 있다.
또한, 도 1a-1d는 본 발명의 하나 이상의 양태들에 따라, 통합된 도형 검색을 갖는 그래픽 키보드를 제공하도록 구성된 예시적인 컴퓨팅 디바이스(110)를 도시한 개념도이다. 컴퓨팅 디바이스(110)는 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 컴퓨터화된 시계, 컴퓨터화된 아이웨어(eyewear), 컴퓨터화된 장갑 또는 임의의 다른 유형의 휴대용 컴퓨팅 디바이스와 같은 모바일 디바이스를 표현할 수 있다. 컴퓨팅 디바이스(110)의 추가 예시들은 개인 휴대 정보 단말기(PDA), 휴대용 게임기, 미디어 플레이어, 전자 책 리더, 모바일 TV 플랫폼, 자동차 내비게이션 및 엔터테인먼트 시스템, 차량 (예를 들어, 자동차, 항공기 또는 다른 차량) 조종석 디스플레이 또는 디스플레이 용 그래픽 키보드를 출력할 수 있는 임의의 다른 유형의 착용 가능 및 착용 불가능한, 모바일 또는 비 모바일 컴퓨팅 디바이스들을 포함한다.
컴퓨팅 디바이스(110)는 프레젠스 감지형 디스플레이(PSD)(112), 사용자 인터페이스(UI) 모듈(120) 및 키보드 모듈(122)을 포함한다. 모듈들(120 및 122)은 소프트웨어, 하드웨어, 펌웨어, 또는 컴퓨팅 디바이스(110)에 상주하고 있거나 실행중인 하드웨어, 소프트웨어 및 펌웨어의 혼합을 사용하여 기술된 동작들을 수행할 수 있다. 컴퓨팅 디바이스(110)의 하나 이상의 프로세서들은 모듈들(120 및 122)의 동작들을 수행하기 위해 컴퓨팅 디바이스(110)의 메모리 또는 다른 비 일시적인 저장 매체에 저장된 명령어들을 실행할 수 있다. 컴퓨팅 디바이스(110)는 하부 하드웨어 상에서 실행되는 가상 기계들로 모듈(120 및 122)을 실행할 수 있다. 모듈들(120 및 122)은 운영 체제 또는 컴퓨팅 플랫폼의 하나 이상의 서비스들로 실행할 수 있다. 모듈들(120 및 122)은 컴퓨팅 플랫폼의 애플리케이션 계층에서 하나 이상의 실행 가능 프로그램들로 실행할 수 있다.
컴퓨팅 디바이스(110)의 PSD(112)는 컴퓨팅 디바이스(110)에 대한 각각의 입력 및/또는 출력 디바이스들로서 기능할 수 있다. PSD(112)는 다양한 기술들을 사용하여 구현될 수 있다. 예를 들어, PSD(112)는 저항성 터치스크린들, 표면 음파 터치스크린들, 용량성 터치스크린들, 투사형 정전용량식 터치스크린들, 압력 감지 스크린들, 음향 펄스 인식 터치스크린들 또는 다른 프레젠스 감지형 디스플레이 기술과 같은, 프레젠스 감지형 입력 스크린들을 사용하는 입력 디바이스들로서 기능할 수 있다. PSD(112)는 또한 액정 디스플레이들(LCD), 도트 매트릭스 디스플레이들, 발광 다이오드(LED) 디스플레이들, 유기 발광 다이오드(OLED) 디스플레이들, 전자 잉크 또는 컴퓨팅 디바이스(110)의 사용자에게 가시적 인 정보를 출력할 수 있는 컬러 디스플레이들 또는 유사한 모노코롬과 같은 임의의 하나 이상의 디스플레이 디바이스들을 사용하는 출력(예를 들어, 디스플레이) 디바이스들로서 또한 기능할 수 있다.
PSD(112)는 각각의 컴퓨팅 디바이스(110)의 사용자로부터 입력 (예를 들어, 터치 및 비접촉 입력)을 검출할 수 있다. PSD(112)는 사용자로부터의 하나 이상의 제스처들을 검출함으로써 (예를 들어, 사용자가 손가락 또는 스타일러스 펜으로 PSD(112)의 하나 이상의 위치들에서 또는 그 부근에서 터칭, 포인팅 및/또는 스와핑하는) 입력의 표시들을 검출할 수 있다. PSD(112)는 컴퓨팅 디바이스(110)에 의해 제공되는 기능성과 연관될 수 있는 사용자 인터페이스 (예를 들어, 사용자 인터페이스들(114A-114D))의 형태로 사용자에게 정보를 출력할 수 있다. 이러한 사용자 인터페이스들은 컴퓨팅 디바이스(110)에서 실행되거나 컴퓨팅 디바이스(110)로부터 액세스 가능한 컴퓨팅 플랫폼들, 운영 체제들, 애플리케이션들 및/또는 서비스들과 연관될 수 있다 (예를 들어, 전자 메시지 애플리케이션들, 채팅 애플리케이션들, 인터넷 브라우저 애플리케이션들, 모바일 또는 데스크톱 운영 시스템들, 소셜 미디어 애플리케이션들, 전자 게임 및 다른 유형의 애플리케이션들). 예를 들어, PSD(112)는 도 1a-1d에 도시된 사용자 인터페이스들(114A-114D)을 제시할 수 있으며, 상기 사용자 인터페이스들(114A-114D)은 컴퓨팅 디바이스(110)에서 실행되는 채팅 애플리케이션의 그래픽 사용자 인터페이스들이고, PSD(112)의 다양한 위치들에 디스플레이되는 다양한 그래픽 요소들을 포함한다.
도 1a-1c에 도시된 바와 같이, 사용자 인터페이스들(114)은 채팅 사용자 인터페이스의 일부이지만 그러나, 사용자 인터페이스들(114)은 통합된 검색 구성들을 갖는 그래픽 키보드를 포함하는 임의의 그래픽 사용자 인터페이스일 수 있다. 사용자 인터페이스들(114)은 출력 영역(116A), 그래픽 키보드(116B) 및 편집 영역(116C)을 포함한다. 컴퓨팅 디바이스(110)의 사용자는 그래픽 키보드(116B)에 입력을 제공하여 출력 영역(116A) 내에 디스플레이된 전자 메시지들의 콤텐츠를 형성하는 편집 영역(116C) 내의 텍스트 문자들 및/또는 이모지 심볼들을 생성할 수 있다. 출력 영역(116A) 내에 디스플레이된 메시지들은 컴퓨팅 디바이스(110)의 사용자 및 상이한 컴퓨팅 디바이스의 사용자 간의 채팅 대화를 형성한다.
UI 모듈(120)은 PSD(112) 및 컴퓨팅 디바이스(110)의 다른 컴포넌트들과의 사용자 인터랙션들을 관리한다.다시 말해서, UI 모듈(120)은PSD(112)에 의해 검출된 사용자 입력에 기초하여 결정들을 하고 사용자 입력에 응답하여 PSD(112)에서 출력을 생성하기 위해 컴퓨팅 디바이스(110)의 다양한 컴포넌트들 사이의 중개자 역할을 할 수 있다. UI 모듈(120)은 PSD(112)로 하여금 사용자 인터페이스 (예를 들어, 사용자 인터페이스들(114))을 출력하게 하기 위해 컴퓨팅 디바이스(110)의 다른 모듈, 애플리케이션, 서비스 또는 플랫폼으로부터의 명령들을 수신할 수 있다. UI 모듈(120)은 사용자가 PSD(112)에 제시된 사용자 인터페이스를 보고 인터랙팅함에 따라 컴퓨팅 디바이스(110)에 의해 수신된 입력들을 관리하고 애플리케이션, 서비스, 플랫폼 또는 사용자 입력을 프로세싱하고 있는 컴퓨팅 디바이스(110)의 다른 모듈로부터의 추가적인 명령어들을 수신함에 응답하여 사용자 인터페이스를 업데이트할 수 있다.
키보드 모듈(122)은 통합된 검색 능력을 가진 그래픽 키보드를 가진 컴퓨팅 디바이스(110)를 제공하는 컴퓨팅 디바이스(110)에서 실행되거나 컴퓨팅 디바이스(110)에 액세스 가능한 애플리케이션, 서비스 또는 컴포넌트들을 표현한다. 키보드 모듈(122)은 키보드 모듈(122)이 종래의 그래픽 키보드와 종래의 그래픽 키보드와 유사한 기능을 하는 텍스트 입력 모드 또는 키보드 모듈(122)이 이모지 심볼 검색과 같은 다양한 통합된 검색 기능들을 수행하는 검색 모드에서 동작하도록 두 모드 사이를 스위칭할 수 있다.
일부 예시들에서, 키보드 모듈(122)은 컴퓨팅 디바이스(110)에서 실행되는 독립형 애플리케이션, 서비스 또는 모듈일 수 있고, 다른 예시들에서 키보드 모듈(122)은 그의 서브 컴포넌트일 수 있다. 예를 들어, 키보드 모듈(122)은 컴퓨팅 디바이스(110)에서 실행중인 채팅 또는 메시징 애플리케이션에 통합될 수 있는 반면, 다른 예시들에서, 키보드 모듈(122)은 애플리케이션 또는 운영 플랫폼이 그래픽 키보드 입력 기능을 요청할 때마다 컴퓨팅 디바이스(110)의 애플리케이션 또는 운영 플랫폼에 의해 호출(invoke)되는 독립형 애플리케이션 또는 서브루틴일 수 있다. 일부 예시들에서, 컴퓨팅 디바이스(110)는 (예를 들어, 인터넷을 통해) 서비스 제공자의 애플리케이션 저장소로부터 키보드 모듈(122)을 다운로드 및 설치할 수 있다. 다른 예시들에서, 키보드 모듈(122)은 컴퓨팅 디바이스(110)의 생산 중에 미리 로딩될 수 있다.
텍스트 입력 모드에서 동작할 때, 컴퓨팅 디바이스(110)의 키보드 모듈(122)은, PSD(112)에서 디스플레이하기 위한 그래픽 키보드 레이아웃을 생성하거나, PSD(112)에서 검출된 입력들을 그래픽 키의들 선택들에 매핑하거나, 선택된 키들에 기초하여 문자들을 결정하거나, 선택된 키들로부터 결정된 문자들에 기초하여 단어들 및/또는 구문들을 예측하거나 자동 보정하는 것과 같은, 텍스트 입력을 위해 사용되는 전통적인 그래픽 키보드 동작들을 수행할 수 있다.
그래픽 키보드(116B)는 그래픽 키들(118A)로 디스플레이된 그래픽 요소들을 포함한다. 그래픽 키들(118A)은 도형 검색 키의 예시로써 이모지 검색 키(118D)를 포함한다. 키보드 모듈(122)은 사용자 인터페이스들(114) 내의 그래픽 키보드(116B)의 레이아웃을 특정하는 정보를 UI 모듈(120)에 출력할 수 있다. 예를 들어, 정보는 그래픽 키들(118A)의 위치들, 크기들, 색들 및 다른 특징들을 특정하는 명령어들을 포함할 수 있다. 키보드 모듈(122)로부터 수신된 정보에 기초하여, UI 모듈(120)은 PSD(112)로 하여금 사용자 인터페이스들(114)의 일부로써 그래픽 키보드(116B)를 디스플레이하게 할 수 있다.
키들(118A)의 일부는 키 내에 디스플레이된 개별 문자들 (예를 들어, 글자, 숫자, 구두점 또는 다른 문자)와 연관될 수 있다. 컴퓨팅 디바이스(110)의 사용자는 PSD(112)의 위치들에 입력을 제공할 수 있으며, 콘텐츠(예를 들어, 문자들, 검색 결과들 등)를 입력하기 위해 그래픽 키들(118A) 중 하나 이상이 PSD(112)의 위치들에 디스플레이된다 (예를 들어, 출력 영역(116A) 내에 송신되고 디스플레이되는 메시지들을 구성하기 위해 또는 컴퓨팅 디바이스(110)가 그래픽 키보드(116B) 내에서 실행하는 검색 쿼리를 입력하기 위해). 키보드 모듈(122)은 PSD(112)에 의해 검출된 입력과 연관된 위치들을 표시하는 UI 모듈(120)로부터 정보를 수신할 수 있으며, 상기 위치들은 그래픽 키들의 각각의 위치들과 관련된다. 공간 및/또는 언어 모델을 사용하여, 키보드 모듈(122)은 입력들을 키들 및 문자들, 단어들, 구문들, 이모지 심볼들, 이모지 구문들 또는 다른 도형 심볼들 및 구문들의 선택으로 변환할 수 있다.
예를 들어, PSD(112)는 PSD(112)가 그래픽 키들(118A)을 제시하는 PSD(112)의 위치 또는 그 부근에 컴퓨팅 디바이스(110)의 사용자가 사용자 입력들을 제공함에 따라 사용자 입력들을 검출할 수 있다. UI 모듈(120)은 PSD(112)로부터 PSD(112)에서의 사용자 입력의 표시를 수신하고, 사용자 입력에 관한 정보를 키보드 모듈(122)에 출력할 수 있다. 사용자 입력에 관한 정보는 PSD(112)에 의해 검출된 하나 이상의 터치 이벤트들 (예를 들어, 입력에 관한 위치들 및 다른 정보)의 표시를 포함할 수 있다.
UI 모듈(120)로부터 수신된 정보에 기초하여, 키보드 모듈(122)은 PSD(112)에서 검출된 입력들을 그래픽 키들(118A)의 선택들에 매핑하고, 선택된 키들(118A)에 기초하여 문자들을 결정하고 그리고 선택된 키들(118A)과 연관된 문자들에 기초하여 결정된 단어들 및/또는 구문들을 예측 또는 자동 보정할 수 있다. 예를 들어, 키보드 모듈(122)은 키들(118A)의 위치들 및 입력에 관한 정보에 기초하여 가장 가능성 있는 하나 이상의 키들(118A)이 선택되는 것을 결정할 수 있는 공간 모델을 포함할 수 있다. 가장 가능성 있는 하나 이상의 선택된 키들(118A)을 결정함에 응답하여, 키보드 모듈(122)은 하나 이상의 문자들, 단어들 및/또는 구문들을 결정할 수 있다. 예를 들어, PSD(112)로의 사용자 입력으로부터 선택된 하나 이상의 키들(118A) 각각은 개별 문자 또는 키보드 동작을 표현할 수 있다. 키보드 모듈(122)은 하나 이상의 선택된 키들(118A)에 기초하여 선택된 문자들의 시퀀스를 결정할 수 있다. 일부 예시들에서, 키보드 모듈(122)은 사용자가 키들(118A)의 선택에 기초하여 입력 하려고 하는 하나 이상의 가장 가능성 있는 후보 글자들, 형태소들, 단어들 및/또는 구문들 결정하기 위해 언어 모델을 문자들의 시퀀스에 적용할 수 있다.
키보드 모듈(122)은 문자들의 시퀀스 및/또는 후보 단어들 및 구문들을 UI 모듈(120)에 송신할 수 있고, UI 모듈(120)은 PSD(112)로 하여금 편집 영역(116C) 내의 텍스트로써 하나 이상의 키들(118A)의 선택으로부터 결정된 문자들 및/또는 후보 단어들을 제시하게 할 수 있다. 일부 예시들에서, 텍스트 입력 동작들을 수행하기 위한 종래의 키보드로써 기능할 때, 그리고 그래픽 키들(118A)에서 사용자 입력을 수신함에 응답하여 (예를 들어, 사용자가 편집 영역(116C) 내에 텍스트를 입력하기 위해 그래픽 키보드(116B)에 타이핑함에 따라), 키보드 모듈(122)은 UI 모듈(120)로 하여금 제안 영역(118B) 내에 하나 이상의 선택 가능한 제안들로서 후보 단어들 등을 디스플레이하게 할 수 있다. 사용자는 그래픽 키들(118A)의 모든 개별 문자 키들을 타이핑하기 보다는 제안 영역(118B) 내에서 개별적인 제안을 선택할 수 있다.
종래의 텍스트 입력 동작들을 수행하는 것에 더하여, 컴퓨팅 디바이스(110)의 키보드 모듈(122)은 통합된 검색 기능을 또한 제공한다. 즉, 컴퓨팅 디바이스(110)의 사용자가 그래픽 키보드(116B)가 디스플레이되는 사용자 인터페이스들(114)로부터 (예를 들어, 컴퓨팅 디바이스(110)에서 실행되거나 컴퓨팅 디바이스(110)로부터 액세스 가능한 상이한 애플리케이션 또는 서비스로) 운항하도록 요청하기보다는,　키보드 모듈(122)은 키보드 모듈(122)이 그래픽 키보드(116B)가 디스플레이되는 PSD(112)의 동일한 영역 내에서 검색 동작들을 수행하고 검색 결과들을 제시할 수 있는 검색 모드에서 동작할 수 있다.
상술한 바와 같이, 키보드 모듈(122)은 컴퓨팅 디바이스(110)에서 또는 그 단일의 통합된 서브 컴포넌트로써 실행하는 독립형 애플리케이션, 서비스 또는 모듈로서 실행할 수 있다. 따라서, 키보드 모듈(122)이 컴퓨팅 디바이스(110)에서 실행중인 채팅 또는 메시징 애플리케이션의 일부를 형성하는 경우, 키보드 모듈(122)은 채팅 기능 또는 메시징 애플리케이션에 검색 능력뿐만 아니라 텍스트 입력 능력을 제공할 수 있다. 유사하게, 키보드 모듈(122)이 애플리케이션 또는 운영 플랫폼이 그래픽 키보드 입력 기능성을 요청할 때마다 컴퓨팅 디바이스(110)의 애플리케이션 또는 운영 플랫폼에 의해 호출되는 독립형 애플리케이션 또는 서브루틴인 경우, 키보드 모듈(122)은 검색 능력뿐만 아니라 텍스트 입력 능력을 호출 애플리케이션 또는 운영 플랫폼에 제공할 수 있다.
키보드 모듈(122)은 그래픽 키보드(116B)로 하여금 검색 요소(118C)를 포함하게 할 수 있다. 검색 요소(118C)는 키보드 모듈(122)로 하여금 그래픽 키보드(116B)의 다양한 검색 구성들 중 하나 이상을 수동으로 호출하도록 변환하기 위한 그래픽 키보드(116B)의 선택 가능한 요소를 표현한다. 검색 요소(118C)를 선택함으로써 (예를 들어, 검색 요소(118C)가 디스플레이되는 PSD(112)의 위치에 또는 영역 내에 탭핑 또는 제스처를 취함으로써), 사용자는 컴퓨팅 디바이스(110)로 하여금 검색 모드에서 동작하게 할 수 있고 컴퓨팅 디바이스(110)에서 실행되거나 컴퓨팅 디바이스(110)로부터 액세스 가능한 개별 애플리케이션, 서비스 또는 다른 구성으로 운항해야 함이 없이 검색 기능을 수행하게 할 수 있다.
예를 들어, UI 모듈(120)은 컴퓨팅 디바이스(110)의 사용자가 선택 가능한 요소(118C)를 선택했었을 수 있음을 표시하는 정보를 키보드 모듈(122)에 출력할 수 있다. 요소(118C)가 선택되었었다고 결정함에 응답하여, 키보드 모듈(122)은 검색 모드에서 동작하도록 변환할 수 있다. 검색 모드에서 동작하는 동안, 키보드 모듈(122)이 언어 모델, 어휘집 또는 사전으로부터 도출한 제안된 단어들 또는 다른 주요 언어학 정보 대신에 또는 그에 추가하여 키보드 모듈(122)은 그래픽 키보드(116B)를 재구성하여 선택 가능한 요소들로써 제안 영역(118B) 내에 제안된 검색 콘텐츠 (예를 들어, 예측된 검색 쿼리들, 예측된 도형 심볼들, 이모티콘들, 이모지 심볼들 및 구문들 또는 다른 제안된 콘텐츠)를 제시하는 것과 같은 검색 기능을 실행할 수 있다. 다시 말해서, 제안 영역(118B) 내의 사전으로부터 철자법 또는 단어 제안을 제공하기보다는, 컴퓨팅 디바이스(110)는, 제안 영역(118B) 내에, 컴퓨팅 디바이스(110)가 전자 통신과 관련된 입력을 제공하고 있는 사용자를 돕는 것으로 결정한 제안된 검색 관련 콘텐츠를 포함할 수 있다.
그래픽 키들(118A)은 도형 검색 키의 예시로써 이모지 검색 키(118D)를 포함한다. 이모지 검색 키(118D)는 예시적인 도형 검색 기능으로써 그래픽 키보드(116B)의 이모지 검색 기능을 수동으로 호출하기 위한 그래픽 키보드(116B)의 선택 가능한 요소를 표현한다. 이모지 검색 키(118D)를 선택함으로써 (예를 들어, 이모지 검색 키(118D)가 디스플레이되는 PSD(112)의 위치에 또는 영역 내에서 탭핑(tapping)하거나 제스처를 취함으로써), 사용자는 컴퓨팅 디바이스(110)로 하여금 검색 모드에서 동작하게 할 수 있고 컴퓨팅 디바이스(110)에서 실행되거나 컴퓨팅 디바이스(110)로부터 액세스 가능한 개별 애플리케이션, 서비스 또는 다른 구성으로 운항해야 함이 없이 그래픽 키보드(116B)의 검색 기능을 수행하게 할 수 있다.
예를 들어, UI 모듈(120)은 컴퓨팅 디바이스(110)의 사용자가 이모지 검색 키(118D)가 디스플레이되는 PSD(112)의 위치에 탭 또는 제스처 입력을 제공하였었음을 표시하는 정보를 키보드 모듈(122)에 출력할 수 있다. 키보드 모듈(122)은 UI 모듈(120)로부터 수신된 정보로부터 사용자가 이모지 검색 키(118D)를 선택하였었음을 유도할 수 있다. 도 1a에 도시된 바와 같이, 이모 검색 키(118D)가 선택되었었다고 결정함에 응답하여, 키보드 모듈(122)은 검색 모드에서 동작하고 이모지 검색 기능을 실행하도록 변환할 수 있으며, 키보드 모듈(122)은 이모지 검색 쿼리들과 연관된 입력을 수신하고 그래픽 키보드(116B) 내에서 이모지 검색 결과를 디스플레이 하도록 그래픽 키보드(116B)를 재구성할 수 있다.
도 1b에 도시된 바와 같이, 이모지 검색 키(118D)의 선택의 표시를 수신함에 응답하여, 키보드 모듈(122)은 컴퓨팅 디바이스(110)로 하여금 사용자 인터페이스(114B) 디스플레이를 출력하게 한다. 사용자 인터페이스(114B)는, 키들(118A)에 더하여, 예시적인 도형 검색 박스로서의 이모지 검색 박스(118E)를 포함하는 업데이트된 그래픽 키보드(116B)를 포함한다. 이모지 검색 박스(118E)는 키보드 모듈(122)의 이모티콘 검색 기능과 연관된 검색 쿼리들의 표시를 디스플레이하도록 구성된다. 사용자는 그래픽 키보드(116B)에서 사용자 입력을 제공할 수 있고 키보드 모듈(122)은 이모지 검색 박스(118E)에서 사용자 입력으로부터 도출된 이모지 검색 쿼리를 제시할 수 있다.
예를 들어, 이모지 검색 키(118D)의 선택을 검출함에 응답하여, 키보드 모듈(122)은 UI 모듈(120)에 정보를 송신하여 PSD(112)로 하여금 사용자 인터페이스(114A)를 사용자 인터페이스(114B)로 대체하게 할 수 있다. PSD(112)에서 사용자 인터페이스(114B)를 제시한 후에, 키보드 모듈(122)은 추가 사용자 입력에 기초하여 이모지 검색 쿼리를 결정할 수 있다. 예를 들어, 그래픽 키들(118A) 또는 일부 다른 사용자 입력을 제시하는 PSD(112)의 위치에 또는 그 부근에서 컴퓨팅 디바이스(110)의 사용자가 PSD(112)가 사용자 입력을 제공함 (예를 들어, PSD(112)의 위치에서 또는 그 부근에서 수기 또는 그림으로 입력함)에 따라 컴퓨팅 디바이스(110)는 컴퓨팅 디바이스(110)의 마이크로폰에 의해 검출된 음성 입력, PSD(112)에 의해 검출된 제스처 입력을 수신할 수 있다. UI 모듈(120)은 사용자 입력에 관한 정보를 키보드 모듈(122)에 송신할 수 있고, 키보드 모듈(122)은 사용자가 입력할 가능성이 높은 이모지 검색 쿼리를 예측할 수 있다. 예를 들어, 키보드 모듈(122)의 스피치-텍스트 구성은 음성 입력을 텍스트-기반 이모지 검색 쿼리로 전사(transcribe)할 수 있다. 또는 일부 예시들에서, 키보드 모듈(122)은 키보드(122)의 공간 및/또는 언어 모델에 의존하여 키들(118A)에서 PSD(112)에 의해 검출된 터치 입력을 이모지 검색 쿼리를 구성하는 하나 이상의 후보 단어들 또는 구문들로 변환할 수 있다. 여전히 다른 예시들에서, 키보드 모듈(122)은 PSD(112)에 의해 검출된 터치 입력을 이미지 기반 이모지 검색 쿼리를 구성하는 이미지의 수기 그림으로 해석할 수 있다.
임의의 경우에서, 사용자 입력에 기초하여 이모지 검색 쿼리를 결정한 후에, 키보드 모듈(122)은, 이모지 검색 박스(118E) 내에 디스플레이하기 위해, 컴퓨팅 디바이스(110)로 하여금 이모지 검색 쿼리의 그래픽 표시를 출력하게 할 수 있다. 도 1b에 도시된 바와 같이, 키보드 모듈(122)은 사용자 입력을 그래픽 키들(118A)의 선택들로써 검출할 수 있고 키보드 모듈(122)이 이모지 검색 박스(118E) 내의 선택들로부터 결정하는 문자들 "Ital"을 제시할 수 있다.
다음으로, 도 1c에 도시된 바와 같이, 키보드 모듈(122)은 선택으로부터 도출된 문자들에 기초하여, 사용자가 입력하려고 시도할 가능성이 높은 이모지 검색 쿼리를 예측할 수 있고 문자들 "Ital"을 구문 "Italian food"으로 자동 교체할 수 있다. 다시 말해서, 사용자가 전체 이모지 검색 쿼리를 수동으로 입력하도록 요청하기보다는, 각 개별 문자 키(118A)를 선택함으로써, 키보드 모듈(122)은 (예를 들어, 잠재적 이모지 검색 쿼리들의 데이터베이스에서 실시간 룩업을 수행함으로써) 사용자가 전체 쿼리를 타이핑하기 전에 타이핑할 가능성이 있는 이모지 검색 쿼리를 예측하고 디스플레이할 수 있다.
키보드 모듈(122)은 이모지 검색 쿼리에 기초하여 및 그래픽 키보드(116B)의 이모지 검색 기능을 사용하여 하나 이상의 후보 이모지 심볼들을 식별할 수 있다. 예를 들어, 일부 예시들에서, 사용자는 키들(118A)의 검색 키가 디스플레이되는 위치 또는 그 부근에서 탭하거나 제스처를 취하여 키보드 모듈(122)로 하여금 이모지 검색을 실행하게 할 수 있다. 다른 예시들에서, 키보드 모듈(122)은 사용자가 쿼리와 연관된 사용자 입력을 입력하거나 제공하는 동안 이모지 검색을 자동으로 (예를 들어, 검색 키의 선택을 요청함이 없이) 실행할 수 있다.
하나 이상의 후보 이모지 심볼들을 획득함에 응답하여, 키보드 모듈(122)은 컴퓨팅 디바이스(110)로 하여금, 디스플레이를 위해, 복수의 키들(118A)의 적어도 일부에 더하여 하나 이상의 후보 이모지 심볼들에 대응하는 하나 이상의 선택 가능한 요소들을 디스플레이하는 이모지 제안 영역(118F)을 포함하는 제2 업데이트된 그래픽 키보드를 출력하게 할 수 있다. 예를 들어, 도 1d에 도시된 바와 같이, 키보드 모듈(122)은 키보드 모듈(122)이 컴퓨팅 디바이스(110)에서 유지하는 로컬 이모지 심볼 데이터베이스에서 이모지 검색 쿼리를 쿼링(querying)함으로써 이모지 심볼에 대한 검색을 실행할 수 있다. 검색 결과들은 피자 이모지, 스파게티 또는 파스타 접시 이모지, 빵 이모지 및 와인 이모지 또는 키보드 모듈(122)이 이모지 검색 쿼리 "Italian food"와 관련이 있다고 결정한 임의의 다른 이모지를 포함할 수 있다. 키보드 모듈(122)은 UI 모듈(120)로 하여금 이모지 검색으로부터의 결과들을 이모지 제안 영역(118F) 내의 후보 이모지 심볼들의 그래픽 표시로 제시하게 할 수 있다. 도 1d의 그래픽 키들(118A)의 적어도 일부를 대체하는 것으로 도시되어 있지만, 일부 예시들에서, 이모지 제안 영역(118F)은 PSD(112)에서 컴퓨팅 디바이스(110)에 의해, 그래픽 키들(118A)에 더하여, 디스플레이되는 그래픽 키보드(116B)의 개별 영역의 일부를 형성할 수 있다. 다시 말해서, 일부 예시들에서, 이모지 제안 영역(118F)은 그래픽 키들(118A) 모두를 대체할 수 있거나, 그래픽 키들(118A)의 일부를 대체할 수 있거나 또는 그래픽 키들(118A)을 대체하지 못할 수 있다. 그리고 몇몇 예시들에서, 추가 도면들과 관련하여 아래에 기술되는 바와 같이, 이모지 제안 영역(118F)은 제안 영역(118B)의 일부를 형성하거나 대체할 수 있다.
이모지 제안 영역(118F) 내에 후보 이모지 심볼들을 출력한 후, 컴퓨팅 디바이스(110)는 하나 이상의 선택 가능한 요소들 중 적어도 하나의 선택의 표시를 수신할 수 있고, 편집 영역(116C) 내에서 하나 이상의 후보 이모지 심볼들 중 적어도 하나를 디스플레이를 위해 출력할 수 있다. 예를 들어, 사용자는 이모지 제안 영역(118F) 내에 파스타 접시 이모지 심볼이 디스플레이되는 PSD(112)의 위치에서 탭 및 제스처를 취하고 응답으로, 키보드 모듈(122)이 탭 또는 제스처의 표시를 수신할 수 있다. 키보드 모듈(122)은 탭 또는 제스처를 후보 이모지 심볼들 중 하나의 선택으로써 해석하고, UI 모듈(120)로 하여금 선택된 이모티콘 심볼을 편집 영역(116C) 내에 디스플레이를 위해 출력하게 할 수 있다.
사용자가 분류된 도형 심볼들의 많은 페이지들을 찾아내거나 특정한 도형 심볼을 찾기 위해 애플리케이션 GUI들 사이를 스위칭하도록 요청하기보다는, 예시적인 컴퓨팅 디바이스의 사용자는 사용자가 이미 타이핑하고 있는 그래픽 키보드 내로부터 선택 가능한 도형 심볼들을 신속히 검색하고 획득할 수 있다. 이러한 방식으로, 특정한 도형 심볼을 발견하기 위해 컴퓨팅 디바이스에 의해 요청되는 사용자 입력들의 수 및 시간의 양을 감소시킬 수 있으며, 이를 통해 본 개시의 기법들은 사용자 경험을 단순화할 수 있고 컴퓨팅 디바이스의 전력 소비를 감소시킬 수 있다.
도 2는 본 발명의 하나 이상의 양태들에 따라, 통합된 도형 검색을 갖는 그래픽 키보드를 제공하도록 구성된 예시적인 컴퓨팅 디바이스로써 컴퓨팅 디바이스(210)를 도시한 블록도이다. 도 2의 컴퓨팅 디바이스(210)는 도 1a-1d의 컴퓨팅 디바이스(110)의 예시로써 아래에 기술된다. 도 2는 컴퓨팅 디바이스(210)의 단지 하나의 특정한 예시를 도시하며, 컴퓨팅 디바이스(210)의 많은 다른 예시들은 다른 경우들에서 사용될 수 있고 예시적인 컴퓨팅 디바이스(210)에 포함된 컴포넌트들의 서브세트를 포함하거나 도 2에 도시되지 않은 추가적 컴포넌트들을 포함할 수 있다.
도 2의 예시에 도시된 바와 같이, 컴퓨팅 디바이스(210)는 PSD(212), 하나 이상의 프로세서들(240), 하나 이상의 통신 유닛들(242), 하나 이상의 입력 컴포넌트들(244), 하나 이상의 출력 컴포넌트들(246) 및 하나 이상의 저장 컴포넌트들(248)을 포함한다. 프레젠스 감지형 디스플레이(212)는 디스플레이 컴포넌트(202) 및 프레젠스 감지형 입력 컴포넌트(204)를 포함한다. 컴퓨팅 디바이스(210)의 저장 컴포넌트들(248)은 UI 모듈(220), 키보드 모듈(222), 하나 이상의 애플리케이션 모듈들(224) 및 이모지 심볼 데이터 저장소(232)를 포함한다. 키보드 모듈(122)은 공간 모델(SM) 모듈(226), 언어 모델(LM) 모듈(228) 및 검색 모듈(230)을 포함할 수 있다. 통신 채널들(250)은 컴포넌트 간 통신들을 위해 (물리적으로, 통신 가능하게, 및/또는 동작 가능하게) 컴포넌트들(212, 240, 242, 244, 246 및 248) 각각을 상호 연결할 수 있다. 일부 예시들에서, 통신 채널들(250)은 시스템 버스, 네트워크 연결, 프로세스 간 통신 데이터 구조 또는 데이터를 통신하기 위한 임의의 다른 방법을 포함할 수 있다.
컴퓨팅 디바이스(210)의 하나 이상의 통신 유닛들(242)은 하나 이상의 네트워크들 상에서 네트워크 신호들을 전송 및/또는 수신함으로써 하나 이상의 유선들 및/또는 무선 네트워크들을 통해 외부 디바이스들과 통신할 수 있다. 통신 유닛들(242)의 예시들은 (이더넷 카드와 같은) 네트워크 인터페이스 카드, 광 송수신기, 무선 주파수 송수신기, GPS 수신기 또는 정보를 송신 및/또는 수신할 수 있는 임의의 다른 유형의 디바이스를 포함한다. 통신 유닛들(242)의 다른 예시들은 단파 라디오들, 셀룰러 데이터 라디오들, 무선 네트워크 라디오들 및 범용 직렬 버스(USB) 제어기들을 포함할 수 있다.
컴퓨팅 디바이스(210)의 하나 이상의 입력 컴포넌트들(244)은 입력을 수신할 수 있다. 입력의 예시들은 촉각, 오디오 및 비디오 입력이다. 컴퓨팅 디바이스(210)의 입력 컴포넌트들(242)은, 일 예시에서, 프레젠스 감지형 입력 디바이스(예를 들어, 터치 감지형 스크린, PSD), 마우스, 키보드, 음성 응답 시스템, 비디오 카메라, 마이크로폰 또는 인간 또는 기계로부터의 입력을 검출하기 위한 임의의 다른 유형의 디바이스를 포함한다. 일부 예시들에서, 입력 컴포넌트들(242)은 하나 이상의 센서 컴포넌트들, 하나 이상의 위치 센서들 (GPS 컴포넌트들, Wi-Fi 컴포넌트들, 셀룰러 컴포넌트들), 하나 이상의 온도 센서들, 하나 이상의 움직임 센서들 (예를 들어, 가속도계, 자이로), 하나 이상의 압력 센서들 (예를 들어, 기압계), 하나 이상의 주변 광 센서들 및 하나 이상의 다른 센서들 (예를 들어, 마이크로폰, 카메라, 적외선 근접 센서, 습도계 등)을 포함한다. 다른 센서들은 몇 가지 다른 비 제한적인 예시들을 들자면, 심장 박동 센서, 자력계, 포도당 센서, 습도계 센서, 후각 센서, 나침반 센서, 걸음수 측정 센서를 포함할 수 있다.
컴퓨팅 디바이스(110)의 하나 이상의 출력 컴포넌트들(246)은 출력을 생성할 수 있다. 출력의 예시들로는 촉각, 오디오 및 비디오 출력이 있다. 컴퓨팅 디바이스(210)의 출력 컴포넌트들(246)은, 일 예시에서, PSD, 사운드 카드, 비디오 그래픽 어댑터 카드, 스피커, 음극선 관(CRT) 모니터, 액정 디스플레이(LCD), 또는 사람 또는 기계에 출력을 생성하기 위한 임의의 다른 유형의 디바이스를 포함한다.
컴퓨팅 디바이스(210)의 PSD(212)는 컴퓨팅 디바이스(110)의 PSD(112)와 유사하며 디스플레이 컴포넌트(202) 및 프레젠스 감지형 입력 컴포넌트(204)를 포함한다. 디스플레이 컴포넌트(202)는 정보가 PSD(212)에 의해 디스플레이되는 스크린일 수 있고, 프레젠스 감지형 입력 컴포넌트(204)는 디스플레이 컴포넌트(202)에서 및/또는 디스플레이 컴포넌트(202) 부근의 객체를 검출할 수 있다. 일 예시적인 영역으로, 프레젠스 감지형 입력 컴포넌트(204)는 2인치 또는 그 미만의 디스플레이 컴포넌트(202) 내에 있는 손가락 또는 스타일러스와 같은 객체를 검출할 수 있다. 프레젠스 감지형 입력 컴포넌트(204)는 객체가 검출되었던 디스플레이 컴포넌트(202)의 위치 (예를 들어, [x, y] 좌표)를 결정할 수 있다.　다른 예시적인 영역에서, 프레젠스 감지형 입력 컴포넌트(204)는 디스플레이 컴포넌트(202)로부터 6인치 또는 그 이하의 객체를 검출할 수 있고 다른 영역들 또한 가능하다. 프레젠스 감지형 입력 컴포넌트(204)는 용량성, 유도성 및/또는 광학 인식 기술을 사용하여 사용자의 손가락에 의해 선택된 디스플레이 컴포넌트(202)의 위치를 결정할 수 있다. 일부 예시들에서, 프레젠스 감지형 입력 컴포넌트(204)는 디스플레이 컴포넌트(202)와 관련하여 기술된 바와 같이 촉각, 오디오 또는 비디오 자극을 사용하여 사용자에게 출력을 제공한다.　도 2의 예시에서, PSD(212)는 (도 1a-1d의 그래픽 사용자 인터페이스들(114)과 같이) 사용자 인터페이스를 제시할 수 있다.
컴퓨팅 디바이스(210)의 내부 컴포넌트로 도시되어 있지만, PSD(212)는 입력 및 출력을 전송 및/또는 수신하기 위해 컴퓨팅 디바이스(210)와 데이터 경로를 공유하는 외부 컴포넌트를 또한 표현할 수 있다. 예를 들어, 일례에서, PSD(212)는 컴퓨팅 디바이스(210)의 외부 패키징 내에 위치되고 물리적으로 연결된 컴퓨팅 디바이스(210)의 내장된 컴포넌트 (예를 들어, 모바일 폰의 스크린)을 표현한다. 다른 예시에서, PSD(212)는 컴퓨팅 디바이스(210)의 패키징 또는 하우징으로부터 물리적으로 분리되어 외부에 위치하는 컴퓨팅 디바이스(210)의 외부 컴포넌트　(예를 들어, 컴퓨팅 디바이스(210)와 유선 및/또는 무선 데이터 경로를 공유하는 모니터, 프로젝터 등)을 표현한다.
컴퓨팅 디바이스(210)의 PSD(212)는 컴퓨팅 디바이스(210)의 사용자로부터의 입력으로써 2차원 및/또는 3차원 제스처를 검출할 수 있다. 예를 들어, PSD(212)의 센서는 PSD(212)의 센서의 임계 거리 내에서 (예를 들어, 손, 팔, 펜, 스타일러스 등을 움직이는) 사용자의 움직임을 검출할 수 있다. PSD(212)는 움직임의 2차원 또는 3차원 벡터 표현을 결정할 수 있고, 벡터 표현을 다중 차원들을 갖는 제스처 입력 (예를 들어, 손파츠, 핀치, 박수, 펜 스트로크 등)과 상관시킬 수 있다. 다시 말해서, PSD(212)는 PSD(212)가 디스플레이를 위한 정보를 출력하는 스크린 또는 표면에서 또는 그 부근에서 사용자에게 제스처를 요청하지 않고도 다중차원 제스처를 검출할 수 있다. 대신에, PSD(212)는 PSD(212)가 디스플레이를 위한 정보를 출력하는 스크린 또는 표면 부근에 위치할 수 있거나 또는 위치할 수 없는 센서에서 또는 그 부근에서 수행된 다중차원 제스처를 검출할 수 있다.
하나 이상의 프로세서들(240)은 컴퓨팅 디바이스(210)와 연관된 명령어들을 실행하고 및/또는 기능성을 구현할 수 있다.　프로세서들(240)의 예시들은 애플리케이션 프로세서들, 디스플레이 제어기들, 보조 프로세서들, 하나 이상의 센서 허브들, 및 프로세서, 프로세싱 유닛, 또는 프로세싱 디바이스로써 기능하도록 구성된 임의의 다른 하드웨어를 포함한다. 모듈들(220, 222, 224, 226, 228 및 230)은 컴퓨팅 디바이스(210)의 다양한 액션들, 동작들 또는 기능들을 수행하기 위해 프로세서들(240)에 의해 동작 가능할 수 있다. 예를 들어, 컴퓨팅 디바이스(210)의 프로세서(240)는 프로세서(240)로 하여금 모듈들(220, 222, 224, 226, 228 및 230) 및 데이터 저장소(232)의 동작을 수행하게 하는 저장 컴포넌트들(248)에 의해 저장된 명령어들을 검색하고 실행할 수 있다. 명령어들은 프로세서들(240)에 의해 실행시 컴퓨팅 디바이스(210)로 하여금 저장 컴포넌트들(248) 내에 정보를 저장하게 할 수 있다.
컴퓨팅 디바이스(210) 내의 하나 이상의 저장 컴포넌트들(248)은 컴퓨팅 디바이스(210)의 동작 동안 프로세싱을 위한 정보를 저장할 수 있다 (예를 들어,　컴퓨팅 디바이스(210)는 컴퓨팅 디바이스(210)에서의 실행 동안 모듈들(220, 222, 224, 226, 228 및 230) 및 데이터 저장소(232)에 의해 액세스된 데이터를 저장할 수 있다). 일부 예시들에서, 저장 컴포넌트(248)는 일시적인 메모리이며, 이는 저장 컴포넌트(248)의 주요 목적이 장기간 저장이 아님을 의미한다.　컴퓨팅 디바이스(210) 상의 저장 컴포넌트들(248)은 정보의 단기 저장을 위해 휘발성 메모리로서 구성될 수 있고, 따라서 전원이 꺼지는 경우 저장된 콘텐츠를 유지하지 않을 수 있다. 휘발성 메모리의 예시들은 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM) 및 그 기술분야에 알려진 다른 형태의 휘발성 메모리를 포함한다.
일부 예시들에서, 저장 컴포넌트들(248)은 하나 이상의 컴퓨터 판독가능 저장 매체를 또한 포함한다. 일부 예시들 내의 저장 컴포넌트들(248)은 하나 이상의 비 일시적인 컴퓨터 판독가능 저장 매체를 포함한다.　저장 컴포넌트들(248)은 전통적으로 휘발성 메모리에 의해 저장되는 것보다 많은 양의 정보를 저장하도록 구성 될 수 있다. 저장 컴포넌트들(248)은 비 휘발성 메모리 공간으로써 정보의 장기간 저장을 위해 구성될 수 있고, 전원 온/오프 사이클 후에 정보를 유지할 수 있다. 비 휘발성 메모리들의 예시들은 자기 하드 디스크들, 광 디스크들, 플로피 디스크들, 플래시 메모리들, 또는 전기적으로 프로그램 가능한 메모리(EPROM) 또는 전기적으로 제거 및 프로그램 가능한 메모리(EEPROM)의 형태를 포함한다. 저장 컴포넌트들(248)는 모듈들(220, 222, 224, 226, 228 및 230) 및 데이터 스토어(232)와 연관된 정보 (예를 들어, 데이터) 및/또는 프로그램 명령어들을 저장할 수 있다. 저장 컴포넌트들(248)은 모듈들(220, 222, 224, 226, 228 및 230) 및 데이터 스토어(232)와 연관된 데이터 또는 다른 정보를 저장하도록 구성된 메모리를 포함할 수 있다.
UI 모듈(220)은 도 1a-1d의 컴퓨팅 디바이스(110)의 UI 모듈(120)의 모든 기능성을 포함할 수 있고, 사용자의 입력을 핸들링(handling)하기 위해 프레젠스 감지형 디스플레이에서 컴퓨팅 디바이스(210)가 제공하는 사용자 인터페이스 (예를 들어, 사용자 인터페이스들(212))를 관리하기 위한 UI 모듈(120)과 유사한 동작들을 수행할 수 있다. 예를 들어, 컴퓨팅 디바이스(210)의 UI 모듈(220)은 키보드 레이아웃 (예를 들어, 영어 QWERTY 키보드 등)에 대해 키보드 모듈(222)에 쿼리할 수 있다. UI 모듈(220)은 키보드 레이아웃에 대한 요청을 통신 채널들(250)을 통해 키보드 모듈(222)에 전송할 수 있다. 키보드 모듈(222)은 키보드 레이아웃과 연관된 데이터로 요청을 수신하거나 UI 모듈(220)에 응답할 수 있다. UI 모듈(220)은 통신 채널들(250)을 통해 키보드 레이아웃 데이터를 수신하고 사용자 인터페이스를 생성하기 위해 데이터를 사용할 수 있다. UI 모듈(220)은 PSD(212)로 하여금 PSD(212)에서 사용자 인터페이스를 제시하게 하기 위해 디스플레이 명령 및 데이터를 통신 채널들(250)을 통해 전송할 수 있다.
일부 예시들에서, UI 모듈(220)은 PSD(212)에서 검출된 하나 이상의 사용자 입력들의 표시를 수신할 수 있고 사용자 입력들에 관한 정보를 키보드 모듈(222)에 출력할 수 있다.　예를 들어, PSD(212)는 사용자 입력을 검출할 수 있고 사용자 입력에 관한 데이터를 UI 모듈(220)에 송신할 수 있다. UI 모듈(220)은 검출된 입력에 기초하여 하나 이상의 터치 이벤트들을 생성할 수 있다.　터치 이벤트는 사용자 입력의 위치 컴포넌트(예를 들어, [x, y] 좌표), 시간 컴포넌트(예를 들어, 사용자 입력이 수신되었던 경우), 힘 컴포넌트 (예를 들어, 사용자 입력에 의해 적용되는 압력의 양) 또는 사용자 입력에 관한 다른 데이터(예를 들어, 속도, 가속도, 방향, 밀도 등)와 같은 사용자 입력을 특징으로 하는 정보를 포함할 수 있다.
UI 모듈(220)은 사용자 입력으로부터 생성된 터치 이벤트들의 위치 정보에 기초하여, 검출된 사용자 입력이 그래픽 키보드와 연관되어 있다고 결정할 수 있다. UI 모듈(220)은 추가 해석을 위해 키보드 모듈(222)에 하나 이상의 터치 이벤트들의 표시를 송신할 수 있다.　키보드 모듈(222)은 UI 모듈(220)로부터 수신된 터치 이벤트들에 기초하여, 검출된 사용자 입력이 그래픽 키보드의 하나 이상의 키들의 초기 선택을 표현함을 결정할 수 있다.
애플리케이션 모듈들(224)은 통합된 검색 구성들을 갖는 그래픽 키보드에 의존할 수 있는 컴퓨팅 디바이스(210)에서 실행되고 컴퓨팅 디바이스(210)로부터 액세스 가능한 모든 다양한 개별 애플리케이션들 및 서비스들을 표현한다.　컴퓨팅 디바이스(210)의 사용자는 컴퓨팅 디바이스(210)로 하여금 기능을 수행하도록 하기 위해 하나 이상의 애플리케이션 모듈들(224)과 연관된 그래픽 사용자 인터페이스와 인터랙팅할 수 있다. 애플리케이션 모듈들(224)의 다수의 예시들이 존재할 수 있으며, 피트니스 애플리케이션, 달력 애플리케이션, 개인 보조 또는 예측 엔진, 검색 애플리케이션, 지도 또는 네비게이션 애플리케이션, 운송 서비스 애플리케이션 (예를 들어, 버스 또는 기차 추적 애플리케이션) , 소셜 미디어 애플리케이션, 게임 애플리케이션, 이메일 애플리케이션, 채팅 또는 메시징 애플리케이션, 인터넷 브라우저 애플리케이션, 또는 컴퓨팅 디바이스(210)에서 실행할 수 있는 임의의 및 모든 다른 애플리케이션들을 포함할 수 있다.
키보드 모듈(222)은 도 1a-1d의 컴퓨팅 디바이스(110) 키보드 모듈(122)의 모든 기능성을 포함할 수 있고, 이모지 검색과 같은 통합된 검색 구성들을 갖는 그래픽 키보드를 제공하기 위한 키보드 모듈(122)과 유사한 동작들을 수행할 수 있다. 키보드 모듈(222)은 키보드 모듈(222)의 기능성을 수행할 수 있는 SM 모듈(226), LM 모듈(228) 및 검색 모듈(230)과 같은 다양한 서브 모듈들을 포함할 수 있다.
SM 모듈(226)은 입력으로써 하나 이상의 터치 이벤트들을 수신하고, 하나 이상의 문자들이 터치 이벤트들을 얼마나 정확하게 또는 어떻게 정의하는지를 표시하는 확실성의 정도 또는 공간 모델의 스코어와 함께, 하나 이상의 터치 이벤트들을 표현하는 문자들의 시퀀스 또는 문자를 출력할 수 있다. 다시 말해서, SM 모듈(226)은 키보드의 하나 이상의 키들의 선택으로써 터치 이벤트들을 추론할 수 있고, 하나 이상의 키들의 선택에 기초하여, 문자 또는 문자들의 시퀀스를 출력할 수 있다.
키보드 모듈(222)이 텍스트-입력 모드 및/또는 검색 모드로 동작할 때, LM 모듈(228)은 입력으로서 문자 또는 문자들의 시퀀스를 수신할 수 있고, LM 모듈(228)이 주어진 언어 컨텍스트 (예를 들어, 기록된 언어로된 문장)에 대한 입력으로서 수신하는 문자들의 시퀀스에 대한 잠재적 대체물들로써 LM 모듈(228)이 어휘집으로부터 식별하는 하나 이상의 후보 문자들, 단어들 또는 구문들을 출력할 수 있다. 키보드 모듈(222)은 UI 모듈(220)로 하여금 사용자 인터페이스들(114)의 제안 영역들(118C)에 하나 이상의 후보 단어들을 제시하게 할 수 있다.
컴퓨팅 디바이스(210)의 어휘집은 기록된 언어 단어집 (예를 들어, 사전) 내에 단어들의 리스트를 포함할 수 있다. 예를 들어, 어휘집은 단어들의 데이터베이스 (예를 들어, 표준 사전의 단어들 및/또는 사용자 또는 컴퓨팅 디바이스(210)에 의한 사전에 추가된 단어들)을 포함할 수 있다. LM 모듈(228)은 문자열의 문자들의 일부 또는 전부를 포함하는 하나 이상의 글자들, 단어들 및/또는 구문들을 식별하기 위해, 문자열의 어휘집에서 룩업을 수행할 수 있다. 예를 들어, LM 모듈(228)은 컴퓨팅 디바이스(210)의 어휘집에 위치 된 하나 이상의 후보 단어들에 언어 모델 확률 또는 유사도 계수 (예를 들어, Jaccard 유사도 계수)를 할당할 수 있으며, 어휘집은 입력된 문자 또는 문자들의 시퀀스와 동일한 문자들 중 적어도 일부를 포함한다. 하나 이상의 후보 단어들 각각에 할당된 언어 모델 확률은, 후보 단어가 LM 모듈(228)에 의해 분석되는 문자들의 현재 시퀀스를 수신하기 이전에 및/또는 수신에 이어서 프레젠스 감지형 입력 컴포넌트(204)에 의해 검출된 텍스트 입력으로부터 생성된 단어들의 시퀀스에 후속하여, 이전에 및/또는 내에 위치된 것으로 전형적으로 발견될 확실성의 정도 또는 우도(likelihood)의 정도를 표시한다.　하나 이상의 후보 단어들 (예를 들어, 문장)을 결정함에 응답하여, LM 모듈(228)은 가장 높은 유사도 계수들을 갖는 어휘집 데이터 저장소들(260A)로부터 하나 이상의 후보 단어들을 출력할 수 있다.
키보드 모듈(222)의 검색 모듈(230)은 이모지 검색을 포함하는 키보드 모듈(222) 대신에 통합된 검색 기능들을 수행할 수 있다. 즉, 호출될 때 (예를 들어, 컴퓨팅 디바이스(210)의 사용자가 사용자 인터페이스(114A)의 이모지 검색 키(118D)를 선택함에 응답하여), 키보드 모듈(222)은 검색 모드로 동작할 수 있으며, 키보드 모듈(222)은 컴퓨팅 디바이스(210)가 그래픽 키보드(116B) 내로부터 이모지 검색 기능들을 수행할 수 있게 한다.
이모지 심볼 데이터 저장소(232)는 이모지 심볼들을 저장하는 온-디바이스 (예를 들어, 저장 디바이스(248)에 국부적으로 저장되는) 이모지 심볼 데이터베이스를 표현한다.　검색 모듈(230)은 하나 이상의 이모지 심볼들을 획득하기 위해 이모지 검색 쿼리에 대해 데이터 저장소(232)에 쿼리할 수 있다. 예를 들어, 데이터 저장소(232)는 sqlite3일 수 있고 키워드들에 대한 검색 쿼리를 파싱(parsing)하고 검색 쿼리의 키워드들을 데이터베이스 내의 이모지 심볼들에 미리 할당되었었던 단어들 또는 구문들과 일치시키기 위한 연관된 주석들 및 이모지 심볼들의 표시들을 갖는 다른 유형의 데이터베이스일 수 있다. 사용자가 이모지 검색 쿼리를 입력함에 따라, 검색 모듈(230)은 이모지 검색 쿼리 예측들을 데이터 저장소(232)에 입력할 수 있어 데이터베이스 내의 이모지 심볼 기술어들(descriptor)에 대한 예측된 검색 쿼리의 전체 검색을 실행한다.
그래픽 키보드(116B)와 인터랙팅하는 사용자 경험의 일부로써, 이모지 검색 전형적 텍스트 입력 동작들만큼 빠르지 않거나 또는 거의 입력 동작들만큼 빠른 경우 입력 동작들만큼 빠른 것이 중요할 수 있다. 이모지 검색을 가능한 빨리 실행하기 위해, 검색 모듈(230)은 임의의 원격 컴퓨팅 디바이스들에 액세스하지 않고 컴퓨팅 디바이스(110)에서 실행할 수 있다. 검색 모듈(230)은 일부 예시들에서 이모지 검색 동작의 일부로써 원격 이모지 심볼 데이터베이스에 액세스할 수 있지만, 검색 모듈(230)은 주로 이모지 검색을 수행하기 위해 이모지 심볼 데이터 저장소(232)에 액세스할 수 있다. 저장 디바이스들(248)에서 컴퓨팅 디바이스(210)에 로컬로 저장된 데이터 저장소(232)에 검색 모듈(230)은 원격 데이터베이스에 액세스하는 것보다 빠르게 액세스할 수 있으므로, 검색 모듈(230)이 적은 양의 시간 내에 이모지 검색들을 수행할 수 있도록 한다.
도 3은 본 발명의 하나 이상의 기법들에 따라 원격 디바이스에서 디스플레이하기 위한 그래픽 콘텐츠를 출력하는 예시적인 컴퓨팅 디바이스를 도시한 블록도이다. 그래픽 콘텐츠는 몇 가지 예시들을 들면 일반적으로 텍스트, 이미지들, 동영상 그룹과 같이 디스플레이를 위해 출력될 수 있는 영상 정보를 포함할 수 있다.　 도 3에 도시된 예시는 컴퓨팅 디바이스(310), PSD(312), 통신 유닛(342), 프로젝터(380), 프로젝터 스크린(382), 모바일 디바이스(386) 및 영상 디스플레이 컴포넌트(390)를 포함한다. 일부 예시들에서, PSD(312)는 도 1 및 도 2에서 도시된 프레젠스 감지헝 디스플레이일 수 있다. 독립형 컴퓨팅 디바이스(110)로서 도 1 및 도 2에서 예시로 도시되었지만, 컴퓨팅 디바이스(310)와 같은 컴퓨팅 디바이스는 일반적으로 프로세서 또는 소프트웨어 명령어들을 실행하기 위한 다른 적절한 컴퓨팅 환경을 포함하고 및 예를 들어, 프레젠스 감지형 디스플레이를 포함할 필요가 없는 임의의 컴포넌트 또는 시스템일 수 있다.
도 3의 예시에 도시된 바와 같이, 컴퓨팅 디바이스(310)는 도 2의 프로세서들(240)과 관련하여 기술된 기능성을 포함하는 프로세서일 수 있다. 그러한 예시들에서, 컴퓨팅 디바이스(310)는 시스템 버스 또는 다른 적절한 연결일 수 있는 통신 채널(362A)에 의해 PSD(312)에 동작 가능하게 결합될 수 있다. 컴퓨팅 디바이스(310)는 시스템 버스 또는 다른 적절한 연결일 수 있는 통신 채널(362B)에 의해 후술되는 통신 유닛(342)에 동작 가능하게 또한 결합될 수 있다. 도 3에는 일례로서 별도로 도시되어 있지만, 컴퓨팅 디바이스(310)는 하나 이상의 통신 채널들 중 임의의 수들에 의해 PSD(312) 및 통신 유닛(342)에 동작 가능하게 결합될 수 있다.
도 1-2의 컴퓨팅 디바이스(110)에 의해 이전에 도시된 것과 같은 다른 예시들에서, 컴퓨팅 디바이스는 모바일 폰들 (스마트 폰들 포함), 랩톱 컴퓨터들 등과 같은 휴대용 또는 모바일 디바이스를 지칭할 수 있다. 일부 예시들에서, 컴퓨팅 디바이스는 데스크탑 컴퓨터, 태블릿 컴퓨터, 스마트 텔레비전 플랫폼, 카메라, 개인 휴대 정보 단말기(PDA), 서버 또는 메인프레임들일 수 있다.
PSD(312)는 디스플레이 컴포넌트(302) 및 프레젠스 감지형 입력 컴포넌트(304)를 포함할 수 있다. 디스플레이 컴포넌트(302)는 예를 들어, 컴퓨팅 디바이스(310)로부터 데이터를 수신하고 그래픽 콘텐츠를 디스플레이할 수 있다. 일부 예시들에서, 프레젠스 감지형 입력 컴포넌트(304)는 용량성, 유도성 및/또는 광학 인식 기법들을 사용하여 PSD (312)에서 하나 이상의 사용자 입력들 (예를 들어, 연속 제스처들, 멀티 터치 제스처들, 단일 터치 제스처들)을 결정하고 그러한 사용자 입력의 표시들을 통신 채널(362A)을 이용하여 컴퓨팅 디바이스(310)로 송신한다. 일부 예시들에서, 프레젠스 감지형 입력 컴포넌트(304)는, 사용자가 디스플레이 컴포넌트(302)에 의해 디스플레이된 그래픽 요소 상에 입력 유닛을 위치시키는 경우, 프레젠스 감지형 입력 컴포넌트(304)가 그래픽 요소가 디스플레이되는 디스플레이 컴포넌트(302)의 위치에 대응하는 바로 그 위치인 디스플레이 컴포넌트(302)의 상부에 물리적으로 위치될 수 있다.
도 3에 도시된 바와 같이, 컴퓨팅 디바이스(310)는 통신 유닛(342)을 또한 포함할 수 있고 및/또는 통신 유닛(342)과 동작 가능하게 결합될 수 있다. 통신 유닛(342)은 도 2에 기술된 통신 유닛(242)의 기능성을 포함할 수 있다. 통신 유닛(342)의 예시들은 네트워크 인터페이스 카드, 이더넷 카드, 광 송수신기, 무선 주파수 송수신기, 또는 정보를 송신 및 수신할 수 있는 임의의 다른 유형의 디바이스를 포함할 수 있다. 그러한 통신 유닛의 다른 예시들은 블루투스, 3G 및 WiFi 라디오, USB 인터페이스들 등을 포함할 수 있다. 컴퓨팅 디바이스(310)는 간략화 및 예증의 목적으로 도 3에 도시되지 않은 하나 이상의 다른 디바이스들 (예를 들어, 입력 디바이스들, 출력 컴포넌트들, 메모리, 저장 디바이스들)을 포함하거나 디바이스들과 동작 가능하게 또한 결합될 수 있다.
도 3은 또한 프로젝터(380) 및 프로젝터 스크린(382)을 또한 도시한다. 프로젝션 디바이스의 다른 이러한 예시들은 전자 화이트보드들, 홀로그래픽 디스플레이 컴포넌트들 및 그래픽 콘텐츠를 디스플레이하기 위한 임의의 다른 적절한 디바이스를 포함할 수 있다. 프로젝터(380) 및 프로젝터 스크린(382)은 각각의 디바이스가 컴퓨팅 디바이스(310)와 통신할 수 있게 하는 하나 이상의 통신 유닛들을 포함할 수 있다.　일부 예시들에서, 하나 이상의 통신 유닛들은 프로젝터(380)와 프로젝터 스크린(382) 사이의 통신을 가능하게 할 수 있다. 프로젝터(380)는 그래픽 콘텐츠를 포함하는 컴퓨팅 디바이스(310)로부터 데이터를 수신할 수 있다. 프로젝터(380)는 데이터 수신에 응답하여, 그래픽 콘텐츠를 프로젝터 스크린(382) 상에 프로젝팅할 수 있다. 일부 예시들에서, 프로젝터(380)는 광학 인식 또는 다른 적절한 기법들을 사용하여 프로젝터 스크린에서 하나 이상의 사용자 입력들 (예를 들어, 연속 제스처들, 멀티 터치 제스처들, 단일 터치 제스처들)을 결정할 수 있고 하나 이상의 통신 유닛들을 사용하여 그러한 사용자 입력의 표시들을 컴퓨팅 디바이스(310)에 송신한다. 이러한 예시들에서, 프로젝터 스크린(382)은 불필요할 수 있고, 프로젝터(380)는 임의의 적합한 매체 상에 그래픽 콘텐츠를 프로젝팅하고 광학 인식 또는 다른 적절한 기법들을 사용하여 하나 이상의 사용자 입력들을 검출할 수 있다.
일부 실시예들에서, 프로젝터 스크린(382)은 프레젠스 감지형 디스플레이(384)를 포함할 수 있다. 프레젠스 감지형 디스플레이(384)는 이 개시에 기술된 프레젠스 감지형 디스플레이(112 및/또는 312)의 기능성의 서브세트 또는 기능성의 모든 것을 포함할 수 있다.　일부 예시들에서, 프레젠스 감지형 디스플레이(384)는 추가적인 기능성을 포함할 수 있다. 프로젝터 스크린(382) (예를 들어, 전자 화이트보드)는 컴퓨팅 디바이스(310)로부터 데이터를 수신하고 그래픽 콘텐츠를 디스플레이할 수 있다. 일부 예시들에서, 프레젠스 감지형 디스플레이(384)는 용량성, 유도성 및/또는 광학 인식 기법들을 사용하여 프로젝터 스크린(382)에서 하나 이상의 사용자 입력들 (예를 들어, 연속 제스처들, 멀티 터치 제스처들, 단일 터치 제스처들)을 결정할 수 있고 하나 이상의 통신 유닛들을 사용하여 그러한 사용자 입력의 표시들을 컴퓨팅 디바이스(310)에 송신한다.
도 3은 모바일 디바이스(386) 및 영상 디스플레이 컴포넌트(390)를 또한 도시한다.　모바일 디바이스(386) 및 영상 디스플레이 컴포넌트(390)는 각각 컴퓨팅 및 연결 능력을 포함할 수 있다. 모바일 디바이스(386)의 예시들은 전자 판독기 디바이스들, 컨버터블 노트북 디바이스들, 하이브리드 슬레이트 디바이스들 등을 포함할 수 있다.　영상 디스플레이 컴포넌트(390)의 예시들은 텔레비전들, 컴퓨터 모니터들 등과 같은 다른 디바이스들을 포함할 수 있다. 일부 예시들에서, 영상 디스플레이 컴포넌트(390)는 (예를 들어, 자동차, 항공기 또는 일부 다른 차량에서) 차량 조종석 디스플레이 또는 네비게이션 디스플레이일 수 있다.　일부 예시들에서, 영상 디스플레이 컴포넌트(390)는 홈 오토메이션 디스플레이 또는 컴퓨팅 디바이스(310)와 별개의 일부 다른 유형의 디스플레이일 수 있다.
도 3에 도시된 바와 같이, 모바일 디바이스(386)는 프레젠스 감지형 디스플레이(388)를 포함할 수 있다. 영상 디스플레이 컴포넌트(390)는 프레젠스 감지형 디스플레이(392)를 포함할 수 있다.　프레젠스 감지형 디스플레이들(388, 392)은 본 명세서에 기술된 바와 같이 프레젠스 감지형 디스플레이(112, 212 및/또는 312)의 기능성의 서브세트 또는 기능성의 모든 것을 포함할 수 있다.　일부 예시들에서, 프레젠스 감지형 디스플레이들(388, 392)은 추가적인 기능성을 포함할 수 있다. 임의의 경우에, 프레젠스 감지형 디스플레이(392)는 예를 들어, 컴퓨팅 디바이스(310)로부터 데이터를 수신하여 그래픽 콘텐츠를 디스플레이할 수 있다. 일부 예시들에서, 프레젠스 감지형 디스플레이(392)는 용량성, 유도성 및/또는 광학 인식 기법들을 사용하여 프로젝터 스크린(382)에서 하나 이상의 사용자 입력들 (예를 들어, 연속 제스처들, 멀티 터치 제스처들, 단일 터치 제스처들)을 결정할 수 있고 하나 이상의 통신 유닛들을 사용하여 그러한 사용자 입력의 표시들을 컴퓨팅 디바이스(310)에 송신한다.
상술한 바와 같이, 일부 예시들에서, 컴퓨팅 디바이스(310)는 시스템 버스 또는 다른 적절한 통신 채널에 의해 컴퓨팅 디바이스(310)에 결합되는 PSD(312)에서의 디스플레이를 위한 그래픽 콘텐츠를 출력할 수 있다. 컴퓨팅 디바이스(310)는 프로젝터(380), 프로젝터 스크린(382), 모바일 디바이스(386) 및 영상 디스플레이 컴포넌트(390)와 같은 하나 이상의 원격 디바이스들에서 디스플레이하기 위한 그래픽 콘텐츠를 또한 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(310)는 본 명세어의 기법들에 따라 그래픽 콘텐츠를 생성 및/또는 수정하기 위한 하나 이상의 명령어들을 실행할 수 있다. 컴퓨팅 디바이스(310)는 그래픽 콘텐츠를 포함하는 데이터를 통신 유닛(342)과 같은 컴퓨팅 디바이스(310)의 통신 유닛에 출력할 수 있다. 통신 유닛(342)은 데이터를 프로젝터(380), 프로젝터 스크린(382), 모바일 디바이스(386) 및/또는 영상 디스플레이 컴포넌트(390)와 같은 하나 이상의 원격 디바이스들에 송신할 수 있다. 이러한 방식으로, 컴퓨팅 디바이스(310)는 원격 디바이스들 중 하나 이상의 디바이스에 디스플레이를 위해 그래픽 콘텐츠를 출력할 수 있다. 일부 예시들에서, 하나 이상의 원격 디바이스들은 각각의 원격 디바이스들에 포함되거나 및/또는 각각의 원격 디바이스들에 동작 가능하게 결합된 프레젠스 감지형 디스플레이에서 그래픽 콘텐츠를 출력할 수 있다.
일부 예시들에서, 컴퓨팅 디바이스(310)는 컴퓨팅 디바이스(310)에 동작 가능하게 결합된 PSD(312)에 그래픽 콘텐츠를 출력하지 않을 수 있다. 다른 예시들에서, 컴퓨팅 디바이스(310)는 통신 채널(362A)에 의해 컴퓨팅 디바이스(310)에 결합되는 PSD(312) 및 하나 이상의 원격 디바이스들 모두에서 디스플레이하기 위해 그래픽 콘텐츠를 출력할 수 있다.　이러한 예시들에서, 그래픽 콘텐츠는 각각의 디바이스에 실질적으로 동시에 디스플레이될 수 있다. 예를 들어, 그래픽 콘텐츠를 포함하는 데이터를 원격 디바이스로 송신하기 위해 통신 지연에 의한 약간의 딜레이(delay)가 있을 수 있다. 일부 예시들에서, 컴퓨팅 디바이스(310)에 의해 생성된 그래픽 콘텐츠 및 PSD(312)에서의 디스플레이를 위한 출력은 하나 이상의 원격 디바이스들에서의 디스플레이를 위한 그래픽 콘텐츠 디스플레이 출력과 다를 수 있다.
컴퓨팅 디바이스(310)는 임의의 적절한 통신 기법들을 사용하여 데이터를 송신 및 수신할 수 있다. 예를 들어, 컴퓨팅 디바이스(310)는 네트워크 링크(373A)를 사용하여 외부 네트워크(374)에 동작 가능하게 결합될 수 있다. 도 3에 도시된 원격 디바이스들 각각은 각각의 네트워크 링크들(373B, 373C 또는 373D) 중 하나에 의해 외부 네트워크(374)에 동작 가능하게 결합될 수 있다. 외부 네트워크(374)는 동작 가능하게 상호 결합되는 네트워크 허브들, 네트워크 스위치들, 네트워크 라우터들 등을 포함할 수 있으며, 이로써 도 3에 도시된 원격 디바이스들과 컴퓨팅 디바이스(310) 간의 정보 교환을 제공한다.　일부 예시들에서, 네트워크 링크들(373A-373D)은 이더넷, ATM 또는 다른 네트워크 연결들일 수 있다. 이러한 연결들은 무선 및/또는 유선 연결일 수 있다.
일부 예시들에서, 컴퓨팅 디바이스(310)는 직접 디바이스 통신(378)을 사용하여 도 3에 포함된 하나 이상의 원격 디바이스들에 동작 가능하게 결합될 수 있다. 직접 디바이스 통신(378)은 통신들을 포함할 수 있으며, 상기 통신들을 통해 컴퓨팅 디바이스(310)가 유선 또는 무선 통신을 사용하여 원격 디바이스와 직접 데이터를 송수신한다. 즉, 직접 디바이스 통신(378)의 일부 예시들에서, 컴퓨팅 디바이스(310)에 의해 송신된 데이터는 원격 디바이스에서 수신되기 전에 하나 이상의 추가 디바이스들에 의해 포워딩될 수 없으며, 그 반대도 마찬가지이다. 직접적인 디바이스 통신(378)의 예시들은 블루투스, 근거리 무선 통신, 범용 직렬 버스, WiFi, 적외선 등을 포함할 수 있다. 도 3에 도시된 원격 디바이스들 중 하나 이상은, 통신 링크들(376A-376D)에 의해 컴퓨팅 디바이스(310)와 동작 가능하게 결합될 수 있다.　일부 예시들에서, 통신 링크들(376A-376D)은 블루투스, 근거리 무선 통신, 범용 직렬 버스, 적외선 등을 사용하는 연결들일 수 있다. 이러한 연결들은 무선 및/또는 유선 연결들일 수 있다.
본 발명의 기법들에 따라, 컴퓨팅 디바이스(310)는 외부 네트워크(374)를 사용하여 영상 디스플레이 컴포넌트(390)에 동작 가능하게 결합될 수 있다.　컴퓨팅 디바이스(310)는 PSD(392)에 디스플레이를 위한 이모지 검색 박스를 포함하는 그래픽 키보드를 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(310)는 이모지 검색 박스를 갖는 그래픽 키보드의 표현을 포함하는 데이터를 통신 유닛(342)에 송신할 수 있다. 통신 유닛(342)은 이모지 검색 박스를 갖는 그래픽 키보드의 표현을 포함하는 데이터를 영상 디스플레이 컴포넌트(390)에 외부 네트워크(374)를 사용하여 송신할 수 있다.　영상 디스플레이 컴포넌트(390)는 외부 네트워크(374)를 사용하여 데이터를 수신함에 응답하여, PSD(392)로 하여금 이모지 검색 박스를 가진 그래픽 키보드를 출력하게 할 수 있다.　영상 디스플레이 디바이스(130)는, 이모지 검색 박스 내에 이모지 검색 쿼리를 입력하기 위해 PSD(392)에서 사용자 입력을 수신함에 응답하여, 외부 네트워크(374)를 사용하여 컴퓨팅 디바이스(310)에 사용자 입력의 표시를 송신할 수 있다.　통신 유닛(342)은 사용자 입력의 표시를 수신할 수 있고 상기 표시를 컴퓨팅 디바이스(310)에 송신할 수 있다.
컴퓨팅 디바이스(310)는 사용자 입력에 기초하여 이모지 검색 쿼리를 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(310)는 사용자 입력에 기초하여, 쿼리를 구성하는 하나 이상의 후보 단어들을 입력하기 위한 하나 이상의 키들의 선택을 결정할 수 있다.　컴퓨팅 디바이스(310)는 이모지 검색 기능을 사용하여, 쿼리와 일치하는 컴퓨팅 디바이스(310)에 로컬로 저장된 검색 가능한 이모지 심볼 데이터베이스로부터 하나 이상의 후보 이모지 심볼들을 식별할 수 있다.
쿼리와 일치하는 하나 이상의 이모지 심볼들을 획득함에 응답하여, 컴퓨팅 디바이스(310)는 하나 이상의 후보 이모지 심볼들의 그래픽 표시를 갖는 이모지 제안 영역을 포함하는 업데이트된 그래픽 키보드를 포함하는 업데이트된 그래픽 사용자 인터페이스의 표현을 출력할 수 있다. 통신 유닛(342)은 업데이트된 그래픽 사용자 인터페이스의 표현을 수신할 수 있고, 영상 표현 컴포넌트(390)에 상기 표현을 송신할 수 있어, 영상 디스플레이 컴포넌트(390)는 PSD(392)로 하여금 이모지 제안 영역을 포함하는 업데이트된 그래픽 키보드를 출력하게 할 수 있다.
또한, 도 4a-4f는 본 발명의 하나 이상의 양태들에 따라, 통합된 도형 검색을 갖는 그래픽 키보드를 제시하도록 구성된 예시적인 컴퓨팅 디바이스의 예시적인 그래픽 사용자 인터페이스들을 나타내는 개념도이다. 도 4a-4f는 예시적인 그래픽 사용자 인터페이스들(414A-414F) (통칭하여, 사용자 인터페이스들(414))을 각각 도시한다. 그러나 그래픽 사용자 인터페이스들의 많은 다른 예시들이 다른 경우들에서 사용될 수 있다. 각각의 그래픽 사용자 인터페이스들(410)은 도 1 및 도 2의 컴퓨팅 디바이스들(110 또는 210)에 의해 디스플레이된 그래픽 사용자 인터페이스에 대응할 수 있다.　도 4a-4e는 컴퓨팅 디바이스(110)의 컨텍스트에서 아래에 기술된다.
사용자 인터페이스들(414) 각각은 출력 영역(416A), 편집 영역(416C) 및 그래픽 키보드(416B)를 포함하고, 그래픽 키보드(416B) 내에서, 각각의 사용자 인터페이스들(414)은 편집 영역(418B) 및 이모지 검색 키(418D) 및 메시지 송신 키(418G)를 포함하여, 그래픽 키들(418A)의 적어도 일부를 포함한다.　사용자 인터페이스들(414B-414E)은 각각 이모지 검색 박스(418E) 및 이모지 제안 영역(418F)의 예시를 포함한다. 도 4a-4f에 도시된 바와 같이, 컴퓨팅 디바이스(110)는 그래픽 키보드(416B) 중 적어도 하나가 디스플레이를 위해 출력되는 동안 사용자 인터페이스(414)의 편집 영역(416C)을 연속적으로 디스플레이할 수 있으며,　이모지 검색 박스(418E) 및 이모지 제안 영역(418F)을 포함하는 업데이트된 사용자 인터페이스들(414B-414E) 각각이 디스플레이를 위해 출력된다.
도 4a에 도시된 바와 같이, 컴퓨팅 디바이스(110)는 사용자의 친구와 연관된 상이한 컴퓨팅 디바이스로부터 텍스트 메시지를 수신할 수 있고 사용자는 이모티콘과 같은 도형 심볼을 사용하여 응답하기를 원할 수 있다.　컴퓨팅 디바이스는 PSD(112)가 이모지 검색 키(418D)를 제시하는 위치에서 사용자 입력을 검출할 수 있다.
도 4b에 도시된 바와 같이, 컴퓨팅 디바이스(110)가 이모지 검색 키(418D) 선택의 표시를 수신한 후, 키보드 모듈(122)은 이모지 검색 모드에서 동작하도록 변환할 수 있고, UI 모듈(120)로 하여금 이모지 검색 박스(418E) 및 이모지 제안 영역(418F)을 수용하기 위해 PSD(112)에 제시되는 그래픽 키보드(416B)의 크기를 증가시키도록 할 수 있다. 예를 들어, 도 4b는 도 4a에 도시된 그래픽 키보드(116B)의 세로 크기와 비교하여 이모지 검색 박스(418E) 및 이모지 제안 영역(418F)을 수용하기 위해 증가된 세로 크기를 가지며 세로 방향으로 그래픽 키보드(116B)를 제시하는 컴퓨팅 디바이스(110)를 도시한다. 다른 예시들에서 (예를 들어, 가로 방향으로) 컴퓨팅 디바이스(110)는 이모지 검색 박스(418E) 및 이모지 제안 영역(418F)을 수용하기 위해 그래픽 키보드(116B)의 폭 또는 다른 크기 파라미터를 변경할 수 있다.　예를 들어, 컴퓨팅 디바이스(110)는 이모지 검색 박스(418E) 및 이모티콘 제안 영역(418F)을 수용하기 위해 그래픽 키들(118A)의 크기를 축소할 수 있지만, 이모지 검색 박스 (418E) 및 이모지 제안 영역(418F)이 디스플레이되는지 여부에 관계없이 그래픽 키보드(116)의 전체 세로 또는 가로 크기는 동일하게 유지될 수 있다.
도 4b에 도시된 바와 같이, 이모지 검색 박스(418E)는 텍스트 입력을 수신하도록 구성된다. 컴퓨팅 디바이스(110)의 사용자는 다양한 키들(418A)의 위치들에 또는 그 부근에서 탭 입력들을 제공하여 이모티 검색 쿼리를 "tired"로 타이핑할 수 있다.　키들(418A)에서의 탭 입력들에 응답하여, 키보드 모듈(122)은 탭 입력들의 표시를 수신하고, 탭 입력들에 기초하여, "tired" 문자들로 시작하거나 포함하는 하나 이상의 후보 단어들로 텍스트 입력을 결정할 수 있다. 키보드 모듈(122)은 이모지 검색 쿼리들로 후보 단어들을 사용할 수 있다.　사용자에 대한 피드백의 형태로써, 키보드 모듈(122)은 UI 모듈(120)로 하여금 이모지 검색 박스(418E) 내에 "tired" 이모지 검색 쿼리의 그래픽 표시를 제시하게 할 수 있다.
다른 예시에서, 컴퓨팅 디바이스(110)의 사용자는 음성 입력을 수신하도록 컴퓨팅 디바이스(110)를 구성하기 위해 이모지 검색 박스(118E)에 인접하여 제시된 마이크로폰 아이콘에서 탭할 수 있다. 마이크로폰 아이콘을 누른 후, 컴퓨팅 디바이스(110)는 사용자가 이모지 검색 쿼리를 구술(dictate)함에 따라 사용자로부터 음성 입력을 수신할 수 있다.　컴퓨팅 디바이스(110)는 음성 입력을 텍스트로 변환하여 컴퓨팅 디바이스(110)가 이모지 검색 쿼리로 타이핑 입력을 프로세싱하는 것과 유사한 방식으로 이모지 검색 쿼리로 텍스트 입력을 프로세싱할 수 있다.
도 4c는 도 4b와 비교하여 사용자가 이모지 검색 쿼리를 입력할 수 있는 대안적인 방법을 도시한다. 도 4c에 도시된 바와 같이, 이모지 검색 박스(418E)는 (예를 들어, PSD(112)에서 또는 부근에서 손가락, 손 또는 스타일러스를 사용한 사용자 도면에 기초하여) 손으로 그려진 입력을 수신하도록 구성된다. 컴퓨팅 디바이스(110)의 사용자는 사용자가 검색하고 있는 특정한 이모지 심볼과 비슷한 그림을, 타이핑하기보다는, 그리기 위해 이모티콘 검색 박스(118E)의 위치에 또는 그 부근에 터치 입력들을 제공할 수 있다. 예를 들어, tired라는 단어를 타이핑하기 보다는 사용자는 침대와 비슷한 도형 심볼을 그릴 수 있다. 이모지 검색 박스(118E)에서 검출된 손으로 그린 입력에 응답하여, 키보드 모듈(122)은 손으로 그린 입력의 표시를 수신하고 손으로 그린 입력과 유사하게 나타나는 하나 이상의 일치하는 도형 심볼들을, 손으로 그려진 입력에 기초하여, 결정할 수 있다. 사용자에 대한 피드백의 형태로서, 키보드 모듈(122)은 UI 모듈(120)로 하여금 이모지 검색 박스(418E) 내에 손으로 그린 입력의 그래픽 표시를 제시하게 할 수 있다. 다른 예시들에서, 사용자는 문자들 (예컨대, 글자들, 단어들 등)을 입력하는 방법으로써 손으로 그린 입력을 제공할 수 있고 도 4b와 관련하여 기술된 것과 유사한 기법들을 사용하여 손으로 그린 입력에 기초하여 하나 이상의 후보 이모지 심볼들을 결정할 수 있다.
임의의 경우에 있어서, 도 4d에 도시된 바와 같이, 사용자 입력의 형태에 관계없이, 키보드 모듈(122) 컴퓨팅 디바이스(110)는 사용자 입력으로부터 결정된 검색 쿼리에 기초하여 도형 검색을 실행할 수 있다. 키보드 모듈(122)은 UI 모듈(120)로 하여금 키보드 모듈(122)이 검색에 기초하여 결정하는 하나 이상의 후보 이모지 심볼들의 하나 이상의 선택 가능한 그래픽 표시들을 PSD(112)에 제시하게 할 수 있다.　예를 들어, 검색 쿼리를 "tired" 또는 침대의 그림으로 결정함에 응답하여, 키보드 모듈(122)은 “tired" 또는 침대의 그림과 관련된 모든 예시적인 도형으로써 피곤한 얼굴 이모지, 침대 이모지, 수면 "Zzz" 이모지 및 하품 얼굴 이모지를 식별할 수 있다.
다음으로, 도 4e에 도시된 바와 같이, 컴퓨팅 디바이스(110)는 UI 모듈(120)이 PSD(112)로 하여금 침대 이모지 및 수면 "Zzz" 이모지를 제공하게 하는 위치들에서 또는 그 부근에서 사용자가 터치 입력을 제공했었음을 결정할 수 있다. 키보드 모듈(122)은 사용자가 전자 메일에 포함시키기 위해 침대 이모지 및 수면 "Zzz" 이모지 선택했었음을 결정할 수 있다. 침대 이모지 및 수면 "Zzz" 이모지를 선택하기 위해 사용자 입력을 검출함에 응답하여, 키보드 모듈(122)은 UI 모듈(120)로 하여금 편집 영역(116C) 내에 선택된 이모지 심볼들을 포함하게 할 수 있다.
마지막으로, 도 4f에 도시된 바와 같이, 송신 키(118G)를 누른 후에, 컴퓨팅 디바이스(110)는 침대 이모지 및 수면 "Zzz" 이모지를 표시하는 데이터를 포함하는 전자 메시지를 친구와 연관된 상이한 컴퓨팅 디바이스에 송신할 수 있다. 컴퓨팅 디바이스(110)는 UI 모듈(120)로 하여금 출력 영역(116A) 내에 전자 메시지의 본문을 제시하게 할 수 있다.
도 5는 본 발명의 하나 이상의 양태들에 따라, 통합된 도형 검색을 갖는 그래픽 키보드를 제공하도록 구성된 컴퓨팅 디바이스의 예시적인 동작들을 도시하는 흐름도이다. 도 5의 동작들은 컴퓨팅 디바이스는, 도 1의 컴퓨팅 디바이스(110) 또는 도 2의 컴퓨팅 디바이스(210)와 같은, 컴퓨팅 디바이스의 하나 이상의 프로세서들에 의해 수행될 수 있다. 설명의 목적으로만, 도 5는 도 1a-1d의 컴퓨팅 디바이스들 (110)의 컨텍스트 내에서 아래에 기술된다.
동작시, 컴퓨팅 디바이스(110)는 디스플레이를 위해, 복수의 키들을 포함하는 그래픽 키보드를 출력할 수 있으며, 상기 복수의 키들은 그래픽 키보드의 도형 검색 기능과 연관된 도형 검색 키를 포함한다(500). 예를 들어, 키보드 모듈(122)은 UI 모듈(120)로 하여금 이모지 검색 키(118D)를 포함하는 PSD(112)에 사용자 인터페이스(114A)를 제시하게 할 수 있다.
컴퓨팅 디바이스(110)는 도형 검색 키의 선택의 표시를 수신할 수 있다(510).　예를 들어, 사용자는 이모지 검색 키(118D)가 디스플레이되는 PSD(112)의 위치에서 검출된 입력을 제공할 수 있다. 키보드 모듈(122)은 검출된 입력에 관하여 UI 모듈(120)로부터 정보를 수신하고 이모지 검색을 수행하기 위한 검색 모드로 변환할 수 있다.
도형 검색 키의 선택의 표시를 수신함에 응답하여, 컴퓨팅 디바이스(110)는 디스플레이를 위해, 복수의 키들에 더하여, 도형 검색 기능과 연관된 검색 쿼리들의 표시들을 디스플레이 하도록 구성된 도형 검색 박스를 포함하는 제1 업데이트된 그래픽 키보드를 출력할 수 있다(520). 예를 들어, 이모지 검색으로의 변환에 응답하여, 키보드 모듈(122)은 UI 모듈(120)로 하여금 이모지 제안 영역(118E)을 포함하는 PSD(112)에 사용자 인터페이스(114B)를 제시하게 할 수 있다.
컴퓨팅 디바이스(110)는 사용자 입력에 기초하여 도형 검색 쿼리를 결정할 수 있다(530).　예를 들어, 사용자가 그래픽 키들(118A)이 디스플레이되는 PSD(112)의 위치들에서 터치 입력을 제공함에 따라, 키보드 모듈(122)은 사용자가 타이핑하고 있을 수 있는 이모지 검색 쿼리를 예측할 수 있다. 예를 들어, 사용자가 "ca"를 타이핑하면, 키보드 모듈(122)은 고양이(cat), 캐터필라(caterpillar), 낙타(camels), 채팅(chatting) 등을 가능한 모든 이모지 검색 쿼리들로 결정할 수 있다.
컴퓨팅 디바이스(110)는 도형 검색 박스 내의 디스플레이를 위해, 도형 검색 쿼리의 그래픽 표시를 출력할 수 있다(540). 예를 들어, 키보드 모듈(122)이 사용자 입력에 기초하여 하나 이상의 이모지 검색 쿼리들을 결정함에 따라, 키보드 모듈(122)은 UI 모듈(120)로 하여금 이모지 검색 박스(118E) 내에 예측된 쿼리들의 텍스트 설명들을 제시하게 할 수 있다.
컴퓨팅 디바이스(110)는, 도형 검색 쿼리에 기초하여 및 그래픽 키보드의 도형 검색 기능을 사용하여, 하나 이상의 후보 도형 심볼들을 식별할 수 있다(550).　예를 들어, 키보드 모듈(122)이 사용자 입력에 기초하여 하나 이상의 이모지 검색 쿼리들을 결정함에 따라, 키보드 모듈(122)은 예측된 검색 쿼리들에 대한 이모지 심볼들의 데이터베이스를 동시에 쿼리할 수 있다.
하나 이상의 후보 도형 심볼들을 식별함에 응답하여,　컴퓨팅 디바이스(110)는 디스플레이를 위해, 제2 업데이트된 그래픽 키보드를 출력할 수 있으며, 상기 제2 업데이트된 그래픽 키보드는 복수의 키들 중 적어도 일부에 더하여, 하나 이상의 후보 도형 심볼들에 대응하는 하나 이상의 선택 가능한 요소들을 디스플레이하는 도형 제안 영역을 포함한다(560). 예를 들어, 키보드 모듈(122)이 데이터베이스로부터 일치하는 이모지 심볼들을 식별함에 따라, 키보드 모듈(122)은 UI 모듈(120)로 하여금 이모지 제안 영역(118F) 내에 예측된 쿼리들과 일치하는 이모지 심볼들의 그래픽 표시들을 포함하는 사용자 인터페이스(114C)를 제시하게 할 수 있다.
다음의 번호가 매겨진 절(clause)들은 본 발명의 하나 이상의 양태들을 나타낼 수 있다.
절 1. 방법으로서: 컴퓨팅 디바이스에 의해, 디스플레이를 위해, 복수의 키들을 포함하는 그래픽 키보드를 출력하는 단계, 상기 복수의 키들은 상기 그래픽 키보드의 도형 검색 기능과 연관된 도형 검색 키를 포함하고; 상기 도형 검색 키의 선택의 표시를 수신함에 응답하여, 상기 컴퓨팅 디바이스에 의해, 디스플레이를 위해, 상기 복수의 키들에 더하여, 상기 도형 검색 기능과 연관된 검색 쿼리들의 표시들을 디스플레이하도록 구성된 도형 검색 박스를 포함하는 제1 업데이트된 그래픽 키보드를 출력하는 단계; 상기 컴퓨팅 디바이스에 의해, 사용자 입력에 기초하여 도형 검색 쿼리를 결정하는 단계; 상기 컴퓨팅 디바이스에 의해, 상기 도형 검색 박스 내에 디스플레이를 위해 상기 도형 검색 쿼리의 그래픽 표시를 출력하는 단계; 상기 컴퓨팅 디바이스에 의해, 상기 도형 검색 쿼리에 기초하여 및 상기 그래픽 키보드의 상기 도형 검색 기능을 사용하여, 하나 이상의 후보 도형 심볼들을 식별하는 단계; 및 상기 하나 이상의 후보 도형 심볼들을 식별함에 응답하여, 상기 컴퓨팅 디바이스에 의해, 디스플레이를 위해, 상기 복수의 키들 중 적어도 일부에 더하여, 상기 하나 이상의 후보 도형 심볼들에 대응하는 하나 이상의 선택 가능한 요소들을 디스플레이하는 도형 제안 영역을 포함하는 제2 업데이트된 그래픽 키보드를 출력하는 단계를 포함한다.
절 2. 절 1의 방법에 있어서, 상기 그래픽 키보드, 상기 제1 업데이트된 그래픽 키보드 및 상기 제2 업데이트된 그래픽 키보드는 애플리케이션 그래픽 사용자 인터페이스의 일부로서 디스플레이를 위해 출력된다.
절 3. 절 2의 방법에 있어서, 상기 애플리케이션 그래픽 사용자 인터페이스는 편집 영역을 포함하며, 상기 방법은 상기 하나 이상의 선택 가능한 요소들 중 적어도 하나의 선택의 표시를 수신함에 응답하여, 상기 컴퓨팅 디바이스에 의해, 디스플레이를 위해, 상기 편집 영역 내에서 상기 하나 이상의 후보 도형 심볼들 중 적어도 하나를 출력하는 단계를 더 포함한다.
절 4. 절 2-3의 방법에 있어서, 상기 그래픽 키보드가 디스플레이를 위해 출력되고, 상기 제1 업데이트된 그래픽 키보드가 디스플레이를 위해 출력되며 또는 상기 제2 업데이트된 그래픽 키보드가 디스플레이를 위해 출력되는 것 중 적어도 하나 동안, 상기 컴퓨팅 디바이스에 의해, 상기 애플리케이션 그래픽 사용자 인터페이스의 상기 편집 영역을 연속적으로 디스플레이하는 단계를 더 포함한다.
절 5. 절 4의 방법에 있어서, 상기 제1 업데이트된 그래픽 키보드의 크기는 상기 도형 검색 박스를 수용하기 위한 상기 그래픽 키보드의 크기보다 크다.
절 6. 절 1-5의 방법에 있어서, 상기 복수의 키들 중 적어도 일부는 리턴 키 또는 메시지 송신 키를 포함한다.
절 7. 절 1-6의 방법에 있어서, 상기 컴퓨팅 디바이스에 의해, 상기 사용자 입력에 기초하여 텍스트 입력을 결정하는 단계를 더 포함하며; 상기 도형 검색 쿼리는 상기 텍스트 입력에 기초하여 결정되며; 및 상기 도형 검색 쿼리의 상기 그래픽 표시는 상기 텍스트 입력의 그래픽 표시이다.
절 8. 절 7의 방법에 있어서, 상기 사용자 입력은 상기 복수의 키들 중 하나 이상의 텍스트 문자 키들 또는 음성 입력의 선택이다.
절 9. 절 1-6의 방법에 있어서, 상기 사용자 입력은 손으로 그린 입력이고, 상기 도형 검색 쿼리는 상기 손으로 그린 입력에 기초하여 결정되며, 및 상기 도형 검색 쿼리의 상기 그래픽 표시는 상기 손으로 그린 입력의 그래픽 표시이다.
절 10. 절 9의 방법에 있어서, 상기 손으로 그린 입력은 상기 도형 검색 쿼리와 연관된 텍스트의 수기 입력 또는 도형 심볼의 사용자 그림에 대응한다.
절 11. 절 1-10의 방법에 있어서, 상기 도형 검색 키는 그림 이모지 검색 키이고; 상기 도형 검색 기능은 이모지 검색 기능이고; 상기 도형 검색 상자는 이모지 검색 상자이고; 상기 도형 검색 쿼리는 이모지 검색 쿼리이고; 상기 도형 제안 영역은 이모지 제안 영역이며; 및 상기 하나 이상의 후보 도형 심볼들은 하나 이상의 후보 이모지 심볼들을 포함한다.
절 12. 컴퓨팅 디바이스로서: 프레젠스-감지형 디스플레이; 적어도 하나의 프로세서; 및 명령어들이 저장된 메모리를 포함하며, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행시 상기 적어도 하나의 프로세서로 하여금: 디스플레이를 위해, 복수의 키들을 포함하는 그래픽 키보드를 출력하는 단계, 상기 복수의 키들은 상기 그래픽 키보드의 도형 검색 기능과 연관된 도형 검색 키를 포함하고; 상기 도형 검색 키의 선택의 표시를 수신함에 응답하여, 프레젠스 감지형 디스플레이에서의 디스플레이를 위해, 상기 복수의 키들에 더하여, 상기 도형 검색 기능과 연관된 검색 쿼리들의 표시들을 디스플레이하도록 구성된 도형 검색 박스를 포함하는 제1 업데이트된 그래픽 키보드를 출력하고; 사용자 입력에 기초하여 도형 검색 쿼리를 결정하고; 프레젠스 감지형 디스플레이에서의 디스플레이를 위해 상기 도형 검색 박스 내에 상기 도형 검색 쿼리의 그래픽 표시를 출력하고; 상기 도형 검색 쿼리에 기초하여 및 상기 그래픽 키보드의 상기 도형 검색 기능을 사용하여, 하나 이상의 후보 도형 심볼들을 식별하며; 및 상기 하나 이상의 후보 도형 심볼들을 식별함에 응답하여, 프레젠스 감지형 디스플레이에서의 디스플레이를 위해, 상기 복수의 키들 중 적어도 일부에 더하여, 상기 하나 이상의 후보 도형 심볼들에 대응하는 하나 이상의 선택 가능한 요소들을 디스플레이하는 도형 제안 영역을 포함하는 제2 업데이트된 그래픽 키보드를 출력하게 한다.
절 13. 절 12의 컴퓨팅 디바이스에 있어서, 상기 명령어들은 실행시 상기 적어도 하나의 프로세서로 하여금, 디스플레이를 위해, 애플리케이션 그래픽 사용자 인터페이스의 일부로서, 상기 그래픽 키보드, 상기 제1 업데이트된 그래픽 키보드 및 상기 제2 업데이트된 그래픽 키보드를 출력하게 한다.
절 14. 절 13의 컴퓨팅 디바이스에 있어서, 상기 애플리케이션 그래픽 사용자 인터페이스는 편집 영역을 포함하고, 상기 명령어들은 실행시 상기 적어도 하나의 프로세서로 하여금 상기 하나 이상의 선택 가능한 요소들 중 적어도 하나의 선택의 표시를 수신함에 응답하여, 디스플레이를 위해 하나 이상의 후보 도형 심볼들 중 적어도 하나를 편집 영역 내에 출력하게 한다.
절 15. 절 13-14의 컴퓨팅 디바이스에 있어서, 상기 그래픽 키보드가 디스플레이를 위해 출력되고, 상기 제1 업데이트된 그래픽 키보드가 디스플레이를 위해 출력되며 또는 상기 제2 업데이트된 그래픽 키보드가 디스플레이를 위해 출력되는 것 중 적어도 하나 동안, 상기 명령어들은 실행시 적어도 하나의 프로세서로 하여금 상기 애플리케이션 그래픽 사용자 인터페이스의 상기 편집 영역을 연속적으로 디스플레이하게 한다.
절 16. 절 15의 컴퓨팅 디바이스에 있어서, 상기 제1 업데이트된 그래픽 키보드의 크기는 상기 그래픽 키보드의 크기보다 크다.
절 17. 절 16의 컴퓨팅 디바이스에 있어서, 상기 제2 업데이트된 그래픽 키보드의 크기는 상기 제2 업데이트된 그래픽 키보드의 크기보다 크다.
절 18. 명령어들이 인코딩된 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행시, 상기 적어도 하나의 프로세서로 하여금: 디스플레이를 위해, 복수의 키들을 포함하는 그래픽 키보드를 출력하는 단계, 상기 복수의 키들은 상기 그래픽 키보드의 도형 검색 기능과 연관된 도형 검색 키를 포함하고; 상기 도형 검색 키의 선택의 표시를 수신함에 응답하여, 디스플레이를 위해, 상기 복수의 키들에 더하여, 상기 도형 검색 기능과 연관된 검색 쿼리들의 표시들을 디스플레이하도록 구성된 도형 검색 박스를 포함하는 제1 업데이트된 그래픽 키보드를 출력하고; 사용자 입력에 기초하여 도형 검색 쿼리를 결정하고; 디스플레이를 위해 상기 도형 검색 박스 내에 상기 도형 검색 쿼리의 그래픽 표시를 출력하고; 상기 도형 검색 쿼리에 기초하여 및 상기 그래픽 키보드의 상기 도형 검색 기능을 사용하여, 하나 이상의 후보 도형 심볼들을 식별하며; 및 상기 하나 이상의 후보 도형 심볼들을 식별함에 응답하여, 디스플레이를 위해, 상기 복수의 키들 중 적어도 일부에 더하여, 상기 하나 이상의 후보 도형 심볼들에 대응하는 하나 이상의 선택 가능한 요소들을 디스플레이하는 도형 제안 영역을 포함하는 제2 업데이트된 그래픽 키보드를 출력하게 한다.
절 19. 절 18의 컴퓨터 판독가능 저장 매체에 있어서, 상기 명령어들은 실행시 상기 적어도 하나의 프로세서로 하여금, 디스플레이를 위해, 애플리케이션 그래픽 사용자 인터페이스의 일부로서, 상기 그래픽 키보드, 상기 제1 업데이트된 그래픽 키보드 및 상기 제2 업데이트된 그래픽 키보드를 출력하게 한다.
절 20. 절 19의 컴퓨터 판독가능 저장 매체에 있어서, 상기 애플리케이션 그래픽 사용자 인터페이스는 편집 영역을 포함하고, 상기 명령어들은 실행시 상기 적어도 하나의 프로세서로 하여금 상기 하나 이상의 선택 가능한 요소들 중 적어도 하나의 선택의 표시를 수신함에 응답하여, 디스플레이를 위해 하나 이상의 후보 도형 심볼들 중 적어도 하나를 편집 영역 내에 출력하게 한다.
절 21. 절 1-11의 방법들 중 어느 하나를 수행하기 위한 수단들을 포함하는 시스템.
절 22. 절 1-11의 방법들 중 어느 하나를 수행하기 위한 수단들을 포함하는 컴퓨팅 디바이스.
하나 이상의 예시들에서, 기술된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다.　소프트웨어로 구현되는 경우, 기능들은 하나 이상의 명령어들 또는 코드처럼, 컴퓨터 판독가능 매체 상에 저장되거나 전송될 수 있고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수 있다. 컴퓨터 판독가능 매체는 데이터 저장 매체와 같은 유형의(tangle) 매체에 대응하는 컴퓨터 판독가능 저장 매체 또는 컴퓨터 프로그램을 한 장소에서 다른 장소로, 예를 들어 통신 프로토콜에 따라 용이하게 전송 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터 판독가능 매체는 일반적으로 (1) 비 일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다.　데이터 저장 매체는 본 명세서에서 기술된 기법들의 구현예들을 위해 명령어들, 코드 및/또는 데이터 구조들을 검색하기 위한 하나 이상의 프로세서들 또는 하나 이상의 컴퓨터들에 의해 액세스될 수 있는 임의의 사용 가능한 매체일 수 있다. 컴퓨터 프로그램 물은 컴퓨터 판독가능 매체를 포함할 수 있다.
예를 들어, 그리고 제한은 아닌, 그러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 플래시 메모리 또는 명령어들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 연결은 적당히 컴퓨터 판독가능 매체로 명명된다. 예를 들어, 명령어들이 동축 케이블, 광섬유 케이블, 트위스트 페어, 디지털 가입자 회선(DSL) 또는 적외선, 무선 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버 또는 다른 원격 소스로부터 전송되는 경우, 동축 케이블, 광섬유 케이블, 트위스트 페어, DSL 또는 적외선, 무선 및 마이크로파와 같은 무선 기술들이 매체의 정의에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는 연결들, 반송파들, 신호들 또는 다른 일시적인 매체를 포함하지 않고, 대신에 비 일시적인 유형의 저장 매체로 유도됨을 이해하여야 한다. 사용되는 디스크(disk) 및 디스크(disc)는 CD(Compact Disc), 레이저 디스크, 광학 디스크, DVD(Digital Versatile Disc), 플로피 디스크 및 블루레이 디스크를 포함하며, 디스크들(disk)는 데이터를 보통 자기적(magnetically)으로 재생하는 반면 디스크들(disc)은 데이터를 레이저들로 광학적으로 재생한다. 상기의 조합들은 컴퓨터 판독가능 매체의 범위 내에 또한 포함되어야 한다.
명령어들은 하나 이상의 디지털 신호 프로세서들(DSP), 범용 마이크로프로세서들, 주문형 집적 회로(ASICs), 현장 프로그램 가능한 논리 어레이(FPGA) 또는 다른 대등한 집적 또는 이산 논리 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수 있다. 따라서, 사용되는 "프로세서"라는 용어는 전술한 구조 또는 기술된 기법들의 구현에 적절한 임의의 다른 구조를 지칭할 수 있다. 또한, 일부 양태들에서, 기술된 기능성은 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수 있다. 또한, 기법들은 하나 이상의 회로들 또는 논리 요소들에서 완전히 구현될 수 있다.
본 명세서의 기법들은 무선 핸드세트, 집적 회로(IC) 또는 IC 세트들(예를 들어, 칩 세트)를 포함하는 다양한 디바이스들 또는 장치들에서 구현될 수 있다. 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 다양한 컴포넌트들, 모듈들 또는 유닛들이 본 명세서에 기술되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요청하지는 않는다. 오히려, 상술한 바와 같이, 다양한 유닛들은 하드웨어 유닛에 결합될 수 있거나 적절한 소프트웨어 및/또는 펌웨어와 관련하여, 상술한 바와 같은 하나 이상의 프로세서들을 포함하는 인터랙팅하는 하드웨어 유닛들의 집합에 의해 제공될 수 있다.
다양한 예시들이 기술되었었다. 이들 및 다른 예시들은 다음의 청구항들의 범위 내에 있다.

Claims (15)

  1. 방법으로서:
    컴퓨팅 디바이스에 의해, 디스플레이를 위해, 복수의 키들을 포함하는 그래픽 키보드를 출력하는 단계, 상기 복수의 키들은 상기 그래픽 키보드의 도형 검색 기능과 연관된 도형 검색 키를 포함하고;
    상기 도형 검색 키의 선택의 표시를 수신함에 응답하여, 상기 컴퓨팅 디바이스에 의해, 디스플레이를 위해, 상기 복수의 키들에 더하여, 상기 도형 검색 기능과 연관된 검색 쿼리들의 표시들을 디스플레이하도록 구성된 도형 검색 박스를 포함하는 제1 업데이트된 그래픽 키보드를 출력하는 단계;
    상기 컴퓨팅 디바이스에 의해, 사용자 입력에 기초하여 도형 검색 쿼리를 결정하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 도형 검색 박스 내에 디스플레이를 위해 상기 도형 검색 쿼리의 그래픽 표시를 출력하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 도형 검색 쿼리에 기초하여 및 상기 그래픽 키보드의 상기 도형 검색 기능을 사용하여, 하나 이상의 후보 도형 심볼들을 식별하는 단계; 및
    상기 하나 이상의 후보 도형 심볼들을 식별함에 응답하여, 상기 컴퓨팅 디바이스에 의해, 디스플레이를 위해, 상기 복수의 키들 중 적어도 일부에 더하여, 상기 하나 이상의 후보 도형 심볼들에 대응하는 하나 이상의 선택 가능한 요소들을 디스플레이하는 도형 제안 영역(region)을 포함하는 제2 업데이트된 그래픽 키보드를 출력하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 청구항 1에 있어서, 상기 그래픽 키보드, 상기 제1 업데이트된 그래픽 키보드 및 상기 제2 업데이트된 그래픽 키보드는 애플리케이션 그래픽 사용자 인터페이스의 일부로서 디스플레이를 위해 출력되는 것을 특징으로 하는 방법.
  3. 청구항 2에 있어서, 상기 애플리케이션 그래픽 사용자 인터페이스는 편집 영역을 포함하며, 상기 방법은 상기 하나 이상의 선택 가능한 요소들 중 적어도 하나의 선택의 표시를 수신함에 응답하여, 상기 컴퓨팅 디바이스에 의해, 디스플레이를 위해, 상기 편집 영역 내에서 상기 하나 이상의 후보 도형 심볼들 중 적어도 하나를 출력하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 청구항 2 내지 청구항 3 중 어느 한 항에 있어서:
    상기 그래픽 키보드가 디스플레이를 위해 출력되고, 상기 제1 업데이트된 그래픽 키보드가 디스플레이를 위해 출력되며 또는 상기 제2 업데이트된 그래픽 키보드가 디스플레이를 위해 출력되는 것 중 적어도 하나 동안, 상기 컴퓨팅 디바이스에 의해, 상기 애플리케이션 그래픽 사용자 인터페이스의 상기 편집 영역을 연속적으로 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  5. 청구항 4에 있어서, 상기 제1 업데이트된 그래픽 키보드의 크기는 상기 도형 검색 박스를 수용하기 위한 상기 그래픽 키보드의 크기보다 큰 것을 특징으로 하는 방법.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서, 상기 복수의 키들 중 적어도 일부는 리턴 키 또는 메시지 송신 키를 포함하는 것을 특징으로 하는 방법.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서, 상기 방법은:
    상기 컴퓨팅 디바이스에 의해, 상기 사용자 입력에 기초하여 텍스트 입력을 결정하는 단계를 더 포함하며;
    상기 도형 검색 쿼리는 상기 텍스트 입력에 기초하여 결정되며; 및
    상기 도형 검색 쿼리의 상기 그래픽 표시는 상기 텍스트 입력의 그래픽 표시인 것을 특징으로 하는 방법.
  8. 청구항 7에 있어서, 상기 사용자 입력은 상기 복수의 키들 중 하나 이상의 텍스트 문자 키들 또는 음성 입력의 선택인 것을 특징으로 하는 방법.
  9. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
    상기 사용자 입력은 손으로 그린 입력이고,
    상기 도형 검색 쿼리는 상기 손으로 그린 입력에 기초하여 결정되며, 및
    상기 도형 검색 쿼리의 상기 그래픽 표시는 상기 손으로 그린 입력의 그래픽 표시인 것을 특징으로 하는 방법.
  10. 청구항 9에 있어서, 상기 손으로 그린 입력은 상기 도형 검색 쿼리와 연관된 텍스트의 수기(handwritten) 입력 또는 도형 심볼의 사용자 그림에 대응하는 것을 특징으로 하는 방법.
  11. 청구항 1 내지 청구항 10 중 어느 한 항에 있어서,
    상기 도형 검색 키는 그림 이모지 검색 키이고;
    상기 도형 검색 기능은 이모지 검색 기능이고;
    상기 도형 검색 상자는 이모지 검색 상자이고;
    상기 도형 검색 쿼리는 이모지 검색 쿼리이고;
    상기 도형 제안 영역은 이모지 제안 영역이며; 및
    상기 하나 이상의 후보 도형 심볼들은 하나 이상의 후보 이모지 심볼들을 포함하는 것을 특징으로 하는 방법.
  12. 컴퓨팅 디바이스로서:
    프레젠스-감지형(presence sensitive) 디스플레이;
    적어도 하나의 프로세서; 및
    명령어들이 저장된 메모리를 포함하며, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행시 상기 적어도 하나의 프로세서로 하여금:
    디스플레이를 위해, 복수의 키들을 포함하는 그래픽 키보드를 출력하는 단계, 상기 복수의 키들은 상기 그래픽 키보드의 도형 검색 기능과 연관된 도형 검색 키를 포함하고;
    상기 도형 검색 키의 선택의 표시를 수신함에 응답하여, 프레젠스 감지형 디스플레이에서의 디스플레이를 위해, 상기 복수의 키들에 더하여, 상기 도형 검색 기능과 연관된 검색 쿼리들의 표시들을 디스플레이하도록 구성된 도형 검색 박스를 포함하는 제1 업데이트된 그래픽 키보드를 출력하고;
    사용자 입력에 기초하여 도형 검색 쿼리를 결정하고;
    프레젠스 감지형 디스플레이에서의 디스플레이를 위해 상기 도형 검색 박스 내에 상기 도형 검색 쿼리의 그래픽 표시를 출력하고;
    상기 도형 검색 쿼리에 기초하여 및 상기 그래픽 키보드의 상기 도형 검색 기능을 사용하여, 하나 이상의 후보 도형 심볼들을 식별하며; 및
    상기 하나 이상의 후보 도형 심볼들을 식별함에 응답하여, 프레젠스 감지형 디스플레이에서의 디스플레이를 위해, 상기 복수의 키들 중 적어도 일부에 더하여, 상기 하나 이상의 후보 도형 심볼들에 대응하는 하나 이상의 선택 가능한 요소들을 디스플레이하는 도형 제안 영역을 포함하는 제2 업데이트된 그래픽 키보드를 출력하게 하는 것을 특징으로 하는 컴퓨팅 디바이스.
  13. 청구항 12에 있어서, 상기 명령어들은 실행시 상기 적어도 하나의 프로세서로 하여금, 디스플레이를 위해, 애플리케이션 그래픽 사용자 인터페이스의 일부로서, 상기 그래픽 키보드, 상기 제1 업데이트된 그래픽 키보드 및 상기 제2 업데이트된 그래픽 키보드를 출력하게 하는 것을 특징으로 하는 컴퓨팅 디바이스.
  14. 명령어들로 인코딩된 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행시 상기 적어도 하나의 프로세서로 하여금 청구항 1 내지 청구항 11의 방법들 중 어느 하나를 수행하게 하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체.
  15. 청구항 1 내지 청구항 11의 방법들 중 어느 하나를 수행하기 위한 수단들을 포함하는 시스템.
KR1020187023215A 2016-04-20 2016-12-29 그래픽 키보드 내에서의 도형 심볼 검색 KR102151683B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/133,282 2016-04-20
US15/133,282 US20170308289A1 (en) 2016-04-20 2016-04-20 Iconographic symbol search within a graphical keyboard
PCT/US2016/069109 WO2017184217A1 (en) 2016-04-20 2016-12-29 Iconographic symbol search within a graphical keyboard

Publications (2)

Publication Number Publication Date
KR20180102148A true KR20180102148A (ko) 2018-09-14
KR102151683B1 KR102151683B1 (ko) 2020-09-04

Family

ID=57822119

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187023215A KR102151683B1 (ko) 2016-04-20 2016-12-29 그래픽 키보드 내에서의 도형 심볼 검색

Country Status (6)

Country Link
US (1) US20170308289A1 (ko)
EP (1) EP3403167A1 (ko)
JP (1) JP6721703B2 (ko)
KR (1) KR102151683B1 (ko)
CN (1) CN108700951B (ko)
WO (1) WO2017184217A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163854A1 (en) * 2014-04-22 2015-10-29 Hewlett-Packard Development Company, L.P. Flow autocomplete
KR102338357B1 (ko) 2016-05-18 2021-12-13 애플 인크. 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
US11112963B2 (en) 2016-05-18 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US10368208B2 (en) 2016-06-12 2019-07-30 Apple Inc. Layers in messaging applications
US10185701B2 (en) * 2016-10-17 2019-01-22 Microsoft Technology Licensing, Llc Unsupported character code detection mechanism
US11121991B2 (en) * 2017-07-03 2021-09-14 Mycelebs Co., Ltd. User terminal and search server providing a search service using emoticons and operating method thereof
JP7007168B2 (ja) * 2017-12-07 2022-01-24 Ｌｉｎｅ株式会社 プログラム、情報処理方法、及び情報処理装置
US20190197102A1 (en) * 2017-12-27 2019-06-27 Paypal, Inc. Predictive Contextual Messages
US20220261092A1 (en) * 2019-05-24 2022-08-18 Krishnamoorthy VENKATESA Method and device for inputting text on a keyboard
CN112400155A (zh) * 2019-06-12 2021-02-23 谷歌有限责任公司 在用户界面中动态展示重复使用的数据
US11308110B2 (en) * 2019-08-15 2022-04-19 Rovi Guides, Inc. Systems and methods for pushing content
US11099811B2 (en) * 2019-09-24 2021-08-24 Rovi Guides, Inc. Systems and methods for displaying subjects of an audio portion of content and displaying autocomplete suggestions for a search related to a subject of the audio portion
CN114514497A (zh) 2019-09-27 2022-05-17 苹果公司 用于自定义图形对象的用户界面
US11853649B2 (en) * 2019-10-15 2023-12-26 Google Llc Voice-controlled entry of content into graphical user interfaces
CN113051427A (zh) * 2019-12-10 2021-06-29 华为技术有限公司 一种表情制作方法和装置
KR20230003340A (ko) * 2020-02-21 2023-01-05 구글 엘엘씨 미디어 콘텐츠 아이템에 대한 목적지에 기초하여 미디어 콘텐츠 아이템의 개선된 검색 및 분류를 위한 시스템 및 방법
US11775583B2 (en) * 2020-04-15 2023-10-03 Rovi Guides, Inc. Systems and methods for processing emojis in a search and recommendation environment
CN111723515A (zh) * 2020-05-15 2020-09-29 第四范式（北京）技术有限公司 一种运行算子的方法、装置及系统
US11609640B2 (en) * 2020-06-21 2023-03-21 Apple Inc. Emoji user interfaces
CN111913593B (zh) * 2020-08-06 2023-07-18 聚好看科技股份有限公司 媒体数据的搜索方法及显示设备
CN112269522A (zh) * 2020-10-27 2021-01-26 维沃移动通信（杭州）有限公司 图像处理方法、装置、电子设备和可读存储介质
WO2022197082A1 (en) * 2021-03-17 2022-09-22 Samsung Electronics Co., Ltd. Method and electronic device for predicting plurality of multi-modal drawings
US11776289B2 (en) 2021-03-17 2023-10-03 Samsung Electronics Co., Ltd. Method and electronic device for predicting plurality of multi-modal drawings
US11561673B1 (en) * 2021-06-30 2023-01-24 Salesforce, Inc. User interface for searching content of a communication platform using reaction icons
CN114531406A (zh) * 2021-12-30 2022-05-24 北京达佳互联信息技术有限公司 界面展示方法、装置及存储介质
CN117171188A (zh) * 2022-05-30 2023-12-05 荣耀终端有限公司 搜索方法、装置、电子设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130143268A (ko) * 2012-06-21 2013-12-31 주식회사 다음커뮤니케이션 콘텐츠 입력 시스템, 단말, 콘텐츠 입력 방법 및 입력 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
KR20160003112A (ko) * 2013-06-09 2016-01-08 애플 인크. 실시간 필기 인식 관리
KR20160014329A (ko) * 2014-07-29 2016-02-11 김기주 휴대폰을 포함한 휴대 가능한 전자기기에서의 키보드 ui
JP5861710B2 (ja) * 2011-08-15 2016-02-16 富士通株式会社 携帯電子機器及びキー表示プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7590699B2 (en) * 2005-06-23 2009-09-15 Microsoft Corporation Instant messaging with built-in search
US8584031B2 (en) * 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
EP2339576B1 (en) * 2009-12-23 2019-08-07 Google LLC Multi-modal input on an electronic device
JP5521772B2 (ja) * 2010-05-24 2014-06-18 日本電気株式会社 文字入力装置及び文字入力方法及びプログラム
US8700653B2 (en) * 2010-08-19 2014-04-15 Google Inc. Predictive query completion and predictive search results
JP2012083887A (ja) * 2010-10-08 2012-04-26 Ntt Docomo Inc 変換制御装置、情報処理装置、文字変換方法、プログラム及び文字変換用のデータ構造
US8587547B2 (en) * 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
EP2698725A4 (en) * 2011-04-11 2014-12-24 Nec Casio Mobile Comm Ltd INFORMATION INPUT DEVICE
US20130159919A1 (en) * 2011-12-19 2013-06-20 Gabriel Leydon Systems and Methods for Identifying and Suggesting Emoticons
US20150121291A1 (en) * 2012-06-29 2015-04-30 Microsoft Corporation Input Method Editor
KR101911999B1 (ko) * 2012-08-30 2018-10-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 피처 기반 후보 선택 기법
US10664657B2 (en) * 2012-12-27 2020-05-26 Touchtype Limited System and method for inputting images or labels into electronic devices
US10228819B2 (en) * 2013-02-04 2019-03-12 602531 British Cilumbia Ltd. Method, system, and apparatus for executing an action related to user selection
US8887103B1 (en) * 2013-04-22 2014-11-11 Google Inc. Dynamically-positioned character string suggestions for gesture typing
US9898187B2 (en) * 2013-06-09 2018-02-20 Apple Inc. Managing real-time handwriting recognition
US20150100537A1 (en) * 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
KR102177607B1 (ko) * 2014-05-16 2020-11-11 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP6413391B2 (ja) * 2014-06-27 2018-10-31 富士通株式会社 変換装置、変換プログラム、及び変換方法
US9043196B1 (en) * 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
US9930167B2 (en) * 2014-07-07 2018-03-27 Verizon Patent And Licensing Inc. Messaging application with in-application search functionality
US20160306438A1 (en) * 2015-04-14 2016-10-20 Logitech Europe S.A. Physical and virtual input device integration
US10318525B2 (en) * 2015-06-07 2019-06-11 Apple Inc. Content browsing user interface
US20170083524A1 (en) * 2015-09-22 2017-03-23 Riffsy, Inc. Platform and dynamic interface for expression-based retrieval of expressive media content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5861710B2 (ja) * 2011-08-15 2016-02-16 富士通株式会社 携帯電子機器及びキー表示プログラム
KR20130143268A (ko) * 2012-06-21 2013-12-31 주식회사 다음커뮤니케이션 콘텐츠 입력 시스템, 단말, 콘텐츠 입력 방법 및 입력 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
KR20160003112A (ko) * 2013-06-09 2016-01-08 애플 인크. 실시간 필기 인식 관리
KR20160014329A (ko) * 2014-07-29 2016-02-11 김기주 휴대폰을 포함한 휴대 가능한 전자기기에서의 키보드 ui

Also Published As

Publication number Publication date
JP2019511771A (ja) 2019-04-25
CN108700951A (zh) 2018-10-23
US20170308289A1 (en) 2017-10-26
KR102151683B1 (ko) 2020-09-04
JP6721703B2 (ja) 2020-07-15
WO2017184217A1 (en) 2017-10-26
CN108700951B (zh) 2022-05-10
EP3403167A1 (en) 2018-11-21

Similar Documents

Publication Publication Date Title
KR102151683B1 (ko) 그래픽 키보드 내에서의 도형 심볼 검색
EP3479213B1 (en) Image search query predictions by a keyboard
US10140017B2 (en) Graphical keyboard application with integrated search
EP3408733B1 (en) Keyboard with a suggested search query region
CN107305585B (zh) 由键盘作出的搜索查询预测
EP3400539B1 (en) Determining graphical elements associated with text
US20180173692A1 (en) Iconographic symbol predictions for a conversation
US9946773B2 (en) Graphical keyboard with integrated search features
US20170308290A1 (en) Iconographic suggestions within a keyboard
KR102204888B1 (ko) 키보드에 의한 자동 번역

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right