KR20160089379A - 상황 정보 탐색 및 내비게이션 기법 - Google Patents

Abstract

상황 정보 탐색 및 내비게이션을 가능하게 하는 기술 및 시스템이 제공된다. 사용자가 상황을 전환하거나 검색 질의를 정교화할 필요 없이 상황에 적절한 정보가 제공될 수 있다. 사용자가 콘텐츠를 소비 또는 생성할 수 있는 애플리케이션 내로부터, 사용자는 추가 탐사를 위한 텍스트를 표시할 수 있다. 애플리케이션은 초기 텍스트 선택의 표시를 수신하고, 의도된 선택을 결정하고, 상황 검색 결과를 사용자에게 제공할 수 있다. 일부 구현예에서, 초기 선택 및 (초기 선택에 관한 텍스트의 적어도 일부를 포함하는) 선택 상황이 상황 검색 서비스로 전송되고, 상황 검색 서비스는 초기 선택 및 선택 상황에 기초하여 의도된 선택 및 상황 검색 결과를 제공한다. 다른 구현예에서, 애플리케이션 내로부터의 선택을 위해 상황 검색 서비스에 의해 텍스트가 제안될 수 있다.

Description

상황 정보 탐색 및 내비게이션 기법{CONTEXTUAL INFORMATION LOOKUP AND NAVIGATION}

콘텐츠를 소비 또는 생성하는 애플리케이션의 사용자는, 종종 인터넷 검색 서비스에 의존하여, 콘텐츠 내에서 나타나는 하나 이상의 용어 또는 토픽과 관련된 추가 정보를 찾는다. 검색 서비스를 이용하기 위해, 사용자는 종종 애플리케이션을 떠나 웹 브라우저로 가서 검색을 수행하고 결과를 검토할 것이다. 때때로, 사용자는 제2의 장치 상에서 검색을 수행할 수 있는데, 예로서 사용자가 콘텐츠를 소비 또는 생성하기 위해 사용하고 있는 애플리케이션은 어느 한 장치 상에 존재하는데, 사용자는 제2의 장치 상의 브라우저(예로서, 파블릿 또는 전화 상의 이동 브라우저)를 액세스하여 용어 또는 토픽에 대해서 검색할 수 있다.

별도로 검색하는 것은 사용자의 작업 흐름을 방해하고, 심지어는 많은 사용자에게 있어서, 예컨대, 사용자가 애플리케이션을 떠나서 검색 질의를 위해 용어를 입력할 때, 비생산적일 수 있다. 더구나, 사용자가 검색을 정교화하기 위해 다른 애플리케이션으로 전환할 때, 사용자가 작업하고 있는 콘텐츠의 상황(context)이 검색 엔진에 쉽게 전달되지 못할 수 있는데, 이는 검색의 상황을 나타내는 키 용어를 제공하는 것이 사용자의 책임이기 때문이다. 이로 인해서, 검색에서 관련없는 결과가 반환될 수도 있고, 및/또는 적절한 결과를 얻기 위하여 사용자가 검색 질의를 좁히거나 수정하는 시도를 여러번 해야 될 수도 있다.

상황 정보 탐색 및 내비게이션을 가능하게 하는 기술 및 시스템이 제공된다. 사용자가 상황을 전환하거나 검색 질의를 정교화할 필요 없이 상황에 적절한 정보가 제공될 수 있는 사용자 경험이 설명된다.

애플리케이션 내의 콘텐츠 내의 아이템 또는 토픽에 대한 추가 정보를 원하는 사용자는, 상황을 전환하는 대신에, 콘텐츠의 소정 텍스트에 대한 관심을 나타낼 수 있다. 사용자가 나타낸 텍스트의 부분을, 사용자가 선택한 텍스트의 부분에 관한 추가 텍스트와 함께 이용해서, 탐사할, 의도된 아이템 또는 토픽을 결정할 수 있다. 결정된, 의도된 아이템 또는 토픽으로부터 하나 이상의 질의를 생성할 수 있다. 게다가, 결정된, 의도된 아이템 또는 토픽에 기초하여 사용자에게 적절한 결과를 제공할 수 있다.

특정한 구현예에서는 상황 검색 서비스를 이용한다. 상황 검색 서비스는 통상적인 검색으로부터만 아니라 상황을 통해 관련되는 결과를 포함하는 상황에 적절한 정보를 생성하기 위한 기능 및 논리를 포함한다. 이러한 일 구현예에서, 사용자가 나타낸 텍스트의 부분이, 사용자가 선택한 텍스트의 부분에 관한 추가 텍스트와 함께 상황 검색 서비스로 전송되며, 상황 검색 서비스는 검색할, 의도된 아이템 또는 토픽에 관한 결정을 수행한다. 상황 검색 서비스는 선택을 위해서, 사용자가 선택한 텍스트 내에서(또한 추가 텍스트 내에서) 나타나는 하나 이상의 제안 용어를, 하나 이상의 제안 용어에 기초하여 생성된 하나 이상의 질의로부터 획득한 적절한 결과와 함께 제공할 수 있다.

선택을 위한 제안 용어는, 비주얼 모티프(visual motif)를 이용하여 애플리케이션에서 식별된 용어로서 나타내어질 수 있으며, 따라서 사용자는, 애플리케이션이 사용자의 의도를 무엇으로 이해하고 있는지를 알게 된다.

나아가, 본래의 애플리케이션 상황 내에서, 예컨대 소스에 의해 체계화된 결과를 표시 및 내비게이션하기 위한 계층적 인터페이스가 제공될 수 있다. 특정한 구현예에 따르면, 검색 결과가 수신될 때, 소스에 따라 모듈로 그룹화된 결과의 미리보기가 사용자의 본래의 애플리케이션 표면과 함께 눈에 거슬리지 않게 표시될 수 있다. 이것은 사용자의 장치의 동일 윈도 또는 디스플레이 스크린 내에 창(pane)을 렌더링하는 것을 포함할 수 있다. 사용자가 미리보기 인터페이스 내에서 검색 결과를 선택하거나 혹은 확대 뷰를 선택할 때, 검색 결과를 포함하는 인터렉티브형 확대 뷰가 미리보기 인터페이스를 대체함으로써, 결과에 대한 더 깊은 탐사를 가능하게 할 수 있다. 사용자는 인터페이스 내에 표시된 링크 또는 요소를 선택하여 확대 뷰 내에 머무르면서 더 깊은 결과 탐사를 수행할 수 있다. 정보의 레벨을 통한 내비게이션은 애플리케이션 내에 있는 동안 실행될 수 있다. 일부 구현예에서, 계층적 인터페이스는 결과의 수신에 응답하여(또는 사용자의 명령에 의해) 상이한 장치 상에 제공될 수 있다.

본 개요는, 이하의 상세한 설명에서 더 설명되는 개념 중 일부를 선택해서 간단한 형태로 소개하기 위해 제공되는 것이다. 이 개요는 청구 발명의 중요한 특징 또는 필수적인 특징을 나타내는 것이 아니며, 청구 발명의 범위를 한정하는 데 사용되는 것도 아니다.

도 1a는 상황 정보 탐색 및 내비게이션 경험의 특정한 구현예가 실행될 수 있는 동작 환경을 나타낸다.
도 1b는 상황 정보 탐색 및 내비게이션을 위한 예시적인 프로세스 흐름을 나타낸다.
도 2a-2d는 상황 검색을 위한 텍스트의 초기 선택을 나타내는 예시적인 인터렉션을 나타낸다.
도 3은 상황 검색을 위한 텍스트의 초기 선택을 나타내는 예시적인 명령 인터렉션을 나타낸다.
도 4는 상황 검색으로부터 식별된 용어를 표면화하는 애플리케이션 사용자 인터페이스의 예시적인 뷰를 나타낸다.
도 5a-5b는 예시적인 미리보기 상황 결과 인터페이스를 나타낸다.
도 6a-6c는 사용자 인터페이스에 대해 생성될 수 있는 예시적인 확대 상황 결과 인터페이스 뷰 및 결과 그룹핑을 나타낸다.
도 6d는 사용자 인터페이스에 대해 생성될 수 있는 예시적인 확대 상황 결과 인터페이스 뷰 및 결과 그룹핑을 나타낸다.
도 7은 소스에 기초하는 검색 결과의 예시적인 계층 구조를 나타낸다.
도 8은 일부 실시예에서 사용되는 컴퓨팅 장치 또는 시스템의 컴포넌트를 나타내는 블록도이다.
도 9는 실시예가 실행될 수 있는 예시적인 시스템 아키텍처를 나타낸다.

본 명세서에서 설명되는 실시예는 사용자가 애플리케이션의 상황(심지어는 인터페이스)으로부터 떠날 필요 없이, 애플리케이션 내에 표시되는 콘텐츠에 대한 추가 정보를 단절없이 회수하는 것을 가능하게 한다.

애플리케이션은 검색에 적합한 텍스트의 판독, 기록 또는 배열을 포함하는 목적을 갖는 프로그램일 수 있다. 예시적인 애플리케이션은 마이크로소프트 워드와 같은 워드 프로세싱 애플리케이션; 이메일 애플리케이션; 레이아웃 애플리케이션; 및 마이크로소프트 원노트, 에버노트 및 구글 키프와 같은 노트-테이킹 애플리케이션을 포함한다.

특정한 구현예는 리더와 관련될 수 있다. "리더"는 전자 서적(이북: ebook) 및/또는 다른 전자 콘텐츠를 판독하는 목적을 위해 주로 설계된 소프트웨어 애플리케이션 및/또는 전자 장치를 가리킨다. 예시적인 소프트웨어 이북 리더는 구글 리더, 애플 이북, 아크로바트 이북 리더, 아마존 킨들 리더 및 마이크로소프트 리더 애플리케이션을 포함한다. 예시적인 하드웨어 이북 리더는 아마존 킨들 및 반스 앤 노블 눅을 포함한다. 이북은 이북 리더 상에서 판독될 수 있는 디지털 형태의 텍스트 및/또는 이미지 기반 출판물이다.

사용자가 콘텐츠를 생성 또는 소비하고 있는 애플리케이션과 웹 검색 간의 상황 전환의 방해의 최소화를 가능하게 하는 하나의 단계는 문서 콘텐츠 옆에 검색 결과를 표시하는 사용자 경험을 제공하는 것이다. 물론, 본 명세서에서 설명되는 기술의 구현은 사용자가 콘텐츠를 소비 또는 생성하고 있는 장치가 아닌 다른 장치 내에 결과가 표면화되는 시나리오에 적합하다는 점에 유의해야 한다.

작업 창 내에 웹 검색 인터페이스를 복제함으로써, 사용자에게 문서 내에 머물면서 토픽, 용어 또는 다른 아이템에 관한 검색을 수행하기 위한 능력을 제공할 수 있다. 그러나, 콘텐츠 소비/생성 애플리케이션 내에 있거나 별개의 애플리케이션으로서 동작하는지에 관계없이, 웹 검색 인터페이스는 사용자가 검색 질의의 용어를 결정할 것을 요구하며, 검색 인터페이스와 연동하고 상황에 적절한 정보를 얻기 위한 적당한 질의를 정교화하는 작업을 사용자에게 위임한다. 따라서, 본 명세서에서 설명되는 시스템 및 기술에서 사용자의 경험을 더 개선하기 위해, 사용자가 문서 내의 소정 텍스트에 대한 관심을 나타내는 것에 응답하여 사용자를 위한 질의가 생성될 수 있다.

본 명세서에서는 (검색 필드 내에 검색 용어를 입력할 것을 요구하는 일없이) 사용자가, 문서 내의 소정 텍스트에 대한 관심을 표시하는 것을 가능하게 하고, (직접 또는 상황 검색 서비스와의 통신을 통해) 애플리케이션이 생성한 질의에 기초하여 상황에 관련된 결과를 수신하는 것을 가능하게 하는 실시예가 설명된다. 사용자는 애플리케이션이 사용자가 검색을 위해 선택한 것으로 여기는 텍스트(예로서, 잠재적으로 더 상황에 관련된 검색 텍스트로 성형되는 텍스트의 선택)를 통지받을 수 있으며, 일부 예에서 사용자는 검색을 정교화하기 위해 애플리케이션에 의해 사용된 상황 용어도 통지받을 수 있다. 추가 실시예는 사용자가 현재 애플리케이션으로부터 전환할 것을 요구하지 않는 인터렉티브형 인터페이스를 표시함으로써 사용자가 추가 정보를 위해 검색 결과를 미리 보고 탐사하는 것을 가능하게 한다.

결과 창이 애플리케이션 인터페이스 내에 또는 옆에 제공되는 예가 설명되지만, 특정한 구현예에서는, 사용자에 의한 직접적인 검색 질의의 입력을 요구하지 않고서, 검색 결과가 생성될 수 있는 한, 검색 창이 애플리케이션과 별개로(심지어는 별개의 장치 상에) 제공되는 것을, 상정한다.

도 1a는 상황 정보 탐색 및 내비게이션 경험의 특정한 구현예가 실행될 수 있는 동작 환경을 나타내고, 도 1b는 상황 정보 탐색 및 내비게이션을 위한 예시적인 프로세스 흐름을 나타낸다.

도 1a를 참조하면, 사용자(110)가 콘텐츠를 소비 또는 생성하고 있는 애플리케이션(105)의 사용자 인터페이스(UI)(100)가 사용자 장치(112)의 디스플레이(111) 상에 렌더링될 수 있다. 애플리케이션(105)은 사용자 장치(112) 상에서 직접 또는 사용자 장치(112) 상에서 실행되는 브라우저를 통해 실행될 수 있다. 사용자 장치(112)는 개인용 컴퓨터, 랩탑 컴퓨터, 데스크탑 컴퓨터, 태블릿 컴퓨터, 리더, 이동 장치, 개인 휴대 단말기, 스마트폰, 게이밍 장치 또는 콘솔, 광학 헤드-탑재 디스플레이를 갖는 웨어러블 컴퓨터, 컴퓨터 시계, 또는 스마트 텔레비전일 수 있지만 이에 한정되지 않으며, 도 8과 관련하여 후술하는 컴퓨팅 시스템(800)이 이들을 대표한다.

UI(100)는, 애플리케이션(105)의 상황 검색 컴포넌트(115)의 영향을 받을 수 있다. 상황 검색 컴포넌트(115)는 애플리케이션(105)의 하나 이상의 소프트웨어 모듈의 형태일 수 있다. 상황 검색 컴포넌트(115)는 본 명세서에서 설명되는 상황 정보 탐색 및 내비게이션을 가능하게 하는 하나 이상의 방법을 실행하기 위한 명령어를 제공할 수 있다. 상황 정보 탐색 및 내비게이션의 일부 양태는 사용자 장치(112) 상에서 수행되고 사용자 인터페이스(100) 내의 표시를 위해 렌더링되는 반면, 다른 양태는 상황 검색 서비스(120)에 의해 적어도 부분적으로 수행될 수 있다. 일부 예에서, 상황 정보 탐색 및 내비게이션의 일부 양태는 별개의 장치(118) 상의 표시를 위해 렌더링될 수 있으며, 이 장치는 개인용 컴퓨터, 랩탑 컴퓨터, 데스크탑 컴퓨터, 태블릿 컴퓨터, 리더, 이동 장치, 개인 휴대 단말기, 스마트폰, 게이밍 장치 또는 콘솔, 광학 헤드-탑재 디스플레이를 갖는 웨어러블 컴퓨터, 컴퓨터 시계, 또는 스마트 텔레비전일 수 있지만 이에 한정되지 않으며, 도 8과 관련하여 후술하는 컴퓨팅 시스템(800)이 이들을 대표한다.

서버 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 스마트폰 또는 임의의 다른 적절한 컴퓨팅 설비와 같은 다양한 타입의 물리 또는 가상 컴퓨팅 시스템이 상황 검색 서비스(120)를 구현하는 데 사용될 수 있다. 서버 컴퓨터(122)를 이용하여 구현될 때, 애플리케이션 서버, 데이터베이스 서버, 메일 서버, 랙 서버, 블레이드 서버, 타워 서버 또는 임의의 다른 타입의 서버, 서버의 변형 또는 이들의 조합을 포함하지만 이에 한정되지 않는 임의의 다양한 서버가 사용될 수 있다.

상황 검색 컴포넌트(115)는 네트워크를 통해 상황 검색 서비스(120)와 인터렉션할 수 있다. 네트워크는 셀룰러 네트워크(예로서, 무선 전화), 점대점 다이얼업 접속, 위성 네트워크, 인터넷, 근거리 네트워크(LAN), 광역 네트워크(WAN), 와이파이 네트워크, 애드혹 네트워크 또는 이들의 조합을 포함할 수 있지만 이에 한정되지 않는다. 그러한 네트워크는 허브, 브리지, 라우터, 스위치, 서버 및 게이트웨이와 같은 다양한 타입의 네트워크 요소를 접속하는 데에 널리 사용된다. 네트워크는 인터넷과 같은 공개 네트워크 및/또는 보안 기업 비공개 네트워크와 같은 비공개 네트워크를 포함하는 하나 이상의 접속된 네트워크(예로서, 멀티-네트워크 환경)를 포함할 수 있다. 네트워크에 대한 액세스는 이 분야의 기술자가 이해하듯이 하나 이상의 유선 또는 무선 액세스 네트워크를 통해 제공될 수 있다.

특정한 구현예에서, 상황 검색 컴포넌트(115)는 상황 검색 서비스(120)의 애플리케이션 프로그래밍 인터페이스(API)를 이용하여 UI(100)와 인터렉션하는 사용자(110)와 상황 검색 서비스(120) 간의 인터렉션을 가능하게 한다.

API는 일반적으로 2개 이상의 애플리케이션이 서로 통신하는 것을 가능하게 하기 위한 한 세트의 프로그래밍 명령어 및 표준이며, 일반적으로 한 세트의 하이퍼텍스트 전송 프로토콜(HTTP) 요청 메시지 및 REST(Representational state transfer) 또는 SOAP (Simple Object Access Protocol) 아키텍처에 따른 응답 메시지를 위한 지정된 포맷 또는 구조로서 구현된다.

UI(100)와의 특정 사용자 인터렉션의 수신에 응답하여, 상황 검색 컴포넌트(115)는 상황 검색 서비스(120)의 API를 이용하여 상황 검색 서비스(120)의 호출(또는 소환)을 가능하게 할 수 있다. 이어서, 상황 검색 서비스는 상황 검색 컴포넌트(115)에 의해 제공된 정보에 기초하여 사용자의 의도된 텍스트 선택의 결정을 수행하고, 하나 이상의 검색 서비스(130)로부터 검색을 요청하기 위한 하나 이상의 질의를 형성할 수 있다. 검색 서비스(130)는 마이크로소프트 빙 및 구글과 같은, 그러나 이에 한정되지 않는 웹 검색 엔진 및 FAST 검색과 같은 인트라넷 검색을 포함할 수 있다.

결정 및 검색의 결과가 (예로서, 상황 검색 컴포넌트(115)에 대해) 사용자 장치(112)로 반환될 수 있다. 이어서, 상황 검색 컴포넌트(115)는 상황 검색 서비스(120)로부터 수신된 정보에 기초하여 UI(100) 내의 요소를 표면화할 수 있다.

일부 예에서, 결정 및 검색의 결과 중 적어도 일부는 애플리케이션(105) 및/또는 상황 검색 컴포넌트(115)와 관련된 하나 이상의 컴포넌트를 포함할 수 있는 별개의 장치(118)로 전송될 수 있다. 예로서, 사용자(110)는 다수의 장치를 동시에 또는 상이한 시간에 이용하고 있을 수 있다. 사용자가 2개의 장치(예로서, 112 및 118)와 인터렉션하고 있는 시나리오에서, 애플리케이션(105) 및/또는 상황 검색 컴포넌트(115)는 양 장치 상에서 실행될 수 있고, 상황 검색 서비스(120)로부터 수신된 정보 중 적어도 일부는 사용자가 (애플리케이션(105)을 통해) 콘텐츠를 직접 소비하고 있지 않은 장치 상에서 수신될 수 있다. 예로서, 적절한 결과가 선택적으로 표면화될 수 있는 내비게이션 가능 사용자 인터페이스가 별개의 장치(예로서, 장치(118)) 상에 제공될 수 있다.

더 상세하게, 도 1b에 도시된 바와 같이, (임의의 포맷 타입 문서를 포함하는) 문서, 기사, (예로서, 광학 문자 인식을 겪거나 겪지 않을 수 있는) 사진, 서적 등의 형태의 콘텐츠가 UI(100)를 통해 표시될 수 있다(151). 상황 정보 탐색 프로세스 흐름은 사용자가 텍스트(또는 쉽게 웹 검색 가능한 다른 콘텐츠)를 포함하는 애플리케이션 표면과 인터렉션하는 것으로부터 시작될 수 있다. 예로서, 사용자는 상황 검색을 위한 텍스트의 초기 선택을 나타낼 수 있다(152). 초기 텍스트 선택을 나타내는 UI(100)와의 사용자에 의한 인터렉션은 다수의 형태를 취할 수 있다. 텍스트 선택을 나타내는 입력은 (하나 이상의 단어 또는 구의) 구두 선택, 접촉 또는 무접촉 제스처 선택, 터치 선택(손가락 또는 스타일러스), 스와이프 선택, 커서 선택, 스타일러스/펜을 이용하는 원 그리기, 또는 사용자 장치(112)에 의해 검출될 수 있는 임의의 다른 이용 가능 기술을 포함할 수 있지만, 이에 한정되지 않는다. 일부 구현예에서, 상황 정보 탐색은 사용자에 의한 능동적 선택 없이 개시될 수 있다.

사용자는 예로서 눈 움직임을 검출할 수 있는 장치도 이용할 수 있고, 장치는 사용자의 눈이 소정 기간 동안 텍스트 상에 머무는 것을 검출할 수 있으며, 이는 상황 검색을 위한 텍스트의 선택에 대한 사용자의 관심을 나타낼 수 있다. 음성 명령을 검출할 수 있는 컴퓨팅 장치는 상황 정보 탐색을 위한 텍스트를 처음 선택하기 위한 구두 명령을 인식할 수 있다. 드롭다운 메뉴, 버튼 또는 우클릭 상황 메뉴처럼 다양한 많은 다른 사용자 인터페이스 요소가 사용자가 초기 텍스트 선택을 설정하였다는 것을 나타낼 수 있다는 점에도 유의해야 한다. 또한, 초기 텍스트 선택은 문서, 페이지 또는 윈도 상에서 이용 가능한 일부 또는 모든 텍스트를 포함할 수 있다는 것이 이해될 수 있다.

도 2a-2d는 상황 검색을 위한 텍스트의 초기 선택을 나타내는 예시적인 인터렉션을 나타낸다.

일례로서, 텍스트가 표시되는 사용자 인터페이스(200)에서, 사용자는 단어(또는 구)(201)를 선택할 수 있다. 단어(또는 구)의 선택은 도 2a에 도시된 바와 같은 터치 인에이블드 디스플레이 스크린 상에서의 스와이프 제스처(202)일 수 있다. 삽입 포인트, 탭, 더블 탭 및 핀치와 같은 다른 제스처가 사용될 수 있다. 물론, 단어의 비터치 선택(또한, 단어의 커서 선택)이 가능하다. 도 2b에 도시된 예에서, 커서(203)는 예로서 마우스 클릭을 통해 사용자 인터페이스(200)의 표면 상의 포인트를 나타내는 데 사용될 수 있다. 커서(203)는 단어 또는 단어들을 하이라이팅하지 않고서 용어 내에 배치될 수 있다. 유사한 선택이 (예로서, 손가락 또는 펜/스타일러스를 이용하는) 터치에 의해 수행될 수 있다.

전체 단어보다 적은 부분이 사용자에 의해 텍스트의 초기 선택으로서 나타낼 수 있는 것처럼, 사용자는 전술한 임의의 사용자 인터렉션 방법을 이용하여 단일 단어보다 많은 것을 선택할 수도 있다.

예로서, 다수의 단어가 도 2c에 도시된 것과 같은 인터페이스 기술을 이용하여 사용자에 의해 "마킹"될 수 있으며, 여기서는 문장의 다수의 단어(205)를 선택하는 커서(204)가 도시된다. 따라서, 예시적인 시나리오에 의해 예시되는 바와 같이, 사용자는 특정 양의 텍스트를 선택하는 것으로 한정되지 않는다.

일부 시나리오에서, 초기 선택은 연속적인 일련의 단어(구)를 포함할 수 있다. 일부 시나리오에서, 다수의 비연속적인 단어 또는 구가 디지털 스타일러스로 하이라이팅, 원그리기 또는 밑줄긋기를 함으로써 선택될 수 있다. 관심 있는 다수의 단어 또는 구가 사용자에 의해 우선순위화될 수도 있다. 예로서, 하나의 단어 또는 구가 관심 있는 주요 텍스트 선택으로서 마킹될 수 있고, 다른 관련 단어가 보조적이지만 관련된 관심을 갖는 지원 단어 또는 구로서 마킹될 수 있다.

더구나, 사용자가 상황 정보 탐색을 위한 어떠한 특정 단어 또는 구도 선택하지 않는 시나리오도 상정된다. 이러한 일 시나리오에서, 초기 텍스트 선택을 위한 입력은 사용자에 의한 능동적인 아닌 수동적인 인터렉션과 구별될 수 있다. 예로서, 사용자가 애플리케이션에 의해 렌더링된 텍스트를 통해 스크롤링하는 동안, 사용자가 상당한 시간 동안 머무는 단락은 초기 텍스트 선택을 형성할 수 있다. 추가 예로서, 컴퓨팅 장치가 사용자의 눈 움직임의 추적을 가능하게 하는 경우, 사용자의 눈이 머무는 단어 또는 구가 초기 텍스트 선택을 위한 입력을 형성할 수 있다. 또 다른 예에서, 전체 문서, 윈도 또는 페이지가 수동적 인터렉션에 기초하여 선택된 것으로 간주될 수 있다.

일부 구현예에서, 사용자는 선택된 텍스트의 표시(152)를 포함할 뿐만 아니라, 상황 검색 모드가 요구된다는 것도 나타낼 수 있다. 하나의 이러한 구현예에서, 상황 검색은 (사용자에 의한 암시적인 표시 또는 명시적인 액션으로부터의) 상황 검색 모드의 표시를 전체 페이지 또는 문서(또는 페이지 또는 문서의 적어도 관찰 가능 부분)의 선택으로 간주하고, 도 2d에 도시된 바와 같이 사용자가 관심을 가질 수 있는 키워드 또는 구를 제공할 수 있다. 이어서, 사용자는 하나 이상의 하이라이팅된(또는 다르게 나타내어진) 용어(250)를 선택하여, 상황 검색 서비스를 개시할 수 있다(그리고 상황 검색 결과를 수신할 수 있다(156)).

일부 구현예에서, 텍스트의 초기 선택을 나타내는 인터렉션은 메뉴로부터의 상황 검색 모드(또는 특정 상황 검색 명령)의 선택 또는 (객체 지향 사용자 인터페이스(OOUI) 및/또는 그래픽 사용자 인터페이스(GUI) 요소를 포함할 수 있는) 사용자 인터페이스와의 특정 인터렉션도 포함할 수 있다. 상황 검색 모드의 선택은 텍스트가 사용자에 의해 선택되기 전에 또는 후에 발생할 수 있다. 예로서, 도 3에 도시된 바와 같이, 단어(201)의 선택(또는 "우클릭" 또는 다른 액션)은 사용자가 선택된 텍스트와 관련하여 수행할 수 있는 명령 옵션을 갖는 메뉴(300)가 표면화되게 할 수 있다. 사용자는 메뉴(300)로부터 상황 검색 명령 요소(301)를 선택하여 상황 검색을 호출할 수 있다.

도 1b를 다시 참조하면, 초기 텍스트 선택의 표시가 수신되면(152), 선택된 부분(단지 도 2b에 도시된 바와 같은 포인트 또는 어떠한 특정 선택도 표시되지 않을 때의 전체 페이지, 윈도 또는 문서) 및 추가 정보가 상황 검색 서비스(120)로 전송된다(153). 추가 정보는 선택 상황으로 지칭될 수 있다.

"선택 상황"은 사용자의 초기 텍스트 선택의 일부가 명확히 아닌 보완 정보를 지칭한다. 서비스는 선택 상황을 이용하여, 추가 정보로 전통적인 웹 검색을 향상시킴으로써 상황 검색 결과의 적절성 또는 명료성을 개선한다. 선택 상황을 공동으로 형성하는 추가 정보는 실시예 및 시나리오에 의해 변할 것이지만, 일부 실시예에서는 (선택 전 및/또는 후의 텍스트의 확대 부분, 예로서 소정 수의 심벌 또는 문자로도 지칭될 수 있는) 선택에 관한 텍스트, 텍스트를 표시하는 애플리케이션의 타입, 또는 애플리케이션을 실행하는 장치의 타입과 같은 정보를 포함할 것이다.

일부 실시예에서, 선택 상황은 사용자가 서비스를 통해 또는 일반적으로 장치 상에서 수행한 적절한 그리고 관련된 이전 검색을 포함할 수 있다. 장치 타입 및 사용자 이력도 선택 상황으로서 포함될 수 있다. 예로서, 사용자에 의한 이전 선택이 선택 상황의 일부로서 사용될 수 있다. 이에 더해서 혹은 이와 달리, 다른 사용자에 의한 이전 선택(및 그에 기초하는 통계 확률)이 선택 상황의 일부로서 사용될 수 있다. 일부 실시예는 사용자의 타입, 예로서 사용자가 회사 네트워크 안에서 또는 밖에서 작업하고 있는지를 전송할 수도 있다. 전자의 경우에 사용자는 작업 관련 결과가 더 적절하다는 것을 알 수 있는 반면, 후자의 경우에는 가정 또는 소비자와 더 관련된 결과가 유용할 수 있다. 주어진 실시예에서, 컴퓨팅 자원의 가용성도 상황의 일부일 수 있으며, 회사 인트라넷과 같은 추가 자원의 검색을 가능하게 할 수 있다.

상황 검색 서비스는 선택 상황에 기초하여 초기 텍스트 선택을 제2의 "제안" 텍스트 선택으로 정밀화하고, 제안 텍스트 선택을 이용하여 인터넷 및/또는 인트라넷 검색 서비스에 대한 질의를 생성함으로써 초기 텍스트 선택 및 선택 상황을 처리할 수 있다. 제2 텍스트 선택은 초기 텍스트 선택의 확대 또는 축소일 수 있다. 대부분의 시나리오에서, 상황 검색 서비스는 초기 텍스트 선택을 더 적절한 검색으로 지능적으로 정밀화하기 위한 처리 논리를 소유할 것이다. 그러나, 서비스는 로컬 장치, 비공개 네트워크 내의 공유 자원 또는 인터넷 자체를 포함하는 컴퓨팅 장치 아키텍처 내의 하나 또는 다수의 상이한 계층에 존재할 수 있다.

서비스는 단일 검색 엔진에 정보를 요청할 수 있거나, 다수의 검색 엔진의 결과를 통합할 수 있다. 서비스는 로컬 네트워크 자원 또는 인트라넷 상에서 이용 가능한 정보를 검색할 수도 있다. 단어 "서비스" 자체는 서로 통신하는 상이한 물리 위치에 있는 하나 이상의 서비스를 나타낼 수 있다. 상황 검색 서비스와의 통신 링크는 기본적인 장치 운영 체제에 의해 또는 그 위에 계층화된, API를 포함하지만 이에 한정되지 않는 프로그래밍 프레임워크에 의해 구현되는 임의 수의 방식으로 애플리케이션에 의해 액세스될 수 있다.

전술한 바와 같이, 상황 검색 서비스는 초기 텍스트 선택 및 선택 상황을 처리하고, 그에 응답하여 제2의(또는 그 이상의) 제안 텍스트 선택(들)(예로서, 식별된 텍스트 선택(들)(154))을 반환한다. 식별된 텍스트 선택(들)은 UI(100) 내에 (그리고/또는 별개의 장치(118) 상에) 표시(155)될 수 있으며, 따라서 무엇이 선택되었다고 시스템이 이해하고 있는지를, 사용자가 알 수 있어서, 필요한 경우에 선택을 조정할 수 있다. 식별된 텍스트의 표시를 수신하는 것에 더하여, 상황 검색 서비스로부터 적절한 결과가 수신될 수 있다(156).

식별된 텍스트 선택(들)은 애플리케이션에서 하이라이팅, 밑줄긋기, 굵게 하기, 애니메이션, 발광 텍스트, 폰트 크기, 폰트 스타일 및 폰트 컬러와 같은 다양한 비주얼 모티프를 이용하여 표시될 수 있으며, 따라서 사용자는 애플리케이션이 사용자의 의도를 무엇으로 이해하는지를 알게 된다. 일부 예에서, 식별은 오디오 표시도 포함할 수 있다. 식별된 텍스트 선택(들)을 사용자에게 제공함으로써, 사용자는 식별된 선택을 정밀화하거나 달리 조정할 수 있다. 예로서, 사용자는 식별된 선택으로부터 용어를 선택 또는 선택 해제할 수 있다(157). 정밀화는 새로운 상황 결과를 생성하도록 서비스로 전송될 수 있고(158), 이어서 서비스는 정밀화된 상황 결과를 반환한다(159). 본래의 상황 결과 및/또는 정밀화된 상황 결과가 사용자에게 즉시 표시되거나 표시되지 않을 수 있다(160). UI(100)(및 상황 검색 컴포넌트(106))는 표시된 결과를 선택하는 것은 물론, 결과를 특정 방식으로 제공할 수 있다(160).

일부 시나리오에서, 식별된 텍스트 선택(들)은 상황 검색이 검색에 적절한 것으로 파악한 용어 및 구를 포함할 수 있고, 이러한 지원/상황 용어는 도 4에 도시된 바와 같이 사용자에게 표시될 수 있다. (도시되지 않은) 다른 실시예에서, 상이한 단어 또는 구의 백분율 가중치를 나타내는 인터페이스가 표시될 수 있다. 초기 텍스트 선택으로부터 검색을 정밀화하기 위해 서비스에 의해 사용되는 팩터를 나타내는 많은 그러한 시각적 신호가 가능하다.

일부 실시예에서, 사용자는 제안 선택을 수정하기 위한 명령을 호출함으로써, 예로서 검색에 적절한 것으로 간주되지 않는 단어를 선택 해제함으로써 제안된 제2 선택을 조정할 수 있다. 즉, 일 구현예에 따르면, 사용자는 지원/상황 용어를 정밀화하여(161), 상황 결과를 더 정밀화할 수 있다(162). 이어서, 서비스는 더 정밀화된 상황 결과를 생성할 수 있고(163), 이는 사용자에게 표시될 수 있다(164).

도 4를 참조하면, 사용자 인터페이스(200) 내의 단일 단어(201)의 초기 텍스트 선택은 구(400)를 형성하기 위한 단어의 추가에 의해 정밀화되었다. 예로서, 사용자는 Eleanor을 선택했을 수 있고, 상황 검색 서비스는 의도된 선택이 "Eleanor Roosevelt"인 것으로 결정했을 수 있다.

이 예에 더 도시된 바와 같이, (선택 상황의 일부로서 서비스로 전송된 추가 텍스트로부터) 검색에 특히 적절한 것으로 서비스에 의해 결정된 텍스트(401)가 사용자에게 표시되어, 서비스가 고려한 추가 팩터를 사용자에게 나타낼 수 있다. 이 예에서는 밑줄이 도시되지만, 많은 타입의 시각적 신호 또는 요소를 이용하여, 제안된/식별된 텍스트 선택(및/또는 상황 용어)을 나타낼 수 있다는 점에 유의해야 한다.

일 실시예에서, 사용자의 초기 텍스트 선택은 (적용 가능한 경우) 하나의 컬러의 하이라이팅에 의해 표시될 수 있는 반면, 식별된 텍스트 선택(들)의 수신에 응답하여 UI 내에 제공되는 추가 텍스트는 적어도 2개의 컬러의 하이라이팅에 의해 표시될 수 있다(예로서, 본래의 선택에 대한 적절성, 추가 텍스트가 질의에서 사용된 횟수 등에 따라 추가 컬러 또는 구별이 제공될 수 있다). 예로서, 다양한 중요성 "레벨"의 단어가 상이한 컬러로 하이라이팅될 수 있다. 게다가, 상황 용어는 사용자가 특정 결과가 반환된 이유를 이해하도록 하이라이팅될 수 있다.

처리는 관련 결과의 수신으로부터 시작될 수 있다. 결과는 사용자(110)에게 표시하기 위해 분석 및 그룹핑될 수 있다. 적절한 결과의 계층적 표시가 이용 가능할 수 있으며, 따라서 사용자는 UI(100) 내에 있으면서 토픽 또는 결과를 더 깊게 탐사할 수 있다. 따라서, 결과는 먼저 미리보기 결과로서 표시될 수 있고(160), 이어서 UI(100) 내로부터의 결과 선택의 표시의 수신(165)에 응답하여, 다음 레벨의 정보가 표시될 수 있다(166). 결과의 2개 계층(미리보기 결과, 이어서 몰입형 결과)만이 도면에 도시되지만, 다수의 계층이 가능하다. 언제나, 상황 정밀화(161) 및/또는 선택 정밀화(157)를 수행하여, 표시된 결과를 수정할 수 있다.

특정한 구현예에 따르면, 상황 검색의 결과가 수신되면, 적절한 결과를 표시하기 위해 본래의 애플리케이션 상황 내에 계층적 인터페이스가 제공될 수 있다.

사용자 인터페이스(예로서, UI(100))는 "명료화"를 가능하게 할 수 있으며, 따라서 사용자는 의도의 잘못된 이해를 개선할 수 있다. 예로서, 식별된 선택(및 상황 결과)은 잘못될 수 있다(즉, 의도된 선택과 무관할 수 있다). 일례로서, 사용자가 여행 안내 서적에서 'Chicago'를 선택하고, 상황 결과가 뮤지컬과 관련되는 경우, 사용자는 하나 이상의 이용 가능한 메커니즘을 통해 의도를 명료화할 수 있다. 예로서, 시스템(또는 서비스)이 올바른 결과의 확률이 특정 임계치 아래인 것으로 결정할 때 가능한 제안의 리스트가 제공될 수 있다. 게다가, 사용자는 임계치보다 높은 올바를 가능성을 갖는 결과가 제공될 때에도 여전히 선택을 수정 또는 조정할 기회를 제공받을 수 있다.

따라서, 다양한 구현예에서, 사용자는 식별된 선택을 무시할 뿐만 아니라, 서비스에 의해 상황에 적절한 것으로 선택된 상황 엔티티 또는 기사(예로서, 용어)를 명료화 또는 수정할 수 있다.

사용자 인터페이스는 모듈로 그룹핑된 적절한 결과의 인터렉티브형 뷰를 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, "인터렉티브형" 뷰는 사용자가 마우스로 클릭하거나 터치 제스처를 이용하거나 이 분야에 알려진 임의의 다른 사용자 선택 표시를 이용하여 적절한 결과를 선택할 수 있는 뷰를 가리킨다. 인터렉티브형 뷰는 또한 사용자가 콘텐츠를 스크롤링하거나, 텍스트를 선택 및 복사하거나, 추가 콘텐츠에 대한 콘텐츠 내의 링크를 선택하는 것을 가능하게 한다. 사용자는 다수의 레벨을 통해 내비게이션하여 주제의 심층 탐사를 달성할 수 있다. 일부 실시예에서, 인터렉티브형 뷰는 HTML 또는 JSON과 같은 표준화된 웹 마크업 언어를 이용하여 렌더링될 수 있지만, 다른 렌더링 방법이 가능하다.

도 5a-5b는 예시적인 미리보기 상황 결과 인터페이스를 나타낸다. 도 6a-6d는 사용자 인터페이스에 대해 생성될 수 있는 예시적인 확대 상황 결과 인터페이스 뷰 및 결과 그룹핑을 나타낸다.

도 5a를 참조하면, 미리보기 창(500)이 현재 애플리케이션 표면(501) 위에 눈에 거슬리지 않게 표시되어, 애플리케이션 표면(501) 내에 표시된 콘텐츠를 일부만 가릴 수 있다. 예시적인 미리보기(500)에는, (식별된 텍스트(503)로서 제공되는 바와 같은) 타이틀(502), (정지 또는 이동) 이미지(504)(이용 가능한 경우) 및 요약 텍스트(505)(이용 가능한 경우)를 포함할 수 있는 즉석 요약이 제공될 수 있다. 검색의 주제를 요약하기 위한 다른 배열 및 요소가 가능하다. 예시적인 미리보기 창(500) 내에는 적절한 결과의 각각의 모듈의 미리보기도 포함된다.

구체적으로, 사용자가 적절한 결과를 내비게이션하는 것을 가능하게 하기 위해, 적절한 결과(510)는 애플리케이션에 의해 모듈(520)로 그룹핑될 수 있다. 도 5a에 도시된 예에서, 적절한 결과(510)는 소스에 의해 그룹핑된다. 이와 관련하여, "소스"는 네트워크 위치, 웹사이트, 애플리케이션의 타입, (이미지와 같은) 결과의 타입 또는 결과를 그룹핑하기 위한 다른 논리적 방법을 의미할 수 있다. 소스의 일부 예는 위키피디아 온라인 백과사전; 회사에서 사용자에 의해 비공개적으로 이용 가능한 내부 웹 서버 및/또는 소셜 그래프와 같은 로컬 네트워크 소스; 특정 뉴스 웹사이트; 사진 공유 웹사이트로부터의 이미지 파일; 데이터베이스로부터의 구조화된 데이터; 또는 사용자의 장치 또는 개인용 클라우드 저장소 상의 비공개 파일일 수 있다.

모듈 그룹핑은 사용자에 대한 상황 정보에 기초하여 상이하게 표시될 수 있다는 점에 유의해야 한다. 예로서, 집에 있는 사용자는 소비자 또는 엔터테인먼트 지향 정보 소스를 수신할 수 있다. 동일 사용자는 직장에 있을 때 다른 그룹핑(및 전술한 바와 같이 상이한 결과)을 수신할 수 있다. 많은 그러한 형태의 그룹핑이 가능하다.

도 5b는 적절한 결과의 확대 뷰에 대한 하나의 입력 메커니즘을 나타낸다. 이 예에서, 사용자는 확대 뷰를 보기 위해 확대 명령(525)을 선택할 수 있다. 터치 제스처를 통한 선택이 도 5b의 실시예에 도시되지만, 이 분야에 일반적으로 알려진 명령을 선택하기 위한 다른 방법이 가능하다. 일부 구현예에서, 미리보기 창(500)은 인터렉티브형일 수 있다. 사용자가 모듈 중 하나 또는 모듈 내의 결과 중 하나를 선택하는 경우, 추가 정보가 미리보기 창(500) 내에 표면화될 수 있거나, 미리보기 창 내의 요소의 선택은 확대 뷰의 런칭을 유발할 수 있다.

도 6a는 인터렉티브형 확대 뷰(600)가 현재 애플리케이션 표면(501) 위에 표시되어 본래의 애플리케이션 상황을 유지하면서 미리보기 창(500)을 대체하는 예시적인 사용자 인터페이스를 나타낸다.

도 6a에서, 주어진 소스(602)로부터 이용 가능한 결과(601)(예로서, 소스 1(602-1)의 결과)가 상세히 관찰될 수 있다. 일부 예에서, 사용자는 소스에 따라 페이지 내에 그룹핑된 결과 사이를 내비게이션할 수 있다. 사용자가 상이한 소스(602)를 선택할 때, 인터렉티브형 확대 뷰(600)는 도 6b에 도시된 바와 같이 선택된 소스(예로서, 소스 2(602-2))로부터의 결과를 표면화할 수 있다.

각각의 소스에 대한 결과는 그의 콘텐츠에 적합한 방식으로 배열될 수 있다. 예로서, 하나의 소스는 도 6a에 도시된 것과 같은 혼합 콘텐츠 배열에 적합할 수 있는 반면, 도 6b에 도시된 것과 같은 다른 소스는 (위키피디아와 같은 소스에 적합할 수 있는) 칼럼형(columnar) 기사 스타일 레이아웃으로 콘텐츠를 나타낼 수 있다. 상이한 소스로부터의 콘텐츠에 대해서는 다른 레이아웃이 적합할 수 있다. 예로서, 주로 이미지(610)를 생성하는 소스(예로서, 소스 3(602-3))는 도 6c에 도시된 바와 같은 섬네일 레이아웃을 포함할 수 있다. 콘텐츠의 많은 다른 레이아웃이 가능하다. 예로서, 웹 결과의 소스에 대한 뷰는 튜뷰형 미리보기를 갖는 레이아웃을 이용할 수 있다. 게다가, 정보의 일부 또는 전부는 별개의 장치에 제공되고/되거나 나중을 위해 저장될 수 있다.

일부 예에서, 스크롤링 및/또는 주밍(zooming)을 이용하여 인터렉티브형 확대 뷰 내의 이용 가능 결과에 액세스할 수 있다.

일부 구현예에서, 인터렉티브형 확대 뷰(600)는 각각의 소스로부터의 결과의 미리보기가 표시될 수 있다는 점에서 미리보기 창(500)과 유사할 수 있다. 도 6d는 모든 결과가 인터렉티브형 확대 뷰(650) 내에 제공될 수 있는 일례를 도시한다. 인터렉티브형 확대 뷰로부터, 사용자는 링크, 타이틀, 소스 이름 또는 다른 입력 포인트를 선택함으로써 특정 소스의 결과를 더 탐사할 수 있다.

일부 구현예에서, 인터렉티브형 확대 뷰(600, 650) 내에 표시된 결과는 링크를 포함할 수 있다. 사용자가 링크를 따를 것을 선택하는 경우, 링크는 별개의 브라우저 윈도 내에 또는 인터렉티브형 확대 뷰(600, 650) 내에 런칭될 수 있다.

도 7은 소스에 기초하는 적절한 결과의 예시적인 계층 구조를 나타낸다. 도 7에서, 최상위 노드는 개요 노드(700)일 수 있다. 이 개요 노드(700)로부터, 소스(예로서, 소스 1(701), 소스 2(702) 및 소스 3(703))는 물론, 소스 레벨 노드로부터 개요 노드로 전달된 임의의 미리보기 결과도 알려진다. 때때로, 소스 노드는 예로서 다른 소스 노드와 중복된 결과를 포함할 수 있으며(예로서, 결과(704)는 소스 2(702) 및 소스 3(703)을 통해 이용 가능할 수 있으며), 소스 중 하나는 임의의 이미지로서 식별되고, 다른 소스는 그의 결과 내에 이미지를 포함한다.

일부 예에서, 수신되는 모든 결과가 인터렉티브형 확대 뷰를 통해 내비게이션 가능한 적절한 결과의 계층구조 내에 반드시 포함되지는 않는다. 예로서, 결과가 체계화될 때, 상황과 관련된 하나 이상의 양태에 관한 결과의 분석이 수행될 수 있다. 적절하지 않은 것으로 간주되는 결과가 (예로서, 생략된 결과(705)로서) 생략될 수 있다. 일부 예에서, 상황은 소스 결과의 표시를 정밀화할 수 있다. 예로서, 하나의 언어의 기사는 제2 언어로 작성된 것과 다를 수 있고, 2개의 소스로부터의 결과의 표시 간의 선택은 사용자의 위치 및/또는 이전의 선택 이력에 기초하여 이루어질 수 있다.

도 8은 일부 실시예에서 사용되는 컴퓨팅 장치(예로서, 사용자 장치(112))의 컴포넌트를 나타내는 블록도를 도시한다. 시스템(800)은 단일 컴퓨팅 장치 내에 구현되거나, 프로그램 명령어의 실행에 협력하는 다수의 컴퓨팅 장치 또는 서브시스템에 걸쳐 분산될 수 있다. 시스템(800)은 개인용 컴퓨터, 태블릿 컴퓨터, 리더, 이동 장치, 개인 휴대 단말기, 웨어러블 컴퓨터, 스마트폰, 랩탑 컴퓨터(노트북 또는 넷북), 게이밍 장치 또는 콘솔, 데스크탑 컴퓨터 또는 스마트 텔레비전을 포함하지만 이에 한정되지 않는 다양한 컴퓨팅 장치를 구현하는 데 사용될 수 있다. 따라서, 시스템(800)과 관련하여 설명된 것보다 많거나 적은 요소가 특정 컴퓨팅 장치를 구현하기 위해 포함될 수 있다.

시스템(800)은 예로서 장치 운영 체제(OS)(815)와 인터렉션하는 하나 이상의 애플리케이션 프로그램(810)의 명령어에 따라 데이터를 처리하는 프로세서(805)를 포함한다. 프로세서(805)의 예는 범용 중앙 처리 유닛, 주문형 프로세서 및 논리 장치는 물론, 임의의 다른 타입의 처리 장치, 이들의 조합 또는 변형을 포함한다.

애플리케이션 프로그램(810), OS(815) 및 다른 소프트웨어가 저장 시스템(802) 내에 로딩되고 저장될 수 있다. 장치 운영 체제(815)는 일반적으로 컴퓨팅 장치 내의 다양한 컴포넌트의 기능을 제어 및 조정하여, 애플리케이션이 네트워킹 인터페이스와 같은 더 낮은 레벨의 인터페이스와 접속하기 위한 더 쉬운 방법을 제공한다. 운영 체제의 비한정적인 예는 마이크로소프트사로부터의 윈도, 애플사로부터의 IOS, 구글사로부터의 안드로이드 OS, 마이크로소프트로부터의 윈도 RT, 및 캐노니컬로부터의 리눅스 OS의 우분투 버라이어티를 포함한다.

OS(815)는 컴퓨팅 장치 상에서는 물론, 고유 장치 OS 위에서 실행되는 소프트웨어 가상화 계층 상에서도 고유하게 구현될 수 있다는 점에 유의해야 한다. 가상화된 OS 계층은 도 8에 도시되지 않았지만, OS(815) 공간 내에 추가적인 삽입된 그룹핑으로서 간주될 수 있으며, 이들 각각은 OS, 애플리케이션 프로그램 및 API를 포함할 수 있다.

저장 시스템(820)은 프로세서(805)에 의해 판독될 수 있고 소프트웨어(애플리케이션 프로그램(810) 및 OS(815))를 저장할 수 있는 임의의 컴퓨터 판독 가능 저장 매체를 포함할 수 있다.

저장 시스템(820)은 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함할 수 있다. 저장 매체의 예는 랜덤 액세스 메모리, 판독 전용 메모리, 자기 디스크, 광 디스크, 플래시 메모리, 가상 메모리 및 비가상 메모리, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 임의의 다른 적절한 저장 매체를 포함한다. 어느 경우에도, 저장 매체는 전파 신호가 아니다. 저장 매체에 더하여, 일부 구현예에서, 저장 시스템(820)은 소프트웨어를 내부적으로 또는 외부적으로 통신할 수 있는 통신 매체도 포함할 수 있다. 저장 시스템(820)은 단일 저장 장치로서 구현될 수 있지만, 서로 공존하거나 분산되는 다수의 저장 장치 또는 서브시스템에 걸쳐 구현될 수도 있다. 저장 시스템(820)은 프로세서(805)와 통신할 수 있는 제어기와 같은 추가 요소를 포함할 수 있다.

소프트웨어는 프로그램 명령어 내에 구현될 수 있으며, 많은 기능 중에서 특히, 일반적으로 시스템(800)에 의해 또는 구체적으로 프로세서(805)에 의해 실행될 때, 시스템(800) 또는 프로세서(805)가 본 명세서에서 설명되는 바와 같이 동작하게 할 수 있다. 소프트웨어는 운영 체제 소프트웨어 또는 다른 애플리케이션 소프트웨어와 같은 추가적인 프로세스, 프로그램 또는 컴포넌트를 포함할 수 있다. 소프트웨어는 프로세서(805)에 의해 실행될 수 있는 펌웨어 또는 소정의 다른 형태의 기계 판독 가능 처리 명령어도 포함할 수 있다.

일반적으로, 소프트웨어는 프로세서(805) 내에 로딩되고 실행될 때 컴퓨팅 시스템(800)을 일반적으로 범용 컴퓨팅 시스템으로부터 각각의 구현예에 대해 본 명세서에서 설명된 바와 같은 상황 정보 탐색 및 내비게이션 프로세스 흐름을 가능하게 하도록 맞춤화된 특수 목적 컴퓨팅 시스템으로 변환할 수 있다. 사실상, 저장 시스템(820) 상에 소프트웨어를 인코딩하는 것은 저장 시스템(820)의 물리 구조를 변환할 수 있다. 물리 구조의 구체적인 변환은 본 설명의 상이한 구현예에서 다양한 팩터에 의존할 수 있다. 그러한 팩터의 예는 저장 시스템(820)의 저장 매체를 구현하는 데 사용되는 기술 및 컴퓨터 저장 매체가 주 또는 보조 저장소로서 특성화되는지를 포함할 수 있지만 이에 한정되지 않는다.

예로서, 컴퓨터 저장 매체가 반도체 기반 메모리로서 구현되는 경우, 소프트웨어는 프로그램이 반도체 메모리 내에 인코딩될 때 예로서 반도체 메모리를 구성하는 트랜지스터, 커패시터 또는 다른 개별 회로 요소의 상태를 변환함으로써 반도체 메모리의 물리 상태를 변환할 수 있다. 유사한 변환이 자기 또는 광학 매체에 대해 발생할 수 있다. 본 설명의 범위로부터 벗어나지 않고서 물리 매체의 다른 변환이 가능하며, 위의 예는 본 설명을 용이하게 하기 위해 제공될 뿐이다.

시스템(800)의 많은 요소가 시스템-온-칩(SoC) 장치 내에 포함될 수 있다는 점에 유의해야 한다. 이러한 요소는 프로세서(805), 통신 인터페이스(835), 오디오 인터페이스(840), 비디오 인터페이스(845) 및 심지어는 저장 시스템(820)의 요소를 포함할 수 있지만, 이에 한정되지 않는다.

통신 인터페이스(835)는 하나 이상의 통신 네트워크(도시되지 않음)를 통해 다른 컴퓨팅 시스템과 통신하는 것을 가능하게 하는 통신 접속 및 장치를 포함할 수 있다. 시스템간 통신을 함께 가능하게 하는 접속 및 장치의 예는 네트워크 인터페이스 카드, 안테나, 전력 증폭기, RF 회로, 송수신기 및 다른 통신 회로를 포함할 수 있다. 접속 및 장치는 (금속, 유리, 공기 또는 임의의 다른 적절한 통신 매체와 같은) 통신 매체를 통해 통신하여 다른 컴퓨팅 시스템 또는 시스템의 네트워크와 통신을 교환할 수 있다. 통신 인터페이스로의 그리고 그로부터의 송신은 필요시에 통신 이벤트를 애플리케이션 및 API에 알리는 OS(815)에 의해 제어된다.

인터페이스 장치(850)는 마우스(851), 트랙 패드, 키보드(852), 마이크(853), 사용자로부터 터치 제스처를 수신하기 위한 터치 장치(854), 사용자에 의한 비터치 제스처 및 다른 모션을 검출하기 위한 모션 입력 장치(855), 및 사용자 입력을 수신할 수 있는 다른 타입의 입력 장치 및 그와 관련된 처리 요소와 같은 입력 장치를 포함할 수 있다.

인터페이스 장치(850)는 디스플레이 스크린(856), 스피커(857), 촉각 피드백을 위한 햅틱 장치 및 다른 타입의 출력 장치와 같은 출력 장치도 포함할 수 있다. 소정 예에서, 입력 및 출력 장치는 이미지를 표시할 뿐만 아니라 사용자로부터 터치 제스처 입력을 수신하는 터치스크린 디스플레이와 같은 단일 장치 내에 결합될 수 있다. 시각적 출력이 디스플레이(851) 상에 다양한 방식으로 표시되어, 그래픽 사용자 인터페이스 요소, 텍스트, 이미지, 비디오, 통지, 가상 버튼, 가상 키보드, 또는 시각 형태로 표시될 수 있는 임의의 다른 타입의 정보를 제공할 수 있다. 다른 유형의 사용자 인터페이스가 가능하다. 사용자 인터페이스(850)는 다양한 사용자 입력 및 출력 장치를 지원하기 위해 OS(815)에 의해 실행되는 관련 사용자 인터페이스 소프트웨어도 포함할 수 있다. 그러한 소프트웨어는 OS가 정의된 메커니즘을 이용하여 사용자 인터페이스 하드웨어 이벤트를 애플리케이션 프로그램(810)으로 통신하는 것을 돕는다.

컴퓨팅 시스템(800)은 일반적으로 본 명세서에서 설명되는 바와 같은 상황 정보 탐색 및 내비게이션 프로세스 흐름을 갖는 애플리케이션을 구현하기 위해 소프트웨어를 전개하고 실행하는 컴퓨팅 시스템을 나타내는 것을 의도한다는 것을 이해해야 한다. 그러나, 컴퓨팅 시스템(800)은 소프트웨어가 스테이징(staging)될 수 있고 소프트웨어가 전개 및 실행 또는 또한 추가적인 배포를 위해 그로부터 또 다른 컴퓨팅 시스템으로 배포, 전송, 다운로드 또는 달리 제공될 수 있는 임의의 컴퓨팅 시스템을 나타낼 수도 있다.

도 9는 제안된 개선을 갖는 애플리케이션이 시스템(800)(도 8) 내에 도시되고 위에서 설명된 원리를 이용하여 구현될 수 있는 애플리케이션 환경(900)을 나타낸다. 구체적으로, 도 9는 다양한 애플리케이션 플랫폼(910, 920, 930, 940)을 나타내며, 이들 각각은 통신 네트워크(901)를 통해 서비스 플랫폼(970, 980)과 통신하여 상황 검색을 수행하고 적절한 결과를 반환할 수 있다. 애플리케이션 플랫폼(910, 920, 930, 940)은 해당 플랫폼 상에서 애플리케이션(911, 921, 931, 941)을 구현하는 데 적합한 컴퓨팅 아키텍처를 이용하는 임의의 컴퓨팅 기기, 장치, 시스템 또는 이들의 집합일 수 있다.

일부 실시예에서, 설명되는 인터페이스 및 프로세스 흐름은 텍스트 콘텐츠를 보고 조작하도록 설계된 애플리케이션 내에서 구현될 수 있다. 다른 실시예에서, 설명되는 방법에 따라 텍스트 선택을 검출하고 적절한 결과를 비강제적으로 렌더링하는 기능이 OS에 의해, 또는 API를 통해 애플리케이션에 의해 액세스될 수 있는 계층화된 컴포넌트에 의해 구현될 수 있다.

애플리케이션(911)은 국지적으로 설치 및 실행되는 풀 또는 "고유" 버전으로 간주될 수 있다. 일부 예에서, 애플리케이션(911)은 하이브리드 방식으로 동작할 수 있으며, 이에 따라 애플리케이션의 일부는 국지적으로 설치 및 실행되고, 다른 부분은 원격적으로 실행된 후에 로컬 렌더링을 위해 애플리케이션 플랫폼(910)으로 스트리밍된다. 애플리케이션(911)의 비한정적인 예는 마이크로소프트(등록상표) 워드와 같은 워드 프로세서; 이메일 애플리케이션; 마이크로소프트(등록상표) 리더 또는 아마존 킨들(등록상표) 리더와 같은 전자 리더; 및 마이크로소프트 원노트(등록상표), 에버노트(등록상표) 또는 구글 키프(상표)와 같은 노트-테이킹 애플리케이션을 포함한다.

애플리케이션 플랫폼(920) 상에서 구현되는 브라우저 기반 애플리케이션(921)은 브라우저 애플리케이션(922)과 관련하여 전적으로 또는 부분적으로 실행되는 브라우저 기반 버전으로 간주될 수 있다. 이러한 모델에서, 프로그래밍 명령어의 전부 또는 일부는 원격적으로 실행되며, 브라우저(922)는 그 결과를 HTML과 같은 시각 표현 언어를 통해 사용자의 장치로 렌더링한다. 브라우저 기반 애플리케이션(921)의 비한정적인 예는 마이크로소프트 스카이드라이브(등록상표)를 통해 이용 가능한 마이크로소프트(등록상표) 워드 웹 앱 서비스이다. 브라우저 애플리케이션(922)의 예는 구글 크롬(상표), 마이크로소프트 인터넷 익스플로러(상표) 및 모질라 파이어폭스(상표)를 포함한다.

애플리케이션(931)은 이동 장치 상에 국지적으로 설치되고 실행되는 이동 애플리케이션 버전으로 간주될 수 있다. 일부 예에서, 애플리케이션(931)은 하이브리드 방식으로 동작할 수 있으며, 이에 따라 애플리케이션의 일부는 국지적으로 설치 및 실행되고, 다른 부분은 원격적으로 실행된 후에 로컬 렌더링을 위해 애플리케이션 플랫폼(930)으로 스트리밍된다. 이동 애플리케이션(931)의 비한정적인 예는 구글 안드로이드(상표) 및 애플 IOS(상표) 장치 상의 퀵오피스(등록상표) HD를 포함한다.

애플리케이션 플랫폼(940) 상에서 구현되는 애플리케이션(941)은 이동 브라우저 애플리케이션(942)과 관련하여 전적으로 또는 부분적으로 실행되는 브라우저 기반 버전으로 간주될 수 있다. 이 모델에서, 프로그래밍 명령어의 전부 또는 일부는 원격적으로 실행되며, 이동 브라우저(942)는 그 결과를 HTML과 같은 시각 표현 언어를 통해 사용자의 장치로 렌더링한다. 이동 브라우저 기반 애플리케이션(941)의 비한정적인 예는 마이크로소프트 스카이드라이브(등록상표), 구글 드라이브(상표)를 통한 콘텐츠의 이동-장치-향상 뷰를 포함한다. 이동 브라우저 애플리케이션(942)의 예는 구글 크롬(상표) 및 모질라 파이어폭스(상표)를 포함한다.

애플리케이션 플랫폼(910, 920, 930, 940)은 네트워크(901)에 의해 접속된 서비스 플랫폼(970, 980)과 통신할 수 있다. 서비스 플랫폼은 본 명세서에서 설명되는 바와 같은 상황 정보 탐색 및 내비게이션을 수행할 수 있는 애플리케이션 플랫폼 및 애플리케이션에 유용한 다양한 서비스를 전달할 수 있다. 예로서, 서비스 플랫폼(970)은 전술한 검색 텍스트의 처리 및 상황 성형을 가능하게 하는 상황 검색 서비스(971)를 전달할 수 있다. 상황 검색 서비스는 또한 전술한 인터페이스에 의한 표시를 위해 검색 엔진으로부터 적절한 결과를 회수, 분류 및 그룹핑할 수 있다. 서비스(971)는 또한 원격 프로그래밍 명령어를 호스팅하고, 그의 결과를 임의의 애플리케이션 플랫폼 상의 애플리케이션 또는 브라우저로 렌더링할 수 있다. 상황 검색 서비스(971)는 네트워크를 통해 통신하는 하나 이상의 물리 및/또는 가상 서버를 이용하여 구현될 수 있다.

게다가, 서비스 플랫폼(980)은 애플리케이션(911, 921, 931, 941)에 의해 그리고 상황 검색 서비스(971)에 의해 이용될 수 있는 파일 또는 다른 데이터의 비국지적 저장을 가능하게 하는 저장 제공자 서비스(981)를 전달할 수 있다. 예로서, 저장 제공자 서비스(981)는 클라우드 저장 제공자, 데이터베이스 서버 또는 근거리 네트워크 파일 서버일 수 있다. 상황 검색 서비스는 콘텐츠에 대해 이러한 저장 제공자를 검색하고 본 명세서에서 설명되는 바와 같은 그룹핑 방식으로 결과를 제공하기 위한 기능을 포함할 수 있다. 저장 제공자 서비스의 비한정적인 예는 마이크로소프트 스카이드라이브(등록상표), 구글 드라이브(상표), 드롭박스(상표), 박스(상표) 및 마이크로소프트(등록상표) SQL 서버를 포함한다.

게다가, 서비스 플랫폼(990)은 적절한 결과를 찾아 애플리케이션(911, 921, 931, 941)으로 그리고 상황 검색 서비스(971)로 반환하는 것을 가능하게 하는 검색 엔진 서비스(991)를 전달할 수 있다. 예로서, 검색 엔진 서비스(991)는 Bing.com 또는 Google.com과 같은 인터넷 검색 엔진 또는 마이크로소프트(등록상표) 검색 서버 익스프레스와 같은 비공개 네트워크 상에서 이용 가능한 검색 엔진일 수 있다.

본 명세서에서 "하나의 실시예", "일 실시예", "예시적인 실시예" 등에 대한 임의의 참조는 그 실시예와 관련하여 설명되는 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 본 명세서의 다양한 곳에서의 그러한 표현의 출현은 반드시 모두가 동일한 실시예를 지칭하지는 않는다. 게다가, 본 명세서에서 개시되는 임의의 발명 또는 그의 실시예의 임의의 요소 또는 제한은 본 명세서에서 개시되는 임의의 그리고/또는 모든 다른 요소 또는 제한(개별적으로 또는 임의의 조합으로) 또는 임의의 다른 발명 또는 그의 실시예와 결합될 수 있으며, 모든 그러한 결합은 그에 대한 제한 없이 본 발명의 범위와 관련하여 고려된다.

본 명세서에서 설명되는 예 및 실시예는 단지 예시의 목적을 위한 것이며, 그를 고려하는 다양한 수정 또는 변경이 이 분야의 기술자에게 연상될 것이고, 본원의 사상 및 범위 내에 포함되어야 한다는 것을 이해해야 한다.

Claims (10)

1. 애플리케이션 내에서 상황 정보(contextual information) 탐색 및 내비게이션을 가능하게 하는 방법으로서,
   사용자가 콘텐츠를 소비 또는 생성하고 있는 애플리케이션 내에서, 상기 사용자로부터 초기 콘텐츠 선택의 표시를 수신하는 단계와,
   상기 초기 콘텐츠 선택의 상기 표시를 수신한 것에 응답하여, 상기 초기 콘텐츠 선택 및 선택 상황을 이용하여, 식별된 선택 및 상기 식별된 선택에 기초하여 생성된 복수의 상황 검색 결과를 결정하는 단계 - 상기 선택 상황은 상기 애플리케이션 내의 텍스트의 확대 부분, 이전의 검색 이력, 상기 애플리케이션의 애플리케이션 타입의 정보 또는 상기 애플리케이션이 실행되고 있는 장치 타입의 정보를 포함함 - 와,
   상기 식별된 선택을 표시하는 단계
   를 포함하는 방법.
   
2. 제1항에 있어서,
   상기 사용자로부터 상기 초기 콘텐츠 선택의 상기 표시를 수신하는 단계는, 전체 페이지, 문서 또는 뷰 윈도의 내재적인(inherent) 또는 명시적인 선택을 포함하고,
   상기 식별된 선택은 상기 사용자의 주의를 위한 엔티티 및 토픽을 포함하는
   방법.
   
3. 제1항에 있어서,
   상기 초기 콘텐츠 선택 및 상기 선택 상황을 이용하여 상기 식별된 선택 및 상기 식별된 선택에 기초하여 생성된 상기 복수의 상황 검색 결과를 결정하는 단계는
   상기 초기 콘텐츠 선택 및 상기 선택 상황을 상황 검색 서비스로 전송하는 단계와,
   상기 상황 검색 서비스로부터 상기 식별된 선택 및 상기 상황 검색 결과를 수신하는 단계
   를 포함하는 방법.
   
4. 제1항에 있어서,
   상기 초기 콘텐츠 선택 및 상기 선택 상황을 이용하여 상기 식별된 선택 및 상기 식별된 선택에 기초하여 생성된 상기 복수의 상황 검색 결과를 결정하는 단계는
   상기 초기 콘텐츠 선택 및 상기 애플리케이션 내의 텍스트의 확대 부분을 이용하여 상기 식별된 선택을 결정하는 단계와,
   상기 식별된 선택 및 상기 선택 상황을 상황 검색 서비스로 전송하는 단계와,
   상기 상황 검색 서비스로부터 상기 상황 검색 결과를 수신하는 단계
   를 포함하는 방법.
   
5. 제1항에 있어서,
   상기 상황 검색 결과를 소스에 기초하여 계층 구조로 체계화하는 단계와 - 상기 소스는 네트워크 위치, 웹사이트, 애플리케이션의 타입 및 결과의 타입 중 적어도 하나를 포함함 -,
   상기 상황 검색 결과의 미리보기를 표시하는 단계와,
   상기 상황 검색 결과의 상기 미리보기로부터 확대 뷰에 대한 선택의 표시를 수신한 것에 응답하여, 상기 사용자가 상기 계층 구조를 내비게이션할 때 이용하는인터렉티브형 확대 뷰를 표시하는 단계
   를 더 포함하고,
   상기 미리보기는 상기 사용자가 상기 콘텐츠를 소비 또는 생성하고 있는 것과 동일한 장치 또는 별개의 장치 내에 표시되는
   방법.
   
6. 기기로서,
   하나 이상의 컴퓨터 판독 가능 저장 매체와,
   상황 검색 컴포넌트를 포함하는, 콘텐츠를 소비 또는 생성하기 위한 애플리케이션
   을 포함하고,
   상기 애플리케이션은 상기 하나 이상의 컴퓨터 판독 가능 매체 상에 저장된 프로그램 명령어에서 구현되고, 상기 프로그램 명령어는 처리 시스템에 의해 실행될 때 상기 처리 시스템으로 하여금 사용자 인터페이스를 렌더링하게 하며,
   상기 사용자 인터페이스는
   사용자에 의해 소비 또는 생성되고 있는 콘텐츠의 콘텐츠 뷰와 - 상기 콘텐츠 뷰는 상기 상황 검색 컴포넌트와의 연동에 이용하기 위한 상황 검색 요소를 포함함 -,
   소스에 기초하여 계층 구조로 체계화되고 상기 상황 검색 결과의 수신에 응답하여 렌더링되는 상황 검색 결과의 미리보기 뷰와,
   상기 미리보기 뷰로부터의 인터렉티브형 확대 뷰에 대한 선택의 표시를 수신하는 것에 응답하여 렌더링되고, 상기 사용자가 상기 계층 구조를 내비게이션하는 인터페이스 요소를 포함하는 인터렉티브형 확대 뷰
   를 포함하는
   기기.
7. 제6항에 있어서,
   상기 콘텐츠 뷰는 초기 콘텐츠 선택의 표시 및 상기 상황 검색 요소를 통한 상기 상황 검색 컴포넌트의 연동의 표시를 수신하는 것에 응답하여 하이라이팅, 밑줄긋기, 굵게 하기, 폰트 스타일 또는 폰트 컬러와 같은 비주얼 모티프를 이용하여 콘텐츠의 식별된 선택의 표시를 표면화하고,
   선택 사항으로서, 상기 콘텐츠 뷰는 상기 사용자가 상기 식별된 선택을 수정하고 상황 검색 서비스와 연동하여 갱신된 상황 검색 결과를 생성하는 것을 가능하게 하는 인터페이스 요소를 더 표면화하는
   기기.
   
8. 제6항에 있어서,
   상기 소스는 네트워크 위치, 웹사이트, 애플리케이션의 타입 및 결과의 타입 중 적어도 하나를 포함하는
   기기.
   
9. 리더 기기로서,
   하나 이상의 컴퓨터 판독 가능 저장 매체와,
   입력 장치와,
   상기 하나 이상의 컴퓨터 판독 가능 매체에 저장된 프로그램 명령어
   를 포함하고, 상기 프로그램 명령어는 상기 리더 기기의 처리 시스템에 의해 실행될 때 상기 처리 시스템으로 하여금 적어도:
   표시를 위해 문서를 렌더링하고,
   상기 문서 내의 초기 콘텐츠 선택의 표시 및 상기 초기 콘텐츠 선택의 상황 검색을 위한 요청을 상기 입력 장치를 통해 수신하며,
   상기 상황 검색을 위한 상기 요청에 응답하여, 상기 초기 콘텐츠 선택 및 상기 문서로부터의 텍스트의 추가 부분을 포함하는 선택 상황을 상황 검색 서비스로 전송하고,
   상기 상황 검색 서비스로부터 하나 이상의 식별된 선택 용어 및 상황 검색 결과를 수신하고,
   상기 하나 이상의 식별된 선택 용어를 표시하기 위한 비주얼 모티프를 상기 문서 내에 렌더링하고,
   소스에 기초하여 상기 상황 검색 결과를 계층 구조로 체계화하고,
   상기 체계화된 상황 검색 결과의 인터렉티브형 뷰를 렌더링하게 하는
   리더 기기.
   
10. 제9항에 있어서,
    상기 초기 콘텐츠 선택은 텍스트 내의 포인트, 텍스트의 단일 단어 또는 텍스트의 적어도 하나의 단어인
    리더 기기.

Images