KR20150006454A

KR20150006454A - 음성 작동형 문서 탐색 및 브라우징을 위한 디바이스, 방법 및 사용자 인터페이스

Info

Publication number: KR20150006454A
Application number: KR1020147032902A
Authority: KR
Inventors: 크리스토퍼 브라이언 플레이자크; 토마스 로버트 그루버
Original assignee: 애플 인크.
Priority date: 2012-06-29
Filing date: 2013-06-25
Publication date: 2015-01-16
Also published as: JP6145163B2; US9495129B2; KR20170099415A; AU2013280545B2; AU2013280545A1; CN104335207B; US20140006030A1; KR101888801B1; WO2014004544A3; HK1206836A1; EP2867803A2; JP2015528918A; KR101772032B1; CN104335207A; WO2014004544A2; HK1208276A1; JP6535363B2; JP2017162501A

Abstract

하나 이상의 프로세서 및 메모리를 갖는 전자 디바이스가 복수의 링크를 포함하는 제1 문서를 수신한다. 전자 디바이스는 제1 문서의 적어도 일부분의 음성 판독을 출력하고, 복수의 링크 중 한 링크를 식별하는 오디오 정보를 출력한다. 링크를 식별하는 오디오 정보를 출력하는 것에 응답하여, 전자 디바이스는 사용자로부터 링크에 대한 음성 명령을 수신하고, 사용자로부터의 음성 명령을 수신하는 것에 응답하여, 링크와 연관된 제2 문서의 적어도 일부분의 음성 판독을 출력한다.

Description

음성 작동형 문서 탐색 및 브라우징을 위한 디바이스, 방법 및 사용자 인터페이스{DEVICE, METHOD, AND USER INTERFACE FOR VOICE-ACTIVATED NAVIGATION AND BROWSING OF A DOCUMENT}

개시되는 본 실시예들은 일반적으로 디지털 어시스턴트 시스템(digital assistant systems)에 관한 것으로, 더 상세하게는, 음성 작동형 문서 탐색 및 브라우징을 수행하는 디지털 어시스턴트 시스템에 관한 것이다.

인간인 개인 비서와 같이, 디지털 어시스턴트 시스템은 요청된 작업(task)을 수행하고 요청된 조언, 정보, 또는 서비스를 제공할 수 있다. 사용자의 요청을 수행하는 디지털 어시스턴트 시스템의 성능은 요청 또는 명령에 대한 디지털 어시스턴트 시스템의 정확한 이해력에 달려있다. 최근 자연 언어 처리의 발전을 통해 사용자들은 구어적 또는 문어적 형태로 자연 언어를 사용하여 디지털 어시스턴트 시스템과의 상호작용이 가능해졌다. 그와 같은 디지털 어시스턴트 시스템은 사용자의 입력을 해석하여 사용자의 의도를 추론하고, 추론된 의도를 실행가능한 작업 및 파라미터로 변환하고, 작업을 수행하기 위하여 작동을 실행하거나 서비스를 전개하고, 사용자에게 이해될 수 있는 출력물을 생성할 수 있다.

그와 같은 디지털 어시스턴트 시스템은 전자 디바이스와 상호작용하기 위한 접근가능성에 제한을 갖는 사용자들을 돕도록 구성될 수 있다. 예를 들어, 저시력자 및 맹인 사용자와 같은 시력이 손상된 사람들, 난독증 사용자 또는 기타 학습장애가 있는 사용자, 또는 단지 작동 중에 디바이스를 보지 않고 디바이스를 사용하기를 원하거나 필요로 하는 정상 시력의 사용자들도 정보를 사용자에게 읽어 주는 디지털 어시스턴트 시스템을 이용할 수 있다. 다른 예에서, 터치 스크린이 있는 전자 디바이스에 대하여, 특정 손가락 또는 손에 부상이 있는 사람들과 같은 운동 기능이 제한된 사람들은 터치 스크린 상에 터치 제스처를 수행하는 것이, 불가능하거나 어려울 수 있다. 그러나, 디지털 어시스턴트 시스템은 음성 명령을 수신함으로써, 터치 제스처가 필요 없을 수 있다.

그러나, 문서의 탐색 및 브라우징은 여전히 복잡하고 비효율적이어서, 손상된 시력 및/또는 운동 기능이 제한된 사용자에게 현저한 인지적 부담을 안겨준다.

앞서 기재한 바와 같이, 손상된 시력 및/또는 운동 기능이 제한된 사용자에게 문서의 탐색 및 브라우징을 위한 개선된 사용자 인터페이스를 제공하는 디지털 어시스턴트 시스템이 요구된다. 이를 통해 사용자는 효율적으로 문서를 탐색하고 브라우징할 수 있다.

본 명세서에 개시된 실시예는 음성 작동형 문서 탐색 및 브라우징을 제공하는 방법, 시스템, 및 컴퓨터 판독가능 저장 매체를 제공한다.

일부 실시예는 하나 이상의 프로세서 및 메모리를 갖는 전자 디바이스에서 수행되는 문서를 통해 탐색하기 위한 방법을 제공한다. 이 방법은 복수의 링크를 포함하는 제1 문서를 수신하는 것, 제1 문서의 적어도 일부분의 음성 판독을 출력하는 것, 복수의 링크 중 한 링크를 식별하는 오디오 정보를 출력하는 것, 및 링크를 식별하는 오디오 정보를 출력하는 것에 응답하여, 사용자로부터 링크에 대한 제1 유형의 음성 명령을 수신하는 것을 포함한다. 방법은 또한, 사용자로부터 음성 명령을 수신하는 것에 응답하여, 링크와 연관된 제2 문서의 적어도 일부분의 음성 판독을 출력하는 것을 포함한다.

일부 실시예에 따라, 하나 이상의 프로세서 및 메모리를 갖는 전자 디바이스에서 수행되는 문서를 브라우징하기 위한 방법은 복수의 부분을 갖는 문서를 수신하는 것을 포함하고, 상기 부분들 중 적어도 일부분은 각자의 메타데이터와 연관된다. 방법은 또한 문서의 각자의 부분의 음성 판독을 출력하는 것을 포함하고, 이는 각자의 메타데이터에 기초하여 각자의 부분을 오디오로 구분하는 것을 포함한다. 방법은 사용자로부터 특정 메타데이터와 연관된 특정 부분으로의 탐색을 요청하는 음성 명령을 수신하는 것, 및, 음성 명령을 수신하는 것에 응답하여, 특정 메타데이터와 연관된 특정 부분의 음성 판독을 출력하는 것을 추가로 포함한다.

일부 실시예에 따라, 하나 이상의 프로세서 및 메모리를 갖는 전자 디바이스에서 수행되는 한 세트의 문서를 식별하기 위한 방법은 복수의 문서 중 한 문서의 적어도 일부의 음성 판독을 출력하는 것을 포함한다. 방법은 또한, 음성 판독을 출력하는 동안, 사용자로부터 특정 기준에 대응하는 문서를 요청하는 음성 명령을 수신하는 것을 포함한다. 방법은, 사용자로부터 음성 명령을 수신하는 것에 응답하여, 복수의 문서 중에서, 특정 기준에 대응하는 하나 이상의 문서를 식별하는 것, 및 하나 이상의 식별된 문서 중 각자의 문서의 적어도 일부분의 음성 판독을 출력하는 것을 추가로 포함한다.

일부 실시예에 따라, 전자 디바이스는 하나 이상의 프로세서, 및 하나 이상의 프로세서에 의한 실행을 위한 하나 이상의 프로그램을 저장하는 메모리를 포함한다. 하나 이상의 프로그램은 앞서 기재된 방법들 중 임의의 방법의 동작을 수행하기 위한 명령어들을 포함한다. 일부 실시예에 따라, 디스플레이, 메모리, 및 메모리에 저장되는 하나 이상의 프로그램들을 실행시키는 하나 이상의 프로세서를 갖는 전자 디바이스 상의 그래픽 사용자 인터페이스는, 상기 방법들 중 임의의 방법에 기술된 바와 같이, 입력들에 응답하여 업데이트되는, 앞서 기재된 방법들 중 임의의 방법으로 디스플레이되는 요소들 중 하나 이상을 포함한다. 일부 실시예에 따라, 컴퓨터 판독가능 저장 매체는 하나 이상의 프로세서 및 메모리를 갖는 전자 디바이스에 의해 실행시, 디바이스로 하여금 앞서 기재된 방법들 중 임의의 방법의 동작을 수행하도록 하는 명령어들을 내부에 저장하였다. 일부 실시예에 따라, 전자 디바이스는 앞서 기재된 방법들 중 임의의 방법의 동작을 수행하기 위한 수단을 포함한다. 일부 실시예에 따라, 전자 디바이스에서 사용하기 위한 정보 처리 장치는 앞서 기재된 방법들 중 임의의 방법의 동작을 수행하기 위한 수단을 포함한다. 일부 실시예에 따라, 전자 디바이스는 앞서 기재된 방법들 중 임의의 방법의 동작을 수행하도록 구성되는 프로세싱 유닛을 포함한다.

일부 실시예에 따라, 전자 디바이스는 오디오 입력들을 수신하도록 구성되는 오디오 입력 유닛을 포함한다. 전자 디바이스는 또한 오디오 정보를 출력하도록 구성되는 오디오 출력 유닛을 포함한다. 전자 디바이스는 오디오 입력 유닛 및 오디오 출력 유닛에 연결되는 프로세싱 유닛을 포함한다. 프로세싱 유닛은 복수의 링크를 포함하는 제1 문서를 수신하도록 구성된다. 프로세싱 유닛은 제1 문서의 적어도 일부분의 음성 판독을 출력하도록 구성된다. 프로세싱 유닛은 복수의 링크 중 한 링크를 식별하는 오디오 정보를 출력하도록 구성된다. 프로세싱 유닛은, 링크를 식별하는 오디오 정보를 출력하는 것에 응답하여, 사용자로부터 링크에 대한 음성 명령을 수신하도록 구성된다. 프로세싱 유닛은, 사용자로부터 음성 명령을 수신하는 것에 응답하여, 링크와 연관된 제2 문서의 적어도 일부분의 음성 판독을 출력하도록 구성된다.

일부 실시예에 따라, 전자 디바이스는 오디오 입력들을 수신하도록 구성되는 오디오 입력 유닛을 포함한다. 전자 디바이스는 또한 오디오 정보를 출력하도록 구성되는 오디오 출력 유닛을 포함한다. 전자 디바이스는 오디오 입력 유닛 및 오디오 출력 유닛에 연결되는 프로세싱 유닛을 포함한다. 프로세싱 유닛은 복수의 부분을 갖는 문서를 수신하도록 구성되고, 상기 부분들 중 적어도 일부분은 각자의 메타데이터와 연관된다. 프로세싱 유닛은 문서의 각자의 부분의 음성 판독을 출력하도록 구성되고, 이는 각자의 메타데이터에 기초하여 각자의 부분을 오디오로 구분하는 것을 포함한다. 프로세싱 유닛은 사용자로부터 특정 메타데이터와 연관된 특정 부분으로의 탐색을 요청하는 음성 명령을 수신하도록 구성된다. 프로세싱 유닛은, 음성 명령을 수신하는 것에 응답하여, 특정 메타데이터와 연관된 특정 부분의 음성 판독을 출력하도록 구성된다.

일부 실시예에 따라, 전자 디바이스는 오디오 입력들을 수신하도록 구성되는 오디오 입력 유닛을 포함한다. 전자 디바이스는 또한 오디오 정보를 출력하도록 구성되는 오디오 출력 유닛을 포함한다. 전자 디바이스는 오디오 입력 유닛 및 오디오 출력 유닛에 연결되는 프로세싱 유닛을 포함한다. 프로세싱 유닛은 복수의 문서 중 한 문서의 적어도 일부분의 음성 판독을 출력하도록 구성된다. 프로세싱 유닛은, 음성 판독을 출력하는 동안, 사용자로부터 특정 기준에 대응하는 문서를 요청하는 음성 명령을 수신하도록 구성된다. 프로세싱 유닛은, 사용자로부터 음성 명령을 수신하는 것에 응답하여, 복수의 문서 중에 특정 기준에 대응하는 하나 이상의 문서를 식별하고, 하나 이상의 식별된 문서 중 각자의 문서의 적어도 일부분의 음성 판독을 출력하도록 구성된다.

따라서, 문서들의 탐색과 브라우징을 가능하게 함으로써 제한된 접근성을 갖는 사용자를 위하여 사용자 인터페이스를 개선하는 새롭고 개선된 방법이 디지털 어시스턴트 시스템에 제공된다. 그와 같은 방법 및 시스템은 기존의 방법 및 시스템을 보충하거나 대체할 수 있다.

<도 1>
도 1은 일부 실시예에 따라 디지털 어시스턴트가 작동하는 환경을 도시하는 블록 다이어그램.
<도 2>
도 2는 일부 실시예에 따른 디지털 어시스턴트 클라이언트 시스템을 도시하는 블록 다이어그램.
<도 3>
도 3은 일부 실시예에 따른 단독형 디지털 어시스턴트 시스템 또는 디지털 어시스턴트 서버 시스템을 도시하는 블록 다이어그램.
<도 4a 내지 도 4n>
도 4a 내지 도 4n은 일부 실시예에 따라 전자 디바이스에 디스플레이된 예시적인 사용자 인터페이스를 도시한 도면.
<도 5>
도 5는 일부 실시예에 따라 문서들을 통해 탐색하기 위한 전자 디바이스에 의해 수행되는 동작을 도시하는 흐름도.
<도 6>
도 6은 일부 실시예에 따라 문서를 브라우징하기 위한 전자 디바이스에 의해 수행되는 동작을 도시하는 흐름도.
<도 7>
도 7은 일부 실시예에 따라 한 세트의 문서를 식별하기 위한 전자 디바이스에 의해 수행되는 동작을 도시하는 흐름도.
<도 8>
도 8은 일부 실시예에 따른 전자 디바이스의 기능 블록 다이어그램.
<도 9>
도 9는 일부 실시예에 따른 전자 디바이스의 기능 블록 다이어그램.
<도 10>
도 10은 일부 실시예에 따른 전자 디바이스의 기능 블록 다이어그램.
도면 전체에 걸쳐 동일한 도면 부호는 동일한 부분을 지칭한다.

도 1은 일부 실시예에 따른 디지털 어시스턴트의 작동 환경(100)의 블록 다이어그램이다. 용어 "디지털 어시스턴트", "가상 어시스턴트", "지능적이고 자동화된 어시스턴트" 또는 "자동 디지털 어시스턴트"는 구어적 및/또는 문어적 형태의 자연 언어 입력을 해석하여 사용자의 의도를 추론하고(예를 들어, 자연 언어 입력에 대응하는 작업 유형을 식별함), 추론된 사용자 의도에 기초하여 행동을 수행하는(예를 들어, 식별된 작업 유형에 대응하는 작업을 수행함) 임의의 정보 처리 시스템을 지칭한다. 예를 들어, 추론된 사용자 의도에 따라 행동하기 위하여, 시스템은 다음 단계들 중 하나 이상을 수행할 수 있다. 추론된 사용자 의도를 수행하도록 설계되는 단계 및 파라미터를 갖는 작업 흐름을 식별하는 단계(예를 들어, 작업 유형을 식별하는 단계), 추론된 사용자 의도로부터의 특정 요구사항들을 작업 흐름에 입력하는 단계, 프로그램, 방법, 서비스, API 등을 호출함으로써 작업 흐름을 실행하는 단계(예를 들어, 서비스 제공자에게 요청을 송신하는 단계), 및 청각적(예를 들어, 음성) 및/또는 시각적 형태로 사용자에 대한 출력 응답을 생성하는 단계.

특히, 디지털 어시스턴트 시스템은 적어도 부분적으로 자연 언어 명령, 요청, 진술, 서술 및/또는 문의의 형태로 사용자 요청을 수신하는 것이 가능하다. 통상적으로, 사용자 요청은 디지털 어시스턴트 시스템에 의해 정보를 제공하는 대답 또는 작업의 수행 중 어느 하나를 요구한다. 사용자 요청에 대한 만족스러운 응답은 일반적으로 요구한 정보를 제공하는 대답의 제공, 요구한 작업의 수행 중 어느 하나, 또는 이 둘의 조합이다. 예를 들어, 사용자는 디지털 어시스턴트 시스템에게, "내가 지금 있는 곳이 어디지?"라고 물을 수 있다. 사용자의 현재 위치에 기초하여,디지털 어시스턴트는 "당신은 센트럴 파크 서문 근처에 있습니다."라고 대답할 수 있다. 사용자는 또한, 예를 들어, "다음 주 내 여자친구 생일 파티에 내 친구들을 초대해줘."라고 진술함으로써, 작업의 수행을 요청할 수 있다. 이에 응답하여, 디지털 어시스턴트는 "네, 바로 처리하겠습니다."라는 음성 출력을 생성함으로써 요청을 받았음을 알리고, 이어서 사용자의 이메일 주소로부터 사용자의 전자 주소록에 열거된 사용자의 친구들 각각에게 적절한 날짜의 초대장을 전송할 수 있다. 디지털 어시스턴트와 상호작용하여 다양한 작업의 정보 또는 수행을 요청하는 수많은 다른 방법들이 있다. 언어적 응답을 제공하는 것 및 프로그래밍된 행동을 취하는 것 외에도, 디지털 어시스턴트는 또한 다른 시각적 또는 청각적 형태의 응답(예를 들어, 텍스트, 알림, 음악, 비디오, 애니메이션 등과 같음)을 제공할 수 있다.

도 1에 도시된 바와 같이, 일부 실시예에서, 디지털 어시스턴트 시스템은 클라이언트-서버 모델에 따라 구현된다. 디지털 어시스턴트 시스템은 사용자 디바이스(예를 들어, 104a 및 104b) 상에서 실행되는 클라이언트 측 부분(예를 들어, 102a 및 102b)(이후로 "디지털 어시스턴트(DA) 클라이언트(102)"), 및 서버 시스템(108) 상에서 실행되는 서버 측 부분(106)(이후로 "디지털어시스턴트(DA) 서버(106)")을 포함한다. DA 클라이언트(102)는 하나 이상의 네트워크(110)를 통해 DA 서버(106)와 통신한다. DA 클라이언트(102)는 사용자 대면 입출력 처리 및 DA 서버(106)와의 통신과 같은 클라이언트 측 기능들을 제공한다. DA 서버(106)는 임의의 수의 DA 클라이언트(102)에 대하여 서버 측 기능들을 제공하고, DA 클라이언트들은 각각 각자의 사용자 디바이스(104)(클라이언트 디바이스라고도 불림) 상에 존재한다.

일부 실시예에서, DA 서버(106)는 클라이언트 대면 I/O 인터페이스(112), 하나 이상의 처리 모듈(114), 데이터 및 모델(116), 및 외부 서비스(118)에 대한 I/O 인터페이스를 포함한다. 클라이언트 대면 I/O 인터페이스는 디지털 어시스턴트 서버(106)에 대한 클라이언트 대면 입출력 처리를 용이하게 한다. 하나 이상의 처리 모듈(114)은 데이터 및 모델(116)을 활용하여 자연 언어 입력에 기초하여 사용자의 의도를 결정하고 추론된 사용자 의도에 기초하여 작업 실행을 수행한다.

일부 실시예에서, DA 서버(106)는 임무 완수 또는 정보 획득을 위하여 네트워크(들)(110)를 통해 외부 서비스들(예를 들어, 탐색 서비스(들), 메시징 서비스(들), 정보 서비스(들), 달력 서비스, 전화 서비스 등)과 통신한다. 외부 서비스들(118)에 대한 I/O 인터페이스는 그와 같은 통신을 용이하게 한다.

사용자 디바이스(104)의 예에는 핸드헬드 컴퓨터, 개인용 디지털 어시스턴트(PDA), 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크탑 컴퓨터, 셀룰러 전화기, 스마트폰, 개량형 일반 패킷 무선 서비스(enhanced general packet radio service, EGPRS) 모바일 전화기, 미디어 플레이어, 탐색 디바이스, 게임 콘솔, 텔레비전, 원격 조종기, 또는 이들 데이터 처리 디바이스 중 임의의 둘 이상의 조합 또는 임의의 적절한 데이터 처리 디바이스가 포함되지만, 이에 제한되지는 않는다. 사용자 디바이스(104)에 대한 더 자세한 내용은 도 2에 도시된 예시적인 사용자 디바이스(104)를 참조하여 제공된다.

통신 네트워크(들)(110)의 예에는 로컬 영역 네트워크("LAN") 및 광역 네트워크("WAN"), 예를 들어, 인터넷이 포함된다. 통신 네트워크(들)(110)는 다양한 유선 또는 무선 프로토콜, 예컨대 이더넷(Ethernet), 범용 직렬 버스(Universal Serial Bus, USB), 화이어와이어(FIREWIRE), GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), 코드 분할 다중 접속(code division multiple access, CDMA), 시간 분할 다중 접속(time division multiple access, TDMA), 블루투스(Bluetooth), Wi-Fi, VoIP(voice over Internet Protocol), Wi-MAX, 또는 임의의 기타 적합한 통신 프로토콜을 포함하는 임의의 알려진 네트워크 프로토콜을 사용하여 구현될 수 있다.

서버 시스템(108)은 적어도 하나의 데이터 처리 장치 및/또는 분산형 네트워크 컴퓨터 상에서 구현될 수 있다.

도 1에 도시된 디지털 어시스턴트 시스템이 클라이언트 측 부분(예를 들어, DA 클라이언트(102)) 및 서버 측 부분(예를 들어, DA 서버(106)) 둘 모두를 포함하지만, 일부 실시예에서, 디지털 어시스턴트 시스템은 단지 서버 측 부분(예를 들어, DA 서버(106))만을 지칭한다. 대안적으로, 일부 실시예에서, 디지털 어시스턴트의 기능들은 사용자 디바이스 상에 설치된 단독형 애플리케이션으로서 구현될 수 있다. 그뿐만 아니라, 디지털 어시스턴트의 클라이언트 측과 서버 측 간의 기능의 분담은 다양한 실시예에서 달라질 수 있다. 예를 들어, 일부 실시예에서, DA 클라이언트(102)는 단지 사용자 대면 입출력 처리 기능만을 제공하고, 디지털 어시스턴트의 다른 모든 기능들은 DA 서버(106)에 위임하는 경량화된 클라이언트이다. 일부 다른 실시예에서, DA 클라이언트(102)는 DA 서버(106)의 하나 이상의 기능을 수행하거나 보조하도록 구성된다.

도 1은 또한 웹 서버(120)(예를 들어, 웹 서버 1(122-1), 웹 서버 2(122-2), 웹 서버 3(122-3) 등)를 도시한다. 하나 이상의 웹 서버(120)는 디지털 시스템의 일부가 아니지만, 서버 시스템(108) 및/또는 사용자 디바이스(들)(104)는 하나 이상의 문서 및/또는 하나 이상의 문서와 연관된 정보를 검색하기 위하여 웹 서버(120) 중 하나 이상의 웹 서버와 통신할 수 있다.

도 2는 일부 실시예에 따른 사용자 디바이스(104)의 블록 다이어그램이다. 사용자 디바이스(104)는 메모리 인터페이스(202), 하나 이상의 프로세서(204), 및 주변 인터페이스(206)를 포함한다. 사용자 디바이스(104) 내의 다양한 컴포넌트들은 하나 이상의 통신 버스 또는 신호 라인에 의해 연결된다. 사용자 디바이스(104)는 다양한 센서, 서브시스템, 및 주변 인터페이스(206)에 연결되는 주변 디바이스를 포함한다. 센서, 서브시스템, 및 주변 디바이스는 정보를 수집하고/하거나 사용자 디바이스(104)의 다양한 기능들을 가능하게 한다.

예를 들어, 일부 실시예에서, 모션 센서(210), 광 센서(212), 및 근접 센서(214)는 주변 인터페이스(206)에 연결되어 배향, 광, 및 근접 감지 기능을 가능하게 한다. 일부 실시예에서, 기타 센서들(216), 예컨대 포지셔닝 시스템(예를 들어, GPS 수신기), 온도 센서, 생체인식 센서 등이 주변 인터페이스(206)에 연결되어 관련된 기능들을 가능하게 한다.

일부 실시예에서, 사용자 디바이스(104)는 주변 인터페이스(206)에 연결된 카메라 서브시스템(220)을 포함한다. 일부 실시예에서, 카메라 서브시스템(220)의 광학 센서(222)는 사진 촬영 및 비디오 클립 녹화와 같은 카메라 기능을 가능하게 한다. 일부 실시예에서, 사용자 디바이스(104)는 통신 기능을 제공하는 하나 이상의 유선 및/또는 무선 통신 서브시스템(224)을 포함한다. 통신 서브시스템(224)은 통상적으로 다양한 통신 포트, 무선 주파수 수신기 및 송신기 및/또는 광학(예를 들어, 적외) 수신기 및 송신기를 포함한다. 일부 실시예에서, 사용자 디바이스(104)는 하나 이상의 스피커(228) 및 하나 이상의 마이크(230)에 연결된 오디오 서브시스템(226)을 포함하여 음성 작동형 기능, 예컨대 음성 인식, 음성 복제, 디지털 녹음, 및 전화 기능을 가능하게 한다.

일부 실시예에서, I/O 서브시스템(240) 또한 주변 인터페이스(206)에 연결된다. 일부 실시예에서, 사용자 디바이스(104)는 터치 스크린(246)을 포함하고, I/O 서브시스템(240)은 터치 스크린(246)에 연결된 터치 스크린 제어기(242)를 포함한다. 사용자 디바이스(104)가 터치 스크린(246) 및 터치 스크린 제어기(242)를 포함하는 경우, 터치 스크린(246) 및 터치 스크린 제어기(242)는 통상적으로, 예를 들어, 정전용량형, 저항형, 적외형, 표면 탄성파 기술, 근접 센서 어레이 등과 같은 복수의 터치 감지 기술 중 임의의 기술을 사용하여 접촉 및 움직임 또는 접촉 및 움직임의 중단을 검출하도록 구성된다. 일부 실시예에서, 사용자 디바이스(104)는 터치 감지 표면을 포함하지 않는 디스플레이를 포함한다. 일부 실시예에서, 사용자 디바이스(104)는 분리형 터치 감지 표면을 포함한다. 일부 실시예에서, 사용자 디바이스(104)는 기타 입력 제어기(들)(244)를 포함한다. 사용자 디바이스(104)가 기타 입력 제어기(들)(244)를 포함하는 경우, 기타 입력 제어기(들)(244)는 통상적으로 기타 입력/제어 디바이스(248), 예컨대 하나 이상의 버튼, 로커 스위치(rocker switches), 썸 휠(thumb-wheel), 적외 포트, USB 포트 및/또는 스타일러스와 같은 포인터 디바이스에 연결된다.

메모리 인터페이스(202)는 메모리(250)에 연결된다. 일부 실시예에서, 메모리(250)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리(예를 들어, 하나 이상의 자기 디스크 저장 디바이스, 하나 이상의 플래시 메모리 디바이스, 하나 이상의 광학 저장 디바이스 및/또는 기타 비휘발성 솔리드 스테이트 메모리 디바이스)를 포함한다.

일부 실시예에서, 메모리(250)는 운영 체제(252), 통신 모듈(254), 그래픽 사용자 인터페이스 모듈(256), 센서 처리 모듈(258), 전화 모듈(260) 및 애플리케이션(262), 및 이들의 일부(subset) 또는 전체(superset)를 저장한다. 운영 체제(252)는 기본 시스템 서비스를 처리하기 위한 명령어 및 하드웨어 의존 작업들을 수행하기 위한 명령어를 포함한다. 통신 모듈(254)은 하나 이상의 추가 디바이스, 하나 이상의 컴퓨터 및/또는 하나 이상의 서버와의 통신을 가능하게 한다. 그래픽 사용자 인터페이스 모듈(256)은 그래픽 사용자 인터페이스 처리를 가능하게 한다. 센서 처리 모듈(258)은 센서 관련 처리 및 기능(예를 들어, 하나 이상의 마이크(228)를 이용하여 수신된 음성 입력을 처리함)을 가능하게 한다. 전화 모듈(260)은 전화 관련 처리 및 기능을 가능하게 한다. 애플리케이션 모듈(262)은 사용자 애플리케이션의 다양한 기능들, 예컨대 전자 메시징, 웹 브라우징, 미디어 처리, 탐색, 이미징 및/또는 기타 프로세스 및 기능을 가능하게 한다. 일부 실시예에서, 애플리케이션 모듈(262)은 웹 브라우저 애플리케이션(270)을 포함하거나, 그것과 상호작용한다. 일부 실시예에서, 애플리케이션 모듈(262)은 전자 메시징 애플리케이션을 포함하거나, 그것과 상호작용한다.

앞서 기재한 바와 같이, 일부 실시예에서, 메모리(250)는 또한 디지털 어시스턴트의 클라이언트 측 기능들을 제공하기 위하여 클라이언트 측 디지털 어시스턴트 명령어(예를 들어, 디지털 어시스턴트 클라이언트 모듈(264) 내에) 및 다양한 사용자 데이터(266)(예를 들어, 사용자 맞춤형 어휘 데이터, 선호도 데이터 및/또는 기타 사용자의 전자 주소록, 할 일 목록, 쇼핑 리스트 등과 같은 데이터)를 저장한다.

다양한 실시예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은 사용자 디바이스(104)의 다양한 사용자 인터페이스(예를 들어, I/O 서브시스템(244))를 통해 음성 입력, 텍스트 입력, 터치 입력 및/또는 제스처 입력을 받아들이는 것이 가능하다. 디지털 어시스턴트 클라이언트 모듈(264)은 또한 청각적, 시각적 및/또는 촉각적 형태의 출력을 제공하는 것이 가능하다. 예를 들어, 출력은 음성, 소리, 알림, 텍스트 메시지, 메뉴, 그래픽, 비디오, 애니메이션, 진동 및/또는 상기 형태들 중 둘 이상의 조합으로서 제공될 수 있다. 작동 중에는, 디지털 어시스턴트 클라이언트 모듈(264)은 통신 서브시스템(224)을 이용하여 디지털 어시스턴트 서버(예를 들어, 디지털 어시스턴트 서버(106), 도 1)와 통신한다.

일부 실시예에서, 디지털 어시스턴트 클라이언트 모듈(264)은 사용자 입력과 연관된 상황(context)을 구성하기 위하여 다양한 센서, 서브시스템 및 주변 디바이스를 활용하여 사용자 디바이스(104)의 주변 환경으로부터 추가 정보를 수집한다. 일부 실시예에서, 디지털 어시스턴트 클라이언트 모듈(264)은 사용자 입력과 함께 상황 정보 또는 그것의 일부를 디지털 어시스턴트 서버(예를 들어, 디지털 어시스턴트 서버(106), 도 1)에 제공하여 사용자의 의도를 추론하는 것을 돕는다.

일부 실시예에서, 사용자 입력에 동반될 수 있는 상황 정보는 센서 정보, 예를 들어, 광(lighting), 주변 소음, 주변 온도, 주변 환경의 이미지 또는 비디오 등을 포함한다. 일부 실시예에서, 상황 정보는 또한 디바이스의 물리적 상태, 예를 들어, 디바이스 배향, 디바이스 위치, 디바이스 온도, 전력 레벨, 속도, 가속도, 모션 패턴, 셀룰러 신호 강도 등을 포함한다. 일부 실시예에서, 사용자 디바이스(106)의 소프트웨어 상태에 관련된 정보, 예를 들어, 사용자 디바이스(104)의 실행 중인 프로세스, 설치된 프로그램, 과거 및 현재 네트워크 활동성, 백그라운드 서비스, 오류 로그, 리소스 사용 등이 또한 사용자 입력과 연관된 상황 정보로서 디지털 어시스턴트 서버(예를 들어, 디지털 어시스턴트 서버(106), 도1)에 제공된다.

일부 실시예에서, DA 클라이언트 모듈(264)은 디지털 어시스턴트 서버로부터의 요청에 응답하여 사용자 디바이스(104) 상에 저장된 정보(예를 들어, 사용자 데이터(266)의 적어도 일부분)를 선택적으로 제공한다. 일부 실시예에서, 디지털 어시스턴트 클라이언트 모듈(264)은 또한 디지털 어시스턴트 서버(106)(도 1)에 의한 요청에 따라 자연 언어 대화 또는 기타 사용자 인터페이스를 통해 사용자로부터 추가 입력을 유도해 낸다. 디지털 어시스턴트 클라이언트 모듈(264)은 추가 입력을 디지털 어시스턴트 서버(106)에 전달하여 디지털 어시스턴트 서버(106)의 의도 추론 및/또는 사용자 요청에 표현된 사용자의 의도의 수행을 돕는다.

일부 실시예에서, 메모리(250)는 추가 명령어 또는 감소된 명령어를 포함할 수 있다. 또한, 사용자 디바이스(104)의 다양한 기능들이 하나 이상의 신호 처리 및/또는 애플리케이션 맞춤형 집적 회로에 포함되는 하드웨어 및/또는 펌웨어에서 구현될 수 있어서, 사용자 디바이스(104)는 도 2에 도시된 모든 모듈 및 애플리케이션을 포함할 필요는 없다. 예를 들어, 일부 실시예에서, 사용자 디바이스(104)는 터치 스크린(246)을 포함하지 않는다.

도 3은 일부 실시예에 따른 예시적인 디지털 어시스턴트 시스템(300)의 블록 다이어그램이다. 일부 실시예에서, 디지털 어시스턴트 시스템(300)은 단독형 컴퓨터 시스템 상에서 구현된다. 일부 실시예에서, 디지털 어시스턴트 시스템(300)은 다수의 컴퓨터에 걸쳐 배분된다. 일부 실시예에서, 디지털 어시스턴트의 모듈 및 기능 중 일부는 서버 부분과 클라이언트 부분으로 나뉘어지고, 클라이언트 부분은 사용자 디바이스(예를 들어, 사용자 디바이스(104)) 상에 존재하며, 예를 들어, 도 1에 도시된 하나 이상의 네트워크를 통해 서버 부분(예를 들어, 서버 시스템(108))과 통신한다. 일부 실시예에서, 디지털 어시스턴트 시스템(300)은 도 1에 도시된 서버 시스템(108)(및/또는 디지털 어시스턴트 서버(106))의 실시예이다. 일부 실시예에서, 디지털 어시스턴트 시스템(300)은 사용자 디바이스(예를 들어, 사용자 디바이스(104), 도 1)에서 구현됨으로써, 클라이언트-서버 시스템이 필요없다. 디지털 어시스턴트 시스템(300)은 단지 디지털 어시스턴트 시스템의 하나의 예일 뿐이고, 디지털 어시스턴트 시스템(300)은 도시된 것보다 더 많거나 더 적은 컴포넌트들을 가질 수 있고, 둘 이상의 컴포넌트를 조합할 수 있고, 또는 상이한 구성 또는 배열의 컴포넌트들을 가질 수 있다는 것을 주의해야 한다. 도 3에 도시된 다양한 컴포넌트들은 하나 이상의 신호 처리 및/또는 애플리케이션 맞춤형 집적 회로를 포함하는 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에서 구현될 수 있다.

디지털 어시스턴트 시스템(300)은 메모리(302), 하나 이상의 프로세서(304), 입출력(I/O) 인터페이스(306), 및 네트워크 통신 인터페이스(308)를 포함한다. 이 컴포넌트들은 하나 이상의 통신 버스 또는 신호 라인(310)을 통해 서로 통신한다.

일부 실시예에서, 메모리(302)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예를 들어, 하나 이상의 자기 디스크 저장 디바이스, 하나 이상의 플래시 메모리 디바이스, 하나 이상의 광학 저장 디바이스 및/또는 기타 비휘발성 솔리드 스테이트 메모리 디바이스)를 포함한다.

I/O 인터페이스(306)는 디지털 어시스턴트 시스템(300)의 입출력 디바이스(316), 예컨대 디스플레이, 키보드, 터치 스크린, 및 마이크를 사용자 인터페이스 모듈(322)에 연결한다. I/O 인터페이스(306)는, 사용자 인터페이스 모듈(322)과 함께, 사용자 입력(예를 들어, 음성 입력, 키보드 입력, 터치 입력 등)을 수신하여 그에 따라 그것들을 처리한다. 일부 실시예에서, 디지털 어시스턴트가 단독형 사용자 디바이스 상에서 구현되는 경우, 디지털 어시스턴트 시스템(300)은 도 2의 사용자 디바이스(104)에 대하여 기재된 컴포넌트 및 I/O 및 통신 인터페이스 중 임의의 것(예를 들어, 하나 이상의 마이크(228))을 포함한다. 일부 실시예에서, 디지털 어시스턴트 시스템(300)은 디지털 어시스턴트 구현예의 서버 부분을 나타내고, 사용자 디바이스(예를 들어, 도 2에 도시된 사용자 디바이스(104)) 상에 존재하는 클라이언트 측 부분을 통해 사용자와 상호작용한다.

일부 실시예에서, 네트워크 통신 인터페이스(308)는 유선 통신 포트(들)(312) 및/또는 무선 송신 및 수신 회로(314)를 포함한다. 유선 통신 포트(들)는 하나 이상의 유선 인터페이스, 예를 들어, 이더넷, 범용 직렬 버스(USB), 파이어와이어 등을 통해 통신 신호를 수신하고 송신한다. 무선 회로(314)는 통상적으로 통신 네트워크 및 기타 통신 디바이스로/로부터 RF 신호 및/또는 광학 신호를 수신하고 송신한다. 무선 통신은 복수의 통신 표준, 프로토콜 및 기술, 예컨대 GSM, EDGE, CDMA, TDMA, 블루투스, Wi-Fi, VoIP, Wi-MAX, 또는 임의의 기타 적합한 통신 프로토콜 중 임의의 것을 사용할 수 있다. 네트워크 통신 인터페이스(308)는 인터넷, 인트라넷과 같은 네트워크 및/또는 셀룰러 폰 네트워크, 무선 로컬 영역 네트워크(LAN)와 같은 무선 네트워크 및/또는 대도시 영역 네트워크(MAN)와 연결된 디지털 어시스턴트 시스템(300)과 다른 디바이스 사이의 통신을 가능하게 한다.

일부 실시예에서, 메모리(302)의 비일시적인 컴퓨터 판독가능 저장 매체는 프로그램, 모듈, 명령어, 및 운영 체제(318), 통신 모듈(320), 사용자 인터페이스 모듈(322), 하나 이상의 애플리케이션(324), 및 디지털 어시스턴트 모듈(326)의 전체 또는 일부를 포함하는 데이터 구조를 저장한다. 하나 이상의 프로세서(304)는 이러한 프로그램, 모듈, 및 명령어를 실행하고, 데이터 구조로/로부터 판독/기록을 실행한다.

운영 체제(318)(예를 들어, 다윈(Darwin), RTXC, LINUX, UNIX, OS X, WINDOWS, 또는 VxWorks와 같은 내장형 운영 체제)는 일반적인 시스템 작업(예를 들어, 메모리 관리, 저장 디바이스 제어, 전력 관리 등)를 제어하고 관리하기 위한 다양한 소프트웨어 컴포넌트 및/또는 드라이버를 포함하고 다양한 하드웨어, 펌웨어, 및 소프트웨어 컴포넌트 간의 통신을 가능하게 한다.

통신 모듈(320)은 네트워크 통신 인터페이스(308)를 통해 다른 디바이스와 디지털 어시스턴트 시스템(300) 사이의 통신을 가능하게 한다. 예를 들어, 통신 모듈(320)은 도 2에 도시된 디바이스(104)의 통신 모듈(254)과 통신할 수 있다. 통신 모듈(320)은 또한 무선 회로(314) 및/또는 유선 통신 포트(312)에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다.

일부 실시예에서, 사용자 인터페이스 모듈(322)은 (예를 들어, 키보드, 터치 스크린 및/또는 마이크로부터) I/O 인터페이스(306)를 통해 사용자로부터 커맨드 및/또는 입력을 수신하고, 디스플레이 상에 사용자 인터페이스 객체를 제공한다.

애플리케이션(324)은 하나 이상의 프로세서(304)에 의해 실행되도록 구성되는 프로그램 및/또는 모듈을 포함한다. 예를 들어, 디지털 어시스턴트 시스템이 단독형 사용자 디바이스 상에서 구현되는 경우, 애플리케이션(324)은 사용자 애플리케이션, 예컨대 게임, 달력 애플리케이션, 네비게이션 애플리케이션, 웹 브라우저 애플리케이션, 또는 이메일 애플리케이션을 포함할 수 있다. 디지털 어시스턴트 시스템(300)이 서버 팜(server farm) 상에서 구현되는 경우, 애플리케이션(324)은, 예를 들어, 리소스 관리 애플리케이션, 진단 애플리케이션, 또는 스케줄링 애플리케이션을 포함할 수 있다.

메모리(302)는 또한 디지털 어시스턴트 모듈(또는 디지털 어시스턴트의 서버 부분)(326)을 저장한다. 일부 실시예에서, 디지털 어시스턴트 모듈(326)은 다음의 서브 모듈, 또는 그것들의 일부 또는 전체를 포함한다. 입출력 처리 모듈(328), 음성-텍스트 변환(speech-to-text, STT) 처리 모듈(330), 자연 언어 처리 모듈(332), 대화 흐름 처리 모듈(334), 작업 흐름 처리 모듈(336), 및 서비스 처리 모듈(338). 이 처리 모듈들의 각각은 다음의 디지털 어시스턴트(326)의 데이터 및 모델 중 하나 이상, 또는 그것들의 일부 또는 전체에 액세스를 갖는다. 온톨로지(ontology)(360), 어휘 인덱스(344), 사용자 데이터(348), 작업 흐름 모델(354), 및 서비스 모델(356).

일부 실시예에서, 처리 모듈(예를 들어, 입출력 처리 모듈(328), STT 처리 모듈(330), 자연 언어 처리 모듈(332), 대화 흐름 처리 모듈(334), 작업 흐름 처리 모듈(336) 및/또는 서비스 처리 모듈(338)), 데이터, 및 디지털 어시스턴트 모듈(326)에서 구현되는 모델을 사용하여, 디지털 어시스턴트 시스템(300)은, 사용자로부터 수신된 자연 언어 입력에서 표현된 사용자의 의도를 식별하는 것; 사용자의 의도를 완전히 추론하는 데 필요한 정보를 (예를 들어, 단어, 이름, 의도 등을 중의성 해결 처리(disambiguating)함으로써) 능동적으로 유도하고 획득하는 것; 추론된 의도를 수행하기 위한 작업 흐름을 결정하는 것; 및 작업 흐름을 실행하여 추론된 의도를 수행하는 것 중 적어도 일부를 수행한다. 일부 실시예에서, 디지털 어시스턴트는 또한 여러 이유들로 인해 만족스러운 응답이 사용자에게 제공되지 못했거나 제공될 수 없었을 경우, 적절한 행동을 취한다.

일부 실시예에서, I/O 처리 모듈(328)은 사용자 입력(예를 들어, 음성 입력)을 획득하고 사용자 입력에 대한 응답을 제공하기 위하여 I/O 디바이스(316)를 통해 사용자와 상호작용하거나 네트워크 통신 인터페이스(308)를 통해 사용자 디바이스(예를 들어, 도 1의 사용자 디바이스(104))와 상호작용한다. I/O 처리 모듈(328)은 사용자 입력의 수신과 함께 또는 사용자 입력의 수신 직후에, 사용자 디바이스로부터 사용자 입력과 연관된 상황 정보를 선택적으로 획득한다. 상황 정보는 사용자 맞춤형 데이터, 어휘 및/또는 사용자 입력과 관련된 선호도를 포함한다. 일부 실시예에서, 상황 정보는 또한 사용자 요청이 수신되는 시점의 디바이스(예를 들어, 도 1의 사용자 디바이스(104))의 소프트웨어 및 하드웨어 상태 및/또는 사용자 요청이 수신된 시점의 사용자의 주위 환경에 관련된 정보를 포함한다. 일부 실시예에서, I/O 처리 모듈(328)은 또한 사용자 요청에 대하여 사용자에게 후속 질문을 전송하고, 그로부터 대답을 수신한다. 일부 실시예에서, 사용자 요청이 I/O 처리 모듈(328)에 의해 수신되고 사용자 요청이 음성 입력을 포함하는 경우, I/O 처리 모듈(328)은 음성-텍스트 변환을 위하여 음성 입력을 음성-텍스트 변환(STT) 처리 모듈(330)로 전달한다.

일부 실시예에서, 음성-텍스트 변환 처리 모듈(330)은 I/O 처리 모듈(328)을 통해 음성 입력(예를 들어, 음성 녹음에서 포집된 사용자 발언)을 수신한다. 일부 실시예에서, 음성-텍스트 변환 처리 모듈(330)은 음소의 순서, 및 궁극적으로, 하나 이상의 언어로 쓰여진 낱말 또는 토큰(token)의 연속체(sequence)로서 음성 입력을 인식하기 위하여 다양한 음향 및 언어 모델을 사용한다. 음성-텍스트 변환 처리 모듈(330)은 임의의 적절한 음성 인식 기술, 음향 모델, 및 언어 모델, 예컨대 은닉 마르코프 모델(Hidden Markov Models), 동적 시간 워핑(Dynamic Time Warping, DTW) 기반 음성 인식, 및 기타 통계적 및/또는 분석 기술을 사용하여 구현된다. 일부 실시예에서, 음성-텍스트 변환 처리는 적어도 부분적으로 서드 파티(third party) 서비스에 의해 수행되거나 사용자의 디바이스 상에서 수행될 수 있다. 음성-텍스트 변환 처리 모듈(330)이 음성-텍스트 변환 처리의 결과물(예를 들어, 낱말 또는 토큰의 연속체)을 획득하면, 의도 추론을 위해 결과물을 자연 언어 처리 모듈(332)로 전달한다.

디지털 어시스턴트(326)의 자연 언어 처리 모듈(332)("자연 언어 프로세서")은 음성-텍스트 변환 처리 모듈(330)에 의해 생성된 낱말 또는 토큰의 연속체("토큰 연속체")를 취하고, 토큰 연속체를 디지털 어시스턴트에 의해 인식되는 하나 이상의 "행동가능한 의도"와 연관시키려고 시도한다. 본 명세서에 사용된 바와 같이, "행동가능한 의도"는 디지털 어시스턴트(326) 및/또는 디지털 어시스턴트 시스템(300)에 의해 수행될 수 있는 작업을 나타내고, 작업 흐름 모델(354)에서 구현되는 연관된 작업 흐름을 갖는다. 연관된 작업 흐름은 디지털 어시스턴트 시스템(300)이 작업을 수행하기 위하여 취하는 일련의 프로그래밍된 행동 및 단계들이다. 디지털 어시스턴트 시스템의 성능의 범위는 작업 흐름 모델(354)에서 구현되고 저장된 작업 흐름의 수 및 종류, 다시 말해서, 디지털 어시스턴트 시스템(300)이 인식하는 "행동가능한 의도"의 수 및 종류에 따라 달라진다. 그러나, 디지털 어시스턴트 시스템(300)의 효율성 또한 자연 언어로 표현된 사용자 요청으로부터 정확한 "행동가능한 의도(들)"를 유추하는 디지털 어시스턴트의 능력에 따라 달라진다.

일부 실시예에서, 음성-텍스트 변환 처리 모듈(330)로부터 획득된 단어 또는 토큰의 연속체 뿐만 아니라, 자연 언어 프로세서(332)는 또한 (예를 들어, I/O 처리 모듈(328)로부터) 사용자 요청과 연관된 상황 정보를 수신한다. 자연 언어 프로세서(332)는 음성-텍스트 변환 처리 모듈(330)로부터 수신된 토큰 연속체에 포함된 정보를 명확히 하고, 보충하고/하거나 추가적으로 정의하기 위하여 상황 정보를 선택적으로 사용한다. 상황 정보는, 예를 들어, 사용자 선호도, 사용자 디바이스의 하드웨어 및/또는 소프트웨어 상태, 사용자 요청 전, 요청 중, 또는 요청 직후에 수집된 센서 정보, 디지털 어시스턴트와 사용자 간의 이전 상호작용(예를 들어, 대화) 등을 포함한다.

일부 실시예에서, 자연 언어 처리는 온톨로지(360)에 기초한다. 온톨로지(360)는 복수의 노드를 포함하는 계층 구조이고, 각 노드는 "행동가능한 의도" 또는 "행동가능한 의도" 중 하나 이상에 관련된 "속성(property)" 또는 다른 "속성들" 중 어느 하나를 나타낸다. 앞서 언급한 바와 같이, "행동가능한 의도"는 디지털 어시스턴트 시스템(300)이 수행가능한 작업(예를 들어, "행동가능한" 또는 수행될 수 있는 작업)을 나타낸다. "속성"은 행동가능한 의도 또는 다른 속성의 하위 양태와 연관된 파라미터를 나타낸다. 온톨로지(360)에서 행동가능한 의도 노드와 속성 노드의 연결성은 속성 노드에 의해 표현되는 파라미터가 행동가능한 의도 노드에 의해 표현되는 작업에 얼마나 적용되는지를 정의한다.

일부 실시예에서, 온톨로지(360)는 행동가능한 의도 노드 및 속성 노드들로 구성된다. 온톨로지(360) 내에서, 각각의 행동가능한 의도 노드는 하나 이상의 속성 노드에 직접 또는 하나 이상의 매개체 속성 노드를 통해 연결된다. 유사하게, 각각의 속성 노드는 하나 이상의 행동가능한 의도 노드에 직접 또는 하나 이상의 매개체 속성 노드를 통해 연결된다.

행동가능한 의도 노드는, 자신의 연결된 개념 노드와 함께, "도메인"으로 기술될 수 있다. 본 논의에서, 각각의 도메인은 각자의 행동가능한 의도와 연관되고, 특정 행동가능한 의도와 연관된 그룹의 노드(및 그것들 간의 관계)를 지칭한다. 일부 실시예에서, 온톨로지(360)는 다수의 도메인으로 구성된다. 각각의 도메인은 하나 이상의 다른 도메인과 하나 이상의 속성 노드를 공유할 수 있다.

일부 실시예에서, 온톨로지(360)는 디지털 어시스턴트가 이해 및 행동이 가능한 모든 도메인(및 그에 따른 행동가능한 의도들)을 포함한다. 일부 실시예에서, 온톨로지(360)는 온톨로지(360) 내에서 도메인 또는 노드를 추가 또는 삭제하거나, 노드들 간의 관계를 수정하는 것과 같이 수정될 수 있다.

일부 실시예에서, 다수의 관련 행동가능한 의도와 연관된 노드는 온톨로지(360) 내에서 "슈퍼 도메인" 밑으로 군집될 수 있다. 예를 들어, "여행(travel)" 슈퍼 도메인은 여행에 관련된 속성 노드 및 행동가능한 의도 노드의 군집을 포함할 수 있다. 여행에 관련된 행동가능한 의도 노드는 "항공 예약", "호텔 예약", "자동차 렌탈", "길찾기", "관심 지점 찾기" 등을 포함할 수 있다. 동일한 슈퍼 도메인(예를 들어, "여행" 슈퍼 도메인) 아래의 행동가능한 의도 노드들은 다수의 속성 노드를 공동으로 가질 수 있다. 예를 들어, "항공 예약", "호텔 예약", "자동차 렌탈", "길찾기", "관심 지점 찾기"에 대한 행동가능한 의도 노드는 속성 노드 "시작 위치", "목적지", "출발 날짜/시간", "도착 날짜/시간", 및 "인원수" 중 하나 이상을 공유할 수 있다.

일부 실시예에서, 온톨로지(360)에서 각각의 노드는, 노드에 의해 표현되는 속성 또는 행동가능한 의도와 관련된 단어 및/또는 구(phrases)의 세트와 연관된다. 각 노드와 연관된 단어 및/또는 구의 각각의 세트는 노드와 연관된 소위 "어휘"이다. 각 노드와 연관된 단어 및/또는 구의 각각의 세트는 노드에 의해 표현되는 속성 및 행동가능한 의도와 연관되어 어휘 인덱스(344)에 저장될 수 있다. 예를 들어, "식당"의 속성에 대한 노드와 연관된 어휘는 "음식", "음료", "요리", "배고프다", "먹다", "피자", "패스트푸드", "식사" 등과 같은 단어들을 포함할 수 있다. 또 다른 예로서, "전화 통화를 시작하다"의 행동가능한 의도에 대한 노드와 연관된 어휘는 "통화", "전화", "다이얼", "벨소리", "이 번호로 전화하다", "~에게 전화하다" 등의 단어 또는 구를 포함할 수 있다. 어휘 인덱스(344)는 다른 언어의 단어 또는 구를 선택적으로 포함한다.

일부 실시예에서, 자연 언어 프로세서(332)는 음성-텍스트 변환 처리 모듈(330)로부터 토큰 연속체(예를 들어, 문자열)를 수신하고, 토큰 연속체에서 단어에 의해 어떤 노드가 연루되는지 결정한다. 일부 실시예에서, 토큰 연속체 내의 단어 또는 구가 온톨로지(360) 내에서 하나 이상의 노드와 연관된 것이 (어휘 인덱스(344)를 통해) 밝혀지는 경우, 단어 또는 구는 이 노드들을 "촉발" 또는 "활성화"할 것이다. 다수의 노드가 "촉발"되면, 활성화된 노드의 분량 및/또는 상대적 중요도에 기초하여, 자연 언어 프로세서(332)는 사용자가 디지털 어시스턴트로 하여금 수행하도록 의도했던 작업(또는 작업 유형)으로서 행동가능한 의도 중 하나를 선택할 것이다. 일부 실시예에서, 가장 많이 "촉발"된 노드를 갖는 도메인이 선택된다. 일부 실시예에서, 가장 높은 신뢰값(예를 들어, 그것의 다양한 촉발된 노드들의 상대적 중요도에 기초함)을 갖는 도메인이 선택된다. 일부 실시예에서, 도메인은 촉발된 노드의 수 및 중요도의 조합에 기초하여 선택된다. 일부 실시예에서, 디지털 어시스턴트 시스템(300)이 이전에 사용자로부터의 유사한 요청을 정확하게 해석했는지 여부와 같은 추가 요인 또한 노드를 선택하는 데 있어 고려된다.

일부 실시예에서, 디지털 어시스턴트 시스템(300)은 또한 어휘 인덱스(344) 내의 특정 엔터티의 이름을 저장하여, 이 이름들 중 하나가 사용자 요청에서 검출되는 경우, 자연 언어 프로세서(332)는 이름이 온톨로지 내의 속성 또는 하위 속성의 특정 경우를 지칭하는 것이라고 인식할 수 있을 것이다. 일부 실시예에서, 특정 엔터티의 이름은 사업, 식당, 사람들, 영화 등의 이름이다. 일부 실시예에서, 디지털 어시스턴트 시스템(300)은 다른 데이터 소스, 예컨대 사용자의 주소록, 영화 데이터베이스, 음악가 데이터베이스 및/또는 식당 데이터베이스로부터 특정 엔터티 이름을 탐색하고 식별할 수 있다. 일부 실시예에서, 자연 언어 프로세서(332)는 토큰 연속체 내의 단어가 특정 엔터티의 이름(예컨대 사용자의 주소록 내의 이름)임을 식별하는 경우, 그 단어는 사용자 요청에 대한 온톨로지 내의 행동가능한 의도를 선택하는 데 있어 추가적인 중요성이 부여된다.

예를 들어, 단어 "산토 씨 (Mr.Santo)"가 사용자 요청으로부터 인식되고, 성(last name)인 "산토"가 사용자 연락처 리스트의 연락처 중에 하나로서 어휘 인덱스(344)에서 발견되는 경우, 사용자 요청이 "메시지를 전송한다" 또는 "전화 통화를 개시한다" 도메인에 해당할 가능성이 있다. 또 다른 예로서, 단어 "ABC 카페"가 사용자 요청에서 발견되고, 용어 "ABC 카페"가 사용자의 도시에서 특정 식당의 이름으로서 어휘 인덱스(344)에서 발견되는 경우, 사용자 요청은 "식당 예약" 도메인에 해당할 가능성이 있다.

사용자 데이터(348)는 사용자 맞춤형 정보, 예컨대 사용자 맞춤형 어휘, 사용자 선호도, 사용자 주소, 사용자의 기본 언어 및 제2 언어, 사용자의 연락처 리스트, 및 기타 각 사용자에 대한 단기 또는 장기 정보를 포함한다. 자연 언어 프로세서(332)는 사용자 맞춤형 정보를 사용해서 사용자 입력에 포함된 정보를 보충하여 사용자 의도를 추가적으로 정의한다. 예를 들어, "내 생일 파티에 내 친구들을 초대한다"라는 사용자 요청에 대하여, 자연 언어 프로세서(332)는, 사용자에게 자신들의 요청에서 "친구들"이 누구인지, 그리고 "생일 파티"가 언제, 어디에서 열릴지와 같은 정보를 명확하게 제공하도록 요구하는 대신, 사용자 데이터(348)에 접속하여 그와 같은 정보를 결정하는 것이 가능하다.

자연 언어 프로세서(332)가 사용자 요청에 기초하여 행동가능한 의도(또는 도메인)를 식별하면, 자연 언어 프로세서(332)는 식별된 행동가능한 의도를 나타내기 위하여 구조화된 쿼리(structured query)를 생성한다. 일부 실시예에서, 구조화된 쿼리는, 행동가능한 의도를 위한 도메인 내의 하나 이상의 노드에 대한 파라미터를 포함하고, 파라미터 중 적어도 일부는 사용자 요청에 명시된 특정 정보 및 요청사항이 기재된다. 예를 들어, 사용자는 "7시에 스시 가게에 저녁 예약을 해주세요."라고 말할 수 있다. 이 경우, 자연 언어 프로세서(332)는 사용자 입력에 기초하여 행동가능한 의도가 "식당 예약"이라고 정확하게 식별 가능할 수 있다. 온톨로지에 따라, "식당 예약" 도메인에 대한 구조화된 쿼리는 {요리}, {시간}, {날짜}, {인원수} 등과 같은 파라미터를 포함할 수 있다. 사용자의 발언에 포함된 정보에 기초하여, 자연 언어 프로세서(332)는 식당 예약 도메인에 대하여 부분적으로 구조화된 쿼리를 생성할 수 있고, 부분적으로 구조화된 쿼리는 파라미터{요리= "스시"} 및 {시간 = "오후 7시"}를 포함한다. 그러나, 이 예에서, 사용자의 발언은 도메인과 연관된 구조화된 쿼리를 완성하는 데에 불충분한 정보를 포함한다. 따라서, {인원수} 및 {날짜} 와 같은 필요한 다른 파라미터들이 현재 이용가능한 정보에 기초하여 구조화된 쿼리에 명시되지 않는다. 일부 실시예에서, 자연 언어 프로세서(332)는 구조화된 쿼리의 일부 파라미터에 수신된 상황 정보를 기재한다. 예를 들어, 사용자가 "이 근처" 스시 식당을 요청했다면, 자연 언어 프로세서(332)는 구조화된 쿼리의 {위치} 파라미터에 사용자 디바이스(104)로부터 GPS 좌표를 기재할 수 있다.

일부 실시예에서, 자연 언어 프로세서(332)가 구조화된 쿼리(완성된 임의의 파라미터를 포함)를 작업 흐름 처리 모듈(336)("작업 흐름 프로세서")로 전달한다. 작업 흐름 프로세서(336)는, 자연 언어 프로세서(332)로부터 구조화된 쿼리를 수신하는 것, 구조화된 쿼리를 완성하는 것, 및 사용자의 궁극적인 요청을 "완수"하는 데 요구되는 행동을 수행하는 것 중 하나 이상을 수행하도록 구성된다. 일부 실시예에서, 이 작업들을 완수하는 데 필요한 다양한 절차들이 작업 흐름 모델(354)에서 제공된다. 일부 실시예에서, 작업 흐름 모델(354)은 사용자로부터 추가 정보를 획득하기 위한 절차, 및 행동가능한 의도와 연관된 행동을 수행하기 위한 작업 흐름을 포함한다.

앞서 기재한 바와 같이, 구조화된 쿼리를 완성하기 위하여, 작업 흐름 프로세서(336)는 추가 정보를 얻고/얻거나 잠재적으로 불분명한 발언을 중의성 해결 처리하기 위하여 사용자와 추가적인 대화를 개시할 필요가 있을 수 있다. 그와 같은 상호작용이 필요한 경우, 작업 흐름 프로세서(336)는 대화 처리 모듈(334)을 호출하여 사용자와의 대화에 참여한다. 일부 실시예에서, 대화 처리 모듈(334)은 어떻게(및/또는 언제) 사용자에게 추가 정보를 물을지 결정하고, 사용자 응답을 수신하고 처리한다. 일부 실시예에서, 질문은 I/O 처리 모듈(328)을 통해 사용자에게 제공되고 사용자로부터 답변이 수신된다. 예를 들어, 대화 처리 모듈(334)은 청각적 및/또는 시각적 출력을 통해 사용자에게 대화 출력을 표시하고, 말하기 또는 물리적(예를 들어, 터치 제스처) 응답을 통해 사용자로부터 입력을 수신한다. 위의 예에 이어서, 작업 흐름 프로세서(336)가 대화 처리 모듈(334)을 호출하여 도메인 "식당 예약"과 연관된 구조화된 쿼리를 위하여 "인원수" 및 "날짜" 정보를 결정하는 경우, 대화 흐름 프로세서(334)는 질문들, 예컨대 "몇 명입니까?", 및 "몇 일입니까?"를 생성하여 사용자에게 전달한다. 사용자로부터 대답이 수신되면, 대화 처리 모듈(334)은 구조화된 쿼리에 부족한 정보를 기재하거나 정보를 작업 흐름 프로세서(336)에 전달하여 구조화된 쿼리로부터 부족한 정보를 완성한다.

일부 경우에, 작업 흐름 프로세서(336)는 하나 이상의 불분명한 속성을 갖는 구조화된 쿼리를 수신할 수 있다. 예를 들어, "메시지를 송신한다"는 도메인에 대한 구조화된 쿼리는 지정된 수신인이 "Bob"이라고 나타낼 수 있고, 사용자는 "Bob"으로 명명된 다수의 연락처를 가질 수 있다. 작업 흐름 프로세서(336)는 대화 프로세서(334)로 하여금 구조화된 쿼리의 이러한 속성을 중의성 해결 처리하도록 요청할 것이다. 이어서, 대화 프로세서(334)는 사용자에게 "어떤 Bob?"라고 물으면서, 사용자가 선택할 수 있도록 "Bob"으로 명명된 연락처의 리스트를 디스플레이(또는 판독)할 수 있다.

작업 흐름 프로세서(336)가 행동가능한 의도에 대한 구조화된 쿼리를 완성하면, 작업 흐름 프로세서(336)는 행동가능한 의도와 연관된 궁극적인 작업을 수행하도록 진행한다. 따라서, 작업 흐름 프로세서(336)는 구조화된 쿼리에 포함된 특정 파라미터에 따라 작업 흐름 모델에서 단계 및 명령어를 실행한다. 예를 들어, "식당 예약"의 행동가능한 의도에 대한 작업 흐름 모델은 식당에 연락하는 것 및 특정 시간에 특정 인원수를 위한 예약을 실제로 요청하는 것을 위한 단계 및 명령어를 포함할 수 있다. 예를 들어, 구조화된 쿼리, 예컨대, { 식당 예약, 식당 = ABC 카페, 날짜 = 3/12/2012, 시간 = 오후 7시, 인원수 = 5}를 사용하여, 작업 흐름 프로세서(336)가 (1) ABC 카페의 서버 또는 ABC 카페와 같은 다수의 식당에 대한 예약을 접수하도록 구성된 식당 예약 시스템에 로그인하는 단계, (2) 웹사이트 상에서 소정 양식에 날짜, 시간, 및 인원수 정보를 입력하는 단계, (3) 양식을 제출하는 단계, 및 (4) 사용자의 달력에 예약에 대하여 달력 입력을 하는 단계를 수행할 수 있다.

일부 실시예에서, 작업 흐름 프로세서(336)는 사용자 입력에서 요청된 작업을 완수하거나 사용자 입력에서 요청된 정보를 제공하는 대답을 제공하기 위하여 서비스 처리 모듈(338)("서비스 프로세서")의 보조를 이용한다. 예를 들어, 서비스 프로세서(338)는 작업 흐름 프로세서(336)를 대신해서 전화 통화를 걸고, 달력 입력을 설정하고, 지도 탐색을 호출하고, 사용자 디바이스 상에 설치된 다른 사용자 애플리케이션을 호출하거나 상호작용하고, 서드 파티 서비스(예를 들어, 식당 예약 포탈, 사회적 네트워킹 웹사이트, 은행업무 포탈 등)를 호출하거나 상호작용하도록 작동할 수 있다. 일부 실시예에서, 각 서비스마다 요구되는 프로토콜 및 애플리케이션 프로그래밍 인터페이스(API)는 서비스 모델(356)들 중에 각자의 서비스 모델에 의해 명시될 수 있다. 서비스 프로세서(338)는 서비스를 위한 적절한 서비스 모델에 액세스하고 서비스 모델에 따른 서비스에 의해 요구되는 프로토콜 및 API에 따라 서비스에 대한 요청을 생성한다.

예를 들어, 식당이 온라인 예약 서비스를 가능하게 하면, 식당은 예약을 하는 데 필요한 파라미터 및 온라인 예약 서비스에 필요한 파라미터의 값을 전달하기 위한 API를 명시하는 서비스 모델을 제출할 수 있다. 작업 흐름 프로세서(336)에 의해 요청되는 경우, 서비스 프로세서(338)는 서비스 모델(356)에 저장된 웹 주소를 사용하여 온라인 예약 서비스와의 네트워크 접속을 설정하고, 온라인 예약 서비스의 API에 따른 포맷으로 예약의 필요한 파라미터(예를 들어, 시간, 날짜, 인원수)를 온라인 예약 인터페이스에 송신할 수 있다.

일부 실시예에서, 자연 언어 프로세서(332), 대화 프로세서(334), 및 작업 흐름 프로세서(336)는 사용자의 의도를 유추 및 정의하고, 사용자 의도를 더 명확히 하고 세밀하게 하도록 정보를 획득하고, 최종적으로 사용자의 의도를 이행하기 위하여 응답을 생성(예를 들어, 사용자에게 출력을 제공하거나, 작업을 완수)하기 위하여 총체적이고 반복적으로 사용된다.

일부 실시예에서, 사용자의 요청을 수행하는 데 필요한 모든 작업이 수행된 후, 디지털 어시스턴트(326)는 확인 응답을 표현하고, I/O 처리 모듈(328)을 통해 사용자에게 응답을 다시 송신한다. 사용자 요청이 정보를 제공하는 대답을 요구하는 경우, 확인 응답은 사용자에게 요청된 정보를 표시한다. 일부 실시예에서, 디지털 어시스턴트는 또한 사용자가 디지털 어시스턴트(326)에 의해 생성된 응답에 만족하는지 여부를 나타내도록 사용자에게 요청할 수 있다.

도 4a 내지 도 4n은 일부 실시예에 따라 전자 디바이스(예를 들어, 도 2에 대하여 기재되는 사용자 디바이스(104) 또는 도 3에 대하여 기재되는 단독형 디바이스(300)) 상에 디스플레이되는 예시적인 사용자 인터페이스를 도시한다.

도 4a 내지 도 4j는 일부 실시예에 따라 하나 이상의 문서를 탐색하고 브라우징하는 것과 연관된 예시적인 사용자 인터페이스를 도시한다.

도 4a는 제1 문서의 일부를 포함하는 예시적인 사용자 인터페이스를 도시한다. 일부 실시예에서, 제1 문서는, 예를 들어, 밑줄로 표시된 복수의 링크(예를 들어, "새로운 국가", "내전", "위대한 전쟁터", 및 "이 전쟁터의 일부")를 포함한다.

도 4a는 또한, 일부 실시예에서, 제1 문서의 음성 판독을 출력하기 전에, 전자 디바이스가 제1 문서 상의 현재 위치를 나타내는 오디오 정보 및/또는 제1 문서에 관한 정보를 포함하는 오디오 정보를 출력하는 것을 도시한다. 예를 들어, 전자 디바이스는 제1 문서의 읽힐 부분이 제1 문서의 시작이라는 것 또는 전자 디바이스가 곧 음성 판독을 출력한다는 것을 나타내는 오디오 신호(예를 들어, "삐 소리") 또는 음성 안내를 출력할 수 있다. 추가적으로, 또는 대신에, 전자 디바이스는 제1 문서에 관한 정보, 예컨대 제1 문서의 제목, 작성자, 날짜, 및 소스를 출력할 수 있다.

도 4b는 전자 디바이스는 텍스트 "87년 전 우리의 선조들은 이 대륙에서 ~ 탄생시켰다"에 해당하는, 제1 문서의 일부분의 음성 판독을 출력하는 것을 도시한다.

도 4c는 전자 디바이스가 텍스트 "새로운 국가"와 연관된 링크를 식별하는 오디오 정보를 출력하는 것을 도시한다. 예를 들어, 전자 디바이스는 단어 "링크"의 음성 신호 및/또는 "삐 소리"과 같은 오디오 신호를 출력한다. 일부 실시예에서, 용어 "링크"는 링크된 문서의 위치를 포함하는 메타데이터를 지칭한다. 일부 실시예에서, 용어 "링크"는 하이퍼텍스트 앵커(hypertext anchor)를 포함한다. 음성 신호 및 오디오 신호는 링크와 연관된 텍스트의 음성 판독 전후에 출력될 수 있다. 일부 실시예에서, 전자 디바이스는 또한 링크에 관한 정보, 예컨대 링크된 문서의 제목, 작성자, 날짜, 및 소스를 출력할 수 있다.

일부 실시예에서, 전자 디바이스는 음성 신호, 오디오 신호, 링크에 관한 정보 및/또는 링크와 연관된 텍스트의 음성 판독을 출력한 후, 미리 결정된 기간 동안(예를 들어, 1, 2, 3, 4, 또는 5초 등) 잠시 멈춘다.

도 4d는 전자 디바이스가 링크와 연관된 텍스트에 후속하는 제1 문서의 일부분의 음성 판독을 출력하는 것을 도시한다.

일부 실시예에서, 전자 디바이스는 사용자로부터 음성 명령을 수신한다. 일부 실시예에서, 전자 디바이스가 음성 신호, 오디오 신호, 링크에 관한 정보 및/또는 링크와 연관된 텍스트의 음성 판독을 출력하는 동안, 일시 정지하는 동안, 또는 전자 디바이스가 링크와 연관된 텍스트에 후속하는 문서의 일부분의 음성 판독을 출력하는 동안 전자 디바이스는 사용자로부터 음성 명령을 수신한다. 일부 실시예에서, 전자 디바이스는 상기 링크와는 구분되는 제2 링크에 관한 음성 신호 및/또는 오디오 신호를 출력하기 전에, 사용자로부터 음성 명령을 수신한다.

일부 실시예에서, 음성 명령은 링크된 문서를 탐색하는 요청(예를 들어, "링크를 따라가다")이다. 일부 실시예에서, 전자 디바이스는 문서의 마지막으로 음성 출력된 부분을 저장한다. 일부 실시예에서, 전자 디바이스는 문서의 마지막으로 음성 출력된 부분 대신에 링크에 관한 정보(예를 들어, 링크의 위치 및/또는 식별)를 저장한다.

도 4e는 전자 디바이스가 링크된 문서의 일부분을 디스플레이하고, 링크된 문서의 일부분의 음성 판독을 출력하는 것을 도시한다. 일부 실시예에서, 링크된 문서의 음성 판독을 출력하기 전에, 전자 디바이스는 문서 상에서 현재 위치를 나타내는 오디오 정보 및/또는 문서에 관한 정보를 포함하는 오디오 정보를 출력한다. 예를 들어, 전자 디바이스는 문서의 읽힐 부분이 문서의 시작이라는 것 또는 전자 디바이스가 곧 음성 판독을 출력한다는 것을 나타내는 오디오 신호(예를 들어, "삐 소리") 또는 음성 안내를 출력할 수 있다. 추가적으로, 또는 대신에, 전자 디바이스는 문서에 관한 정보, 예컨대 문서의 제목, 작성자, 날짜, 및 소스를 출력할 수 있다. 추가적으로, 전자 디바이스는 문서의 읽힐 부분이 표제(heading), 새로운 줄, 새로운 문장 및/또는 새로운 단락임을 나타내는 오디오 신호 또는 음성 안내를 출력할 수 있다.

도 4f는 전자 디바이스가 추가적으로 링크된 문서의 후속 부분의 음성 판독을 출력하는 것을 도시한다. 유사하게, 전자 디바이스는 계속해서 링크된 문서의 남아 있는 부분의 음성 판독을 출력할 수 있다.

도 4g는 전자 디바이스가 링크된 문서의 마지막 문장의 음성 판독을 출력하는 것을 도시한다.

일부 실시예에서, 전자 디바이스가 링크된 문서의 하나 이상의 부분의 음성 판독을 출력하는 동안, 전자 디바이스는 사용자로부터 제1 문서로의 재탐색을 요청하는 음성 명령을 받는다. 도 4h는, 이에 응답하여, 전자 디바이스가 제1 문서의 하나 이상의 부분을 디스플레이하고 제1 문서의 일부분의 음성 판독을 출력하는 것을 도시한다.

일부 실시예에서, 전자 디바이스는 제1 문서로의 재탐색에 관한 음성 문의를 출력한다. 일부 실시예에서, 전자 디바이스는 링크된 문서의 마지막 문장의 음성 판독을 출력한 후에, 제1 문서로의 재탐색에 관한 음성 문의를 출력한다. 사용자가 제1 문서로의 재탐색을 요청하는 음성 명령을 제공하는 경우, 전자 디바이스는, 위에서 설명한 바와 같이, 제1 문서의 일부분의 음성 판독을 출력한다(예를 들어, 제1 문서로 재탐색함). 대안적으로, 일부 실시예에서, 전자 디바이스는, 예를 들어, 전자 디바이스가 링크된 문서의 음성 판독을 출력하는 것을 완료한 경우, 사용자로부터 음성 명령을 수신하지 않고 자동적으로 제1 문서로 재탐색한다.

일부 실시예에서, 전자 디바이스가 제1 문서의 음성 판독을 출력하는 것을 재개하는 경우, 전자 디바이스는 제1 문서의 마지막으로 음성 출력된 부분에 해당하는 제1 문서의 일부분의 음성 판독을 출력하기 시작한다. 일부 실시예에서, 전자 디바이스는 링크와 연관된 텍스트의 음성 판독을 출력함으로써 재개한다. 일부 실시예에서, 전자 디바이스는 링크와 연관된 텍스트에 후속하는 제1 문서의 일부분의 음성 판독을 출력함으로써 재개한다. 일부 실시예에서, 전자 디바이스는 링크와 연관된 텍스트를 포함하는 문장의 음성 판독을 출력함으로써 재개한다. 일부 실시예에서, 전자 디바이스는 링크와 연관된 텍스트를 포함하는 단락의 음성 판독을 출력함으로써 재개한다.

도 4i는 전자 디바이스가 제1 문서에서 다음 단락의 일부분의 음성 판독을 출력하는 것을 도시한다. 일부 실시예에서, 다음 단락의 일부분의 음성 판독을 출력하기 전에, 전자 디바이스는 문서의 현재 위치를 나타내는 오디오 정보를 출력한다. 예를 들어, 전자 디바이스는 문서의 읽힐 부분이 새로운 줄, 새로운 문장 및/또는 새로운 단락임을 나타내는 오디오 신호(예를 들어, "삐 소리") 또는 음성 안내를 출력할 수 있다.

도 4j는, 일부 실시예에서, 문서는 각자의 스타일을 갖는 다수의 부분을 포함한다. 다시 말해서, 문서의 제1 부분은 제1 스타일을 포함할 수 있고 문서의 제2 부분은 제2 스타일을 포함한다. 예를 들어, 도 4j에 도시된 문서의 제1 단락은 제1 스타일(예를 들어, 단락이 이탤릭체가 아님)을 갖고 문서의 후속 단락은 제1 스타일과 구분되는 제2 스타일(예를 들어, 단락이 이탤릭체임)을 갖는다. 전자 디바이스는 제1 세트의 음성 특성(예를 들어, 성인 여성의 음성)을 사용하여 문서의 제1 부분의 음성 판독을 출력하고 제2 세트의 음성 특성(예를 들어, 성인 남성의 음성)을 사용하여 문서의 제2 부분의 음성 판독을 출력한다. 음성 특성은 피치(pitch), 속도, 및 성량 및/또는, 예를 들어, 성별(예컨대, 남성 또는 여성) 및 연령(예컨대, 성인 또는 아동)에 기초하여 분류되는 특정 그룹의 발화자(speacker)의 통상적인 특성 중 하나 이상을 포함할 수 있다.

도 4k 내지 도 4n은 일부 실시예에 따라 하나 이상의 문서를 식별하는 것과 연관된 예시적인 사용자 인터페이스를 도시한다. 도 4k 내지 도 4n에 도시된 예시적인 사용자 인터페이스는 이메일 메시지를 포함하지만, 유사한 방법은 다른 유형의 문서, 예컨대 책 장(book chapter), 백과사전 항목 등과 함께 사용될 수 있다.

도 4k는 전자 메시지의 예시적인 사용자 인터페이스를 도시한다. 전자 디바이스는 메시지의 적어도 일부분(예를 들어, "데이비드로부터 당신, 존, 캐런 및 폴에게 보내는 이메일. 제목 새로운 특징. 메시지 내용은 '이것은 정말 좋아 보입니다. 팀원 여러분, 어떻게 생각하십니까?'")의 음성 판독을 출력한다.

일부 실시예에서, 전자 디바이스는 사용자로부터 특정 기준에 대응하는 하나 이상의 문서를 요청하는 음성 명령을 수신한다. 예를 들어, 일부 실시예에서, 특정 기준은 하나 이상의 문서가 하나 이상의 작성자에 의해 작성된 것(예를 들어, "데이비드로부터 온 이메일 메시지를 찾는다", "데이비드, 존, 캐런, 및 폴로부터 온 이메일 메시지를 찾는다", "이 이메일의 주소에서 온 이메일 메시지를 찾는다" 등)이다. 다른 실시예에서, 특정 기준은 하나 이상의 문서가 특정 문서와 연관된 것(예를 들어, "이 맥락에 있는 이메일 메시지를 찾는다", "이 이메일에 대한 답장을 찾는다" 등)이다. 또 다른 실시예에서, 특정 기준은 하나 이상의 문서가 특정 문서에 대한 답장인 것이다. 또 다른 실시예에서, 특정 기준은 하나 이상의 문서가 각자의 작성자로부터의 최근 메시지를 포함하는 것(예를 들어, 데이비드로부터 온 마지막 이메일을 찾는다")이다. 일부 실시예에서, 특정 기준은 하나 이상의 문서가 각자의 작성자로부터 온 첫 메시지를 포함하는 것이다.

일부 실시예에서, 특정 기준은 하나 이상의 문서가 특정 날짜 범위에 대응하는 것(예를 들어, 지난 주에 수신된 이메일을 찾는다", "1월 1일 부터 3월 31일까지 수신된 이메일 메시지를 찾는다" 등)이다. 일부 실시예에서, 특정 날짜 범위는 단독 날짜에 해당한다.

일부 실시예에서, 특정 기준은 앞서 언급된 기준 중 하나 이상(예를 들어, "지난 주에 데이비드와 캐런으로부터 수신된 이메일을 찾는다")을 포함한다.

도 4l은 사용자가 특정 작성자, 예컨대 데이비드에 의해 작성된 이메일 메시지를 요청하는 것에 응답하여 디스플레이되는 예시적인 사용자 인터페이스를 도시한다. 전자 디바이스는 이메일 메시지의 리스트의 음성 판독을 출력한다. 일부 실시예에서, 전자 디바이스는 리스트의 이메일 메시지의 수를 나타내는 오디오 정보를 출력한다.

도 4m은 사용자가 앞서 디스플레이된 이메일 메시지에 대한 답장을 요청하는 것에 응답하여 디스플레이되는 대안적인 사용자 인터페이스를 도시한다. 전자 디바이스는 답장의 리스트의 음성 판독을 출력한다. 일부 실시예에서, 전자 디바이스는 리스트의 이메일 메시지의 수를 나타내는 오디오 정보를 출력한다.

일부 실시예에서, 전자 디바이스는 리스트의 이메일 메시지(예를 들어, 도 4l 또는 도 4m에 도시된 리스트)의 음성 판독을 출력한다. 일부 실시예에서, 전자 디바이스는 리스트의 최근 이메일의 음성 판독을 출력하는 경우, 전자 디바이스는 판독되는 이메일이 리스트의 최근 이메일임을 나타내는 오디오 정보를 출력한다.

도 4a 내지 도 4n은 전자 디바이스 상에 디스플레이되는 예시적인 사용자 인터페이스를 도시하지만, 일부 실시예에서, 전자 디바이스는 전자 디바이스 상에 예시적인 사용자 인터페이스를 디스플레이하지 않고 오디오 정보(예를 들어, 음성 판독 및/또는 오디오 신호)를 출력한다. 일부 실시예에서, 전자 디바이스는 디스플레이를 전혀 포함하지 않는다.

도 5는 일부 실시예에 따라 전자 디바이스(예를 들어, 도 2에 대하여 기재되는 사용자 디바이스(104) 또는 도 3에 대하여 기재되는 단독형 디바이스(300))에 의해 수행되는 문서를 통해 탐색하기 위한 동작을 도시하는 흐름도이다. 일부 실시예에서, 전자 디바이스는 휴대용 전자 디바이스를 포함한다. 일부 실시예에서, 전자 디바이스는 컴퓨터 시스템을 포함한다.

이 동작들은 단지 예시에 불과하고 다양한 실시예에서 전자 디바이스에 의해 더 적거나 더 작은 동작들이 수행될 수 있다.

일부 실시예에서, 전자 디바이스는 제1 문서를 수신한다(502).

전자 디바이스는 문서의 일부분(예를 들어, 도 4b)의 음성 판독을 출력한다(504).

일부 실시예에서, 전자 디바이스는 문서의 일부분이 링크를 포함하는지 여부를 판단한다(506). 문서의 일부분이 링크를 포함하는 경우, 전자 디바이스는 복수의 링크 중에서 한 링크를 식별하는 오디오 정보(예를 들어, 단어 "링크"의 음성 출력 또는 "삐 소리" 오디오 신호 및/또는 링크에 관한 정보, 예컨대 링크된 문서의 제목, 작성자, 날짜, 및 소스이며, 이는 도 4c에 대하여 기재된 바와 같음)를 출력한다(508).

일부 실시예에서, 전자 디바이스는 사용자로부터 음성 명령을 수신한다. 일부 실시예에서, 전자 디바이스는 전자 디바이스가 음성 명령을 수신했는지 여부를 판단한다(510).

일부 실시예에서, 전자 디바이스가 음성 명령을 수신하는 경우, 전자 디바이스는 수신된 음성 명령이 탐색 명령인지 여부(예를 들어, 수신된 음성 명령이 링크와 연관된 제2 문서(예를 들어, 링크된 문서)로의 탐색에 대한 요청을 포함하는지 여부)를 결정한다(512). 수신된 음성 명령이 링크된 문서로의 탐색에 대한 요청을 포함하는 경우, 전자 디바이스는 링크된 문서를 검색한다(514). 이어서, 전자 디바이스는 링크된 문서(예를 들어, 도 4e)의 하나 이상의 부분의 음성 판독을 출력한다(504).

일부 실시예에서, 전자 디바이스가 음성 명령을 수신하는 경우, 전자 디바이스는 수신된 음성 명령이 정보 명령인지 여부(예를 들어, 수신된 음성 명령이 링크된 문서에 관한 정보에 대한 요청을 포함하는지 여부)를 판단한다(516). 수신된 음성 명령이 링크된 문서에 관한 정보(예를 들어, 제목, 작성자, 날짜, 소스, 초록, 요약, 첫 문장, 첫 단락 등)에 대한 요청, 예컨대 "작성자가 누구인가"를 포함하는 경우, 전자 디바이스는 요청된 정보를 검색한다(518). 일부 실시예에서, 요청된 정보의 적어도 일부분은 링크된 문서로부터 획득된다(예를 들어, 제목, 작성자, 날짜, 및 초록). 일부 실시예에서, 요청된 정보의 적어도 일부분은 링크된 문서를 처리함으로써 획득된다(예를 들어, 링크된 문서를 요약함). 일부 실시예에서, 요청된 정보의 적어도 일부분은 서드 파티 서버에 의해 제공된다(예를 들어, 링크된 문서의 리뷰). 전자 디바이스는 요청된 정보의 음성 판독을 출력한다(520). 다른 실시예에서, 전자 디바이스는 링크된 문서의 메타데이터로부터 요청된 정보의 적어도 일부분을 수신하거나, 자세한 내용을 얻기 위하여 링크된 문서와 연관된 다른 소스로부터 정보를 검색한다.

일부 실시예에서, 사용자가 두 인접한 링크 사이에서 또는 두 인접한 링크 바로 뒤에서 음성 명령을 제공하는 경우, 전자 디바이스는 음성 명령에 대응하는 후보 링크로서 두 링크를 식별한다. 사용자의 음성 명령이 두 인접한 링크 중 제1 또는 제2 링크에 관한 것일 수 있기 때문에, 어떤 링크에 대하여 사용자의 음성 명령이 수행되어야 하는지 분명하게 할 필요가 있을 수 있다. 일부 실시예에서, 전자 디바이스는 후보 링크에 관한 오디오 정보 및/또는 어떤 링크 상에 사용자가 음성 명령을 수행하기를 원하는지에 관한 오디오 문의를 출력한다. 예를 들어, 전자 디바이스가 문장 "학교 A와 학교 B 간의 다음 경기는 3월 3일에 있습니다"의 음성 판독을 출력하는 동안, 사용자가 음성 명령 "링크를 따라가"를 제공한다. 일부 실시예에서, 전자 디바이스는 오디오 문의 "어떤 링크입니까?"를 출력하고 사용으로부터 후속 음성 명령을 수신한다. 후속 음성 명령이 "학교 B"인 경우, 전자 디바이스는 텍스트 "학교 B"와 링크된 문서를 검색하고 링크된 문서의 일부분의 음성 판독을 출력한다.

일부 실시예에서, 문서의 각자의 부분의 음성 판독을 출력한 후, 전자 디바이스는 문서의 마지막에 도달했는지 여부(예를 들어, 전자 디바이스가 전체 문서의 음성 판독을 출력했는지 여부)를 판단한다(522). 문서의 마지막에 도달하지 않은 경우, 전자 디바이스는 문서의 후속 부분의 음성 판독을 출력한다(504). 일부 실시예에서, 문서의 마지막에 도달한 경우, 전자 디바이스는 사용자로부터 탐색 명령을 기다린다. 전자 디바이스가 사용자로부터 이전 문서 또는 새로운 문서로의 탐색을 요청하는 탐색 명령을 수신하는 경우(524), 전자 디바이스는 이전 문서 또는 새로운 문서를 검색한다(526). 앞서 기재한 바와 같이, 이 동작들(예를 들어, 동작 522, 524, 및 526 등)은 서버 또는 모바일 디바이스에 의해 수행될 수 있다. 일부 실시예에서, 사용자로부터 탐색 명령을 수신하기 전에, 전자 디바이스는 사용자가 다른 문서(예를 들어, 도 4g에 대하여 기재된 바와 같음)를 탐색하기를 원하는지 여부에 관한 음성 문의를 출력한다. 일부 실시예에서, 사용자가 다른 문서를 탐색하기를 원하지 않는 경우, 전자 디바이스는 음성 판독을 출력하는 것을 중단한다.

도 6은 일부 실시예에 따라 전자 디바이스(예를 들어, 도 2에 대하여 기재된 사용자 디바이스(104) 또는 도 3에 대하여 기재된 단독형 디바이스(300))에 의해 수행되는 문서를 브라우징하기 위한 동작을 도시하는 흐름도이다. 일부 실시예에서, 전자 디바이스는 휴대용 전자 디바이스를 포함한다. 일부 실시예에서, 전자 디바이스는 컴퓨터 시스템을 포함한다.

일부 실시예에서, 전자 디바이스는 복수의 부분을 갖는 문서를 수신한다(602). 상기 부분들 중 적어도 일부는 각자의 메타데이터와 연관된다. 일부 실시예에서, 각자의 메타데이터는 문서의 구조(예를 들어, 단락, 문장, 표제, 스타일 등)를 나타낸다.

전자 디바이스는 문서의 각자의 부분의 음성 판독을 출력한다(604). 문서의 각자의 부분의 음성 판독을 출력하는 동안, 전자 디바이스는 상기 부분의 각자의 메타데이터에 기초하여 각각 각자의 부분을 오디오적으로 구분한다. 예를 들어, 전자 디바이스는 각자의 부분이 지표(signpost)에 대응하는지 여부를 판단한다(606). 본 명세서에서 사용된 바와 같이, 지표는 문서에서 미리 결정된 위치 또는 위치의 미리 결정된 유형을 지칭한다. 일부 실시예에서, 각자의 부분이 지표에 대응하는 경우, 전자 디바이스는 상기 부분이 지표에 대응하는지 여부를 알리기 위하여 음성 신호 또는 오디오 신호를 출력한다(608). 예를 들어, 일부 실시예에서, 새로운 단락의 시작점에서, 전자 디바이스는 새로운 단락의 시작을 나타내기 위하여 음성 신호 또는 오디오 신호를 출력한다. 유사하게, 일부 실시예에서, 섹션의 시작 또는 종료를 나타내고/나타내거나 북마크를 나타내는 데 음성 신호 및 오디오 신호가 사용된다.

상기 부분이 지표에 대응하는지 여부를 나타내기 위하여 음성 신호 또는 오디오 신호를 출력하는 것에 후속하여(예를 들어, 상기 부분이 지표에 대응하는지 여부를 나타내기 위하여 음성 신호 또는 오디오 신호를 출력한 후에 두 세개의 단락의 음성 판독을 출력한 후에), 전자 디바이스는 사용자로부터 음성 명령을 수신하고 음성 명령이 탐색 명령인지 여부를 판단한다(610). 음성 명령이 지표로의 탐색을 요청하는 탐색 명령인 경우, 전자 디바이스는 지표에 대응하는 부분을 탐색하고(614), 지표에 대응하는 부분의 음성 판독을 출력한다(604).

일부 실시예에서, 문서의 각자의 부분의 음성 판독을 출력한 후, 전자 디바이스는 문서의 마지막에 도달했는지 여부(예를 들어, 전자 디바이스가 전체 문서의 음성 판독을 출력했는지 여부)를 판단한다(616). 문서의 마지막에 도달하지 않은 경우, 전자 디바이스는 문서의 후속 부분의 음성 판독을 출력한다(604).

도 7은 일부 실시예에 따라 전자 디바이스(예를 들어, 도 2에 대하여 기재된 사용자 디바이스(104) 또는 도 3에 대하여 기재된 단독형 디바이스(300))에 의해 수행되는 문서의 세트를 식별하기 위한 동작을 도시하는 흐름도이다. 일부 실시예에서, 전자 디바이스는 휴대용 전자 디바이스를 포함한다. 일부 실시예에서, 전자 디바이스는 컴퓨터 시스템을 포함한다.

일부 실시예에서, 전자 디바이스는 문서의 적어도 일부분의 음성 판독을 출력한다(702).

전자 디바이스는 사용자로부터 특정 기준에 대응하는 문서를 요청하는 음성 명령을 수신한다(704). 일부 실시예에서, 전자 디바이스는 음성 판독을 출력하는 동안 음성 명령의 적어도 일부분을 수신한다. 일부 실시예에서, 특정 기준은 하나 이상의 식별된 문서가 사용자에 의해 식별된 하나 이상의 작성자에 의해 작성되도록 요구한다(706). 일부 실시예에서, 특정 기준은 하나 이상의 식별된 문서가 특정 문서와 연관되도록 요구한다(708). 일부 실시예에서, 특정 기준은 하나 이상의 식별된 문서가 특정 문서에 대한 대답이 되도록 요구한다(710) 일부 실시예에서, 특정 기준은 하나 이상의 식별된 문서가 각자의 작성자로부터의 최근 메시지를 포함하도록 요구한다(712). 일부 실시예에서, 특정 기준은 하나 이상의 식별된 문서가 사용자에 의해 식별된 특정 날짜 범위에 대응하도록 요구한다(714).

일부 실시예에서, 특정 기준에 대응하는 문서를 요청하는 음성 명령을 수신하기 전에, 전자 디바이스는 사용자로부터 문서에 대한 정보(예를 들어, 작성자, 단어 수, 최근 업데이트 날짜, 문서 내의 섹션 수 등)에 대한 요청을 수신한다. 일부 실시예에서, 문서에 관한 정보에 대한 요청에 응답하여, 전자 디바이스는 문서에 관하여 요청된 정보를 포함하는 오디오 정보를 출력한다. 일부 실시예에서, 전자 디바이스는 하나 이상의 원격 컴퓨터 시스템(예를 들어, 하나 이상의 검색 엔진 및/또는 데이터베이스 서버)으로부터 요청된 정보를 검색한다. 일부 실시예에서, 전자 디바이스는 문서로부터 요청된 정보를 결정한다.

일부 실시예에서, 전자 디바이스는 사용자로부터 요청된 정보를 저장하라는 요청을 수신하고, 이에 응답하여, 요청된 정보를 (예를 들어, 전자 디바이스 상에 또는 원격에) 저장한다. 일부 실시예에서, 전자 디바이스는 사용자로부터 요청된 정보를 저장하라는 요청 없이 요청된 정보를 저장한다.

일 예에서, 요청은 문서의 길이에 대한 것이고(예를 들어, "이 글은 얼마나 깁니까?"), 문서의 길이에 대한 요청에 응답하여, 전자 디바이스는 문서의 길이(예를 들어, 단어 수 또는 페이지 수)를 결정하고 문서의 길이를 포함하는 오디오 정보를 출력한다. 다른 예에서, 요청은 문서가 업데이트 되었는지 여부에 관한 것이고(예를 들어, "이 글은 업데이트되었습니까?"), 문서가 업데이트되었는지 여부에 대한 요청에 응답하여, 전자 디바이스는 문서가 업데이트되었는지 여부를 결정하고 문서가 업데이트되었는지 여부를 나타내는 오디오 정보를 출력한다(예를 들어, "글에 수정사항이 있습니다."). 또 다른 예에서, 요청은 문서의 작성자에 대한 것이다(예를 들어, "누가 이 글을 작성했습니까?"). 일부 실시예에서, 문서의 작성자에 대한 요청에 응답하여, 전자 디바이스는 문서의 작성자를 포함하는 오디오 정보를 출력한다. 일부 경우에, 작성자 정보는 문서에서 (예를 들어, "~에 의해 작성된"과 같은 텍스트 부분 또는 마크업 언어에서 작성자 필드에서) 추출된다. 일부 경우에, 작성자 정보는 문서로 링크되는 웹 페이지에서 추출된다.

일부 실시예에서, 전자 디바이스는 요청된 정보에 기초하여 추가 정보에 대한 요청을 수신하고, 추가 정보를 획득하여, 추가 정보를 출력한다. 작성자 정보에 대하여 앞서 기재된 일부 예에서, 문서의 작성자를 포함하는 오디오 정보를 출력한 후에, 전자 디바이스는 동일한 작성자에 의해 작성된 다른 문서에 대한 요청을 수신하고(예를 들어, "이 작성자는 어떤 다른 글을 작성했습니까?"),이에 응답하여, 문서의 작성자에 의해 작성된 다른 문서를 포함하는 정보를 획득하여, 그 정보를 출력한다. 일부 실시예에서, 전자 디바이스는 하나 이상의 원격 컴퓨터 시스템(예를 들어, 하나 이상의 검색 엔진 및/또는 데이터베이스 서버)에 요청을 송신하고 하나 이상의 원격 컴퓨터 시스템의 적어도 서브셋으로부터 정보의 적어도 일부분을 수신함으로써 문서의 작성자에 의해 작성된 다른 문서를 포함하는 정보를 획득한다.

일부 실시예에서, 문서의 적어도 일부분의 음성 판독을 출력하는 동안, 전자 디바이스는 사용자로부터 문서에 대한 정보를 저장하라는 요청을 수신한다. 일부 실시예에서, 문서에 대한 정보를 저장하라는 요청을 수신한 것에 응답하여, 전자 디바이스는 문서에 대한 정보를 저장한다. 예를 들어, 일부 실시예에서, 요청은 문서를 북마킹하는 것(예를 들어, "이 글을 북마킹하다")이고, 전자 디바이스는 문서에 대한 액세스 정보(예를 들어, 문서에 대한 범용 리소스 할당기(universal resource locator))를 북마크로서 저장한다. 일부 실시예에서, 전자 디바이스는 문서에 대한 액세스 정보를 전자 디바이스 상에 저장한다. 일부 실시예에서, 전자 디바이스는 액세스 정보를 원격 서버에 저장한다.

일부 실시예에서 전자 디바이스는 후속 동작(예를 들어, 아래에 기재되는 동작 716, 718, 및 720)을 수행하지 않고 요청된 정보를 제공하는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백할 수도 있다.

전자 디바이스는 특정 기준에 대응하는 하나 이상의 문서를 식별한다(예를 들어 도 4l 내지 도 4m)(716).

전자 디바이스는 하나 이상의 식별된 문서 중 각각의 문서의 적어도 일부분의 음성 판독을 출력한다(718).

일부 실시예에서, 문서의 각자의 부분의 음성 판독을 출력한 후, 전자 디바이스는 문서의 마지막에 도달했는지 여부(예를 들어, 전자 디바이스가 전체 문서의 음성 판독을 출력했는지 여부)를 판단한다(720). 문서의 마지막에 도달하지 않은 경우, 전자 디바이스는 문서의 후속 부분의 음성 판독을 출력한다(718).

일부 실시예에서, 문서의 마지막에 도달한 경우, 전자 디바이스는 하나 이상의 식별된 문서의 모든 문서가 판독되었는지 여부를 판단한다. 하나 이상의 식별된 문서의 모든 문서가 판독되지 않은 경우, 전자 디바이스는 하나 이상의 식별된 문서의 다음 문서의 일부분의 음성 판독을 출력한다.

일부 실시예에 따라, 도 8은 앞서 기재된 바와 같은 본 발명의 원리들에 따라 구성되는 전자 디바이스(800)의 기능 블록 다이어그램을 도시한다. 디바이스의 기능 블록들은 본 발명의 원리들을 실행하기 위하여 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 8에 기재된 기능 블록들은 앞서 기재된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 설명된 기능적 블록들의 임의의 가능한 조합 또는 분리 또는 또 다른 정의를 지원할 수 있다.

도 8에 도시된 바와 같이, 전자 디바이스(800)는 오디오 입력 유닛(804) 및 오디오 출력 유닛(806)을 포함한다. 일부 실시예에서, 전자 디바이스(800)는 전자 문서의 하나 이상의 부분을 디스플레이하도록 구성되는 디스플레이 유닛(802)을 포함한다. 일부 실시예에서, 전자 디바이스(800)는 터치 감지 표면 유닛(808) 상에서 하나 이상의 제스처를 검출하도록 구성되는 터치 감지 표면 유닛(808)을 포함한다. 전자 디바이스는 추가로 오디오 입력 유닛(804) 및 오디오 출력 유닛(806)에 연결된 프로세싱 유닛(810)을 포함한다. 일부 실시예에서, 프로세싱 유닛(810)은 또한 디스플레이 유닛(802) 및 터치 감지 표면 유닛(808)에도 연결된다. 일부 실시예에서, 프로세싱 유닛(810)은 문서 수신 유닛(812), 출력 유닛(814), 음성 명령 수신 유닛(816), 저장 유닛(818), 검색 유닛(820), 식별 유닛(822), 및 사용자 선택 수신 유닛(824)을 포함한다.

프로세싱 유닛(810)은 (예를 들어, 문서 수신 유닛(812)과의) 복수의 링크를 포함하는 제1 문서를 수신하도록 구성된다. 프로세싱 유닛(810)은 (예를 들어, 오디오 출력 유닛(806)을 통해 출력 유닛(814)을 이용하여) 제1 문서의 적어도 일부분의 음성 판독을 출력하도록 구성된다. 프로세싱 유닛(810)은 (예를 들어, 오디오 출력 유닛(806)을 통해 출력 유닛(814)을 이용하여) 복수의 링크 중 한 링크를 식별하는 오디오 정보를 출력하도록 구성된다. 프로세싱 유닛(810)은, 링크를 식별하는 오디오 정보를 출력하는 것에 응답하여, (예를 들어, 오디오 입력 유닛(804)을 통해 음성 명령 수신 유닛(816)을 이용하여) 사용자로부터 링크에 대한 음성 명령을 수신하도록 구성된다. 프로세싱 유닛(810)은, 사용자로부터 음성 명령을 수신하는 것에 응답하여, (예를 들어, 오디오 출력 유닛(806)을 통해 출력 유닛(814)을 이용하여) 링크와 연관된 제2 문서의 적어도 일부분의 음성 판독을 출력하도록 구성된다.

일부 실시예에서, 링크는 제1 문서의 상기 부분의 텍스트와 연관된다.

일부 실시예에서, 프로세싱 유닛(810)은, 사용자로부터 링크에 대한 음성 명령을 수신하는 것에 응답하여, (예를 들어, 저장 유닛(818)을 이용하여) 링크에 관한 정보를 저장하고 (예를 들어, 오디오 출력 유닛(806)을 통해 출력 유닛(814)을 이용하여) 제2 문서의 하나 이상의 부분의 음성 판독을 출력하도록 구성된다.

일부 실시예에서, 프로세싱 유닛(810)은, 제2 문서의 적어도 일부분의 음성 판독을 출력한 후에, (예를 들어, 오디오 입력 유닛(804)을 통해 음성 명령 수신 유닛(816)을 이용하여) 사용자로부터 제1 문서로의 재탐색을 요청하는 음성 명령을 수신하고, 사용자로부터 제1 문서로의 재탐색을 요청하는 음성 명령을 수신하는 것에 응답하여, (예를 들어, 오디오 출력 유닛(806)을 통해 출력 유닛(814)을 이용하여), 제1 문서에서, 링크와 연관된 텍스트에 후속하는 제1 문서의 하나 이상의 부분의 음성 판독을 출력하도록 구성된다.

일부 실시예에서, 프로세싱 유닛(810)은, 제2 문서의 적어도 일부분의 음성 판독을 출력한 후에, (예를 들어, 오디오 출력 유닛(806)을 통해 출력 유닛(814)을 이용하여) 제1 문서로의 재탐색에 관한 음성 문의를 출력하고, 제1 문서로의 재탐색에 관한 음성 문의를 출력하는 것에 응답하여, (예를 들어, 오디오 입력 유닛(804)을 통해 음성 명령 수신 유닛(816)을 이용하여) 사용자로부터 제1 문서로의 재탐색을 요청하는 음성 명령을 수신하고 사용자로부터 제1 문서로의 재탐색을 요청하는 음성 명령을 수신하는 것에 응답하여, (예를 들어, 오디오 출력 유닛(806)을 통해 출력 유닛(814)을 이용하여), 제1 문서에서, 링크와 연관된 텍스트를 포함하는 제1 문서의 하나 이상의 부분의 음성 판독을 출력하도록 구성된다.

일부 실시예에서, 프로세싱 유닛(810)은, 제2 문서의 적어도 일부분의 음성 판독을 출력한 후에, 사용자로부터 제1 문서로의 재탐색을 요청하는 음성 명령을 수신하는 것에 응답하여, (예를 들어, 오디오 출력 유닛(806)을 통해 출력 유닛(814)을 이용하여) 제1 문서에서, 링크와 연관된 텍스트에 후속하는 제1 문서의 하나 이상의 부분의 음성 판독을 자동적으로 출력하도록 구성된다.

일부 실시예에서, 음성 명령은 제1 유형의 음성 명령이다. 일부 실시예에서, 프로세싱 유닛(810)은 (예를 들어, 오디오 입력 유닛(804)을 통해 음성 명령 수신 유닛(816)을 이용하여) 사용자로부터 링크에 대하여, 제1 유형과는 구분되는 제2 유형의 음성 명령을 수신하고, 사용자로부터 링크에 대한 제2 유형의 음성 명령을 수신하는 것에 응답하여, (예를 들어, 검색 유닛(820)을 이용하여) 제2 문서로부터 정보를 검색하고, 제2 문서로부터의 정보에 기초하여 (예를 들어, 오디오 출력 유닛(806)을 통하여 출력 유닛(814)을 이용하여) 제2 유형의 음성 명령에 대응하는 음성 정보를 출력하도록 구성된다.

일부 실시예에서, 제2 유형의 음성 명령은 제2 문서의 작성자에 관한 정보에 대한 요청을 포함한다.

일부 실시예에서, 제2 유형의 음성 명령은 제2 문서의 요약에 대한 요청을 포함한다.

일부 실시예에서, 프로세싱 유닛(810)은 (예를 들어, 식별 유닛(822)을 이용하여) 사용자로부터 음성 명령에 대응하는 후보 링크로서 둘 이상의 링크를 식별하고, (예를 들어, 오디오 출력 유닛(806)을 통해 출력 유닛(814)을 이용하여) 후보 링크에 관한 오디오 정보를 출력하고, (예를 들어, 오디오 입력 유닛(804) 또는 터치 감지 표면 유닛(808)을 통해 사용자 선택 수신 유닛(824)을 이용하여) 사용자로부터 후보 링크 중 단일 링크의 선택을 수신하도록 구성된다.

일부 실시예에 따르면, 도 9는 앞서 기재된 바와 같은 본 발명의 원리들에 따라 구성되는 전자 디바이스(900)의 기능 블록 다이어그램을 도시한다. 디바이스의 기능 블록들은 본 발명의 원리들을 실행하기 위하여 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 9에 기술된 기능 블록들은 앞서 기재된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 설명된 기능적 블록들의 임의의 가능한 조합 또는 분리 또는 또 다른 정의를 지원할 수 있다.

도 9에 도시된 바와 같이, 전자 디바이스(900)는 오디오 입력 유닛(904) 및 오디오 출력 유닛(906)을 포함한다. 일부 실시예에서, 전자 디바이스(900)는 전자 문서의 하나 이상의 부분을 디스플레이하도록 구성되는 디스플레이 유닛(902)을 포함한다. 일부 실시예에서, 전자 디바이스(900)는 터치 감지 표면 유닛(908) 상에서 하나 이상의 제스처를 검출하도록 구성되는 터치 감지 표면 유닛(908)을 포함한다. 전자 디바이스는 추가로 오디오 입력 유닛(904) 및 오디오 출력 유닛(906)에 연결된 프로세싱 유닛(910)을 포함한다. 일부 실시예에서, 프로세싱 유닛(910)은 또한 디스플레이 유닛(902) 및 터치 감지 표면 유닛(908)에도 연결된다. 일부 실시예에서, 프로세싱 유닛(910)은 문서 수신 유닛(912), 출력 유닛(914), 및 음성 명령 수신 유닛(916)을 포함한다.

프로세싱 유닛(910)은 (예를 들어, 문서 수신 유닛(912)을 이용하여) 복수의 부분을 갖는 문서를 수신하도록 구성되고, 상기 부분들 중 적어도 일부는 각각의 메타데이터와 연관된다. 프로세싱 유닛(910)은 문서의 각자의 부분의 음성 판독을 출력하도록 구성되고, 각자의 메타데이터에 기초하여 (예를 들어, 오디오 출력 유닛(906)을 통해 출력 유닛(914)을 이용하여) 각자의 부분을 오디오로 구분하는 것을 포함한다. 프로세싱 유닛(910)은 (예를 들어, 오디오 입력 유닛(904)을 통해 음성 명령 수신 유닛(916)을 이용하여) 사용자로부터 특정 메타데이터와 연관된 특정 부분으로의 탐색을 요청하는 음성 명령을 수신하도록 구성된다. 프로세싱 유닛(910)은, 음성 명령을 수신하는 것에 응답하여, (예를 들어, 오디오 출력 유닛(906)을 통해 출력 유닛(914)을 이용하여) 특정 메타데이터와 연관된 특정 부분의 음성 판독을 출력하도록 구성된다.

일부 실시예에서, 프로세싱 유닛(910)은 (예를 들어, 오디오 출력 유닛(906)을 통해 출력 유닛(914)을 이용하여) 제1 세트의 음성 특성을 사용하여 사용자에게 문서의 텍스트의 제1 부분의 음성 판독을 출력하고, (예를 들어, 오디오 출력 유닛(906)을 통해 출력 유닛(914)을 이용하여) 제1 세트의 음성 특성과 구분되는 제2 세트의 음성 특성을 사용하여 사용자에게 문서의 텍스트의 제2 부분의 음성 판독을 출력함으로써, 각자의 부분의 각자의 스타일에 따라 사용자에게 텍스트의 각자의 부분의 음성 판독을 출력하도록 구성된다.

일부 실시예에서, 프로세싱 유닛(910)은 문서의 하나 이상의 부분의 음성 판독을 출력하는 동안 (예를 들어, 오디오 입력 유닛(904)을 통해 음성 명령 수신 유닛(916)을 이용하여) 사용자로부터 음성 명령의 적어도 일부분을 수신하도록 구성된다.

일부 실시예에서, 문서의 각자의 부분 중 적어도 하나는 문서의 각자의 단락이다.

일부 실시예에서, 문서의 각자의 부분 중 적어도 하나는 문서의 각자의 표제이다.

일부 실시예에서, 문서의 각자의 부분 중 적어도 하나는 문서의 각자의 문장이다.

일부 실시예에서, 문서의 제1 부분은 제1 스타일을 갖고, 문서의 제2 부분은 제1 스타일과 구분되는 제2 스타일을 갖는다.

일부 실시예에서, 문서의 각각의 부분은 단일 링크와 연관된다.

일부 실시예에 따르면, 도 10은 앞서 기재된 바와 같은 본 발명의 원리들에 따라 구성되는 전자 디바이스(1000)의 기능 블록 다이어그램을 도시한다. 디바이스의 기능 블록들은 본 발명의 원리들을 실행하기 위하여 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 10에 기재된 기능 블록들은 앞서 기재된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자들에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 기재된 기능적 블록들의 임의의 가능한 조합 또는 분리 또는 또 다른 정의를 지원할 수 있다.

도 10에 도시된 바와 같이, 전자 디바이스(1000)는 오디오 입력 유닛(1004) 및 오디오 출력 유닛(1006)을 포함한다. 일부 실시예에서, 전자 디바이스(1000)는 전자 문서의 하나 이상의 부분을 디스플레이하도록 구성되는 디스플레이 유닛(1002)을 포함한다. 일부 실시예에서, 전자 디바이스(1000)는 터치 감지 표면 유닛(1008) 상에서 하나 이상의 제스처를 검출하도록 구성되는 터치 감지 표면 유닛(1008)을 포함한다. 전자 디바이스는 오디오 입력 유닛(1004) 및 오디오 출력 유닛(1006)에 연결된 프로세싱 유닛(1010)을 추가로 포함한다. 일부 실시예에서, 프로세싱 유닛(1010)은 또한 디스플레이 유닛(1002) 및 터치 감지 표면 유닛(1008)에도 연결된다. 일부 실시예에서, 프로세싱 유닛(1010)은 출력 유닛(1012), 음성 명령 수신 유닛(1014), 및 식별 유닛(1016)을 포함한다.

프로세싱 유닛(1010)은 (예를 들어, 오디오 출력 유닛(1006)을 통해 출력 유닛(1012)을 이용하여) 복수의 문서 중 한 문서의 적어도 일부분의 음성 판독을 출력하도록 구성된다. 프로세싱 유닛(1010)은, 음성 판독을 출력하는 동안, (예를 들어, 오디오 입력 유닛(1004)을 통해 음성 명령 수신 유닛(1014)을 이용하여) 사용자로부터 특정 기준에 대응하는 문서를 요청하는 음성 명령을 수신하도록 구성된다. 프로세싱 유닛(1010)은, 사용자로부터 음성 명령을 수신하는 것에 응답하여, (예를 들어, 식별 유닛(1016)을 이용하여) 복수의 문서 중, 특정 기준에 대응하는 하나 이상의 문서를 식별하고, (예를 들어, 오디오 출력 유닛(1006)을 통해 출력 유닛(1012)을 이용하여) 하나 이상의 식별된 문서 중 각자의 문서의 적어도 일부분의 음성 판독을 출력하도록 구성된다.

일부 실시예에서, 특정 기준은 하나 이상의 식별된 문서가 사용자에 의해 식별된 하나 이상의 작성자에 의해 작성되도록 요구한다.

일부 실시예에서, 특정 기준은 하나 이상의 식별된 문서가 특정 문서와 연관되도록 요구한다.

일부 실시예에서, 특정 기준은 하나 이상의 식별된 문서가 특정 문서에 대한 대답이 되도록 요구한다.

일부 실시예에서, 특정 기준은 하나 이상의 식별된 문서가 각자의 작성자로부터의 최근 메시지를 포함하도록 요구한다.

일부 실시예에서, 특정 기준은 하나 이상의 식별된 문서가 사용자에 의해 식별된 특정 날짜 범위에 대응하도록 요구한다.

일부 실시예에서, 프로세싱 유닛(1010)은 (예를 들어, 오디오 출력 유닛(1006)을 통해 출력 유닛(1012)을 이용하여) 하나 이상의 식별된 문서의 수를 나타내는 오디오 정보를 출력하도록 구성된다.

일부 실시예에서, 프로세싱 유닛(1010)은 (예를 들어, 오디오 출력 유닛(1006)을 통해 출력 유닛(1012)을 이용하여) 각자의 문서가 하나 이상의 식별된 문서 중 최근 문서라는 것을 나타내는 오디오 정보를 출력하도록 구성된다.

상기의 기술된 내용은 설명을 위해 특정 실시예을 참조하여 기재되었다. 그러나, 상기 예시적인 논의들은 본 발명을 규명하거나 개시된 정확한 형태들로 제한하려는 의도는 아니다. 많은 수정 및 변형이 상기 교시 내용들의 관점에서 가능하다. 실시예들은 본 발명의 원리 및 그것의 실제 응용을 가장 잘 설명하기 위해 선택 및 설명되고, 그에 의해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명 및 다양한 변형을 갖는 다양한 실시예들을 고려되는 특정 용례에 적합한 것으로 가장 잘 활용도록 할 수 있다.

예를 들어, 도 6에 대하여 기재된 동작들의 하나 이상의 양태는 도 7 및 도 8에 대하여 기재된 동작들과 함께 사용될 수 있다(예를 들어, 문서의 마지막에 도달한 후, 오디오 문의를 출력함). 유사하게, 도 7에 대하여 기재된 동작들의 하나 이상의 양태는 도 6 및 도 8에 대하여 기재된 동작들과 함께 사용될 수 있고, 도 8에 대하여 기재된 동작들의 하나 이상의 양태는 도 6 및 도 7에 대하여 기재되는 동작들과 함께 사용될 수 있다. 설명을 간결하게 하기 위해, 이들 상세사항들은 중복 설명하지 않는다.

Claims

문서들을 통해 탐색하기 위한 방법으로서,
하나 이상의 프로세서 및 메모리를 갖는 전자 디바이스에서,
복수의 링크를 포함하는 제1 문서를 수신하는 단계;
상기 제1 문서의 적어도 일부분의 음성 판독을 출력하는 단계;
상기 복수의 링크 중 한 링크를 식별하는 오디오 정보를 출력하는 단계;
상기 링크를 식별하는 상기 오디오 정보를 출력하는 단계에 응답하여, 사용자로부터 상기 링크에 대한 음성 명령을 수신하는 단계; 및
상기 사용자로부터 상기 음성 명령을 수신하는 단계에 응답하여, 상기 링크와 연관된 제2 문서의 적어도 일부분의 음성 판독을 출력하는 단계
를 포함하는 방법.
제1항에 있어서, 상기 링크는 상기 제1 문서의 상기 부분의 텍스트와 연관되는, 방법.
제1항 또는 제2항에 있어서,
상기 사용자로부터 상기 링크에 대한 상기 음성 명령을 수신하는 단계에 응답하여, 상기 링크에 관한 정보를 저장하는 단계; 및
상기 제2 문서의 하나 이상의 부분의 음성 판독을 출력하는 단계를 포함하는 방법.
제3항에 있어서,
상기 제2 문서의 적어도 일부분의 상기 음성 판독을 출력하는 단계 후에,
상기 사용자로부터 상기 제1 문서로의 재탐색을 요청하는 음성 명령을 수신하는 단계; 및
상기 사용자로부터 상기 제1 문서로의 재탐색을 요청하는 상기 음성 명령을 수신하는 단계에 응답하여, 상기 제1 문서에서 상기 링크와 연관된 텍스트에 후속하는 상기 제1 문서의 하나 이상의 부분의 음성 판독을 출력하는 단계를 포함하는 방법.
제3항에 있어서,
상기 제2 문서의 적어도 일부분의 상기 음성 판독을 출력하는 단계 후에, 상기 제1 문서로의 재탐색에 관한 음성 문의를 출력하는 단계;
상기 제1 문서로의 재탐색에 관한 상기 음성 문의를 출력하는 단계에 응답하여, 상기 사용자로부터 상기 제1 문서로의 재탐색을 요청하는 음성 명령을 수신하는 단계; 및
상기 사용자로부터 상기 제1 문서로의 재탐색을 요청하는 상기 음성 명령을 수신하는 단계에 응답하여, 상기 제1 문서에서 상기 링크와 연관된 텍스트를 포함하는 상기 제1 문서의 하나 이상의 부분의 음성 판독을 출력하는 단계를 포함하는 방법.
제3항에 있어서,
상기 제2 문서의 적어도 일부분의 상기 음성 판독을 출력하는 단계 후에, 상기 사용자로부터 상기 제1 문서로의 재탐색을 요청하는 상기 음성 명령을 수신하는 단계에 응답하여, 상기 제1 문서에서 상기 링크와 연관된 텍스트에 후속하는 상기 제1 문서의 하나 이상의 부분의 음성 판독을 자동으로 출력하는 단계를 포함하는 방법.
제1항 내지 제6항중 어느 한 항에 있어서, 상기 음성 명령은 제1 유형의 음성 명령이고, 상기 방법은,
상기 사용자로부터 상기 링크에 대해 상기 제1 유형과 구분되는 제2 유형의 음성 명령을 수신하는 단계; 및
상기 사용자로부터 상기 링크에 대한 상기 제2 유형의 상기 음성 명령을 수신하는 단계에 응답하여,
상기 제2 문서로부터 정보를 검색하는 단계; 및
상기 제2 문서로부터의 상기 정보에 기초하여 상기 제2 유형의 상기 음성 명령에 대응하는 음성 정보를 출력하는 단계를 포함하는 방법.
제7항에 있어서, 상기 제2 유형의 상기 음성 명령은 상기 제2 문서의 작성자에 관한 정보에 대한 요청을 포함하는, 방법.
제7항 또는 제8항에 있어서, 상기 제2 유형의 상기 음성 명령은 상기 제2 문서의 요약에 대한 요청을 포함하는, 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 사용자로부터의 음성 명령에 대응하는 후보 링크들로서 둘 이상의 링크를 식별하는 단계;
상기 후보 링크들에 관한 오디오 정보를 출력하는 단계; 및
상기 사용자로부터 상기 후보 링크들 중 단일 링크의 선택을 수신하는 단계를 추가로 포함하는 방법.
문서를 브라우징하기 위한 방법으로서,
하나 이상의 프로세서 및 메모리를 갖는 전자 디바이스에서,
복수의 부분을 갖는 상기 문서를 수신하는 단계 - 상기 부분들 중 적어도 일부는 각자의 메타데이터와 연관됨 -;
상기 문서의 각자의 부분들의 음성 판독을 출력하는 단계 - 상기 출력하는 단계는 상기 각자의 메타데이터에 기초하여 상기 각자의 부분들을 오디오로 구분하는 것을 포함함 -;
사용자로부터 특정 메타데이터와 연관된 특정 부분으로의 탐색을 요청하는 음성 명령을 수신하는 단계; 및
상기 음성 명령을 수신하는 단계에 응답하여, 상기 특정 메타데이터와 연관된 상기 특정 부분의 음성 판독을 출력하는 단계
를 포함하는, 방법.
제11항에 있어서,
제1 세트의 음성 특성들을 사용하여 상기 사용자에게 상기 문서의 상기 텍스트의 제1 부분의 음성 판독을 출력하는 것; 및
상기 제1 세트의 음성 특성들과 다른 제2 세트의 음성 특성들을 사용하여 상기 사용자에게 상기 문서의 상기 텍스트의 제2 부분의 음성 판독을 출력하는 것에 의해 상기 각자의 부분들의 각자의 스타일들에 따라 상기 사용자에게 상기 텍스트의 상기 각자의 부분들의 음성 판독을 출력하는 단계를 추가로 포함하는 방법.
제11항 또는 제12항에 있어서,
상기 문서의 하나 이상의 부분의 상기 음성 판독을 출력하는 동안 상기 사용자로부터 상기 음성 명령의 적어도 일부분을 수신하는 단계를 추가로 포함하는 방법.
제11항 내지 제13항 중 어느 한 항에 있어서, 상기 문서의 상기 각자의 부분들 중 적어도 하나는 상기 문서의 각자의 단락인, 방법.
제11항 내지 제14항 중 어느 한 항에 있어서, 상기 문서의 상기 각자의 부분들 중 적어도 하나는 상기 문서의 각자의 표제(heading)인, 방법.
제11항 내지 제15항 중 어느 한 항에 있어서, 상기 문서의 상기 각자의 부분들 중 적어도 하나는 상기 문서의 각자의 문장인, 방법.
제11항 내지 제16항 중 어느 한 항에 있어서, 상기 문서의 제1 부분은 제1 스타일을 갖고, 상기 문서의 제2 부분은 상기 제1 스타일과 다른 제2 스타일을 갖는, 방법.
제11항 내지 제17항 중 어느 한 항에 있어서, 상기 문서의 각각의 부분은 단일 링크와 연관되는, 방법.
하나 이상의 문서를 식별하기 위한 방법으로서,
하나 이상의 프로세서 및 메모리를 갖는 전자 디바이스에서,
복수의 문서 중 한 문서의 적어도 일부분의 음성 판독을 출력하는 단계;
상기 음성 판독을 출력하는 단계 동안, 사용자로부터 특정 기준에 대응하는 문서를 요청하는 음성 명령을 수신하는 단계; 및
상기 사용자로부터 상기 음성 명령을 수신하는 단계에 응답하여,
상기 복수의 문서 중, 상기 특정 기준에 대응하는 하나 이상의 문서를 식별하는 단계; 및
상기 하나 이상의 식별된 문서 중 각자의 문서의 적어도 일부분의 음성 판독을 출력하는 단계
를 포함하는 방법.
제19항에 있어서, 상기 특정 기준은 상기 하나 이상의 식별된 문서가 상기 사용자에 의해 식별된 하나 이상의 작성자에 의해 작성되도록 요구하는, 방법.
제19항 또는 제20항에 있어서, 상기 특정 기준은 상기 하나 이상의 식별된 문서가 특정 문서와 연관되도록 요구하는, 방법.
제19항 내지 제21항 중 어느 한 항에 있어서, 상기 특정 기준은 상기 하나 이상의 식별된 문서가 특정 문서에 대한 대답들이 되도록 요구하는, 방법.
제19항 내지 제22항 중 어느 한 항에 있어서, 상기 특정 기준은 상기 하나 이상의 식별된 문서가 각자의 작성자로부터의 최근 메시지를 포함하도록 요구하는, 방법.
제19항 내지 제23항 중 어느 한 항에 있어서, 상기 특정 기준은 상기 하나 이상의 식별된 문서가 상기 사용자에 의해 식별된 특정 날짜 범위에 대응하도록 요구하는, 방법.
제19항 내지 제24항 중 어느 한 항에 있어서,
상기 하나 이상의 식별된 문서의 수를 나타내는 오디오 정보를 출력하는 단계를 추가로 포함하는 방법.
제19항 내지 제25항 중 어느 한 항에 있어서,
상기 각자의 문서는 상기 하나 이상의 식별된 문서 중 최근 문서임을 나타내는 오디오 정보를 출력하는 단계를 추가로 포함하는 방법.
휴대용 전자 디바이스 또는 컴퓨터 시스템으로서,
하나 이상의 프로세서; 및
상기 하나 이상의 프로세서에 의한 실행을 위한 하나 이상의 프로그램을 저장하는 메모리
를 포함하고, 상기 하나 이상의 프로그램은 제1항 내지 제26항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 휴대용 전자 디바이스 또는 컴퓨터 시스템.
하나 이상의 프로그램을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램은, 하나 이상의 프로세서를 갖는 휴대용 전자 디바이스 또는 컴퓨터 시스템에 의해 실행시, 상기 디바이스로 하여금 제1항 내지 제26항 중 어느 한 항의 방법을 수행하도록 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
디스플레이, 메모리, 및 상기 메모리 내에 저장된 하나 이상의 프로그램을 실행하기 위한 하나 이상의 프로세서를 갖는 휴대용 전자 디바이스 또는 컴퓨터 시스템 상의 그래픽 사용자 인터페이스로서, 제1항 내지 제26항 중 어느 한 항의 방법에 따라 디스플레이되는 사용자 인터페이스들을 포함하는, 그래픽 사용자 인터페이스.
휴대용 전자 디바이스 또는 컴퓨터 시스템으로서,
제1항 내지 제26항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 휴대용 전자 디바이스 또는 컴퓨터 시스템.
휴대용 전자 디바이스 또는 컴퓨터 시스템에서 사용하기 위한 정보 처리 장치로서,
제1항 내지 제26항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 처리 장치.
휴대용 전자 디바이스 또는 컴퓨터 시스템으로서,
제1항 내지 제26항 중 어느 한 항의 방법을 수행하도록 구성된 프로세싱 유닛을 포함하는, 휴대용 전자 디바이스 또는 컴퓨터 시스템.