KR20210059670A - 디스플레이된 텍스트 콘텐츠의 자동 오디오 재생 - Google Patents

디스플레이된 텍스트 콘텐츠의 자동 오디오 재생 Download PDF

Info

Publication number
KR20210059670A
KR20210059670A KR1020207032212A KR20207032212A KR20210059670A KR 20210059670 A KR20210059670 A KR 20210059670A KR 1020207032212 A KR1020207032212 A KR 1020207032212A KR 20207032212 A KR20207032212 A KR 20207032212A KR 20210059670 A KR20210059670 A KR 20210059670A
Authority
KR
South Korea
Prior art keywords
content
textual content
user
computing devices
display
Prior art date
Application number
KR1020207032212A
Other languages
English (en)
Inventor
레이첼 일란 심슨
베네딕트 데이비스
창 구일라움 보니페이스
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Priority to KR1020237008599A priority Critical patent/KR20230042389A/ko
Publication of KR20210059670A publication Critical patent/KR20210059670A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination

Abstract

디스플레이에서 텍스트 콘텐츠의 일부를 스크롤하는 것과 같은 사용자 입력 액션에 응답하여 텍스트 콘텐츠의 직관적인 오디오 재생을 제공하는 오디오 재생 시스템이다. 텍스트 콘텐츠를 포함하는 오디오(예를 들어, 텍스트-음성 오디오)의 재생은 디바이스 디스플레이의 특정 포지션에서 사용자 입력에 의해 포지셔닝되는 텍스트 콘텐츠의 부분에 기초하여 시작할 수 있다. 일례로, 사용자는 웹페이지 또는 다른 콘텐츠 아이템을 간단히 스크롤하여 텍스트-음성 변환 시스템으로 하여금 디바이스의 뷰포트의 하나 이상의 재생 섹션에 디스플레이된 텍스트 콘텐츠의 오디오 재생을 수행하게 할 수 있다(예: 사용자가 텍스트 콘텐츠의 특정 부분을 구체적으로 선택하기 위해 추가 탭이나 제스처를 수행하도록 요구하지 않고).

Description

디스플레이된 텍스트 콘텐츠의 자동 오디오 재생
본 발명은 일반적으로 텍스트 콘텐츠의 오디오 재생에 관한 것이다. 보다 구체적으로, 본 개시는 디스플레이에서 텍스트 콘텐츠의 일부를 스크롤하는 것과 같은 사용자 입력 액션에 응답하여 텍스트 콘텐츠의 직관적인 오디오 재생을 제공하는 시스템 및 방법과 관련된다.
종종, 텍스트-음성 변환 재생을 개시하기 위해 텍스트 콘텐츠의 부분을 선택하려면 일련의 복잡한 메뉴를 탐색해야 한다. 복잡한 일련의 메뉴를 탐색하는데 익숙하지 않거나 불편한 사용자의 경우, 텍스트-음성 변환 재생을 위한 텍스트 콘텐츠를 선택하는 것이 큰 도전이 될 수 있다. 이러한 복잡성으로 인해 일부 사용자는 텍스트-음성 변환 기능을 완전히 무시할 수 있다. 다른 경우에는, 텍스트 콘텐츠의 부분에 대해 텍스트-음성 변환 서비스에 액세스하는데 필요한 프로세스를 사용자에게 안내하기 위해 자세한 자습서 서비스를 개발해야 할 수 있다.
메뉴 탐색에 익숙한 사용자라도, 반복적으로 텍스트를 선택하는 프로세스는 디바이스 리소스를 비효율적으로 사용하고 사용자에게 불만의 원인이 될 수 있다. 예를 들어, 텍스트-음성 변환 재생을 위해 기사에서 몇 개의 단락을 선택하려는 사용자는 재생하려는 각 단락에 대해 메뉴를 반복적으로 탐색해야 한다. 또 다른 예로, 디바이스는 각 요청을 제공하는데 프로세싱 및 배터리 리소스를 할당해야 한다.
본 발명의 실시예의 양태들 및 이점들이 후술하는 설명에서 부분적으로 기술될 것이며, 또는 설명으로부터 학습될 수 있거나 또는 실시예의 실시를 통해 학습될 수 있다.
본 발명의 일 예시적 양태는 컴퓨터로 구현되는 방법에 관한 것이다. 상기 방법은 하나 이상의 컴퓨팅 디바이스에 의해, 텍스트 콘텐츠의 복수의 부분을 포함하는 콘텐츠의 하나 이상의 아이템을 기술하는 데이터를 획득하는 단계를 포함한다. 상기 방법은 상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 하나 이상의 컴퓨팅 디바이스와 연관된 디스플레이 상의 텍스트 콘텐츠의 하나 이상의 부분의 각각의 포지션을 표시하는 포지션 데이터를 결정하는 단계를 포함한다. 상기 방법은 상기 하나 이상의 컴퓨팅 디바이스에 의해, 디스플레이에 대한 텍스트 콘텐츠의 하나 이상의 부분의 각각의 포지션을 수정하는 사용자 입력을 표시하는 데이터를 수신하는 단계를 포함한다. 상기 방법은 사용자 입력을 표시하는 데이터를 수신함에 응답하여, 상기 하나 이상의 컴퓨팅 디바이스에 의해, 텍스트 콘텐츠의 하나 이상의 부분의 각각의 업데이트된 포지션을 표시하는 업데이트된 포지션 데이터를 결정하는 단계를 포함한다. 상기 방법은 사용자 입력을 표시하는 데이터를 수신함에 응답하여, 상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 업데이트된 포지션 데이터에 적어도 부분적으로 기초하여, 텍스트 콘텐츠의 제1 부분이 디스플레이의 재생 영역 내에 포지셔닝된다는 것을 식별하는 단계를 포함한다. 상기 방법은 사용자 입력을 표시하는 데이터를 수신함에 응답하여, 상기 하나 이상의 컴퓨팅 디바이스에 의해, 텍스트 콘텐츠의 제1 부분의 적어도 일부의 음성을 포함하는 오디오 신호를 재생하게 하는 단계를 포함한다.
본 발명의 다른 양태는 다양한 시스템, 디바이스, 비일시적 컴퓨터 판독가능 매체, 사용자 인터페이스 및 전자 디바이스에 관한 것이다.
본 발명의 다양한 실시예의 이들 및 다른 구성들, 양태들 및 이점들은 후술하는 설명 및 첨부된 청구항들을 참조하여 보다 잘 이해될 것이다. 본 명세서에 통합되고 본 명세서의 일부를 구성하는 첨부 도면들은 설명과 함께 본 발명의 실시예를 도시하며, 관련된 원리들을 설명하기 위해 제공된다.
도 1a는 본 개시의 예시적 실시예에 따른 예시적 컴퓨팅 시스템의 블록도를 도시한다.
도 1b는 본 개시의 예시적 실시예에 따른 예시적 컴퓨팅 디바이스의 블록도를 도시한다.
도 1c는 본 개시의 예시적 실시예에 따른 예시적 컴퓨팅 디바이스의 블록도를 도시한다.
도 2a-2b는 본 개시의 예시적 실시예에 따라 재생 영역에 포지셔닝되는 텍스트 콘텐츠의 제1 부분과 연관된 사용자 인터페이스 인터렉션을 도시한다.
도 2c-2d는 본 개시의 예시적 실시예에 따라 재생 영역에 포지셔닝되는 텍스트 콘텐츠의 제2 부분과 연관된 사용자 인터페이스 인터렉션을 도시한다.
도 3a-3b는 본 개시의 예시적 실시예에 따라 구조화되지 않은 콘텐츠 아이템을 텍스트 콘텐츠의 복수의 부분으로 분할하기 위한 방법을 도시한다.
도 4는 본 발명의 예시적 실시예에 따라 사용자 재생 영역 설정을 수정하기 위한 사용자 인터페이스를 도시한다.
도 5는 예시적 실시예에 따라 디스플레이된 텍스트 콘텐츠의 오디오 재생을 수행하는 예시적 방법에 대한 흐름도를 도시한다.
도 6은 예시적 실시예에 따라 디스플레이된 텍스트 콘텐츠의 오디오 재생을 중지하는 예시적 방법에 대한 흐름도를 도시한다.
개요
본 개시의 예시적 양태는 디스플레이에서 텍스트 콘텐츠의 일부를 스크롤하는 것과 같은 사용자 입력 액션에 응답하여 텍스트 콘텐츠의 직관적인 오디오 재생을 제공하는 시스템 및 방법에 관한 것이다. 특히, 본 명세서에 설명된 시스템 및 방법은 디바이스 디스플레이의 특정 포지션에서 사용자 입력에 의해 포지셔닝된 텍스트 콘텐츠를 포함하는 오디오(예를 들어, 텍스트-음성 변환 오디오)의 재생에 관한 것이다. 따라서, 일례로, 사용자는 웹페이지 또는 다른 콘텐츠 아이템을 간단히 스크롤하여 텍스트-음성 변환 시스템으로 하여금 디바이스의 뷰포트의 하나 이상의 재생 섹션에 디스플레이된 텍스트 콘텐츠의 오디오 재생을 수행하게 할 수 있다(예: 사용자가 텍스트 콘텐츠의 특정 부분을 구체적으로 선택하기 위해 추가 탭이나 제스처를 수행하도록 요구하지 않고). 제안된 기법은 텍스트 음성 판독을 위한 탐색 제어에 대한 강력한 조정을 표현한다. 특히, 제안된 시스템은 탭이나 제스처 대신 스크롤을 통해 텍스트-음성 변환을 제어함으로써 초보자이거나 기술적으로 정교하지 않은 사용자에게 보다 직관적인 재생 제어 기능을 제공한다.
일례로서, 컴퓨팅 디바이스(예를 들어, 스마트폰과 같은 사용자 디바이스)는 텍스트 콘텐츠의 복수의 부분(예를 들어, 검색 요청에 대응하는 복수의 검색 결과)을 포함하는 콘텐츠의 하나 이상의 아이템을 획득할 수 있다. 컴퓨팅 디바이스는 사용자 입력(예를 들어, 디스플레이 아래로 콘텐츠를 스크롤하는 스크롤 동작) 및 텍스트 콘텐츠의 각 부분이 컴퓨팅 디바이스의 디스플레이 상에서 이동된 위치를 표시하는 대응하는 포지션 데이터를 더 수신할 수 있다. 일례로서, 컴퓨팅 디바이스는 텍스트 콘텐츠의 제1 부분(예를 들어, 검색 결과)이 디스플레이의 상단 절반으로 이동되었음을 표시하는 포지션 데이터를 수신할 수 있다. 특히, 텍스트 콘텐츠의 부분이 디스플레이 상의 재생 영역으로 이동되면, 컴퓨팅 디바이스는 텍스트 콘텐츠의 적어도 일부를 포함하는 오디오 재생을 수행할 수 있다. 일례로, 검색 결과가 디스플레이의 재생 영역으로 이동되면, 컴퓨팅 디바이스는 검색 결과의 콘텐츠의 요약을 포함하는 오디오 신호의 재생을 제공할 수 있다. 다른 예로서, 뉴스 기사의 단락이 디스플레이의 재생 영역으로 이동되면, 컴퓨팅 디바이스는 전체 단락의 음성을 포함하는 오디오 신호의 재생을 제공할 수 있다. 이러한 방식으로, 사용자는 텍스트 콘텐츠의 부분을 디스플레이의 특정 포지션으로 의도적으로 이동하여 오디오 신호를 재생하게 할 수 있다. 따라서 사용자는 서비스를 활성화하기 위해 일련의 복잡한 메뉴를 탐색하는 대신 단일 사용자 입력으로 재생을 시작할 수 있다. 일부 구현예에서, 본 명세서에 설명된 방법은 음성 검색에 응답하여 개시된다.
본 개시는 다수의 기술적 효과 및 이점을 제공한다. 하나의 예시적 기술적 효과 및 이점으로서, 본 개시 내용의 시스템 및 방법은 컴퓨팅 디바이스로 동작을 수행하는데 필요한 사용자 입력을 상당히 감소시킨다. 텍스트 콘텐츠의 일부가 재생 영역에 위치될 때, 텍스트 콘텐츠의 자동 재생을 제공함으로써, 사용자는 더 이상 텍스트 콘텐츠의 일부를 선택한 다음 컴퓨팅 디바이스가 재생을 시작하도록 하는 일련의 입력을 수행할 필요가 없다. 이러한 추가 사용자-디바이스 인터렉션을 제거하면 복잡한 일련의 사용자 입력 처리와 연관된 상당한 프로세싱, 배터리 및 메모리 리소스가 절약된다.
다른 예시적 기술적 효과 및 이점으로서, 본 개시의 시스템 및 방법은 디바이스 인터렉션 복잡성 및 디바이스 서비스 액세스와 연관된 혼동을 실질적으로 감소시킨다. 예를 들어, 사용자는 이전에 텍스트 콘텐츠의 오디오 재생을 가능하게 하는 일련의 메뉴 인터렉션을 기억해야 했다. 이러한 암기 요구는 사용자에게 오디오 재생 메뉴를 조작하는 방법을 가르치기 위한 튜토리얼 서비스를 만들어야 하므로 개발 비용이 증가하고 사용자가 불만족스러울 수 있다. 본 개시의 시스템 및 방법은 직관적인 재생을 자동으로 제공함으로써, 이러한 요구를 제거하고, 디바이스 인터렉션 복잡성을 감소시키고 사용자 튜토리얼 서비스를 생성할 필요성을 감소시킨다.
상기 기술에 더하여, 사용자가 본 명세서에 기술된 시스템들, 프로그램들 또는 구성들이 사용자 정보의 수집(예를 들어, 사용자의 소셜 네트워크에 관한 정보, 사회적 액션들 또는 활동들, 직업, 사용자의 선호들 또는 사용자의 현재 위치)을 하는 경우 및 콘텐츠 또는 서버로부터 통신에 사용자가 전송되는 경우에 관한 선택을 하게 하는 제어들이 사용자에게 제공될 수 있다. 추가로, 특정 데이터는 그것이 저장되거나 사용되기 전에 하나 이상의 다양한 방식들로 취급되어, 개인적으로 식별가능한 정보는 제거된다. 예를 들면, 사용자의 신원은 사용자에 관한 개인적으로 식별가능한 정보가 결정될 수 없도록 취급되거나 또는 사용자의 지리적 위치는 위치 정보가 획득된 곳에서 일반화되어(시, 우편번호 또는 주 수준으로), 사용자의 특정한 위치가 결정될 수 없도록 한다. 따라서, 사용자는 사용자에 관한 어떤 정보가 수집될지, 정보가 어떻게 사용될지, 그리고 어떤 정보가 사용자에게 제공될지에 관한 제어를 가질 수 있다.
특히, 이전의 텍스트 콘텐츠 재생 방법은 사용자-디바이스 인터렉션과 관련된 많은 문제를 일으켰다. 일례로, 이전의 방법은 사용자가 인터렉션할 수 있도록 디스플레이의 일부에 오버레이된 재생 메뉴 아이템의 존재를 필요로 한다. 이 재생 메뉴 아이템은 사용자가 사용할 수 있는 디스플레이 공간의 양을 줄이고 잠재적으로 기본 텍스트 콘텐츠를 가릴 수 있다. 또 다른 예로, 이전의 방법은 일반적으로 사용자에게 직관적이지 않은 것으로 간주될 수 있다. 예를 들어, 이전의 재생 방법을 활용하는데 필요한 일련의 복잡한 단계는 모든 사용자가 거의 소유하지 않은 수준의 사용자 디바이스 지식이 필요했다. 제안된 시스템은 재생 메뉴 아이템의 필요성을 제거하고, 텍스트 콘텐츠 재생 서비스 동작과 연관된 학습 곡선을 크게 줄임으로써 이러한 문제를 극복한다.
본 개시의 하나 이상의 컴퓨팅 디바이스는 텍스트 콘텐츠의 일부를 포함하는 콘텐츠의 아이템을 획득할 수 있다. 일부 구현예에서, 콘텐츠의 아이템은 검색 쿼리에 대한 응답인 하나 이상의 검색 결과일 수 있다. 일례로서, 하나 이상의 컴퓨팅 디바이스는 검색 쿼리에 응답하여 텍스트 콘텐츠의 복수의 부분(예를 들어, 복수의 검색 결과 중 각 검색 결과)을 포함하는 콘텐츠의 아이템(예를 들어, 복수의 검색 결과)을 획득할 수 있다. 다른 예로서, 콘텐츠의 아이템은 텍스트 콘텐츠의 복수의 부분(예를 들어, 영화 목록의 각 영화)을 포함하는 단일 검색 결과(예를 들어, 베스트 액션 영화의 목록)일 수 있다. 다른 예로서, 콘텐츠의 아이템은 웹페이지 또는 웹 문서, 텍스트 문서(예: PDF 또는 워드 프로세싱 문서), 텍스트 콘텐츠를 포함하는 이미지(예: 광고, 거리 표지판 등을 도시하는 사용자가 캡처한 이미지, 등) 및/또는 텍스트를 포함하는 기타 콘텐츠일 수 있다.
일부 구현예에서, 텍스트 콘텐츠의 복수의 부분은 카드 형식으로 제시되거나 카드 형식 내에 포함될 수 있다. 카드 형식은 텍스트 콘텐츠의 부분을 텍스트 콘텐츠 카드(예를 들어, 텍스트 콘텐츠 부분의 다양한 스니펫을 포함하는 카드)로 구조화하는 역할을 할 수 있다. 예를 들어, 검색 결과 쿼리의 각 검색 결과는 자체 텍스트 콘텐츠 카드에서 제시되거나 그에 포함될 수 있다. 다른 예로서, 복수의 검색 결과가 단일 텍스트 콘텐츠 카드에 요약될 수 있다. 텍스트 콘텐츠 카드는 오디오 신호의 재생을 용이하게 하는 방식으로 텍스트 콘텐츠의 부분을 구성할 수 있다. 예를 들어, 텍스트 콘텐츠 카드는 검색 결과에 대응하는 웹페이지의 제목 및 관련 컨텍스트 정보를 강조할 수 있다. 다른 섹션에서 더 상세히 논의되는 바와 같이, 텍스트 콘텐츠 카드는 구조화되지 않은 콘텐츠 아이템으로부터의 텍스트 콘텐츠의 하나 이상의 부분을 포함할 수 있다. 예를 들어, 뉴스 기사에 대응하는 복수의 단락은 개별 텍스트 콘텐츠 카드로 포맷팅되어 콘텐츠 아이템에 구조를 제공할 수 있다.
일부 구현예에서, 콘텐츠 아이템은 웹페이지 또는 다른 형태의 웹 문서일 수 있다. 텍스트 콘텐츠의 복수의 부분은 각각 단락, 헤드라인, 캡션, 또는 텍스트 콘텐츠의 다른 그러한 분할에 의해 분할될 수 있다. 일례로서, 콘텐츠 아이템(예를 들어, 복수의 뉴스 기사를 포함하는 보관된 신문 페이지)은 복수의 텍스트 콘텐츠 카드로 구조화될 수 있으며, 각 텍스트 콘텐츠 카드는 콘텐츠 아이템으로부터(예를 들어, 뉴스 기사의 제목 및 뉴스 기사의 첫 번째 단락) 텍스트 콘텐츠의 부분을 표현한다. 다른 예로서, 단일 뉴스 기사를 포함하는 웹페이지는 텍스트 콘텐츠의 부분과 연관된 복수의 텍스트 콘텐츠 카드로 구조화될 수 있으며, 각 텍스트 콘텐츠 카드는 기사 헤더 또는 텍스트 콘텐츠의 단락을 포함한다.
일부 구현예에서, 콘텐츠의 아이템은 구조화되지 않거나 그렇지 않으면 구조화되지 않은 텍스트를 포함할 수 있다. 구조화되지 않은 콘텐츠는 예를 들어 제목, 기사, 단락 등 사이에 명확한 구분이 없는 기사일 수 있다. 이러한 경우, 텍스트 콘텐츠의 부분을 획득하는 것은 구조화되지 않은 텍스트 콘텐츠로부터 텍스트 콘텐츠의 복수의 부분을 결정하는 것을 포함할 수 있다. 일례로서, 구조화되지 않은 콘텐츠의 웹페이지 및 기타 디지털 아이템은 콘텐츠 아이템과 연관된 디지털 마크업 요소에 적어도 부분적으로 기초하여 텍스트 콘텐츠의 부분으로 분할될 수 있다. 예를 들어, 웹페이지는 웹페이지와 연관된 메타데이터(예를 들어, 웹페이지와 연관된 하이퍼텍스트 마크업 언어 단락 태그)에 적어도 부분적으로 기초하여 텍스트 콘텐츠의 부분으로 분할될 수 있다. 다른 예에서, 일부 구현예에서, 기계 인텔리전스(예를 들어, 기계 학습된 모델)은 구조화되지 않은 콘텐츠를 텍스트 콘텐츠의 부분으로 분할하는데 사용될 수 있다. 예를 들어, 사용자 피드백, 사용자가 원하는 행동 및 기타 관련 트레이닝 데이터에 기초하여, 기계 인텔리전스는 콘텐츠의 아이템을 텍스트 콘텐츠의 부분으로 분할할 위치를 결정할 수 있다.
본 개시의 다른 양태에 따르면, 하나 이상의 컴퓨팅 디바이스는 컴퓨팅 디바이스 디스플레이에 대해 텍스트 콘텐츠의 하나 이상의 부분의 포지션을 결정할 수 있다. 일부 구현예에서, 포지션 데이터는 콘텐츠의 부분이 디스플레이 상에 포지셔닝되는지 여부에 관계없이 디스플레이에 대해 텍스트 콘텐츠의 모든 부분의 포지션을 표시할 수 있다. 예를 들어, 포지션 데이터는 텍스트 콘텐츠의 제1 부분이 디스플레이의 상위 20%에 있음을 나타낼 수 있다. 다른 예로서, 포지션 데이터는 현재 디스플레이되지 않은 텍스트 콘텐츠의 제2 부분이 현재 디스플레이된 텍스트 콘텐츠의 하나 이상의 부분 아래에 특정 거리에 포지셔닝된다는 것을 나타낼 수 있다. 포지션 데이터는 예를 들어 콘텐츠의 아이템을 제시하거나 처리하는 애플리케이션(예를 들어, 브라우저 애플리케이션), 디바이스 디스플레이를 모니터링하는 별도의 애플리케이션 및/또는 포지션 데이터의 다른 소스로부터 획득할 수 있다.
본 개시의 다른 양태에 따르면, 하나 이상의 컴퓨팅 디바이스는 텍스트 콘텐츠의 부분의 포지션을 수정하는 사용자 입력을 수신할 수 있다. 사용자 입력은 실제 사용자 액션에 대응할 수 있다. 일례로서, 사용자는 터치 입력을 사용하여 디스플레이를 위 또는 아래로 스크롤할 수 있다(예를 들어, 터치 감응형 디스플레이에 손가락 또는 스타일러스를 배치하고 위 또는 아래로 슬라이딩). 다른 예로, 사용자는 음성 명령을 사용하여 디스플레이를 스크롤할 수 있다. 또 다른 예로서, 사용자는 컴퓨팅 디바이스에 의해 인식되는 제스처 또는 물리적 움직임을 사용하여 디스플레이를 스크롤할 수 있다.
사용자 입력은 디스플레이에 대해 텍스트 콘텐츠의 하나 이상의 부분을 이동함으로써 텍스트 콘텐츠의 하나 이상의 부분의 각각의 포지션을 수정할 수 있다. 일례로, 사용자 스크롤 입력은 이전에 디스플레이된 텍스트 콘텐츠의 부분이 이제 디스플레이 위에 포지셔닝되도록 디스플레이를 이동할 수 있다. 다른 예로서, 사용자 제스처 입력은 텍스트 콘텐츠의 부분을 디스플레이의 아래쪽 절반에서 디스플레이의 위쪽 절반으로 이동할 수 있다.
사용자 입력을 수신 한 후, 하나 이상의 컴퓨팅 디바이스는 텍스트 콘텐츠의 하나 이상의 부분의 업데이트된 위치를 결정할 수 있다. 일례로서, 이전에 디스플레이 상에 포지셔닝되지 않은 텍스트 콘텐츠의 부분(예를 들어, 검색 결과와 연관된 텍스트 콘텐츠 카드)은 디스플레이 상에 포지셔닝되는 업데이트된 위치를 가질 수 있다. 다른 예로서, 디스플레이 상에 이전에 포지셔닝된 콘텐츠의 부분은 디스플레이 상에 포지셔닝되지 않은 업데이트된 포지션을 가질 수 있다.
본 개시의 다른 양태에 따르면, 하나 이상의 컴퓨팅 디바이스는 텍스트 콘텐츠의 제1 부분이 디스플레이의 재생 영역 내에 포지셔닝된다는 것을 식별할 수 있다. 디스플레이의 재생 영역은 텍스트 콘텐츠의 제1 부분과 연관된 오디오 재생을 가능하게 하는 화면의 영역일 수 있다. 일례로서, 텍스트 콘텐츠의 제1 부분이 재생 영역 내에 포지셔닝되면, 하나 이상의 컴퓨팅 디바이스는 텍스트 콘텐츠의 부분을 포함하는 오디오 재생을 가능하게 할 수 있다. 일부 실시예에서, 텍스트 콘텐츠의 복수의 부분이 재생 영역에 포지셔닝되는 것으로 식별될 수 있다. 예를 들어, 2개의 비교적 작은 텍스트 콘텐츠 카드(예를 들어, 디스플레이의 크기와 관련하여)는 둘 모두 디스플레이의 재생 영역에 동시에 맞을 수 있다.
일부 실시예에서, 재생 영역은 디스플레이의 직사각형 부분으로 정의될 수 있다. 재생 영역의 크기와 위치는 여러 가지 방법으로 결정될 수 있다. 일례로, 재생 영역의 크기와 위치는 사용자 선호에 의해 결정될 수 있다. 사용자가 재생 영역의 위치와 크기를 결정할 수 있는 설정 메뉴가 있을 수 있다. 예를 들어, 사용자는 재생 영역이 디스플레이 중앙에 포지셔닝된 작은 직사각형이어야 한다고 결정할 수 있다. 다른 사용자는 재생 영역을 확대하고 디스플레이 맨 위에 재생 영역이 포지셔닝하도록 선택할 수 있다. 다른 예로서, 재생 영역의 크기 및 위치는 기계 인텔리전스(예를 들어, 기계 학습 모델)에 의해 적어도 부분적으로 결정될 수 있다. 예를 들어, 컴퓨팅 디바이스는 기계 인텔리전스를 사용하여 과거 사용자 행동을 분석하고, 해당 사용자가 가장 선호하는 재생 영역의 크기와 위치를 결정할 수 있다. 대안적으로 또는 추가적으로, 재생 영역의 크기 및 위치는 사전 정의되거나 및/또는 정적일 수 있다.
일부 실시예에서, 재생 영역은 사용자에 의해 디스플레이의 다른 부분으로 이동될 수 있다. 사용자 입력은 디스플레이의 재생 영역을 이동하여 텍스트 콘텐츠의 다른 부분에 배치할 수 있다. 일례로, 텍스트 콘텐츠의 다수의 부분을 디스플레이할 수 있는 상대적으로 큰 디스플레이(예: 다수의 열이 있는 스캔된 신문 기사)로 태블릿 디바이스를 동작하는 경우, 사용자는 텍스트 콘텐츠의 한 부분(예: 단락)으로부터 다른 부분으로 하부 콘텐츠의 포지션을 이동하지 않고 재생 영역을 드래그할 수 있다. 이러한 방식으로, 사용자는 재생 영역 내에 배치하려는 텍스트 콘텐츠의 부분(들)을 선택적으로 식별할 수 있다. 결과적으로, 재생 영역은 시각적 효과(예를 들어, 재생 영역의 영역과 연관된 반투명 음영)를 가질 수 있어 사용자가 재생 영역을 정확하게 이동할 수 있게 한다.
일부 실시예에서, 재생 영역은 하나 이상의 시각 효과와 연관될 수 있다. 일례로서, 재생 영역은 사용자가 재생 영역을 이동할 수 있도록 반투명 음영을 가질 수 있다. 다른 예로서, 디스플레이 영역 및/또는 재생 영역 이외의 디스플레이 부분은 시각적 효과를 가질 수 있다. 예를 들어, 재생 영역은 시각 효과가 없을 수 있지만, 화면의 다른 모든 부분은 재생 영역에 포지셔닝된 텍스트를 강조하기 위해 밝기 감소 시각 효과 및/또는 블러링 시각 효과로 덮여진다. 일부 실시예에서, 재생 영역에 포지셔닝된 텍스트 콘텐츠의 부분은 또한 하나 이상의 시각 효과를 가질 수 있다. 예를 들어, 개별 문자는 재생 영역에 포지셔닝되고 및/또는 텍스트-음성 변환 시스템에 의해 재생될 때 순차적으로 강조될 수 있다(예: 확대, 굵게, 강조 표시 등). 다른 예로서, 재생 영역에 포지셔닝된 텍스트 콘텐츠의 하나 이상의 부분 전체가 강조될 수 있고(예를 들어, 확대, 굵게, 강조 표시 등), 디스플레이의 다른 영역에 포지셔닝 텍스트 콘텐츠의 하나 이상의 부분이 비-강조될 수 있다(예: 축소, 디스플레이 밖으로 이동, 흐리게, 어둡게 등). 예를 들어, 텍스트 콘텐츠 카드에 포함된 콘텐츠의 제목은 오디오 신호의 재생에 포함되므로 강조 표시할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스는 텍스트 콘텐츠의 부분이 재생 영역 내에 디스플레이되는 것을 식별하기 전에 일정 시간 동안 일시 중지할 수 있다. 일정 시간 동안 일시 중지함으로써, 컴퓨팅 디바이스는 사용자가 재생 영역에서 텍스트 콘텐츠의 부분을 의도적으로 포지셔닝했는지(또는 그 반대로) 보장할 수 있다. 일례로, 시간 기간은 사용자 선호에 기초하여 결정될 수 있다. 다른 예로서, 시간 기간은 다수의 다른 요인(예를 들어, 텍스트 콘텐츠의 부분의 수, 사용자의 이전 선호 및 액션, 텍스트 콘텐츠를 이동하는 사용자 입력 등)에 기초하여 결정될 수 있다.
본 개시의 다른 양태에 따르면, 하나 이상의 컴퓨팅 디바이스는 텍스트 콘텐츠의 부분을 포함하는 오디오 신호의 재생을 제공할 수 있다. 일부 구현예에서, 오디오 신호는 텍스트 콘텐츠의 제1 부분과 연관된 컨텍스트 정보를 포함할 수 있다. 컨텍스트 정보는 요약, 간략한 설명, 제목 및/또는 텍스트 콘텐츠의 제1 부분에 포함된 아이템 목록을 포함할 수 있다. 예를 들어, 20개의 지역 음식점 목록이 포함된 검색 결과는 상위 3개의 결과만 재생하여 요약될 수 있다. 또 다른 예로, 영화 Z의 모든 배우 목록은 "영화 Z의 배우 목록"으로 간략하게 설명할 수 있다. 다른 예로, 뉴스 기사를 포함하는 검색 결과의 오디오 신호는 뉴스 기사의 제목 만 포함할 수 있다. 일부 실시예에서, 텍스트 콘텐츠의 제1 부분을 포함하는 오디오 신호의 재생 후에, 하나 이상의 컴퓨팅 디바이스는 텍스트 콘텐츠의 다음 부분을 포함하는 오디오 신호의 재생을 시작하기 위해 텍스트 콘텐츠의 다음 부분으로 자동 스크롤할 수 있다. 일부 구현예에서, 오디오 신호의 재생은 초기 사용자 입력에 의존한다. 예시로서, 하나 이상의 컴퓨팅 디바이스는 재생 영역에 인접한 버튼을 사용하여 사용자 확인을 요청할 수 있으며, 사용자는 버튼을 눌러 오디오 신호의 재생을 확인할 수 있다.
일부 구현예에서, 오디오 신호는 기계 인텔리전스(예를 들어, 기계 학습 모델)에 의해 적어도 부분적으로 결정될 수 있다. 기계 인텔리전스를 사용하여 오디오 신호에 포함될 텍스트 콘텐츠 부분의 선호하는 부분과 포맷을 결정할 수 있다. 일례로, 기계 학습 모델은 사용자가 오디오 신호에 텍스트 콘텐츠의 각 부분에 대한 간략한 설명만 포함하는 것을 선호함을 식별할 수 있다. 다른 예로서, 기계 학습 모델은 제2 사용자가 오디오 신호에 텍스트 콘텐츠의 전체 부분을 포함하는 것을 선호한다고 결정할 수 있다. 다른 예로서, 기계 학습된 모델은 제3 사용자가 포함시킬 텍스트 콘텐츠의 유형에 기초하여 오디오 신호에 포함될 텍스트 콘텐츠의 다른 부분 및 포맷을 선호한다고 결정할 수 있다.
일부 구현예에서, 오디오 신호는 텍스트 콘텐츠의 부분을 한 언어에서 다른 언어로 변환하는 것을 더 포함할 수 있다. 오디오 신호는 사용자 선호에 기초하여 언어 번역을 제공할 수 있다. 예를 들어, 사용자가 외국어로 작성된 문서를 검색할 수 있다. 하나 이상의 컴퓨팅 디바이스는 재생 영역에 위치된 텍스트 콘텐츠의 부분에 대해 오디오 신호 번역을 선택적으로 제공할 수 있다. 이는 사용자가 번역하고자 하는 텍스트 콘텐츠의 포지션을 알고 있는 경우, 사용자가 텍스트 콘텐츠의 부분에 대한 특정 번역을 신속하게 수신할 수 있게 한다.
다른 예로서, 재생 창으로 이동된 인식되지 않은 텍스트 콘텐츠(예를 들어, 디지털 문자 식별자가 없는 스캔된 문서)의 부분(들)에서 문자를 인식하기 위해 문자 인식이 선택적으로 수행될 수 있다. 컴퓨팅 디바이스는 텍스트 콘텐츠의 부분이 재생 창에 포지셔닝될 때까지 문자 인식을 수행하기 위해 대기할 수 있으므로, 콘텐츠의 전체 아이템에 대해 문자 인식을 수행하는 것과 연관된 시간 및 프로세싱 리소스를 절약할 수 있다. 예를 들어, 사용자는 인식되지 않는 텍스트 콘텐츠가 포함된 PDF 문서를 탐색할 수 있다. 컴퓨팅 디바이스는 문자 인식을 수행하고 인식된 문자를 오디오 신호에 포함하기 전에 PDF의 부분이 재생 영역에 포지셔닝될 때까지 기다릴 수 있다.
일부 구현예에서, 본 명세서에 설명된 방법은 음성 검색에 응답하여 개시된다. 예를 들어, 사용자 터치 명령에 의해 개시된 검색은 재생 영역에 위치된 텍스트 콘텐츠의 제1 부분을 포함하는 오디오 신호의 재생을 활성화하지 않을 것이다. 다른 예로서, 사용자 음성 검색에 의해 개시된 검색은 재생 영역에 위치된 텍스트 콘텐츠의 제1 부분을 포함하는 오디오 신호의 재생을 활성화할 것이다.
본 개시의 다른 양태에 따르면, 하나 이상의 컴퓨팅 디바이스는 제2 사용자 입력에 기초하여 오디오 신호의 재생을 중지할 수 있다. 보다 구체적으로, 컴퓨팅 디바이스는 재생 영역에 현재 포지셔닝된 텍스트 콘텐츠의 부분(들)이 사용자 입력에 의해 재생 영역 밖으로 이동되는 경우 오디오 신호의 재생을 중지할 수 있다. 일례로, 사용자는 스크롤 입력을 수행하여 현재 오디오 신호에 포함된 텍스트 컨텐츠의 부분을 재생 영역 밖으로 이동시킬 수 있다. 텍스트 콘텐츠의 부분이 재생 영역 밖으로 이동되면 컴퓨팅 디바이스는 재생을 중지한 다음 텍스트 콘텐츠의 새로운 부분이 재생 영역에 포지셔닝되었는지 결정할 수 있다. 텍스트 콘텐츠의 새로운 부분이 재생 영역에 포지셔닝되면 컴퓨팅 디바이스는 텍스트 콘텐츠의 새로운 부분을 포함하는 오디오 신호의 재생을 시작할 수 있다.
본 명세서에 설명된 임의의 기계 인텔리전스(예를 들어, 기계 학습 모델)은 사용자 피드백(예를 들어, 수행된 동작이 정확하거나 부정확하다는 사용자 표시)에 기초하여 트레이닝될 수 있다. 사용자 피드백은 글로벌 모델을 생성(예: 재트레이닝)하기 위해 다수의 사용자에 걸쳐 집계될 수 있고 및/또는 개인화된 모델을 개인화(예를 들어, 재트레이닝)하기 위해 사용자 특정 피드백이 사용될 수 있다. 예를 들어, 사용자 피드백은 재생 영역이 잘못된 크기 및/또는 잘못된 위치에 있는지 및/또는 콘텐츠 아이템이 텍스트 콘텐츠의 복수의 부분으로 정확/부정확하게 분할되고 있는지 여부를 나타낼 수 있다. 사용자 피드백에 기초하여 모델을 재트레이닝하면 앞으로 모델 성능을 향상시킬 수 있다.
따라서, 본 개시 내용의 시스템 및 방법은 사용자 입력 액션에 응답한 텍스트 콘텐츠의 직관적 재생에 더하여, 텍스트 요약 및/또는 기계 인텔리전스 기반 사용자 선호 관리와 같은 다양한 다른 보조 서비스를 제공한다. 이와 같이, 본 개시 내용의 시스템 및 방법은 복잡한 메뉴를 탐색하고 컴퓨팅 디바이스가 특정 조각의 콘텐츠의 오디오 재생을 하게 하는 고유의 복잡성을 대폭 감소시킬 수 있다.
이제 도면들을 참조하여, 본 발명의 예시적 실시예이 더 자세히 논의될 것이다. 도 1a는 본 발명의 예시적 실시예들에 따른 예시적 컴퓨팅 시스템(100)의 블록도를 도시한다. 시스템(100)은 네트워크(180)를 통해 통신적으로 연결된 사용자 컴퓨팅 디바이스(102), 서버 컴퓨팅 시스템(130) 및 트레이닝 컴퓨팅 시스템(150)을 포함한다.
사용자 컴퓨팅 디바이스(102)는 예를 들어 개인 컴퓨팅 디바이스(예: 랩톱 또는 데스크톱), 모바일 컴퓨팅 디바이스(예: 스마트폰 또는 태블릿), 게임 콘솔 또는 컨트롤러, 웨어러블 컴퓨팅 디바이스, 임베디드 컴퓨팅 디바이스 또는 임의의 다른 유형의 컴퓨팅 디바이스와 같은 임의의 유형의 컴퓨팅 디바이스일 수 있다.
사용자 디바이스(102)는 하나 이상의 프로세서들(112) 및 메모리(114)를 포함한다. 하나 이상의 프로세서들(112)은 임의의 적절한 프로세싱 디바이스(예를 들어, 프로세서 코어, 마이크로 프로세서, ASIC, FPGA, 제어기, 마이크로 컨트롤러 등)일 수 있고, 하나의 프로세서 또는 동작적으로 연결된 하나 이상의 프로세서 또는 복수의 프로세서들일 수 있다. 메모리(114)는 RAM, ROM, EEPROM, EPROM, 플래시 메모리 디바이스, 자기 디스크 등과 같은 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체 및 이들의 조합을 포함할 수 있다. 메모리(114)는 사용자 컴퓨팅 디바이스(102)가 동작을 수행하게 하기 위한 프로세서(112)에 의해 실행되는 데이터(116) 및 명령어들(118)을 저장할 수 있다.
사용자 컴퓨팅 디바이스(102)는 본 명세서에 기술된 재생 경험을 구현하는 오디오 재생 시스템(119)을 포함할 수 있다. 오디오 재생 시스템(119)은 애플리케이션, 플러그인(예를 들어, 브라우저 애플리케이션용 플러그인), 또는 하나 이상의 프로세서(112)에 의해 구현될 수 있는 다른 형태의 소프트웨어일 수 있다. 사용자 컴퓨팅 디바이스(102)는 (예를 들어, 네트워크(180)를 통해 및/또는 로컬 메모리(114)로부터) 콘텐츠(190)의 하나 이상의 아이템에 액세스할 수 있고, 오디오 재생 시스템(119)은 콘텐츠(190)의 하나 이상의 아이템에 포함된 텍스트 콘텐츠(예: 복수의 검색 결과, 단일 검색 결과, 텍스트 문서, 웹페이지, 웹 문서, PDF, 이미지 등)에 대한 오디오 재생 경험을 생성할 수 있다.
일부 구현예에서, 사용자 컴퓨팅 디바이스(102)(예: 오디오 재생 시스템(119))는 하나 이상의 기계 학습 모델(120)을 저장하거나 포함할 수 있다. 예를 들면, 기계 학습 모델(120)은 신경 네트워크들(예: 딥 신경 네트워크)과 같은 다양한 기계 학습 모델들 또는 비선형 모델 및/또는 선형 모델을 포함하는 다른 유형의 기계 학습 모델들일 수 있거나 또는 이들을 포함할 수 있다. 신경 네트워크는 피드-포워드 신경 네트워크들(feed-forward neural networks), 순환 신경 네트워크(예: 장단기 메모리 순환 신경 네트워크들), 컨벌루션 신경 네트워크 또는 다른 형태의 신경 네트워크들을 포함할 수 있다.
일부 구현예에서, 하나 이상의 기계 학습 모델(120)은 네트워크(180)를 통해 서버 컴퓨팅 시스템(130)으로부터 수신되고, 사용자 컴퓨팅 디바이스 메모리(114)에 저장되며, 하나 이상의 프로세서(112)에 의해 사용되거나 이와 달리 구현될 수 있다. 일부 구현예에서, 사용자 컴퓨팅 디바이스(102)는 단일 기계 학습 모델(120)의 다수의 병렬 인스턴스를 구현할 수 있다.
추가적으로 또는 대안적으로, 하나 이상의 기계 학습 모델(140)은 클라이언트-서버 관계에 따라 사용자 컴퓨팅 디바이스(102)와 통신하는 서버 컴퓨팅 시스템(130)에 포함되거나 이와 달리 저장되고 구현될 수 있다. 예를 들어, 기계 학습 모델(140)은 서버 컴퓨팅 디바이스(140)에 의해 웹서비스(예: 시맨틱 엔터티 식별 서비스)의 일부로서 구현될 수 있다. 따라서, 하나 이상의 모델(120)은 사용자 컴퓨팅 디바이스(102)에 저장되고 구현될 수 있고 및/또는 하나 이상의 모델(140)은 서버 컴퓨팅 시스템(130)에 저장되고 구현될 수 있다.
오디오 재생 시스템은 또한 TTS 시스템(121)을 포함할 수 있다. TTS 시스템은 텍스트의 음성을 포함하는 오디오 신호(예를 들어, 도 2b의 오디오 신호(212))를 생성하기 위해 임의의 수의 TTS 기법을 수행할 수 있다. 오디오 재생 시스템은 또한 재생 영역 핸들러(123)를 포함할 수 있다. 텍스트 콘텐츠의 하나 이상의 부분은 재생 영역 핸들러(123)에 의해 재생 영역에 포지셔닝되도록 결정될 수 있다. 재생 영역 핸들러(123)는 다수의 요인(예를 들어, 사용자 설정, 이전에 분석된 사용자 행동, 글로벌 사용자 행동의 기계 학습 분석 등)에 기초하여 재생 영역의 위치, 크기 및 감도를 추가로 결정할 수 있다.
또한 사용자 컴퓨팅 디바이스(102)는 사용자 입력을 수신하는 하나 이상의 사용자 입력 컴포넌트(122)를 포함할 수 있다. 예를 들어, 사용자 입력 컴포넌트(122)는 사용자 입력 객체(예를 들어, 손가락 또는 스타일러스)의 터치에 감응하는 터치 감지 컴포넌트(예를 들어, 터치 감지 디스플레이 스크린 또는 터치 패드)일 수 있다. 터치 감지 컴포넌트는 가상 키보드를 구현하는데 사용할 수 있다. 다른 예시적 사용자 입력 컴포넌트는 마이크로폰, 전통적 키보드 또는 사용자가 사용자 입력을 제공할 수 있는 다른 수단들을 포함한다.
사용자 컴퓨팅 시스템(102)은 또한 하나 이상의 스피커(124)를 포함할 수 있다. 스피커(124)는 디바이스(102)에 물리적으로 연결되거나 디바이스(102)에 물리적으로 연결되지 않을 수 있다. 스피커(124)는 독립형 스피커, 이어 버드 등을 포함할 수 있다.
서버 컴퓨팅 시스템(130)은 하나 이상의 프로세서들(132) 및 메모리(134)를 포함한다. 하나 이상의 프로세서들(132)은 임의의 적절한 프로세싱 디바이스(예를 들어, 프로세서 코어, 마이크로 프로세서, ASIC, FPGA, 제어기, 마이크로 컨트롤러 등)일 수 있고, 하나의 프로세서 또는 동작적으로 연결된 하나 이상의 프로세서 또는 복수의 프로세서들일 수 있다. 메모리(134)는 RAM, ROM, EEPROM, EPROM, 플래시 메모리 디바이스, 자기 디스크 등과 같은 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체 및 이들의 조합을 포함할 수 있다. 메모리(134)는 서버 컴퓨팅 시스템(130)이 동작을 수행하게 하기 위한 프로세서(132)에 의해 실행되는 데이터(136) 및 명령어들(138)을 저장할 수 있다.
일부 구현예에서, 서버 컴퓨팅 시스템(130)은 하나 이상의 서버 컴퓨팅 디바이스들을 포함하거나 이와 달리 그에 의해 구현된다. 서버 컴퓨팅 시스템(130)이 복수의 서버 컴퓨팅 디바이스들을 포함하는 경우에, 그러한 서버 컴퓨팅 디바이스들은 순차적 컴퓨팅 아키텍처, 병렬 컴퓨팅 아키텍처 또는 이들의 조합에 따라 동작할 수 있다.
상기 기술된 바와 같이, 서버 컴퓨팅 시스템(130)은 하나 이상의 기계 학습 모델(140)을 저장하거나 또는 포함할 수 있다. 예를 들어, 모델(140)은 다양한 기계 학습 모델일 수 있거나 이를 포함할 수 있다. 기계 학습 모델의 예는 신경 네트워크 또는 기타 멀티 레이어 비선형 모델을 포함한다. 예시적 신경 네트워크는 피드 포워드 신경 네트워크, 딥 신경 네트워크, 순환 신경 네트워크 및 컨벌루션 신경 네트워크를 포함한다.
사용자 컴퓨팅 디바이스(102) 및/또는 서버 컴퓨팅 시스템(130)은 네트워크(180)를 통해 통신적으로 연결된 트레이닝 컴퓨팅 시스템(150)과의 인터렉션을 통해 모델(120 및/또는 140)을 트레이닝할 수 있다. 트레이닝 컴퓨팅 시스템(150)은 서버 컴퓨팅 시스템(130)과 별개이거나 서버 컴퓨팅 시스템(130)의 일부일 수 있다.
트레이닝 컴퓨팅 시스템(150)은 하나 이상의 프로세서들(152) 및 메모리(154)를 포함한다. 하나 이상의 프로세서들(152)은 임의의 적절한 프로세싱 디바이스(예를 들어, 프로세서 코어, 마이크로 프로세서, ASIC, FPGA, 제어기, 마이크로 컨트롤러 등)일 수 있고, 하나의 프로세서 또는 동작적으로 연결된 하나 이상의 프로세서 또는 복수의 프로세서들일 수 있다. 메모리(154)는 RAM, ROM, EEPROM, EPROM, 플래시 메모리 디바이스, 자기 디스크 등과 같은 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체 및 이들의 조합을 포함할 수 있다. 메모리(154)는 트레이닝 컴퓨팅 시스템(150)이 동작을 수행하게 하기 위한 프로세서(152)에 의해 실행되는 데이터(156) 및 명령어들(158)을 저장할 수 있다. 일부 구현예에서, 트레이닝 컴퓨팅 시스템(150)은 하나 이상의 서버 컴퓨팅 디바이스들을 포함하거나 이와 달리 그에 의해 구현된다.
트레이닝 컴퓨팅 시스템(150)은, 예를 들어 에러의 역방향 전파와 같은 다양한 트레이닝 또는 학습 기법을 사용하여, 사용자 컴퓨팅 디바이스(102) 및/또는 서버 컴퓨팅 시스템(130)에 저장된 기계 학습 모델(120 및/또는 140)을 트레이닝하는 모델 트레이너(160)를 포함할 수 있다. 일부 구현예에서, 에러의 역방향 전파를 수행하는 것은 시간을 통한 잘린 역 전파(truncated backpropagation through time)를 수행하는 것을 포함할 수 있다. 모델 트레이너(160)는 트레이닝되는 모델의 일반화 능력을 향상시키기 위해 다수의 일반화 기법들(예를 들어, 가중치 감소, 드롭 아웃 등)을 수행할 수 있다.
특히, 모델 트레이너(160)는 일련의 트레이닝 데이터(162)에 기초하여 기계 학습 모델(120 및/또는 140)을 트레이닝할 수 있다. 트레이닝 데이터(162)는 예를 들어, 사용자 피드백 또는 다양한 재생 경험 설정 또는 동작에 응답하여 수행되는 사용자 액션을 기술하는 데이터를 포함할 수 있다.
일부 구현예에서, 사용자가 동의를 제공하면, 트레이닝 예시들은 사용자 컴퓨팅 디바이스(102)에 의해 제공될 수 있다. 따라서, 이러한 구현예에서, 사용자 컴퓨팅 디바이스(102)에 제공되는 모델(120)은 사용자 컴퓨팅 디바이스(102)로부터 수신된 사용자 특정 데이터에 대한 트레이닝 컴퓨팅 시스템(150)에 의해 트레이닝될 수 있다. 일부 경우에, 이 프로세스를 모델 개인화로 지칭될 수 있다.
모델 트레이너(160)는 원하는 기능을 제공하기 위해 활용되는 컴퓨터 로직을 포함한다. 모델 트레이너(160)는 범용 프로세서를 제어하는 하드웨어, 펌웨어 및/또는 소프트웨어로 구현될 수 있다. 예를 들어, 일부 구현예에서, 모델 트레이너(160)는 저장 디바이스에 저장된 프로그램 파일을 포함하고, 메모리에 로딩되고 하나 이상의 프로세서에 의해 실행된다. 다른 구현예에서, 모델 트레이너(160)는 RAM 하드 디스크 또는 광학 또는 자기적 매체와 같은 유형적 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 실행가능 명령어들의 하나 이상의 세트들을 포함한다.
네트워크(180)는 근거리 네트워크(예를 들어, 인트라넷), 광역 네트워크(예를 들어, 인터넷) 또는 그들의 조합과 같은 임의의 유형의 통신 네트워크일 수 있고, 임의의 수의 유선 또는 무선 링크들을 포함할 수 있다. 일반적으로, 네트워크(180)를 통한 통신은 임의의 유형의 유선 및/또는 무선 연결을 사용하여, 다양한 통신 프로토콜들(예를 들어, TCP/IP, HTTP, SMTP, FTP), 인코딩 또는 포맷들(예를 들어, HTML, XML), 및/또는 보호 스키마(예를 들어, VPN, 시큐어 HTTP, SSL)를 통해 수행될 수 있다.
도 1a는 본 발명을 구현하는데 사용될 수 있는 하나의 예시적 컴퓨팅 시스템을 도시한다. 다른 컴퓨팅 시스템도 사용될 수 있다. 예를 들어, 일부 구현예에서, 사용자 컴퓨팅 디바이스(102)는 모델 트레이너(160) 및 트레이닝 데이터 세트(162)를 포함할 수 있다. 이러한 구현예에서, 모델(120)은 사용자 컴퓨팅 디바이스(102)에서 로컬적으로 트레이닝되고 사용될 수 있다. 이러한 구현예 중 일부에서, 사용자 컴퓨팅 디바이스(102)는 사용자 특정 데이터에 기초하여 모델(120)을 개인화하기 위해 모델 트레이너(160)를 구현할 수 있다.
도 1b는 본 발명의 예시적 실시예에 따라 수행하는 예시적 컴퓨팅 디바이스(10)의 블록도를 도시한다. 컴퓨팅 디바이스(10)는 사용자 컴퓨팅 디바이스 또는 서버 컴퓨팅 디바이스일 수 있다.
컴퓨팅 디바이스(10)는 다수의 애플리케이션(예를 들어, 애플리케이션 1 내지 애플리케이션 N)을 포함한다. 각 애플리케이션은 자체적 기계 학습 라이브러리 및 기계 학습 모델(들)을 포함한다. 예를 들어, 각 애플리케이션은 기계 학습 모델을 포함할 수 있다. 예시적 애플리케이션은 텍스트 메시징 애플리케이션, 이메일 애플리케이션, 받아쓰기 애플리케이션, 가상 키보드 애플리케이션, 브라우저 애플리케이션 등을 포함한다.
도 1b에 도시된 바와 같이, 각 애플리케이션은 예를 들어, 하나 이상의 센서, 컨텍스트 관리자, 디바이스 상태 컴포넌트 및/또는 추가 컴포넌트들과 같은 컴퓨팅 디바이스의 다수의 다른 컴포넌트들과 통신할 수 있다. 일부 구현예에서, 각 애플리케이션은 API(예를 들어, 퍼블릭 API)를 사용하여 각 디바이스 컴포넌트와 통신할 수 있다. 일부 구현예에서 각 애플리케이션에 의해 사용되는 API는 해당 애플리케이션에 대해 특정적이다.
도 1c는 본 발명의 예시적 실시예에 따라 수행하는 예시적 컴퓨팅 디바이스(50)의 블록도를 도시한다. 컴퓨팅 디바이스(50)는 사용자 컴퓨팅 디바이스 또는 서버 컴퓨팅 디바이스일 수 있다.
컴퓨팅 디바이스(50)는 다수의 애플리케이션(예를 들어, 애플리케이션 1 내지 애플리케이션 N)을 포함한다. 각 애플리케이션은 중앙 인텔리전스 레이어와 통신한다. 예시적 애플리케이션은 텍스트 메시징 애플리케이션, 이메일 애플리케이션, 받아쓰기 애플리케이션, 가상 키보드 애플리케이션, 브라우저 애플리케이션 등을 포함한다. 일부 구현예들에서, 각 애플리케이션은 중앙 인텔리전스 레이어(및 그 안에 저장된 모델(들)과 API(예: 모든 애플리케이션들에 걸친 공용 API)를 사용하여 통신할 수 있다.
중앙 인텔리전스 레이어는 다수의 기계 학습 모델들을 포함한다. 예를 들어, 도 1c에 도시된 바와 같이, 각각의 기계 학습 모델(예: 모델)은 각 애플리케이션에 대해 제공될 수 있고, 중앙 인텔리전스 레이어에 의해 관리될 수 있다. 다른 구현예에서, 2개 이상의 애플리케이션들은 단일의 기계 학습 모델을 공유할 수 있다. 예를 들어, 일부 구현예에서, 중앙 인텔리전스 레이어는 모든 애플리케이션에 대해 단일 모델(예를 들어, 단일 모델)을 제공할 수 있다. 일부 구현예에서, 중앙 인텔리전스 레이어는 컴퓨팅 디바이스(50)의 운영 체제 내에 포함되거나 이와 다르게 구현될 수 있다.
중앙 인텔리전스 레이어는 중앙 디바이스 데이터 레이어와 통신할 수 있다. 중앙 디바이스 데이터 레이어는 컴퓨팅 디바이스(50)에 대한 중앙 집중식 데이터 저장소일 수 있다. 도 1c에 도시된 바와 같이, 중앙 디바이스 데이터 레이어는 예를 들어, 하나 이상의 센서, 컨텍스트 관리자, 디바이스 상태 컴포넌트 및/또는 추가 컴포넌트들과 같은 컴퓨팅 디바이스의 다수의 다른 컴포넌트들과 통신할 수 있다. 일부 구현예에서, 중앙 디바이스 데이터 레이어는 API(예를 들어, 사설 API)를 사용하여 각 디바이스 컴포넌트와 통신할 수 있다.
도 2a-2b는 본 개시의 예시적 실시예에 따라 재생 영역에 포지셔닝되는 텍스트 콘텐츠의 제1 부분과 연관된 사용자 인터페이스 인터렉션을 도시한다. 도 2a에서, 컴퓨팅 디바이스 디스플레이(200)는 복수의 디스플레이 요소를 포함한다. 디스플레이 요소는 검색 쿼리(202), 텍스트 콘텐츠의 부분(204a-204e)(예를 들어, 검색 결과) 및 재생 영역(206)을 포함한다. 검색 쿼리(202)와 연관된 전체 텍스트 결과는 일부 실시예에서 콘텐츠의 아이템으로 지칭될 수 있다. 텍스트 콘텐츠(204)의 부분은 도 1에 도시된 바와 같이 복수의 검색 결과일 수 있다. 다른 실시예에서, 텍스트 콘텐츠(204)의 부분은 단일 검색 결과, 웹 문서의 단락, 뉴스 기사의 열 등일 수 있다. 도 3a-3b에 도시된 바와 같이, 구조화되지 않은 콘텐츠의 아이템은 텍스트 콘텐츠(204)의 부분으로 분할될 수 있다.
텍스트 콘텐츠(204)의 부분은 카드 포맷으로 제시되거나 카드 포맷 내에 포함될 수 있다. 카드 형식은 텍스트 콘텐츠의 부분을 텍스트 콘텐츠 카드(예를 들어, 텍스트 콘텐츠 부분의 다양한 스니펫을 포함하는 카드)로 구조화하는 역할을 할 수 있다. 일례로서, 검색 쿼리(202)와 연관된 텍스트 콘텐츠(204)의 각 부분은 자신의 텍스트 콘텐츠 카드에서 제시된다. 다른 예로서, 텍스트 콘텐츠(204)의 부분은 단일 텍스트 콘텐츠 카드에서 요약될 수 있다. 텍스트 콘텐츠 카드는 오디오 신호(예: 오디오 신호(212))의 재생을 용이하게 하는 방식으로 텍스트 콘텐츠의 부분을 구성할 수 있다. 예시로서, 텍스트 콘텐츠(204)의 부분은 연관된 URL 정보(예: 텍스트 콘텐츠(204b)의 부분에 포함된 "영화 데이터베이스> 현재 제작 중인 영화")뿐만 아니라 연관된 검색 결과로부터 텍스트 콘텐츠의 선택된 부분(예: 텍스트 콘텐츠(204d)의 부분에 포함된 상위 3개의 영화)을 각각 포함한다.
재생 영역(206)은 텍스트 콘텐츠(204)의 제1 부분의 적어도 일부를 포함하는 오디오 신호(212)의 재생을 가능하게 하는 스크린의 영역일 수 있다. 일례로서, 텍스트 콘텐츠(204b)의 제1 부분은 재생 영역(206) 내에 포지셔닝된다. 컴퓨팅 디바이스(들)(200)는 텍스트 콘텐츠(204b)의 제1 부분의 적어도 일부를 포함하는 오디오 신호(212)의 재생을 가능하게 할 수 있다. 오디오 신호는 텍스트 콘텐츠(204b)의 제1 부분의 일부를 음성으로 변환하는 것을 포함할 수 있다. 오디오 신호는 텍스트 콘텐츠(204b)의 제1 부분을 제1 언어에서 제2 언어로 변환하는 것을 더 포함할 수 있다. 오디오 신호는 또한 텍스트 콘텐츠(204b)의 제1 부분과 연관된 컨텍스트 정보를 포함할 수 있다. 도 4에 도시된 바와 같이, 오디오 신호는 사용자 선호에 적어도 부분적으로 기초할 수 있다. 오디오 신호는 또한 기계 인텔리전스(예: 기계 학습 모델(120))에 적어도 부분적으로 기초할 수 있다. 일부 실시예에서, 텍스트 콘텐츠의 복수의 부분(예: 204b 및 204c)은 재생 영역에 포지셔닝되는 것으로 식별될 수 있고 오디오 신호(212)에 포함될 수 있다.
일부 실시예에서, 오디오 신호(212)의 재생은 텍스트 콘텐츠(204b)의 제1 부분이 인식되지 않은 텍스트 콘텐츠를 포함한다고 결정하는 것을 더 포함할 수 있다. 예를 들어, 텍스트 콘텐츠(204b)의 제1 부분은 인식되지 않은 텍스트 콘텐츠(예: 디지털 문자 식별자가 없는 신문 스캔을 포함하는 PDF)를 포함할 수 있다. 텍스트 콘텐츠(204b)의 제1 부분이 인식되지 않은 텍스트 콘텐츠를 포함하는 경우, 컴퓨팅 디바이스(들)(200)는 인식되지 않은 텍스트 콘텐츠에 포함된 문자를 인식하기 위해 문자 인식을 수행할 수 있다. 컴퓨팅 디바이스(들)(200)는 문자 인식을 수행하고 인식된 문자를 오디오 신호에 포함시키기 전에, 인식되지 않은 텍스트를 포함하는 텍스트 콘텐츠의 일부가 재생 영역에 위치할 때까지 기다릴 수 있다.
재생 영역(206)은 디스플레이의 직사각형 부분으로 정의될 수 있다. 재생 영역(206)의 크기 및 위치는 복수의 방식으로 결정될 수 있다. 일례로서, 재생 영역(206)의 크기 및 위치는 도 4에 도시된 바와 같이 사용자 선호에 의해 결정될 수 있다. 다른 예로서, 재생 영역(206)의 크기 및 위치는 기계 인텔리전스(예를 들어, 기계 학습 모델(120))에 의해 적어도 부분적으로 결정될 수 있다. 예를 들어, 컴퓨팅 디바이스(들)(200)는 기계 인텔리전스를 사용하여 과거 사용자 행동을 분석하고, 해당 사용자가 가장 선호하는 재생 영역(206)의 크기와 위치를 결정할 수 있다. 대안적으로 또는 추가적으로, 재생 영역(206)의 크기 및 위치는 사전 정의되거나 및/또는 정적일 수 있다.
재생 영역(206)은 사용자에 의해 디스플레이의 다른 부분으로 이동될 수 있다. 사용자 입력은 디스플레이의 재생 영역(206)을 이동시켜 텍스트 콘텐츠(204)의 다른 부분에 배치할 수 있다. 일례로서, 사용자는 텍스트 콘텐츠(204b)의 부분으로부터 텍스트 콘텐츠(204c)의 부분으로 텍스트 콘텐츠(204)의 하부 부분의 포지션을 이동하지 않고 재생 영역을 드래그할 수 있다. 이러한 방식으로, 사용자는 재생 영역(206) 내에 배치하려는 텍스트 콘텐츠(204)의 부분을 선택적으로 식별할 수 있다. 결과적으로, 재생 영역(206)은 시각적 효과(예를 들어, 재생 영역의 영역과 연관된 반투명 음영)를 가질 수 있어 사용자가 재생 영역을 정확하게 이동할 수 있게 한다. 그러나, 재생 영역(206)은 모든 실시예에서 반드시 시각적 효과를 필요로 하는 것은 아니다.
컴퓨팅 디바이스(들)(200)는 텍스트 콘텐츠(204)의 부분이 재생 영역 내에 디스플레이되는 것을 식별하기 전에 일정 시간 동안 일시 중지할 수 있다. 일정 시간 동안 일시 중지함으로써, 컴퓨팅 디바이스(들)(200)는 사용자가 재생 영역에서 텍스트 콘텐츠(204)의 부분을 의도적으로 포지셔닝했는지(또는 그 반대로) 보장할 수 있다. 일례로서, 도 4에 도시된 바와 같이, 시간 기간은 사용자 선호에 기초하여 결정될 수 있다. 다른 예로서, 시간 기간은 다수의 다른 요인(예를 들어, 텍스트 콘텐츠의 부분의 수, 사용자의 이전 선호 및 액션, 텍스트 콘텐츠를 이동하는 사용자 입력 등)에 기초하여 결정될 수 있다. 예를 들어, 컴퓨팅 디바이스(들)(200)는 텍스트 콘텐츠(204b)의 부분이 재생 영역(206)에 포지셔닝된다는 것을 결정하기 전에 1.5초 동안 일시 중지할 수 있다.
도 2b에서, 컴퓨팅 디바이스 디스플레이(200)는 텍스트 콘텐츠(204)의 부분이 재생 영역(206)에 포지셔닝된는 것을 결정하는 것과 연관된 복수의 시각 효과(예: 208, 210, 214)를 포함한다. 텍스트 콘텐츠(204)의 부분이 재생 영역(206)에 포지셔닝되는 것으로 결정될 때, 비-강조 효과(208)는 디스플레이의 비-재생 부분을 비-강조하는데 사용될 수 있다. 비-강조 효과(208)는 축소 효과, 디스플레이를 벗어난 비-재생 부분의 이동, 블러링 효과, 어둡게하는 효과, 또는 디스플레이의 일부가 재생 영역이 아님을 입증하기 위한 임의의 다른 효과를 포함할 수 있다.
강조 효과(210)는 재생 영역(206)을 강조하기 위해 사용될 수 있다. 일부 실시예에서, 강조 효과(210)는 텍스트 콘텐츠의 부분이 재생 영역(206)에 포지셔닝되는 것으로 결정될 때 사용될 수 있다. 다른 실시예에서, 강조 효과(210)는 텍스트 콘텐츠의 부분이 재생 영역(206)에 포지셔닝되도록 결정되지 않은 경우에도 사용될 수 있다. 이러한 방식으로, 강조 효과(210)는 사용자가 재생 영역(206)을 디스플레이 상의 다른 위치로 이동시키는 것을 도울 수 있다.
강조 효과(210)는 반투명 음영 효과, 텍스트의 굵게 표시, 또는 재생 영역(206)의 포지션 및 크기를 강조할 수 있는 임의의 다른 효과일 수 있다. 또한, 재생 영역에 포지셔닝된 텍스트 콘텐츠의 부분은 텍스트 강조 효과(214)를 가질 수 있다. 텍스트 강조 효과(214)는 재생 영역(206)에 포지셔닝되고 및/또는 텍스트 음성 변환 시스템에 의해 재생될 때 개별 문자의 순차적 강조일 수 있다. 이 순차적 강조는 텍스트 확대, 굵게, 강조 등을 포함할 수 있다. 예를 들어, 도 2b에 도시된 바와 같이, 텍스트 콘텐츠의 일부는 텍스트 강조 효과(214)에 의해 굵게 표시되고 기울임체로 표시된다. 다른 예로서, 텍스트 강조 효과(214)는 재생 영역(206)에 포지셔닝된 텍스트 콘텐츠(204)의 전체 부분을 강조할 수 있다(예: 확대, 굵게, 강조 등).
도 2c-2d는 본 개시의 예시적 실시예에 따라 재생 영역에 포지셔닝되는 텍스트 콘텐츠의 제2 부분과 연관된 사용자 인터페이스 인터렉션을 도시한다. 도 2c는 도 2a에 도시된 동일한 디스플레이 레이아웃을 도시하며, 검색 결과(202) 및 동일한 상대 포지션에 포지셔닝된 텍스트 콘텐츠(204a-e)의 부분(예: 검색 결과)을 포함한다. 이동 입력(216)은 도 2d에 도시된 텍스트 콘텐츠 부분의 상대적 포지션을 변경한다. 예를 들어, 이동 입력(216)이 수신되기 전에, 텍스트 콘텐츠(204b)의 제1 부분은 재생 영역(206)에 포지셔닝된다. 이동 입력(216)이 수신된 후, 텍스트 콘텐츠(204b)의 제1 부분은 재생 영역(206) 외부에 포지셔닝되고, 텍스트 콘텐츠(204c)의 제2 부분은 재생 영역(206) 내부에 포지셔닝되었다.
일부 실시예에서, 이동 입력(216)은 사용자 입력일 수 있다. 사용자 입력은 물리적 사용자 액션에 대응할 수 있다. 일례로서, 사용자는 터치 입력을 사용하여 디스플레이를 위 또는 아래로 스크롤할 수 있다(예를 들어, 터치 감응형 디스플레이에 손가락 또는 스타일러스를 배치하고 위 또는 아래로 슬라이딩). 다른 예로, 사용자는 음성 명령을 사용하여 디스플레이를 스크롤할 수 있다. 또 다른 예로서, 사용자는 컴퓨팅 디바이스에 의해 인식되는 제스처 또는 물리적 움직임을 사용하여 디스플레이를 스크롤할 수 있다.
일부 실시예에서, 이동 입력(216)은 컴퓨터 생성 입력일 수 있다. 예를 들어, 기계 인텔리전스(예를 들어, 기계 학습 모델(120))은 텍스트 콘텐츠의 부분을 자동으로 이동할 수 있다. 자동 이동은 이전 사용자 행동 및/또는 글로벌 사용자 행동 모델에 기초할 수 있다. 다른 예로서, 텍스트 콘텐츠 부분의 자동 이동은 사용자 선호에 기초할 수 있다. 사용자는 사용자가 결정한 속도로 콘텐츠의 아이템을 스크롤하는 "자동 스크롤" 기능을 사용할 수 있다.
텍스트 콘텐츠(204b)의 제1 부분을 재생 영역(206) 밖으로 이동시키면, 텍스트 콘텐츠(204b)의 제1 부분의 오디오 신호 재생이 중지될 수 있다. 일례로서, 사용자는 이동 입력(216)(예: 스크롤 입력)을 수행하여 현재 오디오 신호 재생에 포함된 텍스트 콘텐츠(204b)의 제1 부분을 재생 영역(206) 밖으로 이동할 수 있다. 텍스트 콘텐츠(204b)의 제1 부분이 재생 영역(206) 밖으로 이동되면, 컴퓨팅 디바이스(들)(200)는 재생을 중지한 다음 텍스트 콘텐츠(204c)의 제2 부분이 재생 영역(206)에 포지셔닝되는지를 결정할 수 있다. 텍스트 콘텐츠(204c)의 제2 부분이 재생 영역(206)에 포지셔닝되면, 컴퓨팅 디바이스(들)(200)는 텍스트 콘텐츠(204c)의 제2 부분을 포함하는 오디오 신호의 재생을 시작할 수 있다.
도 3a-3b는 본 개시의 예시적 실시예에 따라 구조화되지 않은 콘텐츠 아이템을 텍스트 콘텐츠의 복수의 부분으로 분할하기 위한 방법을 도시한다. 도 3a는 제목(302) 및 콘텐츠(304)의 구조화되지 않은 아이템을 포함한다. 제목(302)은 콘텐츠(304)의 구조화되지 않은 아이템의 제목 또는 그 소스일 수 있다. 콘텐츠 아이템(예를 들어, 콘텐츠(304)의 구조화되지 않은 아이템)은 구조화되지 않거나 그렇지 않으면 구조화되지 않은 텍스트를 포함할 수 있다. 구조화되지 않은 콘텐츠는 예를 들어 제목, 기사, 단락 등 사이에 명확한 구분이 없는 기사일 수 있다. 이러한 경우, 텍스트 콘텐츠의 부분을 획득하는 것은 구조화되지 않은 텍스트 콘텐츠로부터 텍스트 콘텐츠의 복수의 부분을 결정하는 것을 포함할 수 있다.
도 3b는 텍스트 콘텐츠(308)의 복수의 부분(예를 들어, 308a, 308b, 308c, 308d, 308e)으로 분할된 콘텐츠(304)의 구조화되지 않은 아이템을 도시한다. 콘텐츠의 구조화되지 않은 아이템은 여러 방식으로 텍스트 콘텐츠의 복수의 부분으로 분할될 수 있다. 일례로서, 구조화되지 않은 콘텐츠의 디지털 아이템은 콘텐츠 아이템과 연관된 디지털 마크업 요소에 적어도 부분적으로 기초하여 텍스트 콘텐츠의 부분으로 분할될 수 있다. 예를 들어, 콘텐츠의 구조화되지 않은 아이템(304)은 단락 들여쓰기(306)(예를 들어, 306a, 306b, 306c, 306d, 306e)와 연관된 디지털 마크업 요소를 포함한다.
단락 들여쓰기(306)가 도 3에 디스플레이되었지만, 능동적으로 디스플레이되지 않는 디지털 마크업 요소는 콘텐츠의 구조화되지 않은 아이템을 분할하는데 사용될 수 있다. 예를 들어, 웹페이지와 연관된 메타데이터(예: 헤더와 연관된 하이퍼텍스트 마크업 언어 헤더 태그)는 컨텐츠의 구조화되지 않은 아이템을 컨텐츠의 복수의 부분으로 분할하는데 사용될 수 있다. 다른 예에서, 일부 구현예에서, 기계 인텔리전스(예를 들어, 기계 학습된 모델(120))은 구조화되지 않은 콘텐츠를 텍스트 콘텐츠의 부분으로 분할하는데 사용될 수 있다. 예를 들어, 사용자 피드백, 사용자가 원하는 행동 및 기타 관련 트레이닝 데이터에 기초하여, 기계 인텔리전스는 콘텐츠의 아이템을 텍스트 콘텐츠의 부분으로 분할할 위치를 결정할 수 있다.
도 4는 본 발명의 예시적 실시예에 따라 사용자 재생 영역 설정을 수정하기 위한 사용자 인터페이스를 도시한다. 재생 영역 설정 인터페이스(400)는 재생 영역 위치 설정(402), 재생 영역 크기 설정(404) 및 재생 영역 시작 시간 설정(406)을 포함한다. 일부 구현예에서, 재생 영역 설정 인터페이스(400)는 재생 영역 재생 속도 설정을 포함할 수 있다. 재생 속도 설정은 재생 영역에 포지셔닝된 텍스트 콘텐츠의 부분이 판독되는 속도를 적어도 부분적으로 결정할 수 있다. 예를 들어 재생 영역 속도 설정을 1.25값으로 변경하면, 오디오 신호 재생 속도가 25% 또는 다른 양만큼 증가할 수 있다. 또 다른 예로, 재생 영역 속도 설정을 0.5로 변경하면, 오디오 신호 재생 속도가 50% 또는 다른 양만큼 감소할 수 있다.
재생 영역의 위치는 사용자 특정 재생 영역 위치 설정(402)에 기초하여 결정될 수 있다. 예를 들어, 재생 영역 위치 설정(402)은 사용자가 컴퓨팅 디바이스의 디스플레이에 각각의 재생 영역의 위치를 결정하게 한다. 예를 들어, 사용자는 재생 영역이 디스플레이 중앙에 포지셔닝된 작은 직사각형이어야 한다고 결정할 수 있다. 다른 사용자는 재생 영역을 확대하고 디스플레이 맨 위에 재생 영역이 포지셔닝하도록 선택할 수 있다.
재생 영역의 크기는 사용자 특정 재생 영역 크기 설정(404)에 기초하여 결정될 수 있다. 예를 들어, 사용자는 재생 영역의 크기와 모양이 텍스트 콘텐츠의 두 부분을 포함하기에 충분한 영역을 제공하는 정사각형이어야 한다고 결정할 수 있다. 다른 예로서, 제2 사용자는 재생 영역의 크기 및 모양이 신문 칼럼을 포함하기에 충분한 영역을 가진 직사각형이어야 한다고 결정할 수 있다. 또 다른 예로서, 제3 사용자는 재생 영역의 크기와 모양이 텍스트 콘텐츠의 한 부분에만 맞도록 충분한 영역을 제공하는 얇은 직사각형이어야 한다고 결정할 수 있다.
재생 영역의 재생 시작 시간은 사용자 지정 재생 영역 시작 시간 설정(406)에 기초하여 결정될 수 있다. 지정 시작 시간(예를 들어, 일시 중지 시간)을 설정하는 것은 사용자가 텍스트 콘텐츠의 부분을 재생 영역에 의도적으로 포지셔닝했는지(또는 그 반대로) 보장하는 역할을 할 수 있다. 예를 들어, 사용자는 텍스트 콘텐츠의 부분이 재생 영역에 위치된다고 결정한 후 ½초 후에 재생이 시작되도록 지정할 수 있다. 또 다른 예로서, 제2 사용자는 텍스트 콘텐츠의 부분이 재생 영역에 위치된다고 결정한 후 3초 후에 재생이 시작되도록 지정할 수 있다.
재생 영역 설정(400)(예를 들어, 재생 영역 위치 설정(402), 재생 영역 크기 설정(404), 재생 영역 시작 시간 설정(406)))은 기계 인텔리전스(예를 들어, 기계 학습 모델(120))에 의해 적어도 부분적으로 조정될 수 있다. 기계 인텔리전스는 검출된 비효율성에 적어도 부분적으로 기초하여 사용자 지정 재생 영역 설정(400)을 조정할 수 있다. 기계 학습 모델(120)은 이전 및 현재 사용자 행동, 글로벌 사용자 행동 및/또는 다른 요인에 적어도 부분적으로 기초하여 트레이닝될 수 있다. 예를 들어, 기계 인텔리전스는 특정 재생 영역 위치 설정(402)을 지정한 사용자가 재생 영역 위치 설정(402)이 사용자가 더 선호하는 지점에 위치될 수 있음을 표시하는 행동을 보이는 것으로 결정할 수 있다. 일부 실시예에서, 기계 인텔리전스는 사용자에게 통지하지 않고 연관된 재생 영역 설정(400)을 자동으로 조정하도록 결정할 수 있다. 다른 실시예에서, 기계 인텔리전스는 재생 영역 설정(400)을 조정하기 전에 사용자에게 통지하도록 결정할 수 있다.
도 5는 예시적 실시예에 따라 디스플레이된 텍스트 콘텐츠의 오디오 재생을 수행하는 예시적 방법(500)에 대한 흐름도를 도시한다. 서버(500)는 예를 들어 도 1의 컴퓨팅 디바이스(들)을 사용하여 구현될 수 있다. 도 5는 예시와 논의의 목적으로 특정한 순서로 수행되는 단계들을 도시한다. 통상의 기술자는 본 명세서에 제공된 내용을 사용하여, 본 명세서에서 논의된 방법들 중 임의의 다양한 단계들은 본 발명의 범위로부터 벗어나지 않고 다양한 방식으로 생략, 재배열, 동시적 수행, 확장 및/또는 수정될 수 있음을 이해할 것이다.
502에서, 방법은 텍스트 콘텐츠의 복수의 부분을 포함하는 콘텐츠의 하나 이상의 아이템을 기술하는 데이터를 획득하는 단계를 포함할 수 있다. 콘텐츠의 아이템은 예를 들어 검색 쿼리에 대한 응답인 하나 이상의 검색 결과일 수 있다. 일례로서, 하나 이상의 컴퓨팅 디바이스는 검색 쿼리에 응답하여 텍스트 콘텐츠의 복수의 부분(예를 들어, 복수의 검색 결과 중 각 검색 결과)을 포함하는 콘텐츠의 아이템(예를 들어, 복수의 검색 결과)을 획득할 수 있다. 다른 예로서, 콘텐츠의 아이템은 텍스트 콘텐츠의 복수의 부분(예를 들어, 영화 목록의 각 영화)을 포함하는 단일 검색 결과(예를 들어, 베스트 액션 영화의 목록)일 수 있다.
텍스트 콘텐츠의 부분은 텍스트 콘텐츠를 포함하는 콘텐츠의 아이템의 분할일 수 있다. 예를 들어, 콘텐츠의 아이템은 텍스트 콘텐츠의 복수의 부분으로 분할될 수 있는 웹페이지 또는 웹문서일 수 있으며, 텍스트 콘텐츠의 각 부분은 웹페이지 또는 웹문서의 단락이다. 텍스트 콘텐츠의 부분은 카드 포맷으로 제시되거나 카드 포맷 내에 포함될 수 있다. 카드 형식은 텍스트 콘텐츠의 부분을 텍스트 콘텐츠 카드(예를 들어, 텍스트 콘텐츠 부분의 다양한 스니펫을 포함하는 카드)로 구조화하는 역할을 할 수 있다. 예를 들어, 검색 결과 쿼리의 각 검색 결과는 자체 텍스트 콘텐츠 카드에서 제시되거나 그에 포함될 수 있다. 다른 예로서, 복수의 검색 결과가 단일 텍스트 콘텐츠 카드에 요약될 수 있다. 텍스트 콘텐츠 카드는 오디오 신호의 재생을 용이하게 하는 방식으로 텍스트 콘텐츠의 부분을 구성할 수 있다. 예를 들어, 텍스트 콘텐츠 카드는 검색 결과에 대응하는 웹페이지의 제목 및 관련 컨텍스트 정보를 강조할 수 있다.
504에서, 방법은 하나 이상의 컴퓨팅 디바이스와 연관된 디스플레이 상의 텍스트 콘텐츠의 하나 이상의 부분의 각각의 포지션을 표시하는 포지션 데이터를 결정하는 단계를 포함할 수 있다. 포지션 데이터는 콘텐츠의 부분이 디스플레이 상에 포지셔닝되는지 여부에 관계없이 디스플레이에 대해 텍스트 콘텐츠의 모든 부분의 포지션을 표시할 수 있다. 예를 들어, 포지션 데이터는 텍스트 콘텐츠의 제1 부분이 디스플레이의 상위 20%에 있음을 나타낼 수 있다. 다른 예로서, 포지션 데이터는 현재 디스플레이되지 않은 텍스트 콘텐츠의 제2 부분이 현재 디스플레이된 텍스트 콘텐츠의 하나 이상의 부분 아래에 특정 거리에 포지셔닝된다는 것을 나타낼 수 있다. 포지션 데이터는 예를 들어 콘텐츠의 아이템을 제시하거나 처리하는 애플리케이션(예를 들어, 브라우저 애플리케이션), 디바이스 디스플레이를 모니터링하는 별도의 애플리케이션 및/또는 포지션 데이터의 다른 소스로부터 획득할 수 있다.
506에서, 방법은 상기 디스플레이에 대해 텍스트 콘텐츠의 하나 이상의 부분의 각각의 포지션을 수정하는 사용자 입력을 표시하는 데이터를 수신하는 단계를 포함할 수 있다. 사용자 입력은 실제 사용자 액션에 대응할 수 있다. 일례로서, 사용자는 터치 입력을 사용하여 디스플레이를 위 또는 아래로 스크롤할 수 있다(예를 들어, 터치 감응형 디스플레이에 손가락 또는 스타일러스를 배치하고 위 또는 아래로 슬라이딩). 다른 예로, 사용자는 음성 명령을 사용하여 디스플레이를 스크롤할 수 있다. 또 다른 예로서, 사용자는 컴퓨팅 디바이스에 의해 인식되는 제스처 또는 물리적 움직임을 사용하여 디스플레이를 스크롤할 수 있다.
사용자 입력은 디스플레이에 대해 텍스트 콘텐츠의 하나 이상의 부분을 이동함으로써 텍스트 콘텐츠의 하나 이상의 부분의 각각의 포지션을 수정할 수 있다. 일례로, 사용자 스크롤 입력은 이전에 디스플레이된 텍스트 콘텐츠의 부분이 이제 디스플레이 위에 포지셔닝되도록 디스플레이를 이동할 수 있다. 다른 예로서, 사용자 제스처 입력은 텍스트 콘텐츠의 부분을 디스플레이의 아래쪽 절반에서 디스플레이의 위쪽 절반으로 이동할 수 있다.
508에서, 방법은 사용자 입력을 표시하는 데이터를 수신함에 응답하여, 텍스트 콘텐츠의 하나 이상의 부분의 각각의 업데이트된 포지션을 표시하는 업데이트된 포지션 데이터를 결정하는 단계를 포함할 수 있다. 텍스트 콘텐츠의 하나 이상의 부분이 이동된 후, 업데이트된 포지션 데이터는 스크린에 상대적인 새로운 포지션을 표시할 수 있다. 일례로서, 이전에 디스플레이 상에 포지셔닝되지 않은 텍스트 콘텐츠의 부분(예를 들어, 검색 결과와 연관된 텍스트 콘텐츠 카드)은 디스플레이 상에 포지셔닝되는 업데이트된 위치를 가질 수 있다. 다른 예로서, 디스플레이 상에 이전에 포지셔닝된 콘텐츠의 부분은 디스플레이 상에 포지셔닝되지 않은 업데이트된 포지션을 가질 수 있다.
510에서, 방법은 사용자 입력을 표시하는 데이터를 수신함에 응답하여, 상기 업데이트된 포지션 데이터에 적어도 부분적으로 기초하여, 텍스트 콘텐츠의 제1 부분이 디스플레이의 재생 영역 내에 포지셔닝된다는 것을 식별하는 단계를 포함할 수 있다. 디스플레이의 재생 영역은 텍스트 콘텐츠의 제1 부분과 연관된 오디오 재생을 가능하게 하는 화면의 영역일 수 있다. 일례로서, 텍스트 콘텐츠의 제1 부분이 재생 영역 내에 포지셔닝되면, 하나 이상의 컴퓨팅 디바이스는 텍스트 콘텐츠의 부분을 포함하는 오디오 재생을 가능하게 할 수 있다. 일부 실시예에서, 텍스트 콘텐츠의 복수의 부분이 재생 영역에 포지셔닝되는 것으로 식별될 수 있다. 예를 들어, 2개의 비교적 작은 텍스트 콘텐츠 카드(예를 들어, 디스플레이의 크기와 관련하여)는 둘 모두 디스플레이의 재생 영역에 동시에 맞을 수 있다.
일부 실시예에서, 재생 영역은 디스플레이의 직사각형 부분으로 정의될 수 있다. 재생 영역의 크기와 위치는 여러 가지 방법으로 결정될 수 있다. 일례로, 재생 영역의 크기와 위치는 사용자 선호에 의해 결정될 수 있다. 사용자가 재생 영역의 위치와 크기를 결정할 수 있는 설정 메뉴가 있을 수 있다. 예를 들어, 사용자는 재생 영역이 디스플레이 중앙에 포지셔닝된 작은 직사각형이어야 한다고 결정할 수 있다. 다른 사용자는 재생 영역을 확대하고 디스플레이 맨 위에 재생 영역이 포지셔닝하도록 선택할 수 있다. 다른 예로서, 재생 영역의 크기 및 위치는 기계 인텔리전스(예를 들어, 기계 학습 모델)에 의해 적어도 부분적으로 결정될 수 있다. 예를 들어, 컴퓨팅 디바이스는 기계 인텔리전스를 사용하여 과거 사용자 행동을 분석하고, 해당 사용자가 가장 선호하는 재생 영역의 크기와 위치를 결정할 수 있다. 대안적으로 또는 추가적으로, 재생 영역의 크기 및 위치는 사전 정의되거나 및/또는 정적일 수 있다.
512에서, 방법은 사용자 입력을 표시하는 데이터를 수신함에 응답하여, 텍스트 콘텐츠의 제1 부분의 적어도 일부의 음성을 포함하는 오디오 신호를 재생하게 하는 단계를 포함할 수 있다. 일부 구현예에서, 오디오 신호는 텍스트 콘텐츠의 제1 부분과 연관된 컨텍스트 정보를 포함할 수 있다. 컨텍스트 정보는 요약, 간략한 설명, 제목 및/또는 텍스트 콘텐츠의 제1 부분에 포함된 아이템 목록을 포함할 수 있다. 예를 들어, 20개의 지역 음식점 목록이 포함된 검색 결과는 상위 3개의 결과만 재생하여 요약될 수 있다.
일부 구현예에서, 오디오 신호는 기계 인텔리전스(예를 들어, 기계 학습 모델)에 의해 적어도 부분적으로 결정될 수 있다. 기계 인텔리전스을 사용하여 오디오 신호에 포함될 텍스트 콘텐츠 부분의 선호하는 부분과 포맷을 결정할 수 있다. 일례로, 기계 학습 모델은 사용자가 오디오 신호에 텍스트 콘텐츠의 각 부분에 대한 간략한 설명만 포함하는 것을 선호함을 식별할 수 있다. 다른 예로서, 기계 학습 모델은 제2 사용자가 오디오 신호에 텍스트 콘텐츠의 전체 부분을 포함하는 것을 선호한다고 결정할 수 있다.
일부 구현예에서, 오디오 신호는 텍스트 콘텐츠의 부분을 한 언어에서 다른 언어로 변환하는 것을 더 포함할 수 있다. 오디오 신호는 사용자 선호에 기초하여 언어 번역을 제공할 수 있다. 예를 들어, 사용자가 외국어로 작성된 문서를 검색할 수 있다. 하나 이상의 컴퓨팅 디바이스는 재생 영역에 위치된 텍스트 콘텐츠의 부분에 대해 오디오 신호 번역을 선택적으로 제공할 수 있다. 이는 사용자가 번역하고자 하는 텍스트 콘텐츠의 포지션을 알고 있는 경우, 사용자가 텍스트 콘텐츠의 부분에 대한 특정 번역을 신속하게 수신할 수 있게 한다.
도 6은 예시적 실시예에 따라 디스플레이된 텍스트 콘텐츠의 오디오 재생을 중지하는 예시적 방법(600)에 대한 흐름도를 도시한다. 서버(600)는 예를 들어 도 1의 컴퓨팅 디바이스(들)을 사용하여 구현될 수 있다. 도 6는 예시와 논의의 목적으로 특정한 순서로 수행되는 단계들을 도시한다. 통상의 기술자는 본 명세서에 제공된 내용을 사용하여, 본 명세서에서 논의된 방법들 중 임의의 다양한 단계들은 본 발명의 범위로부터 벗어나지 않고 다양한 방식으로 생략, 재배열, 동시적 수행, 확장 및/또는 수정될 수 있음을 이해할 것이다.
602에서, 방법(600)은 상기 디스플레이에 대해 콘텐츠의 하나 이상의 부분의 각각의 포지션을 수정하는 제2 사용자 입력을 표시하는 데이터를 수신하는 단계를 포함할 수 있다. 사용자 입력은 실제 사용자 액션에 대응할 수 있다. 일례로서, 사용자는 터치 입력을 사용하여 디스플레이를 위 또는 아래로 스크롤할 수 있다(예를 들어, 터치 감응형 디스플레이에 손가락 또는 스타일러스를 배치하고 위 또는 아래로 슬라이딩). 사용자 입력의 다른 예는 도 5에 설명되어 있다.
604에서, 방법(600)은 제2 사용자 입력을 표시하는 데이터를 수신함에 응답하여, 텍스트 콘텐츠의 하나 이상의 부분의 각각의 제2 업데이트된 포지션을 표시하는 업데이트된 포지션 데이터를 결정하는 단계를 포함할 수 있다. 텍스트 콘텐츠의 하나 이상의 부분이 이동된 후, 업데이트된 포지션 데이터는 스크린에 상대적인 새로운 포지션을 표시할 수 있다. 일례로서, 이전에 디스플레이 상에 포지셔닝되지 않은 텍스트 콘텐츠의 부분(예를 들어, 검색 결과와 연관된 텍스트 콘텐츠 카드)은 디스플레이 상에 포지셔닝되는 업데이트된 위치를 가질 수 있다.
606에서, 방법(600)은 제2 사용자 입력을 표시하는 데이터를 수신함에 응답하여, 상기 제2 업데이트된 포지션 데이터에 적어도 부분적으로 기초하여, 텍스트 콘텐츠의 제1 부분이 디스플레이의 재생 영역 외부에 포지셔닝된다는 것을 식별하는 단계를 포함할 수 있다. 예를 들어, 현재 재생 중인 오디오 신호에 포함되었던 텍스트 콘텐츠의 제1 부분은 오디오 신호가 계속 재생되는 동안 사용자 입력에 응답하여 재생 영역 밖으로 이동될 수 있다.
608에서, 방법(600)은 제2 사용자 입력을 표시하는 데이터 수신에 응답하여, 오디오 신호의 재생을 중지하는 단계를 포함할 수 있다. 사용자 입력에 의해 재생 영역 외부에 포지셔닝되었던 텍스트 콘텐츠의 부분을 포함하는 오디오 신호가 현재 재생되고 있는 경우, 컴퓨팅 디바이스는 오디오 신호의 재생을 중지할 수 있다. 오디오 신호의 중지는 사용자가 원할 경우 재생 영역에서 텍스트 콘텐츠의 제1 부분을 다시 포지셔닝할 수 있도록 지연될 수 있다. 예를 들어, 컴퓨팅 디바이스는 재생 영역 외부로 이동된 텍스트 콘텐츠의 부분을 포함하는 오디오 신호를 중지하기 전에 3초 동안 일시 중지할 수 있다. 이를 통해 실수로 입력한 사용자(예: 실수로 화면 터치)가 재생이 영향을 받기 전에 오류를 수정할 수 있게 한다. 일부 실시예에서, 이 일시 중지는 사용자 설정에 의해 적어도 부분적으로 결정될 수 있다. 다른 실시예에서, 이 일시 중지는 기계 인텔리전스(예를 들어, 기계 학습 모델(120))에 의해 적어도 부분적으로 결정될 수 있다.
추가 개시
본 명세서에 논의된 기술은 서버, 데이터베이스, 소프트웨어 애플리케이션들 및 다른 컴퓨터 기반 시스템들 뿐만 아니라 취해진 액션들 및 상기 시스템으로 전송되거나 그로부터 전송된 정보를 참조할 수 있다. 컴퓨터 기반 시스템들의 내재적 유연성은 광범위한 가능한 구성들, 조합들 및 작업의 분할 및 컴포넌트들 간의 및 그로부터의 기능성을 허용함을 인식할 것이다. 예를 들어, 본 명세서에서 논의된 프로세스들은 단일의 디바이스 또는 컴포넌트 또는 조합으로 작동하는 다수의 디바이스들 또는 컴포넌트들을 사용하여 구현될 수 있다. 데이터베이스 및 애플리케이션들은 단일 시스템 또는 다수의 시스템들에 걸쳐 분산된 시스템에서 구현될 수 있다. 분산 컴포넌트들은 순차적으로 또는 병렬로 동작할 수 있다.
본 발명의 주제가 그 다양한 특정 예시적 실시예와 관련하여 상세히 설명되었지만, 각 예시는 본 발명의 설명을 위한 것이지 본 발명의 한정을 위한 것은 아니다. 통상의 기술자는 전술한 내용을 이해할 때 상기 실시예에 대한 변형, 변형 및 균등물을 용이하게 생성할 수 있다. 따라서, 본 발명은 통상의 기술자에게 쉽게 명백해질 수 있는 상기 수정, 변형 및/또는 본 발명에 대한 추가의 포함을 배제하지 않는다. 예를 들어, 일 실시예의 일부로서 도시되거나 기술된 구성들은 여전히 추가적 실시예를 만들어내기 위해 다른 실시예와 함께 사용될 수 있다. 따라서, 본 발명은 상기 수정들 및 변형들을 커버하도록 의도되었다.

Claims (23)

  1. 디스플레이된 텍스트 콘텐츠의 오디오 재생을 수행하는 컴퓨터로 구현되는 방법으로서,
    하나 이상의 컴퓨팅 디바이스에 의해, 텍스트 콘텐츠의 복수의 부분을 포함하는 콘텐츠의 하나 이상의 아이템을 기술하는 데이터를 획득하는 단계;
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 하나 이상의 컴퓨팅 디바이스와 연관된 디스플레이 상의 텍스트 콘텐츠의 하나 이상의 부분의 각각의 포지션을 표시하는 포지션 데이터를 결정하는 단계;
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 디스플레이에 대한 텍스트 콘텐츠의 하나 이상의 부분의 각각의 포지션을 수정하는 사용자 입력을 표시하는 데이터를 수신하는 단계; 및
    상기 사용자 입력을 표시하는 데이터를 수신함에 응답하여:
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 텍스트 콘텐츠의 하나 이상의 부분의 각각의 업데이트된 포지션을 표시하는 업데이트된 포지션 데이터를 결정하는 단계;
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 업데이트된 포지션 데이터에 적어도 부분적으로 기초하여, 텍스트 콘텐츠의 제1 부분이 디스플레이의 재생 영역 내에 포지셔닝된다는 것을 식별하는 단계; 및
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 텍스트 콘텐츠의 제1 부분의 적어도 일부의 음성을 포함하는 오디오 신호를 재생하게 하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
  2. 청구항 1에 있어서, 상기 사용자 입력은 사용자에 의해 수행되는 스크롤 입력을 포함하는, 컴퓨터로 구현되는 방법.
  3. 임의의 선행하는 청구항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스에 의해, 디스플레이 상의 하나 이상의 시각 효과를 상기 재생 영역 내에 포지셔닝된 텍스트 콘텐츠의 제1 부분 또는 상기 재생 영역이 아닌 상기 디스플레이의 하나 이상의 부분 중 하나 또는 둘 모두에 적용하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  4. 임의의 선행하는 청구항에 있어서, 상기 콘텐츠의 아이템은 검색 쿼리에 응답하여 생성된 검색 결과 페이지를 포함하는, 컴퓨터로 구현되는 방법.
  5. 임의의 선행하는 청구항에 있어서, 상기 텍스트 콘텐츠의 복수의 부분은 상기 검색 쿼리에 대한 하나 이상의 검색 결과 응답에 적어도 부분적으로 기초하는 텍스트 콘텐츠 카드를 포함하는, 컴퓨터로 구현되는 방법.
  6. 임의의 선행하는 청구항에 있어서, 상기 오디오 신호는 상기 텍스트 콘텐츠의 하나 이상의 부분에 대한 텍스트-음성 변환을 포함하는, 컴퓨터로 구현되는 방법.
  7. 임의의 선행하는 청구항에 있어서, 상기 오디오 신호는 제1 언어로부터 제2 언어로의 번역을 포함하는, 컴퓨터로 구현되는 방법.
  8. 임의의 선행하는 청구항에 있어서, 상기 오디오 신호는 상기 텍스트 콘텐츠의 제1 부분과 연관된 컨텍스트 정보를 포함하는, 컴퓨터로 구현되는 방법.
  9. 임의의 선행하는 청구항에 있어서, 상기 텍스트 콘텐츠의 제1 부분의 적어도 일부의 음성은 사용자 선호에 적어도 부분적으로 기초하는, 컴퓨터로 구현되는 방법.
  10. 임의의 선행하는 청구항에 있어서, 상기 텍스트 콘텐츠의 제1 부분의 적어도 일부의 음성은 기계 학습 모델에 의해 적어도 부분적으로 결정되는, 컴퓨터로 구현되는 방법.
  11. 임의의 선행하는 청구항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스에 의해, 텍스트 콘텐츠의 제1 부분의 적어도 일부의 음성을 포함하는 오디오 신호를 재생하게 하는 단계는:
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 텍스트 콘텐츠의 제1 부분이 인식되지 않은 텍스트 콘텐츠를 포함한다고 결정하는 단계;
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 인식되지 않은 텍스트 콘텐츠에 포함된 문자를 인식하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  12. 임의의 선행하는 청구항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스에 의해, 텍스트 콘텐츠의 복수의 부분을 포함하는 콘텐츠의 하나 이상의 아이템을 기술하는 데이터를 획득하는 단계는:
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 구조화되지 않은 텍스트 콘텐츠를 획득하는 단계;
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 구조화되지 않은 텍스트 콘텐츠로부터 텍스트 콘텐츠의 복수의 부분을 결정하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  13. 청구항 12에 있어서, 상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 구조화되지 않은 텍스트 콘텐츠로부터 텍스트 콘텐츠의 복수의 부분을 결정하는 단계는 기계 학습 모델에 의해 적어도 부분적으로 결정되는, 컴퓨터로 구현되는 방법.
  14. 청구항 12에 있어서, 상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 구조화되지 않은 텍스트 콘텐츠로부터 텍스트 콘텐츠의 복수의 부분을 결정하는 단계는 상기 구조화되지 않은 텍스트 콘텐츠와 연관된 메타데이터에 적어도 부분적으로 결정되는, 컴퓨터로 구현되는 방법.
  15. 임의의 선행하는 청구항에 있어서, 상기 디스플레이의 재생 영역의 위치는 사용자 선호에 적어도 부분적으로 기초하는, 컴퓨터로 구현되는 방법.
  16. 임의의 선행하는 청구항에 있어서, 상기 디스플레이의 재생 영역은 텍스트 콘텐츠의 복수의 부분이 상기 재생 영역에 포지셔닝될 수 있도록 구성되는, 컴퓨터로 구현되는 방법.
  17. 임의의 선행하는 청구항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 업데이트된 포지션 데이터에 적어도 부분적으로 기초하여, 텍스트 콘텐츠의 제1 부분이 디스플레이의 재생 영역 내에 포지셔닝된다는 것을 식별하는 단계는 상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 사용자 입력을 표시하는 데이터를 수신한 후에 일정 시간의 양이 경과했다고 결정하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
  18. 임의의 선행하는 청구항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 업데이트된 포지션 데이터에 적어도 부분적으로 기초하여, 텍스트 콘텐츠의 제1 부분이 디스플레이의 재생 영역 내에 포지셔닝된다는 것을 식별하는 단계는 기계 학습 모델에 적어도 부분적으로 기초하는, 컴퓨터로 구현되는 방법.
  19. 임의의 선행하는 청구항에 있어서,
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 디스플레이에 대해 콘텐츠의 하나 이상의 부분의 각각의 포지션을 수정하는 제2 사용자 입력을 표시하는 데이터를 수신하는 단계;
    상기 제2 사용자 입력을 표시하는 데이터 수신함에 응답하여:
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 텍스트 콘텐츠의 하나 이상의 부분의 각각의 제2 업데이트된 포지션을 표시하는 업데이트된 포지션 데이터를 결정하는 단계;
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 제2 업데이트된 포지션 데이터에 적어도 부분적으로 기초하여, 상기 텍스트 콘텐츠의 제1 부분이 상기 디스플레이의 재생 영역 외부에 포지셔닝된다는 것을 식별하는 단계; 및
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 오디오 신호의 재생을 중지하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  20. 임의의 선행하는 청구항에 있어서, 사용자 입력을 표시하는 데이터에 적어도 부분적으로 기초하여, 상기 재생 영역의 위치를 상기 스크린 상의 상이한 포지션으로 조정하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  21. 컴퓨팅 디바이스로서,
    하나 이상의 프로세서; 및
    하나 이상의 비일시적 컴퓨터 판독가능 매체를 포함하며, 상기 컴퓨터 판독가능 매체는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 청구항 1 내지 20 중 어느 한 항의 방법을 수행하게 하는 명령어를 저장하는, 컴퓨팅 디바이스.
  22. 청구항 21에 있어서, 상기 컴퓨팅 디바이스는 모바일 컴퓨팅 디바이스를 포함하는, 컴퓨팅 디바이스.
  23. 하나 이상의 비일시적 컴퓨터 판독가능 매체로서, 상기 컴퓨터 판독가능 매체는 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 청구항 1 내지 20 중 어느 한 항의 방법을 수행하게 하는 명령어를 저장하는, 컴퓨터 판독가능 매체.
KR1020207032212A 2019-11-14 2019-11-14 디스플레이된 텍스트 콘텐츠의 자동 오디오 재생 KR20210059670A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237008599A KR20230042389A (ko) 2019-11-14 2019-11-14 디스플레이된 텍스트 콘텐츠의 자동 오디오 재생

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/061401 WO2021096507A1 (en) 2019-11-14 2019-11-14 Automatic audio playback of displayed textual content

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237008599A Division KR20230042389A (ko) 2019-11-14 2019-11-14 디스플레이된 텍스트 콘텐츠의 자동 오디오 재생

Publications (1)

Publication Number Publication Date
KR20210059670A true KR20210059670A (ko) 2021-05-25

Family

ID=68848409

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237008599A KR20230042389A (ko) 2019-11-14 2019-11-14 디스플레이된 텍스트 콘텐츠의 자동 오디오 재생
KR1020207032212A KR20210059670A (ko) 2019-11-14 2019-11-14 디스플레이된 텍스트 콘텐츠의 자동 오디오 재생

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237008599A KR20230042389A (ko) 2019-11-14 2019-11-14 디스플레이된 텍스트 콘텐츠의 자동 오디오 재생

Country Status (6)

Country Link
US (2) US11887581B2 (ko)
EP (1) EP3841458A1 (ko)
JP (1) JP7395505B2 (ko)
KR (2) KR20230042389A (ko)
CN (2) CN113196227B (ko)
WO (1) WO2021096507A1 (ko)

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850629A (en) * 1996-09-09 1998-12-15 Matsushita Electric Industrial Co., Ltd. User interface controller for text-to-speech synthesizer
US6324511B1 (en) 1998-10-01 2001-11-27 Mindmaker, Inc. Method of and apparatus for multi-modal information presentation to computer users with dyslexia, reading disabilities or visual impairment
JP3895766B2 (ja) 2004-07-21 2007-03-22 松下電器産業株式会社 音声合成装置
KR100719776B1 (ko) 2005-02-25 2007-05-18 에이디정보통신 주식회사 휴대형 코드인식 음성 합성출력장치
CN102124523B (zh) * 2008-07-04 2014-08-27 布克查克控股有限公司 制作并播放音带的方法和系统
US20110184738A1 (en) 2010-01-25 2011-07-28 Kalisky Dror Navigation and orientation tools for speech synthesis
KR101165201B1 (ko) 2010-05-28 2012-07-16 주식회사 인큐브테크 컨텐츠 제공 시스템의 변환서버
JP5634853B2 (ja) 2010-12-22 2014-12-03 富士フイルム株式会社 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、ならびに電子コミックの表示方法
JP2012185323A (ja) * 2011-03-04 2012-09-27 Sharp Corp 再生装置、再生方法、プログラムおよび記録媒体
JP2013125372A (ja) 2011-12-14 2013-06-24 Kyocera Corp 文字表示装置、補助情報出力プログラムおよび補助情報出力方法
US9836271B2 (en) * 2013-07-17 2017-12-05 Booktrack Holdings Limited Delivery of synchronised soundtracks for electronic media content
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
JP5784196B2 (ja) 2014-08-06 2015-09-24 株式会社東芝 文書マークアップ支援装置、方法、及びプログラム
KR20160032880A (ko) * 2014-09-17 2016-03-25 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US9927957B1 (en) 2014-12-11 2018-03-27 Audible, Inc. Rotary navigation of synchronized content
US9772816B1 (en) * 2014-12-22 2017-09-26 Google Inc. Transcription and tagging system
US9930463B2 (en) * 2016-03-31 2018-03-27 Sonos, Inc. Defect detection via audio playback
JP2018072509A (ja) 2016-10-27 2018-05-10 トッパン・フォームズ株式会社 音声読み上げ装置、音声読み上げシステム、音声読み上げ方法、およびプログラム
US10585956B2 (en) * 2017-09-20 2020-03-10 International Business Machines Corporation Media selection and display based on conversation topics
JP7098390B2 (ja) 2018-04-12 2022-07-11 株式会社Nttドコモ 情報処理装置
KR102318080B1 (ko) 2019-08-05 2021-10-27 엘지전자 주식회사 지능적인 tts 제공 방법 및 tts를 제공하는 지능형 컴퓨팅 디바이스
US11962547B2 (en) * 2019-09-27 2024-04-16 Snap Inc. Content item module arrangements

Also Published As

Publication number Publication date
US20240127792A1 (en) 2024-04-18
CN115454370A (zh) 2022-12-09
KR20230042389A (ko) 2023-03-28
US20230094174A1 (en) 2023-03-30
CN113196227A (zh) 2021-07-30
WO2021096507A1 (en) 2021-05-20
CN113196227B (zh) 2022-09-09
JP7395505B2 (ja) 2023-12-11
US11887581B2 (en) 2024-01-30
EP3841458A1 (en) 2021-06-30
JP2022510528A (ja) 2022-01-27

Similar Documents

Publication Publication Date Title
AU2023201500B2 (en) Systems, devices, and methods for dynamically providing user interface controls at a touch-sensitive secondary display
US11423209B2 (en) Device, method, and graphical user interface for classifying and populating fields of electronic forms
US10007402B2 (en) System and method for displaying content
CN108629033B (zh) 电子文本的操纵和显示
US20140215340A1 (en) Context based gesture delineation for user interaction in eyes-free mode
US20110087974A1 (en) User interface controls including capturing user mood in response to a user cue
US11831738B2 (en) System and method for selecting and providing available actions from one or more computer applications to a user
US20140210729A1 (en) Gesture based user interface for use in an eyes-free mode
US20220013104A1 (en) Systems and Methods for a Text-To-Speech Interface
US11887581B2 (en) Automatic audio playback of displayed textual content
CN112424853A (zh) 以对文本文档的音频回放进行补充的视觉内容为特点的文本到语音界面
Chadha The Basics: Functional User Needs and Common Solutions

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination