KR20200091941A

KR20200091941A - 인덱싱된 오디오 비디오 스트림, 특히 스포츠 대회의 자연 언어 탐색 및 보조 시청

Info

Publication number: KR20200091941A
Application number: KR1020207021244A
Authority: KR
Inventors: 제이슨 심슨; 해리 윌리엄 프린츠
Original assignee: 프롬프튜 시스템즈 코포레이션
Priority date: 2015-07-31
Filing date: 2016-07-29
Publication date: 2020-07-31
Also published as: US20200228868A1; KR20220164085A; JP2018528731A; US20220337909A1; WO2017023763A1; AU2016302930B2; CA2993655A1; EP3329386A4; CA2993655C; KR102138239B1; US11363338B2; JP2020171044A; US10609454B2; KR102472681B1; KR20180066030A; JP7109503B2; EP3329386A1; US20170070783A1; AU2016302930A1

Abstract

인덱싱된 오디오 비디오 스트림의 보조 시청은 오디오 비디오 스트림 저장소의 자연 언어 명령이 시청된 스트림과 관련된 다른 위치 또는 재생 방식에서의 위치 또는 선택, 또는 시청된 스트림과 관련된 다른 특성 또는 동작을 제어할 수 있게 함으로써 달성된다. 실시예는 일반적인 자연 언어로 표현된 음성 또는 텍스트 명령을 처리하며, 설명적 산문 또는 스트림에 묘사된 지명된 사람 또는 엔티티에 대한 참조를 포함할 수 있다. 사전 레코딩된 것과 라이브 오디오 비디오 스트림 모두 처리될 수 있다. 이러한 처리는 관련된 오디오 비디오 스트림 인덱스의 신규 생성 또는 보강을 포함할 수 있다. 특히 스포츠 대회의 오디오 비디오 스트림과 관련된 수많은 유용한 명령이 설명된다. 실시예는 라이브 액션 오디오 비디오 스트림 내의 주목할만한 이벤트에 의해 트리거되는 경고를 설정하며, 발생할 때 이를 사용자에게 통지한다.

Description

인덱싱된 오디오 비디오 스트림, 특히 스포츠 대회의 자연 언어 탐색 및 보조 시청{NATURAL LANGUAGE NAVIGATION AND ASSISTED VIEWING OF INDEXED AUDIO VIDEO STREAMS, NOTABLY SPORTS CONTESTS}

관련 출원에 대한 상호 참조

본 출원은 2016년 7월 28일에 출원된 미국 특허 출원 제15/222,924호, 및 2015년 7월 31일에 출원된 미국 특허 출원 제62/199,933호에 대한 우선권을 주장하며, 그 내용은 모든 목적으로 전체 내용이 참조로서 본원에 포함된다.

개시된 실시예들 중 다양한 것은 자연 언어 탐색 및 인덱싱된 오디오 비디오 스트림, 특히 스포츠 대회의 보조 시청에 관한 것이다.

본 발명의 실시예는 음성 또는 서면 명령을 사용하여 대상 AV 스트림 내에서 탐색하거나 다른 방식으로 시청을 향상시키는 것을 가능하게 하기 위해, AV 스트림의 비디오 인덱싱을 위한 다양한 방법 및 자연 언어 사용자 인터페이스를 구성하기 위한 다양한 방법을 조합한다.

일 실시예에서, 본 발명은 먼저 자동 음성 인식(automatic speech recognition, ASR) 시스템을 사용하여 사용자의 음성을 텍스트로 전사하고(transcribe), 다음으로 그 의미를 결정하기 위해 전사한 텍스트를 자연 언어 이해(natural language understanding, NLU) 시스템에 제시하고, 마지막으로 이전에 또는 현재 비디오 인덱싱 단계의 대상인 관련 AV 스트림의 시청을 재생하거나 그렇지 않으면 시청을 향상시키도록 추출된 의미에 따라 행동함으로써 음성 명령을 처리한다. 예를 들어, 본 발명의 사용자는 축구 경기를 보면서 "2쿼터로 건너 뛰어" 또는 "슬로우 모션으로 마지막 플레이를 다시 보여줘", 농구 경기를 시청하면서 "10분 표시로 가", 또는 골프 토너먼트를 시청하면서 "Phil Mickelson이 플레이한 홀을 보여줘"와 같은 명령을 발행할 수 있다.

도 1은 실시간, 경기 시계 시간, 및 경기 세그먼트 간의 관계를 도시하는 도면이다;
도 2는 완전한 AV 스트림 동작 모드, 인덱싱 단계를 도시하는 도면이다;
도 3은 완전한 AV 스트림 동작 모드, 시청 단계를 도시하는 도면이다;
도 4는 선택적인 사용자 선호도 레지스트리를 갖는 완전한 AV 스트림 동작 모드, 시청 단계를 도시하는 도면이다;
도 5는 라이브 액션 AV 스트림 동작 모드를 도시하는 도면이다;
도 6은 라이브 액션 AV 스트림 동작 모드(대안적인 구성)를 도시하는 도면이다;
도 7은 라이브 및 사전 액션 AV 스트림 동작 모드를 도시하는 도면이다;
도 8은 라이브 및 사전 액션 AV 스트림 동작 모드(대안적인 구성)를 도시하는 도면이다;
도 9는 AV 스트림의 경고된 디스플레이 및 제어를 위한 선택적인 경로를 갖는 라이브 및 사전 액션 AV 스트림 동작 모드를 도시하는 도면이다;
도 10은 AV 스트림의 경고된 디스플레이 및 제어를 위한 선택적 경로를 갖는, 라이브 및 사전 액션 AV 스트림 동작 모드(대안적인 구성)를 도시하는 도면이다; 그리고
도 11은 머신이 본 명세서에서 논의된 하나 이상의 방법을 수행하게 하는 명령어 세트가 실행될 수 있는 컴퓨터 시스템의 예시적인 형태의 머신을 도시하는 도면이다.

다양한 예시적인 실시예가 이제 설명될 것이다. 다음 설명은 이러한 예의 철저한 이해와 설명이 가능한 특정 세부 사항을 제공한다. 그러나, 관련 기술 분야의 통상의 기술자는 개시된 실시예 중 일부가 이러한 많은 세부 사항 없이도 실시될 수 있다는 것을 이해할 것이다.

마찬가지로, 관련 기술 분야의 통상의 기술자는 일부 실시예가 본 명세서에서 상세히 설명되지 않은 많은 다른 명백한 특징을 포함할 수 있음을 또한 이해할 것이다. 또한, 몇몇 공지된 구조 또는 기능은 다양한 예시의 관련 설명을 불필요하게 불명료하게 하는 것을 피하기 위해 이하에서 상세히 도시되거나 기술되지 않을 수 있다.

이하에 사용된 용어는 실시예의 특정 예에 대한 상세한 설명과 관련하여 사용되더라도 가장 광범위하게 합리적인 방식으로 해석되어야 한다. 실제로, 특정 용어는 아래에서 강조될 수도 있다; 그러나, 임의의 제한된 방식으로 해석되도록 의도된 임의의 용어는 이 상세한 설명 섹션에서 명백하게 그리고 명확하게 정의될 것이다.

인덱싱된 오디오 비디오 스트림, 특히 스포츠 대회의 자연 언어 탐색 및 보조 시청

본 발명의 실시예는 음성 또는 서면 명령을 사용하여 대상 AV 스트림 내에서 탐색하거나 다른 방식으로 시청을 향상시키는 것을 가능하게 하기 위해, 오디오 스트림(간단히 "AV 스트림" 또는 "스트림"과 동일)의 비디오 인덱싱을 위한 다양한 방법 및 자연 언어 사용자 인터페이스를 구성하기 위한 다양한 방법을 조합한다.

일 실시예에서, 본 발명은 먼저 자동 음성 인식(ASR) 시스템을 사용하여 사용자의 음성을 텍스트로 전사하고, 다음으로 그 의미를 결정하기 위해 전사한 텍스트를 자연 언어 이해(NLU) 시스템에 제시하고, 마지막으로 이전에 또는 현재 비디오 인덱싱 단계의 대상인 관련 AV 스트림의 시청을 재생하거나 그렇지 않으면 시청을 향상시키도록 추출된 의미에 따라 행동함으로써 음성 명령을 처리한다. 예를 들어, 본 발명의 사용자는 축구 경기를 보면서 "2쿼터로 건너 뛰어" 또는 "슬로우 모션으로 마지막 플레이를 다시 보여줘", 농구 경기를 시청하면서 "10분 표시로 가", 또는 골프 토너먼트를 시청하면서 "Phil Mickelson이 플레이한 홀을 보여줘"와 같은 명령을 발행할 수 있다.

이 개념의 변형 및 개량이 아래에서 설명되며, 이들 모두는 본 발명의 일부이다.

주요 개념 및 정의

"사용자" 및 "시청자"라는 단어는 이 문서에서 서로 교환 가능하게 이용될 것이다.

"오디오 비디오 스트림"은 동기화된 사운드 및 이미지, 또는 잠재적으로 사운드만 또는 이미지만을 포함하며, 라이브 시청을 위한 디스플레이, 후속 재생을 위한 레코딩, 또는 둘 모두를 포함하는 전자적 표현을 의미한다. 대개, 이러한 스트림은 일반적으로 "비디오"라고 한다. "오디오 비디오 스트림"이라는 용어를 사용하여 관련 전자 신호가 일반적으로 동기화된 사운드 및 이미지를 포함하고 있음을 강조한다. 그러나, 본 명세서에 정의된대로 스트림은 사운드만 또는 이미지만 포함할 수 있다.

이 문서에서는 "오디오 비디오 스트림"이라는 용어를 다음과 같은 의미로 사용한다:

(a) 적절한 장치 또는 매체에 의해 레코딩되거나 디스플레이될 수 있는 실제 진행 중인 전자 신호,

(b) 적절한 장치로부터 나오고, 사용자가 시청할 수 있는 동기화된 사운드 및 이미지, 또는

(c) 전술한 전자 신호 및 궁극적으로 동기화된 사운드 및 이미지가 재생될 수 있는 동기화된 사운드 및 이미지의 저장된 표현.

이러한 다양한 감각을 구분할 필요가 있는 경우에, 감각 (a)는 "오디오 비디오 신호 스트림", 감각 (b)는 "오디오 비디오 디스플레이 스트림", 감각 (c)는 "오디오 비디오 스트림 저장 표현"을 사용할 것이다.

"오디오 비디오 스트림 메타 데이터"(또는 "AV 스트림 메타 데이터", "스트림 메타 데이터" 또는 "비디오 메타 데이터")는 대상 AV 스트림과 관련이 있는 일부 비 AV 스트림 표현 또는 관련 정보를 의미한다. 이것은 통상적으로 사용자가 잠재적인 관심을 가질 수 있는 AV 스트림에 나타나는 엔티티 또는 그와 관련된 개체 또는 보다 일반적으로 AV 스트림과 관련된 대상 정보를 식별하는 합의된 형식 또는 구성을 따르는 텍스트 또는 다른 데이터를 포함한다. 예는 스포츠 대회의 유형(예를 들어, 농구 경기, FIFA 축구 경기), 팀의 이름과 닉네임(예를 들어, "New York Giants", "Giants", "Denver Broncos", "Broncos"), 또는 이벤트와 연관된 개인(예를 들어, 특정 토너먼트에서 경쟁하는 골퍼, 대회 팀의 선수 명단, 또는 경주에서 뛰는 말)을 포함한다. 그러나, 다른 종류의 메타 데이터 및 다른 형식이나 미디어도 가능하다. 예를 들어, 메타 데이터는 특정 개인 또는 대상의 정지 이미지 또는 동영상(예를 들어, 참가자 또는 코치, 말 또는 경주용 자동차 이미지), 또는 (예를 들어, 완료된 경기 내의 득점 이벤트의 이력 및 유형) 또는 예상되는 알려진 컨텐츠(예를 들어, 정치인이 전달할 연설의 텍스트)에 관한 정보를 또한 포함한다.

본 발명의 실시예에서, AV 스트림 메타 데이터는 AV 스트림 처리의 시작 시에 완전하고 최종적인 형태로 제공될 필요는 없다. 특히, 전체적으로 또는 부분적으로 AV 스트림 메타 데이터는 AV 스트림의 진행 중인 입력과 동시에 제시되거나 생성될 수 있다. 예는 실시간 방송 또는 케이블 TV AV 스트림에 포함될 수 있는 자막 또는 "자막 방송"정보일 것이다. 이러한 기본적으로 텍스트 정보는 AV 스트림의 일부를 포함하고 AV 스트림과 동시에 도착하고, 예를 들어 본 발명의 구성 요소의 적응, 비디오 인덱싱 프로세스의 지원 또는 증대, 원하는 이벤트 또는 조건의 검색, 또는 다른 목적을 위해 유용하게 처리될 수 있다. 이 문서의 목적 상, 이 정보는 AV 스트림 메타 데이터로 간주된다. 이러한 자막은 물론 DVD와 같이 완성된 AV 스트림 레코딩에도 존재할 수 있지만, AV 스트림 처리의 시작 시에 전체적으로 또는 AV 스트림이 재생될 때에만 전체적으로 이용 가능할 수 있다 (즉, 시청하기 위해 재구성됨). 이러한 AV 스트림 메타 데이터의 모든 종류, 및 전체 또는 본 발명의 구성 요소, 모듈 또는 프로세스 중 임의의 것에 대한 본 발명의 프리젠테이션의 모든 순서 또는 방식은 본 발명에 의해 이해된다.

"인덱싱된 오디오 비디오 스트림"은 관련 스트림의 탐색 또는 그렇지 않으면 시청 향상을 위한 기초로 사용될 수 있는 "인덱스"를 포함하는, AV 스트림 컨텐츠의 심볼 표현을 생성하도록 처리된 AV 스트림을 의미한다. 인덱스는 비디오 내의 경과된 재생 시간의 표시 또는 표현처럼 간단할 수 있다. 이러한 표시는 통상적으로 스트림에 레코딩될 때 삽입된다; 그럼에도 불구하고 그것을 간단하나 사소하지는 않은 예로서 본 명세서에 포함시켰다.

보다 일반적으로, 특히 스포츠 대회 AV 스트림으로부터 생성된 인덱스는 특정 규정 세그먼트 또는 기간(1쿼터, 2쿼터, 3쿼터, 4쿼터 등)의 시작 및/또는 범위, 특정 이벤트(특정 팀의 목표, 선수에 의한 또는 선수에 대한 파울, 특정 선수의 삽입 또는 철회 등) 또는 전형적인 시청자가 관심을 가질만한 다른 주목할만한 기간 또는 이벤트를 포함할 수 있다. 대안적으로, 비 스포츠 대회 AV 스트림의 인덱스는 개별 시청자, 세그먼트, 챕터, 또는 장면, 또는 전형적인 시청자가 관심을 가질 수 있는 다른 주목할만한 기간 또는 이벤트로의 분리를 포함할 수 있다. 추가적인 예가 후속하여 나타난다.

이 인덱스를 생성하기 위해 적용된 방법 및 메커니즘은 ASR 및 LU 기술을 사용할 수 있다. 그러나, 이러한 기술이 전술한 AV 스트림 메타 데이터를 활용하고 적응하는 기능을 수행할 수 있고, 따라서 이러한 구성 요소 또는 프로세스에 이러한 메타 데이터를 제공하는 것이 유용할 수 있다는 점을 제외하고는, 인덱스 생성 구성 요소 또는 프로세스의 내부 구조를 자세히 탐구하지는 않을 것이다.

"탐색하기"는 특정 시간, 이벤트, 액션, 또는 불연속적이지만 관련된 액션의 시퀀스, 또는 다른 이정표, 발췌물, 기간 또는 스트림 내의 불연속적이지만 관련된 기간의 시퀀스를 검색 및/또는 찾는다는 면에서, 검색 및/또는 제어하고, 재생이 식별된 이벤트 또는 기간(들)에서 재개되거나 가능하게는 건너뛸 수 있게 함을 의미한다: 이는 재생이 진행되는 속도 및/또는 방향을 제어하는 것을 포함한다. 재생이 진행되는 속도 및/또는 방향을 제어하는 것은 또한 AV 스트림 내의 선택된 지점에서 디스플레이를 동결시키는 것을 포함할 수 있다.

"보조 시청"은 위에 정의된 "탐색"의 모든 액션 및 기능뿐만 아니라 AV 스트림을 시청하는 경험을 향상시킬 수 있는 추가 기능, 예를 들어 경고 설정을 의미한다. "경고"의 개념은 다음과 같이 정의되고 논의된다.

"자연 언어 명령"은 영어 또는 불어와 같은 일반적인 인간 언어로 한 사람이 다른 사람에게 줄 수 있는 음성 또는 텍스트 형식의 명령어 또 명령을 의미한다.

자연 언어 명령을 처리하여 전자 장치 제어에 적합한 의미의 심볼 표현을 추출하는 기술이 공지되어 있다. 음성 명령의 경우, 이는 통상적으로 인간 음성을 포함하는 오디오 스트림을 해당 텍스트로 변환하는 자동 음성 인식(ASR), 및 산문 텍스트(예컨대 ASR 시스템의 출력)를 처리하고 그 의미의 심볼 표현을 생성하는 자연 언어 이해(NLU)의 조합을 수반한다. 텍스트 명령의 경우, 음성 입력이 없기 때문에 사용자가 입력한 텍스트는 통상적으로 의미 추출을 위해 NLU 시스템에 제공된다.

본 발명의 자연 언어 인터페이스의 설계는 전술한 아키텍처(즉, ASR 및 NLU 구성 요소, 모듈 또는 기술의 순차적 동작)에 제한되지 않는다. 예를 들어 태깅된 또는 그렇지 않으면 의미론적으로 표기된 문법의 사용에 의해 전사 및 의미를 동시에 생성하는 단일 단계 아키텍처, 또는 반대로 정보가 ASR과 NLU 구성 요소 사이에서 양방향으로 흐르는 다중 단계 아키텍처가 또한 본 발명의 이 부분의 실현을 포함한다.

마찬가지로, AV 스트림을 인덱싱하기 위한 공지된 기술이 있다. 인덱스는 실시간으로 (즉, 라이브 액션 스트림에서 뷰어 또는 레코딩 장치로 전달되는 경우) 또는 사후 액션(즉, 이전에 완료된 레코딩에서)으로 생성될 수 있다. 인덱스 자체는 별도의 전자 레코딩 또는 객체일 수 있으며, AV 스트림에 추가되어 AV 스트림에 내장될 수 있다.

인덱스 생성을 위해 수행되는 처리는 스트림 이미지만 분석하거나 스트림 사운드만 분석하거나 둘 다 분석하여 수행될 수 있다; 완전히 자동으로, 완전히 인간에 의해, 또는 이 두 가지 조합을 통해 수행될 수 있다.

시간에 대한 참조

본 발명의 중요한 부분은 시간에 대한 자연 언어 참조를 다루는 것이다. 스포츠 대회 AV 스트림의 특정 순간이 자연 언어로 참조될 수 있는 세 가지 방법, 즉 실시간, 경기 시계 시간, 및 규제 기간 또는 세그먼트가 있다. 본 발명의 실시예는 각각이 특정 AV 스트림에 적용될 수 있는 범위 및 방식으로 세 가지 종류의 모든 참조를 인식하고 지원한다. 이 세 가지 종류의 참조를 간략하게 논의하고 도 1에서 그 관계를 설명한다.

실시간

이는 실제 경과 시간이다. 참조는 지속 기간에 대한 것일 수 있거나 (예를 들어, "10분 전으로 건너 뛰기"), 절대적일 수 있다 (예를 들어 "2시간 표시로 가기"). 절대 참조는 주어진 이정표에서 측정된다. 이정표는 AV 스트림의 시작, 이벤트 또는 대회의 규정 시작(예를 들어, 농구 경기의 팁 오프, 도보 경주에서의 시작 피스톨의 보고, 또는 야구 경기에서 심판의 소리침 "플레이 볼!"), 또는 다른 정식 또는 합의된 이벤트일 수 있다.

본 발명의 실시예는 이하의 실시간 예에 대한 참조를 지원한다.

경기 시계

일부 스포츠(예를 들어, 미식 축구, 농구, 하키, 축구)는 규칙 경기에서 시간 경과를 측정하는 경기 시계를 인식한다. 농구 경기와 같은 대부분의 스포츠에서 경기 시계는 주어진 규제 기간 동안 남은 시간을 측정한다; 따라서 시계는 남은 시간을 기간이 끝나는 0으로 카운트 다운한다. 그러나, 프로 축구에서는 경기 시계가 각각의 규정 절반에 대해 명목상 45분을 카운트하고, 심판이 추가한 "정지 시간"을 최대 6분으로 계산한다.

본 발명의 실시예는 아래의 예와 같은 모든 종류의 경기 시계 시간에 대한 참조를 지원한다.

경기 시계 시간에 대한 자연 언어 참조의 정확한 의미는 해당 스포츠 이벤트(예를 들어, 프로 축구 대 다른 스포츠)에 따라 달라질 수 있다. 이 가변성은 본 발명에 의해 인식되고 지원된다.

규제 기간 또는 세그먼트

일부 스포츠는 규제 기간 또는 세그먼트로 나눠진다. 예를 들어, 미식 축구와 프로 농구 경기는 쿼터로 나누어져 있으며, 대학 농구와 축구 경기는 반으로 나뉘며, 하키는 기간(period)으로 나뉘며, 야구는 이닝으로 나뉘며, 복싱은 라운드로 나누어진다. 또한 일부 스포츠 경연 대회에서는 (쿼터로 나누어지는 스포츠에서) 2, 3쿼터나 (반으로 나누어지는 스포츠에서) 1, 2분의 1을 구분하는 "하프 타임" 개념을 인식한다. 쿼터로 나누어지는 스포츠 또는 기간 또는 세그먼트의 짝수는 암시적으로 반으로 나누어진다.

본 발명의 실시예는 아래의 예와 같은 규제 기간 또는 세그먼트에 대한 참조를 지원한다.

방금 언급한 바와 같이, 규제 기간 또는 세그먼트에 대한 자연 언어의 어휘는 당해 스포츠 대회에 따라 달라질 것이다. 이 가변성은 본 발명에 의해 인식되고 지원된다.

논의

도 1은 이 세 가지 종류의 시간에 대한 관계를 보여준다. 도 1은 전미 농구 협회(National Basketball Association, NBA) 경기를 포함하는 AV 스트림에서 시간에 대한 참조를 도시한다. 실시간으로 참조하는 데 사용된 이정표는 4개의 12분 쿼터 중 첫 번째 것의 시작이다.

도 1은 나타내어진 예시적인 목적만을 위해 제공된다. 실제 대회와 관련된 전체 AV 스트림은 일반적으로 공식적인 공식 플레이가 시작되기 전에 시작되며 일반적으로 공식적인 종료를 넘어서 연장된다는 것에 유의해야 한다. 보다 일반적으로, 이 문서에서 해석되는 AV 스트림은 AV 스트림의 대상인 대회, 이벤트, 또는 활동의 공식 또는 명목상 시작 전후의 기간을 포함한다. 본 발명은 이러한 추가의 기간을 포함하며, 이들을 참조하여 수행되는 동작, 액션, 및 기능을 포함한다.

"실시간", "경기 시계"및 "경기 세그먼트"로 표시된 3개의 수평선은 자연 언어 표현이 연관된 AV 스트림 내의 순간을 식별하는 이전에 논의된 세 가지 방법을 설명한다.

"실시간" 라인은 실제 시간의 경과를 보여준다. 이 특정 예에서, 경기의 경과 시간은 2시간 24분이다. "실시간" 라인의 표기 "lh" 및 "2h"는 경기의 공식 시작에서 측정된 실시간 1시간과 실시간 2시간이 경과한 지점을 나타낸다. "실시간" 라인의 표기 "2:24"는 경기의 공식 시작에서 측정된 실시간 2시간 24분 경과 지점을 나타낸다. 위에서 언급한 바와 같이, 도 1은 실시간 지속 시간 측정을 위한 이정표로서 플레이의 규정 시작을 채택하며, 이는 그 다음에 실시간으로 절대 참조로 이해되는 명령을 해석하는 데 사용된다. 또 다른 가능한 이정표는 AV 스트림의 시작이다; 이 가능성은 또한 본 발명에 의해 이해된다.

실시간 라인과 달리 "경기 시계" 라인은 중단 시간을 보여 주며, 규제 플레이 시간이 경과함을 보여준다. 4개의 쿼터 각각의 12분의 지속 시간을 나타내는 4개의 그룹이 있다. 농구 경기 및 대부분의 스포츠 경기(축구 제외)의 경기 시계는 설정된 시간에서 0초까지 카운트 다운된다.

라인의 중단은 타임 아웃, 파울 등의 경우 경기 시계의 정지를 나타낸다. 실제로, NBA 경기의 경기 시계는 훨씬 더 자주 중단된다. 다이어그램의 라인은 실시간 및 경기 시계 시간 간의 관계를 설명하기 위한 것으로, 실제 NBA 플레이에서 발생하는 경기 시계 실행과 경기 시계 사이의 분배를 정확하게 반영하지는 않는다.

이러한 중단 때문에 각각의 쿼터의 전체 경기 시계 시간은 12분이지만, 각각의 쿼터의 실시간 지속 시간은 가변적이다.

"경기 세그먼트" 라인은 각각의 쿼터가 시작하고 끝나는 지점을 나타내는 농구 경기의 각각의 쿼터의 그룹을 보여준다. "1Q", "2Q", "3Q", 및 "4Q"의 표기는 각각 1, 2, 3, 및 4쿼터를 나타낸다. 일반적으로 "하프 타임"이라고도 알려진 2쿼터와 3쿼터 사이의 시간도 표시된다.

도 1은 4개의 예시적인 명령에 대해 본 발명의 일 버전에 의해 할당된 의미를 또한 도시한다.

명령 A "10분 표시로 점프"는 현재 시청 중인 쿼터 내에서 경기 시계 시간에 대한 참조로 해석된다. 재생은 현재 쿼터에서 경기 시계에 10분이 남아있는 AV 스트림의 지점에서 다시 시작하도록 조정된다. 도 1의 예는 사용자가 경기의 1쿼터를 보는 동안 명령이 사용된다고 가정한다.

명령 B "30분 앞으로 건너 뛰어"는 실시간 지속 시간에 대한 참조로 해석된다. 재생은 사용자가 지시된 명령을 말한 AV 스트림 내의 지점으로부터 측정된, 실시간의 30분 경과에 대응하는 AV 스트림의 지점에서 재개하도록 조정된다.

명령 C "하프 타임의 끝으로 가"는 경기 세그먼트에 대한 참조로 해석된다. 재생은 하프 타임 기간의 끝에 대응하는 AV 스트림의 지점에서 재개하도록 조정된다.

명령 D "4쿼터의 시작으로 건너 뛰어"는 경기 세그먼트에 대한 참조로 해석된다. 재생은 표시된 규제 플레이 기간의 시작에 대응하는 AV 스트림에서 재개하도록 조정된다.

이 명령 중 일부는 의미와 관련하여 모호하다. 즉, 명령 A "10분 표시로 점프"에 대한 다른 해석이 가능하다. 이는 또한 다음 중 하나로 해석될 수 있다:

(a) (현재 시청하고 있는 쿼터가 아니라 - 사용자가 현재 최종 쿼터를 시청하고 있지 않다고 가정 -) 다음 쿼터의 경기 시계에 10분이 남아있는 AV 스트림의 지점에 대응하는 경기 시계 시간에 대한 참조;

(b) 최종 쿼터의 경기 시계에 10분이 남아있는 AV 스트림의 지점에 대응하는 경기 시계 시간에 대한 참조, 또는

(c) 경기 시작 후 실시간으로 10분이 경과한 AV 스트림의 지점에 대응하는 실시간 참조.

실제로, 본 발명의 실시예는 사용자가 선택할 수 있는 네 가지 해석(도 1에 도시된 해석 및 방금 언급한 세 가지 다른 가능성 모두)을 제시할 수 있다. 또는 본 발명의 실시예는 개인 사용자 또는 가정에 대한 선호도를 적절한 선택적 사용자 선호도 레지스트리에서 관찰하고 레코딩할 수 있으며, 미래의 명령을 해석할 때 이러한 선호도를 준수할 수 있다. 앞서 언급한 선택적 사용자 선호 레지스트리가 도 4에 나와 있다; 유사한 선택적 사용자 선호 레지스트리 본 발명의 다른 실시예에 존재할 수 있지만, 다른 도면에는 도시되어 있지 않다.

이러한 모든 대안은 본 발명에 의해 이해된다.

인덱싱된 이벤트

이 섹션에서는, AV 스트림 인덱싱 구성 요소 또는 프로세스로 식별되거나, AV 스트림 인덱스 내에서 표시되거나, 주석이 달리거나, 인덱싱될 수 있는 이벤트의 예를 제공한다 (이러한 용어는 상호 교환 가능하게 사용된다). 이러한 이벤트를 "인덱싱된 이벤트"라고 한다. 이러한 이벤트 및 그 이벤트에서 추론될 수 있는 다른 이벤트나 기간은 다양한 자연 언어 명령에 대한 응답의 기초가 될 수 있다.

주어진 인덱싱된 이벤트에서 추론될 수 있는 관련 이벤트의 예는 방금 논의된 NBA 농구 경기의 경우에 의해 제공된다: AV 스트림 인덱싱 구성 요소가 경기 시계 상에 소정의 특정 시간을 두고 경기의 규제 플레이가 재개되는 순간을 식별하면, 구체적으로 4분 30초라고 하면, 플레이 정지가 없는 AV 스트림에서 실시간의 1초 경과 후, 경기 시계는 4분 29초, 그 후 1초, 4분 28초 등, AV 스트림 색인 구성 요소가 재생 정지를 식별할 때까지 판독된다고 가정할 수 있거나, 그렇지 않으면 경기 시계의 새로운 명목상 값을 결정한다. 임의의 주어진 입상도(granularity) 및 AV 스트림 내의 특정 순간과의 연관성에서 경기 시간의 이러한 연역된 값 각각은 추론된 이벤트를 포함한다. 추론된 이벤트는 자연 언어 명령에 응답하기 위해 인덱싱된 이벤트와 동일한 상태를 갖는다.

AV 스트림 인덱싱 구성 요소, 자연 언어 제어 인터페이스, 제어 가능한 AV 스트림 저장소, 또는 일부 다른 구성 요소 또는 모듈 내에서 구성될 수 있음을 관찰하는 것 이외에는 본 발명의 구성 요소 또는 모듈이 이러한 추론을 하는 것에 대해 명시적으로 가정하지 않는다. 이러한 추론은 인덱싱 프로세스 중에 또는 나중에 의미가 추출되고 명령이 실행될 때 특히 발생할 수 있다.

잠재적인 인덱싱된 이벤트(추론된 이벤트 포함) 목록은 다음과 같다. 이 목록은 단지 예시적인 것으로서 완전하거나 제한적인 것은 아니다. 나열된 모든 이벤트가 특정 AV 스트림에 적합하거나 해당 이벤트 내에서 식별 가능한 것은 아니다.

1. AV 스트림의 시작 또는 끝

2. 스포츠 대회의 시작 또는 끝

3. 절대 경과 실시간 참조에 대한 이정표 (위와 다른 경우)

4. 경과된 초 단위의 실제 시간 (특정 이정표 이전 또는 이후)

5. 규제 플레이 또는 활동의 일시 중지 또는 재개 (선택적으로 관련 경기 시계 시간 값 포함)

6. 경과된 또는 남은 초 단위의 경기 시계 시간

7. 규제 기간의 시작 또는 끝

8. 팀 역할 변경(예를 들어, 야구에서 "배트" 대 "수비", 축구와 야구의 공격 대 수비); 특정 스포츠에서 소유권의 동등한 변경

9. 선수(임의로 특정 선수)의 제거 또는 삽입(즉, 대체)

10. 득점 이벤트(및 유형, 예를 들어 미식 축구에서의 필드 골 대 골)

11. 목표 슛 시도 (축구와 하키)

12. 플레이의 시작 또는 끝(예를 들어, 공의 스냅에서 미식 축구의 행동이 끝날 때까지 또는 피치를 던지거나 야구에서 주자 운동이 끝날 때까지)

13. 비 득점 규정 이벤트 달성(예를 들어, 미식 축구 첫 번째 다운)

14. 타임 아웃 시작 또는 끝

15. 광고 중단의 시작 또는 끝

16. (선택적으로 특정 지명된 선수에 의해 또는 그 선수에 대해) 저질러진 파울 또는 규칙 위반

17. 패널티 평가(예를 들어, 농구 경기의 프리 드로(free throw), 또는 축구의 코너킥, 선택적으로 특정 지명된 선수와의 경쟁)

18. 트로피 또는 상 수여

19. 특정 선수에 대한 경기 시작 또는 끝(예를 들어, 특정 이름의 골퍼에 의해 플레이된 홀)

20. (정치적 연설, 뉴스, 또는 정보 프로그램 또는 토크쇼에서와 같이) 특정 주제에 대한 토론의 시작 또는 끝

21. (전기 또는 허구의 이야기에서와 같이) 실제 사람이나 허구의 인물의 등장 또는 퇴장

22. (전기 또는 허구의 서술에서와 같이) 행동의 시작 또는 끝 또는 주제와 관련된 일련의 순서

23. (선택적으로 팀 이름으로 식별되는 코치, 심판, 심판원 등 역할에 의해 식별된 하나 이상의 특정 참가자 또는 팀 또는 참여자에 의한 또는 그를 포함하는) 분쟁이나 논쟁의 시작 또는 종료

24. (하나 이상의 명사, 가상의 캐릭터, 장소, 장치, 행동, 또는 기타 식별 또는 선택 정보를 선택적으로 포함하는) 에피소드, 챕터, 또는 장면의 시작 또는 끝

상기 논의는 원칙적으로 AV 스트림 내의 특정 순간에 대응하는 이벤트를 언급한다. 이러한 이벤트로부터, 0이 아닌 지속 시간(그리고 아마도 짧은 시간으로 이루어지며, 시간적으로 불연속적인)의 전체 관심 기간이 추론될 수 있다. 그러나, AV 스트림 인덱싱 구성 요소가 관심 있는 전체 시간 주기를 직접 식별하고 주석을 다는 것이 가능하다. 이러한 대안적인 또는 부가적인 인덱싱 능력은 본 발명에 의해 이해된다.

자연 언어 명령

아래는 자연 언어 인터페이스에 의해 받아들여지고 본 발명의 실시예에서 실행될 수 있는 명령의 예이다. 이러한 명령 목록은 단지 예시적인 것으로서 철저하거나 제한하려는 것은 아니다. 인덱싱된 이벤트를 검색 및 AV 스트림 재생 제어에 사용할 수 있는 방법은 여러 가지가 있다.

특히 각각의 예시적인 명령에 대한 수많은 가능한 대체 구문에 독자의 관심이 끌린다. 자연 언어 인터페이스의 핵심은 사용자가 아래에 제시된 정확한 단어 말투로 자신을 표현할 필요가 없다는 것이다. 동일한 의미를 갖는 대체 언어는 자연 언어 인터페이스에 의해 받아들여지고 본 발명에 의해 올바르게 처리될 것이며, 이러한 대안(무수히 많음)은 그 범위 내에 포함된다.

따라서, 나열된 명령이 "10분 앞으로 건너 뛰어"이면, 유창한 영어 화자에 의해 의미한 동등한 것으로 이해 가능한 임의의 대안적인 단어 시퀀스, 예를 들어 "10분 앞으로 가", "앞으로 10분 점프", "10분 앞으로 이동"이 본 발명에 의해 마찬가지로 지원되며, 본 명세서의 범위 내에 포함된다. 예를 들어 10분이 아닌 9분 또는 12분의 지속 시간, 2분이 아닌 3분 또는 60초의 경기 시간, 또는 팀이나 선수의 이름 변경과 같은 나열된 명령의 세부 사항의 변형, 득점 이벤트의 유형, 규제 기간의 명칭 등은 마찬가지로 본 발명의 범위 내에 있다.

대체 언어는 별명, 축약형, 속어, 및 기타 이름, 역할 및 행동의 변형을 포함하지만 이에 국한되지는 않는데, 예를 들어, "Stephen Curry"에 대해서는 "Steph Curry", "Curry", 또는 "Steph"; "Stephen Curryand KlayThompson"에 대해서는 "The Splash Brothers"; "referee"에 대해서는 "ref"; "home run"에 대해서는 "homer" 등이다. 이러한 모든 대안도 마찬가지로 본 발명의 범위 내에 있다.

실시간

이 명령은 앞서 정의된 바와 같이 AV 스트림 내에서 실시간을 참조한다. 본 명세서에 나열된 명령의 대부분은 절대적인 실제 시간이 아닌 상대적인 것에 대한 참조이다. 즉, 이들은 AV 스트림의 시청자의 현재 위치로부터, 또는 주어진 실시간 지속 시간 동안, 앞으로 또는 뒤로 재생을 이동시키거나 요청한다. 그러나, 실시간을 기준으로 상대 공식을 사용하는 것은 일반적인 요구 사항이 아니며 일부 명령은 명시적 또는 암시적 이정표와 관련하여 절대 실시간을 참조한다.

예시 문구

명확성을 위해 각각의 예는 "상대적" 또는 "절대적"으로 표시된다. 이러한 표식은 예시 문구의 일부가 아니다.

1. "앞으로 10분 건너 뛰어" (상대적)

2. "15분 앞으로 가" (상대적)

3. "앞으로 30분 점프" (상대적)

4. "10분 뒤로 가" (상대적)

5. "슬로우 모션에서 1분 동안 뒤로 재생" (상대적)

6. "5분 빨리 감기" (상대적)

7. "비디오에서 1시간으로 건너 뛰어" (절대적)

8. "내게 경주의 마지막 순간을 보여줘" (절대적)

9. "비디오 중간으로 가" (절대적)

경기 시계

이러한 명령은 경기 시계 시간을 참조하며 미식 축구, 농구, 하키, 축구 등과 같이 경기 시계를 사용하는 스포츠와 관련된다. 본 명세서에 나열된 명령의 대부분은 절대적인 시계 시간에 대한 참조이다. 즉, AV 스트림의 시청자의 현재 위치로부터 경기 시계의 특정 수치로 재생을 앞뒤로 이동 또는 요구한다. 그러나, 일반적으로 경기 시계 시간과 관련하여 절대 공식을 사용하는 것은 결코 요구 사항이 아니며 일부 명령은 AV 스트림의 시청자의 현재 위치에서 측정한 상대적인 경기 시간을 참조한다.

예시 문구

주의 : 명확성을 위해 각각의 예는 "상대적" 또는 "절대적"으로 표시되며 괄호로 묶은 주석도 포함될 수 있다.

1. "10 분 표시로 가" (절대적) (잠재적으로 절대 실시간 참조)

2. "경기의 마지막 2분 보기" (절대적) (잠재적으로 절대 실시간 참조)

3. "시계에서 5분으로 이동" (절대적)

4. "슬로우 모션에서 규정 시간의 선행 분을 보여줘" (상대적)

5. "경기 시계 시간의 앞으로 2 분간 건너 뛰기" (상대적)

시간 참조의 성질에 대한 가능한 대안적인 해석과 관련하여 모호한 명령에 대한 이전 논의를 참조하고 선택적으로 사용자에 대한 대안 해석을 선택적으로 표시하고 선택적으로 향후 모호한 명령의 해석을 위한 사용자 기본 설정을 레코딩한다.

규제 기간 또는 세그먼트

이 명령은 규제 기간 또는 세그먼트를 참조한다. 주어진 기간 또는 세그먼트에 사용된 명명법은 스포츠에 따라 다르다: 축구 및 프로 농구는 "쿼터"를 사용하고; 대학 농구 및 축구 사용 "절반"을 사용하고; 하키는 "기간"을 사용하고; 야구는 "이닝"을 사용한다.

쿼터 분할에 대한 예시적인 명령

이 명령은 쿼터인 규정 세그먼트를 참조한다; 예를 들어 미식 축구와 프로 농구에 적합하다. 쿼터인 규정 세그먼트를 갖는 스포츠는 일반적으로 하프 타임을 갖는다; 하프 타임을 참조하는 일부 명령이 또한 본 명세서에 나열되어 있다.

1. "2쿼터로 점프"

2. "3쿼터의 시작으로 가"

3. "이 쿼터를 건너 뛰어"

4. "다음 쿼터로 가"

5. "하프 타임을 건너 뛰어"

6. "하프 타임으로 가"

7. "하프 타임의 끝으로 이동"

8. "4쿼터의 중간 지점으로 가" (4쿼터의 실시간 범위와 관련하여 중간 지점 또는 경기 시계와 관련하여 중간 지점으로 해석이 가능함; 모호한 명령 등의 이전 논의를 다시 참조)

절반 분할에 대한 예시적인 명령

이 명령은 절반인 규정 세그먼트를 참조한다; 예를 들어 대학 농구 및 축구에 적합하며, 또한 쿼터인 규정 세그먼트가 있는 스포츠에 암묵적으로 적합하다.

1. "후반전으로 가"

2. "전반전 중간 지점으로 점프" (마찬가지로 실시간 또는 경기 시간을 존중하여 중간 지점으로 해석이 가능함; 모호한 명령 등의 이전 논의를 다시 참조)

3. "이 절반은 건너 뛰어"

4. "후반전을 보여줘"

5. "하프 타임을 건너 뛰어"

기간 분할에 대한 예시적인 명령

이 명령은 기간인 규정 세그먼트를 참조한다; 이는 예를 들어 하키에 적합하다.

1. "제2 시간으로 가"

2. "제3 기간 앞으로 점프"

3. "제3 기간을 보여줘"

4. "지나간 이번 기간을 건너 뛰어"

이닝 분할에 대한 예시적인 명령

이 명령은 이닝인 규정 세그먼트를 참조한다; 이는 예를 들어 야구에 적합하다.

1. "3이닝으로 가"

2. "9이닝으로 점프"

3. "다음 이닝의 탑(top)으로 점프"

4. "6이닝의 바텀(bottom)으로 가"

5. "이번 이닝을 건너 뛰어"

6. "5이닝을 보여줘"

7. "7이닝 스트레치로 가"

다운 분할에 대한 예시적인 명령

이 명령은 "다운"인 규정 세그먼트를 참조한다; 예를 들어 미식 축구에 적합하다. 선택적으로 다운에 대한 언급은 팀 또는 선수 이름을 포함할 수 있다.

1. "2다운으로 가"

2. "이 다운을 건너 뛰어"

3. "4다운으로 가"

4. "다시 1다운을 보여줘"

5. "마지막 다운을 보여줘"

6. "슬로우 모션으로 마지막 다운을 보여줘"

7. "다음의 1다운으로 가"

8. "다음 49ers의 1다운으로 가"

9. "Kaepernick의 다음 1다운으로 가"

포제션(possession)

일부 스포츠(예를 들어, 미식 축구)는 명령에서 포제션 시작 또는 종료를 참조하는 데 충분한 "포제션"을 충분히 보유하고 있다. "포제션"은 주어진 팀이 공격을 당했을 때(동등하게 볼을 제어하는 기간)로 정의될 수 있다. 선택적으로, 포제션에 대한 언급은 팀 또는 선수 이름을 포함할 수 있다.

예시적인 명령

1. "다음 Patriots 포제션으로 가"

2. "다음 포제션의 변화로 점프"

3. "다음 턴오버로 가" (이는 포제션에서의 변화와 동일하다)

4. "다음 Tide 포제션으로 가" (이는 University of Alabama 스포츠 팀에 대한 별명인 "Crimson Tide"에 대한 참조이다)

5. "Broncos가 공을 가질 때까지 빨리 감기"

플레이

플레이에 대한 명확한 정의가 있는 스포츠(예를 들어, 미식 축구)의 경우 자연 언어 인터페이스가 이러한 플레이에 대한 참조를 인식하고 이에 응답할 수 있다. 선택적으로, 플레이에 대한 참조는 플레이 유형, 팀 이름, 또는 선수 이름, 재생 속도, 재생 방향, 또는 이들의 임의의 조합을 포함할 수 있다.

예시적인 명령

1. "다음 플레이로 가"

2. "마지막 플레이의 시작으로 다시 가"

3. "그 플레이를 다시 보여줘"

4. "슬로우 모션으로 그 플레이를 다시 보여줘"

5. "2플레이로 다시 가"

6. "다음 Seahawks의 플레이를 보여줘"

7. "Brandon Crawford의 더블 플레이로 가"

8. "트리플 플레이를 보여줘"

다른 이벤트

스포츠 경기에서 비디오 재생을 제어하는 데 사용할 수 있는 다른 이벤트가 있다. 이 이벤트에는 득점, 시간 초과, 야구 투수 교체, 세트 경기, 및 축구 무료 킥이 포함된다.

예시적인 명령

1. "타임 아웃을 건너 뛰어"

2. "지나간 이 투수 변경 점프"

3. "다음 터치다운으로 가"

4. "Seahawks의 마지막 득점으로 다시 가"

5. "Arsenal의 골을 보여줘"

6. "다음 코너 킥으로 가"

7. "마지막 Barcelona의 프리 킥을 보여줘"

발췌

지금까지 설명한 명령은 포인트 이벤트를 참조한다. 본 발명의 실시예는 또한 비 지점 이벤트(non-point event), 즉 특정 조건이 적용되는 시간 상으로 확장된 AV 스트림의 부분을 참조하는 명령을 처리한다. 이러한 비 지점 이벤트를 "발췌"라고 부른다. 이 용어는 일시적이지 않은 (그러나 주제 면에서 통일된) 비 지점 이벤트의 순서를 포함할 수도 있다. 선택적으로, 발췌물에는 활동 유형, 팀, 사람 또는 가상의 캐릭터 이름, 재생 속도, 재생 방향, 또는 그 조합을 포함할 수 있다.

예시적인 명령

1. "Mickelson이 플레이한 홀을 보여줘"

2. "아이스 댄싱만 보여줘" (예를 들어 하룻밤 사이에 녹화된 하나의 긴 방송이 여러 스포츠 대회로 구성되는 올림픽 커버리지에 적합)

3. "Serena Williams의 매치만" (예를 들어 초기 단계의 윔블던 적용 범위에 적합하며, 이는 다수의 동시적인 조기 매치를 컷트할 수 있음)

4. "49ers 포제션만"

5. "모든 실수를 보여줘"

6. "Curry의 3포인터 모두를 보여줘"

7. "심판과 Warriors의 코치 간의 논쟁을 보여줘"

명목상으로 스포츠 경연이 시청자의 주의의 주요 초점이지만, AV 스트림 내의 광고(상업 광고)가 또한 관심의 대상이 될 수 있다는 것은 알려지지 않았다. 본 발명은 광고와 관련된 명령에 응답할 수 있다.

예시적인 명령

1. "Liam Neeson의 광고를 보여줘"

2. "Morphie 광고로 가"

3. "Kim Kardashian의 광고를 건너 뛰어"

4. "Budweiser 광고를 보여줘"

시청 모드

특정 명령은 AV 스트림 전체의 시청 특성을 변경시킬 수 있다. 특정 명령은 AV 스트림의 시청 특성에만 관련될 수 있다. 특정 명령은 이벤트 및/또는 발췌 의 검색을 AV 스트림의 시청 특성에 관한 지시와 조합할 수 있다.

예시적인 명령

1. "광고 없이 경기를 보여줘"

2. "광고를 건너 뛰어"

3. "모든 타임 아웃을 빨리 감기"

4. "광고만 보여줘"

5. "슬로우 모션으로 그 실수를 보여줘"

6. "Curry의 마지막 점프 샷에서 멈춰"

7. "절반의 속도로 앞으로 가"

경고

특정 명령은 아래에 설명된 사전 액션(경고) 지원이 포함된 실시간 액션 AV 스트림 동작 모드에 대한 경고를 설정하는 데 적용된다. 이 동작 모드에서,대상 AV 스트림의 인덱싱은 AV 스트림 자체의 수신과 동시에 (또는 인덱싱 프로세스의 유한하고 제로가 아닌 레이턴시를 고려하여 거의 달성될 수 있는 것처럼) 진행한다. 이러한 명령은 연관된 이벤트보다 앞서 사용자에 의해 발행될 수 있다; 이는 진행 중인 인덱싱 프로세스가 모니터링되도록 하고 하나 이상의 연관된 이벤트가 검출되면 사용자에게 경고한다. 이 개념은 아래에서 더 자세히 설명된다.

경고를 등록하는 예시적인 명령

이 명령은 경고를 등록하는 것과 관련이 있다.

1. "이 광고 시간이 언제 끝나는지 말해 줘"

2. 경기가 다시 시작될 때 알려줘"

3. "LeBron이 경기에 다시 뛰면 전화해줘"

4. "Michael Phelps가 레이스를 하면 경고를 전송해줘"

5. "리더 보드가 바뀌면 알려줘" (골프 토너먼트에서 적합)

6. "Warriors가 따라올지 말해줘"

7. "Razorbacks가 터치다운에 들어서면 문자를 보내줘"

8. "경기가 10포인트보다 더 좁혀지면 경고해줘"

9. "경기가 가까워지면 말해줘" (경기가 "가까운" 것으로 판단하는 기준은 스포츠마다 다르며, 또한 일부 시청자의 주관성이 필요할 수 있거나 - 이 경고 및 이와 유사한 경고에 대해 발명이 스포츠 종속적인 기준을 사용할 수 있다고 생각함 -, 시청자가 적절한 스포츠 관련 기준을 설정할 수 있게 하거나, 시청자 행동을 추적하여 적절한 자동 맞춤형 스포츠 종속적인 기준을 추론할 수 있거나, 적절한 기준을 결정하기 위해 전술한 기술의 일부 조합을 사용할 수 있다)

10. "Broncos가 득점을 하면 알려줘"

11. "하프 타임이 끝나면 시그널을 줘"

12. "하프 타임이 시작되면 메시지를 줘"

13. "4쿼터가 시작되면 말해줘"

14. "경기 시계에 2분이 남으면 알려줘"

15. "그가 Social Security에 대해 말하기 시작하면 경고를 보내줘" (정치 연설, 특히 연방 연설에 적합.)

16. ""이민에 관한 문제가 있으면 경고해줘" (정치 논쟁에 적합)

17. "Final Jeopardy가 시작되면 문자 보내줘" (게임 쇼 "Jeopardy"에 적합)

18. "Taylor Swift가 공연을 하면 말해줘"

19. "Apple 광고가 있으면 경고해줘"

경고에 응답하는 예시적인 명령

이러한 명령은 경고 조건이 검출된 시기를 제어하는 것과 관련이 있다.

1. "경고로 다시 가"

2. "경고에서부터 플레이를 시작해"

3. "경고 앞에서부터 액션을 보여줘"

4. "경고 30초 전으로 다시 가"

5. "재생을 시작해"

기타

특정 명령은 위의 범주에 속하지 않는다. 몇 가지 예가 본 명세서에 나열되어 있다.

예시적인 명령

1. "실시간으로 다시 가"

2. "정규 시청으로 복귀해"

3. "다시 라이브 TV를 보여줘"

4. "라이브 TV를 빨리감기 해"

동작 모드

본 발명의 실시예는 AV 스트림의 상태에 대해 상이하고(완료 액션 또는 라이프 액션), AV 스트림의 인덱싱이 수행되고(실시간 또는 사후 액션)는 다양한 동작 모드, 및 지원되는 명령의 범위 및 특성(전체 AV 스트림의 탐색, 현재까지의 AV 스트림의 탐색, 예상되는 미래의 이벤트에 대한 경고)을 지원한다.

이 동작 모드는 본 명세서에 더 자세히 설명되고 예시된다.

완료 AV 스트림 동작 모드

일 동작 모드에서, 논의되는 AV 스트림은 이미 완료된 형태로 존재한다. 이것이 "완료 AV 스트림 동작모드"이다. 이러한 동작 모드에서, 임의의 사용자 명령의 처리 전에, AV 스트림에 포함된 스포츠 대회 및 가능하게는 임의의 연관된 사후 대회 해설이 종결되었다. 즉, AV 스트림은 완료되고 계속 진행되지 않는다. 이것은 대상 AV 스트림의 라이브 입력 및 동시 또는 거의 동시 인덱싱 및 시청과 반대되는 것으로, 아래에서 고려해야 할 가능성이 있다.

이러한 동작 모드에서, 본 발명은 인덱싱 단계 및 시청 단계의 두 단계로 동작할 수 있다. 본 발명의 두 단계는 각각 도 2 및 도 3에 도시된 바와 같이 설계되고 동작될 수 있다.

도 2에 도시된 인덱싱 단계에서, AV 스트림 및 선택적으로 연관된 AV 스트림 메타 데이터는 AV 스트림 인덱싱 모듈에 제공될 수 있다. AV 스트림 인덱스 모듈은 AV 스트림 내에서 인덱싱된 이벤트를 위치시키기 위한 적절한 정보와 함께 전술한 인덱싱된 이벤트의 심볼 표현을 포함하는 연관된 AV 스트림 인덱스를 생성한다. 이러한 AV 스트림 인덱스는 AV 스트림 자체 및 임의의 AV 스트림 메타 데이터와 함께 제어 가능한 AV 스트림 저장소에 저장된다.

통상적으로, 이 처리 단계, 즉 AV 스트림 인덱스의 생성은 "사후 액션"으로, 즉 AV 스트림이 완료된 후에 수행된다. 대안적으로, AV 스트림 인덱스는 실제의 원본 소스로부터 AV 스트림이 도착함에 따라 생생하게 ("실시간으로") 생성될 수 있다. 두 가지 가능성은 도 2에서 이해된다. 본 명세서에 예시되지 않은 제3 가능성에서, AV 스트림 인덱스는 시청 단계까지 생성되지 않는다.

도 3에 도시된 시청 단계에서, AV 스트림 인덱스 및 연관된 선택적 AV 스트림 메타 데이터는 자연 언어 제어 인터페이스에 제공되어 선택적으로 자연 언어 제어 인터페이스를 대상 AV 스트림에 적응시킬 수 있다. 사용자는 자연 언어 제어 인터페이스에 사용자 명령을 전송하기 위해 사용자 입력 디바이스를 동작시킨다. 자연 언어 제어 인터페이스는 음성 또는 텍스트로 표현된 자연 언어 명령일 수 있는 사용자 명령을 수신한다; 이는 정규 수동 명령일 수도 있다. 자연 언어 제어 인터페이스는 사용자 명령의 의미를 추출하고 적절한 AV 스트림 제어 신호를 제어 가능한 AV 스트림 저장소로 전송하여 사용자의 호출에 따라 AV 스트림의 재생에 영향을 미치거나 그렇지 않으면 제어 가능한 AV 스트림 저장소에 영향을 미친다. 대안적으로, 자연 언어 제어 인터페이스는 추출된 심볼 의미를 제어 가능한 AV 스트림 저장소로 전송하며, 이 의미는 AV 스트림의 재생을 적절하게 제어하거나 그렇지 않으면 제어 가능한 AV 스트림 저장소에 영향을 미친다.

다음의 대안적인 아키텍처 및 선택적인 특징이 본 발명에 기록되고 이해된다.

위에서 언급된 바와 같이, 정규 수동 명령(즉, 사용자 입력 디바이스의 일부일 수 있는 버튼, 스위치, 터치 감지 스크린 또는 스크린들, 센서 또는 다른 물리적 메커니즘 중 임의의 것에 기초하여, 말문 또는 텍스트 입력을 포함하지 않음)도 허용되며 자연 언어 명령과 자유롭게 섞일 수 있다. 이러한 경우에, 자연 언어 제어 인터페이스에서 사용자 명령의 의미를 추출하는 것은 ASR 처리 또는 LU 처리를 포함하지 않고, 적절한 AV 스트림 제어 신호의 자연 언어 제어 인터페이스에 의한 제어 가능한 AV 스트림 저장소로의 송신만을 포함한다.

이미 언급한 바와 같이, AV 스트림 메타 데이터는 진정한 원 AV 스트림 소스가 아닌 소스로부터 올 수 있다. 예를 들어, 야구 경기의 AV 스트림은 Fox Sports와 같은 텔레비전 네트워크 스포츠 조직에서 나올 수 있으며, 한편 경합 팀을 식별하는 메타 데이터는 Tribune Media Services와 같은 미디어 서비스 회사에서 올 수 있다.

또한, AV 스트림 메타 데이터는 가능하게는 본 발명의 실시예에 의해 추가적인 소스 또는 권한에 대한 액세스에 의해 증대되거나 강화될 수 있다. 예를 들어, 명목상의 AV 스트림 메타 데이터를 처리함으로써 야구 경기의 예를 계속하면, 본 발명의 실시예는 특정 AV 스트림이 San Francisco Giants 및 Colorado Rockies를 경합 팀으로 하여 야구 경기를 구성하는지를 결정할 수 있다. 이러한 실시예는 그 다음에 예를 들어 각각의 팀의 선수 명단, 선수의 이미지, 각각의 팀의 시작 라인업 또는 AV 스트림 색인을 만드는 데 도움이 될 수 있는 기타 데이터를 획득하기 위해, 두 팀의 웹 사이트 또는 기타 신뢰할 수 있는 데이터 저장소에 직접 액세스할 수 있다. 이러한 실시예는 공중 인터넷 또는 몇몇 유사한 통신 네트워크 및/또는 데이터 소스에 대한 본 발명의 접속성을 가정한다; 이 접속은 도면에 도시되지 않았다. AV 스트림 메타 데이터의 이러한 증대 또는 강화는 AV 스트림 인덱싱 모듈에 의해, 또는 본 발명의 몇몇 다른 구성 요소에 의해 수행될 수 있다. 대안적으로, 본 발명의 실시예에 제공된 바와 같이, 이 동일한 정보가 이미 AV 스트림 메타 데이터에 존재할 수 있다.

AV 스트림이 이미 첨부되거나 삽입된 인덱싱 정보를 가질 수도 있다; 예를 들어, 스트림의 시작 이후 경과된 실시간으로 내부적으로 표시될 수 있다. 이 경우, 전술한 인덱싱 단계는 수행할 선택적 동작일 수 있거나 이미 존재하는 인덱싱 정보를 보완하기 위해 수행될 수 있다. 이러한 가능성들이 또한 본 발명에 의해 이해된다.

또한 이러한 기능을 구현하는 물리적 장치, 지리적 근접성, 또는 이러한 기능을 접속하는 데이터 경로의 특성과 관련하여 어떠한 약속이나 제한도 제기되거나 암시되지 않았다.

예를 들어, 도 2를 참조하면, AV 스트림 인덱싱 모듈 및 제어 가능한 AV 스트림 저장소는 "클라우드에 있는", 즉 사용자의 구내가 아닌 장비에 의해 구현될 수 있고/있거나 이 장치 내에 위치할 수 있다. 이 구성에서, 인덱싱 모듈 및 제어 가능한 AV 스트림 저장소가 그들 자신이 별개의 물리적인 위치에 놓이는 것이 더 가능할 수도 있다; 실제로 그들의 서비스 및/또는 기능이 별도의 비즈니스 엔티티에 의해 제공될 수 있다. 다른 구성에서, AV 스트림 인덱싱 모듈은 클라우드에 위치될 수 있지만, 제어 가능한 AV 스트림 저장소는 사용자의 구내에 위치된다. 또 다른 구성에서, AV 스트림 인덱싱 모듈 및 제어 가능한 AV 스트림 저장소는 모두 사용자의 구내에 위치될 수 있다. 이들 구성은 예시적인 것이며 제한적이지 않다.

마찬가지로 도 2를 참조하면, 임의의 데이터 경로는 이로 제한되지는 않으나 Bluetooth, WiFi 및 셀룰러 데이터 네트워크 접속을 포함하는 RF 또는 광 무선 접속; 이로 제한되지는 않으나 인터넷 또는 기타 접속을 포함하고, 동축 케이블, 광섬유 케이블, HFC(hybrid fiber coax), 트위스트 페어 배선, 및 마이크로 웨이브 및 위성 신호를 통한 구현을 포함하는 유무선 데이터 접속, 및 이들의 임의의 조합 중 임의의 것에 의해 그 전체가 또는 그 일부가 구현될 수 있다. 비대칭, 이기종, 또는 둘 모두의 구현에 특히 중점을 두고 있으며 게이트웨이, 스위치, 라우터, 또는 프록시를 통해 다양한 통신 경로 유형이 조합되어, 예를 들어 블루투스 접속과 유선 인터넷 접속의 조합을 통해 하나의 데이터 경로를 구현하고 하이브리드 광섬유 동축 네트워크를 통해 다른 데이터 경로를 구현한다. 이러한 구현예는 예시적인 것이며 제한적이지 않다.

이제 도 4를 참조하면, 제어된 AV 스트림이 접속되는 기본 디스플레이는 물리적으로 제어 가능한 AV 스트림 저장소에 가깝거나 또는 그와 멀리 떨어져 있을 수 있다. 마찬가지로, 접속은 지점간 케이블 접속, 예를 들어 동축 케이블, S-비디오 케이블, 멀티 커넥터 오디오-비디오 구성 요소 케이블, FIDMI 케이블 또는 일부 다른 종류의 케이블에 의해; 다중 노드 케이블 텔레비전 FIFC 또는 다른 통신 네트워크에 의해; 무선 접속, 예를 들어 Bluetooth, WiFi, 또는 셀룰러 데이터 접속에 의해; 또는 일부 다른 접속에 의해; 또는 임의의 수의 전술한 것의 일부 조합에 의해 구현될 수 있다. 이러한 구현예는 예시적인 것이며 제한적이지 않다.

마찬가지로, 사용자 입력 디바이스는 사용자의 말 또는 텍스트 자연 언어 명령 캡처하거나, 사용자의 정규 수동 명령을 받아들이고, 이들 명령을 자연 언어 제어 인터페이스에 송신할 수 있는 임의의 다양한 실현을 포함할 수 있다. 예를 들어, 사용자 입력 디바이스는 사용자가 말한 명령을 자연 언어 제어 인터페이스로 캡처하고, 선택적으로 처리하고, 송신하는 데 적합한 마이크로폰 장치 및 관련 구성 요소로 보강될 수 있고; 또한 기계적 또는 터치 스크린 키보드 및 자연 언어 제어 인터페이스에 대한 사용자의 텍스트 명령의 캡처, 선택적 처리, 및 송신에 적합한 관련 장치로 보강될 수 있고; 또한 사용자의 수동 명령을 자연 언어 제어 인터페이스에 캡처하고, 선택적으로 처리하고, 송신하는 데 적합한 임의의 단일 또는 다수의 버튼, 스위치, 터치 스크린 또는 스크린들, 센서 또는 기타 물리적 메커니즘을 포함할 수 있는 종래의 원격 제어 디바이스일 수 있다. 대안적으로, 사용자 입력 디바이스는 적절한 데이터 송신 능력 및 허가를 가질 수 있는 적절한 소프트웨어 애플리케이션이 제공될 수 있고; 사용자의 말 또는 텍스트 자연 언어 명령을 캡처하거나 사용자의 정규 수동 명령을 받아들이고, 이들 명령을 자연 언어 제어 인터페이스에 송신하기 위해, 자연 언어 제어 인터페이스와 적절하게 조합, 조합, 등록, 또는 기타 연관될 수 있는 무선으로 접속된 스마트폰 또는 태블릿, 또는 종래의 데스크탑 또는 랩탑 컴퓨터일 수 있다. 사용자가 말한 명령을 포착하는 기능과 관련하여, 사용자 입력 디바이스는 푸시-투-토크 버튼 또는 푸시-투-작동 버튼에 의해 동작될 수 있다. 또는 "항상 청취 모드"로 동작할 수 있으며, 여기서 마이크로폰 및 관련 장치는 항상 오디오를 캡처하고, 서두 역할을 하는 "웨이크 업 워드(wake up word)"의 검출 여부에 관계없이 사용자의 음성 명령을 추출한다. 대안적으로, 사용자 입력 디바이스는 Amazon Echo, Amazon Tap, Google Home, 또는 유사한 장치와 같은 자동 가정용 보조기일 수 있다.

사용자 입력 디바이스의 설명을 계속하면, 상기 마이크로폰 장치는 단일 마이크로폰 소자 또는 다수의 마이크로폰 소자로 구성될 수 있다. 후자의 경우에, 다양한 마이크로폰 요소는 빔 형성 마이크로폰 어레이, 또는 사용자 음성 캡처용 기본 마이크로폰과 전자음 제거를 위한 주변 잡음 캡처용 부차 마이크로폰, 또는 음성 신호의 품질을 향상시키는 임의의 다른 구성으로 동작될 수 있다. 마이크로폰 장치는 오디오 비디오 스트림 시청 사이트로 재생되는 오디오 스트림에서와 같이 알려진 환경 잡음을 입력하고 보상하기 위한 전기적 접속을 포함할 수 있다. 핸드 헬드 디바이스 내에, 자동 가정용 보조기 내, 텔레비전, 셋톱 박스, DVD 플레이어 또는 DVR 디바이스, 사운드 바와 같은 소비자 전자 구성 요소 내, 마이크로폰 장치 내, 또는 일부 다른 디바이스 또는 위치 내에 있을 수 있는, 마이크로폰 장치의 물리적 위치에 강조점을 둔다. 특히, 마이크로폰 소자는 광범위하게 분리된 물리적 위치에 있을 수 있다. 또한, 사용자 입력 디바이스는 일반적으로 물리적으로 구별되는 요소로 구성될 수 있으며, 예를 들어 마이크로폰 장치, 키보드 장치, 핸드 헬드 장치, 및 임의의 다른 적절한 장치 중 임의의 것으로 구성될 수 있고, 이들 각각은 사용자 명령을 캡처하기 위해 개별적으로 작용할 수 있지만 집합적으로 사용자 입력 디바이스를 구성한다. 이러한 구현예는 예시적인 것이며 제한적이지 않다.

전술한 설명은 전체 또는 일부에서 본 발명의 장치를 나타내는 본 명세서의 모든 도면에도 적용된다.

라이브 액션 AV 스트림 동작 모드

또 다른 동작 모드에서, 문제의 AV 스트림은 오직 스위칭, 버퍼링, 및 신호 전파 지연을 받아 라이브로(동등하게는 "실시간으로") 도착할 수 있다. 이것은 "라이브 액션 AV 스트림 동작 모드"이다. 이 동작 모드에서, 사용자는 스포츠 대회가 진행되는 동안 명령을 내릴 수 있다. 아직 AV 스트림의 아직 수신되지 않은 부분으로 시간 상으로 이동할 수는 없지만, (가능하게는 그와 관련된 동시에 생성된 AV 스트림 인덱스를 통해) 본 발명은 사용자가 AV 스트림의 동시에 생성된 레코딩에서 역방향으로 탐색할 수 있게 한다. 또한, AV 스트림 레코딩으로 역방향으로 탐색 한 후, 본 발명의 실시예는 이후 현재의 순간까지 레코딩 내에서 전방으로 이동하는 것을 지원한다 (즉, 제어 가능한 AV 스트림 저장소 내에 지금까지 존재하므로).

현재 순간을 넘어서, 즉 AV 스트림의 아직 수신되지 않은 부분으로 시간 상으로 "탐색하는"하는 주제에 대해서는, 하기 논의의 "사전 액션(경고) 지원을 갖는 라이브 액션 AV 스트림 동작 모드 사전 동작 (경고 ) 지원"을 참조한다.

라이브 AV 스트리밍 동작 모드에서는, 단계로 분리가 없다. 본 발명의 실시예는 도 5에 도시된 바와 같이 동작한다. AV 스트림은 라이브로 도착하며, 임의로 선행되거나 AV 스트림 메타 데이터가 수반된다. 이 정보는 AV 스트림 인덱싱 모듈에 공급되며, AV 스트림 인덱싱 모듈은 앞서 기술 된 AV 스트림 인덱스를 연속적으로 (또는 가능한 한 거의) 동시에 생성한다. 라이브 AV 스트림 및 동기화된(가능하게는 임베디드된) AV 스트림 인덱스는 선택적으로 AV 스트림 메타 데이터와 함께 제어 가능한 AV 스트림 저장소에 저장되며, 통상적으로 "레코딩"이라고 불리는 프로세스이다. 즉, 제어 가능한 AV 스트림 저장소에 둔 객체 또는 객체들은 AV 스트림의 새로운 부분 및 그것과 연관된 AV 스트림 인덱스가 도착할 때 (각각 생성될 때) 계속해서 실시간으로 확대된다. 동일한 AV 스트림 인덱스 및 선택적으로 AV 스트림 메타 데이터는 자연 언어 제어 인터페이스에 공급될 수 있으며, 이 인터페이스는 이 정보에 대한 지속적인 적응을 수행할 수 있다.

동시에, 자연 언어 제어 인터페이스는 사용자의 자연 언어 명령을 수신할 수 있으며, 음성 명령 또는 텍스트로 표현될 수 있다. 이들 명령은 재생 동작이 현재 제어 가능한 AV 스트림 저장소 내에 존재하는 AV 스트림 내에서 탐색하도록 할 수 있다. 예를 들어, 본 발명의 실시예는 다음의 명령을 지원하며, 각각 명백한 결과를 갖는다.

1. "마지막 다운을 다시 보여줘"

2. "2쿼터의 시작으로 다시 가서 픽업해" (쿼터로 나눠지는 스포츠에서, 2쿼터의 시작 이후의 임의의 시간에 적합)

3. "3쿼터에서 2분 표시로 가"

4. "하프 타임 쇼를 다시 재생해줘"

5. "앞으로 60초를 건너 뛰어" (AV 스트림 레코딩에서 역방향으로 탐색하는 명령 이후에 적합; 실행된다면, 이 명령은 AV 스트림의 아직 수신되지 않은 부분으로 순방향으로 탐색하는 것을 의미할 것이다. 본 발명은 단순히 라이브 AV 스트림의 디스플레이를 재개한다)

전술한 목록은 단지 예시적인 것이며, 포괄적이거나 제한적이지 않다.

실시간 AV 스트림 및 관련 AV 스트림 인덱스의 수신, 인덱싱 및 기록은 동시 사용자 명령의 처리 및 실행 전반에 걸쳐 진행된다는 점에 유의해야 할 중요한 점이다.

AV 스트림은 실제로 라이브가 아닌, 본 발명의 이러한 동작 모드와 관련하여 간단하게 처리될 수 있다. 즉, 입력으로서 작용하는 AV 스트림은 실제로 완료되어 AV 스트림 저장소로부터 재생되거나 진행 중이지만 더 이상 "라이브"로 간주되지 않을 정도로 큰 원본 소스로부터의 전파 지연의 영향을 받는다. 그럼에도 불구하고, 본 발명에 의해 그것이 라이브처럼 처리된다, 즉 본 발명의 실시예는 AV 스트림 인덱스를 동시에 생성하거나 보완 할뿐만 아니라 사용자의 자연 언어 명령에 응답하여 AV 스트림 내에서 탐색한다.

도 6은 동일한 기능을 지원하기 위한 대체 구성을 도시하며, 여기서 AV 스트림 스위치 신호를 통해 자연 언어 제어 인터페이스에 의해 제어되는 AV 스트림 스위치는 본 발명에 제공된 라이브 AV 스트림의 디스플레이 또는 제어 가능한 AV 스트림 저장소로부터 재생되는 AV 스트림을 스위칭한다.

사전 액션(경고) 지원을 갖는 라이브 액션 AV 스트림 동작 모드

전술한 바와 같이, 아직 수신되지 않은 AV 스트림의 부분으로 명목상 건너 뛰는 것을 요구하는 명령을 처리하는 것은 물론 불가능하다. 그러나, 사용자가 본 발명에 의해 발생하는 경우, 이러한 이벤트의 통지를 요구하는 한, 잠재 또는 예상 미래 이벤트를 참조하는 사용자 명령을 수신하고 처리하는 것은 의미 있고 유용하다. 이 기능을 "사전 액션" 또는 "경고" 지원이라고 하며, 잠재적인 미래의 이벤트를 "등록 된 경고", "경고된 이벤트", 또는 "경고"로 지칭한다; 이들은 적절한 사용자 명령에 의해 본 발명에 식별된다. 경고 이벤트가 검출되면, 사용자에게 통지된다. 본 발명의 실시예는 또한 후술하는 바와 같이 다른 방식으로 응답하거나 다른 관련 기능을 제공할 수 있다.

이러한 동작 모드에서, 본 발명의 실시예는 도 7에 도시된 바와 같이 구성될 수 있고 동작할 수 있다. 아래에 설명된 방식으로 경고 지원을 제공하는 것 외에도, 이 아키텍처는 또한 위에서 설명한 라이브 AV 스트림 동작 모드의 모든 기능을 지원한다. 자연 언어 제어 인터페이스가 사전 경고 또는 경고 명령을 받아들이고 이에 응답하도록 확대되었고, 제어 가능한 AV 스트림 저장소는 예시된 "경고 레지스트리"에 저장된 경고를 받아들이고 모니터링하도록 추가되었고, 내부 및/또는 외부 접속은 선택적으로 경고 상태의 검출시 사용자 경고 디바이스에 신호를 보내는 수단을 포함하도록 확장되었다는 점에 있어서, 도 7의 아키텍처는 도 5 및 도 6의 아키텍처와 상이하다.

구체적으로, 대상 AV 스트림의 진행 중인 수신 및 인덱싱 동안, 사용자는 경고를 등록하기 위해 사용자 입력 디바이스에 말 또는 텍스트 자연 언어 명령을 제시할 수 있다. 이러한 명령의 예는 앞부분의 섹션 "경고" 하위섹션 "경고를 등록하는 명령의 예"에 나와 있다. 이러한 명령의 제시 시에, 자연 언어 제어 인터페이스는 그 의미를 추출하고, 제어 가능한 AV 스트림 저장소에 신호하여 "경고 레지스트리" 내의 적합한 경고를 등록한다. 제어 가능한 AV 스트림 저장소는 등록된 경고 조건 중 임의의 인스턴스에 대해 AV 스트림 인덱스 모듈에 의해 연속적으로 확장된 AV 스트림 인덱스를 모니터링한다. 이러한 상태의 검출 시에, 제어 가능한 AV 스트림 저장소는 기본 디스플레이에서 청각 또는 시각적 표시, 또는 기본 디스플레이와 분리된 경우, 적절하게 등록되거나 접속된 사용자 경고 디바이스(예를 들어, 핸드폰, 태블릿, 접속된 손목 시계, 또는 다른 디바이스)에 메시지 또는 통지(예를 들어, 문자 메시지, 전자 메일 메시지, 전화 통화, 또는 응용 프로그램에 대한 신호)를 전송하는 것 중 하나 이상에 의해 사용자에게 시그널을 한다. 본 발명의 실시예는 다수의 사용자 경고 디바이스에 대한 등록 또는 접속을 지원할 수 있으며, 별개의 경고는 별개와 사용자 경고 디바이스와 연관되거나, 임의의 하나의 경고가 다수의 사용자 경고 디바이스와 연관된다.

본 발명의 실시예는 이제 설명하는 경고와 관련된 추가 기능 및 응답을 지원하고 포함한다. 이를 이해하려면 일반적인 사용 시나리오를 고려하는 것이 도움이 된다.

이 동작 모드의 특징을 사용하기 위한 하나의 가능한 시나리오는 사용자가 기본 디스플레이로부터 어느 정도 떨어져 있을 수 있다는 것, 즉 AV 스트림을 시청하기 위한 명목상의 장치이다. 따라서, 경고가 발생하면 사용자는 이 디스플레이를 볼 수 없기 때문에 수십 초 또는 몇 분이 걸릴 수 있다. 또한, 사용자가 기본 디스플레이에 즉각 또는 신속하게 액세스할 수 있다고 할지라도, 인접한 방으로터 들어옴으로써, 사용자가 시청을 재개할 때 경고 이벤트 바로 앞의 작업의 일부분을 보길 원할 수도 있다.

이러한 가능성을 고려하여, 본 발명의 실시예는 라이브 착신 AV 스트림의 진행 중인 레코딩을 개시하거나 계속하면서, 경고 시에 자동적으로 AV 스트림의 디스플레이를 중지시키는 능력을 지원한다. 그 다음에, 사용자는 원할 때, 예를 들어, 그들이 기본 디스플레이를 다시 한번 보거나 완전히 주의를 끌 수 있게 되면, 일시 정지된 순간부터 지금 지연된 AV 스트림을 다시 볼 수 있다. 라이브 AV 스트림의 이러한 지연된 버전은 종종 "타임 시프트된" AV 스트림으로 지칭된다.

이 가능성의 변형예에서, 시청하는 것은 "경고 발생 30초 전부터 다시 시작"또는 "30초 백업 후 다시 시작"과 같이 명시적 명령에 의해 결정된 대로, 경고된 이벤트 이전의 일부 시점으로부터, 예를 들어 주어진 속 기간에 의해 AV 스트림에서 경고된 이벤트로부터 백업하여 재개될 수 있거나, 반대로 일부 이전에 관련된 이벤트에 대해, 예를 들어 실제 경고된 이벤트로 이어지는 공격적인 드라이브의 시작, 예를 들어 터치 다운 득점에 대해 재개될 수 있다.

도 9에 도시된 다른 변형예에서, 그리고 도 10의 대안적인 구성에서, 시그널링된 사용자 디바이스가 적절한 접속 및 디스플레이 능력을 가지며, 제어된 AV 스트림을 송신하기 위한 적절한 통신 경로가 존재한다면, 경고 이벤트 발생 시에, 제어된 AV 스트림은 사용자 경고 디바이스로 송신될 수 있어, 사용자는 연관된 동작을 즉시 픽업할 수 있다. 디스플레이되는 비디오는 전술한 바와 같이 라이브 AV 스트림 또는 그 타임 시프트 버전일 수 있다.

다른 변형예에서, 사용자 경고 디바이스가 사용자 입력 디바이스로서도 기능하는 적절한 메커니즘 및 능력을 갖는다면, 그리고 사용자 자연 언어 명령(음성 또는 텍스트) 또는 정규 수동 명령을 송신하기 위한 적절한 통신 경로가 존재하면, 이 AV 스트림 자체는 사용자 경고 디바이스를 통해 발행된 자연 언어 명령에 의해 제어될 수 있다; 이러한 변형예에서, 사용자 경고 디바이스는 사용자 입력 디바이스로서도 동작한다.

여러 개의 경고가 동시에 등록되고 활성화될 수 있다. 경고는 대상 AV 스트림의 명목상 끝까지 등록된 상태로 유지된다.

이전에 언급되고 논한 바와 같이, 대상 AV 스트림은 실제로 라이브가 아니지만, 본 발명의 이러한 동작 모드와 관련하여 간단하게 취급될 수 있다.

도 8은 동일한 기능을 지원하기 위한 대체 아키텍처를 도시하며, 여기서 경고 레지스트리는 AV 스트림 인덱싱 모듈 내에 포함되며,경고 레지스트리는 AV 스트림 인덱싱 모듈 내에 포함되며, 경고 신호는 마찬가지로 이 모듈 내에서 생성된다. AV 스트림 인덱싱 모듈로부터 사용자 경고 디바이스로의 지시된 선택적 "사용자 경고" 경로에 추가하여, AV 스트림 인덱싱 모듈로부터 디스플레이로의 분리 경로(도 8에 도시되지 않음)가 있을 수 있으며, 이는 디스플레이를 통해 경고의 청각 적 또는 시각적 통지를 가능하게 한다.

추가 분야

본 명세서에 설명된 방법, 아키텍처, 인터페이스, 명령, 및 기능은 추가 분야에 대한 일반화를 인정한다. 분야를 식별하고 몇 가지 샘플 명령을 제시함으로써 그 중 일부의 개요를 지금 제시한다.

정치 연설과 토론

1. " Obama가 사회 보장에 관해 이야기하기 시작하는 곳으로 건너 뛰어"

2. "이민에 관한 질문이 있으면 알려줘"

3. "Hillary의 논쟁 중 일부만 보여줘"

토크쇼

1. "음악 게스트가 공연을 시작하면 알려줘"

2. "Keira Knightley가 나오는 곳으로 점프"

3. "독백을 건너 뛰어"

영화

1. "Gandalf가 들어가는 곳으로 가"

2. "무술 장면을 보여줘"

콘서트

1. "'You Belong With Me'가 시작되는 곳으로 점프"

2. "'Born to Run'을 다시 재생해줘"

시상식

1. "최우수 남우 조연상, 최우수 여우 조연상, 최우수 감독상, 및 최우수 작품상을 보여줘"

2. "최고의 뮤지컬 상을 보여줘"

3. "De Niro가 나오는 곳으로 가"

뉴스 속보

1. "다우 지수가 20포인트를 초과하여 떨어지면 알려줘"

2. "산불이 101을 뛰어 넘으면 경고해줘"

3. "그리스 의회가 EU 예산 제안에 투표할 때 말해줘"

컴퓨터 시스템

도 11은 몇몇 실시예의 특정 특징을 구현하는 데 사용될 수 있는 컴퓨터 시스템의 블록도이다. 컴퓨터 시스템은 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(personal computer, PC), 사용자 디바이스, 태블릿 PC, 랩탑 컴퓨터, 개인용 디지털 어시스턴스(personal digital assistant, PDA), 셀룰러 폰, iPhone, iPad, Blackberry, 프로세서, 전화기, 웹 애플리케이션, 네트워크 라우터, 스위치 또는 브리지, 콘솔, 핸드 헬드 콘솔, (핸드 헬드) 경기 디바이스, 뮤직 플레이어, 임의의 휴대용 모바일 핸드 헬드 디바이스, 웨어러블 디바이스, 또는 해당 기계가 취해야 할 조치를 지정하는 일련의 명령어(순차 또는 기타)를 실행할 수 있는 임의의 머신일 수 있다.

컴퓨팅 시스템(300)은 하나 이상의 중앙 처리 유닛("processors", 305), 메모리(310), 입/출력 장치(325)(예를 들어, 키보드 및 포인팅 디바이스, 터치 디바이스, 디스플레이 디바이스), 저장 디바이스(320)(예를 들어, 디스크 드라이브), 및 상호 접속부(315)에 접속된 네트워크 어댑터(330)(예를 들어, 네트워크 인터페이스)를 포함한다. 상호 접속부(315)는 적절한 브리지, 어댑터 또는 제어기에 의해 접속된 임의의 하나 이상의 분리된 물리적 버스, 지점간 접속, 또는 둘 모두를 나타내는 추상화로서 도시된다. 따라서, 상호 접속부(315)는 예를 들어, 시스템 버스, PCI(Peripheral Component Interconnect) 버스 또는 PCI-Express 버스, HyperTransport 또는 ISA(industry standard architecture) 버스, SCSI(small computer system interface) 버스, USB(universal serial bus),IIC (12C) 버스 또는 "Firewire"라고도 불리는 전기 전자 기술자 협회(Institute of Electrical and Electronics Engineers, IEEE) 표준 1394 버스와 같은 버스를 통해 접속된다.

메모리(310) 및 저장 디바이스(320)는 다양한 실시예의 적어도 일부를 구현하는 명령어를 저장할 수 있는 컴퓨터 판독 가능 저장 매체이다. 또한, 데이터 구조 및 메시지 구조는 데이터 송신 매체, 예를 들어 통신 링크 상의 신호를 통해 저장되거나 송신될 수 있다. 다양한 통신 링크, 예를 들어 인터넷, 근거리 네트워크, 광역 네트워크, 또는 지점간 전화 다이얼 업 접속이 사용될 수 있다. 따라서, 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 저장 매체(예를 들어, "비일시적" 매체) 및 컴퓨터 판독 가능 송신 매체를 포함할 수 있다.

메모리(310)에 저장된 명령어는 프로세서(305)가 전술한 동작을 수행하도록 프로그램하는 소프트웨어 및/또는 펌웨어로서 구현될 수 있다. 일부 실시예에서, 이러한 소프트웨어 또는 펌웨어는 (네트워크 어댑터(330)를 통해) 컴퓨팅 시스템(300)을 통해 원격 시스템으로부터 다운로드함으로써 처리 시스템(300)에 초기에 제공될 수 있다.

본 명세서에서 소개된 다양한 실시예는 예를 들어 소프트웨어 및/또는 펌웨어로 프로그래밍되거나, 또는 전용 하드웨어(비 프로그래밍 가능) 회로, 프로그래밍된 프로그램 가능한 회로(예를 들어, 하나 이상의 마이크로 프로세서), 또는 이러한 형태의 조합으로 구현될 수 있다. 특수 용도의 하드 와이어드 회로는 예를 들어 하나 이상의 ASIC, PLD, FPGA 등의 형태일 수 있다.

비고

상기 설명 및 도면은 예시적인 것으로 제한적인 것으로 해석되어서는 안된다. 다수의 특정 세부 사항이 본 개시의 완전한 이해를 제공하기 위해 설명된다. 그러나, 어떤 경우에는, 설명을 모호하게 하는 것을 피하기 위해 잘 알려진 세부 사항을 설명하지 않았다. 또한, 실시예의 범위를 벗어나지 않으면서 다양한 변형이 이루어질 수 있다.

본 명세서에서 "일 실시예"또는 "실시예"는 본 실시예와 관련하여 설명 특정 특징, 구조, 또는 특성이 본 개시의 적어도 하나의 실시예에 포함됨을 의미한다. 본 명세서의 다양한 곳에서 "일 실시예에서"라는 문구가 반드시 동일한 실시예를 언급하는 것은 아니며, 다른 실시예와 상호 배타적인 별개의 또는 대안적인 실시예도 아니다. 또한, 일부 실시예에 의해 나타낼 수 있고 다른 것에는 나타내지 않을 수 없는 다양한 특징이 설명된다. 유사하게, 몇몇 실시예에 대한 요구 사항일 수 있지만 다른 실시예에 대한 요구 사항은 아닌 다양한 요구 사항이 설명된다.

이 명세서에서 사용된 용어는 일반적으로 본 기술 분야에서, 개시의 문맥 내에서, 그리고 각각의 용어가 사용되는 특정 상황에서 그들의 통상적인 의미를 갖는다. 개시 내용을 설명하는 데 사용되는 특정 용어는 개시 내용에 대한 실무자에게 추가 지침을 제공하기 위해 상기 또는 본 명세서의 다른 곳에서 논의된다. 편의를 위해, 예를 들어 이탤릭체 및/또는 인용 부호를 사용하여 특정 용어가 표시될 수 있다. 강조 표시의 사용은 용어의 범위와 의미에 영향을 미치지 않는다; 용어의 범위와 의미는 강조 표시되는지 여부와 상관없이 동일한 문맥에서 동일하다. 같은 것을 여러 가지 방법으로 말할 수 있음을 이해할 것이다. "메모리"는 "스토리지"의 한 형태이며 때로는 이 용어들이 서로 교환되어 사용될 수 있음을 인식할 것이다.

결과적으로, 대체 언어 및 동의어는 이 문서에서 언급된 용어 중 하나 이상에 사용될 수 있으며, 여기서 용어가 정교화되거나 논의되었는지에 대한 특별한 의미는 없다. 특정 용어의 동의어가 제공된다. 하나 이상의 동의어에 대한 장황한 설명은 다른 동의어의 사용을 배제하지 않는다. 본 명세서에서 논의된 임의의 용어의 예를 포함하여 본 명세서의 어디에서나 예를 사용하는 것은 단지 예시적인 것이고, 본 명세서 또는 예시된 용어의 범위 및 의미를 더 제한하고자 하는 것은 아니다. 마찬가지로, 본 개시는 본 명세서에 주어진 다양한 실시예로 제한되지 않는다.

본 발명의 범위를 더 제한하려는 의도는 없으며, 본 발명의 실시예에 따른 도구, 장치, 방법, 및 이들과 관련된 결과의 예가 상기에 주어진다. 독자의 편의를 위해 실시예에서 제목 또는 부제를 사용할 수 있으며, 이는 결코 개시의 범위를 제한하지 않는다. 달리 정의되지 않는 한, 본 명세서에서 사용되는 모든 기술 및 과학 용어는 본 개시 내용과 관련된 통상의 기술자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 갈등이 있는 경우, 정의를 포함한 본 문서가 우선한다.

본 발명은 바람직한 실시예를 참조하여 본 명세서에 기술되었지만, 본 기술 분야의 통상의 기술자는 본 발명의 사상 및 범위를 벗어나지 않으면 서 본 명세서에 기재된 것들을 다른 애플리케이션으로 대체할 수 있다는 것을 용이하게 이해할 것이다. 따라서, 본 발명은 아래에 포함된 청구 범위에 의해서만 제한될 수 있다.

Claims

컴퓨터로 구현되는 방법에 있어서,
오디오 비디오 스트림을 획득하는 단계;
상기 오디오 비디오 스트림을 복수의 이벤트들과 연관시키는 단계 - 상기 복수의 이벤트들은 상기 오디오 비디오 스트림의 컨텐츠의 해석을 포함함 -;
자연 언어 명령을 획득하는 단계;
상기 복수의 이벤트들 중 특정 이벤트를 참조함으로써 상기 자연 언어 명령에 기초하여 제어 신호를 생성하는 단계; 및
상기 특정 이벤트에 대한 상기 오디오 비디오 스트림의 프리젠테이션을 제어하기 위해 상기 제어 신호를 사용하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 제어 신호는 상기 복수의 이벤트들 중 상기 특정 이벤트를 포함하는 둘 이상의 이벤트들을 참조함으로써 상기 자연 언어 명령에 기초하여 생성되는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림의 상기 프리젠테이션은
상기 오디오 비디오 스트림을 획득하는 것과 동시에 상기 오디오 비디오 스트림의 프리젠테이션;
상기 오디오 비디오 스트림의 저장된 사본의 컨텐츠의 프리젠테이션; 중 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 프리젠테이션은 상기 오디오 비디오 스트림의 오디오 부분 또는 상기 오디오 비디오 스트림의 비디오 부분 중 적어도 하나의 프리젠테이션을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림을 상기 복수의 이벤트들과 연관시키는 단계는 상기 오디오 비디오 스트림의 특정 컨텐츠에 기초하여 상기 특정 이벤트의 의미를 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
디스플레이 디바이스 상에서 시청하기 위해 상기 오디오 비디오 스트림의 부분을 선택하는 단계 - 상기 부분은 상기 특정 이벤트에 기초하여 선택됨 - 를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림을 상기 복수의 이벤트들과 연관시키는 단계는 상기 오디오 비디오 스트림을 상기 복수의 이벤트들의 인덱스와 연관시키는 단계 - 상기 복수의 이벤트들은 상기 오디오 비디오 스트림의 상기 컨텐츠에 기초하여 식별됨 - 를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제7항에 있어서,
상기 인덱스는 상기 오디오 비디오 스트림의 상기 복수의 이벤트들의 심볼 표현을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제7항에 있어서,
상기 인덱스는 상기 복수의 이벤트들 중 하나 이상의 이벤트의 시점, 지속 기간, 또는 상기 시점 및 상기 지속 기간 양자 모두를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림을 상기 복수의 이벤트들과 연관시키는 단계 전에, 상기 복수의 이벤트들을 포함하는 인덱스를 수신하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림을 상기 복수의 이벤트들과 연관시키는 단계 전에, 저장소로부터 인덱스를 검색하는 단계 - 상기 인덱스는 상기 복수의 이벤트들을 포함함- 를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림을 상기 복수의 이벤트들과 연관시키는 단계는
상기 오디오 비디오 스트림의 비디오 데이터에 기초하여 상기 복수의 이벤트들의 인덱스를 생성하는 단계; 및
상기 인덱스를 상기 오디오 비디오 스트림과 연관시키는 단계;를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림을 상기 복수의 이벤트들과 연관시키는 단계는
상기 오디오 비디오 스트림의 오디오 데이터에 기초하여 상기 복수의 이벤트들의 인덱스를 생성하는 단계; 및
상기 인덱스를 상기 오디오 비디오 스트림과 연관시키는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림을 상기 복수의 이벤트들과 연관시키는 단계는
상기 오디오 비디오 스트림과 연관된 메타 데이터에 기초하여 상기 복수의 이벤트들의 인덱스를 생성하는 단계; 및
상기 인덱스를 상기 오디오 비디오 스트림과 연관시키는 단계;를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림을 상기 복수의 이벤트들과 연관시키는 단계는
상기 오디오 비디오 스트림의 비디오 데이터, 오디오 데이터, 또는 메타 데이터의 임의의 조합에 기초하여 상기 복수의 이벤트들의 인덱스를 생성하는 단계; 및
상기 인덱스를 상기 오디오 비디오 스트림과 연관시키는 단계;를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 자연 언어 명령에 기초하여 상기 제어 신호를 생성하는 단계는 자동 음성 인식 시스템을 사용하여 상기 자연 언어 명령을 처리하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 자연 언어 명령에 기초하여 상기 제어 신호를 생성하는 단계는 자연 언어 이해 시스템을 사용하여 상기 자연 언어 명령을 처리하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 자연 언어 명령에 기초하여 상기 제어 신호를 생성하는 단계는 자동 음성 인식 시스템 및 자연 언어 이해 시스템 양자 모두를 사용하여 상기 자연 언어 명령을 처리하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 자연 언어 명령은 음성 명령을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 자연 언어 명령은 텍스트 명령을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림을 획득하는 단계는
진행 중이고 지속적인 프로세스로서 오디오 비디오 스트림 획득하는 단계; 또는
완성된 전체로서 오디오 비디오 스트림을 획득하는 단계; 중 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제21항에 있어서,
상기 진행 중이고 지속적인 프로세스로서 상기 오디오 비디오 스트림을 획득하는 단계는
라이브 오디오 비디오 스트림을 획득하는 단계; 또는
오디오 비디오 스트림의 저장된 사본의 컨텐츠을 획득하는 단계; 중 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림을 상기 복수의 이벤트들과 연관시키는 단계는
상기 오디오 비디오 스트림이 저장소에 저장된 후에 상기 복수의 이벤트들의 인덱스를 생성하는 단계; 및
상기 인덱스를 상기 오디오 비디오 스트림과 연관시키는 단계;를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림을 상기 복수의 이벤트들과 연관시키는 단계는
상기 오디오 비디오 스트림을 획득하는 것과 동시에 상기 복수의 이벤트들의 인덱스를 생성하는 단계; 및
상기 인덱스를 상기 오디오 비디오 스트림과 연관시키는 단계;를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 제어 신호는 상기 오디오 비디오 스트림을 획득하는 것과 동시에 상기 오디오 비디오 스트림의 프리젠테이션을 제어하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 제어 신호는 상기 오디오 비디오 스트림을 획득한 후 상기 오디오 비디오 스트림의 프리젠테이션을 제어하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림을 획득하는 단계는 라이브 오디오 비디오 스트림을 수신하는 단계를 포함하고,
상기 방법은
상기 라이브 오디오 비디오 스트림을 저장소에 저장하는 단계; 및
상기 제어 신호 또는 다른 제어 신호를 사용하여,
상기 라이브 오디오 비디오 스트림의 프리젠테이션, 또는
상기 특정 이벤트에 대한 상기 저장된 오디오 비디오 스트림의 컨텐츠의 프리젠테이션; 중 적어도 하나를 제어하는 단계;를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림을 상기 복수의 이벤트들과 연관시키는 단계는
상기 오디오 비디오 스트림을 저장소에 기록하는 것과 동시에 상기 복수의 이벤트들의 인덱스를 생성하는 단계; 및
상기 인덱스를 상기 오디오 비디오 스트림과 연관시키는 단계;를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림의 프리젠테이션을 재개하기 위해 상기 자연 언어 명령을 사용하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림의 프리젠테이션을 시작하기 위해 상기 자연 언어 명령을 사용하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 특정 이벤트에 대해 상기 오디오 비디오 스트림 내에서 탐색하기 위해 상기 제어 신호를 사용하는 단계는 상기 컨텐츠의 변화에 대해 상기 오디오 비디오 스트림을 탐색하는 단계 - 상기 변화는 상기 특정 이벤트에 대응함 - 를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제31항에 있어서,
상기 컨텐츠의 변화는
상기 오디오 비디오 스트림의 명목 주제에서 상업적 요청(commercial solicitation)으로의 상기 컨텐츠의 전이;
상업적 요청에서 상기 오디오 비디오 스트림의 명목 주제로의 상기 컨텐츠의 전이; 또는
제1 상업적 요청에서 제2 상업적 요청으로의 상기 컨텐츠의 전이; 중 임의의 것을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 제어 신호를 포함하는 하나 이상의 제어 신호들은 상기 복수의 이벤트들 중 상기 특정 이벤트를 포함하는 둘 이상의 이벤트들을 참조함으로써 상기 자연 언어 명령에 기초하여 생성되고,
상기 방법은
상기 오디오 비디오 스트림의 복수의 발췌물들을 재생하기 위해 상기 자연 언어 명령을 사용하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 특정 이벤트에 대해 상기 오디오 비디오 스트림 내에서 탐색하기 위해 상기 제어 신호를 사용하는 단계는 상기 오디오 비디오 스트림의 프리젠테이션의 방향 또는 상기 오디오 비디오 스트림의 프리젠테이션의 속도 중 적어도 하나를 제어하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 컨텐츠는 스포츠 대회를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림의 프리젠테이션을 제어하기 위해 상기 제어 신호를 사용하는 단계 전에, 상기 오디오 비디오 스트림의 상기 프리젠테이션에 나타나는 표기법에 기초하여 상기 특정 이벤트를 추론하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 오디오 비디오 스트림의 프리젠테이션을 제어하기 위해 상기 제어 신호를 사용하는 단계 전에, 상기 오디오 비디오 스트림에 나타나는 객체에 대한 상기 특정 이벤트를 식별하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 특정 이벤트에 대한 상기 오디오 비디오 스트림의 프리젠테이션을 제어하기 위해 상기 제어 신호를 사용하는 단계 전에, 상기 오디오 비디오 스트림의 복수의 불연속적인 시간 세그먼트들에 대응하는 둘 이상의 이벤트들을 식별하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 특정 이벤트의 표현을 억제하기 위해 상기 자연 언어 명령을 사용하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제1항에 있어서,
상기 특정 이벤트는 상기 오디오 비디오 스트림의 단일의 연속적인 지속 기간을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
컴퓨터로 구현되는 방법에 있어서,
레지스트리에 경고를 등록하게 하는 사용자 자연 언어 명령을 획득하는 단계 - 상기 경고는 특정 이벤트의 발생과 연관되고, 상기 특정 이벤트는 라이브 오디오 비디오 스트림에서의 컨텐츠의 해석에 기초함 -;
상기 라이브 오디오 비디오 스트림을 획득하는 것과 동시에, 상기 특정 이벤트를 포함하는 상기 라이브 오디오 비디오 스트림에서 복수의 이벤트들을 식별하는 단계;
상기 라이브 오디오 비디오 스트림에서 상기 특정 이벤트의 발생을 검출하는 단계; 및
상기 레지스트리에서 상기 경고와 연관된 상기 특정 이벤트를 검출하는 것에 응답하여, 상기 라이브 오디오 비디오 스트림에서 상기 특정 이벤트의 발생을 나타내는 통지를 생성하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제41항에 있어서,
상기 통지를 생성하는 단계는
가청 또는 시각 신호 중 적어도 하나의 프리젠테이션;
문자 메시지 또는 이메일 메시지 중 적어도 하나의 송신; 또는
전화 통화 시작; 중 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제41항에 있어서,
복수의 경고들이 상기 레지스트리에 등록되고, 각각의 상기 경고는 특정 이벤트의 발생과 연관되고,
상기 방법은
상기 연관된 특정 이벤트들 중 임의의 하나의 발생을 검출하기 위해 상기 레지스트리의 컨텐츠를 상기 라이브 스트림과 비교하는 단계; 및
상기 연관된 특정 이벤트들 중 임의의 하나의 발생을 검출하는 것에 응답하여, 상기 연관된 특정 이벤트들 중 상기 임의의 하나의 발생을 나타내는 통지를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제41항에 있어서,
상기 레지스트리에서 상기 경고와 연관된 상기 특정 이벤트를 검출하는 것에 응답하여, 상기 라이브 오디오 비디오 스트림의 프리젠테이션을 제어하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
제41항에 있어서,
상기 레지스트리에서 상기 경고와 연관된 상기 특정 이벤트를 검출하는 것에 응답하여, 상기 라이브 오디오 비디오 스트림과 연관된 기준 마크(fiducial mark)를 생성하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
컴퓨터 시스템에 있어서,
프로세서; 및
적어도 명령어들을 포함하는 메모리;를 포함하고,
상기 명령어들은 상기 프로세서에 의해 실행되는 경우 상기 컴퓨터 시스템으로 하여금
오디오 비디오 스트림을 획득하는 것;
상기 오디오 비디오 스트림을 복수의 이벤트들과 연관시키는 것 - 상기 복수의 이벤트들은 상기 오디오 비디오 스트림의 컨텐츠의 해석을 포함함 -;
자연 언어 명령을 획득하는 것;
상기 복수의 이벤트들 중 특정 이벤트를 참조함으로써 상기 자연 언어 명령에 기초하여 제어 신호를 생성하는 것; 및
상기 특정 이벤트에 대한 상기 오디오 비디오 스트림의 프리젠테이션을 제어하기 위해 상기 제어 신호를 사용하는 것;을 하게 하는 것을 특징으로 하는 컴퓨터 시스템.
제46항에 있어서,
상기 프로세서 및 상기 메모리를 포함하는 서버 컴퓨터를 포함하는 것을 특징으로 하는 컴퓨터 시스템.
제46항에 있어서,
상기 프로세서 및 상기 메모리를 포함하는 클라이언트 컴퓨터를 포함하는 것을 특징으로 하는 컴퓨터 시스템.
제46항에 있어서,
복수의 컴퓨터들을 포함하는 분산 컴퓨터 시스템 - 각각의 상기 컴퓨터는 상기 프로세서 및 상기 메모리를 포함함 - 을 포함하는 것을 특징으로 하는 컴퓨터 시스템.
제46항에 있어서,
상기 자연 언어 명령은 음성 형식인 것을 특징으로 하는 컴퓨터 시스템.
제46항에 있어서,
상기 자연 언어 명령은 텍스트 형식인 것을 특징으로 하는 컴퓨터 시스템.
명령어들을 저장하는 비일시적 머신 판독 가능한 저장 매체에 있어서,
컴퓨터 시스템에서 상기 명령어들의 실행은 상키 컴퓨터 시스템으로 하여금
오디오 비디오 스트림을 획득하는 것;
상기 오디오 비디오 스트림을 복수의 이벤트들과 연관시키는 것 - 상기 복수의 이벤트들은 상기 오디오 비디오 스트림의 컨텐츠의 해석을 포함함 -;
자연 언어 명령을 획득하는 것;
상기 복수의 이벤트들 중 특정 이벤트를 참조함으로써 상기 자연 언어 명령에 기초하여 제어 신호를 생성하는 것; 및
상기 특정 이벤트에 대한 상기 오디오 비디오 스트림의 프리젠테이션을 제어하기 위해 상기 제어 신호를 사용하는 것;을 포함하는 동작들을 수행하게 하는 것을 특징으로 하는 비일시적 머신 판독 가능한 저장 매체.
컴퓨터 시스템에 있어서,
프로세서; 및
적어도 명령어들을 포함하는 메모리;를 포함하고,
상기 명령어들은 상기 프로세서에 의해 실행되는 경우 상기 컴퓨터 시스템으로 하여금
오디오 비디오 스트림을 획득하는 것;
상기 오디오 비디오 스트림을 복수의 이벤트들과 연관시키는 것 - 상기 복수의 이벤트들은 상기 오디오 비디오 스트림의 컨텐츠의 해석을 포함함 -;
상기 오디오 비디오 스트림을 저장소에 저장하여 저장된 오디오 비디오 스트림을 생성하는 것;
자연 언어 명령을 획득하는 것;
상기 복수의 이벤트들 중 특정 이벤트를 참조함으로써 상기 자연 언어 명령에 기초하여 제어 신호를 생성하는 것; 및
상기 오디오 비디오 스트림 또는 상기 저장된 오디오 비디오 스트림 중 적어도 하나의 프리젠테이션을 제어하기 위해 상기 제어 신호를 사용하는 것;을 하게 하는 것을 특징으로 하는 컴퓨터 시스템.