KR20100134610A - 비디오 인터벌 주석 - Google Patents

Abstract

온라인 호스팅 비디오에서 주석을 관리하고 디스플레이하기 위한 시스템 및 방법이 제공된다. 비디오와 관련된 주석을 결정하기 위해서, 비디오의 하나 이상의 인터벌을 위한 복수의 주석이 집합되어 복수의 그룹으로 조직된다. 각각의 그룹은 서로 유사한 비디오의 인터벌을 위한 주석을 포함한다. 관련된 주석을 갖는 그룹이 식별되고, 비디오의 주석 달린 클립이 그룹의 인터벌에 기초하여 형성된다. 이 프로세스는 관련된 주석을 갖는 주어진 비디오의 어떠한 개수의 그룹도 결정하거나, 싱글 비디오 내의 각각의 주석 달린 인터벌을 형성하는데 사용될 수 있으며, 또한 다수의 다른 비디오 내의 주석 달린 인터벌을 식별하고 조직할 수도 있다.

Description

비디오 인터벌 주석{ANNOTATING VIDEO INTERVALS}

본 발명은 비디오 인터벌을 위한 주석의 관리 및 디스플레이에 관한 것이다.

비디오 호스팅 웹사이트를 통한 비디오 공유 확산으로 인해, 온라인 공동체에서 비디오를 공동 작업하고 경험할 많은 기회가 제공되고 있다. 비디오 호스팅 웹 사이트는 사용자가 비디오를 업로드하고, 시청하고, 이에 코멘트를 달고, 평가하도록 해준다. 비디오 호스팅 웹사이트를 브라우징하는 사용자는 예를 들어 비디오를 검색하거나, 디렉토리를 브라우징하거나, 평가에 의한 분류를 수행함으로써 관심 비디오를 찾을 수 있다.

코멘트는 유용한 정보로 비디오를 보완하도록 해준다. 코멘트는 텍스트, 오디오, 그래픽 또는 다른 형태를 포함하는 다양한 데이터 유형일 수 있다. 그러나, 코멘트는 특정 부분보다는 비디오 전체에 대한 정보를 제공하는데 사용되어 왔다. 사용자가 다른 사용자에게 비디오의 특정 부분을 지시하고 싶다면, 사용자는 "1분 48초에서의 스턴트를 보라"와 같이 코멘트 내에 그 부분에 대한 시간 오프셋을 언급해야 한다. 그러면, 다른 사용자는 이러한 코멘트를 이해해서 대상 비디오의 1분 48초의 마크로 건너뛰어 거기서부터 시청하게 된다.

코멘트에 포함된 콘텐츠를 신뢰할 수 없을 수 있다. 코멘트한 저자를 확실히 신뢰하기가 어려워지고 있다. 또한, 많은 코멘트가 코멘트를 통해 전달될 정보의 이해를 방해할 수 있다. 또한, 비디오와 관련된 코멘트가 실제 관련되는지를 알기도 어렵다. 예를 들어, 모든 코멘트가 비디오 내의 동일한 시간 경과 장소와 관련되지 않는다면, 코멘트가 비디오의 동일한 부분을 언급하고 있는지에 대해서 확신할 수 없다.

또한, 사용자는 자기 자신의 코멘트를 만들어서 비디오의 특정 국면(aspects)을 강조하기를 원할 수 있다. 개인화된 코멘트는 이런 북마크가 어떻게 공유되지는 또는 누구와 공유되는지를 결정하는데 있어서 보안 관련 문제 및 과제를 야기할 수 있다. 또한, 개인화된 코멘트를 개별적으로 검토하면, 코멘트를 소유한 사용자 관련 그룹에게 최소한의 의미만을 제공하게 된다. 코멘트를 공유하는 사용자와 사람들은 또한 이러한 개별화된 코멘트를 검색하고 찾기가 어렵다.

본 발명은 비디오 호스팅 웹사이트에서 비디오 내 주석을 관리하는 시스템 및 방법을 포함한다. 사용자는 비디오 호스팅 웹사이트에 저장된 다양한 비디오 내 인터벌 주석을 제출한다. 예를 들어, 주석은 비디오 프레임의 공간 부분, 비디오 내 특정 순간 또는 비디오 장면과 관련될 수 있다. 임의의 주어진 비디오에 대하여, 많은 주석이 존재할 수 있으며, 각 주석은 비디오의 임의의 인터벌과 관련된다. 이들 인터벌은 중첩될 수 있다. 따라서, 비디오의 하나 이상의 인터벌을 위한 주석을 그룹으로 편성하고, 비디오의 클립이 주석 그룹과 관련되도록 결정하는 것이 바람직하다. 각각의 그룹은 비디오의 인터벌을 위한 주석을 포함하고, 인터벌은 서로 유사하다. 관련 주석을 갖는 그룹을 식별하고, 비디오의 주석 달린 클립은 그룹 내 인터벌에 기초하여 형성된다. 이러한 프로세스는 단일 비디오 내의 개별적인 주석 달린 인터벌을 형성하면서 필요에 따라 관련 주석을 갖는 주어진 비디오 내의 임의의 수의 그룹을 결정하기 위하여 확장될 수 있다. 이 프로세스는 또한 많은 수의 상이한 비디오 내의 주석 달린 인터벌을 식별하고 조직할 수 있다.

개요 주석은 관련 주석에 기초하여 결정될 수 있다. 예를 들어, 개요 주석은 관련 주석의 콘텐츠의 개요 또는 관련 주석으로부터의 발췌부분(excerpts)을 포함할 수 있다.

그룹은 다양한 방식으로 형성될 수 있다. 예를 들어, 주석은 각각의 주석과 관련된 타임스탬프에 기초하여 그룹으로 클러스터링될 수 있다. 또한, 주석은 주석과 관련된 인터벌의 시작 시간 및 종료 시간에 기초하여 클러스터링될 수 있다. 그룹은 비디오 내의 식별된 장면 또는 특징과 관련될 수 있다. 또한, 그룹은 비디오에 대응하는 타임라인 상에서 시각적으로 식별될 수 있는 최대수의 주석 달린 클립의 지시의 결정에 기초하여 형성될 수 있다. 인터벌 간의 시간량은 또한 그룹을 형성하는데 고려될 수 있다.

주석의 콘텐츠는 관련 주석을 갖는 그룹을 결정하는데 고려될 수 있다. 예를 들어, 그룹은 공통으로 하나 이상의 키워드를 갖는 주석으로부터 형성될 수 있다. 주석은 또한 하나 또는 다수의 비디오 내의 검색 쿼리 용어를 포함하는 주석을 식별하기 위하여 조사될 수 있다.

제1 비디오와 관련된 주석을 관리하는 방법은 상기 제1 비디오의 하나 이상의 인터벌을 위한 복수의 주석을 수신하는 단계; 서로 유사한 제1 비디오의 인터벌을 위한 주석을 각각 포함하는 복수의 그룹을 형성하는 단계; 관련된 주석을 갖는 제1 그룹을 결정하는 단계; 및 상기 제1 그룹 내의 인터벌에 기초하여 상기 제1 비디오의 제1 주석 달린 클립을 형성하는 단계를 포함한다.

컴퓨터 시스템은 다수의 서버 모듈을 통해 비디오와 관련된 주석을 관리한다. 추출 모듈은 상기 비디오의 하나 이상의 인터벌과 관련된 복수의 주석을 추출한다. 그룹핑 모듈은 유사한 비디오의 인터벌을 위한 주석을 각각 포함하는 복수의 그룹을 형성한다. 주석 결정 모듈은 관련 주석을 갖는 그룹을 결정하고, 주석 달린 클립 형성 모듈은 그룹 내의 인터벌에 기초하여 비디오의 주석 달린 클립을 형성한다.

제1 비디오와 관련된 주석을 관리하는 컴퓨터 시스템은 상기 제1 비디오의 하나 이상의 인터벌을 위한 복수의 주석을 수신하는 수단; 서로 유사한 제1 비디오의 인터벌을 위한 주석을 각각 포함하는 복수의 그룹을 형성하는 수단; 관련된 주석을 갖는 제1 그룹을 결정하는 수단; 및 상기 제1 그룹 내의 인터벌에 기초하여 상기 제1 비디오의 제1 주석 달린 클립을 형성하는 수단을 포함한다.

과제의 해결 수단 및 아래의 상세한 설명에 기재된 특징 및 이점은 모든 것을 포함하는 것이 아니다. 추가적인 많은 특징 및 이점은 여기에 제시된 도면, 명세서, 청구범위에 의해 당업자에게 명백해질 것이다.

본 발명에 따르면, 비디오 인터벌을 위한 주석을 관리하고 디스플레이하는 효율적인 방법 및 시스템이 제공된다.

도 1은 본 발명의 일실시예에 따라 온라인 호스트 비디오에서 주석을 관리하는 시스템 구성의 블록도이다.
도 2는 본 발명의 일실시예에 따라 온라인 호스트 비디오에서 주석을 관리하는 방법을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따라 비디오 인터벌을 위한 주석을 입력하는 사용자 인터페이스를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따라 비디오 인터벌을 위한 주석을 입력하는 사용자 인터페이스를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따라 비디오 인터벌을 위한 주석을 관리하는 사용자 인터페이스를 나타내는 도면이다.
도 6은 비디오의 프레임 및 하나 이상의 프레임에 대한 주석의 인덱스를 나타내는 도면이다.
도 7A는 주석을 시청, 생성, 편집하는 사용자 인터페이스를 나타내는 도면이다.
도 7B는 새로운 주석을 생성하는 사용자 인터페이스를 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따라 비디오 인터벌을 위한 주석을 입력하고 비디오의 주석 달린 클립을 시청하는 사용자 인터페이스를 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따라 비디오의 주석 달린 클립을 시청하는 사용자 인터페이스를 나타내는 도면이다.
도 10은 디스플레이되는 주석을 결정하는 방법을 나타내는 도면이다.
도면은 설명의 목적을 위해 본 발명의 다양한 실시예를 나타낸다. 당업자는 여기에 기재된 구조 및 방법의 다른 실시예가 여기에 기재된 본 발명의 원리를 벗어나지 않는 한도 내에서 채용될 수 있음을 다음의 설명으로부터 용이하게 이해할 것이다.

도 1은 일실시예에 따른 시스템 구성의 블록도이다. 도 1에 도시된 바와 같이, 비디오 호스팅 웹사이트(108)는 프론트 엔드 서버(124), 비디오 서버(126), 네트워크 인터페이스(122), 추출 모듈(110), 그룹핑 모듈(112), 주석 결정 모듈(114), 클립 생성 모듈(116), 개요 주석 모듈(117), 디스플레이 모듈(118), 랭킹 모듈(120), 비디오 데이터베이스(128), 비디오 액세스 로그(129), 및 사용자 데이터베이스(140)를 포함한다. 방화벽, 로드 밸런서(load balancer), 애플리케이션 서버, 장애극복 서버, 사이트 관리 툴 등 종래의 다른 요소는 본 발명의 요소를 더 명확히 설명하기 위하여 도시되어 있지 않다. 시스템의 구현을 위한 적절한 웹사이트(108)로는 유튜브(YouTube^TM) 및 구글 비디오(Google Video^TM) 웹사이트가 있다. 다른 비디오 호스팅 사이트도 잘 알려져 있으며, 본원에 기재된 사상에 따라 작동하도록 개조될 수 있다. "웹사이트"라는 용어는 콘텐츠를 제공하는 임의의 시스템 및 방법을 나타내는 것으로, 인터넷 또는 HTTP 프로토콜을 통해 제공되는 콘텐츠를 지지하는 시스템에 한정되도록 의도된 것이 아니다. 단일 소프트웨어 또는 하드웨어이든 다수의 소프트웨어 또는 하드웨어이든 간에 다양한 서버가 종래에 구현되었으며, 네트워크 인터페이스(122)를 통해 네트워크(105)에 결합될 수 있다. 일반적으로, 서버 상에서 수행되는 것으로서 일실시예에 기재된 기능은 또한 적합하다면 다른 실시예에서는 클라이언트 상에서 수행될 수 있다.

클라이언트(130)는 브라우저(132)를 실행하고, 일반적으로는 인터넷이며 LAN, MAN, WAN, 모바일, 유선 또는 무선 네트워크, 개인 네트워크, 또는 가상 개인 네트워크를 포함하지만 이에 제한되지는 않는 임의의 네트워크일 수 있는 네트워크(105)를 통해 프론트 엔드 서버(124)에 접속된다. 단일 클라이언트(130) 및 브라우저(132) 만이 도시되어 있지만, 많은 수(예를 들어, 수백만)의 클라이언트가 지원되며 웹사이트(108)와 언제라도 통신할 수 있다. 클라이언트(130)는 다양한 기타 컴퓨팅 장치를 포함할 수 있다. 클라이언트 장치(130)의 예는 퍼스널 컴퓨터, 디지털 어시스턴트, 개인 휴대 단말기, 셀룰러 폰, 모바일 폰, 스마트 폰 또는 랩탑 컴퓨터일 수 있다. 본 발명이 상술한 장치로 한정되지 않음은 당업자에게는 자명한 것이다.

사용자는 클라이언트(130)를 이용하여 주석을 보고, 쓰고, 편집한다. 주석은 미디어 파일을 유용하게 보충할 수 있는 임의의 데이터인 주석 콘텐츠를 포함한다. 예를 들어, 주석 콘텐츠는 오디오 또는 텍스트 해설, 메타데이터, 번역, 광고 또는 요약, 소정의 범위(1 내지 5개의 별)로 등급 정하기, 또는 미디어 파일이 어떻게 디스플레이되어야 하는지에 대한 명령 등을 포함할 수 있다. 주석은 선택적으로 주석이 관련된 프레임의 영역을 특정하는 공간 정의를 포함할 수 있다. 주석은 또한 비디오 콘텐츠를 포함할 수 있다. 클라이언트(130)는 비디오를 디스플레이하기 위한 소프트웨어 및 하드웨어를 포함한다.

예를 들어, 클라이언트(130)는 텔레비전, 퍼스널 컴퓨터, 디지털 비디오 레코더(DVR), 개인 휴대 단말기(PDA), 셀룰러 폰, 또는 표시 장치를 갖거나 표시 장치에 접속된 다른 장치로서 구현될 수 있다. 소프트웨어는 MPEG-2, MPEG-4, 퀵 타임, VCD 또는 임의의 기타 현재 또는 미래 비디오 포맷 등의 비디오 파일을 디코딩하는데 적용되는 임의의 비디오 플레이어를 포함한다. 클라이언트의 다른 예는 본 발명의 범위를 벗어나지 않는 범위 내에서 당업자에게 자명한 것이다. 일실시예에 따라 클라이언트(130)에 의해 사용되는 그래픽 사용자 인터페이스의 예는 도 3, 4, 7A 및 7B를 참조하여 설명한다.

일부 실시예에서, 브라우저(132)는 예를 들어, 아도브 시스템으로부터의 플래시(Flash^TM) 플레이어 또는 비디오 호스팅 웹사이트(108)에서 사용되는 비디오 파일 포맷에 적용되는 임의의 다른 플레이어 등의 내장 비디오 플레이어(134)를 포함한다. 사용자는 비디오 카탈로그를 브라우징하거나, 키워드 검색을 수행하거나, 다른 사용자들 또는 시스템 관리자로부터의 플레이 리스트(예를 들어, 비디오 형성 채널 모음)를 검토하거나, 특정 사용자 그룹(예를 들어, 커뮤니티)과 관련된 비디오를 시청으로써 비디오 호스팅 웹사이트(108)로부터 비디오에 액세스할 수 있다.

비디오 서버(126)는 콘텐츠 제공자로부터 업로드된 미디어 콘텐츠를 수신하고 콘텐츠가 클라이언트(130)에 의해 시청되도록 한다. 콘텐츠는 퍼스널 컴퓨터로부터 인터넷을 통해, 전화 또는 PDA로부터 셀룰러 네트워크를 통해, 또는 당업자에게 잘 알려진 네트워크(105)를 통해 데이터를 전송하는 다른 수단에 의해 비디오 서버(126)로 업로드될 수 있다. 콘텐츠는 유사한 방식으로 비디오 서버(126)로부터 다운로드될 수 있다. 일 실시예에서, 미디어 콘텐츠는 클라이언트(130)로 다운로드된 파일로서 제공된다. 다른 실시예에서, 미디어 콘텐츠는 클라이언트(130)로 스트리밍(stream)된다. 비디오 서버(126)가 미디어 콘텐츠를 수신하는 수단이 미디어 콘텐츠가 클라이언트(130)로 전송되는 수단과 일치할 필요는 없다. 예를 들어, 콘텐츠 제공자는 퍼스널 컴퓨터 상에서 브라우저를 통해 비디오를 업로드할 수 있지만, 클라이언트(130)는 PDA로 전송된 스트림으로서 그 비디오를 시청할 수 있다. 비디오 서버(126) 자체가 콘텐츠 제공자로서 제공될 수도 있다.

클라이언트(130) 사용자는 또한 키워드, 태그 또는 다른 메타데이터에 기초하여 비디오를 검색할 수 있다. 이러한 요구는 프론트 엔드 서버(124)에 의해 쿼리로서 수신되어 사용자 쿼리(query)를 만족하는 비디오에 대한 비디오 데이터베이스(128)를 검색하는 비디오 서버(126)에 제공된다. 비디오 서버(126)는 제목, 설명, 태그, 저자, 카테고리 등을 포함하는 비디오에 대한 임의 분야의 데이터 검색을 지원한다. 특정 미디어 파일과 관련된 주석에 대한 클라이언트(130)로부터의 요구가 있으면, 비디오 서버(126)는 미디어 파일과 관련된 하나 이상의 주석을 네트워크(105)를 통해 클라이언트(130)로 전송한다. 클라이언트(130)가 미디어 파일과 관련된 하나 이상의 주석을 제출하면, 비디오 서버(126)는 사용자 데이터베이스(140) 내의 미디어 파일과 관련된 하나 이상의 주석을 저장한다.

수신된 주석에 관한 정보는 사용자 데이터베이스(140)에 저장된다. 사용자 데이터베이스(140)는 웹사이트 상에서 비디오를 시청하는 모든 사용자의 기록을 유지한다. 각각의 개별 사용자에게는 사용자 ID가 할당된다. 사용자 ID는 사용자 IP 주소, 사용자 이름 등의 임의의 식별 정보에 기초할 수 있다. 사용자 데이터베이스는 또한 이메일 또는 텍스트 메시지의 사용과 같은 다른 애플리케이션을 통해 그리고 비디오 콘텍스트에서의 사용자 평판(reputation)에 관한 정보를 포함할 수 있다.

클라이언트(130) 및 브라우저(132) 사용자는 네트워크(105)를 통해 비디오 하우징 웹사이트(108)로 콘텐츠를 업로드할 수 있다. 업로드된 콘텐츠는 예를 들어, 비디오, 오디오 또는 비디오 및 오디오의 조합을 포함할 수 있다. 업로드된 콘텐츠는 처리되어 비디오 데이터베이스(128)에 저장된다. 이러한 프로세싱은 포맷 변환(트랜스코딩), 압축, 메타데이터 태깅(tagging), 및 기타 데이터 프로세싱을 포함할 수 있다. 업로드된 콘텐츠 파일은 업로딩하는 사용자와 관련되므로, 사용자의 계정 기록은 필요에 따라 사용자 데이터베이스(140)에 업데이트된다.

일실시예의 설명과 편의를 위해, 업로드된 콘텐츠는 "비디오", "비디오 파일" 또는 "비디오 항목"이라 하지만, 업로드될 수 있는 콘텐츠의 유형은 이 용어에 의해 제한되지 않는다. 처리 과정에서, 각각의 업로드된 비디오에는 비디오 식별자가 할당된다.

비디오 데이터베이스(128)는 수신된 비디오를 저장하는데 사용된다. 비디오 데이터베이스(128)는 각각의 콘텐츠 소유자에 의해 제공되는 비디오 콘텐츠 및 관련 메타데이터를 저장한다. 비디오 파일은 비디오 ID, 아티스트, 비디오 제목, 라벨, 장르 및 시간 길이 등의 각각의 파일과 관련된 메타데이터를 갖는다.

비디오 데이터베이스(128) 내의 비디오 액세스 로그(129)는 비디오 액세스의 각 인스턴스(instance)를 저장한다. 주석은 비디오와 관련된 타임라인(timeline)의 일부 또는 지표 상에서 클릭함으로써 제출될 수 있다. 사용자는 타임라인 상에서 클릭하고 드래그하여 비디오의 보다 더 긴 인터벌에 대한 주석을 특정할 수 있다. 사용자는 또한 장치와 관련된 사용자 인터페이스를 통해 주석의 입력을 허용하도록 구성된 원격 제어기를 사용함으로써, 디지털 비디오 레코더(DVR)를 통해 또는 유사한 기능을 제공하는 장치로 주석을 제출할 수 있다. 액세스 로그(129) 내의 개별 입력은 액세스되는 비디오, 액세스 시간, 사용자의 IP 어드레스, 가능하다면 사용자 ID, 쿠키, 검색 쿼리, 비디오와의 상호작용 유형을 식별하는 데이터 및 비디오와의 모든 상호작용 시간을 식별한다. 상호작용 유형은 재생, 중지, 되감기, 빨리감기, 주석 제출 또는 비디오 등급 등의 웹사이트(108)의 사용자 인터페이스 내의 임의의 사용자 상호작용을 포함할 수 있다.

도 3에는 클라이언트(130)에 의해 비디오 서버(126)로부터 주석을 입력하고 미디어 콘텐츠를 시청하는 사용자 인터페이스를 제공하는 웹 페이지의 일 예가 도시되어 있다. 웹 페이지는 비디오(300)를 포함하고, 콘텐츠 제공자의 이름 또는 사용자 ID, 비디오가 업로드된 날짜(도시하지 않음) 등의 비디오에 대한 정보를 포함할 수 있다. 웹 페이지는 또한 비디오(300)에 대응하는 타임라인(302)을 포함한다. 타임라인(302) 상의 마커(308)는 디스플레이되는 비디오(300)의 현재 위치를 나타낸다. 웹 페이지는 또한 주석의 콘텐츠를 검색하는 검색 박스(304)를 갖는다.

사용자는 다양한 방식으로 비디오의 인터벌에 대한 주석을 제출할 수 있다. 예를 들어, 사용자는 주석을 제공하기를 원하는 비디오의 인터벌을 볼 때 "B" 버튼(306)을 클릭할 수 있다. 사용자는 또한 "B" 버튼(306)을 클릭하고 유지하여 하나의 클릭보다 긴 인터벌을 나타낼 수 있다. 다른 선택으로서, 사용자는 "B" 버튼(306)을 클릭하여 인터벌의 시작 시간을 표시하고 "B" 버튼(306)을 다시 클릭하여 주석을 제공하고 있는 인터벌의 끝을 나타낼 수 있다. 도 3에는 비디오 인터벌을 위한 주석을 수신하는 사용자 인터페이스의 일 예가 도시되어 있다.

도 4에는 비디오 인터벌을 위한 주석을 수신하는 사용자 인터페이스의 다른 예가 도시되어 있다. "B" 버튼(416) 위에 커서(420)를 위치 지정함으로써 팝업(410)이 디스플레이된다. 이 윈도우는 사용자가 텍스트박스(412)에 텍스트를 입력하도록 하여 주석을 생성한다. 또한, 사용자는 "공개" 버튼(402)을 클릭하여 입력된 텍스트가 공개적으로 검색되고 시청될 수 있음을 나타낼 수 있다. 도 6을 참조하여 상세히 설명하는 바와 같이 주석은 또한 비디오 프레임의 공간 위치와 관련될 수 있다.

도 5는 본 발명의 일실시예에 따라 비디오 인터벌을 위한 주석을 관리하는 사용자 인터페이스를 나타내는 도면이다. 커서(510)를 사용하여 "B" 버튼을 선택하면, 윈도우(520)이 디스플레이되어 사용자는 북마크 주석을 지우거나 불러올 수 있다. 당업자는 본 발명에 따라 다른 사용자 인터페이스가 사용될 수 있음을 인식할 것이다.

도 1의 모듈(110 내지 112)은 도 2에 도시된 방법을 실행하는데 사용될 수 있다. 추출 모듈(110)은 비디오 액세스 로그(129)로부터 수신된 주석 이벤트를 추출한다(210). 인터벌은 비디오 내의 특정 순간(예컨대, 2분 3초)일 수 있으며 시간 범위(예컨대, 2분 3초부터 2분 45초)일 수 있다. 주석과 관련된 사용자 정보는 예를 들어 주석이 수신된 시간, 각 주석과 관련된 타임스탬프, 주석과 관련된 인터벌의 시작 시간 및 종료 시간, 주석을 제출하는 사용자에 대한 평판 점수를 포함할 수 있다. 사용자 정보는 사용자 데이터베이스(140)에 저장될 수 있다. 추출 모듈(110)은 주석을 추출하고 비디오 ID와 타임스탬프에 의해 주석을 분류하여 주석 블록을 형성한다. 각각의 주석 블록은 비디오와 관련되며 타임스탬프에 의해 분류된다.

그룹핑 모듈(112)은 유사한 비디오 인터벌을 위한 주석을 포함하는 그룹을 형성한다(220). 주석 블록 내의 주석 그룹은 다양한 방법에 의해 형성될 수 있다. 예를 들어, 그룹핑 모듈(112)은 각각의 주석과 관련된 타임스탬프에 기초하여 주석을 클러스터링함으로써 다수의 그룹을 형성한다. 주석이 서로 특정 시간 제한 내에서 타임스탬프를 가지는 경우, 그룹핑 모듈은 주석이 유사한 비디오 인터벌과 관련되어 클러스터링되는 것으로 결정한다. 예를 들어, 서로 5초 내의 타임스탬프를 갖는 주석은 유사한 인터벌과 나타내는 것으로 결정된다. 예를 들어, 어떤 사용자는 시작시의 행동에 타임스탬프를 찍고, 일부 사용자는 클라이맥스에 타임스탬프를 찍고, 다른 사용자는 종료 직후에 타임스탬프를 찍을 수 있다. 이 기술을 이용하여 이들 주석은 서로 그룹핑될 수 있다.

다른 실시예에서, 주석은 인터벌의 시작 시간 및 종료 시간에 기초하여 클러스터링될 수 있다. 예를 들어, (주석이 관련된 인터벌의 시작 시간 및 종료 시간로 경계 지워진) 인터벌 간에 충분한 오버랩(예를 들어, 25%)이 있으면, 그룹핑 모듈(112)은 주석이 유사한 비디오 인터벌과 관련되는 것으로 결정한다. 이것은 주석이 관련된 인터벌이 동일하지 않은 경우에도 주석이 그룹핑되도록 한다.

주석을 클러스터링하는 다양한 방법이 사용될 수 있다. 공지된 클러스터링 방법 중의 일부 예는 k 수단 또는 k-센터 클러스터링을 포함한다.

다른 실시예에서, 그룹핑 모듈(112)은 주석이 관련된 인터벌 간의 시간의 양을 결정함으로써 그룹을 형성한다(220). 인터벌 사이에 충분한 양의 시간(예를 들어, 30초)이 존재하면, 그룹핑 모듈(112)은 인터벌과 관련된 주석에 대한 새로운 그룹을 형성한다. 예를 들어, 10분 분량의 비디오 내에서 문제의 두 인터벌 간에 단지 5초만 존재하면, 그룹핑 모듈은 인터벌에 대한 새로운 그룹을 형성하는 것을 거절할 수 있다.

다른 방법으로, 그룹핑 모듈(112)은 비디오 내 복수의 장면 또는 특징을 식별하고 각각의 그룹을 하나 이상의 장면 또는 특징과 관련시킴으로써 그룹을 형성한다(220).

특징은 유사한 비디오의 하나 이상의 프레임의 콘텐츠의 간결한 표현이다. 예를 들어, 그룹핑 모듈(112)은 프레임을 장면 또는 쇼트(shot) 등의 논리 단위로 그룹핑할 수 있다. 그룹핑 모듈(112)은 장면 검출 알고리즘을 이용하여 자동으로 프레임을 그룹핑할 수 있다. 관련 분야에서 동일하게 사용될 수 있는 공지된 많은 장면 검출 알고리즘이 존재하지만, 장면 검출 알고리즘의 한가지 예가 Naphade, M.R. 등의 "다중 큐(cue)를 이용한 고성능 쇼트 경계 검출 알고리즘" 1998년 화상처리에 관한 국제 컨퍼런스 (1998년 10월 4일부터 7일), 볼륨 1, 884 내지 887 페이지에 기재되어 있다.

따라서, 그룹핑 모듈(112)은 동일한 장면에 속하는 모든 프레임에 대한 하나의 특징 세트를 산정할 수 있다. 특징은 예를 들어 시간, 공간 또는 주파수 영역에서의 특성에 대한 표현일 수 있다. 예를 들어, 주석은 특정 프레임과 관련될 수 있고, 시간, 위치 및 주파수 영역 특징에 의해 그 프레임을 표현할 수 있다. 그룹핑 모듈(112)은 Zabih, R., Miller, J. 및 Mai, K.의 "장면 중단을 검출하고 분류하는 특징 기반 알고리즘", Proc. ACM 멀티미디어 95, 샌프란시스코, CA (1993년 11월), 189 내지 220 페이지; Arman, F., Hsu, A. 및 Chiu, M-Y.의 "인코딩된 비디오 시퀀스에 대한 화상 처리", 멀티미디어 시스템(1994), 볼륨 1, 넘버 5, 211 내지 219 페이지; Ford, R.M. 등의 "디지털 비디오 시퀀스에서 쇼트 경계 검출용 메트릭", 멀티미디어 시스템(2000), 볼륨 8, 37 내지 46 페이지에 기재된 것 등의 비디오의 특징을 결정하는 임의의 기술을 이용할 수 있다. 당업자는 비디오의 특징을 검출하는 다양한 기술을 인식할 수 있을 것이다.

다른 실시예에서, 그룹핑 모듈(112)은 비디오에 대응하는 타임라인 상에서 시각적으로 구별될 수 있는 최대 수의 주석 달린 클립 지시를 결정함으로써 그룹을 형성한다(220). 예를 들어, 긴 비디오는 다양한 인터벌과 관련된 다수의 주석을 가질 수 있다. 주석 달린 클립 지시는 화상 크기 및 해상도 제한 때문에 타임라인 상에서 시각적으로 구별되기 어려울 수 있다. 어떤 경우에는, 짧은 비디오보다 긴 비디오에서 더 많은 그룹이 필요할 수 있다. 타임라인 상에서의 다수의 주석 달린 클립 지시에 대한 시각적 구별의 어려움을 고려하여, 그룹핑 모듈(112)은 시각적 지시에 기초하여 형성할 최대량의 그룹을 설정할 수 있다. 따라서, 예를 들어, 10개 이상의 주석 달린 클립이 있는 경우에도, 그룹핑 모듈(112)은 디스플레이되는 지시를 주어진 비디오 내에서 최대 10개의 주석 달린 클립으로 제한할 수 있다. 또한, 그룹핑 모듈(112)은 액션이 많은(action-packed) 짧은 비디오를 최대수의 주석 달린 클립으로 제한하여 타임라인 상의 지시의 시각적 구별을 용이하게 할 수 있다.

주어진 비디오에 대하여, 주석 결정 모듈(114)은 다양한 방식으로 관련 주석을 갖는 그룹을 결정한다(230). 당업자는 자연어 프로세스/컴퓨터 언어 방법뿐만 아니라 스테밍(stemming), 관련 워드 확장, 벡터 분석, 및 서브-스트링 유사성 등의 다양한 정보 검색 기술을 이용하여 주석의 그룹핑이 실행될 수 있음을 인식할 것이다. 예를 들어, 주석 결정 모듈(114)은 개별 주석 내의 콘텐츠를 최소한 부분적으로 비교하여 관련 주석의 제1 그룹을 결정한다. 따라서, 상이한 주석 내의 동일 또는 유사한 워드가 그룹 내에서 주석이 관련되었음을 결정하는데 사용될 수 있다(예를 들어, "뉴욕 시티(New York City)" 및 "뉴욕 (New York)"이라는 단어를 갖는 주석은 동일한 처음 8글자를 포함하기 때문에 관련될 수 있다).

다른 예에서, 주석 결정 모듈(114)은 유일한 사용자에 의해 주석이 제공되었는지에 기초하여 각각의 주석에 가중치를 할당하고, 주석의 할당된 가중치에 기초하여 그룹을 결정한다. 따라서, 그룹은 각각의 주석에 할당된 가중치에 기초하여 관련된 주석을 갖는 것으로 결정될 수 있다(예를 들어, 동일한 사용자에 의해 제출된 주석은 더 적은 가중치를 갖으므로, 그룹의 결정에 대해 관련될 가능성이 적을 것으로 간주된다).

주석 결정 모듈(114)은 또한 주석과 관련된 평판 점수에 기초하여 각각의 주석에 가중치를 할당할 수 있다. 주석은 예를 들어 새로운 또는 인식되지 않은 사용자에 의해 주석이 제출되었는지, 사용자에 의해 이전에 제출된 주석의 유용성, 다른 사용자에 의해 승인된 사용자에 의한 주석의 수, 또는 사용자 데이터베이스(140) 내의 사용자에 대한 다른 정보에 기초하여 평판 점수와 관련될 수 있다.

클립 생성 모듈(116)은 주어진 그룹 내에서 인터벌에 기초하여 비디오 클립을 형성하는데 적용된다(240). 클립을 형성하는 다양한 방법이 존재한다. 일실시예에서, 클립 생성 모듈(116)은 수신된 주석을 갖는 인터벌의 시작 시간만을 조사한다. 따라서, 고려되는 모든 인터벌은 비디오 내의 어떤 순간에서 시작하여 비디오의 끝까지 계속된다. 대안으로, 클립 생성 모듈(116)은 수신된 주석을 갖는 인터벌의 시작 및 종료 시간 둘 다 고려할 수 있다. 클립 생성 모듈(116)은 이들 시간을 이용하여 그룹 내 임의의 인터벌의 가장 이른 (또는 가장 늦은) 지점을 결정하고, 선택적으로 이들 시간을 그 직전(또는 직후) 장면의 시작으로 라운드(round)할 수 있다.

다른 실시예에서, 클립 생성 모듈(116)은 각각의 인터벌에 대한 주석의 가중치 또는 각 순간에 대한 주석 수의 로그를 부가함으로써, 타임 라인 상에서의 그룹 내 개별 인터벌의 기여를 추정한다. 클립 생성 모듈(116)은 표준 통계 방법에 의해 확률 모델을 분포(예를 들어, 가우스 분포)에 적용하여, 그 중심을 평균으로 선택한다. 클립 생성 모듈(116)은 평균의 어느 한쪽으로 소정 수(예를 들어, 3개)의 표준 편차를 선택하여, 시작 및 종료 시간이 장면 경계로 라운딩되도록 할 수 있다.

다른 실시예에서, 클립 생성 모듈(116)은 트래픽 트레이스를 조사하여 임의의 주석을 제출하지 않은 사용자를 포함하는 상이한 사용자에 의해 얼마나 많은 비디오의 개별 순간이 시청되었는지를 결정한다. 이 정보는 또한 상술한 방법과 함께 사용되어 클립이 어디에서 시작하고 종료하는 지를 결정할 수 있다. 일실시예에서, 주어진 기간 내에 가장 많은 트래픽을 수신한 비디오의 인스턴스는 동일한 클립의 부분으로서 간주되어 클립 길이를 결정하는데 사용된다.

예를 들어, 모터 사이클을 탄 영화배우가 2분의 시점에서 물에 있는 상어를 뛰어 넘어 점프의 정점에 다다르는 장면과 같은 스턴트의 수행을 묘사하는 3분 분량의 비디오를 가정해 보자. 하나의 주석은 점프 전 2초 및 점프 후 2초(예를 들어, 1분 58초 내지 2분 2초)의 인터벌에 대한 것일 수 있고, 다른 주석은 점프 정점(예를 들어, 2분)에 대한 것일 수 있고, 제3 주석은 점프 전부터 모터사이클이 안전하게 착지한 후까지 지속되는 (예를 들어, 1분 50초 내지 2분 10초) 인터벌에 대한 것일 수 있다. 이들 인터벌에 기초하여, 클립 생성 모듈(116)은 주석 달린 클립(예를 들어, 1분 54초 내지 2분 6초)을 형성한다. 이 예에서, 클립 생성 모듈(116)은 3개의 주석과 관련된 인터벌 내에서 시간을 평균함으로써 주석 달린 클립을 형성한다.

개요 주석 모듈(117)은 제1 그룹 내의 관련 주석에 기초하여 비디오의 제1 주석 달린 클립에 대한 개요 주석을 형성한다. 일실시예에서, 개요 주석 모듈(117)은 제1 그룹 내의 관련 주석의 콘텐츠를 요약함으로써 개요 주석을 생성한다. 당업자는 주석 개요가 웹 검색 인터페이스에서 처럼 주석 연관과 같은 다양한 기술을 이용하거나 "스니팻(snippet)" 생성 방법을 이용하여 실행될 수 있음을 인식할 것이다. 주석을 요약하는 다른 기술은 1-센터(최대 거리의 최소를 갖는 주석 대 다른 모든 주석)를 결정하기 위한 스트링 간의 다양한 편집 거리 등의 스트링 유사성을 이용하고 있다. 다른 실시예에서, 개요 주석은 (게놈 시퀀스를 분석하는 컴퓨터 생물학에서처럼) 공통적인 후속 분석에 기초하여 생성될 수 있다.

일 예에서, 개요 주석 모듈(117)은 관련 주석의 발췌부분을 제공함으로써 개요 주석을 생성한다. 일예로서, 3개의 주석, 즉, (1) "폰지(Fonzie)가 상어를 점프한다", (2) "폰즈가 도약한다" 및 (3) "반바지와 가죽 재킷: 상어를 점프하고 있다"가 제출되는 것으로 가정해 보자. 3개 주석의 콘텐츠를 요약하는 개요 주석에는 "반바지와 가죽 재킷을 입은 폰즈가 도약하여 상어를 점프한다"라고 적혀 있을 수 있다. 관련 주석을 발췌한 개요 주석에는 "폰지가 상어를 점프하고... 도약하고... 반바지와 가죽 재킷"라고 적혀 있을 수 있다.

랭킹 모듈(120)은 각 그룹 내의 주석 수에 기초하여 주석 달린 클립의 순위를 매긴다. 랭킹 모듈(120)은 또한 다수의 비디오에 대하여 주석 달린 클립의 순위를 매긴다. 다양한 모듈은 임의의 수의 비디오 내의 개별 클립에 대한 주석 수를 결정하여 전반적으로 주석이 가장 많이 달린 클립을 식별할 수 있다.

랭킹 모듈(120)은 비디오 검색과 함께 사용되어, 검색 쿼리에 대한 응답으로 결정되는 비디오를 각각의 응답 비디오에 대한 그룹 관련 주석에 기초하여 순위 매길 수 있다. 일실시예에서, 랭킹 모듈(120)은 각각의 비디오 내의 가장 많은 주석 인터벌에 대한 주석 수에 기초하여 비디오 순위를 결정한다(예를 들어, 가장 높은 순위의 비디오는 가장 높은 수의 주석을 수신한 클립을 포함하는 비디오일 수 있다). 다른 실시예에서, 랭킹 모듈(120)은 각각의 비디오 내의 모든 그룹에 대해 수신된 주석의 총수에 기초하여 비디오 순위를 결정한다(예를 들어, 가장 높은 순위의 비디오는 그 비디오 내의 모든 클립에 걸쳐 가장 많은 주석을 수신한 비디오일 수 있다).

디스플레이 모듈(118)은 비디오와 관련된 타임라인 상에 주석 달린 클립 지시를 디스플레이한다. 이로 인해 사용자는 하나 이상의 비디오 내의 주석 달린 클립을 효율적으로 이해하고 액세스한다. 디스플레이 모듈(118)은 또한 제1 주석 달린 클립 및 제2 주석 달린 클립을 포함하는 비디오의 주석 발췌부분을 형성하고 주석 발췌부분을 디스플레이함으로써 주어진 비디오의 주석 하이라이트 부분 또는 예고편을 생성할 수 있다.

비디오 데이터베이스(128)는 주석 달린 클립과 함께 비디오 리스트를 저장한다. 리스트는 장르, 등급 또는 임의의 다른 특성에 의해 그룹핑될 수 있다. 관련 비디오의 리스트는 일 예에서 사용자 데이터베이스(140)로부터의 주석 활동을 분석함으로써 시간마다 업데이트된다. 주석이 가장 많이 달린 클립의 리스트가 생성되면, 비디오 서버(126)는 사용자 데이터베이스(140)로부터의 주석 뿐만 아니라 리스트에 기초하여 비디오 데이터베이스(128)로부터 비디오를 추출하고 시청을 위해 사용자에게 주석 달린 비디오를 제공한다.

도 3에서, 클라이언트는 타임라인(302) 상에 도시된 많은 주석(310A 내지 301E)을 제출한다. 도 8을 참조하여 설명하는 바와 같이, (도시되지 않은 다른 주석과 함께) 주석(310A 내지 310E)은 비디오의 주석 달린 클립을 형성하는데 사용된다. 예를 들어, 주석(310A 내지 310B)은 (도시되지 않은 다른 주석과 함께) 참조 번호(810)에 의해 지시되는 주석 달린 클립을 형성하는데 사용되고, 주석(310C 내지 310D)은 참조 번호(820)에 의해 지시되는 주석 달린 클립을 형성하는데 사용되고, 주석(310E)은 참조 번호(830)에 의해 지시되는 주석 달린 클립을 형성하는데 사용된다.

도 6에는, 주석이 시간적으로 및/또는 공간적으로 비디오 파일 및 하나 이상의 프레임과 어떻게 관련되는지를 나타내는 개념도가 도시되어 있다. 도 6은 프레임(600)으로부터 프레임(651)까지의 일련의 비디오 프레임을 나타낸다. 클라이언트(130)는 이들 프레임을 디스플레이하고, 프레임이 디스플레이되는 순서 또는 속도를 조절하는 중지, 되감기, 빨리감기, 스킵 등을 수행할 수 있다.

설명의 목적으로, 여기서는 프레임으로 구성된 비디오를 참조한다. 비디오는 때때로 프레임 블록, 필드, 매크로 블록 또는 미완성 프레임 섹션으로서 저장되거나 전송된다. 비디오가 프레임으로 구성되었다는 것을 참조한다면, 중간 스텝 과정에서 비디오는 다양한 다른 형태 중 임의의 하나로서 저장될 수 있음을 이해할 것이다. "프레임"이라는 용어는 명확성을 위하여 사용되며 비디오의 저장 또는 디스플레이를 위한 임의의 특정 포맷 또는 관례에 한정되는 것은 아니다.

일부 프레임은 특정 사용자에 의해 제공되는 것과 관련된 주석을 갖는다. 도시된 예에서, 프레임(601)이 관련된 주석의 일부를 나타내기 위해 더 상세히 도시되었다. 도시된 바와 같이, 주석은 프레임의 특정 공간 위치와 관련되거나 전체 프레임과 관련될 수 있다. 예를 들어, 주석 1은 프레임(601)의 좌측 상부 코너의 직사각형 박스와 관련된다. 이에 반해, 주석 4는 전체 프레임과 관련된다.

주석은 또한 중첩하는 공간 위치와 관련될 수 있다. 예를 들어, 주석 1은 주석 2와 관련된 상이한 직사각형 박스를 중첩하는 직사각형 박스와 관련된다. 일 실시예에서, 주석은 임의의 폐쇄된 형태에 의해 정의된 공간 위치와 관련될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 주석 3은 타원형으로 정의된 공간 위치와 관련될 수 있다.

주석 리스트(680)는 주석의 공간 정의와 주석의 콘텐츠 간의 관련성을 유지한다. 프레임(601) 내의 직사각형 박스와 관련된 주석 1은 텍스트 "부통령"을 포함한다. 주석 1은 프레임의 특정 부분에 추가적인 정보를 부가하거나 하이라이트하는데 유용한 주석의 일 예이다. 주석 4는 전체 프레임(601)과 관련되고 텍스트 "연두교서(State of the Union)"를 포함한다. 주석 4는 프레임의 콘텐츠를 요약하는데 사용되는 주석의 일 예이다. 주석 5는 전체 프레임(601)과 관련되고, 이 경우에는 프랑스어 음성 통역인 일부 오디오를 포함한다. 주석 5는 추가적인 오디오 콘텐츠를 제공하는데 사용되는 주석의 일 예이다.

주석은 또한 미디어 파일 또는 임의의 부분과의 시간적 관련성을 갖는다. 예를 들어, 주석은 특정 프레임 또는 특정 범위의 프레임과 관련될 수 있다. 예를 들어, 도 6에서, 주석 2는 프레임(600) 내지 프레임(651)과 관련될 수 있지만, 주석 5는 프레임(601)과만 관련될 수 있다. 주석과 관련된 공간 정의는 시간에 따라 변할 수 있다. 예를 들어, 주석 1은 프레임(601) 내의 제1 영역과 관련될 수 있고 프레임(602)의 제2 영역과 관련될 수 있다. 시간 및 공간에 의해 좌우되는 주석 관련성은 특히 움직이는 물체에 관한 보충적인 정보를 제공하는데 유용하며, 도시된 예에서처럼 미국 부통령의 움직임을 제공할 수 있다. 시간적 관련성은 프레임수, 시간 코드 또는 임의의 다른 인덱싱 기준으로 정의될 수 있다. 주석 리스트(680)를 표로 제공하는 것은 사용된 저장 포맷을 한정하기 위한 것이 아니다. 저장 요구사항을 감소시키고 및/또는 검색 속도를 증가시키는 최적화된 포맷을 포함하는 주석 정보의 임의의 포맷 또는 구성이 사용될 수 있다.

미디어 파일을 재생하는 과정에서, 클라이언트(130)는 파일의 프레임과 관련된 주석을 디스플레이하는데 적용된다. 주석은 예를 들어, 비디오 프레임 상에 중첩된 텍스트로서, 프레임과 동시에 표시되는 그래픽으로서, 또는 비디오와 동시에 재생되는 오디오로서 디스플레이될 수 있다. 주석은 또한 비디오에 근접한 별개의 윈도우 또는 프레임에 나타날 수 있다. 주석은 또한 관련된 미디어 파일이 디스플레이되는 방법에 대한 명령을 포함할 수 있다. 명령 주석을 디스플레이하는 것은 주석에 의해 지시되는 비디오를 디스플레이하는 것을 포함할 수 있다. 예를 들어, 주석에 응답하여, 클라이언트(130)는 비디오 내의 다른 장소로 스킵하거나 슬로우 모션으로 비디오의 일부를 디스플레이하거나 완전히 상이한 비디오로 점프할 수 있다.

클라이언트(130)는 이용가능한 주석의 서브세트를 디스플레이할 수 있다. 예를 들어, 도 6의 비디오를 시청하는 사용자는 다양한 기준의 지정에 의해 클라이언트(130)에 의해 디스플레이되어야 하는 주석을 선택할 수 있다. 사용자는 임의의 유형의 주석(예를 들어, 해설, 텍스트, 그래픽, 오디오) 또는 디스플레이의 특정 영역에 의해 정의된 주석만을 수신하도록 선택할 수 있다. 사용자는 (키워드 등의) 소정의 검색 기준에 매칭되거나 특정 사용자에 의해 쓰여진 특정 언어의 주석만을 수신하도록 선택할 수 있다. 다른 예로서, 주석이 사용자의 공동체에서 기록되고 편집되면, 사용자는 소정 임계치 이상의 평판을 갖는 사용자에 의해 쓰여진 주석 또는 소정 임계치 이상의 등급을 갖는 주석만을 수신하도록 선택할 수 있다.

사용자는 또한 주석을 검색하고 주석 검색의 결과에 기초하여 관련된 비디오를 검색할 수 있다.

소정의 주석에는 사용자가 주석이 디스플레이되는 것을 막지 못하도록 하는 우선권이 주어질 수 있다. 예를 들어, 광고 주석이 디스플레이되지 않는다면 다른 주석도 디스플레이되지 않도록 구성될 수 있는 주석을 포함할 수 있다. 이러한 구성은 사용자가 유료 광고 주석을 시청하지 않으면서 소정 주석을 시청하는 것을 방지한다. 또한, 비디오의 내비게이션을 용이하게 하기 위한 콘텐츠의 간략한 정보를 포함하는 "태그" 등의 소정의 주석이 콘텐츠 제공자에 의해 제공될 수 있다. 콘텐츠 제공자의 "태그"를 구분함으로써, 주석이 평판이 좋은 소스로부터 나온 것임을 사용자에게 나타낼 수 있다.

디스플레이되는 주석을 결정하는 방법은 도 10을 참조하여 설명한다. 예를 들어, 사용자는 사용자가 집필하여 디스플레이한 개별화된 북마크 주석만을 갖기를 원할 수 있다. 또는 사용자가 그의 친구 또는 가족의 신뢰하는 그룹의 북마크 주석만이 표시되기를 원할 수 있다.

선택적으로, 클라이언트는 사용자로부터의 주석에 대한 변경을 수신할 수 있다. 예를 들어, 사용자는 텍스트를 편집하거나, 오디오를 재녹음하거나, 주석 콘텐츠에 포함된 메타데이터를 변경하거나 주석 명령을 변경할 수 있다. 클라이언트는 변경된 주석을 비디오 서버로 전송하거나 변경에 대한 설명을 비디오 서버로 전송할 수 있다. 비디오 서버는 변경된 주석을 수신하여 사용자 데이터베이스에 저장한다.

예를 들어, 도 6에 도시된 주석을 시청하는 사용자는 주석 1에 만족하지 않을 수 있다. 사용자는 클라이언트(130)에 접속된 입력 장치를 이용하여 주석 텍스트 "부통령"을 "미국 부통령"로 변경한다. (사용자 또는 가능하면 다른 사용자에게로의) 주석의 미래 디스플레이는 변경된 텍스트 "미국 부통령"을 포함한다. 다른 선택으로서, 사용자는 주석이 관련된 시간 또는 공간 정의를 변경할 수 있다. 예를 들어, 눈치 빠른 사용자는 프레임의 오른쪽에 도시된 문서가 15 USC§§78dd-1로부터 발췌되고 (대통령의 지위에 의해 거의 완벽하게 알려지지 않았음에도 불구하고) 헌법이 프레임의 좌측에서 아주 미세하게 보여짐을 인식할 수 있을 것이다. 사용자는 예를 들어 클라이언트(130)에 접속된 입력 장치를 이용하여 (예컨대, 비디오 프레임을 나타내는 직접 조작 사용자 인터페이스에서) 공간 정의를 상이한 위치로 드래그함으로써 주석 3이 관련된 시간적 정의를 변경할 수 있다.

주석 및 그 관련된 프레임이 어떻게 편성될 수 있는지의 일 예를 도시할 목적으로 주석 리스트(680)가 도 6에 도시되어 있다. 주석 리스트(680)는 프레임 또는 프레임 범위와 관련된 주석을 관리하고 디스플레이하는데 유용하지만, 주석은 본 발명의 벗어나지 않는 한도 내에서 다르게 편성될 수 있다.

도 6을 참조하여 설명하는 바와 같이, 주석은 비디오 내의 프레임 범위와 관련될 수 있다. 비디오의 하나 이상의 프레임 세트를 종종 비디오의 인터벌이라 한다.

도 7A를 참조하면, 사용자는 그래픽 사용자 인터페이스를 사용하여 주석을 검색, 생성, 편집할 수 있다. 도시된 예에서, 주석용 그래픽 사용자 인터페이스는 비디오 플레이어 그래픽 사용자 인터페이스(702)에 통합된다. 비디오 플레이어 그래픽 사용자 인터페이스(702)는 클라이언트(130)의 디스플레이 장치 상에 표시될 수 있는 인터페이스의 일 예이다. 비디오 플레이어 그래픽 사용자 인터페이스(702)는 미디어 파일을 선택, 재생, 중지, 빨리 감기, 되감기 하는 제어 버튼 뿐만 아니라 미디어 파일(도시된 예에서, 비디오)을 제시하는 디스플레이 영역을 포함한다. 비디오 플레이어 그래픽 사용자 인터페이스(702)는 또한 도 7A에 도시된 국립 보관소 및 기록 행정부용 광고 등의 광고를 포함할 수 있다.

비디오 플레이어 그래픽 사용자 인터페이스(702)는 비디오 프레임을 제시한다. 비디오 프레임과 함께 제시되는 것은 주석 정의(704)이다. 주석 정의(704)는 주석의 공간 정의 및/또는 시간 정의를 그래픽으로 나타낸다. 예를 들어, 도 7A에 도시된 주석 정의는 주석이 관련된 프레임의 서브세트를 기술한다. 다른 예로서, 주석 정의(704)는 주석이 관련된 프레임의 범위를 기술할 수 있다. 도 7A에는 단일 주석 정의(704)가 도시되어 있지만, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 본 발명의 범위를 벗어나지 않는 복수의 주석 정의(704)를 포함할 수 있다.

주석 정의(704)는 사용자 선택에 응답하여 디스플레이될 수 있으며, 기존 주석의 디스플레이의 일부로서 디스플레이될 수 있다. 예를 들어, 사용자는 입력 장치를 이용하여 새로운 주석이 관련된 프레임의 영역을 선택할 수 있고, 그 선택에 응답하여 비디오 플레이어 그래픽 사용자 인터페이스(702)는 사용자에 의해 생성된 주석 정의(704)를 디스플레이한다. 다른 예로서, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 비디오 및 관련된 주석을 디스플레이할 수 있고 관련된 주석의 디스플레이와 함께 주석 정의(704)를 디스플레이할 수 있다.

비디오 플레이어 그래픽 사용자 인터페이스(702)는 또한 사용자가 주석의 콘텐츠와 디스플레이를 제어하도록 하는 주석 제어 버튼(706)을 포함한다. 예를 들어, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 주석을 검색하는 버튼을 포함할 수 있다. 주석 검색 버튼의 선택에 응답하여, 클라이언트는 주석 정의(704) (또는 유사한 정의)와 관련된 주석을 검색하거나 키워드와 관련된 주석을 검색한다. 검색 결과는 비디오 플레이어 그래픽 사용자 인터페이스(702) 상에 디스플레이될 수 있다. 다른 예로서, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 주석을 편집하는 버튼을 포함한다. 주석 편집 버튼의 선택에 응답하여, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 주석 정의(704)와 관련된 하나 이상의 주석을 디스플레이하고 사용자가 하나 이상의 주석을 변경하게 한다. 또 다른 예로서, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 새로운 주석을 생성하는 버튼을 포함할 수 있다. 새로운 주석 생성 버튼의 선택에 응답하여, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 도 7B에 도시된 것 등의 옵션을 디스플레이한다.

도 7B를 참조하면, 주석 제어 버튼(706)은 생성된 새로운 주석 버튼이 선택되었다는 것을 나타낸다. 비디오 플레이어 그래픽 사용자 인터페이스(702)는 새로운 주석 콘텐츠의 사용자 입력을 수신하는 디스플레이 영역을 포함한다. 도시된 예에서, 새로운 주석 콘텐츠는 임의의 새로운 주석 텍스트(708)를 포함한다. 도 7B에 도시된 바와 같이, 사용자가 기술어 "맥아더 장군"을 입력함에 따라, 새로운 주석 텍스트(708)가 디스플레이된다. 주석 콘텐츠의 집필이 완료되었다는 것을 나타내는 추가적인 사용자 선택에 응답하여, 새로운 주석은 예를 들어 비디오 서버(126)에 제출되고 비디오 플레이어 그래픽 사용자 인터페이스(702)에 디스플레이된다.

새로운 주석 텍스트(708) 입력이 주석 콘텐츠의 집필의 일 예로서 도시되었다. 비디오 플레이어 그래픽 사용자 인터페이스(702)는 다른 유형의 주석 콘텐츠를 수신하는데 적용될 수 있다. 예를 들어, 주석 콘텐츠는 오디오를 포함할 수 있고, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 마이크로폰을 통해 오디오 기록을 시작하거나 저장 매체 상의 위치로부터 오디오 파일을 선택하는 버튼을 포함할 수 있다. 다른 유형의 주석 및 사용자에 의한 제출을 수신하는 유사한 방법은 본 발명의 범위를 벗어나지 않는 한도 내에서 당업자에게 자명한 것이다.

도 8에서, 비디오(800)에 대응하는 타임라인(802) 상에 도시된 주석 달린 클립의 각각은 주석 달린 썸네일과 관련된다. 예를 들어, 커서(840)가 주석 달린 클립(810)에 대한 지시 상에 놓이면, 주석 달린 썸네일(850A)이 나타난다. 일 실시예에서, 순위 매겨진 주석 달린 클립은 또한 사용자 인터페이스의 또 다른 부분(880)에 도시될 수 있다. 예를 들어, 썸네일(850B)은 비디오(800)에 대한 주석이 가장 많이 달린 클립에 대응하고, 썸네일(860)은 주석이 두 번째로 많이 달린 클립에 대응하고, 썸네일(870)은 주석이 세 번째로 많이 달린 클립에 대응한다. 타임라인(802) 상의 지시는 그들의 순위를 나타내도록 넘버링될 수 있다. 도 8에 도시된 사용자 인터페이스는 또한 사용자가 주석이 가장 많이 달린 클립의 지시를 보면서 "B" 버튼(806) 상을 클릭함으로써 인터벌을 위한 주석을 제출할 수 있도록 한다.

다른 실시예에서, 사용자는 DVR 또는 유사한 기능을 제공하는 장치를 이용하여 비디오용 주석 달린 클립에 액세스할 수 있다. 원격 제어기를 사용하거나 디폴트를 봄으로써, 장치의 사용자는 단일 비디오 및 다수 비디오의 주석 달린 클립에 액세스할 수 있다. 이것은 사용자가 주어진 비디오 또는 비디오 세트의 하이라이트(예컨대, 주어진 기간 동안의 스포츠 하이라이트)를 볼 수 있도록 한다.

도 9에, 주석 달린 클립의 디스플레이에 대한 다른 예가 도시된다. 이 사용자 인터페이스는 이틀 동안 주석이 최고로 많이 달린 클립을 나타낸다. 예를 들어, 현재 주석이 가장 많이 달린 클립 "1" (910)이 주석(975)과 함께 썸네일(930)로서 도시된다. 하루 전날의 인터벌은 이용가능하지 않기 때문에, 비디오 인터벌은 "New"(920)으로서 열거된다. 썸네일(940 및 950)은 주석이 가장 많이 달린 클립을 포함하는 비디오로부터의 두 번째 및 세 번째로 주석이 많이 달린 클립을 나타낸다. 현재, 주석이 두 번째 많이 달린 제2 비디오의 클립 썸네일(960) 및 주석이 세 번째로 많이 달린 제3 비디오의 클립 썸네일(970)은 또한 주석이 가장 많이 달린 클립 썸네일(930) 아래에 도시된다. 웹 페이지는 또한 주석의 콘텐츠를 검색하도록 하는 검색 박스(990)를 갖는다.

모든 비디오용 주석 달린 클립에 대해 순위를 매긴 리스트가 비디오 데이터베이스(128)에 저장된다. 일 실시예에 따르면, 비디오 클립에 대해 순위를 매긴 리스트가 매시간 업데이트된다. 이로 인해 가장 최신의 관련 비디오가 사용자에게 제시된다. 순위 매긴 리스트는 매일 업데이트될 수 있다. 순위 매긴 리스트가 업데이트되는 시간은 단순히 적절한 업데이트가 발생할 수 있는 시간을 나타내는 것이며, 업데이트는 비디오 호스팅 웹사이트(108)의 관리자에 의해 설정된 임의의 적절한 시간에서 발생할 수 있다.

도 10은 디스플레이되는 주석을 결정하는 방법을 나타낸다. 일 실시예에서, 클라이언트(130)는 수신된 주석의 일부만을 디스플레이한다. 클라이언트(130)는 도 10에 도시된 것과 같은 방법을 수행하여 디스플레이되어야 하는 주석 및 디스플레이되지 않아야 하는 주석을 결정한다.

클라이언트(130)는 주석을 수신한다(1002). 클라이언트는 주석이 높은 우선순위를 갖는지를 판단한다(1004). 높은 우선순위를 갖는 주석은 주석 표시를 위한 사용자 설정과 관계없이 디스플레이된다. 높은 우선순위를 갖는 주석은 예를 들어 일부 사용자 설정을 대신해야 하는 중요성을 갖는 광고, 긴급 방송 메시지 또는 기타 통신을 포함할 수 있다.

클라이언트(130)가 주석이 높은 우선순위를 갖는 것으로 판단하면(1004), 클라이언트는 주석을 디스플레이한다(1012). 클라이언트(130)가 주석이 높은 우선순위를 갖지 않는 것으로 판단하면(1004), 클라이언트는 주석이 사용 가능한지를 판단한다(1006). 예를 들어, 주석 디스플레이 모드의 사용자 선택에 의해 주석은 사용 가능하거나 불가능할 수 있다. 사용자가 주석이 사용 불가능하다고 선택하면, 클라이언트(130)는 주석을 디스플레이하지 않는다(1010). 사용자가 주석이 사용 가능하다고 선택하면, 클라이언트(130)는 주석이 사용자 정의 기준에 매칭되는지를 판단한다(1008).

본원에서 설명하는 바와 같이, 클라이언트(130)는 사용자가 다양한 기준에 기초하여 디스플레이용 주석을 선택하도록 한다. 일 실시예에서, 사용자 정의 기준은 비디오 서버(126)에 의해 전송된 주석을 제한하는 주석에 대한 요구사항을 기술할 수 있다. 다른 실시예에서, 사용자 정의 기준은 일단 주석이 클라이언트(130)에서 수신되면 디스플레이되는 주석을 제한하는데 사용될 수 있다. 사용자 정의 기준은 예를 들어 언어, 주석 콘텐츠, 특정 저자, 저자 그룹 또는 다른 주석 특성에 기초하여 디스플레이되는 주석을 특정할 수 있다.

클라이언트(130)가 주석이 사용자 정의 기준을 만족하는 것으로 판정하면(1008), 클라이언트(130)는 주석을 디스플레이한다(1012). 클라이언트(130)가 주석이 사용자 정의 기준을 만족하지 않는 것으로 판정하면(1008), 클라이언트(130)는 주석을 디스플레이하지 않는다(1010).

도 10은 클라이언트(130)가 디스플레이되는 주석을 결정할 수 있는 방법의 일 예를 나타낸다. 주석 제공자 및 주석 소비자에 의해 확립되는 주석 우선순위를 중재하는 다른 방법은 본 발명의 범위를 벗어나지 않는 한도 내에서 당업자에게 자명하다.

비디오 서버 및 클라이언트의 경우는 본 발명이 비디오용 주석의 관리를 위해 유용하게 사용될 수 있는 일 예이다. 본원에 기재된 방법은 본 발명의 범위를 벗어나지 않는 한도 내에서 다양한 다른 사용을 가질 수 있음은 당업자에게 자명하다. 예를 들어, 본원에 기재된 특징은 사용자들이 공동으로 주석을 집필하고, 편집하고, 공개하고 시청할 수 있는 온라인 공동체에서 이용될 수 있다. 이러한 공동체는 주석이 관련된 비디오의 저작권 보호범위를 침해하지 않는 범위 내에서 주석의 오픈 소스 스타일의 생성을 허용할 수 있다.

추가 특징으로서, 이러한 공동체 내의 사용자는 또한 예를 들어 사용자의 이전 집필 또는 편집의 품질에 대한 다른 사용자의 검토에 기초한 평판을 모을 수 있다. 주석을 보고자하는 사용자는 소정 임계치 이하의 평판을 갖는 사용자로부터의 주석을 무시하거나 대단히 높은 가치의 평판을 갖는 사용자에 의한 주석을 검색할 것을 선택할 수 있다. 다른 예로서, 사용자는 특정 사용자 또는 특정 사용자 그룹으로부터의 주석만을 보도록 선택할 수 있다.

본원에 기재된 바와 같이, 주석은 또한 비디오가 디스플레이되는 방법을 기술하는 명령, 예를 들어, 디스플레이 장치가 그 비디오 내에서 앞으로 스킵하거나 다른 비디오로 완전히 점프하도록 명령하는 명령을 포함할 수 있다. 사용자는 비디오 분할을 더 큰 조각으로 병합시키는 제안을 효과적으로 제안하는 신속한 명령 주석의 스트링을 집필할 수 있다. 일 예로서, 명령 주석은 하나 이상의 다른 영화의 일부 구성요소로부터 새로운 영화를 생성하는데 사용될 수 있다.

본 발명은 제한되지는 않지만 피어-투-피어(peer-to-peer), 분배 호스팅, 위키 스타일(wiki-style) 호스팅, 중앙 집중 서빙 또는 네트워크를 통해 데이터를 공유하는 다른 공지된 방법을 포함하는 다양한 호스팅 모델 중 임의의 것에 적용된다.

본원에 기재된 주석 프레임워크는 복수의 수익(revenue) 모델에 대한 기회를 제공한다. 일 예로서, 비디오 서버(126)의 주인은 주석 내에 광고를 포함하는 데에 대한 수수료를 부과할 수 있다. 비디오 서버(126)는 다양한 요인에 기초하는 광고 주석 사용자를 타깃으로 할 수 있다. 예를 들어, 비디오 서버(126)는 클라이언트가 디스플레이하고 있는 비디오의 제목 또는 카테고리, 사용자에 대해 알려진 사실, (키워드 검색 등의) 최근의 주석 검색 요구, 비디오에 대해 이전에 제출된 다른 주석, 클라이언트의 지리적 위치, 또는 효율적인 대상 광고에 유용한 다른 기준에 기초하여 클라이언트에 전송되는 광고를 선택할 수 있다.

주석으로의 액세스는 가입에 기초하여 제공되거나, 주석은 비디오 콘텐츠 그 자체와 함께 패키지로 팔릴 수 있다. 예를 들어, 온라인 비디오 가게에서 비디오를 구입하고자 하는 사용자에게 그 비디오 또는 다른 비디오와 관련된 주석을 보거나 편집하거나 집필하기 위한 허가가 주어질 수 있다. 온라인 비디오 가게는 한 달 내에 소정 수의 비디오를 구입한 사용자에게 그 한 달 동안 비디오 서버(126)에 대한 특권을 준다는 홍보를 할 수 있다.

수익 모델의 이런 예들은 설명을 목적으로 한 것이며 제한을 목적으로 한 것이 아니다. 다른 응용 및 잠재적인 유익한 사용은 본 발명의 범위를 벗어나지 않는 한도 내에서 당업자에게 자명하다.

또한, 스팸 제어 방법은 주석의 공유 보안을 확보하는데 도움을 줄 수 있다.

명세서 내의 "일 실시예" 또는 "하나의 실시예"는 실시예와 결합하여 설명한 특정한 특징, 구조 또는 특성이 발명의 하나 이상의 실시예에 포함되는 것을 의미한다. 명세서 내의 여러 곳에서 사용된 "일 실시예에서"라는 표현이 반드시 동일한 실시예를 언급하는 것은 아니다.

본 발명의 프로세스 단계 및 지시는 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있다. 이들이 소프트웨어로 구현되는 경우, 다운로드되어 다양한 오퍼레이팅 시스템에 의해 사용되는 상이한 플랫폼 상에 존재하며 이 플랫폼으로부터 작동될 수 있다.

본 발명은 또한 여기에서 작동을 수행하는 장치에 관한 것이다. 이 장치는 필요를 목적으로 특별히 구성되거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 제한되지 않지만 각각 컴퓨터 시스템 버스에 결합되는 플로피 디스크, 광 디스크, CD-ROM, 광자기 디스크 등을 포함하는 임의의 유형의 디스크, ROMs (read-only memories), RAMs (random access memories), EEPROMs, 자기 또는 광 카드, ASICs (application specific integrated circuits), 또는 전자 지시를 저장하기에 적합한 임의의 유형의 매체 등의 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 또한, 명세서에서 참조되는 컴퓨터는 단일 프로세서를 포함하거나 증가된 컴퓨팅 능력을 위해 다수의 프로세서 디자인을 채용하는 아키텍쳐일 수 있다.

본원에 제시된 알고리즘 및 디스플레이는 임의의 특정 컴퓨터 또는 다른 장치와 내재적으로 관련되는 것은 아니다. 다양한 범용 시스템이 또한 본원에 기재된 사상에 따라 프로그램과 함께 사용될 수 있다. 또한, 요구되는 방법 단계를 수행하기 위한 보다 특수화된 장치를 구성할 수 있다. 이러한 다양한 시스템에 대한 필요한 구조는 이하의 설명에서 명백해진다. 또한, 본 발명은 임의의 특정한 프로그래밍 언어를 참조하여 설명하지 않는다. 다양한 프로그래밍 언어는 본원에 기재된 바와 같이 본 발명의 사상을 구현하는데 사용될 수 있고, 특정 언어에 대한 임의의 참조는 본 발명의 최상의 모드 및 가능성의 개시를 위해 제공된다.

본 발명은 바람직한 실시예 및 몇 개의 다른 실시예를 참조하여 도시하고 설명하였지만, 본 발명의 범위를 벗어나지 않는 한도 내에서 형태 및 상세에 있어서 다양한 변경이 가능함을 당업자는 이해할 것이다.

마지막으로, 명세서에서 사용되는 언어는 판독성 및 교육용 목적을 위해 원리적으로 선택되었으며, 독창적인 문제를 설명하거나 제한하도록 선택되지 않을 수 있다. 따라서, 본 발명의 개시는 아래의 청구범위에 기재된 본 발명의 범위를 제한하기 위한 것이 아니라 설명하기 위한 것이다.

105: 네트워크 108: 비디오 호스팅 웹 사이트
110: 추출 모듈 112: 그루핑 모듈
114: 주석 결정 모듈 116 : 주석 달린 클립 생성 모듈
117: 개요 주석 모듈 118: 디스플레이 모듈
120: 랭킹 모듈 122: 네트워크 인터페이스
124: 프론트 엔드 서버 126: 비디오 서버
128: 비디오 데이터베이스 129: 비디오 엑세스 로그
130: 클라이언트 132: 브라우저
134: 내장 플레이어 140: 사용자 데이터베이스

Claims (26)

1. 제1 비디오와 관련된 주석을 관리하는 방법으로서,
   상기 제1 비디오의 하나 이상의 인터벌을 위한 복수의 주석을 수신하는 단계;
   서로 유사한 상기 제1 비디오의 인터벌을 위한 주석을 각각 포함하는 복수의 그룹을 형성하는 단계;
   관련된 주석을 갖는 제1 그룹을 결정하는 단계; 및
   상기 제1 그룹 내의 인터벌에 기초하여 상기 제1 비디오의 제1 주석 달린 클립(annotated clip)을 형성하는 단계를 포함하는 방법.
2. 제1항에 있어서,
   상기 제1 그룹 내의 관련 주석에 기초하여 상기 제1 비디오의 제1 주석 달린 클립을 위한 제1 개요 주석을 형성하는 단계를 더 포함하는 방법.
3. 제1항 또는 제2항에 있어서,
   상기 제1 개요 주석은 상기 제1 그룹 내의 관련 주석의 콘텐츠의 요약을 포함하는 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 제1 개요 주석은 상기 제1 그룹 내의 관련 주석의 콘텐츠의 발췌부분을 포함하는 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 관련 주석의 제1 그룹은 각각의 주석 내의 콘텐츠에 대한 비교에 적어도 부분적으로 기초하여 결정되는 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   검색 쿼리(query) 용어의 수신에 응답하여, 상기 용어를 포함하는 하나 이상의 주석을 식별하는 단계를 더 포함하는 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 복수의 그룹을 형성하는 단계는 각각의 주석과 관련된 타임스탬프(timestamp)에 기초하여 주석을 클러스터링(clustering)하는 단계를 포함하는 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   각각의 인터벌은 시작 시간 및 종료 시간을 가지며, 상기 복수의 그룹을 형성하는 단계는 상기 인터벌의 상기 시작 시간과 상기 종료 시간에 기초하여 주석을 클러스터링하는 단계를 포함하는 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서,
   상기 복수의 그룹을 형성하는 단계는,
   상기 제1 비디오 내의 복수의 장면을 식별하는 단계; 및
   각각의 그룹과 하나 이상의 장면을 관련시키는 단계를 포함하는 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 복수의 그룹을 형성하는 단계는,
    상기 제1 비디오 내의 복수의 특징을 식별하는 단계; 및
    각각의 그룹을 상기 제1 비디오 내의 하나 이상의 특징의 세트와 관련시키는 단계를 포함하는 방법.
11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    각각의 주석은 상기 주석을 제공하는 사용자와 관련된 평판(reputation) 점수를 갖는 방법.
12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 평판 점수에 기초하여 각각의 주석에 가중치를 할당하는 단계; 및
    상기 주석의 할당된 가중치에 기초하여 관련 주석을 갖는 제1 그룹을 결정하는 단계를 더 포함하는 방법.
13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 주석이 유일한(unique) 사용자에 의해 제공되었는지에 기초하여 각각의 주석에 가중치를 할당하는 단계; 및
    상기 주석의 할당된 가중치에 기초하여 관련 주석을 갖는 상기 제1 그룹을 결정하는 단계를 더 포함하는 방법.
14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 복수의 그룹을 형성하는 단계는,
    상기 제1 비디오에 대응하는 타임라인(timeline) 상에서 시각적으로 구별될 수 있는 다수의 주석 달린 클립의 지시에 기초하여 허용되는 주석 달린 클립의 최대 개수를 결정하는 단계를 포함하는 방법.
15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 복수의 그룹을 형성하는 단계는 상기 주석이 관련된 인터벌 사이의 시간의 양(amount)을 결정하는 단계를 포함하는 방법.
16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 제1 비디오와 관련된 타임라인 상에 상기 제1 주석 달린 클립의 지시를 디스플레이하는 단계를 더 포함하는 방법.
17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    관련 주석을 갖는 제2 그룹을 결정하는 단계;
    상기 제2 그룹 내의 인터벌에 기초하여 제2 주석 달린 클립을 형성하는 단계; 및
    각각의 그룹 내의 주석에 기초하여 상기 제1 주석 달린 클립과 상기 제2 주석 달린 클립에 순위를 정하는 단계를 더 포함하는 방법.
18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 제1 비디오와 관련된 타임라인 상에 상기 제1 비디오의 상기 제1 주석 달린 클립의 지시 및 상기 제2 주석 달린 클립의 지시를 디스플레이하는 단계를 더 포함하는 방법.
19. 제1항 내지 제18항 중 어느 한 항에 있어서,
    상기 제1 주석 달린 클립과 상기 제2 주석 달린 클립을 포함하는 상기 제1 비디오의 주석 달린 발췌부분을 형성하는 단계; 및
    상기 주석 달린 발췌부분을 디스플레이하는 단계를 더 포함하는 방법.
20. 제1항 내지 제19항 중 어느 한 항에 있어서,
    제2 비디오의 하나 이상의 인터벌과 관련된 복수의 주석을 수신하는 단계;
    서로 유사한 상기 제2 비디오의 인터벌을 위한 주석을 각각 포함하는 상기 제2 비디오를 위한 복수의 그룹을 형성하는 단계;
    상기 제2 비디오 내의 유사한 인터벌을 위한 관련 주석을 갖는 상기 제2 비디오용 제1 그룹을 결정하는 단계;
    상기 제2 비디오를 위한 상기 제1 그룹 내의 인터벌에 기초하여 상기 제2 비디오의 제1 주석 달린 클립을 형성하는 단계; 및
    상기 제1 비디오와 상기 제2 비디오의 각각의 주석 달린 클립과 관련된 다수의 주석에 기초하여 상기 제1 비디오 및 제2 비디오의 순위를 정하는 단계를 더 포함하는 방법.
21. 제1항 내지 제20항 중 어느 한 항에 있어서,
    검색 쿼리 용어의 수신에 응답하여, 상기 용어를 포함하는 상기 제1 비디오 및 상기 제2 비디오로부터의 하나 이상의 주석을 식별하는 단계를 더 포함하는 방법.
22. 제1항 내지 제21항 중 어느 한 항에 있어서,
    상기 제1 비디오로부터의 주석과 공통되는 콘텐츠를 갖는 상기 제2 비디오로부터의 주석을 식별하는 단계를 더 포함하는 방법.
23. 비디오와 관련된 주석을 관리하는 시스템으로서,
    상기 비디오의 하나 이상의 인터벌과 관련된 복수의 주석을 추출하는데 적용되는 추출 모듈;
    서로 유사한 비디오의 인터벌을 위한 주석을 각각 포함하는 복수의 그룹을 형성하는데 적용되는 그룹핑 모듈;
    관련 주석을 갖는 그룹을 결정하는데 적용되는 주석 결정 모듈; 및
    상기 그룹 내의 인터벌에 기초하여 비디오의 주석 달린 클립을 형성하는데 적용되는 클립 생성 모듈을 포함하는 시스템.
24. 제23항에 있어서,
    상기 비디오와 관련된 타임라인 상에 상기 주석 달린 클립의 지시를 디스플레이하는데 적용되는 디스플레이 모듈을 더 포함하는 시스템.
25. 컴퓨터 판독가능 저장 매체를 가지며 제1 비디오와 관련된 주석을 관리하기 위한 컴퓨터 실행가능 코드를 포함하는 컴퓨터 프로그램 제품으로서, 상기 코드는,
    상기 제1 비디오의 하나 이상의 인터벌을 위한 복수의 주석을 수신하는 단계;
    서로 유사한 상기 제1 비디오의 인터벌을 위한 주석을 각각 포함하는 복수의 그룹을 형성하는 단계;
    관련된 주석을 갖는 제1 그룹을 결정하는 단계; 및
    상기 제1 그룹 내의 인터벌에 기초하여 상기 제1 비디오의 제1 주석 달린 클립을 형성하는 단계를 수행하는 데 적용되는 컴퓨터 프로그램 제품.
26. 제1 비디오와 관련된 주석을 관리하는 컴퓨터 시스템으로서,
    상기 제1 비디오의 하나 이상의 인터벌을 위한 복수의 주석을 수신하는 수단;
    서로 유사한 상기 제1 비디오의 인터벌을 위한 주석을 각각 포함하는 복수의 그룹을 형성하는 수단;
    관련된 주석을 갖는 제1 그룹을 결정하는 수단; 및
    상기 제1 그룹 내의 인터벌에 기초하여 상기 제1 비디오의 제1 주석 달린 클립을 형성하는 수단을 포함하는 컴퓨터 시스템.

Images