KR20090084976A - 비디오용 애노테이션 프레임워크 - Google Patents

비디오용 애노테이션 프레임워크 Download PDF

Info

Publication number
KR20090084976A
KR20090084976A KR1020097015068A KR20097015068A KR20090084976A KR 20090084976 A KR20090084976 A KR 20090084976A KR 1020097015068 A KR1020097015068 A KR 1020097015068A KR 20097015068 A KR20097015068 A KR 20097015068A KR 20090084976 A KR20090084976 A KR 20090084976A
Authority
KR
South Korea
Prior art keywords
annotation
video
instance
media file
segment
Prior art date
Application number
KR1020097015068A
Other languages
English (en)
Other versions
KR100963179B1 (ko
Inventor
마이우르 마타르
아스후토시 가르그
비부 미탈
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20090084976A publication Critical patent/KR20090084976A/ko
Application granted granted Critical
Publication of KR100963179B1 publication Critical patent/KR100963179B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

미디어 파일과 연관된 애노테이션을 전송하는 시스템 및 방법. 미디어 파일과 연관된 애노테이션은 그 미디어 파일의 제 1 인스턴스로 인덱스 처리되어 있다. 상기 미디어 파일의 제 1 인스턴스와 상기 미디어 파일의 제 2 인스턴스의 피쳐(feature)를 비교하는 것에 의해, 두 인스턴스 사이에 맵핑을 형성한다. 상기 제 1 인스턴스와 제 2 인스턴스 사이의 맵핑을 이용하여 애노테이션을 제 2 인스턴스로 인덱스 처리할 수 있다. 애노테이션은 제 2 인스턴스에의 인덱스에 기초하여, 처리(디스플레이, 저장, 또는 수정)될 수 있다.
Figure P1020097015068
애노테이션(annotation), 서버, 클라이언트, 피쳐(feature)

Description

비디오용 애노테이션 프레임워크{ANNOTATION FRAMEWORK FOR VIDEO}
개시된 실시예들은 일반적으로 비디오용 애노테이션(annotation)을 제작(authoring) 및 디스플레이하고, 네트워크를 통해서 애노테이션을 협력적으로 공유 및 편집하는 것에 관한 것이다.
애노테이션은 비디오에 유용한 정보를 부가하는 메커니즘을 제공한다. 애노테이션은 예를 들면, 비디오, 자막, 또는 추가 오디오 트랙(additional audio track)의 콘텐츠를 설명하는 메타데이터를 포함할 수 있다. 애노테이션은 텍스트, 오디오, 그래픽, 또는 기타의 형태를 포함하는 여러가지 데이터 타입일 수 있다. 일반적으로 애노테이션은 콘텐츠를 의미있게 하기 위해, 특정한 비디오, 또는 비디오의 특정한 일부분과 연관되어 있다.
애노테이션에 포함된 유용한 정보를 교환할 수 있는 한 방법은 네트워크를 통해 애노테이션 처리된 비디오를 전송하는 것이다. 그러나, 네트워크를 통해 비디오 콘텐츠를 전송하는 것에는 몇 가지 장해요소가 있다. 첫째, 비디오 파일은 일반적으로 용량이 꽤 크므로, 소정 대역폭을 지원할 수 있는 호스트 및 수신자 컴퓨터 그리고 스토리지(storage) 뿐만 아니라, 상당량의 대역폭을 필요로 한다. 둘째, 다수의 비디오 파일들은 저작권이 있거나, 아니면 요금 지불없이 유통되는 것이 금지 되어 있다. 저작권 제한에 동의하는 것은, 불법 복제를 방지하기 위한 추가의 소프트웨어 및 하드웨어의 출자를 필요로 한다. 셋째, 애노테이션 처리된 비디오의 수신자는 이미 애노테이션 처리되지 않은 비디오 카피본을 가지고 있을 수 있으므로, 데이터 효율성의 견지에서 이러한 수신자에게 불필요하게, 애노테이션 처리된 비디오 카피본을 전송하는 것은 대역폭과 스토리지 모두를 낭비하는 것이 된다.
따라서, 완전한 비디오 카피본을 전송함으로써 애노테이션 처리된 비디오를 교환하는 것은 충분한 해결 방법이 아니다.
미디어 파일과 연관된 애노테이션은, 그 미디어 파일의 임의 세그먼트와 적절한 시간 또는 공간관계의 애노테이션을 유지하는 동안에는, 그 연관된 미디어 파일과 관계없이 장치들 사이에서 전송된다. 미디어 파일과 연관된 애노테이션은 그 미디어 파일의 제 1 인스턴스로 인덱스 처리된다. 상기 미디어 파일의 제 1 인스턴스와 상기 미디어 파일의 제 2 인스턴스의 피쳐(feature)를 비교하는 것에 의해, 두 인스턴스 사이에 맵핑을 형성한다. 제 1 인스턴스와 제 2 인스턴스 사이의 맵핑을 이용하여 애노테이션을 제 2 인스턴스로 인덱스 처리할 수 있다. 애노테이션은 제 2 인스턴스로의 인덱스에 기초하여, 디스플레이, 저장, 또는 수정될 수 있다.
인스턴스들의 피쳐를 비교하는 것은, 애노테이션들이 개별적으로 획득한 복수의 미디어 파일의 인스턴스로 일관성있게 인덱스 처리되도록 한다. 애노테이션을 일관성 있게 인덱스처리(indexing)하는 것은 애노테이션의 공유를 지원하고, 애노테이션 제작자(annotation author), 편집자 및 소비자의 협력적인 커뮤니티(collaborative community)를 감안한 것이다. 애노테이션은 광고 또는 고가의 유료 콘텐츠를 포함할 수 있다. 애노테이션의 실행, 편집, 뷰잉(viewing)을 위한 권한은 정기 구독제의 판매용, 또는 무료로 제공되거나, 미디어 파일의 구매와 함께 패키지로 제공될 수 있다.
일 실시예에 따르면, 제 1 사용자는 애노테이션 서버에게 미디어 파일의 인스턴스로 인덱스 처리된 애노테이션을 제공한다. 애노테이션 서버는 제 1 사용자의 미디어 파일 인스턴스를 그 미디어 파일의 정규 인스턴스(canonical instance)로 맵핑하고, 제공된 애노테이션, 즉 미디어 파일의 정규 인스턴스로 인덱스 처리된 애노테이션을 저장한다. 제 2 사용자는 애노테이션을 요청하고, 애노테이션 서버는 제 2 사용자의 미디어 파일 인스턴스를 그 미디어 파일의 정규 인스턴스로 맵핑한다. 애노테이션 서버는 그 애노테이션을, 제 2 사용자의 미디어 파일 인스턴스로 인덱스 처리된 제 2 사용자에게 전송한다.
본 요약에서 기술한 형태 및 장점들은 이하의 상세한 설명을 모두 포함하는 것이 아니다. 당업자라면 본 명세서의 도면, 실시예, 및 청구범위를 고려하여 추가적인 다수의 형태 및 장점을 명백히 이해할 수 있을 것이다.
도 1은 비디오 제공자와 소비자의 커뮤니티를 접속시키는 네트워크를 나타낸 도면.
도 2는 비디오 프레임과, 애노테이션을 하나 이상의 프레임으로 인덱스 처리한 것을 나타낸 도면.
도 3은 비디오의 두 인스턴스 프레임을 나타낸 도면.
도 4a는 비디오의 정규 인스턴스(canonical instance)로 인덱스 처리된 애노테이션을 나타낸 도면.
도 4b는 비디오의 클라이언트 인스턴스를 비디오의 정규 인스턴스 맵핑하는 것을 나타낸 도면.
도 5는 비디오와 애노테이션을 저장하는 일 실시예를 나타낸 도면.
도 6은 비디오와 연관된 애노테이션의 디스플레이 및 수정에 관한 이벤트 추적도.
도 7a는 애노테이션을 뷰잉(viewing), 생성(creating), 편집(editing)하는 사용자 인터페이스를 나타낸 도면.
도 7b는 신규 애노테이션을 생성하는 사용자 인터페이스를 나타낸 도면.
도 8은 디스플레이할 애노테이션을 판정하는 방법을 나타낸 도면.
본 도면들은 단지 설명을 위해 본 발명의 다양한 실시예들을 나타낸 것이다. 당업자라면 이하의 논의로부터, 본 명세서에서의 구조 및 방법들에 관한 다른 실시예들이, 본 명세서에 설명된 발명의 원리를 일탈하지 않는 범위 내에서 채택될 수 있다는 것을 쉽게 인지할 수 있을 것이다.
도 1은 비디오 제공자와 소비자의 커뮤니티를 접속시키는 네트워크를 나타낸다. 도 1은 복수의 사용자가 비디오와 애노테이션을 교환할 수 있는 일실시예를 도시한 것이다. 여기서, 비디오는 애노테이션과 연관될 수 있는 미디어 파일의 일례 로서 사용되었다. 본 예는 설명의 목적을 위해 채택된 것이고 이에 한정되는 것은 아니다. 애노테이션과 연관될 수 있는 미디어 파일의 다른 유형은, 오디오 프로그램, 플래쉬, 무비(임의의 엔코딩 포맷), 슬라이드 프리젠테이션, 포토 콜렉션(photo collection), 애니메이션 프로그램(animated program), 및 기타 문서들을 포함하고, 이에 한정되지 않는다. 본 발명의 다른 예들은 본 발명의 범위로부터 일탈하지 않는 범위 내에서 당업자에게 자명할 것이다.
사용자는 클라이언트(104)를 이용하여 애노테이션을 뷰잉(viewing), 제작(authoring) 및 편집(editting)한다. 애노테이션은 미디어 파일에 유용하게 부가할 수 있는 임의의 데이터이다. 예를 들면, 애노테이션은 오디오 또는 번역, 해설, 광고 또는 요약, 소정 스케일(1-5 star)의 평점, 메타데이터, 또는 미디어 파일을 디스플레이하는 방법에 관한 커맨드(command)일 수 있다. 애노테이션은 비디오 콘텐츠를 포함할 수도 있다. 클라이언트(104)는 비디오를 디스플레이하는 소프트웨어와 하드웨어를 포함한다. 예를 들면, 클라이언트(104)는 텔레비젼, 개인용 컴퓨터, 디지털 비디오 레코더(DVR), 개인용 휴대단말기(PDA), 셀룰러 폰, 또는 디스플레이 장치를 갖거나 이에 접속된 다른 장치로서 실행될 수 있다. 여기서, 소프트웨어는 MPEG-2, MPEG-4, 퀵타임(QuickTime), VCD 등의 비디오 파일, 또는 기타 현재 또는 미래의 비디오 포맷을 디코딩하기 위해 적응된 임의의 비디오 플레이어를 포함한다. 클라이언트의 다른 예들은 본 발명의 범위를 일탈하지 않는 범위 내에서 당업자에게 자명할 것이다. 본 명세서에서는, 일 실시예에 따른 클라이언트(104)에 의해 사용된 그래픽 사용자 인터페이스가 도 7a 및 도 7b를 참조하여 기재되어 있다.
클라이언트(104)는 네트워크(105)에 접속되어 있다. 네트워크(105)는 애노테이션 콘텐츠를 전송시킬 수 있는 전자매체로서 실행될 수 있다. 네트워크(105)를 통해, 클라이언트(104)는 다른 클라이언트(104)로부터 데이터를 송수신할 수 있다. 네트워크(105)는 글로벌망(global network)(예를 들면, 인터넷), 지역정보망(regional network), 원거리망(wide-area network), 또는 근거리망(local area network)일 수 있다.
비디오 서버(106)는 비디오의 컬렉션(collection)을 전자매체에 저장한다. 특정 비디오(또는 일정한 기준에 부합하는 일련의 비디오들)에 대한 클라이언트(104)의 요청에 대한 응답으로, 비디오 서버(106)는 네트워크(105)를 통해 클라이언트(104)로 비디오를 전송한다. 비디오 서버(106)는 클라이언트에게 비디오를 제공하는 서비스에 대한 과금을 부가하도록 구성될 수 있고, 또는 무료로 비디오를 제공할 수 있다. 비디오 서버(106)는 예를 들면, 주문형 콘텐츠 서비스(on-demand content service), 온라인 스토어(online store), 또는 스트리밍 비디오 서버(streaming video server)로서 실행될 수 있다. 비디오 서버의 다른 예들은 본 발명의 범위를 일탈하지 않는 범위 내에서 당업자에게 자명할 것이다.
어떤 클라이언트(104)는 비디오 소스(102)에 접속되어 있을 수도 있다. 비디오 소스(102)는 클라이언트에게 비디오를 제공하는 장치이다. 예를 들면, 비디오 소스(102)는 케이블박스(cable box), 텔레비젼 안테나, 디지털 비디오 레코더, 비디오 카셋트 플레이어, 카메라, 게임 콘솔, 디지털 비디오 디스크(DVD) 유닛, 또는 클라이언트(104)가 판독가능한 포맷으로 출력된 비디오를 생성할 수 있는 기타의 장치일 수 있다. 비디오 소스(102)의 다른 실시예들은 본 발명의 범위를 일탈하지 않는 범위 내에서 당업자에게 자명할 것이다.
본 발명의 일실시예에 따르면, 클라이언트(104)는 네트워크(105)를 통해 비디오를 송신할 수 있다. 예를 들면, 클라이언트(104B)는 비디오 소스(102B)로부터 비디오를 수신할 수 있고, 그것을 네트워크를 통해, 클라이언트(104D)와 같은 다른 클라이언트에게 전송할 수 있다. 클라이언트(104)는 또한 비디오를 네트워크(105)를 통해 비디오 서버(106)로 전송한다. 클라이언트(104)로부터 비디오 서버(106)로 송신된 비디오는 전자매체에 저장되어, 다른 클라이언트들(104)에게 이용될 수 있다.
애노테이션 서버(110)는 네트워크(105)에 접속되어 있다. 애노테이션 서버(110)는 전자매체에 애노테이션을 저장한다. 클라이언트(104)로부터의 특정 미디어 파일과 연관된 애노테이션에 대한 요청에 대한 응답으로, 애노테이션 서버(110)는 네트워크(105)를 통해 그 미디어 파일과 연관된 하나 이상의 애노테이션을 클라이언트(104)로 송신한다. 클라이언트(104)가 미디어 파일과 연관된 하나 이상의 애노테이션을 제출하는 것에 대한 응답으로, 애노테이션 서버(110)는 상기 하나 이상의 애노테이션을 상기 미디어 파일과 연관하여 저장한다. 애노테이션 서버(110)는 하나 이상의 미디어 파일 또는 그 일부분의 인스턴스로 인덱스 처리된 애노테이션을 저장한다. 본 명세서에서는, 본 발명의 다양한 실시예에 따른 애노 테이션 서버(110)에 의해 이용되는 방법이 도 4 내지 도 6을 참조하여 설명되어 있다.
선택적으로, 비디오 서버(108)는 애노테이션 서버(110)에 로컬 또는 네트워 크(105) 중의 어느 하나의 통신방식으로 접속되어 있다. 비디오 서버(108)는, 본 명세서에서 비디오 서버(106)를 참조하여 설명한 것과 동일한 다수의 기능을 구비할 수 있다. 비디오 서버(108)는 네트워크(105)를 통해 클라이언들(104)에게 비디오를 전송할 수 있다. 일 실시예에서는, 애노테이션 서버(110)와 비디오 서버(108)가 조합하여 애노테이션 처리된 비디오를 클라이언트(104)에 전송한다. 다른 실시예에서, 비디오 서버(108)는 본 명세서의 도 5에 나타낸 바와 같이 비디오의 정규 인스턴스(canonical instance)를 저장한다.
도면에 나타낸 바와 같이, 어떤 클라이언트는 다양한 소스로부터의 비디오에 억세스할 수 있다. 예를 들면, 클라이언트(104A)는 비디오 소스(102A)로부터 직접 비디오를 수신하거나, 또는 네트워크(105)를 통해 비디오 서버(106)로부터 비디오를 수신할 수 있다. 서로 다른 클라이언트들은 경우에 따라 별개의 비디오 소스에 억세스할 수 있다. 예를 들면, 클라이언트(104A)와 마찬가지로, 클라이언트(104B)는 네트워크(105)를 통해 비디오 서버(106)로부터 비디오를 수신할 수 있지만, 한편으로, 클라이언트(104A)는 비디오 소스(102A) 대신에 비디오 소스(102B)로 직접 억세스할 수 있다.
클라이언트는 어떻게 보면 광범위한 비디오 소스들로부터 비디오를 획득할 수 있겠지만, 본 발명은 클라이언트가 어떤 소스로부터 비디오 카피본을 획득했는지 여부와 관계없이, 애노테이션 서버(110)로부터 클라이언트로 전송된 애노테이션들은 특정 미디어 파일 및 그 일부분과 일관성있게(consistently) 연관되도록 한다. 애노테이션을 미디어 파일과 일관성있게 연관시키는 것은, 어떤 미디어 파일의 서로 상이한 인스턴스들(또는 카피본들)을 갖는 사용자들 사이에서의 애노테이션 교환을 용이하게 한다. 본 발명은 클라이언트 미디어 파일의 다양한 인스턴스에 관한 애노테이션을 리인덱스(reindexing) 처리하는 것에 의해, 복수의 클라이언트들 사이의 애노테이션 교환 및 공유를 가능하게 한다. 예를 들면, 애노테이션 서버(110)는 클라이언트(104A)와 클라이언트(104B)가 서로 다른 소스들로부터 비디오 카피본을 획득했을 수 있음에도 불구하고, 인덱스 처리된 애노테이션들을 클라이언트(104A)의 비디오 인스턴스에 전송하고, 또한 인덱스 처리된 애노테이션들을 클라이언트(104B)의 비디오 인스턴스에 전송한다. 애노테이션 서버(110)는 클라이언트(104)에 의해 디스플레이된 비디오의 고유한 애노테이션을 제공할 뿐만 아니라, 본 명세서의 도 4에 나타낸 바와 같은, 클라이언트(104)가 디스플레이하는 비디오의 개별적인 인스턴스도 유용하게 제공한다.
도 2를 참조하면, 애노테이션을 비디오 파일 및 그 파일의 하나 이상의 프레임과 시간적 및/또는 공간적으로 연관시키는 방법을 나타낸 개념도가 도시되어 있다. 도 2는 프레임(200)으로부터 프레임(251)으로 진행하는, 일련의 비디오 프레임들을 나타낸다. 클라이언트(104)는 이 프레임들을 디스플레이하고, 또한 중단(pause), 리와인딩, 패스트 포워딩, 스킵하거나, 또는 프레임들이 디스플레이되는 순서, 속도를 조정할 수 있다.
설명의 목적을 위해, 이하의 논의에서는 프레임들로 구성된 비디오를 참조한다. 경우에 따라, 비디오는 프레임 블록(blocks of frames), 필드(fields), 매크로블록(macroblocks), 또는 미완성 프레임들(incomplete frames)의 섹션으로 저장 또 는 전송된다. 본 명세서에서 프레임으로 구성된 비디오를 참조하는 경우에는, 중간 과정에서 비디오는 다양한 다른 형태 중의 어느 하나로 저장될 수 있다는 것을 고려해야 한다. 본 명세서에서 "프레임"은 명확화를 위해 사용된 것이고, 어떤 특정한 포맷 또는 스토리지용 컨벤션(convention for the storage) 또는 비디오 디스플레이에 한정되는 것이 아니다.
일부 프레임들은 특정 사용자가 제공한, 그들 프레임과 연관된 애노테이션들을 갖는다. 도시된 예에서, 프레임(201)은 그것과 연관된 애노테이션들을 더욱 상세하게 나타내고 있다. 도면에 나타낸 바와 같이, 애노테이션들은 프레임의 특정한 공간 위치와 연관되거나, 또는 프레임 전체와 연관될 수 있다. 예를 들면, 애노테이션(1)은 프레임(201) 상부 좌측 코너의 직사각형 박스와 연관되어 있다. 반면, 애노테이션(4)은 프레임 전체와 연관되어 있다.
애노테이션은 중복된 공간 위치와 연관될 수도 있다. 예를 들면, 애노테이션(1)은, 애노테이션(2)과 연관된 별개의 직사각형 박스와 중복되는 직사각형 박스와 연관되어 있다. 일 실시예에서, 애노테이션은 어떤 닫힌 형태(closed form) 형상으로 규정된 공간 위치와 연관될 수 있다. 예를 들면, 도 2에 나타낸 바와 같이, 애노테이션(3)은 타원 형태로 규정된 공간 위치와 연관되어 있다.
애노테이션 리스트(280)는 애노테이션의 공간 정의와 애노테이션 콘텐츠들 사이의 연관관계(associations)를 보존한다. 프레임(201)의 직사각형 박스와 연관된 애노테이션(1)은, 텍스트 "부통령"을 포함한다. 애노테이션(1)은 프레임의 특정 부분을 강조하거나 부가 정보를 첨부하는 것에 유용한 애노테이션의 일례이다. 애 노테이션(4)은 프레임(201) 전체와 연관되어 있고, 텍스트 "대통령 연두교서"를 포함한다. 애노테이션(4)은 프레임의 콘텐츠를 요약하기 위해 사용된 애노테이션의 일례이다. 애노테이션(5)은 프레임(201) 전체와 연관되어 있고, 특정 오디오(본 경우에는 프랑스어 오디오 통역)를 포함한다. 애노테이션(5)은 부가적인 오디오 콘텐츠를 제공하기 위해 사용된 애노테이션의 일례이다.
애노테이션은 미디어 파일 또는 그 파일의 일부분과 시간적 연관(temporal association)을 갖을 수도 있다. 예를 들면, 애노테이션은 특정한 프레임, 또는 다수의 특정한 프레임들과 연관될 수 있다. 예를 들면, 도 2에서, 애노테이션(2)은 프레임(200) 내지 프레임(251)과 연관될 수 있는 반면, 애노테이션(5)은 프레임(201)에만 연관되어 있다. 애노테이션과 연관된 공간 정의는 시간이 지남에 따라 변경될 수도 있다. 예를 들면, 애노테이션(1)은 프레임(201)의 제 1 영역 및 프레임(202)의 제 2 영역과 연관될 수 있다. 시간과 공간에 의존하는 애노테이션 연관은 움직이는 대상에 대한 부가 정보를 제공하는 것에 특히 유용하고, 본 도면에 나타낸 예에서와 같이, 미국 부통령의 움직임에 적합하게 사용될 수 있다. 시간 연관들(temporal associations)은 프레임 번호, 타임코드(timecode), 또는 그 밖의 다른 인덱싱 베이시스(indexing basis)로 정의될 수 있다. 표로 나타낸 애노테이션(280)의 도해는 기초가되는 스토리지 포맷(underlying storage format)의 사용을 한정하기 위한 것이 아니며, 스토리지 요구를 감소시키고/또는 검색 속도를 증가시키는 최적화된 포맷을 포함하는 임의 포맷 또는 임의 구성의 애노테이션 정보를 채용할 수 있다.
클라이언트(104)는 미디어 파일의 재생 중에 그 파일과 연관된 애노테이션들을 디스플레이하도록 적응되어 있다. 예를 들면, 애노테이션은 비디오 프레임에 첨부된 텍스트, 프레임과 함께 나타낸 그래픽, 또는 비디오와 동시에 재생되는 오디오로 디스플레이 될 수 있다. 한편, 애노테이션은 별도의 윈도우 또는 비디오에 근접한 프레임으로 나타날 수도 있다. 애노테이션은 연관된 미디어 파일을 디스플레이하는 방법에 관한 커맨드(command)를 포함할 수도 있다. 디스플레이 커맨드 애노테이션(displaying command annotations)은 애노테이션이 지시하는 비디오를 디스플레이하는 것을 포함할 수 있다. 예를 들면, 애노테이션에 대한 응답으로, 클라이언트(104)는 비디오의 다른 지점으로 스킵하거나, 비디오의 일부분을 슬로우 모션으로 디스플레이하거나, 완전히 다른 비디오로 건너뛸 수 있다.
클라이언트(104)는 이용가능한 애노테이션들의 서브세트(subset)를 디스플레이할 수 있다. 예를 들면, 도 2의 비디오를 시청하는 사용자는 다양한 기준을 지정함으로써, 어떤 애노테이션들이 클라이언트(104)에 의해 디스플레이될지를 선택할 수 있다. 사용자는 특정 타입의 애노테이션(예를 들면, 해설(commentary), 텍스트, 그래픽, 오디오)만을 수신하도록 선택하거나, 또는 디스플레이의 특정 영역에 정의된 애노테이션만을 수신하도록 선택할 수 있다. 사용자는 특정 언어의 애노테이션, 특정 검색 기준(키워드와 같은)에 부합하는 애노테이션, 또는 특정 사용자에 의해 제작된 애노테이션만을 수신하도록 선택할 수 있다. 다른 예로서, 애노테이션이 사용자들의 협력적인 커뮤니티(collaborative communnity) 내에서 기입 및 편집된 경우, 사용자는 특정 기준 이상의 평판(reputation)을 갖는 사용자가 제작한 애노테 이션만을 수신하도록 선택하거나, 또는 특정 기준 이상의 등급(rating)을 갖는 애노테이션만을 수신하도록 선택할 수 있다. 사용자들은 애노테이션을 검색할 수도 있고, 그 애노테이션 검색 결과에 기초하여 관련 비디오를 검색할 수도 있다.
어떤 애노테이션에는 사용자가 그 애노테이션을 디스플레이하지 않는 것을 허여하지 않는 우선권이 주어질 수 있다. 예를 들면, 애노테이션은 광고를 포함할 수 있고, 그 광고 애노테이션이 디스플레이되지 않는다면 다른 애노테이션들도 디스플레이되지 않도록 구성될 수 있다. 이러한 구성은, 사용자들이 이미 비용을 지급받은 광고 애노테이션을 회피하면서 어떤 애노테이션들을 뷰잉하는 것을 방지한다. 본 명세서에서는, 디스플레이할 애노테이션을 판정하는 방법이 도 8을 참조하여 설명되어 있다.
사용자는 클라이언트(104)를 이용하여 애노테이션을 편집할 수도 있다. 예를 들면, 도 2에 나타낸 애노테이션을 뷰잉하는 사용자는 애노테이션(1)에 만족하지 않을 수 있다. 사용자는 클라이언트(104)에 접속된 입력장치를 이용하여 애노테이션 텍스트 "부통령"을 "미국 부통령"으로 변경할 수 있다. 향후 그 애노테이션의 디스플레이(그 사용자 혹은 다른 사용자들에게)는 수정된 텍스트 "미국 부통령"을 포함하게 된다. 다른 옵션으로서, 사용자는 애노테이션과 연관된 시간 또는 공간 정의(temporal or spatial definition)를 변경할 수 있다. 예를 들면, 직관력이 있는 사용자는, 프레임의 우측에 나타낸 문서들이 실제로는 15 USC§§78dd-1에서 제외되어 있고, 구성원(대통령의 위치에 의해 거의 완전히 가려져 있음)은 그 프레임의 좌측에서 불충분하게 현시되어 있다는 것을 인지할 수 있다. 그 사용자는 예를 들면, 클라이언트(104)에 접속되어 있는 입력장치를 이용하여 그 공간 정의(spatial definition)를 다른 위치로 드래그함으로써(예를 들면, 그 비디오 프레임을 나타내는 사용자 인터페이스를 직접 조작하여), 애노테이션(3)과 연관된 시간 정의(temporal definition)를 변경할 수 있다.
도 2의 애노테이션 리스트(280)는 클라이언트가 애노테이션들 및 그들의 연관된 프레임들을 구성하는 방법의 일례를 설명하기 위해 나타낸 것이다. 애노테이션 리스트(280)는 프레임 또는 일련의 프레임들과 연관된 애노테이션들을 디스플레이하고 관리하는 것에 유용하다. 그러나, 본 발명의 범위를 일탈하지 않는 범위 내에서, 여러가지 클라이언트들은 애노테이션을 상이하게 구성할 수 있다.
도 1에 나타낸 바와 같이, 경우에 따라 클라이언트가 동일한 비디오의 다수 인스턴스(multiple instance)에 억세스할 수 있고, 서로 다른 클라이언트들이 여러가지 상이한 인스턴스들에 빈번하게 억세스할 수 있다. 도 3은 동일한 비디오의 두개 인스턴스를 구성하는 일련의 프레임들을 나타낸다. 예를 들면, 비디오 인스턴스(302)는 케이블 채널로부터 수신한 비디오의 카피본일 수 있고, 반면에 비디오 인스턴스(304)는 온라인 비디오 스토어에서 수신한 동일한 비디오 카피본일 수 있다. 다른 예로서, 비디오 인스턴스(302)는 제 1 방송국의 제 1 사용자의 디지털 비디오 레코더에 의해 녹화된 비디오 카피본일 수 있고, 반면에 비디오 인스턴스(304)는 제 2 방송국의 제 2 사용자의 디지털 비디오 레코더에 의해 녹화된 비디오 카피본일 수 있다.
비디오 인스턴스(302)는 비디오 인스턴스(304)와 관계없이 획득된 것이므로, 두 카피본은 시간 동기화 되어 있지 않고/또는 길이(length)가 서로 다를 수 있다. 예를 들면, 비디오 인스턴스(302)는 시간을 엄수하는 것과 오락성으로 유명한 텔레비젼 계열회사인 "Zurich Channel"로부터 녹화된 것일 수 있다. 한편, 비디오 인스턴스(304)는 슬립쇼드 프로그래밍(slipshod programming)과 해퍼자드 타이밍(haphazard timing)으로 유명한 텔레비젼 계열회사인 "TV Tulsa"로부터 녹화된 것일 수 있다. 따라서, 도 3에 나타낸 바와 같이, 첫번째 인스턴스의 프레임들은 두번째 인스턴스의 프레임들과 반드시 대응하지는 않을 것이다. 또한, 주어진 프로그램 또는 방송의 서로 다른 인스턴스들 사이에서 발생할 수 있는 다수의 다른 타입의 차이점들이 존재한다. 이러한 차이점들은, 부호화 파라미터(예를 들면, 해상도, 프레임 레이트(frame rate))의 차이 및 파일 포맷의 차이를 포함하고, 이에 한정되는 것은 아니다.
도시된 예에서, 비디오 인스턴스(302)의 프레임들(306)은 비디오 인스턴스(304)의 프레임들(308)에 대해 타임 시프트되어 있다. 프레임들(308) 중의 첫번째 프레임은 프레임들(306) 중의 세번째 프레임과 동일한 콘텐츠를 포함한다. 애노테이션이 어떤 사용자에 의해 비디오의 특정 프레임과 연관된 경우, 다양한 비디오 인스턴스들 사이의 타임 시프트 가능성에도 불구하고, 다른 사용자에게 나타내어 질 때는 그들 프레임과 함께 애노테이션들이 디스플레이 되도록 하는 것이 바람직하다. 비디오 인스턴스(302)는 6개의 프레임을 가지는 반면, 비디오 인스턴스(304)는 4개의 프레임을 가진다는 점에 주목해야 한다.
애노테이션 서버(110)는 이러한 시간 시프팅(time shifting)을 연산하여, 애 노테이션이 비디오의 다양한 인스턴스들과 함께 적절하게 디스플레이될 수 있도록 한다. 예를 들면, 프레임(306) 중의 세번째 프레임에 등장하는 운전자를 설명하는 애노테이션을 가정하자. 이 애노테이션이 프레임(306)에 대해 인덱스 처리되어 있다면, 애노테이션 서버(110)는 애노테이션이 비디오 인스턴스(304)와 함께 적절하게 디스플레이될 수 있도록 하기 위해 이 인덱스를 프레임(308)에 대한 인덱스로 변환한다. 애노테이션 서버(110)는 한 비디오 인스턴스를 다른 비디오 인스턴스에 맵핑하는 것에 의해 애노테이션 인덱스를 변환환다.
이제 도 4a를 참조하면, 애노테이션(404)이 비디오의 정규 인스턴스(406)로 인덱스 처리되어 있다. 설명의 목적을 위해, 인덱스 처리된 애노테이션을 갖는 비디오 인스턴스를 정규 인스턴스로 호칭하고, 클라이언트에 디스플레이되는 비디오 인스턴스를 클라이언트 인스턴스로 호칭한다. 일 실시예에 따르면, 애노테이션은 둘 이상의 클라이언트 피어들(client peers) 사이에서 다방향으로 공유될 수 있다. 이에 따라, 비디오의 정규 인스턴스가 확실하게 존재하지만은 않을 가능성이 있다. "정규 인스턴스(canonical instance)"는 애노테이션을 교환하는 경우에 비디오 인스턴스가 행하는 역할을 지칭하는 것이고, 비디오 분배 시스템(video distibutions system) 또는 애노테이션 프레임워크 전체로서의 비디오 카피본 상태를 필수적으로 지칭하는 것은 아니다.
비디오 서버(108)는 청크에 비디오 콘텐츠를 저장할 수 있다. 청크에 비디오를 저장하는 시스템 및 방법이 미국 특허출원번호 제11/428,319호(발명의 명칭 "Dynamic Media Serving Infrastructure", 발명자 Manish Gupta 외, Attorney Docket No. 24207-11584, 2006년 6월 30일) 및 미국 가출원번호 제60/756,787호(발명의 명칭 "Discontinuous Download of Media Articles", 발명자 Michael Yu 외, Attorney Docket No. 24207-11081, 2006년 1월 6일)에 개시되어 있다. 본 명세서에서는, 이들 두 문서 모두를 전체로서 참고하는 것에 의해 일체화 한다. 도 4a는 청크(402A)와 청크(402B)로 저장된 비디오의 정규 인스턴스(406)를 나타낸다. 청크는 비디오를 저장하기 위한 데이터 구성요소이다. 청크에 비디오를 저장하는 것은 비디오의 효과적인 인덱스 처리 및 전송에 유리하고, 관리하기가 더욱 용이한 사이즈의 비디오 데이터로서의 조작성(manipulation)을 감안한 것이다.
본 명세서에서 도 2를 참조하여 설명한 바와 같이, 애노테이션은 비디오의 특정 프레임과 연관될 수 있다. 애노테이션과 특정 프레임 사이의 연관은 애노테이션을 비디오의 특정 인스턴스 내의 프레임으로 인덱스 처리하는 것에 의해 저장되어 진다. 예를 들면, 애노테이션(404A)은 비디오의 정규 인스턴스(406)의 프레임(본 경우에는 청크(402A) 내의 프레임)에 인덱스 처리되어 있다.
또한, 본 명세서에서 도 2를 참조하여 설명한 바와 같이, 애노테이션은 비디오 내의 일련의 프레임들과 연관될 수 있다. 경우에 따라 비디오의 하나 이상의 프레임 세트는 비디오 세그먼트로 지칭된다. 예를 들면, 애노테이션(404D)은 비디오의 정규 인스턴스(406)의 비디오 세그먼트로 인덱스 처리되어 있다(본 경우에 세그먼트는 청크(402B)의 하나 이상의 프레임을 포함).
클라이언트는 비디오 소스 또는 서버로부터 비디오를 수신하고(본 명세서에서 도 1을 참조하여 설명한 바와 같이), 비디오의 클라이언트 인스턴스(408)로서 카피본을 저장한다. 클라이언트가 그 비디오를 디스플레이할 때, 클라이언트는 디스플레이되는 비디오의 프레임들과 연관된 애노테이션들을, 애노테이션 서버로부터 주기적으로 요구한다. 클라이언트는, 애노테이션들이 그들과 연관된 프레임들과 함께 디스플레이할 수 있는 충분한 시간으로 요청, 검색, 전송 및 수신하도록 하는 것을 확보하기 위해, 프레임이 디스플레이되기 전에 일시적으로 프레임과 연관된 애노테이션들을 요청한다.
효율을 향상시키기 위해, 클라이언트는 특정 프레임과 연관된 애노테이션의 요청을 비디오의 세그먼트와 연관된 애노테이션의 요청으로 합체할 수 있다. 예를 들면, 요청(request)은 어떤 비디오와 연관된 모든 애노테이션들을 검색하는 것을 추구할 수 있다. 도면에 나타낸 예에서는, 클라이언트가 비디오 세그먼트(409)와 연관된 애노테이션들을 요청한다. 애노테이션에 대한 요청은 그 세그먼트의 각각의 프레임들과 연관된 애노테이션들, 또는 그 세그먼트의 슈퍼세트(superset) 또는 서브세트(subset)와 연관된 애노테이션들을 리턴(return)할 것이다. 예를 들면, 클라이언트는 비디오 세그먼트(409)와 정확하게 연관된 애노테이션들, 비디오의 세그먼트(409)의 각 프레임들과 연관된 애노테이션들, 또는 비디오 전체와 연관된 애노테이션들을 요청할 수 있다.
이제 도 4b를 참조하면, 애노테이션 서버(110)는 비디오의 클라이언트 인스턴스(408)를 비디오의 정규 인스턴스(406)로 맵핑한다. 맵핑(412)은 비디오의 클라이언트 인스턴스(408)의 프레임들과 비디오의 정규 인스턴스(406)의 프레임들 사이의 대응(correspondence)을 나타낸다. 애노테이션 서버(110)는 다양한 기술을 이용 하여 비디오의 클라이언트 인스턴스(408)를 비디오의 정규 인스턴스(406)로 맵핑할 수 있다. 본 발명의 일 실시예에 따르면, 클라이언트의 애노테이션 요청은 비디오의 클라이언트 인스턴스(408)의 피쳐(feature)를 포함한다. 피쳐(feature)는 유사한 하나 이상의 비디오 프레임들의 콘텐츠에 대한 간명한 표현이다. 예를 들면, 애노테이션 서버(110)는 그 프레임들을 씬(scenes) 또는 샷(shots)과 같은 논리적 유닛들로 분류할 수 있다. 애노테이션 서버(110)는 씬 검출 알고리즘(scene detection algorithms)을 사용하여 그 프레임들을 자동으로 분류할 수 있다. 1998년 이미지 프로세싱에 관한 국제회의(International Conference on Image Precessing)(Oct 4-7 1998)에 개재된 "A High-Performance Shot Boundary Detection Algorithm Using Multiple Cues(Naphade, M.R. 외,)"의 vol.1, pp.884-887에는 '씬 검출 알고리즘'이 기재되어 있고, 본 명세서에서는 이를 참고하는 것에 의해 일체화한다.
따라서, 애노테이션 서버(110)는 같은 씬에 속하는 모든 프레임들에 대한 하나의 피쳐 세트(feature set)를 컴퓨팅할 수 있다. 예를 들면, 피쳐는 시간, 공간, 또는 주파수영역(frequency domains)의 특징들에 대한 기재사항 일 수 있다. 예를 들면, 클라이언트는 특정 프레임과 연관된 애노테이션들을 요청할 수 있고, 프레임의 시간, 위치, 및 주파수영역 특징들로서 그 프레임을 설명할 수 있다. 클라이언트는 'Proc. ACM Multimedia 95, Sanfrancisco, CA(Nov. 1993), pp. 189-200'에 개재된 "Feature-Based Algorithms for Dececting and Classfying Scene Breaks(Zabih, R., Miller, J., and Mai, k.)", 또는 'Multimedia Systems(1994), vol.1, no.5, pp.211-219'에 개재된 "Image Processing on Encoded Video Sequences(Arman, F., Hsu, A., and Chiu, M-Y.)", 또는 'Multimedia Systems(2000), vol.8, pp.37-46'에 개재된 "Metrics for Shot Boundary Detection in Digital Video Sequences(Ford, R.M., 외)" 등의, 비디오의 피쳐(feature)를 결정하는 임의의 기술을 사용할 수 있고, 전술한 모든 기술들은 본 명세서에서 이를 참고하는 것에 의해 일체화한다. 본 발명이 속하는 기술 분야의 당업자는 비디오의 피쳐를 결정하기 위한 다양한 기술들을 인지할 수 있을 것이다.
일반적으로, 거리 함수(distance function)는 프레임들의 기초를 이루는 세트(underlying sets)의 근접성(closeness)을 캡처한다. 애노테이션 서버(110)가 그 피쳐 세트(feature set)에 따라서, 프레임용 애노테이션에 대한 요청을 수신하는 경우, 애노테이션 서버(110)는 그 요청 내의 프레임을 비디오의 정규 인스턴스(406) 내에서 가장 근접한 프레임으로 맵핑하는 것을 먼저 시도한다. 애노테이션 서버(110)는 비디오의 클라이언트 인스턴스(408)(피쳐 세트에 포함된 피쳐들 중의 하나) 내에서의 프레임 시간 위치를 사용하여, 예를 들면, 정해진 시간 내의 프레임들 또는 선택된 프레임의 전후 프레임들로 후보 세트를 한정함으로써, 이러한 프레임으로 맵핑할 가능성이 있는 정규 비디오(406) 내의 프레임 세트를 좁힌다. 후보 세트 내의 모든 프레임들에 관해서는, 애노테이션 서버(110)는 클라이언트(408)의 프레임을 구성하는 피쳐 세트와 정규 비디오(406)의 프레임을 구성하는 피쳐 세트 사이의 거리를 컴퓨팅한다. 가장 짧은 거리를 갖는 정규 비디오(406)의 프레임은 매칭 프레임(matching frame)으로 호칭되어 진다. 그 후, 클라이언트 프레임은 매칭 프레임으로 맵핑된다. 가장 근접한 프레임까지의 거리가, 양호한 매칭이 존재하지 않는다는 것을 나타내는 일정한 임계값(threshold)보다 크다면 어떤 애노테이션들도 리턴되지 않는다. 매핑을 형성하기 위해 사용된 피쳐로 설명된 구성요소들은 애노테이션들이 요청되고 있는 비디오의 세그먼트 내에 상주할 수 있으며, 반드시 이에 한정되는 것은 아니다. 이와 유사하게, 피쳐로 설명된 구성요소들은, 애노테이션이 인덱스 처리된 비디오의 세그먼트 내에 상주하거나 상주하지 않을 수 있다.
피쳐는 예를 들면, 애노테이션 서버(110)가 피쳐 스트링(feature strings)으로부터 프레임으로의 역 인덱스(inverted index)를 사용하여 피쳐를 검색하도록 하는 경우에는 스트링(string)으로 표시될 수 있다. 애노테이션 서버(110)는 피쳐 세트에 대한 거리를 규정하고, 가장 짧은 거리를 갖는 후보 프레임을 선택하는 것에 의해 피쳐를 검색할 수도 있다. 이러한 매핑은 서버(110)가 클라이언트 요청을 수신하거나, 또는 애노테이션 서버(110)가 미리 계산하여 오프라인 프로세스(offline process)에서의 거리를 유지할 수 있을 때 일어날 수 있다.
맵핑(412)을 사용하여, 애노테이션 서버(110)는 비디오의 정규 인스턴스 내의 대응 비디오 세그먼트(414)를 판정한다. 전술한 바와 같이, 비디오의 대응 세그먼트(414)는 비디오 세그먼트(409)의 콘텐츠와 밀접하게 매칭된 콘텐츠를 갖는다. 이상적인 조건하에서, 비디오의 대응 세그먼트(414)는 비디오의 세그먼트(409)와 동일한 프레임의 인스턴스를 포함한다. 애노테이션 서버(110)는 비디오의 정규 인스턴스 내의 프레임에 맵핑된 클라이언트 비디오(408) 내의 각 프레임을 프레임 번 호와 연관시키고, 각 프레임 맵핑에 관한 프레임 번호들의 목록을 보존한다. 일례에서, 프레임 번호들의 목록 길이(length)는 비디오의 클라이언트 인스턴스(408) 내의 프레임들의 갯수와 동일하고, 여기서, 각 엔트리는 대응 프레임을 비디오의 정규 인스턴스(406) 내의 프레임으로 맵핑한다.
애노테이션 서버는 비디오의 대응 세그먼트(414)(또는 비디오의 대응 세그먼트(414)의 슈퍼세트(superset) 또는 서브세트(subset))로 인덱스 처리된 애노테이션들을 판정한다. 도 4b의 예로 나타낸 바와 같이, 애노테이션(404D)은 비디오의 대응 세그먼트(414)에 정렬된 비디오 세그먼트에 인덱스 처리되어 있다. 세그먼트(409)에 관한 애노테이션 요청에 대한 응답으로, 애노테이션 서버(110)는 애노테이션(404D)을 클라이언트에게 전송한다.
선택적으로, 애노테이션 서버는 애노테이션과 연관되는 비디오 세그먼트를 기술한 정보를 전송할 수도 있다. 예를 들면, 피쳐(feature)를 기준점(reference point)으로 이용함으로써, 애노테이션 서버는 그 기준점에 대하여 프레임(일련의 프레임들)을 기술할 수 있다.
도 5는 비디오의 구성과 애노테이션들을 도시한 것이다. 도 5는 애노테이션들이 애노테이션 서버 내의 비디오의 정규 인스턴스로 인덱스 처리되는 방법을 나타낸다.
일 실시예에 따르면, 애노테이션들은 애노테이션 리포지터리(repository)에 저장되어 있다. 비디오의 정규 인스턴스는 비디오 리포지터리에 저장되어 있다. 애노테이션과 리포지터리는 동일한 서버 내에 포함되거나, 별개의 서버에 포함될 수 있다. 예를 들면, 애노테이션들이 애노테이션 서버(110)에 저장될 수 있고, 비디오는 비디오 서버(108)에 저장될 수 있다.
애노테이션은 비디오의 세그먼트에 대한 레퍼런스를 포함한다. 예를 들면, 애노테이션(404D)은 시간 정의(temporal definition)(501D)를 포함한다. 시간 정의는 비디오의 정규 인스턴스의 하나 이상의 프레임들을 규정하고 있다. 도시된 예에서는, 시간 정의(501D)가 비디오의 정규 인스턴스(406)의 프레임(504) 중의 하나를 지시하고 있다. 다른 예로서, 애노테이션(404F)이 시간 정의(510F)를 포함하고 있다. 시간 정의(510F)는 비디오의 정규 인스턴스(406)의 일련의 프레임들을 지시하고 있다. 시간 정의는 문서 식별자(document identifier), 프레임 식별자(frame identifier), 타임코드(timecode), 프레임 길이(length in frames), 밀리세컨드 길이(length in millisecond), 및 다양한 다른 조합(combination)들을 포함하는 다양한 메트릭들을 이용하여 기술될 수 있으며, 이에 한정되는 것은 아니다.
시간 정의는 애노테이션들을 비디오 세그먼트와 연관시키는 방법의 일례이다. 애노테이션들을 비디오 세그먼트와 연관시키는 다른 방법들은 본 발명의 범위를 일탈하지 않는 범위 내에서 당업자에게 자명할 것이다.
또한, 애노테이션은 애노테이션 콘텐츠(511)를 포함한다. 예를 들면, 애노테이션 콘텐츠는 오디오, 텍스트, 메타데이터(metadata), 커맨드(commands), 또는 미디어 파일과 연관되기에 유용한 임의의 다른 데이터를 포함할 수 있다. 애노테이션은 그 애노테이션이 연관되는 프레임(프레임들)의 영역을 규정한 공간 정의(spatial definition)(509)를 선택적으로 포함할 수 있다. 공간 정의(509)를 사 용하는 것은 애노테이션을 프레임상의 특정 공간 위치와 연관시키는 예시적인 한 방법이다.
일례로서, 비디오의 대응 세그먼트(414)가 프레임(504)을 포함하는 것으로 가정하자. 비디오의 대응 세그먼트(414)는 일련의 타임코드들(timecodes)로 정의될 수 있다. 애노테이션 서버는, 비디오의 대응 세그먼트(414)를 정의한 일련의 타임코드들의 범위 안에 있거나 이와 중복되는 타임코드들을 참조하여, 애노테이션들을 탐색(searching)하는 것에 의해 애노테이션들을 검색한다. 애노테이션 서버는, 애노테이션 콘텐츠(511D)를 포함하는 애노테이션(404D)을 검색한다. 애노테이션 서버는 애노테이션 콘텐츠(511D)(또는 애노테이션 콘텐츠(511D)를 포함하는 애노테이션(404D))를 클라이언트에게 전송하고, 클라이언트는 그 애노테이션 콘텐츠(511D)를 디스플레이한다.
도 6은 본 발명의 일실시예에 따라, 비디오와 연관된 애노테이션을 디스플레이 및 수정하는 이벤트 트레이스(event trace)이다. 클라이언트는 비디오 서버(106) 또는 비디오 소스(102)로부터 비디오 세그먼트를 수신하고, 비디오의 클라이언트 인스턴스로서 카피본을 저장한다. 클라이언트는 피쳐 검출 알고리즘(feature detection algorithm)을 이용하여 세그먼트를 처리하여, 비디오의 제 1 세그먼트를 기초로하여 피쳐를 판정한다(602). 클라이언트는 비디오의 제 2 세그먼트와 연관된 애노테이션에 대한 요청(이 요청은 피쳐를 포함하고 있음)을 애노테이션 서버(110)로 송신한다.
비디오의 제 1 세그먼트는 비디오의 제 2 세그먼트와 공통된 프레임들을 포 함할 수 있고, 반드시 이에 한정되는 것은 아니다. 비디오의 제 2 세그먼트와 연관된 애노테이션에 대한 요청에 포함된 피쳐는, 인접한 세그먼트들로부터 두번째 세그먼트까지의 피쳐들을 더 포함할 수 있다.
또한, 애노테이션 서버가 적절한 애노테이션들을 검색할 수 있도록 하기 위해, 상기 요청은 비디오의 콘텐츠 또는 타이틀을 기술한 메타데이터를 포함할 수 있다. 예를 들면, 온라인 스토어(online store)에서 구매한 비디오는, 이용가능한 애노테이션 세트를 필터링하는 데에 사용될 수 있는 비디오 타이틀을 포함할 수 있다. 다른 예로서, 텔레비젼 또는 케이블로부터 획득되는 비디오를 위해, 애노테이션 서버로 송신된 메타데이터는 그 비디오를 획득한 시간 및 채널에 관한 디스크립션(description)을 포함할 수 있다. 애노테이션 서버는 이러한 시간 및 채널 정보를 이용하여 적합한 비디오를 결정한 후, 그 비디오와 연관된 애노테이션들을 검색할 수 있다.
애노테이션 서버(110)는 애노테이션에 대한 요청을 수신한다. 애노테이션 서버(110)는 비디오의 정규 인스턴스 내에서 그 요청에 포함된 피쳐를 탐색하여, 비디오의 클라이언트 인스턴스와 비디오의 정규 인스턴스 사이의 맵핑을 형성한다. 일 실시예에서, 애노테이션에 대한 요청은 애노테이션을 검색할 특정 비디오를 나타내는 메타데이터를 포함하고, 애노테이션 서버(110)는 이러한 메타데이터에 의해 나타난 비디오의 정규 인스턴스 내에서 피쳐를 탐색한다.
애노테이션 서버(110)는 비디오와 연관된 애노테이션용의 애노테이션 리포지터리(annotation repository)를 탐색하고 애노테이션을 리턴시킨다. 예를 들면, 애 노테이션 서버(110)는 비디오의 정규 인스턴스로 인덱스 처리된 애노테이션들을 탐색할 수 있다. 애노테이션 서버(110)는, 두 인스턴스들 사이의 맵핑을 이용함으로써, 비디오의 정규 인스턴스에의 인덱스를, 비디오의 클라이언트 인스턴스에의 인덱스로 변환할 수 있다.
애노테이션 서버(110)는 비디오와 연관된 애노테이션을 클라이언트에게 전송한다. 일 실시예에 따르면, 애노테이션은 그 애노테이션과 연관된 하나 이상의 프레임 세트를 정의한 인덱스 정보도 포함한다. 애노테이션 서버(110)는, 예를 들면 피쳐에 대한 연관(association)을 인덱스 처리함으로써, 애노테이션과 연관된 프레임들을 정의할 수 있다.
클라이언트(104)는 애노테이션을 수신한 후 디스플레이한다(610). 애노테이션이 비디오의 클라이언트 인스턴스에 따라 적절하게 디스플레이되도록 하기 위해, 클라이언트(104)는 애노테이션에 관한 인덱스 정보를 처리할 수도 있다.
선택적으로, 클라이언트는 애노테이션에 대한 변경을 사용자로부터 수신한다(612). 예를 들면, 사용자는 애노테이션 콘텐츠에 포함되어 있는 텍스트를 편집하거나, 오디오를 재녹화하거나, 메타데이터를 수정하거나, 또는 애노테이션 커맨드(annotation command)를 변경할 수 있다. 클라이언트(104)는 수정된 애노테이션을 애노테이션 서버(110)로 전송하거나, 또는, 택일적으로, 그 수정 디스크립션(description of the modification)을 애노테이션 서버(110)로 전송한다.
애노테이션 서버(110)는 수정된 애노테이션을 수신한다. 애노테이션 서버(110)는 수정된 애노테이션을 저장하고(614), 그 수정된 애노테이션을 비디오의 정규 인스턴스에 인덱스 처리한다. 애노테이션 서버(110)는 다양한 방법들을 이용하여 수정된 애노테이션을 비디오의 정규 인스턴스와 함께 인덱스 처리할 수 있다. 예를 들면, 애노테이션 서버(110)는 이전에 확립된 맵핑을 이용하여, 인덱스를 비디오의 클라이언트 인스턴스로 변환할 수 있다. 다른 예로서, 클라이언트(104)는 수정된 애노테이션을 갖는 피쳐를 포함할 수 있고, 애노테이션 서버(110)는 비디오의 클라이언트 인스턴스와 비디오의 정규 인스턴스 사이의 새로운 맵핑을 확립할 수 있다.
설명의 목적을 위해, 클라이언트(104)로부터 애노테이션 서버(110)로의 흐름으로써 피쳐들(features)을 나타내었다. 그러나, 비디오의 클라이언트 인스턴스와 비디오의 정규 인스턴스 사이의 맵핑을 확립할 목적으로, 어느 한쪽 방향으로 피쳐들이 흐를 수 있다. 클라이언트(104)에 의해 전송된 피쳐들에 기초하여 이러한 맵핑을 유지하는 애노테이션 서버(110)의 예시는 설명의 목적으로 주어진 것이며, 이에 한정되는 것은 아니다. 다른 실시예에서는, 예를 들면 애노테이션 서버(110)에 의해 클라이언트(104)로 송신된 비디오의 정규 인스턴스의 피쳐에 기초하여, 클라이언트가 비디오의 클라이언트 인스턴스와 비디오의 정규 인스턴스 사이의 맵핑을 유지한다. 또 다른 실시예에서는, 제 3 자(a third party)가 애노테이션 서버(110)와 클라이언트(104) 양쪽 모두로부터 피쳐들을 수신하는 것에 의해, 비디오의 클라이언트 인스턴스와 비디오의 정규 인스턴스 사이의 맵핑을 유지한다.
클라이언트(104)는 신규 애노테이션을 서브미트(submit)하기 위해 사용될 수도 있다. 예를 들면, 사용자는 애노테이션 콘텐츠를 생성하고, 그것을 비디오와 연 관시킬 수 있다. 또한, 사용자는 신규 애노테이션의 공간 정의(spatial definition)를 규정할 수 있고, 인덱스 처리할 비디오의 클라이언트 인스턴스에 관한 일련의 프레임들을 선택할 수도 있다. 클라이언트(104)는 저장을 위해 신규 애노테이션을 애노테이션 서버(110)로 전송하여 저장한다.
이제 도 7a를 참조하면, 사용자는 그래픽 사용자 인터페이스(Graphical User Interface)를 이용하여 애노테이션들을 탐색, 생성, 또는 편집할 수 있다. 도시된 예에서, 애노테이션용 그래픽 사용자 인터페이스는 비디오 플레이어 그래픽 사용자 인터페이스(702)로 통합되어 있다. 비디오 플레이어 그래픽 사용자 인터페이스(702)는 클라이언트(104)의 디스플레이 장치에 나타내어질 수 있는 인터페이스의 일례이다. 비디오 플레이어 그래픽 사용자 인터페이스(702)는 미디어 파일(도시된 예에서는 비디오)을 제공하기 위한 디스플레이 영역뿐만 아니라, 그 미디어 파일을 선택, 플레이, 중단, 패스트 포워딩 및 리와인딩하기 위한 제어 버튼들을 포함하고 있다. 비디오 플레이어 그래픽 사용자 인터페이스(702)는 도 7a에 나타낸 "National Archives and Records Administration"에 관한 광고 등과 같은, 광고를 포함할 수도 있다.
비디오 플레이어 그래픽 사용자 인터페이스(702)는 비디오의 프레임을 제공한다. 비디오의 프레임과 함께 애노테이션 정의(704)가 나타나 있다. 애노테이션 정의(704)는 애노테이션의 공간 정의(spatial definition) 및/또는 시간 정의(temporal definition)를 그래픽으로 나타낸다. 예를 들면, 도 7a에 나타낸 애노테이션 정의(704)는 애노테이션과 연관된 프레임의 서브세트(subset) 경계를 묘사 하고 있다. 다른 예로서, 애노테이션 정의(704)는 애노테이션과 연관된 일련의 프레임의 경계를 묘사할 수 있다. 도 7a에는 단일의 애노테이션 정의(704)가 나타나 있지만, 본 발명의 범위를 일탈하지 않는 범위 내에서 비디오 플레이어 그래픽 사용자 인터페이스(702)는 복수의 애노테이션 정의(704)를 포함할 수 있다.
애노테이션 정의(704)는 사용자 선택에 대한 응답으로 디스플레이되거나, 기존 애노테이션의 디스플레이 일부로서 디스플레이될 수 있다. 예를 들면, 사용자는 입력장치를 사용하여 신규 애노테이션과 연관될 프레임의 영역을 선택할 수 있고, 그 선택에 대한 응답으로서, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 사용자에 의해 생성된 애노테이션 정의(704)를 디스플레이한다. 다른 예로서, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 비디오 및 연관된 애노테이션을 디스플레이할 수 있고, 또한 연관된 애노테이션을 디스플레이하는 것과 함께 애노테이션 정의(704)를 디스플레이할 수 있다.
비디오 플레이어 그래픽 사용자 인터페이스(702)는, 사용자가 애노테이션의 콘텐츠와 디스플레이를 제어할 수 있도록 하는 애노테이션 제어 버튼(706)을 더 포함한다. 예를 들면, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 애노테이션을 탐색하는 버튼을 포함할 수 있다. '탐색(search)' 애노테이션 버튼의 선택에 대한 응답으로, 클라이언트는 애노테이션 정의(704)(또는 이와 유사한 정의)와 연관된 애노테이션 또는 키워드와 연관된 애노테이션들을 탐색한다. 그 후, 그 탐색 결과가 비디오 플레이어 그래픽 사용자 인터페이스(702)에 디스플레이될 수 있다. 다른 예로서, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 애노테이션들을 편 집하는 버튼을 포함할 수 있다. '편집(edit)' 애노테이션 버튼의 선택에 대한 응답으로, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 애노테이션 정의(704)와 연관된 하나 이상의 애노테이션들을 디스플레이하고, 사용자로하여금 그 하나 이상의 애노테이션들을 수정할 수 있도록 허여한다. 또 다른 예로서, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 신규 애노테이션을 생성하는 버튼을 포함할 수 있다. '신규 애노테이션 생성(create)' 버튼의 선택에 대한 응답으로, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 도 7b에 나타낸 바와 같은 옵션들(options)을 디스플레이한다.
이제 도 7b를 참조하면, 애노테이션 제어 버튼(706)은 '신규 애노테이션 생성(create)' 버튼을 선택한 상황을 나타낸다. 비디오 플레이어 그래픽 사용자 인터페이스(702)는 신규 애노테이션 콘텐츠의 사용자 입력을 수신하기 위한 디스플레이 영역을 포함한다. 도시된 예에서, 신규 애노테이션 콘텐츠는 임의의 신규 애노테이션 텍스트(708)를 포함한다. 도 7b에 나타난 바와 같이, 사용자가 "General MacArthur" 디스크립션을 입력함과 동시에, 신규 애노테이션 텍스트(708)가 디스플레이된다. 애노테이션 콘텐츠 제작을 완료하였다는 것을 나타내는 추가적인 사용자 선택에 대한 응답으로, 예를 들면, 신규 애노테이션이 애노테이션 서버(110)로 제출되고, 비디오 플레이어 그래픽 사용자 인터페이스(702)에 디스플레이된다.
애노테이션 콘텐츠 제작의 일례로서 신규 애노테이션 텍스트(708)의 입력을 나타내었다. 비디오 플레이어 그래픽 사용자 인터페이스(702)는 다른 타입의 애노테이션 콘텐츠도 수신하도록 적응될 수 있다. 예를 들면, 애노테이션 콘텐츠는 오 디오를 포함할 수 있고, 비디오 플레이어 그래픽 사용자 인터페이스(702)는 마이크로폰(microphone)을 통한 오디오 기록을 개시하거나, 저장 매체(storage medium) 상의 위치로부터 오디오 파일을 선택하는 버튼을 포함할 수 있다. 애노테이션들의 다른 타입들 및 사용자가 제출한 애노테이션들을 수신하기 위한 유사한 방법들은, 본 발명의 범위를 일탈하지 않는 범위 내에서 당업자에게 자명할 것이다.
도 8은 어떤 애노테이션들을 디스플레이할 지를 판정하는 방법을 나타낸다. 일 실시예에서, 클라이언트(104)는 수신된 애노테이션들 중의 일부만을 디스플레이한다. 클라이언트(104)는 어떤 애노테이션들이 디스플레이 되어야 하고, 또한 디스플레이되지 않아야 하는지를 판정하기 위해, 도 8에 나타낸 바와 같은 방법을 수행한다.
클라이언트(104)는 애노테이션을 수신한다(802). 클라이언트는 그 애노테이션이 높은 우선순위(high-priority)를 갖는지 여부를 판정한다(804). 높은 우선순위 애노테이션은 사용자가 애노테이션 표시에 대해 설정했는지 여부와 관계없이 표시된다. 높은 우선순위의 애노테이션은, 예를 들면 광고, 긴급 방송 메시지, 또는 로컬 사용자 설정(local user setting)을 대체해야만 하는 중요성을 갖는 여타의 통신을 포함할 수 있다.
클라이언트(104)가 애노테이션은 높은 우선순위를 갖는다고 판정한 경우, 클라이언트는 애노테이션을 디스플레이한다(812). 클라이언트(104)가 애노테이션은 높은 우선순위를 갖지 않는다고 판정한 경우, 클라이언트는 애노테이션들이 사용가능한지 여부를 판정한다(806). 예를 들면, 애노테이션 디스플레이 모드의 사용자 선택에 의해, 애노테이션들은 인에이블되거나 디스에이블될 수 있다. 사용자가 애노테이션들을 디스에이블하도록 선택한 경우, 클라이언트(104)는 애노테이션을 디스플레이하지 않는다(810). 사용자가 애노테이션들을 인에이블하도록 선택한 경우, 클라이언트(104)는 그 애노테이션이 사용자 정의 기준(user-defined criteria)에 부합하는지 여부를 판정한다(808).
본 명세서에서 설명한 바와 같이, 클라이언트(104)는 사용자가 다양한 기준에 기초하여 디스플레이용 애노테이션들을 선택할 수 있도록 허여한다. 일 실시예에서, 애노테이션 서버(110)에 의해 송신된 애노테이션들로 한정할 때, 사용자 정의 기준은 애노테이션에 대한 요청으로 기술될 수 있다. 다른 실시예에서, 사용자 정의 기준은, 클라이언트(104)에 애노테이션들이 수신된 경우 어떤 애노테이션들을 디스플레이할 지를 제한하도록 사용될 수 있다. 사용자 정의 기준은 예를 들면, 언어, 애노테이션 콘텐츠, 특정 제작자들(authors) 또는 제작자들의 그룹, 또는 다른 애노테이션 특성들에 기초하여, 어떤 애노테이션들을 디스플레이할지를 규정할 수 있다.
클라이언트(104)가 애노테이션은 사용자 정의 기준을 만족시킨다고 판정한 경우(808), 클라이언트(104)는 애노테이션을 디스플레이한다(812). 클라이언트(104)가 애노테이션은 사용자 정의 기준을 만족시키지 않는다고 판정한 경우(808), 클라이언트(104)는 애노테이션을 디스플레이하지 않는다(810).
도 8은 클라이언트(104)가 디스플레이할 애노테이션들을 판정하는 방법의 일례를 나타낸다. 애노테이션 제공자와 애노테이션 소비자에 의해 확립된 애노테이션 우선순위를 조정하는 다른 방법들은, 본 발명의 범위를 일탈하지 않는 범위 내에서 당업자에게 자명할 것이다.
이제 본 명세서에 개시된 비디오의 정규 인스턴스로 되돌아가면, 비디오의 정규 인스턴스는, 다양한 실시예들에 따라 여러가지 방법으로 실행될 수 있다. 어떤 경우에, 애노테이션 서버(110)는 신규 애노테이션을 제공하기에 앞서 비디오의 정규 인스턴스를 선택하였다. 클라이언트(104)는 그 신규 애노테이션을 비디오의 정규 인스턴스에 인덱스 처리하는 것을 용이하게 하기 위해 피쳐를 송신할 수 있다. 다른 경우에, 예를 들면, 애노테이션이 특정 비디오와 최초로 연관되는 때에는, 애노테이션 서버(110)가 그 비디오의 정규 인스턴스를 식별하지 못할 수 있다. 애노테이션 서버(110)는 비디오의 클라이언트 인스턴스로 인덱스 처리된 애노테이션을 저장하고, 그 비디오의 클라이언트 인스턴스를, 장래 애노테이션 처리를 위한 비디오의 정규 인스턴스로서 확립한다.
본 발명의 일 실시예에 따르면, 애노테이션들은 그 애노테이션을 제출한 클라이언트에 의해 사용된 비디오의 인스턴스 피쳐로 인덱스 처리되어 저장된다. 기초가되는 비디오의 정규 인스턴스가 없다면, 애노테이션들은 저장 및 검색될 수 없다. 예를 들면, 각 애노테이션은, 제공자의 비디오의 인스턴스를 지시하는, 각 애노테이션의 고유한 "비디오의 정규 인스턴스"로 인덱스 처리될 수 있다. 이러한 접근은 애노테이션 서버(110)가 비디오 카피본 자체를 보존하고 있지 않거나 그것에 접근하지 못하는 환경에서 특히 유익하다. 본질적으로, 애노테이션 서버(110)는 애노테이션들과 연관된 비디오의 카피본이 없어도 그것의 제작자로부터 소비자에게 애노테이션들을 넘겨주는, 애노테이션의 단순전달 브로커(blind broker)로서 기능할 수 있다.
콘텐츠-단순전달(content-blind) 애노테이션 서버는, 예를 들면 비디오 콘텐츠가 저작권으로 보호되거나, 사적인 것이거나, 또는 은밀한 것인 경우에 유익할 수 있다. 예를 들면, 자존심이 강한 어머니는 그녀의 아들을 처음으로 목욕시키는 필름에 주석을 달고 싶어할 수 있지만, 그 비디오의 레퍼런스 인스턴스(reference instance)를 센트럴 애노테이션 서버에 제공하는 것을 꺼려할 것이다. 콘텐츠-단순전달 애노테이션 서버는, 비디오 고유의 인스턴스에 억세스하지 않고도, 상기 어머니의 비디오 인스턴스에 인덱스처리된 애노테이션들을 저장한다. 이모, 삼촌, 또는 그 비디오 인스턴스에 대해 신뢰할 수 있는 다른 사용자가 애노테이션들을 요청하는 경우, 그의 인스턴스의 피쳐들과 애노테이션 제공과 함께 수신된 상기 어머니의 인스턴스의 피쳐들을 비교함으로써, 그의 인스턴스를 어머니의 인스턴스에 맵핑시킨다. 피쳐들은 프레임의 콘텐츠를 탐지하기 위해 쉽게 번복될 수 없는 방식으로 판정되므로, 비디오의 프라이버시를 보호할 수 있다.
애노테이션 서버와 클라이언트의 적용례는 단지 하나의 예시일 뿐이며, 본 발명은 비디오용 애노테이션들을 공유하고 분배하는 것에 대해 유용하게 채용될 수 있다. 본 명세서에서 설명한, 관련 비디오를 전송할 필요없이 애노테이션을 전송하는 방법이 본 발명의 범위를 일탈하지 않는 범위 내에서 여타의 다양한 적용 형태를 가질 수 있다는 것은, 당업자에게 자명할 것이다. 예를 들면, 사용자들은 비디오를 직접 전송하고나 호스팅하는 수고 없이도, 협력적으로 애노테이션들을 제작, 편집, 리뷰, 공표하고, 또한 뷰잉할 수 있는 온라인 커뮤니티(online communnity) 내에서 본 명세서에서 기술된 피쳐들을 사용할 수 있다. 이러한 커뮤니티는 그들 애노테이션과 연관되는 비디오의 저작권 보호를 침해하지 않으면서, 오픈-소스 스타일(open-source style)로 애노테이션들을 제작하는 것이 가능하게 한다.
부가된 피쳐로서, 이러한 커뮤니티 내의 사용자는 예를 들면, 사용자가 이전에 제작 또는 편집한 것에 대한 품질(quality)을 다른 사용자가 리뷰하는 것을 기초로 하여, 평판(reputation)을 축적할 수도 있다. 애노테이션들을 뷰잉하고자 하는 사용자는 일정한 임계값(threshold) 이하의 평판을 갖는 사용자의 애노테이션들을 무시하거나, 또는 대단히 높은 품질의 평판을 갖는 사용자의 애노테이션들을 탐색하도록 하는 옵션을 가질 수 있다. 다른 예로서, 사용자는 특정한 사용자, 또는 특정 그룹의 사용자들의 애노테이션들만을 뷰잉하도록 선택할 수 있다.
본 명세서에서 설명한 바와 같이, 애노테이션들은 비디오가 디스플레이되는 방식을 기술한 명령들, 예를 들면, 디스플레이 장치가 그 비디오에서 앞쪽으로 스킵하도록 지시하거나, 또는 다른 비디오로 완전히 점프하도록 지시하는 명령들을 포함할 수도 있다. 사용자는 비디오 세그먼트를 더 큰 조각(piece)으로 조합하는 제안을 효율적으로 제공하는, 점프투(jump-to) 명령 애노테이션들의 문자열을 제작할 수 있다. 일례로서, 명령 애노테이션들은 하나 이상의 다른 영화의 구성요소 부분으로 새로운 영화를 생성하기 위해 사용될 수 있다. 애노테이션 서버는 클라이언트에게 애노테이션들을 제공하고, 클라이언트는 애노테이션들에 의해 규정된 여러가지 세그먼트를 획득한 후 그 조각들을 어셈블링하여 사용자에게 디스플레이한다.
본 발명은 피어 투 피어(peer-to-peer), 분산형 호스팅(distributed hosting), 위키스타일 호스팅(wiki-style hosting), 집중형 서빙(centralized serving), 또는 네트워크를 통해 데이터를 공유하는 다른 공지된 방법들을 포함하는 다양한 호스팅 모델들 중의 임의의 것에 적용가능하며, 이에 한정되는 것은 아니다.
본 명세서에 기술된 애노테이션 프레임워크(annotation framework)는 다수의 수익 모델들에 관한 기회를 제공한다. 일례로서, 애노테이션 서버의 소유자는 애노테이션들 내에 광고를 포함시키는 것에 대한 수수료를 청구할 수 있다. 애노테이션 서버는 다양한 요소들(factors)에 기초하여 사용자에게 광고 애노테이션들을 제공하는 것을 목표로 할 수 있다. 예를 들면, 애노테이션 서버는 클라이언트가 디스플레이하고 있는 비디오의 타이틀 또는 카테고리, 사용자에 대해 알려진 사실들, 최근의 애노테이션 탐색 요청들(키워드 탐색 등과 같은), 그 비디오에 대해 이전에 제출된 다른 애노테이션들, 클라이언트의 지리적 위치, 또는 효과적으로 광고를 타게팅하기 위해 유용한 다른 기준에 기초하여 그 클라이언트에게 전송할 광고들을 선택할 수 있다.
애노테이션들로의 억세스는 서브스크립션 기반(subscription basis)으로 제공될 수 있거나, 또는 애노테이션들은 비디오 콘텐츠 자체와 함께 패키지로 판매될 수 있다. 예를 들면, 온라인 비디오 스토어에서 비디오를 구매한 사용자는 그 비디오와 연관되거나 또는 다른 비디오들과 연관된 애노테이션들을 뷰잉하거나, 편집하거나, 제작할 수 있는 퍼미션(permission)을 얻을 수 있다. 온라인 비디오 스토어 는 예를 들면, 한달동안 일정한 갯수의 비디오를 구매한 사용자에게 그 달동안 애노테이션 서버를 이용할 수 있는 권한(privilege)을 주는 판촉 활동을 할 수 있다.
선택적으로, 온라인 비디오 스토어로부터의 비디오 구매는 그 비디오와 연관된 애노테이션들을 제작, 편집, 뷰잉할 권한과 연계될 수 있다. 특정한 애노테이션 서버가 현저하게 사용자에게 인기있는 경우에는, 그 애노테이션 서버에의 억세스를 제어함으로써 비디오 저작권 보호에 일조할 수 있다. 예를 들면, 사용자는 애노테이션들을 뷰잉, 편집, 또는 제작하는 것을 허가받기 이전에, 그가 합법적으로 인가되어 획득된 비디오 카피본을 가지고 있다는 것을 증명해야만 할 것이다. 이러한 요구는 불법적으로 획득된 비디오 카피본의 유용성 또는 바람직성(desirability)을 감소시킬 수 있다.
수익 모델의 이러한 예들은 설명의 목적으로 제공된 것이고, 이에 한정되지 않는다. 다른 응용예 및 잠재적으로 유익할 수 있는 사용예들은, 본 발명의 범위를 일탈하지 않는 범위 내에서 당업자에게 자명할 것이다.
본 명세서에서 "일 실시예" 또는 "실시예"로 기재한 것은 그 실시예와 관련하여 기재된 특정 형태, 구조 또는 특징이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미하는 것이다. 본 명세서의 여러곳에 기재된 "일 실시예에서"의 표현은 동일한 실시예에 반드시 모두 참고되는 것이 아니다.
본 발명의 프로세스 과정들과 명령들은 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있고, 소프트웨어에서 구현되는 경우 다운로드되어 상주할 수 있고, 다양한 동작 시스템에 의해 사용되는 서로 상이한 플랫폼들로부터 동작할 수 있다.
본 발명은 본 명세서에서의 동작을 수행하는 장치와도 관련이 있다. 이 장치는 요구되는 목적을 위해 특별히 구성되거나, 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택 활성화되거나 재구성된 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 플로피 디스크, 광디스크, CD-ROM, 광 자기 디스크, ROM(read-only memory), RAM(random access memory), EPROM, EEPROM, 자기 또는 광카드, ASICs(application specific integrated circuits), 또는 전자 지시를 저장하기에 적합한 임의 타입의 매체를 포함하는 임의 타입의 디스크 등과 같은 컴퓨터 판독가능한 기록매체에 저장될 수 있고 컴퓨터 시스템 버스에 각각 연계될 수 있으며, 이에 한정되는 것은 아니다. 또한, 본 명세서에서 인용된 컴퓨터는 단일 프로세서를 포함할 수 있고, 향상된 컴퓨팅 기능을 위한 다중 프로세서 설계를 채용한 아키텍쳐일 수 있다.
본 명세서에서 제공된 알고리즘과 디스플레이들은 본질적으로 어떤 특정 컴퓨터나 다른 장치들에 관한 것이 아니다. 다양한 범용 시스템들이 본 명세서의 내용에 따른 프로그램과 함께 사용될 수도 있고, 또는 소정의 방법 과정들을 수행하기 위해 더욱 특화된 장치를 구성하는 것이 더욱 편리할 수도 있다. 다양한 이들 시스템에 관해 요구되는 구조는 아래의 기술에 의해 명백해질 것이다. 또한, 본 발명은 특정한 프로그래밍 언어와 관련하여 기술된 것이 아니다. 본 명세서에 기술된 본 발명의 내용들을 실행하기 위해서는 다양한 프로그래밍 언어들이 사용될 수 있고, 이하의 특정 언어들은 본 발명의 인에이블먼트와 최상의 모드의 개시를 위해 제공된 것이다.
본 발명이 바람직한 실시예와 몇몇 선택적인 실시예들에 대해 구체적으로 나타내고 설명하였지만, 당업자라면 본 발명의 기술 사상 및 범위를 일탈하지 않는 범위 내에서 발명의 형태 및 세부구성에 있어서 다양한 변경이 이루어질 수 있다는 것을 잘 알 것이다.
마지막으로, 본 명세서에서 사용된 언어는 이해 가능성과 교육의 목적으로 주로 선택된 것이고, 본 발명의 주제를 구체화하거나 한정하기 위해 선택된 것은 아니다. 따라서, 본 발명의 개시는 본 발명의 범주를 설명하기 위한 것이지 이에 한정되는 것은 아니며, 본 발명의 범위는 이하의 청구범위에서 설명되어 진다.

Claims (30)

  1. 애노테이션(annotations)을 검색하는 방법으로서,
    클라이언트 장치로부터 미디어 파일의 제 1 인스턴스의 세그먼트와 연관된 애노테이션에 대한 요청을 수신하는 단계 - 상기 미디어 파일의 제 1 인스턴스는 상기 클라이언트 장치에 디스플레이 됨 - ;
    상기 미디어 파일의 제 1 인스턴스의 세그먼트를 상기 미디어 파일의 제 2 인스턴스의 대응 세그먼트로 맵핑하는 단계 - 상기 미디어 파일의 제 2 인스턴스는 상기 클라이언트 장치로부터 원격에 위치한 호스트 장치에 저장되어 있음 - ;
    상기 미디어 파일의 제 2 인스턴스의 대응 세그먼트와 연관된 애노테이션을 검색하는 단계; 및
    상기 애노테이션을 상기 클라이언트 장치에 전송하여 처리하도록 하는 단계를 포함하는 것을 특징으로 하는 애노테이션을 검색하는 방법.
  2. 제 1 항에 있어서,
    상기 애노테이션에 대한 요청은 상기 미디어 파일의 제 1 인스턴스의 피쳐(feature)를 포함하는 것을 특징으로 하는 애노테이션을 검색하는 방법.
  3. 제 2 항에 있어서,
    상기 미디어 파일의 제 1 인스턴스의 세그먼트를 상기 미디어 파일의 제 2 인스턴스의 대응 세그먼트로 맵핑하는 단계는, 상기 미디어 파일의 제 2 인스턴스의 피쳐를 탐색하는 것을 포함하는 것을 특징으로 하는 애노테이션을 검색하는 방법.
  4. 제 1 항에 있어서,
    상기 미디어 파일은 비디오를 포함하는 것을 특징으로 하는 애노테이션을 검색하는 방법.
  5. 제 1 항에 있어서,
    상기 미디어 파일의 제 1 인스턴스의 세그먼트는 제 1 프레임을 포함하고, 상기 미디어 파일의 제 2 인스턴스의 대응 세그먼트는 제 2 프레임을 포함하는 것을 특징으로 하는 애노테이션을 검색하는 방법.
  6. 제 1 항에 있어서,
    상기 애노테이션은 오디오 세그먼트를 포함하는 것을 특징으로 하는 애노테이션을 검색하는 방법.
  7. 제 1 항에 있어서,
    상기 애노테이션은 상기 미디어 파일의 디스크립션(description)을 포함하는 것을 특징으로 하는 애노테이션을 검색하는 방법.
  8. 제 1 항에 있어서,
    상기 애노테이션은 광고를 포함하는 것을 특징으로 하는 애노테이션을 검색하는 방법.
  9. 제 1 항에 있어서,
    상기 애노테이션은 커맨드(command)를 포함하는 것을 특징으로 하는 애노테이션을 검색하는 방법.
  10. 미디어 파일과 연관된 애노테이션을 처리하는 방법으로서,
    상기 미디어 파일의 제 1 세그먼트의 피쳐(feature)를 판정하는 단계;
    서버에게 상기 미디어 파일과 연관된 애노테이션을 요청하는 단계 - 상기 요청은 상기 미디어 파일의 제 1 세그먼트의 피쳐를 포함함 - ;
    상기 서버로부터 상기 요청에 대한 응답을 수신하는 단계 - 상기 응답은 상기 미디어 파일의 제 2 세그먼트와 연관된 애노테이션을 포함함 - ; 및
    상기 애노테이션을 처리하는 단계를 포함하는 것을 특징으로 하는 애노테이션을 처리하는 방법.
  11. 제 10 항에 있어서,
    상기 피쳐는 상기 미디어 파일의 제 2 세그먼트의 콘텐츠를 식별하는 것을 특징으로 하는 애노테이션을 처리하는 방법.
  12. 제 10 항에 있어서,
    상기 미디어 파일은 비디오를 포함하는 것을 특징으로 하는 애노테이션을 처리하는 방법.
  13. 제 10 항에 있어서,
    상기 제 1 세그먼트는 제 1 프레임을 포함하고, 상기 제 2 세그먼트는 제 2 프레임을 포함하는 것을 특징으로 하는 애노테이션을 처리하는 방법.
  14. 제 10 항에 있어서,
    상기 애노테이션은 오디오 세그먼트를 포함하는 것을 특징으로 하는 애노테이션을 처리하는 방법.
  15. 제 10 항에 있어서,
    상기 애노테이션은 상기 미디어 파일의 디스크립션을 포함하는 것을 특징으로 하는 애노테이션을 처리하는 방법.
  16. 제 10 항에 있어서,
    상기 애노테이션은 광고를 포함하는 것을 특징으로 하는 애노테이션을 처리 하는 방법.
  17. 제 10 항에 있어서,
    상기 애노테이션은 커맨드를 포함하는 것을 특징으로 하는 애노테이션을 처리하는 방법.
  18. 애노테이션을 저장하는 방법으로서,
    제 1 클라이언트 장치로부터 제 1 애노테이션을 수신하는 단계 - 상기 제 1 애노테이션은 미디어 파일의 제 1 인스턴스의 세그먼트와 연관되고, 상기 미디어 파일의 제 1 인스턴스는 상기 제 1 클라이언트 장치에 디스플레이 됨 - ;
    상기 미디어 파일의 제 1 인스턴스의 세그먼트를 상기 미디어 파일의 제 2 인스턴스의 제 1 대응 세그먼트로 맵핑하는 단계 - 상기 미디어 파일의 제 2 인스턴스는 상기 제 1 클라이언트 장치로부터 원격에 위치한 호스트 장치에 저장되어 있음 - ; 및
    상기 제 1 애노테이션을 저장하는 단계 - 상기 제 1 애노테이션은 상기 미디어 파일의 제 2 인스턴스의 제 1 대응 세그먼트로 인덱스 처리됨 - 를 포함하는 것을 특징으로 하는 애노테이션을 저장하는 방법.
  19. 제 18 항에 있어서,
    상기 미디어 파일의 제 1 인스턴스의 피쳐를 수신하는 단계를 더 포함하는 것을 특징으로 하는 애노테이션을 저장하는 방법.
  20. 제 19 항에 있어서,
    상기 미디어 파일의 제 1 인스턴스의 세그먼트를 상기 미디어 파일의 제 2 인스턴스의 제 1 대응 세그먼트로 맵핑하는 단계는, 상기 미디어 파일의 제 2 인스턴스의 피쳐를 탐색하는 것을 포함하는 것을 특징으로 하는 애노테이션을 저장하는 방법.
  21. 제 18 항에 있어서,
    상기 미디어 파일은 비디오를 포함하는 것을 특징으로 하는 애노테이션을 저장하는 방법.
  22. 제 18 항에 있어서,
    상기 미디어 파일의 제 1 인스턴스의 세그먼트는 제 1 프레임을 포함하고, 상기 미디어 파일의 제 2 인스턴스의 대응 세그먼트는 제 2 프레임을 포함하는 것을 특징으로 하는 애노테이션을 저장하는 방법.
  23. 제 18 항에 있어서,
    상기 제 1 애노테이션은 오디오 세그먼트를 포함하는 것을 특징으로 하는 애노테이션을 저장하는 방법.
  24. 제 18 항에 있어서,
    상기 제 1 애노테이션은 상기 미디어 파일의 디스크립션을 포함하는 것을 특징으로 하는 애노테이션을 저장하는 방법.
  25. 제 18 항에 있어서,
    상기 제 1 애노테이션은 광고를 포함하는 것을 특징으로 하는 애노테이션을 저장하는 방법.
  26. 제 18 항에 있어서,
    상기 제 1 애노테이션은 커맨드를 포함하는 것을 특징으로 하는 애노테이션을 저장하는 방법.
  27. 제 18 항에 있어서,
    제 2 클라이언트 장치로부터 제 2 애노테이션을 수신하는 단계; 및
    상기 제 2 애노테이션을 저장하는 단계 - 상기 제 2 애노테이션은 상기 미디어 파일의 제 2 인스턴스의 제 1 대응 세그먼트로 인덱스 처리됨 - 를 더 포함하는 것을 특징으로 하는 애노테이션을 저장하는 방법.
  28. 애노테이션을 인덱스 처리하는 시스템으로서,
    미디어 파일의 제 1 인스턴스를 상기 미디어 파일의 제 2 인스턴스로 맵핑하도록 구성된 피쳐 디텍터(feature detector);
    상기 미디어 파일의 제 1 인스턴스로 인덱스 처리된 애노테이션을 검색하도록 구성된 애노테이션 검색기(annotation retriever); 및
    상기 맵핑을 이용하여 상기 애노테이션을 상기 미디어 파일의 제 2 인스턴스로 인덱스 처리하도록 구성된 애노테이션 인덱서(annotation indexer)를 포함하는 것을 특징으로 하는 애노테이션을 인덱스 처리하는 시스템.
  29. 제 28 항에 있어서,
    상기 애노테이션을 상기 미디어 파일의 제 2 인스턴스와 함께 디스플레이하도록 구성된 애노테이션 디스플레이어(annotation displayer)를 더 포함하는 것을 특징으로 하는 애노테이션을 인덱스 처리하는 시스템.
  30. 애노테이션을 검색하는 시스템으로서,
    클라이언트 장치로부터, 비디오의 제 1 인스턴스의 세그먼트와 연관된 애노테이션에 대한 요청을 수신하는 수단 - 상기 비디오의 제 1 인스턴스는 상기 클라이언트 장치에서 디스플레이되고, 상기 애노테이션에 대한 요청은 상기 비디오의 제 1 인스턴스의 피쳐(feature)를 포함함 - ;
    상기 비디오의 제 1 인스턴스의 세그먼트를 상기 비디오의 제 2 인스턴스의 대응 세그먼트로 맵핑하는 수단 - 상기 비디오의 제 2 인스턴스는 상기 클라이언트 장치로부터 원격에 위치한 호스트 장치에 저장되어 있고, 상기 맵핑하는 수단은 상기 비디오의 제 2 인스턴스의 피쳐를 탐색하는 수단을 더 포함함 - ;
    상기 비디오의 제 2 인스턴스의 대응 세그먼트와 연관된 애노테이션을 검색하는 수단; 및
    상기 애노테이션을, 상기 애노테이션을 디스플레이하는 상기 클라이언트 장치로 전송하는 수단을 포함하는 것을 특징으로 하는 애노테이션을 검색하는 시스템.
KR1020097015068A 2006-12-22 2007-12-19 비디오용 애노테이션 프레임워크 KR100963179B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/615,771 US7559017B2 (en) 2006-12-22 2006-12-22 Annotation framework for video
US11/615,771 2006-12-22

Publications (2)

Publication Number Publication Date
KR20090084976A true KR20090084976A (ko) 2009-08-05
KR100963179B1 KR100963179B1 (ko) 2010-06-15

Family

ID=39544384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097015068A KR100963179B1 (ko) 2006-12-22 2007-12-19 비디오용 애노테이션 프레임워크

Country Status (9)

Country Link
US (8) US7559017B2 (ko)
EP (2) EP2126730B1 (ko)
JP (1) JP4774461B2 (ko)
KR (1) KR100963179B1 (ko)
CN (1) CN101589383B (ko)
AU (2) AU2007336947B2 (ko)
BR (1) BRPI0720366B1 (ko)
CA (2) CA2672757C (ko)
WO (1) WO2008079850A2 (ko)

Families Citing this family (220)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7823058B2 (en) 2002-12-30 2010-10-26 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive point-of-view authoring of digital video content
US7580867B2 (en) 2004-05-04 2009-08-25 Paul Nykamp Methods for interactively displaying product information and for collaborative product design
US9275052B2 (en) 2005-01-19 2016-03-01 Amazon Technologies, Inc. Providing annotations of a digital work
US8145528B2 (en) 2005-05-23 2012-03-27 Open Text S.A. Movie advertising placement optimization based on behavior and content analysis
US8141111B2 (en) 2005-05-23 2012-03-20 Open Text S.A. Movie advertising playback techniques
US9648281B2 (en) 2005-05-23 2017-05-09 Open Text Sa Ulc System and method for movie segment bookmarking and sharing
WO2006127951A2 (en) 2005-05-23 2006-11-30 Gilley Thomas S Distributed scalable media environment
US8392821B2 (en) * 2006-03-17 2013-03-05 Viddler, Inc. Methods and systems for displaying videos with overlays and tags
US8341112B2 (en) * 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
US8656282B2 (en) * 2007-01-31 2014-02-18 Fall Front Wireless Ny, Llc Authoring tool for providing tags associated with items in a video playback
US20080031590A1 (en) * 2006-08-04 2008-02-07 Kulas Charles J Digital video recording of multiple associated channels
US8412021B2 (en) 2007-05-18 2013-04-02 Fall Front Wireless Ny, Llc Video player user interface
US10003781B2 (en) 2006-08-04 2018-06-19 Gula Consulting Limited Liability Company Displaying tags associated with items in a video playback
US20080066107A1 (en) 2006-09-12 2008-03-13 Google Inc. Using Viewing Signals in Targeted Video Advertising
US9672533B1 (en) 2006-09-29 2017-06-06 Amazon Technologies, Inc. Acquisition of an item based on a catalog presentation of items
US8725565B1 (en) 2006-09-29 2014-05-13 Amazon Technologies, Inc. Expedited acquisition of a digital item following a sample presentation of the item
US7559017B2 (en) 2006-12-22 2009-07-07 Google Inc. Annotation framework for video
US7865817B2 (en) 2006-12-29 2011-01-04 Amazon Technologies, Inc. Invariant referencing in digital works
US20080184117A1 (en) * 2007-01-30 2008-07-31 Awaremedia, Inc. D/B/A/ Panjea Method and system of media channel creation and management
US7903904B1 (en) * 2007-02-16 2011-03-08 Loeb Enterprises LLC. System and method for linking data related to a set of similar images
US8762327B2 (en) * 2007-02-28 2014-06-24 Red Hat, Inc. Synchronizing disributed online collaboration content
US8683342B2 (en) 2007-02-28 2014-03-25 Red Hat, Inc. Automatic selection of online content for sharing
KR101316743B1 (ko) * 2007-03-13 2013-10-08 삼성전자주식회사 컨텐츠 비디오 영상 중 일부분에 관한 메타데이터를제공하는 방법, 상기 제공된 메타데이터를 관리하는 방법및 이들 방법을 이용하는 장치
US7904825B2 (en) * 2007-03-14 2011-03-08 Xerox Corporation Graphical user interface for gathering image evaluation information
US7716224B2 (en) 2007-03-29 2010-05-11 Amazon Technologies, Inc. Search and indexing on a user device
US9665529B1 (en) 2007-03-29 2017-05-30 Amazon Technologies, Inc. Relative progress and event indicators
US20080276266A1 (en) * 2007-04-18 2008-11-06 Google Inc. Characterizing content for identification of advertising
US8667532B2 (en) 2007-04-18 2014-03-04 Google Inc. Content recognition for targeting video advertisements
US20080259211A1 (en) * 2007-04-23 2008-10-23 Nokia Corporation Using Subtitles for Other Purposes
US8700005B1 (en) 2007-05-21 2014-04-15 Amazon Technologies, Inc. Notification of a user device to perform an action
US9710553B2 (en) * 2007-05-25 2017-07-18 Google Inc. Graphical user interface for management of remotely stored videos, and captions or subtitles thereof
US8433611B2 (en) * 2007-06-27 2013-04-30 Google Inc. Selection of advertisements for placement with content
US9609260B2 (en) * 2007-07-13 2017-03-28 Gula Consulting Limited Liability Company Video tag layout
EP2193420A4 (en) * 2007-07-27 2010-10-06 Synergy Sports Technology Llc SYSTEM AND METHOD FOR USING A WEBSITE CONTAINING VIDEOS READING LISTS AS INTRODUCED ON A DOWNLOAD MANAGER
US9064024B2 (en) 2007-08-21 2015-06-23 Google Inc. Bundle generation
US9170997B2 (en) * 2007-09-27 2015-10-27 Adobe Systems Incorporated Commenting dynamic content
US8364020B2 (en) * 2007-09-28 2013-01-29 Motorola Mobility Llc Solution for capturing and presenting user-created textual annotations synchronously while playing a video recording
US8640030B2 (en) * 2007-10-07 2014-01-28 Fall Front Wireless Ny, Llc User interface for creating tags synchronized with a video playback
US8285121B2 (en) * 2007-10-07 2012-10-09 Fall Front Wireless Ny, Llc Digital network-based video tagging system
US8661096B2 (en) * 2007-11-05 2014-02-25 Cyberlink Corp. Collaborative editing in a video editing system
US20090132935A1 (en) * 2007-11-15 2009-05-21 Yahoo! Inc. Video tag game
KR20090063528A (ko) * 2007-12-14 2009-06-18 엘지전자 주식회사 이동 단말기 및 이동 단말기의 데이터 재생 방법
US8099662B2 (en) * 2008-01-17 2012-01-17 Seiko Epson Corporation Efficient image annotation display and transmission
US11227315B2 (en) 2008-01-30 2022-01-18 Aibuy, Inc. Interactive product placement system and method therefor
US8312486B1 (en) 2008-01-30 2012-11-13 Cinsay, Inc. Interactive product placement system and method therefor
US20110191809A1 (en) 2008-01-30 2011-08-04 Cinsay, Llc Viral Syndicated Interactive Product System and Method Therefor
US8181197B2 (en) 2008-02-06 2012-05-15 Google Inc. System and method for voting on popular video intervals
US9824372B1 (en) 2008-02-11 2017-11-21 Google Llc Associating advertisements with videos
US8112702B2 (en) 2008-02-19 2012-02-07 Google Inc. Annotating video intervals
US20090210778A1 (en) * 2008-02-19 2009-08-20 Kulas Charles J Video linking to electronic text messaging
US8151179B1 (en) * 2008-05-23 2012-04-03 Google Inc. Method and system for providing linked video and slides from a presentation
US8321784B1 (en) 2008-05-30 2012-11-27 Adobe Systems Incorporated Reviewing objects
US8566353B2 (en) 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
US9070106B2 (en) * 2008-07-14 2015-06-30 International Business Machines Corporation System and method for dynamic structuring of process annotations
US20100023397A1 (en) * 2008-07-23 2010-01-28 Jonathan Goldman Video Promotion In A Video Sharing Site
GB2465538B (en) * 2008-08-01 2013-03-13 Sony Corp Method and apparatus for generating an event log
US20100037149A1 (en) * 2008-08-05 2010-02-11 Google Inc. Annotating Media Content Items
US8843974B2 (en) * 2008-08-27 2014-09-23 Albert John McGowan Media playback system with multiple video formats
US8892630B1 (en) 2008-09-29 2014-11-18 Amazon Technologies, Inc. Facilitating discussion group formation and interaction
US8504587B2 (en) * 2008-09-30 2013-08-06 Yahoo! Inc. Content access and annotation system and method
US9083600B1 (en) 2008-10-29 2015-07-14 Amazon Technologies, Inc. Providing presence information within digital items
US8706685B1 (en) * 2008-10-29 2014-04-22 Amazon Technologies, Inc. Organizing collaborative annotations
US9141860B2 (en) 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US20100131856A1 (en) * 2008-11-26 2010-05-27 Brian Joseph Kalbfleisch Personalized, Online, Scientific Interface
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
CN101414307A (zh) * 2008-11-26 2009-04-22 阿里巴巴集团控股有限公司 提供图片搜索的方法和服务器
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9386356B2 (en) 2008-11-26 2016-07-05 Free Stream Media Corp. Targeting with television audience data across multiple screens
US9026668B2 (en) 2012-05-26 2015-05-05 Free Stream Media Corp. Real-time and retargeted advertising on multiple screens of a user watching television
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9087032B1 (en) * 2009-01-26 2015-07-21 Amazon Technologies, Inc. Aggregation of highlights
US20130124242A1 (en) * 2009-01-28 2013-05-16 Adobe Systems Incorporated Video review workflow process
US8930843B2 (en) 2009-02-27 2015-01-06 Adobe Systems Incorporated Electronic content workflow review process
US9292481B2 (en) 2009-02-27 2016-03-22 Adobe Systems Incorporated Creating and modifying a snapshot of an electronic document with a user comment
US8826117B1 (en) 2009-03-25 2014-09-02 Google Inc. Web-based system for video editing
US8132200B1 (en) 2009-03-30 2012-03-06 Google Inc. Intra-video ratings
US8832584B1 (en) 2009-03-31 2014-09-09 Amazon Technologies, Inc. Questions on highlighted passages
US8554848B2 (en) * 2009-04-16 2013-10-08 At&T Intellectual Property 1, L.P. Collective asynchronous media review
US8533598B2 (en) * 2009-04-30 2013-09-10 Apple Inc. Media editing with a segmented timeline
JP5449859B2 (ja) * 2009-05-18 2014-03-19 任天堂株式会社 ゲームプログラム，ゲーム装置およびゲームシステム
US8943408B2 (en) * 2009-05-27 2015-01-27 Adobe Systems Incorporated Text image review process
US8943431B2 (en) * 2009-05-27 2015-01-27 Adobe Systems Incorporated Text operations in a bitmap-based document
US8887190B2 (en) * 2009-05-28 2014-11-11 Harris Corporation Multimedia system generating audio trigger markers synchronized with video source data and related methods
US20110035683A1 (en) * 2009-08-07 2011-02-10 Larry Stead Method and apparatus for synchronous, collaborative media consumption
US20110072047A1 (en) * 2009-09-21 2011-03-24 Microsoft Corporation Interest Learning from an Image Collection for Advertising
US8692763B1 (en) 2009-09-28 2014-04-08 John T. Kim Last screen rendering for electronic book reader
JP5714812B2 (ja) * 2009-11-20 2015-05-07 ソニー株式会社 情報処理装置、ブックマーク設定方法およびプログラム
CN102074030B (zh) * 2009-11-25 2016-03-09 新奥特（北京）视频技术有限公司 一种获取、编辑自定义图形的方法和字幕图形制作系统
US8363109B2 (en) * 2009-12-10 2013-01-29 Harris Corporation Video processing system providing enhanced tracking features for moving objects outside of a viewable window and related methods
US8970694B2 (en) * 2009-12-10 2015-03-03 Harris Corporation Video processing system providing overlay of selected geospatially-tagged metadata relating to a geolocation outside viewable area and related methods
US8933961B2 (en) 2009-12-10 2015-01-13 Harris Corporation Video processing system generating corrected geospatial metadata for a plurality of georeferenced video feeds and related methods
US8717436B2 (en) 2009-12-10 2014-05-06 Harris Corporation Video processing system providing correlation between objects in different georeferenced video feeds and related methods
US9152708B1 (en) 2009-12-14 2015-10-06 Google Inc. Target-video specific co-watched video clusters
US20110145240A1 (en) * 2009-12-15 2011-06-16 International Business Machines Corporation Organizing Annotations
US9477667B2 (en) * 2010-01-14 2016-10-25 Mobdub, Llc Crowdsourced multi-media data relationships
US8903798B2 (en) * 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US9703782B2 (en) 2010-05-28 2017-07-11 Microsoft Technology Licensing, Llc Associating media with metadata of near-duplicates
US8910046B2 (en) 2010-07-15 2014-12-09 Apple Inc. Media-editing application with anchored timeline
US10674230B2 (en) * 2010-07-30 2020-06-02 Grab Vision Group LLC Interactive advertising and marketing system
US9113215B1 (en) * 2010-07-30 2015-08-18 Lincoln Berry, III Interactive advertising and marketing system
US8744239B2 (en) 2010-08-06 2014-06-03 Apple Inc. Teleprompter tool for voice-over tool
KR20120026762A (ko) * 2010-09-10 2012-03-20 삼성전자주식회사 사용자 단말 장치, 서버 및 그 디스플레이 방법 및 정보 제공 방법
US9495322B1 (en) 2010-09-21 2016-11-15 Amazon Technologies, Inc. Cover display
US20120072845A1 (en) * 2010-09-21 2012-03-22 Avaya Inc. System and method for classifying live media tags into types
US9659313B2 (en) * 2010-09-27 2017-05-23 Unisys Corporation Systems and methods for managing interactive features associated with multimedia content
US8559682B2 (en) 2010-11-09 2013-10-15 Microsoft Corporation Building a person profile database
US9343110B2 (en) 2010-11-23 2016-05-17 Levels Beyond Dynamic synchronization tool
US20120159527A1 (en) * 2010-12-16 2012-06-21 Microsoft Corporation Simulated group interaction with multimedia content
EP2466492A1 (en) * 2010-12-20 2012-06-20 Paul Peter Vaclik A method of making text data associated with video data searchable
US20130334300A1 (en) * 2011-01-03 2013-12-19 Curt Evans Text-synchronized media utilization and manipulation based on an embedded barcode
US8954477B2 (en) 2011-01-28 2015-02-10 Apple Inc. Data structures for a media-editing application
US8799300B2 (en) 2011-02-10 2014-08-05 Microsoft Corporation Bookmarking segments of content
US9997196B2 (en) 2011-02-16 2018-06-12 Apple Inc. Retiming media presentations
US9026909B2 (en) * 2011-02-16 2015-05-05 Apple Inc. Keyword list view
US11747972B2 (en) 2011-02-16 2023-09-05 Apple Inc. Media-editing application with novel editing tools
US9251130B1 (en) 2011-03-31 2016-02-02 Amazon Technologies, Inc. Tagging annotations of electronic books
US9678992B2 (en) 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
US9342516B2 (en) * 2011-05-18 2016-05-17 Microsoft Technology Licensing, Llc Media presentation playback annotation
WO2013016596A2 (en) * 2011-07-28 2013-01-31 Scrawl, Inc. System for annotating documents served by a document system without functional dependence on the document system
US20130031455A1 (en) 2011-07-28 2013-01-31 Peter Griffiths System for Linking to Documents with Associated Annotations
US9443518B1 (en) 2011-08-31 2016-09-13 Google Inc. Text transcript generation from a communication session
EP2756427A4 (en) * 2011-09-12 2015-07-29 Intel Corp METHOD AND APPARATUS FOR ANNOTATION AND / OR RECOMMENDATION OF VIDEO CONTENT
US20130346508A1 (en) * 2011-09-12 2013-12-26 Wenlong Li Cooperative provision of personalized user functions using shared and personal devices
US9536564B2 (en) 2011-09-20 2017-01-03 Apple Inc. Role-facilitated editing operations
US20130073960A1 (en) 2011-09-20 2013-03-21 Aaron M. Eppolito Audio meters and parameter controls
US10079039B2 (en) * 2011-09-26 2018-09-18 The University Of North Carolina At Charlotte Multi-modal collaborative web-based video annotation system
JP5781418B2 (ja) * 2011-10-18 2015-09-24 株式会社ドワンゴ コンテンツ視聴装置、コメント配信サーバ装置、コンテンツ視聴装置の動作方法、およびプログラム
US9158741B1 (en) 2011-10-28 2015-10-13 Amazon Technologies, Inc. Indicators for navigating digital works
US9782680B2 (en) 2011-12-09 2017-10-10 Futurewei Technologies, Inc. Persistent customized social media environment
US9032020B2 (en) 2011-12-29 2015-05-12 Google Inc. Online video enhancement
US10171522B1 (en) * 2012-01-13 2019-01-01 Google Llc Video commentary
US9239848B2 (en) 2012-02-06 2016-01-19 Microsoft Technology Licensing, Llc System and method for semantically annotating images
EP2826205A4 (en) * 2012-03-13 2016-03-23 Cognilore Inc METHOD OF NAVIGATING THROUGH DIGITAL CONTENTS
US9195840B2 (en) 2012-04-23 2015-11-24 Google Inc. Application-specific file type generation and use
US9148429B2 (en) 2012-04-23 2015-09-29 Google Inc. Controlling access by web applications to resources on servers
US9262420B1 (en) 2012-04-23 2016-02-16 Google Inc. Third-party indexable text
US9367745B2 (en) 2012-04-24 2016-06-14 Liveclips Llc System for annotating media content for automatic content understanding
US20130283143A1 (en) 2012-04-24 2013-10-24 Eric David Petajan System for Annotating Media Content for Automatic Content Understanding
US20130308922A1 (en) * 2012-05-15 2013-11-21 Microsoft Corporation Enhanced video discovery and productivity through accessibility
US9781388B2 (en) * 2012-05-28 2017-10-03 Samsung Electronics Co., Ltd. Method and system for enhancing user experience during an ongoing content viewing activity
US9002180B2 (en) * 2012-06-01 2015-04-07 At&T Intellectual Property I, L.P. Media recorder
US9208819B1 (en) 2012-06-20 2015-12-08 Google Inc. Dynamic split-frame preview of video editing effects
US9317709B2 (en) 2012-06-26 2016-04-19 Google Inc. System and method for detecting and integrating with native applications enabled for web-based storage
US9483109B2 (en) * 2012-07-12 2016-11-01 Spritz Technology, Inc. Methods and systems for displaying text using RSVP
CA2822217A1 (en) * 2012-08-02 2014-02-02 Iwatchlife Inc. Method and system for anonymous video analytics processing
US10152467B2 (en) * 2012-08-13 2018-12-11 Google Llc Managing a sharing of media content among client computers
US8984582B2 (en) * 2012-08-14 2015-03-17 Confidela Ltd. System and method for secure synchronization of data across multiple computing devices
US8612211B1 (en) 2012-09-10 2013-12-17 Google Inc. Speech recognition and summarization
US9264584B2 (en) * 2012-09-19 2016-02-16 Tata Consultancy Services Limited Video synchronization
US20140089813A1 (en) * 2012-09-21 2014-03-27 Darius Vahdat Pajouh Ranking of user feedback based on user input device tracking
US9288121B2 (en) * 2012-10-03 2016-03-15 Google Technology Holdings LLC System and method for associating online content to a second indexed content
US9529785B2 (en) 2012-11-27 2016-12-27 Google Inc. Detecting relationships between edits and acting on a subset of edits
US11455664B2 (en) * 2012-12-12 2022-09-27 Saankhya Labs Private Limited System and method for enabling and performing services and functionalities across device types and service providers within a communication device
JP6150405B2 (ja) * 2013-01-15 2017-06-21 ヴィキ, インク.Viki, Inc. メディアにキャプションを付けるシステム及び方法
US9424347B2 (en) * 2013-01-16 2016-08-23 Hewlett-Packard Development Company, L. P. Techniques pertaining to document creation
EP2767910A1 (en) * 2013-02-19 2014-08-20 Alcatel Lucent Device for controlling sychronisation of a set of data contents with a multimedia content, and device for retrieving said data contents for an equipment
US20140232813A1 (en) * 2013-02-20 2014-08-21 Sprint Communications Company L.P. Using metadata for video message modifications among wireless communication devices
US10783319B2 (en) * 2013-03-11 2020-09-22 Coachmyvideo.Com Llc Methods and systems of creation and review of media annotations
US9653116B2 (en) 2013-03-14 2017-05-16 Apollo Education Group, Inc. Video pin sharing
GB2514753A (en) * 2013-03-14 2014-12-10 Buzzmywords Ltd Subtitle processing
US9430578B2 (en) 2013-03-15 2016-08-30 Google Inc. System and method for anchoring third party metadata in a document
WO2014160934A1 (en) 2013-03-28 2014-10-02 Google Inc. System and method to store third-party metadata in a cloud storage system
US10489501B2 (en) * 2013-04-11 2019-11-26 Google Llc Systems and methods for displaying annotated video content by mobile computing devices
US9438947B2 (en) 2013-05-01 2016-09-06 Google Inc. Content annotation tool
EP2813984A1 (en) * 2013-06-11 2014-12-17 Alcatel Lucent Method and System for Summarizing Multimedia Content
EP2813983A1 (en) * 2013-06-11 2014-12-17 Alcatel Lucent Method and system for managing social interactions in a social multimedia content stream
US10001904B1 (en) 2013-06-26 2018-06-19 R3 Collaboratives, Inc. Categorized and tagged video annotation
US20150012840A1 (en) * 2013-07-02 2015-01-08 International Business Machines Corporation Identification and Sharing of Selections within Streaming Content
US9971752B2 (en) 2013-08-19 2018-05-15 Google Llc Systems and methods for resolving privileged edits within suggested edits
CN104427351B (zh) * 2013-08-30 2017-11-21 北京计算机技术及应用研究所 用于视频监控的时间重叠视频流的快速定位方法及系统
US9348803B2 (en) 2013-10-22 2016-05-24 Google Inc. Systems and methods for providing just-in-time preview of suggestion resolutions
KR101524379B1 (ko) * 2013-12-27 2015-06-04 인하대학교 산학협력단 주문형 비디오에서 인터랙티브 서비스를 위한 캡션 교체 서비스 시스템 및 그 방법
US9635108B2 (en) 2014-01-25 2017-04-25 Q Technologies Inc. Systems and methods for content sharing using uniquely generated idenifiers
US9832538B2 (en) * 2014-06-16 2017-11-28 Cisco Technology, Inc. Synchronizing broadcast timeline metadata
US10140379B2 (en) 2014-10-27 2018-11-27 Chegg, Inc. Automated lecture deconstruction
US9754624B2 (en) * 2014-11-08 2017-09-05 Wooshii Ltd Video creation platform
CN104333776B (zh) * 2014-11-28 2018-03-23 北京奇艺世纪科技有限公司 一种视频标注关联信息的显示方法和系统
CN104391960B (zh) * 2014-11-28 2019-01-25 北京奇艺世纪科技有限公司 一种视频标注方法及系统
US10521672B2 (en) * 2014-12-31 2019-12-31 Opentv, Inc. Identifying and categorizing contextual data for media
US20160212487A1 (en) * 2015-01-19 2016-07-21 Srinivas Rao Method and system for creating seamless narrated videos using real time streaming media
US9418296B1 (en) * 2015-03-17 2016-08-16 Netflix, Inc. Detecting segments of a video program
US10599758B1 (en) * 2015-03-31 2020-03-24 Amazon Technologies, Inc. Generation and distribution of collaborative content associated with digital content
US10083160B1 (en) 2015-03-31 2018-09-25 Amazon Technologies, Inc. Distribution of user-generated annotations associated with digital content
EP3286620A4 (en) 2015-04-20 2018-12-05 Tiltsta Pty Ltd. Interactive media system and method
US9607224B2 (en) * 2015-05-14 2017-03-28 Google Inc. Entity based temporal segmentation of video streams
CN104936034B (zh) * 2015-06-11 2019-07-05 三星电子（中国）研发中心 基于视频的信息录入方法及装置
EP3326083A4 (en) * 2015-07-23 2019-02-06 Wizr VIDEO PROCESSING
CN105100920B (zh) * 2015-08-31 2019-07-23 北京奇艺世纪科技有限公司 一种视频预览的方法和装置
AU2015224398A1 (en) 2015-09-08 2017-03-23 Canon Kabushiki Kaisha A method for presenting notifications when annotations are received from a remote device
EP3354015A1 (en) * 2015-09-23 2018-08-01 Edoardo Rizzi Communication device and method
US9697198B2 (en) * 2015-10-05 2017-07-04 International Business Machines Corporation Guiding a conversation based on cognitive analytics
US10362359B2 (en) 2015-12-13 2019-07-23 Ustudio, Inc. Video player framework for a media distribution and management platform
CN107018451B (zh) * 2016-01-28 2020-03-06 深圳市音波传媒有限公司 时基超媒体事件的调度方法、装置及系统
US10460023B1 (en) 2016-03-10 2019-10-29 Matthew Connell Shriver Systems, methods, and computer readable media for creating slide presentations for an annotation set
KR102177455B1 (ko) * 2016-04-04 2020-11-11 한국전자통신연구원 비디오 어노테이션 장치 및 방법
CN106873971B (zh) * 2016-12-29 2020-08-04 武汉斗鱼网络科技有限公司 一种flash应用的多语言展示方法和系统
US10395693B2 (en) 2017-04-10 2019-08-27 International Business Machines Corporation Look-ahead for video segments
US10721503B2 (en) * 2017-06-09 2020-07-21 Sony Interactive Entertainment LLC Systems and methods for operating a streaming service to provide community spaces for media content items
US10990241B2 (en) * 2017-06-28 2021-04-27 Buxton Technology Enterprises Inc. Rich media icon system
US10299013B2 (en) * 2017-08-01 2019-05-21 Disney Enterprises, Inc. Media content annotation
WO2019036690A1 (en) * 2017-08-18 2019-02-21 BON2 Media Services LLC INCORPORATION OF INTERACTIVE CONTENT IN A SHARED ONLINE VIDEO
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
CN109033394B (zh) * 2018-08-01 2022-02-11 浙江深眸科技有限公司 用于图片视频标注数据的客户端
CN109688484A (zh) * 2019-02-20 2019-04-26 广东小天才科技有限公司 一种教学视频学习方法及系统
CN109889879A (zh) * 2019-03-25 2019-06-14 联想(北京)有限公司 信息控制方法及电子设备
US11724171B2 (en) * 2019-05-03 2023-08-15 New York University Reducing human interactions in game annotation
CN110602527B (zh) * 2019-09-12 2022-04-08 北京小米移动软件有限公司 视频处理方法、装置及存储介质
US11087557B1 (en) * 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
US11190689B1 (en) * 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
CN112527374A (zh) * 2020-12-11 2021-03-19 北京百度网讯科技有限公司 标注工具生成方法、标注方法、装置、设备以及存储介质
US11843820B2 (en) 2021-01-08 2023-12-12 Sony Interactive Entertainment LLC Group party view and post viewing digital content creation

Family Cites Families (182)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69222102T2 (de) 1991-08-02 1998-03-26 Grass Valley Group Bedienerschnittstelle für Videoschnittsystem zur Anzeige und interaktive Steuerung von Videomaterial
JPH05197573A (ja) * 1991-08-26 1993-08-06 Hewlett Packard Co <Hp> タスク指向パラダイムによるタスク管理システム
GB2270242A (en) * 1992-08-29 1994-03-02 Ibm A method of editing for an object oriented computer system
US5339393A (en) 1993-04-15 1994-08-16 Sony Electronics, Inc. Graphical user interface for displaying available source material for editing
US5996121A (en) 1993-07-28 1999-12-07 Harris; Eunice Convertible coat
US5664216A (en) 1994-03-22 1997-09-02 Blumenau; Trevor Iconic audiovisual data editing environment
US5465353A (en) * 1994-04-01 1995-11-07 Ricoh Company, Ltd. Image matching and retrieval by multi-access redundant hashing
US5600775A (en) * 1994-08-26 1997-02-04 Emotion, Inc. Method and apparatus for annotating full motion video and other indexed data structures
US5812642A (en) * 1995-07-12 1998-09-22 Leroy; David J. Audience response monitor and analysis system and method
US5708845A (en) 1995-09-29 1998-01-13 Wistendahl; Douglass A. System for mapping hot spots in media content for interactive digital media program
US5966121A (en) 1995-10-12 1999-10-12 Andersen Consulting Llp Interactive hypervideo editing system and interface
US5732184A (en) 1995-10-20 1998-03-24 Digital Processing Systems, Inc. Video and audio cursor video editing system
US6570587B1 (en) 1996-07-26 2003-05-27 Veon Ltd. System and method and linking information to a video
US20020120925A1 (en) 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
US20030093790A1 (en) 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
US6956573B1 (en) * 1996-11-15 2005-10-18 Sarnoff Corporation Method and apparatus for efficiently representing storing and accessing video information
US6006241A (en) 1997-03-14 1999-12-21 Microsoft Corporation Production of a video stream with synchronized annotations over a computer network
US7111009B1 (en) * 1997-03-14 2006-09-19 Microsoft Corporation Interactive playlist generation using annotations
US6546405B2 (en) * 1997-10-23 2003-04-08 Microsoft Corporation Annotating temporally-dimensioned multimedia content
US6173287B1 (en) * 1998-03-11 2001-01-09 Digital Equipment Corporation Technique for ranking multimedia annotations of interest
US6295092B1 (en) * 1998-07-30 2001-09-25 Cbs Corporation System for analyzing television programs
US6144375A (en) 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
AU5926499A (en) * 1998-09-15 2000-04-03 Microsoft Corporation Interactive playlist generation using annotations
US6956593B1 (en) * 1998-09-15 2005-10-18 Microsoft Corporation User interface for creating, viewing and temporally positioning annotations for media content
US6357042B2 (en) * 1998-09-16 2002-03-12 Anand Srinivasan Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream
US20020059218A1 (en) * 1999-01-26 2002-05-16 Katherine Grace August System and method for obtaining real time survey information for media programming using input device
KR20010108159A (ko) * 1999-01-29 2001-12-07 다니구찌 이찌로오, 기타오카 다카시 화상 특징 부호화 방법 및 화상 검색 방법
KR100326400B1 (ko) 1999-05-19 2002-03-12 김광수 자막지향 탐색정보 생성 및 탐색방법과, 이를 사용하는 재생장치
US6415438B1 (en) 1999-10-05 2002-07-02 Webtv Networks, Inc. Trigger having a time attribute
US7490292B2 (en) * 1999-12-17 2009-02-10 International Business Machines Corporation Web-based instruction
US7367042B1 (en) * 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
US7343617B1 (en) * 2000-02-29 2008-03-11 Goldpocket Interactive, Inc. Method and apparatus for interaction with hyperlinks in a television broadcast
WO2001069438A2 (en) * 2000-03-14 2001-09-20 Starlab Nv/Sa Methods and apparatus for encoding multimedia annotations using time-synchronized description streams
WO2001075884A2 (en) * 2000-04-05 2001-10-11 Sony United Kingdom Limited Audio/video reproducing apparatus and method
WO2001075885A2 (en) * 2000-04-05 2001-10-11 Sony United Kingdom Limited Identifying, recording and reproducing information
US7055168B1 (en) * 2000-05-03 2006-05-30 Sharp Laboratories Of America, Inc. Method for interpreting and executing user preferences of audiovisual information
US6965646B1 (en) * 2000-06-28 2005-11-15 Cisco Technology, Inc. MPEG file format optimization for streaming
WO2002008948A2 (en) 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
US7548565B2 (en) * 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
JP2002163143A (ja) 2000-07-28 2002-06-07 Any One Wireless Co Ltd 無線サイトのコンテンツ・リフォーマッティング・システム及びその方法
US20020065678A1 (en) * 2000-08-25 2002-05-30 Steven Peliotis iSelect video
EP1317857A1 (en) * 2000-08-30 2003-06-11 Watchpoint Media Inc. A method and apparatus for hyperlinking in a television broadcast
ATE451691T1 (de) * 2000-09-08 2009-12-15 Koninkl Philips Electronics Nv Vorrichtung zur wiedergabe eines auf einem aufzeichnungsmedium gespeicherten informationssignals
US8020183B2 (en) * 2000-09-14 2011-09-13 Sharp Laboratories Of America, Inc. Audiovisual management system
US6774908B2 (en) 2000-10-03 2004-08-10 Creative Frontier Inc. System and method for tracking an object in a video and linking information thereto
US7254605B1 (en) * 2000-10-26 2007-08-07 Austen Services Llc Method of modulating the transmission frequency in a real time opinion research network
US20020108112A1 (en) * 2001-02-02 2002-08-08 Ensequence, Inc. System and method for thematically analyzing and annotating an audio-visual sequence
US7032178B1 (en) * 2001-03-30 2006-04-18 Gateway Inc. Tagging content for different activities
US7080139B1 (en) * 2001-04-24 2006-07-18 Fatbubble, Inc Method and apparatus for selectively sharing and passively tracking communication device experiences
CN1332556A (zh) 2001-04-27 2002-01-23 清华大学 地面数字多媒体电视广播系统中的信道传输方法
US20040138946A1 (en) * 2001-05-04 2004-07-15 Markus Stolze Web page annotation systems
US20020188630A1 (en) 2001-05-21 2002-12-12 Autodesk, Inc. Method and apparatus for annotating a sequence of frames
WO2002101584A2 (en) 2001-06-11 2002-12-19 C-Burn Systems Ltd Selecting tracks from a jukebox via a wireless communications device
US20030126136A1 (en) * 2001-06-22 2003-07-03 Nosa Omoigui System and method for knowledge retrieval, management, delivery and presentation
TW520602B (en) 2001-06-28 2003-02-11 Ulead Systems Inc Device and method of editing video program
US20030018668A1 (en) * 2001-07-20 2003-01-23 International Business Machines Corporation Enhanced transcoding of structured documents through use of annotation techniques
WO2003019325A2 (en) 2001-08-31 2003-03-06 Kent Ridge Digital Labs Time-based media navigation system
WO2003027893A1 (en) * 2001-09-27 2003-04-03 The Trustees Of Columbia University In The City Of New York Method and system for annotating audio/video data files
US7343487B2 (en) 2001-10-10 2008-03-11 Nokia Corporation Datacast distribution system
US7203380B2 (en) * 2001-11-16 2007-04-10 Fuji Xerox Co., Ltd. Video production and compaction with collage picture frame user interface
US7180623B2 (en) * 2001-12-03 2007-02-20 Canon Kabushiki Kaisha Method and apparatus for print error recovery
US20030107592A1 (en) * 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. System and method for retrieving information related to persons in video programs
US20030112276A1 (en) * 2001-12-19 2003-06-19 Clement Lau User augmentation of content
US7137062B2 (en) * 2001-12-28 2006-11-14 International Business Machines Corporation System and method for hierarchical segmentation with latent semantic indexing in scale space
US20040205482A1 (en) 2002-01-24 2004-10-14 International Business Machines Corporation Method and apparatus for active annotation of multimedia content
US6835311B2 (en) * 2002-01-31 2004-12-28 Koslow Technologies Corporation Microporous filter media, filtration systems containing same, and methods of making and using
JP3982295B2 (ja) * 2002-03-20 2007-09-26 日本電信電話株式会社 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体
US7243301B2 (en) 2002-04-10 2007-07-10 Microsoft Corporation Common annotation framework
US7987491B2 (en) * 2002-05-10 2011-07-26 Richard Reisman Method and apparatus for browsing using alternative linkbases
US6988245B2 (en) 2002-06-18 2006-01-17 Koninklijke Philips Electronics N.V. System and method for providing videomarks for a video program
US7149755B2 (en) * 2002-07-29 2006-12-12 Hewlett-Packard Development Company, Lp. Presenting a collection of media objects
US7257774B2 (en) 2002-07-30 2007-08-14 Fuji Xerox Co., Ltd. Systems and methods for filtering and/or viewing collaborative indexes of recorded media
JP4025185B2 (ja) * 2002-12-10 2007-12-19 株式会社東芝 メディアデータ視聴装置及びメタデータ共有システム
JP2004193979A (ja) * 2002-12-11 2004-07-08 Canon Inc 映像配信システム
US7536713B1 (en) * 2002-12-11 2009-05-19 Alan Bartholomew Knowledge broadcasting and classification system
WO2004055647A2 (en) * 2002-12-13 2004-07-01 Applied Minds, Inc. Meta-web
US6993347B2 (en) * 2002-12-17 2006-01-31 International Business Machines Corporation Dynamic media interleaving
US7823058B2 (en) * 2002-12-30 2010-10-26 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive point-of-view authoring of digital video content
US8307273B2 (en) * 2002-12-30 2012-11-06 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive network sharing of digital video content
US7131059B2 (en) * 2002-12-31 2006-10-31 Hewlett-Packard Development Company, L.P. Scalably presenting a collection of media objects
ATE292433T1 (de) 2003-01-17 2005-04-15 Link Waldemar Gmbh Co Hüftprothese mit einem in den markkanal des oberschenkelknochens zu verankernden schaft
US7383497B2 (en) * 2003-01-21 2008-06-03 Microsoft Corporation Random access editing of media
US7904797B2 (en) * 2003-01-21 2011-03-08 Microsoft Corporation Rapid media group annotation
US20040152055A1 (en) * 2003-01-30 2004-08-05 Gliessner Michael J.G. Video based language learning system
US7739597B2 (en) * 2003-02-24 2010-06-15 Microsoft Corporation Interactive media frame display
US20040181545A1 (en) * 2003-03-10 2004-09-16 Yining Deng Generating and rendering annotated video files
US8392834B2 (en) 2003-04-09 2013-03-05 Hewlett-Packard Development Company, L.P. Systems and methods of authoring a multimedia file
US20040205547A1 (en) * 2003-04-12 2004-10-14 Feldt Kenneth Charles Annotation process for message enabled digital content
EP2594322A3 (en) 2003-06-02 2013-12-04 Disney Enterprises, Inc. System and method of interactive video playback
US8321470B2 (en) * 2003-06-20 2012-11-27 International Business Machines Corporation Heterogeneous multi-level extendable indexing for general purpose annotation systems
US7418656B1 (en) * 2003-10-03 2008-08-26 Adobe Systems Incorporated Dynamic annotations for electronics documents
US20050132401A1 (en) 2003-12-10 2005-06-16 Gilles Boccon-Gibod Method and apparatus for exchanging preferences for replaying a program on a personal video recorder
US7383487B2 (en) 2004-01-10 2008-06-03 Broadcom Corporation IPHD (iterative parallel hybrid decoding) of various MLC (multi-level code) signals
US20050203892A1 (en) * 2004-03-02 2005-09-15 Jonathan Wesley Dynamically integrating disparate systems and providing secure data sharing
KR101222294B1 (ko) * 2004-03-15 2013-01-15 야후! 인크. 사용자 주석이 통합된 검색 시스템 및 방법
EP3355213A1 (en) 2004-03-15 2018-08-01 Excalibur IP, LLC Search system and methods with integration of user annotations from a trust network
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US20050229227A1 (en) * 2004-04-13 2005-10-13 Evenhere, Inc. Aggregation of retailers for televised media programming product placement
KR20050115713A (ko) 2004-06-04 2005-12-08 현익근 천연과일과 채소류를 원료로한 아이스크림과어름과자제작방법
JP2005352933A (ja) * 2004-06-14 2005-12-22 Fuji Xerox Co Ltd 表示装置、システムおよび表示方法
US7890327B2 (en) * 2004-06-28 2011-02-15 International Business Machines Corporation Framework for extracting multiple-resolution semantics in composite media content analysis
US20050289469A1 (en) 2004-06-28 2005-12-29 Chandler Roger D Context tagging apparatus, systems, and methods
US8438157B2 (en) * 2004-06-28 2013-05-07 International Business Machines Corporation System and method for previewing relevance of streaming data
US20060041564A1 (en) * 2004-08-20 2006-02-23 Innovative Decision Technologies, Inc. Graphical Annotations and Domain Objects to Create Feature Level Metadata of Images
US20060059120A1 (en) * 2004-08-27 2006-03-16 Ziyou Xiong Identifying video highlights using audio-visual objects
US20070118794A1 (en) * 2004-09-08 2007-05-24 Josef Hollander Shared annotation system and method
US20060064733A1 (en) 2004-09-20 2006-03-23 Norton Jeffrey R Playing an audiovisual work with dynamic choosing
EP1797722B1 (en) * 2004-10-05 2019-05-29 Vectormax Corporation Adaptive overlapped block matching for accurate motion compensation
US8443279B1 (en) * 2004-10-13 2013-05-14 Stryker Corporation Voice-responsive annotation of video generated by an endoscopic camera
US7472341B2 (en) * 2004-11-08 2008-12-30 International Business Machines Corporation Multi-user, multi-timed collaborative annotation
JP4353084B2 (ja) 2004-11-30 2009-10-28 日本電信電話株式会社 映像再生方法及び装置及びプログラム
JP2006155384A (ja) * 2004-11-30 2006-06-15 Nippon Telegr & Teleph Corp <Ntt> 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
JP4353083B2 (ja) 2004-11-30 2009-10-28 日本電信電話株式会社 視聴者間コミュニケーション方法及び装置及びプログラム
US7577902B2 (en) * 2004-12-16 2009-08-18 Palo Alto Research Center Incorporated Systems and methods for annotating pages of a 3D electronic document
US20060161838A1 (en) 2005-01-14 2006-07-20 Ronald Nydam Review of signature based content
US9275052B2 (en) 2005-01-19 2016-03-01 Amazon Technologies, Inc. Providing annotations of a digital work
US8131647B2 (en) 2005-01-19 2012-03-06 Amazon Technologies, Inc. Method and system for providing annotations of a digital work
US20060218590A1 (en) * 2005-03-10 2006-09-28 Sbc Knowledge Ventures, L.P. System and method for displaying an electronic program guide
US20060286536A1 (en) 2005-04-01 2006-12-21 Sherman Mohler System and method for regulating use of content and content styles in a distributed learning system
US7769819B2 (en) * 2005-04-20 2010-08-03 Videoegg, Inc. Video editing with timeline representations
US7636883B2 (en) * 2005-05-18 2009-12-22 International Business Machines Corporation User form based automated and guided data collection
US20080005064A1 (en) * 2005-06-28 2008-01-03 Yahoo! Inc. Apparatus and method for content annotation and conditional annotation retrieval in a search context
US8086605B2 (en) 2005-06-28 2011-12-27 Yahoo! Inc. Search engine with augmented relevance ranking by community participation
CN101253777A (zh) * 2005-07-01 2008-08-27 极速决件公司 用于在多媒体信号编码中使用的方法、装置和系统
KR20070004153A (ko) 2005-07-04 2007-01-09 주식회사 다음커뮤니케이션 사용자 선호 컨텐츠 제공 시스템 및 방법, 개인 선호컨텐츠 분석 시스템 및 방법, 그룹 선호 컨텐츠 분석시스템 및 방법
US8141036B2 (en) * 2005-07-07 2012-03-20 Oracle International Corporation Customized annotation editing
KR100690819B1 (ko) 2005-07-21 2007-03-09 엘지전자 주식회사 콘텐츠 서비스의 북마크 기능을 갖는 휴대 단말기 및 그동작 방법
EP1758398A1 (en) 2005-08-23 2007-02-28 Syneola SA Multilevel semiotic and fuzzy logic user and metadata interface means for interactive multimedia system having cognitive adaptive capability
US8181201B2 (en) 2005-08-30 2012-05-15 Nds Limited Enhanced electronic program guides
US20070061703A1 (en) * 2005-09-12 2007-03-15 International Business Machines Corporation Method and apparatus for annotating a document
US20070067707A1 (en) * 2005-09-16 2007-03-22 Microsoft Corporation Synchronous digital annotations of media data stream
US7644364B2 (en) * 2005-10-14 2010-01-05 Microsoft Corporation Photo and video collage effects
US7962847B2 (en) * 2005-10-20 2011-06-14 International Business Machines Corporation Method for providing dynamic process step annotations
JP2007151057A (ja) 2005-10-25 2007-06-14 Dainippon Printing Co Ltd 評価感想情報を利用した映像コンテンツ閲覧システム
US8180826B2 (en) * 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US20070099684A1 (en) 2005-11-03 2007-05-03 Evans Butterworth System and method for implementing an interactive storyline
WO2007056373A2 (en) * 2005-11-04 2007-05-18 Eyetracking, Inc. Characterizing dynamic regions of digital media data
JP2007142750A (ja) 2005-11-17 2007-06-07 National Agency For The Advancement Of Sports & Health 映像閲覧システム、コンピュータ端末並びにプログラム
US7945653B2 (en) * 2006-10-11 2011-05-17 Facebook, Inc. Tagging digital media
US7761436B2 (en) * 2006-01-03 2010-07-20 Yahoo! Inc. Apparatus and method for controlling content access based on shared annotations for annotated users in a folksonomy scheme
WO2007082169A2 (en) 2006-01-05 2007-07-19 Eyespot Corporation Automatic aggregation of content for use in an online video editing system
US8214516B2 (en) * 2006-01-06 2012-07-03 Google Inc. Dynamic media serving infrastructure
US7528066B2 (en) * 2006-03-01 2009-05-05 International Business Machines Corporation Structure and method for metal integration
JP2007274090A (ja) 2006-03-30 2007-10-18 Toshiba Corp コンテンツ再生装置、方法およびプログラム
WO2007115224A2 (en) * 2006-03-30 2007-10-11 Sri International Method and apparatus for annotating media streams
JP2007293980A (ja) 2006-04-24 2007-11-08 Hitachi Global Storage Technologies Netherlands Bv 磁気ディスク装置およびロード／アンロード方法
US8701005B2 (en) 2006-04-26 2014-04-15 At&T Intellectual Property I, Lp Methods, systems, and computer program products for managing video information
US7954049B2 (en) * 2006-05-15 2011-05-31 Microsoft Corporation Annotating multimedia files along a timeline
US20070271331A1 (en) 2006-05-17 2007-11-22 Steve Muth System of archiving and repurposing a complex group conversation referencing networked media
JP4769635B2 (ja) 2006-05-22 2011-09-07 日本電信電話株式会社 サーバ装置とそのクライアント装置及びプログラム
WO2007135688A2 (en) 2006-05-22 2007-11-29 P.S.G Group A method for interactive commenting on media files
JP2007317123A (ja) 2006-05-29 2007-12-06 Daisuke Yamamoto 動画像管理サーバ
US20080028323A1 (en) 2006-07-27 2008-01-31 Joshua Rosen Method for Initiating and Launching Collaboration Sessions
US20080028294A1 (en) 2006-07-28 2008-01-31 Blue Lava Technologies Method and system for managing and maintaining multimedia content
EP2051509B1 (en) * 2006-08-10 2016-07-27 Panasonic Intellectual Property Management Co., Ltd. Program recommendation system, program view terminal, program view program, program view method, program recommendation server, program recommendation program, and program recommendation method
EP2067102A2 (en) * 2006-09-15 2009-06-10 Exbiblio B.V. Capture and display of annotations in paper and electronic documents
US8850464B2 (en) * 2006-10-09 2014-09-30 Verizon Patent And Licensing Inc. Systems and methods for real-time interactive television polling
US20080109851A1 (en) * 2006-10-23 2008-05-08 Ashley Heather Method and system for providing interactive video
US20080109841A1 (en) * 2006-10-23 2008-05-08 Ashley Heather Product information display and product linking
US7559017B2 (en) 2006-12-22 2009-07-07 Google Inc. Annotation framework for video
WO2008086189A2 (en) 2007-01-04 2008-07-17 Wide Angle Llc Relevancy rating of tags
US7707162B2 (en) 2007-01-08 2010-04-27 International Business Machines Corporation Method and apparatus for classifying multimedia artifacts using ontology selection and semantic classification
US7739304B2 (en) * 2007-02-08 2010-06-15 Yahoo! Inc. Context-based community-driven suggestions for media annotation
US20080250331A1 (en) * 2007-04-04 2008-10-09 Atul Tulshibagwale Method and System of a Voting Based Wiki and Its Application to Internet Topic Directories
US8744869B2 (en) 2007-06-07 2014-06-03 Agile Sports Technologies, Inc. Interactive team portal system
US8230458B2 (en) 2007-06-29 2012-07-24 At&T Intellectual Property I, L.P. System and method of providing video content commentary
JP2010541415A (ja) 2007-09-28 2010-12-24 グレースノート インコーポレイテッド マルチメディアイベントのプレゼンテーションの合成
US20090150947A1 (en) 2007-10-05 2009-06-11 Soderstrom Robert W Online search, storage, manipulation, and delivery of video content
US8640030B2 (en) 2007-10-07 2014-01-28 Fall Front Wireless Ny, Llc User interface for creating tags synchronized with a video playback
US8209223B2 (en) 2007-11-30 2012-06-26 Google Inc. Video object tag creation and processing
US20090172745A1 (en) * 2007-12-28 2009-07-02 Motorola, Inc. Method and Apparatus Regarding Receipt of Audio-Visual Content Information and Use of Such Information to Automatically Infer a Relative Popularity of That Content
US8181197B2 (en) * 2008-02-06 2012-05-15 Google Inc. System and method for voting on popular video intervals
US8112702B2 (en) * 2008-02-19 2012-02-07 Google Inc. Annotating video intervals
WO2009137368A2 (en) 2008-05-03 2009-11-12 Mobile Media Now, Inc. Method and system for generation and playback of supplemented videos
US8566353B2 (en) * 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
CA2727516A1 (en) 2008-06-18 2009-12-23 Political Media (Australia) Limited Assessing digital content across a communications network
US8839327B2 (en) 2008-06-25 2014-09-16 At&T Intellectual Property Ii, Lp Method and apparatus for presenting media programs
US8713618B1 (en) 2008-11-06 2014-04-29 Google Inc. Segmenting video based on timestamps in comments
US8554848B2 (en) 2009-04-16 2013-10-08 At&T Intellectual Property 1, L.P. Collective asynchronous media review
US9357242B2 (en) 2011-06-10 2016-05-31 Tata Consultancy Services Limited Method and system for automatic tagging in television using crowd sourcing technique
US20130238995A1 (en) 2012-03-12 2013-09-12 sCoolTV, Inc Apparatus and method for adding content using a media player
KR102042265B1 (ko) 2012-03-30 2019-11-08 엘지전자 주식회사 이동 단말기

Also Published As

Publication number Publication date
CA2866548C (en) 2017-05-09
US20220398375A1 (en) 2022-12-15
WO2008079850A2 (en) 2008-07-03
JP4774461B2 (ja) 2011-09-14
CN101589383B (zh) 2016-04-27
EP2126730A4 (en) 2012-06-20
BRPI0720366B1 (pt) 2019-03-06
CN101589383A (zh) 2009-11-25
US8151182B2 (en) 2012-04-03
CA2672757C (en) 2014-12-16
EP2126730A2 (en) 2009-12-02
US8775922B2 (en) 2014-07-08
US20180052812A1 (en) 2018-02-22
JP2010515120A (ja) 2010-05-06
KR100963179B1 (ko) 2010-06-15
AU2007336947A1 (en) 2008-07-03
US10853562B2 (en) 2020-12-01
US20210081603A1 (en) 2021-03-18
US11727201B2 (en) 2023-08-15
BRPI0720366A2 (pt) 2013-12-24
CA2672757A1 (en) 2008-07-03
AU2010249316A1 (en) 2011-01-06
WO2008079850A3 (en) 2008-10-02
US20140115440A1 (en) 2014-04-24
US10261986B2 (en) 2019-04-16
US7559017B2 (en) 2009-07-07
AU2010249316B2 (en) 2012-07-26
CA2866548A1 (en) 2008-07-03
AU2007336947B2 (en) 2010-09-30
US20190243887A1 (en) 2019-08-08
US9805012B2 (en) 2017-10-31
US20080154908A1 (en) 2008-06-26
EP2126730B1 (en) 2018-03-14
EP3324315A1 (en) 2018-05-23
US20120166930A1 (en) 2012-06-28
US11423213B2 (en) 2022-08-23
US20090249185A1 (en) 2009-10-01

Similar Documents

Publication Publication Date Title
US11727201B2 (en) Annotation framework for video
JP6342951B2 (ja) ビデオインターバルへの注釈
US20040220791A1 (en) Personalization services for entities from multiple sources
EP1709550A2 (en) Personalization services for entities from multiple sources
AU2012244141B2 (en) Annotation framework for video
KR20120097693A (ko) 콘텐츠를 생성하고 재생하는 장치 및 방법, 그 콘텐츠가 기록된 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130523

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140526

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150522

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160525

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170526

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190529

Year of fee payment: 10