KR20020054325A - 비디오 개선을 위한 트랜스크립트 트리거 - Google Patents

비디오 개선을 위한 트랜스크립트 트리거 Download PDF

Info

Publication number
KR20020054325A
KR20020054325A KR1020027003919A KR20027003919A KR20020054325A KR 20020054325 A KR20020054325 A KR 20020054325A KR 1020027003919 A KR1020027003919 A KR 1020027003919A KR 20027003919 A KR20027003919 A KR 20027003919A KR 20020054325 A KR20020054325 A KR 20020054325A
Authority
KR
South Korea
Prior art keywords
video program
information
segment
user profile
transcript text
Prior art date
Application number
KR1020027003919A
Other languages
English (en)
Inventor
맥지토마스
디미트로바네벤카
아그니호트리라리타
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20020054325A publication Critical patent/KR20020054325A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4786—Supplemental services, e.g. displaying phone caller identification, shopping application e-mailing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests

Abstract

비디오 프로그램에 대한 보조 정보를 검색하는 시스템 및 방법이 제공된다. 관심있는 용어들에 대해 트랜스크립트 텍스트가 검색되고, 그 용어들과 관련된 정보가 식별된다. 시청되고 있는 비디오 세그먼트의 카테고리와 사용자 프로파일에 따라, 보조 정보가 디스플레이를 위해 포매팅된다. 시간에 경과함에 따라, 관심있는 용어들을 갖는 보조 정보를 연관시키기 위한 규칙들이 학습 모델을 사용하여 수정될 수도 있다.

Description

비디오 개선을 위한 트랜스크립트 트리거{Transcript triggers for video enhancement}
최근, 미디어 소스들의 수가 증가되고, 각 소스로부터의 정보량 또한 증가되어, 정보가 과도하게 많아졌다. 대부분의 소비자들은 정보의 난국에서 그들이 원하고 필요로 하는 것이 무엇인지를 가려내기 위한 성향도 시간도 가지고 있지 않다. 따라서, 소위 "푸시 기술(push technology)"이 개발되었다. 포인트캐스트나 백웹(Pointcast or Backweb), 또는 새로운 웹 브라우저들과 같은 웹 캐스팅 어플리케이션들은 사용자에게 사용자가 어떤 정보 카테고리들과 웹사이트들에 관심을 가지고 있는지를 질의한다. 그러면, 웹 서버는 사용자가 요청할 때까지 기다리는 대신 사용자가 관심을 가지고 있는 정보를 "푸시"한다. 이것은 주기적이고 조심스럽게 수행된다.
동시에, 미디어 기술이 발전됨에 따라, 비디오와 오디오 및 다른 미디어간의 경계들이 희미해졌다. 미디어 기술의 진보는, 종래의 텔레비전 프로그램과 함께, 인터넷 정보 및 다른 정보형 자료를 소비자의 비디오 디스플레이에 전달할 수 있게 하였다. 인터넷은 전자상거래의 수단이 되었기 때문에, 소비자들은 동일하거나 관련된 주제들에 관한 미디어, 비디오, 오디오 및 텍스트 정보의 조합을 보기 위해서는 조건이 필요하다. 소비자들은 주제에 관한 부가 정보를 검색하기 위해 하이퍼링크(hyperlink) 개념과 "드릴링 다운(drilling down)"의 개념을 알고 있어야 하며, 이들은 월드 와이드 웹(WWW, World Wide Web) 상에서 보여진다.
이러한 부가 정보의 검색은 일반적으로 클로즈드 캡션 텍스트(closed caption text), 오디오 및 자동 스토리 분할 및 식별(automated story segmentation and identification)을 사용하여 달성될 수 있다. Mitre사에 의해 제공되는 방송 뉴스 에디터(BNE, Broadcast News Editor)는 뉴스방송들을 개개의 스토리 세그먼트들로 자동 분할하고 세그먼트와 관련된 클로즈드 캡션 텍스트의 제 1 라인에 각 스토리 세그먼트의 요약을 제공함으로써 상기 검색이 이루어질 수 있다. 또한, 클로즈드 캡션 텍스트 또는 오디오로부터의 키워드들이 각 스토리 세그먼트에 대해 결정된다.
또한, Mitre사의 방송 뉴스 네비게이터(BNN, Broadcast News Navigator)는 소비자에 의해 선택된 검색 워드들을 매칭시키는 각 스토리 세그먼트의 다수의 키워드들에 의해 스토리 세그먼트들이 정렬된다. 따라서, 특정 소비자가 관심을 가지고 있을법한 스토리 세그먼트들이 쉽게 식별될 수 있다. 그러나, BNN과 BNE의조합을 사용하는 것은 소비자가 마음속으로 명백한 검색 주제를 가지고 있을 것을 필요로 하며, 그것은 일반적으로 전형적인 채널-서핑 시나리오의 경우가 아니다.
텔레비전 프로그램에 대한 보조 정보를 사용자에게 제공한다는 것을 개시하고 있는 특허들에는, 브로드스카이(Brodsky)의 발명의 명칭이 "대화식 TV에서 발견되지 않는 부가 정보 또는 동적으로 추출되는 어휘를 사용하는 어플리케이션에 의한 전화 신호의 검색(Retrieval of additional information not found in interactive TV or telephony signal by application using dynamically extracted vocabulary)"인 미국 특허 제 5,809,471 호, 및 리걸(Legall) 등의 발명의 명칭이 "전자 프로그램 가이드, 인터넷 및 다른 정보 자원들의 통합 검색(Integrated search of electronic program guide, internet and other information resources)"인 미국 특허 제 6,005,565 호가 있다. '471 특허에서 동적으로 변경되는 사전(dictionary)을 생성하는 텔레비전 프로그램이나 클로즈드 캡션 텍스트로부터 키워드들이 추출된다. 사용자는 텔레비전 방송에서 본 항목 또는 그로부터 들은 단어에 기초하여 정보를 요청한다. 사용자의 요청은 사전에 대비하여 매칭되며, 상기 요청이 매칭될 때, 디스플레이하기 위한 보조 정보에 대한 검색이 개시된다.
'565 특허에서, 사용자는 검색하기 위한 주제들과 소스들을 선택한다. 사용자 입력에 기초하여, 검색 도구는 전자 프로그램 가이드 및 월드 와이드 웹과 같은 다른 정보 자원들의 검색을 수행하며, 그 결과들을 디스플레이한다. '471 특허와 '565 특허 모두는 사용자가 관심을 가지고 있는 키워드를 제공할 것을 필요로 한다. 상기 두 특허 중 어떠한 특허도, 프로그램의 주제(즉, 주식 시장 보고)와 반대되는 것으로서, 프로그램의 글로벌 콘텍스트(즉, 뉴스 프로그램)에 대해 검색된 보조 정보와 관련되지는 않는다.
본 발명은 미디어 기술 분야에 관한 것이다. 본 발명은 특히 비디오 및 관련된 트랜스크립트 텍스트(transcript text)에 관한 것이다.
본 발명은 텍스트 트랜스크립트를 사용하는 보조 정보와 비디오를 연관시키며, 본 명세서에 참조로서 포함되는, 양수인에 의해 1999년 7월 9일 출원된 계류중인 Ser Nr. 09/351,086의 원문 특징들을 갖는다.
도 1은 본 발명이 구현되는 시스템을 도시하는 도면.
도 2는 시스템 내에 포함된 처리기의 요소들을 도시하는 도면.
도 3a 및 도 3b는 본 발명의 동작을 설명하기 위해 사용되는 흐름도.
도 4는 본 발명에 따른 소정의 비디오 세그먼트에 대한 보조 정보 트리거들을 도시하는 표.
도 4a는 키워드들과 트리거들이 어떻게 확장되는지를 도시하는 도면.
도 5는 학습 모들을 나타내는 본 발명의 실시예를 도시하는 도면.
도 6은 보조 정보를 검색하기 위한 연관 규칙 데이터베이스가 어떻게 갱신되고 유지되는지를 도시하는 도면.
도 7은 보조 정보가 어떻게 디스플레이되는지를 도시하는 도면.
도 8은 셋톱 박스가 사용되는 본 발명의 일 실시예를 도시하는 도면.
도 9는 텔레비전 디스플레이가 사용되는 본 발명의 다른 실시예를 도시하는 도면.
따라서, 소비자의 텔레비전 시청 경험을 강화하는 보조 멀티미디어 정보를 자동적으로 제공하기 위해 트랜스크립트 텍스트를 사용하는 방법 및 시스템을 제공하는 것이 유리하다. 소위 트랜스크립트 텍스트는, 비디오 텍스트, 음성 인식 소프트웨어에 의해 생성된 텍스트, 프로그램 트랜스크립트들, 전자 프로그램 가이드 정보, 및 프로그램 정보의 전부 또는 일부를 포함하는 클로즈드 캡션 텍스트 중 적어도 하나를 포함한다. 비디오 텍스트는 포어그라운드에 디스플레이된 중첩되거나 오버레이된 텍스트로서, 백그라운드로서 이미지를 갖는다. 예를 들어, 앵커 이름들이 종종 비디오 텍스트로서 보여진다. 또한, 비디오 텍스트는 삽입된 텍스트의 형태(예를 들어, 비디오 이미지로부터 식별되고 추출될 수 있는 거리 표시)를 취할 수도 있다.
또한, 개인 소비자의 알려진 관심사나 프로파일 뿐만 아니라 시청되고 있는 프로그램의 콘텍스트에 적절한 보조 정보를 제공하는 것이 유리하다. 예를 들어, 뉴스 세그먼트들은 케이블 네트워크 뉴스(CNN) 웹 페이지에 대한 링크들과 관련되지만, 광고방송은 부가적인 제품 정보와 관련된다. 상기 방법 및 시스템은, 어떤 유형과 얼마나 많은 보조 정보가 디스플레이되어야 하는지를 커스토마이징(customize)할 뿐만 아니라 텔레비전 컨텐트와 다른 미디어 컨텐트간의 새로운 관계를 계속적으로 전개시키기 위해 학습 모델들을 사용한다. 이 방법으로, 보조 정보는, 시청자를 방해하지 않거나 또는 시청자 측에서의 어떠한 동작도 필요로 하지 않고 텔레비전 프로그램과 자연스럽게 통합된다.
본 발명은, 소비자의 비디오 디스플레이 상에 디스플레이하기 위해 비디오 세그먼트와 연관된 보조 정보를 검색하기 위한 시스템(즉, 방법, 장치 및 컴퓨터-실행가능 처리 단계들)을 제공함으로써 상기한 요구를 처리한다. 상기 시스템은, 보조 정보를 검색하기 위한 확장 키워드들이 비디오 세그먼트를 수반하는 클로즈드 캡션 텍스트에 포함되는지 또는 다른 트랜스크립트 관련 텍스트에 포함되는지의 여부를 결정하기 위한 인식 엔진을 포함한다. 키워드가 발견되면, 저장되어 있는 규칙은 디스플레이될 보조 정보, 대형 정보 세트로부터 선택된 정보, 및 사용자 프로파일과 세그먼트의 콘텍스트에 따라 선택된 정보를 표시한다. 대안적으로, 트랜스크립트 키워드들이 확장되어 사용자의 프로파일에 매칭된다. 세그먼트의 콘텍스트는 분류 데이터에 기초하여 자동으로 결정된다. 이들 데이터는 프로그램 분류, 오브젝트 트래킹 방법들, 트랜스크립트 정보의 자연어 처리 및/또는 전자 프로그램 가이드 정보를 포함한다.
이 정보는 윈도우에 디스플레이되거나 또는 주 비디오 세그먼트 상에 조심스럽게 중첩된다. 대안적으로, 정보는, 예를 들어, 휴대용 장치 또는 이메일 계정에 전송되거나, 보조 기억장치에 저장되거나, 또는 로컬 메모리에 캐시된다. 시스템은 각 세그먼트의 시작과 끝을 자동으로 인식하여, 스토리 분류들에서 프로그램 세그먼트 콘텍스트에 대응하도록 규칙들을 서브세트를 갱신할 수 있다.
본 발명의 다른 양상에서, 시청되고 있는 비디오 세그먼트와 보조 정보를 연관시키기 위한 규칙들의 세트는 동적이며, 학습 모델에 기초한다. 규칙들의 세트는 제 3 자 소스들을 포함하는 소스들의 세트로부터 갱신되며, 사용자의 선택들과 거동의 패턴에 따라 사용자가 이용할 수 있는 정보를 만든다. 일 실시예에서, 규칙들은 무선 접속에 의해 동작하는 PDA(Personal Digital Assistant)로부터 전송된다.
이 간략한 개요가 제공되어, 본 발명의 특성이 빨리 이해될 것이다. 본 발명의 더 완전한 이해는 첨부 도면과 관련하여 바람직한 실시예들의 이하 상세한 설명을 참조하여 이루어진다.
도 1은 본 발명이 구현되는 시스템의 예시적인 실시예를 도시한다. 이 실시예에서, 멀티미디어 처리기 시스템(6)은 처리기(12), 메모리(10), 입력/출력 회로(8), 및 이 기술분야에 숙련된 사람에게 공지되어 있는 다른 회로 및 구성요소들을 포함한다. 아날로그 비디오 신호 또는 디지털 스트림이 수신기(2)에 입력된다. 이 스트림은 MPEG 또는 다른 전용 방송 포맷들에 에 대해 유연하다.
MPEG 표준에 따라, 비디오 데이터는 이산 코사인 변환 인코딩을 사용하여 인코딩되고, 전송을 위해 가변 길이 인코딩된 데이터 패킷들로 배열된다. MPEG 표준의 한 버전인 MPEG-2는 국제 표준 기구인 동화상 전문가 그룹의 문서 "동화상들과 오디오의 코딩(Coding of Moving Pictures and Audio)", ISO/IEC JTCI/SC29/WG11(1996년 7월)에 기술되어 있다. MPEG는 단지 시스템에서 이용될 수 있는 포맷의 일예이다.
비디오 신호(162)로 전송된 트랜스크립트 텍스트는 아날로그 비디오 신호의 라인(21) 또는 MPEG 스트림의 사용자 데이터 필드 중 하나로부터 트랜스크립트 추출기(4)에 의해 추출된다. 또한, 트랜스크립트 추출기(4)는 비디오 프로그램을 세그먼트들로 분할한다. 특정 프레임에 대한 트랜스크립트 텍스트는 메모리(10)에 저장될 수도 있다. 대안적으로, 이것은 실시간 데이터 스트림으로서 분석된다.
또한, 메모리(10)에 저장되어 있는 것은 전자 프로그램 가이드 정보(EPG)이다. 일 또는 주(days or weeks)의 기간 동안의 텔레비전 방송 정보를 나타내는 이러한 정보는 사용자 요청시 또는 프로그래밍된 시간에 다운로드된다. 이 정보는 수직 블랭킹 간격에 대한 로컬 아날로그 TV 방송자들에 의해 또는 "홈 바커(home barker)" 채널의 MPEG-2 개인 표들(private tables)을 통해 전송된다. 또한, 이 정보는 전화선을 통해 또는 무선 수단을 통해 전송될 수 있다. EPG 데이터는 프로그램의 장르 및 서브장르, 그 평점, 및 짧은 프로그램 설명과 같은 정보를 포함한다. EPG 데이터는, 뉴스 프로그램인지, 유료 프로그램 인용문인지, 드라마인지, 또는 여행담(travelogue)인지의 여부와 같은 프로그램의 콘텍스트를 결정하기 위해 사용된다.
또한, 보조 기억장치(18)에 저장된 것 및 메모리(10)에서 이용할 수 있는 것은 사용자의 관심사를 설명하는 키워드들 또는 "트리거들(triggers)"의 형태인 개인 프로파일 정보이다. 전형적인 트리거들은 "클린트 이스트우드(Clint Eastwood)", "환경", "대통령 선거" 또는 "하키"일 수 있다. 이 트리거들은 본 발명의 한 양상에서 동일하고 관련된 용어들을 포함하도록 확장된다.
종래 기술에 공지되어 있는 바와 같이, 사용자 관심사의 개인 프로파일은 사용자 입력에 의해 또는 두 방법들의 조합에 의해 자동으로 수립된다. 예를 들어, TiVo™ 퍼스널 TV 서비스는 TiVo™ 리모트 상의 "섬 업(Thumbs UP)" 또는 "섬 다운(Thumbs Down)" 버튼을 사용하여 사용자가 선호하는 프로그램들이 어떤 것인지를 나타내는 것을 허용한다. 여기서, TiVo™는 사용자가 시청하고 싶어하는 다른관련 프로그램들을 선택하기 위해 이 정보에 따라 구성된다.
트리거가 트랜스크립트 텍스트에 포함된 키워드들과 일치할 때, 예를 들어, 인터넷(14) 또는 전용 소스들(13)로부터 통신 수단(17)에 의해 보조 데이터가 검색된다. 보조 데이터에 대한 다른 소스는, 예를 들어, 또다른 채널이다. 그후, 데이터는, 웹 페이지 또는 그 일부분으로서 디스플레이(16) 상에서 사용자에게 디스플레이되거나, 또는 끼어들지 않는 방식(non-intrusive fashion)으로 주 비디오 상에 중첩된다. 대안적으로 또는 부가적으로, 간단한 URL(Uniform Resource Locator) 또는 정보형 메시지가 시청자에게 반환된다.
또한, 월드 와이드 웹(WWW)과 같은 보조 데이터와 상기 트리거들을 연관시키기 위한 규칙들이 보조 메모리(18)에 저장되어, 메모리(10)로부터 이용할 수 있다. 사용자 행동에 기초하여 갱신되는 디폴트 프로파일이나 사용자의 관심을 촉진시키는 질의 프로그램을 통해 이러한 규칙들이 수립되어, 규칙 세트를 생성한다. 또한 규칙들은 통신 수단(17)을 통해 PDA 또는 휴대 전화와 같은 이동 장치(15)로부터 수신된다. 이러한 규칙들은 시청되고 있는 프로그램 세그먼트의 콘텍스트에 의존하여 트리거들과 보조 정보를 연관시킨다. 예를 들어, 프로그램 세그먼트가 클린트 이스트우드의 신작 영화에 대한 광고일 경우, 콘텍스트는 광고방송이며 검색된 보조 데이터는 그가 출연한 영화의 설명이다. 프로그램 세그먼트가 클린트 이스트우드의 자동차 사고에 대한 설명이라면, 콘텍스트는 뉴스이며 검색된 보조 데이터는 왜 그가 뉴스에 나왔는지에 대한 더 많은 정보를 얻기 위한 인명(biographical) 웹 페이지 또는 www.cnn.com에 대한 링크이다.
상술된 바와 같이, 연관 규칙들은 또한 EPG 필드들의 조합에 의존한다. 예를 들어, "클린트 이스트우드"가 EPG 데이터의 배우 필드에 나타나고, 콘텍스트가 광고방송이라고 결정되며, 클로즈드 캡션 데이터가 "이 광고 후에 곧 클린트 이스트우드와 황야의 무법자(Fist Full of Dollars)를 다시 다룰 것입니다"라고 하면, 연관 규칙은 보여지고 있는 특정 영화에 관한 보조 데이터를 검색한다. 한편, "클린트 이스트우드"가 EPG 데이터의 배우 필드에 나타나지 않고, 콘텍스트가 광고방송이며, 클로즈드 캡션 데이터가 "클린트 이스트우드가 주연한 평원의 무법자(High Plains Drifter)는 금요일에 방송될 것입니다"라고 하면, 연관 규칙은 영화에 대한 쇼타임(showtime)에 관한 보조 데이터를 검색한다. 이들의 차이점들은, 예를 들어, 크레디트(credits)의 텍스트와 클로즈드 캡션 데이터로부터 추출된 텍스트를 비교함으로써 결정될 수 있다. 이것이 일치한다면, 광고되고 있는 프로그램은 시청되고 있는 프로그램이다. 대안적으로, 광고되고 있는 프로그램이 시청되고 있는 프로그램이라는 것을 나타내는 "다시 다룬다(returning to)"와 같은 키 구어들(key phrases)을 식별하기 위해 자연어 처리가 사용될 수 있다.
대안적으로, "클린트 이스트우드"가 EPG 데이터의 배우 필드에 나타나지 않고, 콘텍스트가 광고방송이며, 클로즈드 캡션 데이터가 "클린트 이스트우드의 신작 영화가 곧 개봉될 것입니다"라고 하면, 연관 규칙은 영화에 관한 더 많은 것을 검색하기 위해 클린트 이스트우드의 홈페이지에 링크하여 보조 데이터를 검색한다.
또한, 연관 규칙들은 검색될 미디어의 카테고리를 결정한다. 예를 들어, "코소보(Kosovo)"가 트리거이고 프로그램이 내셔널 지오그래픽에 의해 후원되었다면, 연관 규칙은 그 지역의 지도를 검색한다. 대안적으로, 프로그램 세그먼트 콘텍스트가 뉴스이고, 단어 "전쟁"이 EPG 데이터에 있다면, 연관 규칙은 그 지역의 최근 정치적 히스토리를 검색한다.
대안적인 실시예들에서, 시스템은 내장 처리기와 메모리를 갖는 비디오 디스플레이 또는 정보를 처리하고 저장하기 위한 개별적인 셋톱 박스를 포함한다. 이 실시예들은 통신 수단 또는 통신 수단에 대한 인터페이스를 포함할 수 있다. 비디오 신호 및 인터넷 정보는 무선, 위성, 케이블 또는 다른 미디어를 통해 수신된다. 이 시스템은, 무선 송신기를 통해 또는 상기 신호가 반송파(160)에 포함되는 경우에는 무선 수단을 통해 출력 신호로서 통신 수단(17)을 통해 보조 정보를 송신하도록 수정될 수 있다. 보조 정보는 이메일 리스트에 전송될 수 있고, 및/또는 휴대 전화들과 같은 이동 장치들(15)의 음성 메일 형태로 다운로드될 수 있으며, 및/또는 Palm Pilot와 같은 휴대용 장치에 전송될 수 있다.
도 2는 처리기 요소의 도면이다. 프로파일 생성기(50)는 사용자의 알려져 있는 관심사의 프로파일을 생성하여 저장하며, 상기 프로파일은 관심있는 키워드들 또는 트리거 정보를 포함한다. 이것은, 일련의 질의들에 응답하는 사용자를 갖거나, 사용자에 의해 수정되는 사용자 특징들에 기초한 디폴트 프로파일을 생성하거나, 또는 관심있는 영역들을 알기 위해 사용자 활동을 감시함으로써, 예를 들어, 사용자 입력을 통해 달성된다. 규칙 생성기(52)는 어떤 보조 정보가 사용자에게 디스플레이되어야 하는지를 결정하기 위해 다양한 콘텍스트들과 각 트리거를 논리적으로 결합하는 연관 규칙들을 생성한다. 인식 엔진(54)은 각 트리거와 트랜스크립트 텍스트를 비교하여, 트리거가 텍스트에 키워드로서 존재하는지의 여부를 결정한다. 트리거가 일치하면, 검색부(56)는 보조 정보를 검색하고, 포매팅부(58)는 디스플레이를 위해 데이터를 포매팅한다. 새로운 프로그램 세그먼트의 디스플레이로 인해 콘텍스트가 변경되는지의 여부를 알기 위해 콘텍스트 모니터(60)가 콘텍스트를 감시한다. 콘텍스트 변경이 발생할 경우, 콘텍스트 모니터(60)는 연관 규칙들의 새로운 서브세트를 검색하기 위해 보조 기억장치(18)를 액세스한다.
예를 들어, 새로운 웹사이트들을 통합하기 위해 보조 정보를 갱신하거나, 또는 다양한 검색 엔진들에 의해 수행된 검색 결과들을 반영하기 위해 데이터 갱신기(62)가 사용된다. 반복 카운터(64)는 특정 정보가 요청되는 회수를 카운트하고, 클릭스트림(clickstream) 모니터(66)는 일반적으로 사용자가 보조 데이터를 요청하는 회수를 측정한다. 이 지능적인 에이전트들(intelligent agents)은 정보의 유형과 사용자에게 제시된 정보량을 수정하기 위해 검색 수정기(68)와 함께 작동한다.
도 3a 및 도 3b는 본 발명의 방법을 도시하는 흐름도이다. 단계 S201에서 입력 비디오가 수신기로 입력되는 것으로 시작된다. 비디오는 아날로그 또는 디지털 형태이다. 처리기로부터 분리되어 있거나 또는 그에 통합되어 있는 트랜스크립트 추출기는 단계 S202에서 트랜스크립트 텍스트를 추출하여 각 비디오 세그먼트의 시작과 끝을 식별한다. 다음으로, 단계 S203에서, 처리기는 트랜스크립트 텍스트로부터 키워드들을 검색한다. 키워드들의 추출은 이 기술분야에 공지되어 있으며, 이와 같은 추출의 한 방법은 브로드스카이의 발명의 명칭이 "대화식 TV에서 발견되지 않는 부가 정보 또는 동적으로 추출되는 어휘를 사용하는 어플리케이션에 의한 전화 신호의 검색"인 미국 특허 제 5,809,471 호에 개시되어 있다. 도 4a에 도시되어 있는 바와 같이, 이 키워드들(152)은, 도 3a의 단계 S204에 도시되어 있는 바와 같이 동의어 또는 관련 키워드들과 상기 키워드들을 연관시킴으로써, 더 의미있고 완전한 결과들을 얻기 위해 트랜스크립트 텍스트(150)와 확장 키워드(154)로부터 추출된다. 이 목적을 위해 시소러스(thesaurus)가 사용되거나, 또는 Wordnet과 같은 데이터베이스가 사용된다. Wordnet은 온라인 어휘 참조 시스템으로서, 그 설계는 현 언어학 이론들에 기인한 것이다. 음성의 다양한 성부들(parts)이 동의어 세트들로 조직화되고, 그 각각은 하나의 기본 어휘 개념을 나타낸다.
키워드들은 또한 트랜스크립트 텍스트의 주제를 식별함으로써 확장될 수 있다. 예를 들어, "인플레이션", "앨런 크린스펀", 및 "실업률"과 같은 다수의 단어들이 동시에 존재할 때, 트랜스크립트 텍스트에 트리거 "경제"가 존재한다는 것이 유도될 수 있다. 마찬가지로, 키워드 "미국의 대통령"이 트랜스크립트 텍스트에 존재하면, 트리거 "클린턴 대통령"이 존재한다는 것이 유도될 수 있다.
도 4의 114, 132에 도시된 바와 같이, 보조 데이터가 사전들 및 백과 사전들과 같은 참조 도구들에 포함되어 있을 경우에는 특수 규칙들을 적용한다. 한 모드에서, 트리거들은 시청자의 이해 정도에 따라 다양한 키워드들에 매핑된다. 예를 들어, 시청자가 어린이이거나 또는 외국 시청자일 경우, 트리거 "실업"은 키워드 구 "직업이 없는"에 매핑되지만, 키워드 "과잉(redundancy)"에 매핑되지는 않을 것이다. 다른 모드에서, 키워드들은 상술된 바와 같이 확장된다.
프로그램 세그먼트 또는 콘텍스트 레벨 중 프로그램 레벨 하에서 부모의 제어가 수행된다. 따라서, 예를 들어, 부모들은 어린이들에게 부적절한 광고방송이 보여지는지, 그렇지 않으면 적절한 만화가 보여지는지를 걱정할 필요가 없다. 어린이 시청자에게는 광고방송동안에만 특수 스크린이 제공된다. 이 특수 스크린은 단지 전형적인 블로킹 스크린인 대신에 장난감 광고의 형태를 취할 수도 있다. 또한, 블로킹 트리거들은 블로킹의 효과를 향상시키기 위해 확장된다. 예를 들어, 부모가 자녀가 전쟁에 관한 비디오 세그먼트들을 보는 것을 원하지 않는다면, 트리거 "전쟁"은 "무장 전투" 및 "폭격"과 같은 키워드들 및 구어들에 매핑된다. 트리거 확장의 예는 도 4a(102, 156)에 도시되어 있다.
도 3a로 돌아가서, 단계 S205에서, 트리거들을 포함하는 개인 프로파일이 판독된다. 단계 S206에서 처리기는 트랜스크립트 텍스트로부터 전개된 키워드들과 사용자 프로파일에 포함된 트리거들을 매칭시킨다. 매칭되지 않으면, 처리기는 부가 트랜스크립트 텍스트를 추출함으로써 계속된다.
매칭되면, 도 3b의 S207에서, 진행중인 비디오 프로그램의 콘텍스트가 식별된다. 이것은 클로즈드 캡션 데이터, EPG 데이터, 오브젝트 트래킹 방법들이나, 컬러, 움직임, 텍스처, 모양과 같은 로우-레벨 특징 추출 중 하나를 사용하여, 여러 방법들로 행해진다. 프로그램 세그먼트의 콘텍스트는 또한 자연어 기술들을 사용하여 트랜스크립트 텍스트로부터 추출된다. 예를 들어, 마이크로소프트사는 온라인 사전들 및 백과 사전들을 포함하여 기존의 텍스트들을 분석하고 이 분석으로부터 자동으로 지식을 얻음으로써 학습하는 소프트웨어를 개발하였다. 이어서, 이지식은 "비행중인 비행기들은 위험할 수 있다"와 같은 문장에서 단어 "비행기"의 해석에 도움을 주어, 그 문장이 목공(woodworking)에 관한 것이라기보다는 비행에 관한 것이라고 결정하는데 사용된다.
또한, 클로즈드 캡션 텍스트의 구조와 그에 따른 콘텍스트를 식별하기 위해 문법 분석을 사용하여, 소프트웨어가 문법 레벨에서 동작한다. 예를 들어, 뉴스 프로그램은 일반적으로 가장 중요한 인자들로서 "누가, 무엇을, 언제, 어디서, 어떻게"를 뉴스 시작시 보도하기 때문에, 뉴스 프로그램이 식별된다. 따라서, "클린트 이스트우드는 캘리포니아 카멜에서 오전 7시에 메인 스트리트에서 홈 비디오 카메라를 가진 구경꾼에 의해 총격을 당했다"와 같은 문장으로 시작하는 프로그램은 뉴스 스토리로서 식별된다. 또한, 콘텍스트는 상술된 바와 같이 장르 및 서브 장르 필드들 또는 필드들의 조합으로부터 EPG 데이터에 이용할 수 있다.
다음으로, 단계 S208에서, 연관 규칙들이 판독된다. 연관 규칙들은, 키워드와 콘텍스트에 기초하여, 저장되어 있는 데이터베이스로부터 어떤 보조 데이터가 검색되어야 하는지를 결정한다. 단계 S209에서, 커스토마이징된 디스플레이 모듈들이 판독된다. 이 모듈들은 사용자로 하여금 사용자가 시청하기를 원하는 정보의 유형들과 그에 따른 정보량을 제한할 수 있도록 한다. 예를 들어, 사용자는 단지 WWW 페이지의 URL, 페이지로부터의 대 제목만, 페이지 요약 또는 전체 페이지를 보기를 원할 수도 있다. 사용자는 사용자가 시청하기를 원하는 보조 소스들을 선택하고, 이 소스들에 우선 순위를 부여할 수 있다.
단계 S210에서, 메모리에 저장되어 있는 데이터베이스로부터 보조 데이터가검색된다. 데이터베이스는 관심있는 항목들 또는 관심있는 항목들에 대한 포인터들, 보조 트리거를 포함한다. 예를 들어, 데이터베이스는, 유명 인사들의 이름들, 나라, 수도와 같은 지리 정보, 대통령, 제품 및 브랜드명, 분류 카테고리들 및 주제들을 포함한다.
데이터베이스는 수립된 소스들의 세트로 유지되고 리프레시된다. 이것은, 예를 들어, 부룸버그 사이트(Bloomberg site), 백과 사전들, 시소러스, 사전들, 및 웹사이트들이나 검색 엔진들의 세트를 포함한다. EPG 및 클로즈드 캡션 데이터로부터의 정보는 또한 데이터베이스에 통합된다.
또한, 도 5 및 도 6에 도시된 바와 같이, 리프레시 및 클린업(cleanup) 규칙들의 세트는, 예를 들어, 데이터베이스 또는 시청자의 프로파일에 저장되며, 데이터베이스 또는 프로파일의 크기 및 그 평가를 관리하기 위해 유지된다. 예를 들어, 선거 결과들 및 투표들과 후보자들에 관한 정보에 대한 링크들과 같은 "진부한(stale)" 항목들은 선거가 행해진 후에 삭제될 것이다.
도 3b로 돌아가서, 단계 S211에서, 보조 정보가 디스플레이를 위해 포매팅된다. 이 정보는 윈도우에 디스플레이되거나 또는 주 비디오 세그먼트 상에 조심스럽게 중첩된다. 대안적으로, 이 정보는, 예를 들어, Palm사에 의해 배포된 Palm Pilot™과 같은 휴대용 장치 또는 이메일 계정에 전송하기 위해 포매팅된다.
도 4는 여러 개의 트리거들(102)에 대한 연관 규칙들(100)의 세트를 도시한다. 표에서, 제 1 열은 트리거들(102)을 나타내고, 제 2 내지 제 5 열은 도시된 예시적인 트리거들에 대한 가능한 콘텍스트들(104, 106, 108, 110)을 나타낸다.첫 번째 트리거(102)에 대한 연관 규칙(120)인 "클린트 이스트우드"에서, 이 트리거(102)가 사용자의 프로파일에 나타날 때, 시청되고 있는 비디오 세그먼트에 클린트 이스트우드가 나타나는 콘텍스트에 따라, 보조 정보(116, 118, 120)의 3개의 상이한 항목들 중 하나의 항목이 디스플레이를 위해 검색된다. 단지 하나의 링크가 예시적인 표의 각 박스에 표시되어 있지만, 다수의 링크들이 존재할 수 있다. 클린트 이스트우드가 광고방송에 나타나면, 시스템은 www.imdb.com에 위치되어 있는 WWW 페이지로 링크하여 커스토마이징된 디스플레이 모델에 따라 그 페이지를 디스플레이할 것이다. 클린트 이스트우드가 토크쇼에 나타나면, 그가 나타나는 토크쇼 세그먼트가 검색을 위해 저장될 것이며(118), 및/또는 실시간으로 시청자에게 빠르게 전송된다. 대안적으로, 오프라인 경보(offline alert)는 나중 시청을 위해 전송되어, 그 세그먼트가 저장되었다는 것을 시청자에게 통지한다.
경보들은 자동으로 또는 수동을 검색된다. 또한, 클린트 이스트우드의 영화가 보여지는 다음 시간에 경보가 디스플레이되도록, 경보 전송은 주제에 맞추어진다. 클린트 이스트우드가 뉴스 프로그램에 나타나면, 시스템은 www.cnn.com에 위치되어 있는 WWW 페이지로 링크할 것이다. 경보들은 사용자로하여금 사용자가 통지받기를 원할 때의 환경들을 선택할 수 있도록 하기 위해 우선 순위들을 갖는다. 예를 들어, 사용자는 심한 날씨 경고들에 관한 경보들만을 보기를 원할 수도 있다.
트리거(102)에 대한 제 2 연관 규칙(122)인 마케도니아는 4개의 상이한 콘텍스트들을 처리한다. 트리거 "마케도니아"가 광고방송에 나타나면, 시스템은 www.travel.com(130)의 WWW 페이지로 링크한다. 마케도니아가 토크쇼의 주제라면,시스템은 콤프턴(Compton)의 백과사전(132)에서 "마케도니아"에 대한 엔트리로 링크한다. 마케도니아가 뉴스 쇼의 주제라면, 사용자는 프로그램이 방송되는 방송국으로 튜닝된다(134). 마케도니아가 내셔널 지오그래픽지에 의해 후원된 프로그램의 주제라면, 시스템은 마케도니아의 지도를 디스플레이하기 위해 www.yahoo.com/maps(136)로 링크한다.
제 3 내지 제 5 연관 규칙(124, 126, 128)은 상기 예들과 같은 방법으로 해석되어야 한다. 표에 도시되어 있는 바와 같이, "메릴 스트립(Meryl Streep)"과 같은 특정 트리거들(102)이 트랜스크립트 텍스트에 나타나면, 시스템은 단지 특정 콘텍스트들에 대한 보조 정보를 제공할 것이다. "메릴 스트립"의 경우에, 보조 정보는 토크쇼 및 뉴스 콘텍스트들에만 제공된다. 원한다면, 이와 같은 규칙은 알려져 있는 배우들 또는 모든 배우들의 목록에 적용하도록 확장된다.
도 4a는 트리거들과 키워드들 모두가 보조 정보를 검색하기 위해 어떻게 확장될 수 있는지를 도시한다. 도시되어 있는 예시적인 트랜스크립트 텍스트(150)에 있어서, 키워드(152) "라임 병(Lyme Disease)"이 트랜스크립트 텍스트(150)로부터 추출된다. 그후, 키워드(152)는 부가 키워드들인 "진드기(tick)", "진드기 교합(tick bite)", "황소의 눈 발진(bull's eye rash)" 및 "사슴 진드기(deer tick)"에 매핑되도록 확장된다. 이러한 임의의 확장 키워드들이 트랜스크립트 텍스트에 나타나면, 라임 병에 관련된 보조 정보가 검색될 것이다.
또한, 도 4a는 트리거들이 어떻게 확장되는지를 도시한다. 트리거(102) "라임 병"은 관련 용어들인 "진드기 교합", "웨스트 나일 바이러스(West Nilevirus)", 및 "모기 스프레잉(mosquito spraying)"을 포함하도록 확장된다(156). 따라서, 트랜스크립트 텍스트(150)가 임의의 확장 트리거들을 포함하면, 예를 들어, 세그먼트는 저장된다.
도 5는 커스토마이징된 디스플레이 모듈들과 연관 규칙들을 계속적으로 갱신하기 위해 학습 모델이 어떻게 구현되는지를 도시한다. 반복 카운터(20)는, 사용자가 동일한 보조 데이터를 얼마나 자주 요청하였는지(예를 들어, URL의 클릭)에 대한 카운트를 유지한다. 또한, 하나 이상의 보조 정보가 각 세그먼트에 대해 도 2에 도시된 처리기의 검색부(56)에 의해 검색될 수도 있으며, 사용자는 사용자가 시청하기를 원하는 정보를 선택할 수도 있다. 사용자가 소정 회수보다 작게 특정 보조 데이터를 요청하였다면, 저장되어 있는 연관 규칙들(26)이 검색 수정기(24)에 의해 갱신되어, 보조 데이터가 그 규칙으로부터 삭제되거나 또는 그 규칙은 새로운 소스를 포함하도록 수정된다. 클릭스트림 모니터(22)는 사용자가 특정 보조 데이터를 얼마나 자주 요청하는지를 감시한다. 사용자가 소정 회수보다 작게 보조 데이터를 선택하면, 그 사용자에 대한 주문형 디스플레이 모듈(28)이 검색 수정기(24)에 의해 수정되어, 더 적은 정보가 사용자에게 제공된다.
도 6은 동적 연관 규칙 데이터베이스가 어떻게 갱신되고 유지되는지를 도시한다. 데이터베이스는, 트랜스크립트 텍스트의 키워드와 사용자 프로파일의 트리거가 일치되어 트리거될 때, 보조 데이터를 제공할 수 있는 관심있는 항목들 또는 관심있는 항목들에 대한 포인터들을 포함한다. 데이터베이스는 현재의 이벤트들을 반영하고 발전된 사용자 프로파일을 매칭시키기 위해 시간이 경과함에 따라 갱신된다.
현존하는 데이터 소스 세트(36)는 연관 규칙 데이터베이스(26)가 구성되는 데이터 소스들을 명시한다. 다양한 공개되어 있는 소스들, 독점 정보로부터의 외부 데이터(38)와 인터넷(14)으로부터의 데이터 모두를 포함하는 데이터 소스 세트(36)는, 예를 들어, 새로운 웹사이트들을 통합하거나, 또는 다양한 검색 엔진들에 의해 수행된 검색 결과들을 반영하기 위해 데이터 갱신기(40)에 의해 갱신된다. 리프레시 규칙들의 세트(32)는 미리 설정된 한계로 데이터베이스의 크기를 유지하도록 한다. 수립된 우선 순위들의 세트에 따라서, 필요시 정보가 삭제된다. 또한, 클린업 규칙들의 세트(34)는 "진부한" 정보가 언제, 어떻게 삭제될 수 있는지를 명시하도록 유지된다. 특정 카테고리들의 정보에는 날짜가 찍혀있으며, 미리 설정된 월 및/또는 연도를 지난 정보는 삭제된다.
도 7은 보조 정보(70)가 주 비디오 세그먼트 상에 조심스럽게 중첩되어 디스플레이되는 실시예를 도시한다. 보조 정보는 화상의 하단에 나타난다.
도 8은 셋톱 박스(75)가 비디오 프로그램과 트랜스크립트 텍스트를 수신하는 수신기(2)를 포함하는 실시예를 도시한다. 트랜스크립트 텍스트 추출기 및 분할기(4)는 비디오 신호로부터 트랜스크립트 텍스트(150)를 추출하여, 추출된 트랜스크립트 텍스트를 광고방송 및 뉴스 속보와 같은 비디오 프로그램의 세그먼트들과 연관시킨다. 처리기 시스템(6)은 이 기술분야에 공지되어 있는 처리 요소들(입력/출력부(8), 메모리(10), 및 처리기(12))을 포함한다. 통신 수단(17)을 통해서, 처리기 시스템은 다양한 소스들로부터 비디오 프로그램에 대한 보조 정보를 검색한다. 이 소스들 중 3개의 소스들, 즉, 인터넷(14), 독점(비공개) 데이터베이스들(13) 및 PDA와 같은 이동 장치들(15)이 예로서 도면에 도시되어 있다. 통신 수단(17)은, 예를 들어, 구체적으로 도시되어 있지는 않지만 무선 수단, 케이블 모뎀, 디지털 가입자 회선, 또는 네트워크를 통해 다른 장치들에 접속될 수 있다. 보조 기억장치(18)는 정보를 검색하기 위한 규칙들뿐만 아니라 보조 정보를 저장하기 위해 사용된다. 셋톱 박스는 PC 디스플레이 또는 텔레비전과 같은 디스플레이와 인터페이스될 수 있다.
도 9는 수신기(2), 트랜스크립트 텍스트 추출기 및 분할기(4), 처리기 시스템(6), 보조 기억장치(18), 통신 수단(17), 및 디스플레이(16)를 포함하는 텔레비전(80)의 또다른 실시예를 도시한다. 처리기 시스템(6)은 이 기술분야에 공지되어 있는 처리 요소들(입력/출력부(8), 메모리(10), 및 처리기(12))을 포함한다. 텔레비전(80)은, 예를 들어, 인터넷(14), 독점 소스들(13) 및 이동 장치들(15)과 인터페이스하는 통신 수단(17)을 통해 보조 정보의 소스들과 인터페이스한다.
본 발명은 특정 예시적인 실시예들과 관련하여 설명되었다. 본 발명은 상술된 실시예들과 그에 대한 변형들로 제한되는 것이 아니며, 첨부된 청구항들의 정신과 범위를 벗어나지 않고 이 기술분야에 숙련된 사람들에 의해 다양한 변경들과 변형들이 행해질 수도 있다는 것이 이해될 것이다.

Claims (36)

  1. 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법에 있어서:
    상기 비디오 프로그램을 수신하는 단계(2);
    상기 비디오 프로그램에서 적어도 하나의 세그먼트를 식별하는 단계(4);
    상기 적어도 하나의 세그먼트에 대한 분류 데이터를 수신하는 단계(4, 2);
    상기 비디오 프로그램에 대한 트랜스크립트 텍스트(transcript text)를 수신하는 단계(4);
    비디오 프로그램 시청자에 대한 사용자 프로파일을 식별하는 단계(50);
    상기 트랜스크립트 텍스트와 상기 사용자 프로파일이 조건들의 세트를 만족할 때, 상기 보조 정보와 상기 비디오 프로그램을 연관시키기 위해, 상기 분류 데이터를 통합하는 규칙들의 세트를 식별하는 단계(52); 및
    디스플레이 상에 디스플레이하기 위해 상기 규칙들의 세트에 기초하여 상기 보조 정보를 자동으로 검색하는 단계(56)를 포함하는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  2. 제 1 항에 있어서,
    상기 규칙들의 세트(100)는 상기 사용자 프로파일(102)로부터의 정보를 포함하는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  3. 제 2 항에 있어서,
    상기 사용자 프로파일은 상기 비디오 프로그램 시청자가 관심을 가지고 있는 주제를 식별하는 적어도 하나의 트리거(102)를 포함하는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  4. 제 3 항에 있어서,
    상기 조건들의 세트는, 상기 트랜스크립트 텍스트의 키워드가 상기 사용자 프로파일의 상기 적어도 하나의 트리거(102)와 일치할 경우(S206)에만 인식 엔진(recognition engine)(54)이 상기 보조 정보를 검색한다는 것을 명시하는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  5. 제 1 항에 있어서,
    상기 트랜스크립트 텍스트는 클로즈드 캡션 텍스트(closed caption text), 비디오 텍스트, 프로그램 트랜스크립트들 또는 전자 프로그램 가이드 정보를 포함하는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  6. 제 1 항에 있어서,
    상기 트랜스크립트 텍스트(150)는 음성 인식 소프트웨어에 의해 생성되는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  7. 제 1 항에 있어서,
    이동 장치(15) 또는 제 3 자 소스(13)로부터 상기 규칙들의 세트(100) 중 적어도 일부를 수신하는 단계를 더 포함하는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  8. 제 1 항에 있어서,
    상기 보조 정보의 적어도 일부와 상기 보조 정보에 대한 포인터들은 데이터베이스(26)에 저장되거나, 또는 개인 휴대용 정보 단말기(PDA)(15)나 전자 메일 어드레스(14)로 전송되는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  9. 제 1 항에 있어서,
    상기 보조 정보(116, 118, 120)의 검색은 실시간으로 이루어지는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  10. 제 1 항에 있어서,
    상기 보조 정보(116, 118, 120)는 윈도우(70)에 디스플레이되거나 또는 디스플레이(16) 상의 상기 비디오 프로그램 위에 겹쳐지도록 포매팅되는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  11. 제 1 항에 있어서,
    상기 보조 정보는 텍스트 정보(114)이거나, 또는 월드 와이드 웹으로부터의 페이지(116)인, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  12. 제 5 항에 있어서,
    상기 전자 프로그램 가이드 정보(150)로부터 각 비디오 프로그램 세그먼트에 대한 상기 규칙들의 세트(100)를 자동으로 선택하는 단계를 더 포함하는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  13. 제 3 항에 있어서,
    상기 트랜스크립트 텍스트(4)의 키워드가 상기 사용자 프로파일의 트리거(102)와 일치하는지 여부(S203)를 식별하기 위해 각 비디오 프로그램 세그먼트에 대한 상기 트랜스크립트 텍스트(150)에 자연어 처리를 적용함으로써 상기 규칙들의 세트(100)를 자동으로 선택하는 단계를 더 포함하는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  14. 제 3 항에 있어서,
    상기 트랜스크립트 텍스트(150)에서 적어도 하나의 키워드를 식별하고(S203, 152), 관련 용어들(154)을 포함하도록 상기 적어도 하나의 키워드를 확장하며(S204, 152), 상기 키워드 또는 관련 용어들이 상기 사용자 프로파일의 적어도 하나의 트리거(102)와 일치하는 경우(S206)에 상기 보조 정보를검색하는(S210) 단계를 더 포함하는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  15. 제 3 항에 있어서,
    상기 트랜스크립트 텍스트(150)의 키워드(152)가 상기 사용자 프로파일의 트리거(102)와 일치하는지의 여부(S206)를 식별하기 위해 각 비디오 프로그램 세그먼트에 대한 상기 트랜스크립트 텍스트(150)에 문법 분석(discourse analysis)을 적용하여 상기 규칙들의 세트를 자동으로 생성하는(52) 단계를 더 포함하는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  16. 제 3 항에 있어서,
    관련 용어들을 포함하도록 상기 사용자 프로파일에 적어도 하나의 트리거(154)를 확장하고, 상기 트랜스크립트 텍스트에서 적어도 하나의 키워드를 식별하며, 상기 트리거 또는 관련 용어들이 상기 트랜스크립트 텍스트의 상기 적어도 하나의 키워드와 일치할 때 상기 보조 정보를 검색하는 단계를 더 포함하는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  17. 제 8 항에 있어서,
    특정 날짜 전에 상기 데이터베이스에 부가된 또는 종료된 이벤트들과 관련된 보조 정보(26) 또는 보조 정보에 대한 포인터들을 삭제하는(40) 단계를 더 포함하는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  18. 제 11 항에 있어서,
    상기 페이지의 URL(28, 70) 또는 상기 전체 페이지보다 작은 상기 페이지(28)의 일부분 또는 상기 페이지(28)의 개요만이 디스플레이되는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  19. 제 1 항에 있어서,
    상기 비디오 프로그램 시청자에 의해 시청되는 보조 정보량과 상기 비디오 프로그램 시청자가 상기 보조 정보를 시청하는 회수(20)를 감시하고(22), 소정의 방식에 따라, 그에 대응하도록 디스플레이하기 위해 포매팅된 보조 정보량을 변경하는(24) 단계를 더 포함하는, 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  20. 제 1 항에 있어서,
    상기 보조 정보는 전자 메일 메시지(15)에 포함되거나, 또는 개인 정보 관리기(15)에 다운로드되는(17), 비디오 프로그램에 대한 보조 정보를 검색하는 연관 방법.
  21. 비디오 프로그램에 대한 보조 정보를 검색하는 장치에 있어서:
    상기 비디오 프로그램, 상기 비디오 프로그램에 대한 분류 데이터, 및 상기 비디오 프로그램에 대한 트랜스크립트 텍스트를 수신하는 수신기(2);
    상기 비디오 프로그램에서 적어도 하나의 세그먼트를 식별하여 상기 하나의 세그먼트와 트랜스크립트 텍스트를 연관시키는 트랜스크립트 추출기(4);
    각 세그먼트에 대해 상기 분류 데이터(104, 106, 108, 110)를 감시하여 각 세그먼트에 대한 콘텍스트를 식별하는 콘텍스트 모니터(60, S207);
    비디오 프로그램 시청자에 대한 사용자 프로파일을 수립(establish)하는 프로파일 생성기(50);
    상기 트랜스크립트 텍스트(150)와 상기 사용자 프로파일(102)이 조건들의 세트를 만족할 때, 보조 정보(116, 118, 120)와 상기 비디오 프로그램을 연관시키기 위한 규칙들의 세트(100)를 수립하는, 상기 분류 데이터(102, 104, 106, 108, 110)를 통합하는 규칙 생성기(52);
    상기 규칙들의 세트(100)에 기초하여 상기 보조 정보(116, 118, 120)를 검색하는 검색부(56); 및
    상기 비디오 프로그램과 함께 디스플레이하기 위한 상기 검색된 보조 정보를 포매팅하는(S211) 포매팅부(58)를 포함하는, 보조 정보 검색 장치.
  22. 제 21 항에 있어서,
    상기 검색부는 상기 사용자 프로파일 내의 트리거(102)와 상기 트랜스크립트 텍스트 내의 키워드(152)가 일치할 때(S206) 상기 보조 정보(116, 118, 120)를 검색하는(S210), 보조 정보 검색 장치.
  23. 제 22 항에 있어서,
    상기 사용자 프로파일의 적어도 하나의 트리거(102)는 관련 용어들과 상기 트리거를 포함하도록 확장되며(156), 상기 관련 용어들은 상기 키워드(152)와 비교되는(S206), 보조 정보 검색 장치.
  24. 제 22 항에 있어서,
    상기 트랜스크립트 텍스트(150) 내의 적어도 하나의 키워드(152)는 관련 용어들을 포함하도록 확장되며(154, S204), 상기 트리거(102)는 상기 키워드(154) 및 상기 관련 용어들과 비교되는, 보조 정보 검색 장치.
  25. 제 21 항에 있어서,
    상기 검색(S207, 104, 106, 108, 110)부(56)는 상기 세그먼트의 콘텍스트에 기초하여 상기 세그먼트에 대한 정보를 검색하는, 보조 정보 검색 장치.
  26. 비디오 프로그램에 대한 보조 정보를 검색하고, 컴퓨터-판독가능 매체(18) 상에 저장되는 컴퓨터-실행가능 처리 단계들에 있어서:
    상기 비디오 프로그램, 상기 비디오 프로그램을 설명하는 분류 데이터, 및 상기 비디오 프로그램에 대한 트랜스크립트 텍스트를 수신하는 수신 단계(S201);
    상기 비디오 프로그램의 적어도 하나의 세그먼트, 및 상기 분류 데이터에 기초하여 상기 세그먼트의 콘텍스트를 식별하는 콘텍스트 식별 단계(S207);
    상기 비디오 프로그램의 상기 적어도 하나의 세그먼트에 대한 상기 트랜스크립트 텍스트에서 키워드들을 식별하는 키워드 식별 단계(S203);
    관련 용어들을 포함하도록 상기 키워드들을 확장하는 키워드 확장 단계(S204);
    상기 비디오 프로그램을 시청하는 시청자에 대한 사용자 프로파일을 검색하는 개인 프로파일 검색 단계(S205);
    상기 키워드들 및 상기 관련 용어들과 상기 사용자 프로파일의 상기 적어도 하나의 트리거를 매칭시키는 키워드 매칭 단계(S206);
    상기 식별된 콘텍스트에 의존하여, 상기 비디오 프로그램에 대한 어떤 보조 정보가 검색될 것인지를 명시하는 규칙들의 세트를 검색하는 연관 규칙 검색 단계(S208);
    상기 키워드 매칭 단계가 성공할 때 상기 규칙들의 세트에 기초하여 상기 보조 정보를 검색하는 검색 단계(S210); 및
    디스플레이를 위해 상기 검색된 보조 정보를 포매팅하는 포매팅 단계(S211)를 포함하는, 컴퓨터-실행가능 처리 단계.
  27. 반송파에 삽입되어, 비디오 프로그램(162)과 그에 대한 보조 정보(116, 118, 120)를 표현하는 신호(160)로서, 비디오 프로그램 분류 데이터(104, 106, 108110), 트랜스크립트 텍스트(150), 사용자 프로파일(102), 및 상기 트랜스크립트 텍스트와 상기 사용자 프로파일이 조건들의 세트를 만족할 때(S206) 상기 보조 정보와 상기 비디오 프로그램을 연관시키기 위한, 상기 비디오 프로그램 분류 데이터를 통합하는 규칙들(100)을 포함하는, 신호(160).
  28. 비디오 프로그램에 대한 보조 정보를 검색하고 디스플레이하는 장치에 있어서:
    상기 비디오 프로그램(162)을 수신하는 수단(2);
    상기 비디오 프로그램에서 적어도 하나의 세그먼트를 식별하는 수단(4);
    상기 적어도 하나의 세그먼트를 설명하는 프로그램 분류 데이터를 수신하는 수단(4, 2);
    상기 비디오 프로그램에 대한 트랜스크립트 텍스트(150)를 수신하여 상기 트랜스크립트 텍스트와 상기 적어도 하나의 세그먼트를 연관시키는 수단(4);
    비디오 프로그램 시청자에 대한 사용자 프로파일을 검색하는 수단(50);
    상기 트랜스크립트 텍스트와 상기 사용자 프로파일(102)이 조건들의 세트를 만족할 때(S206), 상기 보조 정보(116, 118, 120)와 상기 비디오 프로그램을 연관시키기 위한, 상기 분류 데이터(104, 106, 108, 110)를 통합하는 규칙들의 세트(100)를 식별하는 수단(52);
    상기 규칙들의 세트에 기초하여 상기 보조 정보를 검색하는 수단(56, S210); 및
    상기 비디오 프로그램과 함께 디스플레이하기 위한 상기 보조 정보를 포매팅하는 수단(58)을 포함하는, 장치.
  29. 비디오 프로그램 시청자용 셋톱 박스(75)에 있어서:
    비디오 프로그램(162), 상기 비디오 프로그램에 대한 분류 데이터(104, 106, 108, 110), 및 상기 비디오 프로그램에 대한 트랜스크립트 텍스트(150)를 수신하는 수신 수단(2);
    상기 비디오 프로그램에서 적어도 하나의 세그먼트를 식별하여, 상기 적어도 하나의 세그먼트와 트랜스크립트 텍스트를 연관시키는 트랜스크립트 텍스트 추출 및 분할 수단(4);
    적어도 하나의 정보 소스(14, 13, 15)에 접속되고, 상기 비디오 프로그램에 대한 보조 정보(116, 118, 120)를 수신하는 통신 수단(17);
    처리기 수단(6)으로서,
    a) 상기 비디오 프로그램 시청자의 관심사를 반영하는 적어도 하나의 트리거(102)를 포함하는 상기 비디오 프로그램 시청자에 대한 사용자 프로파일을 검색하고(50),
    b) 상기 분류 데이터와 상기 적어도 하나의 세그먼트를 연관시키고(60, S207),
    c) 상기 보조 정보와 상기 세그먼트를 연관시키기 위한, 상기 분류 데이터를 통합하는 규칙들의 세트를 식별하고(52),
    d) 상기 사용자 프로파일에 포함된 트리거에 대한 상기 트랜스크립트 텍스트를 검색하고(54),
    e) 상기 트리거(102)가 상기 트랜스크립트 텍스트(150) 내에 포함되어 있을 때, 상기 통신 수단(17)을 사용하고 상기 규칙들의 세트(100)에 기초하여 상기 보조 정보를 검색하며(56),
    f) 디스플레이를 위해 상기 검색된 보조 정보를 포매팅하는(58), 상기 처리기 수단(6); 및
    상기 트랜스크립트 텍스트, 상기 사용자 프로파일, 상기 규칙들의 세트, 및 상기 보조 정보를 저장하는 저장 수단(18)을 포함하는, 셋톱 박스(75).
  30. 제 29 항에 있어서,
    상기 수신 수단은 디지털 비디오 프로그램을 수신하는, 셋톱 박스(75).
  31. 제 29 항에 있어서,
    상기 처리기(12)는 아날로그 디스플레이 상에 디스플레이하기 위해 상기 디지털 비디오 프로그램을 디코딩하여 포매팅하는, 셋톱 박스(75).
  32. 제 29 항에 있어서,
    상기 비디오 프로그램 시청자는 상기 보조 정보가 상기 통신 수단(17)을 통해 전송될 목적지(15)를 선택하는, 셋톱 박스(75).
  33. 제 29 항에 있어서,
    보조 정보(116, 118, 120)의 하나 이상의 유형이 각 세그먼트에 대해 상기 처리기(12)에 의해 검색되고, 상기 검색된 보조 정보는 상기 사용자 프로파일에 따른 우선 순위의 순서로 자동으로 배치되며(S209), 디폴트로 최상위 우선 순위를 갖는 상기 보조 정보가 디스플레이를 위해 포매팅되는(S211), 셋톱 박스(75).
  34. 제 29 항에 있어서,
    보조 정보(116, 118, 120)의 하나 이상의 유형이 각 세그먼트에 대해 상기 처리기(12)에 의해 검색되고, 상기 비디오 프로그램 시청자는 시청자가 시청하기를 원하는 상기 비디오 프로그램에 대한 상기 검색된 보조 정보를 선택하는, 셋톱 박스(75).
  35. 텔레비전 세트(80)에 있어서:
    비디오 프로그램(162), 상기 비디오 프로그램에 대한 분류 데이터(104, 106, 108, 110), 및 상기 비디오 프로그램에 대한 트랜스크립트 텍스트(150)를 수신하는 수신 수단(2);
    상기 비디오 프로그램에서 적어도 하나의 세그먼트를 식별하여, 상기 적어도 하나의 세그먼트와 트랜스크립트 텍스트를 연관시키는 트랜스크립트 텍스트 추출 및 분할 수단(4);
    적어도 하나의 정보 소스에 접속되고, 상기 비디오 프로그램에 대한 보조 정보를 수신하는 통신 수단(17);
    처리기 수단(6)으로서,
    a) 상기 비디오 프로그램 시청자의 관심사를 반영하는 적어도 하나의 트리거를 포함하는 상기 비디오 프로그램 시청자에 대한 사용자 프로파일을 검색하고(50),
    b) 상기 분류 데이터와 상기 적어도 하나의 세그먼트를 연관시키고(4, 2),
    c) 상기 보조 정보와 상기 세그먼트를 연관시키기 위한, 상기 분류 데이터를 통합하는 규칙들의 세트(100)를 식별하고(52),
    d) 상기 사용자 프로파일에 포함된 트리거(102)에 대한 상기 트랜스크립트 텍스트를 검색하고(54),
    e) 상기 트리거(102)가 상기 트랜스크립트 텍스트 내에 포함되어 있을 때, 상기 통신 수단(17)을 사용하고 상기 규칙들의 세트(100)에 기초하여 상기 보조 정보(116, 118, 120)를 검색하며,
    f) 디스플레이를 위해 상기 검색된 보조 정보를 포매팅하는(58), 상기 처리기 수단(6);
    상기 트랜스크립트 텍스트, 상기 사용자 프로파일, 상기 규칙들의 세트, 및 상기 보조 정보를 저장하는 저장 수단(18); 및
    상기 비디오 프로그램과 상기 검색되어 포매팅된 보조 정보를 디스플레이하는 디스플레이 수단을 포함하는, 텔레비전 세트(80).
  36. 비디오 프로그램에 대한 보조 정보를 검색하고, 컴퓨터-판독가능 매체(18) 상에 저장되는 컴퓨터-실행가능 처리 단계들에 있어서:
    상기 비디오 프로그램, 상기 비디오 프로그램을 설명하는 분류 데이터, 및 상기 비디오 프로그램의 트랜스크립트 텍스트를 수신하는 수신 단계(S201);
    상기 비디오 프로그램의 적어도 하나의 세그먼트와 상기 세그먼트에 대한 분류 데이터를 식별하는 분류 단계(S202);
    비디오 프로그램 시청자에 대한 사용자 프로파일을 식별하는 제 1 식별 단계(S205);
    상기 트랜스크립트 텍스트와 상기 사용자 프로파일이 조건들의 세트를 만족할 때, 상기 보조 정보와 상기 비디오 프로그램을 연관시키기 위한, 상기 분류 데이터를 통합하는 규칙들의 세트를 식별하는 제 2 식별 단계(S208); 및
    상기 규칙들의 세트에 기초하여 상기 보조 정보를 자동으로 검색하는 검색 단계(S210)를 포함하는, 컴퓨터-실행가능 처리 단계.
KR1020027003919A 2000-07-27 2001-07-11 비디오 개선을 위한 트랜스크립트 트리거 KR20020054325A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US62718800A 2000-07-27 2000-07-27
US09/627,188 2000-07-27
PCT/EP2001/007965 WO2002011446A2 (en) 2000-07-27 2001-07-11 Transcript triggers for video enhancement

Publications (1)

Publication Number Publication Date
KR20020054325A true KR20020054325A (ko) 2002-07-06

Family

ID=24513587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027003919A KR20020054325A (ko) 2000-07-27 2001-07-11 비디오 개선을 위한 트랜스크립트 트리거

Country Status (5)

Country Link
EP (1) EP1410637A2 (ko)
JP (1) JP2004505563A (ko)
KR (1) KR20020054325A (ko)
CN (1) CN1187982C (ko)
WO (1) WO2002011446A2 (ko)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9630443B2 (en) 1995-07-27 2017-04-25 Digimarc Corporation Printer driver separately applying watermark and information
US7095871B2 (en) 1995-07-27 2006-08-22 Digimarc Corporation Digital asset management and linking media signals with related data using watermarks
US8332478B2 (en) 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
US7657064B1 (en) 2000-09-26 2010-02-02 Digimarc Corporation Methods of processing text found in images
US6899475B2 (en) 2002-01-30 2005-05-31 Digimarc Corporation Watermarking a page description language file
JP2003259316A (ja) 2002-02-28 2003-09-12 Toshiba Corp ストリーム処理システムおよびストリーム処理プログラム
US20030192047A1 (en) * 2002-03-22 2003-10-09 Gaul Michael A. Exporting data from a digital home communication terminal to a client device
JP4352653B2 (ja) * 2002-04-12 2009-10-28 三菱電機株式会社 映像コンテンツ管理運用システム
US20030229895A1 (en) * 2002-06-10 2003-12-11 Koninklijke Philips Electronics N. V. Corporation Anticipatory content augmentation
US20040078807A1 (en) * 2002-06-27 2004-04-22 Fries Robert M. Aggregated EPG manager
US7778438B2 (en) 2002-09-30 2010-08-17 Myport Technologies, Inc. Method for multi-media recognition, data conversion, creation of metatags, storage and search retrieval
US6996251B2 (en) 2002-09-30 2006-02-07 Myport Technologies, Inc. Forensic communication apparatus and method
US10721066B2 (en) 2002-09-30 2020-07-21 Myport Ip, Inc. Method for voice assistant, location tagging, multi-media capture, transmission, speech to text conversion, photo/video image/object recognition, creation of searchable metatags/contextual tags, storage and search retrieval
US7360235B2 (en) 2002-10-04 2008-04-15 Scientific-Atlanta, Inc. Systems and methods for operating a peripheral record/playback device in a networked multimedia system
JP2006510248A (ja) * 2002-12-11 2006-03-23 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 映像コンテンツを利用して、コンテンツ関連リンクをネットワークベースリソースに提供するためのテキストキーワードまたはフレーズを取得する方法およびシステム
US7487532B2 (en) 2003-01-15 2009-02-03 Cisco Technology, Inc. Optimization of a full duplex wideband communications system
GB0304763D0 (en) * 2003-03-01 2003-04-02 Koninkl Philips Electronics Nv Real-time synchronization of content viewers
US8014557B2 (en) 2003-06-23 2011-09-06 Digimarc Corporation Watermarking electronic text documents
ES2307029T3 (es) * 2003-08-25 2008-11-16 Koninklijke Philips Electronics N.V. Diccionario informativo o de medios de informacion en tiempo real.
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8953908B2 (en) 2004-06-22 2015-02-10 Digimarc Corporation Metadata management and generation using perceptual features
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US8307403B2 (en) 2005-12-02 2012-11-06 Microsoft Corporation Triggerless interactive television
US8209724B2 (en) 2007-04-25 2012-06-26 Samsung Electronics Co., Ltd. Method and system for providing access to information of potential interest to a user
US8115869B2 (en) * 2007-02-28 2012-02-14 Samsung Electronics Co., Ltd. Method and system for extracting relevant information from content metadata
US8863221B2 (en) 2006-03-07 2014-10-14 Samsung Electronics Co., Ltd. Method and system for integrating content and services among multiple networks
US8510453B2 (en) 2007-03-21 2013-08-13 Samsung Electronics Co., Ltd. Framework for correlating content on a local network with information on an external network
US8200688B2 (en) 2006-03-07 2012-06-12 Samsung Electronics Co., Ltd. Method and system for facilitating information searching on electronic devices
US8843467B2 (en) 2007-05-15 2014-09-23 Samsung Electronics Co., Ltd. Method and system for providing relevant information to a user of a device in a local network
JP2007300497A (ja) 2006-05-01 2007-11-15 Canon Inc 番組検索装置、及び番組検索装置の制御方法
EP2036017A1 (en) * 2006-06-06 2009-03-18 Exbiblio B.V. Contextual dynamic advertising based upon captured rendered text
KR101443404B1 (ko) * 2006-09-15 2014-10-02 구글 인코포레이티드 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이
US8935269B2 (en) 2006-12-04 2015-01-13 Samsung Electronics Co., Ltd. Method and apparatus for contextual search and query refinement on consumer electronics devices
CN101272477A (zh) * 2007-03-22 2008-09-24 华为技术有限公司 一种iptv系统、媒体服务器和iptv节目搜索、定位方法
US9286385B2 (en) 2007-04-25 2016-03-15 Samsung Electronics Co., Ltd. Method and system for providing access to information of potential interest to a user
US8176068B2 (en) 2007-10-31 2012-05-08 Samsung Electronics Co., Ltd. Method and system for suggesting search queries on electronic devices
JP2009302884A (ja) 2008-06-13 2009-12-24 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US8938465B2 (en) 2008-09-10 2015-01-20 Samsung Electronics Co., Ltd. Method and system for utilizing packaged content sources to identify and provide information based on contextual information
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
CN102349087B (zh) 2009-03-12 2015-05-06 谷歌公司 自动提供与捕获的信息例如实时捕获的信息关联的内容
ES2352397B1 (es) * 2009-06-24 2011-12-29 Francisco Monserrat Viscarri Dispositivo, procedimiento y sistema para generar eventos audiovisuales.
US20120124475A1 (en) 2009-08-07 2012-05-17 Thomas Licensing, Llc System and method for interacting with an internet site
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
JP5445085B2 (ja) * 2009-12-04 2014-03-19 ソニー株式会社 情報処理装置、およびプログラム
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
CN101930779B (zh) * 2010-07-29 2012-02-29 华为终端有限公司 一种视频批注方法及视频播放器
CN102346731B (zh) 2010-08-02 2014-09-03 联想(北京)有限公司 一种文件处理方法及文件处理装置
TW201227366A (en) * 2010-12-31 2012-07-01 Acer Inc Method for integrating multimedia information source and hyperlink generation apparatus and electronic apparatus
US20130007807A1 (en) * 2011-06-30 2013-01-03 Delia Grenville Blended search for next generation television
CN103096173B (zh) * 2011-10-27 2016-05-11 腾讯科技（深圳）有限公司 网络电视系统的信息处理方法和装置
GB2507097A (en) * 2012-10-19 2014-04-23 Sony Corp Providing customised supplementary content to a personal user device
US8839309B2 (en) * 2012-12-05 2014-09-16 United Video Properties, Inc. Methods and systems for displaying contextually relevant information from a plurality of users in real-time regarding a media asset
KR102180473B1 (ko) 2013-11-05 2020-11-19 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 장치의 제어 방법
KR20150136316A (ko) * 2014-05-27 2015-12-07 삼성전자주식회사 정보 제공을 위한 전자 장치, 방법 및 시스템
CN104079988A (zh) * 2014-06-30 2014-10-01 北京酷云互动科技有限公司 一种电视节目关联信息的推送设备及推送方法
US10423727B1 (en) 2018-01-11 2019-09-24 Wells Fargo Bank, N.A. Systems and methods for processing nuances in natural language
WO2023220274A1 (en) * 2022-05-13 2023-11-16 Google Llc Entity cards including descriptive content relating to entities from a video

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614940A (en) * 1994-10-21 1997-03-25 Intel Corporation Method and apparatus for providing broadcast information with indexing
KR19980063435A (ko) * 1996-12-11 1998-10-07 포만제프리엘 텔레비젼상에 프로그램 정보를 대화형으로 디스플레이하고 액세스하는 방법 및 시스템
IL127790A (en) * 1998-04-21 2003-02-12 Ibm System and method for selecting, accessing and viewing portions of an information stream(s) using a television companion device

Also Published As

Publication number Publication date
CN1187982C (zh) 2005-02-02
CN1393107A (zh) 2003-01-22
WO2002011446A2 (en) 2002-02-07
WO2002011446A3 (en) 2002-04-11
EP1410637A2 (en) 2004-04-21
JP2004505563A (ja) 2004-02-19

Similar Documents

Publication Publication Date Title
KR20020054325A (ko) 비디오 개선을 위한 트랜스크립트 트리거
KR100233354B1 (ko) 대화형 디스플레이 시스템 및 대화형 디스플레이 인식 방법
US7779342B2 (en) Hypervideo: information retrieval at user request
US7802177B2 (en) Hypervideo: information retrieval using time-related multimedia
US7039633B1 (en) Hyper video: information retrieval using multimedia
US6493707B1 (en) Hypervideo: information retrieval using realtime buffers
US6757866B1 (en) Hyper video: information retrieval using text from multimedia
US9202523B2 (en) Method and apparatus for providing information related to broadcast programs
US8209724B2 (en) Method and system for providing access to information of potential interest to a user
US7467398B2 (en) Apparatus and method of searching for desired television content
US20070074254A1 (en) Locating content in a television environment
US10225625B2 (en) Caption extraction and analysis
US20030093794A1 (en) Method and system for personal information retrieval, update and presentation
US20030097301A1 (en) Method for exchange information based on computer network
US20030093580A1 (en) Method and system for information alerts
JP2003504952A (ja) ビデオセグメントを別のビデオセグメント又は情報源にリンキングさせる方法及び装置
KR20030007727A (ko) 자동 비디오 리트리버 제니
KR20030096218A (ko) 데이터베이스에 의해 분산 사건들의 테이블들을 포함하는오디오-비주얼 플럭스에서의 오디오-비주얼 프로그램들또는 콘텐츠의 검색 방법
Ma et al. WebTelop: Dynamic tv-content augmentation by using web pages
JP5335500B2 (ja) コンテンツ検索装置及びコンピュータプログラム
AU769098B2 (en) Method and system utilizing text selected on a web page for searching in a database of television programs
KR100207696B1 (ko) 인터넷 한글 캡션 tv를 이용한 캡션의 하이퍼링크된 정보 획득방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application