KR100794152B1 - 오디오/데이터/시각 정보 선택을 위한 방법 및 장치 - Google Patents

오디오/데이터/시각 정보 선택을 위한 방법 및 장치 Download PDF

Info

Publication number
KR100794152B1
KR100794152B1 KR1020017009036A KR20017009036A KR100794152B1 KR 100794152 B1 KR100794152 B1 KR 100794152B1 KR 1020017009036 A KR1020017009036 A KR 1020017009036A KR 20017009036 A KR20017009036 A KR 20017009036A KR 100794152 B1 KR100794152 B1 KR 100794152B1
Authority
KR
South Korea
Prior art keywords
data
audio
visual
signals
information
Prior art date
Application number
KR1020017009036A
Other languages
English (en)
Other versions
KR20010089605A (ko
Inventor
디미트로바네벤카
멕게토마스
엘렌바스존에이치.
에그니호트리라리타
자신스치라두
데그타스쉐런
멘델손아론
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20010089605A publication Critical patent/KR20010089605A/ko
Application granted granted Critical
Publication of KR100794152B1 publication Critical patent/KR100794152B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/27—Arrangements for recording or accumulating broadcast information or broadcast-related information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/46—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising users' preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/72—Systems specially adapted for using specific information, e.g. geographical or meteorological information using electronic programme guides [EPG]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4351—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reassembling additional data, e.g. rebuilding an executable program from recovered modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Circuits Of Receivers In General (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

원하는 오디오/데이터/시각 정보를 선택, 저장, 전달하기 위한 방법은, 시청자의 시청 선호도를 결정하는 단계(100), 및 예를 들면, 방송 및 케이블 텔레비전 신호들 또는 인터넷-기반 신호들과 같은 제 1 그룹의 오디오/데이터/시각 신호들을 수신하는 단계(102)를 포함한다. 제 1 그룹의 오디오/데이터/시각 신호들을 기초하여, 제 1 그룹의 오디오/데이터/시각 신호들의 일부인 제 2 그룹의 오디오/데이터/시각 신호들이 식별된다(108). 제 2 그룹의 오디오/데이터/시각 신호들은 시청자의 시청 선호도와 각각의 신호들에 대한 EPG 데이터의 연관에 기초하여 선택된다. 그 후, 컨텐츠 데이터는 제 2 그룹의 오디오/데이터/시각 신호들로부터 추출되고, 시청 선호도들과 비교된다(110,114). 컨텐츠 데이터는, 예를 들면, 클로즈드-캡션 텍스트, EPG 데이터, 오디오 정보, 시각 정보 및 복사 정보를 포함할 수 있다. 제 2 그룹의 오디오/데이터/시각 신호들로부터 추출된 컨텐츠 데이터와 시청 선호도의 비교에 기초하여, 사용자에 흥미있는 제 2 그룹의 오디오/데이터/시각 신호들에 포함된 오디오/데이터/시각 정보는 식별되고(122), 시청자의 편의에 따라 리뷰하기 위해 저장된다(124).
오디오/데이터/시각 정보, 시청 선호도, 컨텐츠 데이터

Description

오디오/데이터/시각 정보 선택을 위한 방법 및 장치{Method and apparatus for audio/data/visual information selection}
본 발명은, 일반적으로, 오디오/데이터/시각 정보 선택 시스템에 관한 것으로, 특히, 텔레비전, 데이터 또는 인터넷-기반 신호들과 같은 오디오/데이터/시각 신호들의 스트림을 필터링하고, 컨텐츠 요약(content abstraction)의 다양한 레벨들에서, 사용자 정의 파라미터들에 기초하여 필터링된 정보를 제공하는 시스템에 관한 것이다.
텔레비전 채널들의 수가 증가할수록, 텔레비전 시청자들은 텔레비전을 시청하는 동안 시간을 어떻게 가장 잘 사용할지 및 어떤 텔레비전 프로그램을 시청할지에 대한 딜레마를 갖는다. 인쇄된 온-스크린 텔레비전 일람표(printed and on-screen television listings)가 각 텔레비전 프로그램의 전체 컨텐츠를 정확하게 식별하지 못하기 때문에, 많은 텔레비전 시청자들은 "관심 있는" 텔레비전 프로그램들 또는 프로그램들의 일부분을 식별하기 위해 "채널 서핑(channel surfing)"을 한다.
흔히, 텔레비전 시청자는 그의 관심에 대응하는 텔레비전 프로그램들을 식별하기 위해 채널 서핑에 많은 시간을 소비한다. 이는 시청자들로 하여금 그들이 시청을 즐기게 될 많은 다른 텔레비전 프로그램들을 놓치게 한다. 예를 들면, 만일 "서핑된" 채널들 상에 방송중인 광고가 있다면, 시청자는 "서핑된" 채널상에서 방송되는 텔레비전 프로그램의 식별이 지연될 것이다. 그러므로, 방송되고 있는 프로그램이 관심 있는지 여부를 결정하는데 오랜 시간이 걸린다. 결과적으로, 다른 채널들에서 방송되는 관심 있을지도 모르는 프로그램을 놓치게 된다. 만일 시청자가 원하는 텔레비전 프로그램에 위치 고정한다면, 그는 시청하는 동안 방송되는 관심 없는 광고에 자주 당면하고, 그로 인해, 다른 채널에서 동시에 방송되고 있는 관심 있는 프로그램의 방송을 놓치게 된다.
텔레비전 시청자들은 프로그램 동안 방송되는 많은 광고들, 시간의 일부만이 관심있는 프로그래밍을 가지는 텔레비전 채널들의 수의 계속되는 증가 및 채널 서핑에 일반적으로 지쳐있다. 그러므로, 시청자에게 관심 있는 방송 텔레비전 및 케이블 프로그램들, 및/또는 정보의 스캐닝, 스마트 선택(smart selection), 및/또는 기록하기 위한 기술은 미래의 텔레비전에 필수적이다.
새로운 캡쳐 보드 및 고속 프로세서에 의해 명백해진 디지털 비디오 처리의 근래의 발전에도 불구하고, 상대적으로 비디오 데이터에 의해 전달되는 정보가 시청자의 요구에 따라 어떻게 최상으로 재생, 분석, 분류 및 분배될 수 있는 지에 관한 진보는 거의 없었다.
전자 프로그램 가이드(EPG) 데이터가 시스템에 제공되는 시청자 정보에 기초하여 분석되는 시스템들이 근래에 개발되었다. EPG 데이터의 분석에 기초하여, 시청자에게 관심이 될 수 있는 텔레비전 프로그램들의 리스트가 제공된다. 그러나, EPG 데이터는 제한되고, 시청자 정의 파라미터들에 기초하여 각 텔레비전 프로그램의 모든 비디오 프레임 또는 세그먼트의 상이한 레벨의 컨텐츠 분석들이 허용되지 않는다.
본 발명의 목적은, 종래 기술이 갖는 상기 언급된 문제점을 해소하는 오디오/데이터/시각 정보 선택, 저장 및 전달을 위한 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은, 복수의 오디오/데이터/시각 신호들을 모니터하고, 개인에게 관심있는 오디오/데이터/시각 정보를 식별하고, 개인에 의해 식별된 오디오/데이터/시각 정보의 사용을 허용하는 오디오/데이터/시각 정보 선택, 저장 및 전달을 위한 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은, 정의된 파라미터들에 대응하는 텔레비전-기반 및/또는 인터넷-기반 정보의 세그먼트들만을 선택적으로 기록하는 방법 및 장치를 제공하는 것이다.
본 발명의 한 형태에 따라, 관심있고, 개인의 선호도(personal preference)를 반영하고, 텔레비전 프로그램들을 통해 경험하는 원하는 오디오/데이터/시각 정보를 선택하는 방법은, 시청자의 시청 선호도를 결정하는 단계, 제 1 복수의 오디오/데이터/시각 신호들을 수신하는 단계, 상기 제 1 복수의 오디오/데이터/시각 신호들로부터 모니터되는 제 2 복수의 오디오/데이터/시각 신호들을 식별하는 단계로서, 상기 제 2 복수의 오디오/데이터/시각 신호들은 제 1 복수의 오디오/데이터/시각 신호들의 서브세트(subset)가 되는 상기, 식별 단계와 원하는 오디오/데이터/시각 정보를 식별하기 위해 상기 시청 선호도와 상기 제 2 복수의 오디오/데이터/시각 신호들을 비교하는 단계와, 원하는 오디오/데이터/시각 정보(124)에 대한 액세스(access)를 제공하는 단계를 포함한다.
본 발명의 다른 측면에 따라서, 원하는 오디오/데이터/시각 정보를 선택하는 방법은, 사용자의 선호도를 결정하는 단계, 복수의 오디오/데이터/시각 신호들을 수신하는 단계, 원하는 오디오/데이터/시각 정보를 식별하기 위해 상기 선호도와 복수의 오디오/데이터/시각 신호들을 비교하는 단계와 상기 원하는 오디오/데이터/시각 정보에 대한 액세스를 제공하는 단계를 포함한다.
본 발명의 다른 측면에 따라서, 오디오/데이터/시각 신호 선택 시스템은, 시청자의 시청 선호도를 제공하기 위한 입력 장치와, 정보 선택기를 포함한다. 정보 선택기는, 제 1 복수의 오디오/데이터/시각 신호들을 수신하고, 모니터 되는 제 2 복수의 오디오/데이터/시각 신호들을 제 1 복수의 오디오/데이터/시각 신호들로부터 식별하는데 여기서 제 2 복수의 오디오/데이터/시각 신호들 제 1 복수의 오디오/데이터/시각 신호들의 서브-세트가 된다. 또한, 정보 선택기는, 원하는 오디오/데이터/시각 정보를 식별하기 위해 시청 선호도와 제 2 복수의 오디오/데이터/시각 신호들을 비교하고, 식별된 오디오/데이터/시각 정보에 대한 액세스를 제공한다.
본 발명의 다른 측면에 따라서, 오디오/데이터/시각 신호 선택 시스템은 사용자의 선호도를 제공하기 위한 입력 장치와, 정보 선택기를 포함한다. 상기 정보 선택기는 복수의 오디오/데이터/시각 신호들을 수신하고, 원하는 오디오/데이터/시각 정보를 식별하기 위해 선호도와 다수의 오디오/데이터/시각 신호들을 비교하고, 식별된 오디오/데이터/시각 정보에 대한 액세스를 제공한다.
본 발명의 상기 및 다른 목적, 특성 및 이점은 첨부된 도면과 연결되어 읽어질 본 명세서의 다음의 상세한 설명으로부터 쉽게 명백해 질 것이다.
도 1은 본 발명에 따른 오디오/데이터/시각 정보 선택 시스템의 블록도.
도 2는 도 1의 오디오/데이터/시각 정보 선택 시스템의 동작의 흐름도.
본 발명은 다수의 텔레비전 또는 인터넷-기반 오디오/데이터/시각 신호들을 모니터하는 오디오/데이터/시각 정보 선택 시스템("비디오 스카우팅 시스템(video scouting system)")을 제공한다. 시스템은 시청자의 선호도에 기초하여 시청자에게 관심 있을 수 있는 오디오/데이터/시각 정보를 선택 및 기록한다. 예를 들면, 어떤 사람이 특정한 토픽에 관련된 텔레비전 프로그램을 시청하고자 할 때, 그 사람은 텔레비전 프로그램들, 방영 시간들 및/또는 텔레비전 채널들을 알 필요가 없다. 더욱이, 그 사람은 프로그램들이 방송되는 시간에 존재할 필요가 없다. 본 발명의 시스템은 사람이 시청하고자 하는 프로그램들, 성격, 특성, 토픽 및 이벤트에 대한 프로그램 가능한 희망 리스트를 설정한다. 그 다음, 시스템은 희망 리스트 상의 아이템들을 위해 수신된 텔레비전 신호들을 연속적으로 모니터하고, 희망 리스트의 기준에 맞는 전체 텔레비전 프로그램 또는 텔레비전 프로그램의 일부를 기록하고, 편리한 시간에 시청자가 시청하기 위해 기록된 아이템들에 액세스할 수 있다.
본 발명에 따른 오디오/데이터/시각 정보 선택 시스템은 컴퓨터 또는 텔레비전 내에 포함될 수 있거나, 또는 수신된 텔레비전, 라디오, 또는 인터넷-기반 신호들을 "서핑(surfs)"하고, 국부 저장 장치 상에 프로그램의 원하는 세그먼트를 기록하는 텔레비전 또는 컴퓨터에 결합된 독립형-장치(stand-alone device)도 될 수 있다. 프로그램 세그먼트들의 선택은 방송 및 케이블 텔레비전 또는 인터넷-기반 신호의 컨텐츠 데이터에 기초한다. 컨텐츠 데이터는 클로즈드-캡션 텍스트(closed-captioned text), EPG 데이터(메타 데이터(meta-data)의 형태가 될 수 있음), 오디오 정보(주파수, 피치(pitch), 음색(timbre), 소리 및 멜로디), 시각 정보(색, 움직임, 형태 및 2-D/3-D 객체들의 텍스쳐) 및, 복사 정보(transcript information)를 포함할 수 있다.
본 발명은 텔레비전 방송 신호들과 함께 이용의 관점에서 본 명세서에서 설명되었지만, 본 시스템은 사용자가 관심 있는 정보에 대한 인터넷-기반 신호들(예를 들면, 웹 크롤러(web crawler) 또는 비디오 웹 포탈(web video potal))을 스캔하도록, 인터넷 액세스 기능을 갖는 컴퓨터와 사용할 수 있고, 특정한 형태의 오디오 신호들에 대해 스캔하도록 개인화된 라디오 어플리케이션을 위한 라디오와 사용될 수도 있고, 정보 네트워크(예를 들면, 사설 네트워크(proprietary network) 및 개인 영역 네트워크(personal area network)) 및, 오직 데이터 정보만을 전송하는 시스템에 대하여 사용될 수 있음이 예상된다.
도 1을 참조하면, 오디오/데이터/시각 정보 선택(10)용 장치가 도시된다. 이 장치는 텔레비전과 같은 비디오 모니터(12)에 결합되는 것이 바람직하다. 이 장치는, 사용자가 개인의 시청 선호도를 입력할 수 있는 개인의 프로필 입력 장치(14)(예를 들면, 키패드, 키보드, 스크린상 디스플레이, 텔레비전 원격 제어, 터치 스크린, 구두 명령어 수신기 또는 터치 패드)를 포함한다. 시청 선호도는 사용자가 시청하기를 원하는(및/또는 전에 시청된) 텔레비전 프로그램들의 특성에 대응한다. 시청 선호도의 몇몇 예는, 스포츠 팀들(예를 들면, 뉴욕 양키즈), 인물들(빌 클린턴 대통령), 위치들(예를 들면, 백악관), 액션들(예를 들면, 선수가 홈런을 친다) 및, 토픽(예를 들면, 월드 챔피언쉽)을 포함한다. 사용자에 의해 제공된 모든 데이터에 기초하여, 사용자의 시청 선호도의 프로필이 생성된다. 이하에 상세기 기술된 바와 같이 수신된 텔레비전 신호들은 적어도, 시청 선호도에 대응하는 방송 세그먼트들에 대하여 모니터 된다. 예를 들면, 만일, 시청 선호도가 "뉴욕 양키즈"라면, 본 발명은, 광고가 뉴욕 양키즈와 관련되지 않은 경우 한 광고 없이, 전체 뉴욕 양키즈 야구 게임, 뉴욕 양키즈에 관련된 영화(예를 들면, "양키즈의 프라이드") 및, 전날 밤의 뉴욕 양키즈 야구 게임의 하이라이트를 보여주는 뉴스/스포츠의 스포츠 부분을 기록할 것이다.
또한, 본 장치는 다양한 토픽에 대하여 메모리에 저장된 개인의 프로필들을 갖기 때문에, 사용자는 특정 시청 선호도를 입력할 필요 없이, 오직 소정의 형태의 시청 선호도에 따른 번호의 입력(예를 들면, "1" 스포츠, "2" 지역 뉴스, "3" 전국 뉴스, "4" 세계 뉴스, "5" 정치, "6" 과학 픽션 등)만을 필요로 함을 알 수 있다. 결과적으로, 사용자는 원하는 정보의 방송영역을 제공하는 시스템에 많은 양의 정보를 입력할 필요가 없다.
또한, 본 장치는 분석될 다수의 텔레비전 신호들을 수신하기 위한 오디오/데이터/시각 정보 수신기(16)를 포함한다. 텔레비전에 의해 수행되는 바와 같이 신호들 모두가 아닌 하나의 신호를 필터링하는 대신, 수신기(16)는 다수의 튜너를 갖고, 분석을 위해 모든 신호들을 관리한다. 적절한 오디오/데이터/시각 신호 수신기들은 안테나, 위성 안테나(satellite dish), 셋-톱 박스, 인터넷 접속, 케이블 등을 포함한다. 본 기술 분야에 알려져 있듯이, 수신기에 제공된 방송 및 케이블 텔레비전 신호들은 다중화된 신호들이다.
오디오/데이터/시각 신호 수신기(16)의 출력에는 오디오/데이터/시각 신호 수신기에 의해 수신된 다중화된 복수의 텔레비전 신호들을 역다중화하기 위한 역다중화기(demultiplexer;18)가 동작 가능하게 결합된다. 역다중화기는 이하에서 상세히 설명되는 바와 같이 복수의 신호들을 역다중화하고, 복수의 텔레비전 신호들 각각이 개별적으로 분석되게 한다.
양호한 실시예에서, 장치는 복수의 텔레비전 신호들과 연관된 전자 프로그래밍 가이드 신호들을 수신하기 위해 EPG(전자 프로그래밍 가이드) 신호 수신기(20)를 포함한다. 당 분야에 알려졌듯이, EPG 신호들은 현재 방송되고 미래에 방송될 텔레비전 프로그램들에 관한 정보의 광대한 구분(assortment)을 포함한다. EPG 정보의 예는 타이틀, 시작시간, 종료시간, 배우(만일 적용할 수 있다면), 토픽, 프로그램의 카테고리 및 간략한 프로그램 설명을 포함한다. 적합한 EPG 신호 수신기들은 안테나, 위성 안테나, 셋-톱 박스, 인터넷 접속 등을 포함한다. EPG 신호 수신기 및 오디오/데이터/시각 신호 수신기는 하나의 장치로 결합되고, 결합된 장치는 오디오/데이터/시각 신호들을 수신하기 위한 제 1 모드 및 EPG 신호들을 수신하기 위한 제 2 모드간에서 스위치될 수 있음이 예상된다. 대안적으로, 장치는 오디오/데이터/시각 신호들 및 EPG 신호들을 동시에 수신할 수도 있다.
또한, 본 장치는 EPG 신호 수신기(20)로부터 EPG 신호들, 역다중화기(18)로부터 역다중화된 텔레비전 신호들 및, 개인 프로필 입력 장치(14)로부터 시청자 선호도를 수신하는 오디오/데이터/시각 정보 선택기(22)를 포함한다. 오디오/데이터/시각 정보 선택기는 사용자가 관심을 갖는 텔레비전 방송을 식별하기 위해, (하기에 상세하게 설명된) 컨텐츠 데이터를 기반으로 한 역다중화된 오디오/데이터/시각 신호들, 대응하는 EPG 신호들 및 시청 선호도를 분석한다. 이 정보는 전체 텔레비전 프로그램이 될 수도 있고, 만일 EPG 데이터가 텔레비전 프로그램의 세그먼트만이 시청 선호도에 대응함을 나타낸다면 오직 텔레비전 프로그램의 세그먼트만이 될 수 있다. 오디오/데이터/시각 정보 선택기는 텔레비전 신호들을 병렬로 모니터하고, 오디오/데이터/시각 정보 선택기에 의해 식별된 텔레비전 정보를 메모리에 저장하도록, 상기 선택기에 제공된 텔레비전 신호들 각각을 동시에 분석할 수 있는 것이 바람직하다. 오디오/데이터/시각 정보 선택기의 기능을 수행하기 위해 프로그램될 수 있는 적합한 장치의 예는 개인용 컴퓨터의 CPU(예를 들면, 펜티엄 또는 MIPS), 특별하게 프로그램 가능한 디지털 신호들 프로세서(트리미디어(Trimedia)) 또는 특별하게 구성된 칩 아키택쳐이다. 오디오/데이터/시각 정보 선택기의 동작은 이하에서 자세히 설명 될 것이다.
오디오/데이터/시각 정보 선택기(22)는 시청 선호도에 따라 오디오/데이터/시각 정보 선택기(22)에 의해 식별된 텔레비전 방송 또는 그 일부를 기록하기 위한 메모리(24)(예를 들면, 각각이 몇 백 기가 바이트의 저장 용량을 갖는 RAM, 하드디스크 레코더, 광학 저장 장치, 또는 DVHS)에 동작 가능하게 결합된다. 사용자에 의해 요청됐을 때, 오디오/데이터/시각 정보 선택기는 메모리에 저장된 오디오/데이터/시각 정보를 액세스할 수 있고, 사용자에 의한 리뷰를 위해 비디오 모니터(12)에 정보를 제공한다.
이제, 도 2를 참조하여, 오디오/데이터/시각 정보 선택의 장치의 동작, 저장, 및 전달이 설명될 것이다.
우선, 사용자는 개인 프로필 입력 장치(14)를 통해 개인의 프로필 데이터를 입력한다(단계 100). 개인 프로필은 시청자가 시청하기를 원하는 특정한 타입들의 텔레비전 프로그램들, 텔레비전 프로그램의 인물들 및 생김세(aspect)와 같은 사용자의 시청 선호도에 대응한다. 이 정보는 다양한 방법으로 제공될 수 있다. 예를 들면, 정보는 개인 프로필 입력 장치(14)를 통해 입력될 수 있다. 대안적으로, 정보는 종래의 텔레비전 원격 제어 장치상의 화살 키(arrow key)를 통해 텔레비전 또는 비디오 모니터(12)상의 스크린상의 가이드를 통해 입력될 수 있다. 상기 방법에 대안적으로, 모든 사용자 프로필 정보는 자동으로 발생될 수 있고, 개인 프로필 입력 장치는 사용자의 시청 습관들을 모니터하고, 인공 지능을 통하여, 사용자의 개인 시청 선호도를 "학습한다". 사용자 프로필은 사용자의 행동 및 시청 관심의 변화에 기초하여 변화할 수 있음이 예상된다. 또한, 정보 선택기 또는 입력 장치는 사용자의 변화하는 시청 습관을 모니터하고 자동으로 시청 선호도를 업데이트하는 것이 예상된다(단계 101). 예를 들면, 만일 사용자가 과거에는 오직 스포츠 이벤트만을 시청하였으나 근래에는 비즈니스 뉴스 채널만을 시청하였다면, 시스템은 비즈니스 뉴스를 포함하도록 원래의 시청 선호도(스포츠 이벤트)를 수정한다. 개인 프로필 입력 장치는 양호하게 내부 메모리(도시되지 않음) 내에 "학습된" 시청 습관들을 저장한다. 대안적으로, "학습된" 시청 습관들은 메모리(24)안에 저장된다. 또한, 사용자는 자신의 가장 가까운 매치를 기초로 한 선-저장된 프로필들(pre-stored profiles) 중 하나를 선택할 수 있음이 예상된다.
오디오/데이터/시각 신호 수신기(16)는 시청자가 이용가능한 오디오/데이터/시각 텔레비전 신호들(예를 들면, 지역 케이블 텔레비전 또는 위성 장치를 통해 사용자 예약된 채널들)을 수신하고(단계 102), 텔레비전 신호들은 역다중화기(18)에 의해 역다중화 되고(단계 104), 오디오/데이터/시각 정보 선택기(22)에 제공된다(단계106). EPG 신호들은 EPG 신호 수신기(20)에 의해 수신되고, 그 후에 오디오/데이터/시각 정보 선택기(22)에 제공된다(단계106).
오디오/데이터/시각 정보 선택기(22)는 수신된 텔레비전 신호들의 초기 선택 프로세스을 수행한다. 수신된 텔레비전 신호들 각각에 대해 EPG 데이터의 관련된 부분은 텔레비전 프로그램들이 사용자의 시청 선호도와 전혀 연관되지 않았는지를 결정하도록 시청 선호도와 비교된다(단계 108). 시청 선호도와 연관되지 않은 텔레비전 프로그램은 모니터되지 않는다. 그 결과, 추가적인 분석 및 시청 파라미터들과 일치를 위하여 수신된 텔레비전 신호들(텔레비전 프로그램들)의 서브세트가 유지된다. EPG 데이터의 사용은 사용자의 시청 선호도와 명확히 전혀 연관되지 않은 텔레비전 프로그램을 제거하기 위한 필터링의 제 1 레벨이다. 예를 들면, 만일 하나의 텔레비전 신호에 대한 EPG 데이터가 대응하는 텔레비전 채널이 영화 "바람과 함께 사라지다"가 방송중인 것으로 식별하고, 사용자의 시청 선호도가 "야구" 또는 "증권시장"에 관련된다면, 영화가 상영되는 동안 이 채널을 모니터할 필요가 없다. 그러나, 만일 다른 텔레비전 신호들에 대한 EPG 데이터가 대응하는 텔레비전 채널을 현재 뉴스를 방송중인 것으로 식별한다면, 지난밤의 야구 스코어 및 그날의 비즈니스 뉴스가 논의될 수 있기 때문에, 이 채널을 모니터하는 것이 보증된다.
만일, 수신된 텔레비전 신호들의 서브세트가 분석되는 것으로 결정하는데 EPG 데이터가 이용 가능하지 않다면, 오디오/데이터/시각 정보 선택기는 우선 시청 선호도 또는 사용자에 의해 자주 시청되는 채널에서 식별되는 선호되는 채널들의 그룹을 모니터함을 주의하라. 만일, 오디오/데이터/시각 정보 선택기의 자원을 계산하는데 어떠한 제한도 없다면, 모든 이용 가능한 채널이 동시에 모니터 될 것이다.
대응하는 채널상의 프로그래밍이 변경되지 않았고 시청 선호도와 일치하는 프로그램이 현재 방송되고 있지 않음을 보장하기 위해, 모니터되지 않는 텔레비전 프로그램은 주기적으로 체크(즉, 리뷰)된다는 것에 주의한다.
일단 텔레비전 채널의 서브-세트가 선택되면, 텔레비전 채널들의 서브세트 각각은 (어떤) 현재 방송되는 프로그램의 일부가 시청 선호도에 대응하는지를 결정하기 위해서 병렬로 연속하여 분석된다(각각의 텔레비전 프로그램은 동시에 분석된다). 상기 분석은 각각의 텔레비전 프로그램으로부터 분석된 클로즈드-캡션 또는 번역된 텍스트를 추출하는 것을 포함한다(단계 110). 추출된 클로즈드-캡션 또는 번역된 텍스트가 인덱스된다(단계 112). 특히, 당 분야에 알려진 바와 같이, 인덱싱은 프로그램의 주제의 표시를 제공하도록 텍스트에서 단어의 발생 빈도를 모니터하는 것을 포함한다. 인덱싱은, 전체가 본 명세서에 참고문헌으로 포함되는, G.Salton 및 M.J.McGill, McGraw-Hill에 의해 1993년에 출간된 "Introduction to Modern Information Retrieval", NY, NY; James Allen에 의해 1995년에 출간된 The Benjamin/Cummings Publishing Company, Inc의 "Natural Language Understanding"; 및 Inderjeet Mani 및 Mark T. Maybury에 의해 1999년에 출간된 The MIT Press, Cambridge, MA,의 "Advances in Automatic Text Summarization"에 설명되어 있다. 인덱스된 텍스트는 시청 선호도와 연관성 있는 특정한 단어가 프로그램에서 자주 사용되는지의 여부를 결정하도록 분석된다(단계114). 만일, 텔레비전 프로그램에서 자주 사용되는 단어가 시청 선호도와 일치한다면, 프로그램 또는 관련 세그먼트는 주목되어 분석 또는 기록되어야 한다.
텍스트의 추출 및 인덱싱과 동시에, 텔레비전 프로그램들은 광고의 발생이 모니터된다(단계 116). 만일, 분석되는 텔레비전 채널들 중 하나에서 광고가 방송될 때, 시청 선호도가 광고에 관심이 없다면, 본 발명은 광고를 분석하지 않아서, 시스템 자원이 광고가 아닌 텔레비전 방송(non-commercial television broadcast)에 집중될 수 있다. 이와 반대로, 만일 광고를 원한다면, 모든 광고는 이후의 분석을 위해 메모리에 저장될 것이다.
또한, 상기 방법은 텔레비전 프로그램의 비디오 프레임을 분석하게 위해 텔레비전 신호들의 비디오 부분의 세그먼트를 포함한다(단계 118). 양호한 실시예에서, 모니터되는 각각의 프로그램의 모든 비디오 프레임은 분석된다(즉, 미국에서는 초당 30 비디오 프레임이 분석된다). 비디오 세그먼테이션은 당 분야에 알려져 있으며 일반적으로 다음의 문서에 설명되어 있다. 상기 문서는, 전체가 본 명세서에 참고문헌으로 포함되는, 1999년 1월에 T.McGee 및 N.Dimitrova에 의해 Proc. of SPIE Conf. on Storage and Retrieval for Image and Video Databases, San Jose, CA에서 출간된 "비-스토리 세그먼트의 식별 및 제거에 대한 분석 TV 프로그램(Parsing TV Programs For Identification and Removal of Non-Story Segments)"의 p.243-251; 1999년 9월 보스턴에서, N.Dimitrova, H.Elenbaas 및 T.Mc.Gee에 의해 SPIE Conference on Multimedia Storage and Archiving SystemsⅣ,에서 출간된 "PNRS 개인용 뉴스 검색 시스템(PNRS-Personal News Retrieval System)"의 pp.2-10; 및 A.Hauptmann 및 M.Smith에 의한 Computational Models for Integrating and Vision 1995의 AAAI 1995년 가을 심포지엄에서의 "비디오 세그먼테이션에 대한 텍스트, 음성, 시각:인포메디아 프로젝트(Text, Speech, and Vision For Video Segmentation: The Informedia Project)"에서 일반적으로 설명되어 있다. 만일 사용자의 시청 선호도들이 존 F. 케네디에 관한 주제를 원하는 것으로 나타낸다면, 존 F. 케네디에 관련된 시각(예를 들면, 얼굴) 및/또는 텍스트 정보를 포함하는 텔레비전 프로그램의 비디오 부분 중 임의의 세그먼트를 현재 방송이 사용자의 시청 선호도에 관련됨을 나타낼 것이다. 당 분야에 알려진 것처럼, 세그먼트는 다음의 것들을 포함하지만, 이에 한정되지는 않는다.
컷 검출(Cut Detection): 두 개의 연속적인 비디오 프레임들은 갑작스런 화면의 변화(하드 컷) 또는 부드러운 변화(차차 밝아짐, 페이드-인 및 페이드-아웃)를 식별하도록 비교된다. 컷 검출의 설명은 전체가 본 명세서에 참고문헌으로 포함되는, N.Dimitrova, T.McGee, H. Elenbaas에 의한 1997년의 Proc.ACM Conf.on Knowledge and Information Management의 "Video Keyframe Extraction and Filtering: A Keyframe is Not a Keyframe to Everyone"로 출판된, pp.113-120에서 제공된다.
얼굴 검출(Face detection): 피부-톤을 포함하고 타원과 유사한 형상에 대응하는 비디오 프레임의 영역들이 식별된다. 양호한 실시예에서, 일단 얼굴 이미지가 식별되면, 이 이미지는 메모리에 저장된 알려진 얼굴 이미지들의 에이터베이스와 비교되어, 비디오 프레임에서 보여지는 얼굴 이미지가 사용자의 시청 선호도에 대응하는지 여부를 결정한다. 얼굴 검출의 설명은, 전체가 본 명세서에 참고문헌으로 포함되는, Gang Wei 및 Ishwar K.Sethi에 의해 1999년 11월에 출판된, Pattern Recognition Letters의 타이틀이 "Face Detection for Image Annotation"인 Vol. 20, No.11에서 제공된다.
텍스트 검출(Text Detection): 오버레이(overlayed)되고 이중인화된(superimposed) 텍스트와 같은 비디오 프레임에 나타난 텍스트가 식별되고, 상기 텍스트가 사용자의 시청 선호도에 관련되는지에 관한 결정이 이루어진다. 텍스트 검출의 설명은, 전체가 본 명세서에 참고문헌으로 포함되는 L.Agnihotri 및 N.Dimitrova에 의한, IEEE Conference on Computer Vision and Pattern Recognition 1999와 함께 열린 1999년 6월의 Proceedings of IEEE Workshop on CBAIVL, Fort Collins, Colorado의 타이틀이 "Text Detection in Video Segments"에서 설명된다. 양호한 실시예에서, 일단 텍스트가 검출되면, 당 분야에 알려져 있는 광학 특성 인식(OCR)이 검출된 영역들에 대해 이용되며 메모리에 저장된 룩업 테이블은 검출된 텍스트를 식별하는데 사용된다. 룩업 테이블은 다양한 단어간의 연관성을 포함하는 것이 바람직하다. 예를 들면, "빌 클린턴"은 "미국의 대통령" 및 "정치", "백악관", "모니카 르윈스키" 및 "화이트 워터(whitewater)"에 연관될 것이다.
움직임추정/세그먼테이션/검출(Motion Estimation/Segmentation/Detection): 비디오 시퀀스에서 움직이는 객체가 결정되고, 움직이는 객체의 궤도는 분석된다. 비디오 시퀀스 안의 객체의 움직임을 결정하기 위해서, 광학 플로우 추정, 움직임 보상, 및 움직임 세그먼테이션과 같은 알려진 동작들이 이용되는 것이 바람직하다. 움직임 추정/세그먼테이션/검출의 설명은, 전체가 본 명세서에 참조문헌으로서 포함되는, 1993년 4월 Patrick Bouthemy 및 Fracois Edouard에 의한 International Journal of Computer Vision의 타이틀이 "Motion segmentation and Qualitative Dynamic Scene Analysis from an Image Sequence", Vol 10, No.2pp. 157-182에 설명된다.
카메라 움직임: 바람직하게는 2개의 병진(translational) 및 3개의 회전(rotational)인 5개의 글로벌 카메라 파라미터들의 세트가 사용된다. 3-D 카메라 움직임은 단순 트랙킹(수평 움직임), 급격함(booming)(수직 움직임), 이동식(dollying)(깊이로의 움직임), 팬(panning)(수직 글로벌 축으로 회전), 기울어짐(tilting)(가로축에 대한 회전), 롤링(rolling)(z-축에 대한 회전) 또는 이러한 움직임의 조합으로서 분류된다. 이러한 정보는 비디오 셧을, 예를 들면, "정지(static)", "줌(zoom)" 및/또는 "스팬(span)"으로 분류하는데 사용되고, 셧을 제작하기 위한 제작자의 의도를 또한 결정한다. 상기 카메라 움직임 정보는 만일 EPG 데이터가 사용가능하지 않다면, 프로그램이 카테고리는 카메라 움직임을 기초로 결정될 수 있도록 분류에 사용된다. 카메라 움직임 검출에 대한 설명은, 전체가 본 명세서에 참조문헌으로서 포함되는, 1994년에 R.Y. Tsai 및 T.S.Huang에 의해 출판된 IEEE Transction on PAMI의 타이틀이"Uniqueness and Estimation of Three-Dimensional Motion Parameters of Rigid Objects with Curved Surfaces", Vol.6, number 1,pp.13-27에서 설명된다.
또한, 상기 방법은 텔레비전 신호의 오디오 부분의 세그먼테이션을 포함하고(단계 120), 상기 텔레비전 방송의 오디오 부분은 시청자 선호도들에 관련된 단어/소리의 발생이 모니터된다. 오디오 세그먼테이션은, 음성-텍스트 변환, 오디오 효과 및 이벤트 검출, 화자 식별, 프로그램 식별, 음악 분류, 및 화자 식별에 기초한 대화 검출과 같은 텔레비전 프로그램의 분석을 포함한다.
오디오 세그먼테이션은 오디오 신호들을 음성(speech) 및 비음성으로 분할하는 것을 포함한다. 오디오 세그먼테이션의 제 1 단계는 대역폭, 에너지, 및 피치와 같은 저레벨의 오디오 특성을 사용하여 세그먼트를 분류하는 것을 포함한다. 그 후에 채널 분리는 서로로부터(음악과 음성처럼) 동시에 발생하는 오디오 신호들을 분리하는데 사용되고, 그러므로 각각은 독립적으로 분석될 수 있다. 그후에, 텔레비전 프로그램의 오디오 부분은 음성-텍스트 변환, 오디오 효과, 이벤트 검출 및 화자 식별과 같은 다른 방법으로 처리된다. 오디오 세그먼테이션은 당 분야에 공지되어 있고, 전체가 본 명세서에 참고문헌으로 포함되는, E. Wold 및 T.Blum에 의한 1996년 가을에 IEEE Multimedia의 타이틀이 "Content-based Classification, Search, and Retrieval of Audio", pp.26-36에 일반적으로 설명되어 있다.
음성-텍스트 변환(당 분야에 공지되어 있으며, 전체가 본 명세서에 참고문헌으로 포함되는, P.Beyerlein, X.Aubert, R.Haeb-Umbach, D.Klakow, M.Ulrich, A.Wendemuth 및 P.Wilcox에 의한 "Automatic Transcription of English Broadcast News"라 칭해진, 출판물을 보라)은 일단 텔레비전 신호들의 오디오 부분의 음성 세그먼트가 배경 잡음 또는 음악으로부터 식별 및 분리되면 사용될 수 있다. 음성-텍스트 변환은 클로즈드 캡셔닝(closed captionning)이 텔레비전 프로그램의 오디오 부분의 사본을 제공하는데 이용가능하지 않은 경우에 중요하다. 음성-텍스트 변환은 시청 선호도와 관련된 키워드 검출(keyword spotting)과 같은 어플리케이션을 위해 사용된다.
오디오 효과들은 이벤트 검출에 사용될 수 있다(당 분야에 알려져 있으며, 전체가 본 명세서에 참고문헌으로 포함되는, 1997년에 T.Blum, D.Keislar, J.Wheaton 및 E.Wold에 의한 AAAI press, Menlo Park California의 "Audio Database with Content-Based Retrival"타이틀의 출판물, pp.113-135에서 설명되어 있다. 이벤트는 특정한 이벤트와 연관이 있을 소리의 식별에 의해 검출된다). 예를 들면, 스포츠 이벤트 내의 "골(goal)"이라는 아나운서의 외침은 검출되고, 만일 시청 선호도가 하키 또는 축구 골들을 포함한다면, 프로그램 세그먼트는 메모리에 저장될 수 있다.
화자 식별(당 분야에 공지되어 있으며, 전체가 본 명세서에 참고문헌으로 포함되는, 1997년 2월에 Nilesh V.Patel 및 Ishwar K. Sethi에 의한 IS&T SPIE Poeceedings:Storage and Retrival for Image and Video Database V, San Jose, Ca의 "Video Classification Using Speaker Identification"이란 타이틀의 출판물,pp.218-225를 참조하라)은 말하는 사람의 신분을 결정하는 오디오 신호들에 존재하는 대화의 음성 사인(voice signature)을 분석하는 것을 포함한다. 화자 식별은 예를 들면, 가장 좋아하는 배우 또는 정치인의 코멘트를 검색하는데 사용될 수 있다.
프로그램 식별은 텔레비전 프로그램을 식별하기 위해 오디오/데이터/시각 신호들의 오디오 부분을 분석하는 것을 포함한다. 이것은 특히 프로그램의 카테고리화 및 인덱싱에 유용하다. 이것은 만일 EPG 정보가 사용가능하지 않다면 중요하다. 분석된 오디오 부분은 프로그램이 시청 파라미터들과 일치하는지를 결정하도록 프로그램을 식별하기 위해 프로그램 특성 라이브러리와 비교한다.
음악 분류는 존재하는 음악의 타입(클래식, 록, 재즈 등) 오디오 신호들의 비-음성 부분의 분석을 포함한다. 이것은 예를 들면, 오디오 신호들의 비음성 부분의주파수, 피치(pitch), 음색(timbre), 소리 및 멜로디와 같은 분석 및 특정 타입의 음악의 공지된 특성과 분석의 결과를 비교함으로써 수행된다. 음악 분류는 당업계에 공지되어 있고, Eric D. Scheier 1999 IEEE Workshop on Application of Signal Processing to Audio and acustices, New Paltz, NY October 17-20, 1999의 출판물에 일반적으로 설명되어 있다.
오디오 비디오 신호들의 세그먼테이션 후에, 만일 적절하다면, 현재 텔레비전 프로그램이 사용자 선호도와 일치하는지의 여부를 결정하기 위해 세그먼트된 오디오와 비디오 신호들의 다양한 부분들은 조합된다(통합된다)(단계 121). 세그먼트된 오디오 및 비디오 신호들의 통합은 복합 시청 선호도에 대하여 필수적이다. 예를 들면, 시청자가 특정 배우가 특정한 손동작을 하면서 특정한 라인을 말하는 것을 보기를 원한다면, 얼굴 인식이 요구될 뿐 아니라(배우를 식별하기 위해), 또한 화자 식별(스크린 상의 배우가 말하는 것을 확인하기 위해, 음성 대화 변환(배우가 적절한 단어를 말하는 지 확인하기 위해) 및 움직임 추정/세그먼테이션/검출(배우의 특정한 손동작을 인식하기 위해)이 요구된다.
상술한 바와 같이, 시각 및 오디오 세그먼테이션의 동시 발생은 세그먼트된 오디오 및 비디오 정보가 통합되고(만약 적용 가능하다면), 및 시청 선호도와 비교된다(단계122). 그 후에, 특정한 채널의 현재 프로그램이 시청 선호도와 일치하는 지의 여부가 결정된다. 만일 그렇다면, 양호한 실시예에서, 프로그램은 시청 선호도와의 일치에 대하여 랭크되고(단계123), 현재 프로그램이 사용자의 시청자 선호도와 일치하는 동안 메모리에 저장된다(단계 124). 랭킹은 사용자의 가장 선호되는 시청 파라미터들에 대응하는 비디오 세그먼트를 메모리에 먼저 위치시키고, 덜 선호되는 시청 선호도에 관련된 세그먼트를 나중에 위치시킨다. 이러한 방법으로, 시청자가 저장된 프로그램 세그먼트를 시청할 때, 가장 높게 랭크된 것들이 가장 먼저 시청된다.
만일, 사용자가 본 발명이 동작하는 동안 현재 다른 텔레비전 프로그램을 시청한다면, 사용자는 관심 있는 텔레비전 프로그램이 특정한 채널 상에서 방송되고 있음을 동시에 통지받을 수 있다(단계 126). 시청자에 의해 요구됐을 때, 기록된 프로그램 세그먼트들은 검색되고 사용자의 시청을 위해 제공된다(단계128).
상기 언급되었듯이, (코어 AV 모듈(core AV modules)에 의해 결정된) 오디오 및 비디오 세그먼테이션의 일부들이 특정 텔레비전 프로그램 동안 특정 이벤트를 결정하도록 중간 레벨 및 고레벨을 이용하여 조합(즉, 통합)될 수 있다. 코어 AV 모듈은 독립 오디오 및 비디오 분석을 제공하는 시각적이고 텍스쳐 적인 모듈을 포함한다. 이러한 모듈은 그 자체에 다중 처리 유닛을 포함한다. 코어 AV 모듈의 주목적은, 텔레비전 프로그램 컨텐츠의 의미 설명과 유사한 고레벨 결정을 추론하기 위해 통합 모듈(중간 레벨 및 고레벨 툴)로의 입력으로 사용될 수 있는 저-레벨 특징들을 추출하기 위한 것이다. 기본적인 시각 속성들은 색, 움직임, 모양, 및 텍스쳐(texture)이다. 이러한 속성들 각각은 로컬 오퍼레이터로부터 지역/전역 오퍼레이터들에 이르는 많은 셋의 오퍼레이터들에 의해 기술된다. 이러한 오퍼레이터들은 그것들이 서로에 독립적으로 처리되고 독립적으로 테스크(task)하기 때문에 원시적(primitive)이다. 중간 레벨 및 고레벨 통합 모듈의 세트는 코어 AV 모듈과 다른 요소들을 조합하는 툴을 포함한다. 통합 모듈의 목적은 컨텐츠 데이터로부터 고레벨 정보를 추출하는 것이다. 이것은 저레벨 특성의 다중 모델 통합을 포함한다. 중간 레벨 툴들(모듈들)은 통상적으로 객체 부분들 및 오디오/데이터/시각 속성간의 관계를 기술하는데 사용된다. 고레벨 툴들은 객체들을 식별/관련/처리하도록 사용된다. 이러한 모듈은 정적이거나 동적일 수 있다. 동적 모듈은 정기적으로 업데이트 된다.
중간-레벨 정보로부터 고레벨을 구분하게 하는 것은 전자의 경우 루프내에 결정 프로세스가 존재하기 때문이다. 이는 어떤 코어 AV 모듈이 사용될지 및 어떠한 상태 하에 있는지를 결정하는 프로세스가 모듈의 내부에 존재한다는 것을 의미한다. 고레벨 모듈의 통상적인 예는 액션, 이벤트 검출/인식, 스토리 세그먼테이션 및 분류, 프로그램 분류 및 컨텍스트 검출이다.
만일 시청 선호도가 배우의 특정한 액션이라면(예를 들면, 문을 열거나 방안에 들어가는), 얼굴 검출 및/또는 음성 식별이 사용될 뿐 아니라, 배우의 액션이 시청 파라미터들과 대응하는지의 여부를 결정하기 위한 특정 배우의 액션을 정확하게 지적하기 위한 움직임 검출이 사용되므로 중간 벨 또는 고-레벨 모듈들이 사용될 수 있다. 결과적으로, 다중 결정 루프들이 텔레비전 프로그램을 분석하는데 사용될 수 있다.
본 발명은 전체 프로그램들의 비디오 서머리들(summaries)을 발달시킬 수 있어서, 사용자들에 의해 시청된 기록된 세그먼트들이 프로그램의 관점에서 시청될 수 있음이 예상된다(즉; "캐치-업(catch-up)" 기능). 비디오 서머리들은 기록되지 않은 프로그램의 부분의 표시를 제공하기 위해, 키 프레임 이미지들 및 클로즈드-캡션 텍스트를 사용함으로써 발달시킬 수 있다.
또한, 시청 선호도는 특정한 사용자가 텔레비전을 시청할 때마다 자동적으로 업데이트될 수 있음이 예상된다. 이것은 특정한 프로그램(및 프로그램의 카테고리)을 시청하는데 소요되는 시청자의 시간 뿐 아니라, 프로그램의 시각 및 다른 특성들(예를 들면, 액션, 밝기, 색깔)을 기초하여 달성된다. 부모적 제어(parental control)가 프로그램의 컨텐츠에 기초하여 텔레비전 프로그램들의 일부들 또는 전체 프로그램들을 필터링하도록 부가될 수 있다. 본 발명은 선정적, 폭력적 또는 속어를 갖는 텔레비전 프로그램들의 장면을 검출할 수 있고, 이러한 프로그램의 일부를 미성년자가(minors) 시청하는 것을 방지할 수 있다.
상기 시스템은, 시청자가 텔레비전을 시청하는 동안 기록된 정보들에 관해 시청자에 업데이트를 제공할 수 있음이 예상된다. 다시 말하면, 시청자들이 다른 텔레비전 채널을 시청하고 있는 동안 시청 파라메터들과 매치된 텔레비전 세그먼트가 기록되었음을 시청자에게 알려준다. 또한, 만약 사용자가 텔레비전 프로그램을 시청하고 상기 시스템이 관심 있는 프로그램을 식별한다면, 사용자는 관심 있는 프로그램의 검출을 실시간으로 통지받는 것이 예상된다. 더욱이, 상기 시스템은 시청 선호도에 기초하여 저장 공간을 관리하기 위해, 메모리의 일간/주간 자동적인 저장공간 삭제 기능을 수행하는 것이 예상된다. 양호한 실시예에서, 시스템은 또한 시간 캐치-업 기능(time catch-up function)을 포함한다. 특히, 사용자가 텔레비전 채널들을 서핑할 때, 및 관심로운 채널을 발견하였을 때, 그 사용자는 추출된 비디오 포스터(또는 요약(abstract), 트레일러(trailer))를 봄으로써 "캐치-업" 할 수 있다.
그러므로, 본 발명은 "비디오 스카우팅 시스템(video scouting system)"이 제공되고, 사람들이 특정한 타입의 텔레비전 프로그램들을 시청하기를 원하거나 또는 오직 특정 정보만을 시청하기를 원할 때, 본 발명은 시청자가 시청하기 원하는 프로그램들, 토픽들, 및 이벤트들에 대한 프로그램 가능한 희망 리스트를 구성한다.
본 발명이 시청자들의 위치에서, 시청자들에 대한 원하는 텔레비전 프로그램들 및 텔레비전 프로그램 세그먼트들/정보를 찾는 것에 관련하여 설명되었지만, 비디오 중개 서비스(video brokerage house service)가 요구된 특정한 비디오 세그먼트들의 필터링과 배달을 위해 사용될 수도 있다. 따라서, 상기 시스템은 사용자 단말에 위치하는 것이 아니라, 예를 들면, 케이블 텔레비전 공급자 단말에 위치하고 상기 시스템은 동시에 다수의 사용자를 위해 동작된다.
본 발명은 개인화된 비디오 정보 식별 시스템(personalized video information identification system)을 제공하기 위해, 비디오 스트림들 안의 단서들을 찾기 위한 비디오 세그먼테이션, 비디오 파싱(video parsing), 음성 인식(speech recognition) 및 객체 스포팅(objective spotting)과 같은 기존의 기술을 사용 및 적응시킨다
더욱이, 본 발명은 특정한 프로그램들의 관심 및 시청자의 피드백을 모니터하고 기록하기 위해 적응될 수 있음이 예상된다. 수집된 정보는 새로운 프로그램들, 새로운 생산물들, 새로운 필름들을 런칭하고 특정한 이벤트를 생산하는데 유용할 수 있다. 본 발명은 각각의 시청자의 관심을 포착할 수 있다. 보다 많은 장치가 개인에 의해 사용될 수록, 보다 양호하게 사용자의 다양한 관심에 적응될 수 있다. 본 발명은 더욱이, 사용자 변경과, 시스템이 사용자에 대하여 더 많은 정보를 취득함에 따라, 시간에 걸쳐서 변화하는 각각의 관심에 대한 정보를 모델링한다. 이 정보는 광고 및 회사 방송에 유용하다. 비디오 필터링 시스템은 비디오 분석 프로세스에 의해 텔레비전 프로그램 및 전체 영화의 브라우징 가능한 레이 아웃을 생성할 수 있다. 더욱이, 본 발명은, 사람으로 하여금 멀티미디어 표현으로서 텔레비전 프로그램의 컨텐츠를 미리 보고 듣고 하는 것을 허용한다. 이것은 비디오를 세그먼팅함으로써 이루어지고, 그것의 컨텐츠를 분석하고 원래 및 합성(synthetic) 프레임들 및 중요한 대화 세그먼트들로 구성된 브라우징 가능한 레이아웃을 사용자에게 제시함으로써 달성된다.
본 발명의 특정한 양호한 실시예는 첨부된 도면을 참조로 하여 설명되었다. 본 발명은 본 실시예에 한정되지 않고 다양한 변형 및 변형이 본 발명에 첨부된 청구항의 정신과 영역에서 벗어남 없이 당업자에 의해 효과적으로 행해질 수 있다.

Claims (27)

  1. 원하는 오디오/데이터/시각 정보를 선택하는 방법에 있어서,
    a) 시청자의 시청 선호도들을 결정하는 단계(100);
    b) 제 1 복수의 오디오/데이터/시각 신호들을 수신하는 단계(102);
    c) 상기 제 1 복수의 오디오/데이터/시각 신호들로부터, 모니터될 제 2 복수의 오디오/데이터/시각 신호들을 식별하는 단계로서, 상기 제 2 복수의 오디오/데이터/시각 신호들은 상기 제 1 복수의 오디오/데이터/시각 신호들의 서브세트(subset)인, 상기 식별하는 단계(108);
    d) 원하는 오디오/데이터/시각 정보를 식별하기 위해 상기 시청 선호도들과 상기 제 2 복수의 오디오/데이터/시각 신호들을 비교하는 단계(122)로서,
    - 상기 제 2 복수의 오디오/데이터/시각 신호들 각각에 대응하는 컨텐츠 데이터를 추출하는 단계(110);
    - 상기 추출된 컨텐츠 데이터를 인덱싱하는 단계(112); 및
    - 원하는 오디오/데이터/시각 정보를 식별하기 위해, 상기 인덱스된 컨텐츠 데이터와 상기 시청 선호도들을 비교하는 단계(114)를 더 포함하는, 상기 비교하는 단계(122);및
    e) 상기 원하는 오디오/데이터/시각 정보에 대한 액세스를 제공하는 단계(124)를 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  2. 제 1 항에 있어서,
    상기 원하는 오디오/데이터/시각 정보를 저장하는 단계(124); 및
    상기 시청자에 의해 요구됐을 때, 상기 원하는 오디오/데이터/시각 정보를 검색하는 단계(128)를 더 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 추출된 컨텐츠 데이터는 클로즈드-캡션 텍스트(closed-captioned text), EPG 데이터, 오디오 컨텐츠 정보, 시각 컨텐츠 정보 및 복사 정보(transcript information) 중 적어도 하나를 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  5. 제 4 항에 있어서,
    상기 시각 컨텐츠 정보는 컷 검출, 얼굴 검출, 텍스트 검출, 움직임 추정/세그먼테이션/검출 및 카메라 움직임 중 적어도 하나를 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  6. 제 4 항에 있어서,
    상기 오디오 컨텐츠 정보는 음성-텍스트 변환, 오디오 효과들 및 이벤트 검출, 화자 식별, 프로그램 식별, 음악 분류 및, 화자 식별을 기초로 한 대화 검출 중 적어도 하나를 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  7. 제 4 항에 있어서,
    상기 복사 정보는 자연 언어 처리 및 이해, 토론 분석(discourse analysis), 키워드 검출, 및 방송 카테고리화(categorization) 중 적어도 하나를 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  8. 제 4 항에 있어서,
    상기 클로즈드-캡션 텍스트, 상기 EPG 데이터, 상기 추출된 오디오 정보, 상기 추출된 시각 정보 및 상기 추출된 복사 정보 중 적어도 2개를 통합(integrate)하는 단계(121)를 더 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  9. 제 8 항에 있어서,
    상기 통합하는 단계는 이벤트 및 액션 검출, 스토리 세그먼테이션, 스토리 분류, 프로그램 분류 및 컨텍스트 검출 중 적어도 하나를 제공하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  10. 제 9 항에 있어서,
    상기 컨텍스트 검출은 사람의 얼굴 및 배경 중 적어도 하나의 검출을 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  11. 제 1 항에 있어서,
    상기 원하는 오디오/데이터/시각 정보는 방송 및 케이블 텔레비전 신호들, 인터넷-기반 신호들 및 데이터 신호들 중 적어도 하나를 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  12. 제 1 항에 있어서,
    상기 단계(c)는,
    상기 시청 선호도들과 연관된 상기 제 2 복수의 오디오/데이터/시각 신호들을 식별하기 위해, 상기 제 1 복수의 오디오/데이터/시각 신호들 각각에 대한 전자 프로그램밍 가이드(EPG) 데이터를 상기 시청 선호도들과 비교하는 단계(108)를 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  13. 제 1 항에 있어서,
    상기 단계(a)는,
    키패드, 키보드, 온-스크린 디스플레이(on-screen display), 원격 제어, 터치스크린, 구두 명령어들(verbal commands) 또는 터치 패드를 통해, 상기 시청자가 시청하고자 하는 오디오/데이터/시각 정보의 특성들을 입력하는 단계(100)를 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  14. 제 1 항에 있어서,
    상기 단계(a)는,
    상기 시청자가 시청하고자 하는 오디오/데이터/시각 정보의 특성들에 대응하는 시청 선호도들을 조직화(formulate)하기 위해 상기 시청자의 시청 습관들을 모니터하는 단계(101)를 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  15. 제 14 항에 있어서,
    상기 시청자가 텔레비전 방송 신호들 또는 인터넷-기반 신호들을 액세스 할 때마다 상기 시청 선호도들을 자동적으로 업데이트하는 단계(101)를 더 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  16. 제 1 항에 있어서
    상기 제 2 복수의 오디오/데이터/시각 신호들의 광고와 비광고 부분을 식별하는 단계(116)를 더 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  17. 제 1 항에 있어서
    상기 시청 선호도들과의 관련성에 따라 상기 원하는 오디오/데이터/시각 정보를 랭킹(ranking)하는 단계(123)를 더 포함하는, 오디오/데이터/시각 정보를 선택 방법.
  18. 제 1 항에 있어서,
    상기 단계(e)는,
    상기 원하는 오디오/데이터/시각 정보의 적어도 일부를 메모리에 저장하는 단계(124)를 포함하는, 원하는 오디오/데이터/시각 정보 선택 방법.
  19. 제 1 항에 있어서,
    원하는 오디오/데이터/시각 정보가 식별되었음을 상기 시청자에게 통지하는 단계(126)를 더 포함하는 원하는 오디오/데이터/시각 정보 선택 방법.
  20. 제 19 항에 있어서,
    상기 시청자는 상기 시청자가 오디오/데이터/시각 정보 신호들과 상호작용하는 동안 통지를 받는, 원하는 오디오/데이터/시각 정보 선택 방법.
  21. 제 1 항에 있어서,
    상기 방법은 복수의 시청자들에 대하여 동시에 수행되는, 원하는 오디오/데이터/시각 정보 선택 방법.
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
KR1020017009036A 1999-11-18 2000-10-26 오디오/데이터/시각 정보 선택을 위한 방법 및 장치 KR100794152B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/442,960 1999-11-18
US09/442,960 US8528019B1 (en) 1999-11-18 1999-11-18 Method and apparatus for audio/data/visual information

Publications (2)

Publication Number Publication Date
KR20010089605A KR20010089605A (ko) 2001-10-06
KR100794152B1 true KR100794152B1 (ko) 2008-01-14

Family

ID=23758881

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017009036A KR100794152B1 (ko) 1999-11-18 2000-10-26 오디오/데이터/시각 정보 선택을 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US8528019B1 (ko)
EP (1) EP1190574A2 (ko)
JP (2) JP2003514318A (ko)
KR (1) KR100794152B1 (ko)
CN (1) CN1190966C (ko)
WO (1) WO2001037465A2 (ko)

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6769128B1 (en) 1995-06-07 2004-07-27 United Video Properties, Inc. Electronic television program guide schedule system and method with data feed access
AU733993B2 (en) 1997-07-21 2001-05-31 Rovi Guides, Inc. Systems and methods for displaying and recording control interfaces
CN1867068A (zh) 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视系统及其方法
US6898762B2 (en) 1998-08-21 2005-05-24 United Video Properties, Inc. Client-server electronic program guide
US8250617B2 (en) 1999-10-29 2012-08-21 Opentv, Inc. System and method for providing multi-perspective instant replay
CN101715109A (zh) 2000-10-11 2010-05-26 联合视频制品公司 提供数据存储到点播媒体传递系统中服务器上的系统和方法
US7890374B1 (en) 2000-10-24 2011-02-15 Rovi Technologies Corporation System and method for presenting music to consumers
US7277766B1 (en) 2000-10-24 2007-10-02 Moodlogic, Inc. Method and system for analyzing digital audio files
KR20030033610A (ko) * 2001-10-24 2003-05-01 (주)누리아이씨 인터넷 콘텐츠 방송 방법 및 장치
US6859803B2 (en) 2001-11-13 2005-02-22 Koninklijke Philips Electronics N.V. Apparatus and method for program selection utilizing exclusive and inclusive metadata searches
US7861169B2 (en) 2001-11-19 2010-12-28 Ricoh Co. Ltd. Multimedia print driver dialog interfaces
US7747655B2 (en) 2001-11-19 2010-06-29 Ricoh Co. Ltd. Printable representations for time-based media
US20030167174A1 (en) * 2002-03-01 2003-09-04 Koninlijke Philips Electronics N.V. Automatic audio recorder-player and operating method therefor
CN100438615C (zh) * 2002-04-02 2008-11-26 皇家飞利浦电子股份有限公司 为视频节目提供补充信息的系统及其方法
KR20040097262A (ko) * 2002-04-02 2004-11-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 개인화된 뉴스를 제공하는 방법 및 시스템
US7457811B2 (en) * 2002-06-21 2008-11-25 Pace Plc Precipitation/dissolution of stored programs and segments
KR100462608B1 (ko) * 2002-06-21 2004-12-20 삼성전자주식회사 텔레비전에서의 채널 예약 제어 방법 및 장치
US7380265B2 (en) 2002-10-16 2008-05-27 The Directv Group, Inc. System for monitoring direct broadcast wireless signals
CN1497878B (zh) * 2002-10-16 2010-04-28 休斯电子公司 用于监视直接广播无线信号的系统和方法
KR100514735B1 (ko) * 2002-12-27 2005-09-14 삼성전자주식회사 사용자 선호의 프로그램 가이드를 위한 템플릿 확장 마크업 랭귀지(ｘｍｌ) 기반의 ｅｐｇ 전송방법 및 수신장치
US7493646B2 (en) 2003-01-30 2009-02-17 United Video Properties, Inc. Interactive television systems with digital video recording and adjustable reminders
US8077341B2 (en) 2003-09-25 2011-12-13 Ricoh Co., Ltd. Printer with audio or video receiver, recorder, and real-time content-based processing logic
US7864352B2 (en) 2003-09-25 2011-01-04 Ricoh Co. Ltd. Printer with multimedia server
JP2005108230A (ja) 2003-09-25 2005-04-21 Ricoh Co Ltd オーディオ／ビデオコンテンツ認識・処理機能内蔵印刷システム
GB2419072A (en) 2003-10-30 2006-04-12 Nokia Corp Personalisation of an information service provision
US8274666B2 (en) 2004-03-30 2012-09-25 Ricoh Co., Ltd. Projector/printer for displaying or printing of documents
US8781288B2 (en) * 2004-06-29 2014-07-15 Kyocera Corporation Digital broadcast receiving apparatus
US20080077959A1 (en) * 2004-08-02 2008-03-27 Masayuki Kirimura Broadcast Receiving Apparatus and Broadcast Receiving Method
US8370323B2 (en) * 2004-08-31 2013-02-05 Intel Corporation Providing information services related to multimodal inputs
JP4311322B2 (ja) * 2004-09-28 2009-08-12 ソニー株式会社 視聴コンテンツ提供システム及び視聴コンテンツ提供方法
KR100621179B1 (ko) * 2004-10-26 2006-09-19 삼성전자주식회사 디스플레이 장치 및 그 텍스트 정보의 처리 방법
US7567899B2 (en) 2004-12-30 2009-07-28 All Media Guide, Llc Methods and apparatus for audio recognition
US9325781B2 (en) 2005-01-31 2016-04-26 Invention Science Fund I, Llc Audio sharing
US9910341B2 (en) 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
US9489717B2 (en) 2005-01-31 2016-11-08 Invention Science Fund I, Llc Shared image device
US9451200B2 (en) 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US20090144391A1 (en) * 2007-11-30 2009-06-04 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Audio sharing
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US9621749B2 (en) 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US9819490B2 (en) 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
US7746895B2 (en) 2005-07-29 2010-06-29 Dell Products L.P. Guided discovery of media content
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
IL173463A0 (en) 2006-01-31 2006-06-11 Isaac J Labaton Method for improving the restrictiveness on access to cellular phone applications
US8843467B2 (en) 2007-05-15 2014-09-23 Samsung Electronics Co., Ltd. Method and system for providing relevant information to a user of a device in a local network
US9100723B2 (en) 2006-03-07 2015-08-04 Samsung Electronics Co., Ltd. Method and system for managing information on a video recording
US8209724B2 (en) 2007-04-25 2012-06-26 Samsung Electronics Co., Ltd. Method and system for providing access to information of potential interest to a user
US8195650B2 (en) 2007-02-28 2012-06-05 Samsung Electronics Co., Ltd. Method and system for providing information using a supplementary device
US8115869B2 (en) 2007-02-28 2012-02-14 Samsung Electronics Co., Ltd. Method and system for extracting relevant information from content metadata
US8732154B2 (en) 2007-02-28 2014-05-20 Samsung Electronics Co., Ltd. Method and system for providing sponsored information on electronic devices
US8510453B2 (en) 2007-03-21 2013-08-13 Samsung Electronics Co., Ltd. Framework for correlating content on a local network with information on an external network
US8200688B2 (en) 2006-03-07 2012-06-12 Samsung Electronics Co., Ltd. Method and system for facilitating information searching on electronic devices
US8863221B2 (en) 2006-03-07 2014-10-14 Samsung Electronics Co., Ltd. Method and system for integrating content and services among multiple networks
US7966552B2 (en) 2006-10-16 2011-06-21 Sony Corporation Trial selection of STB remote control codes
US8077263B2 (en) 2006-10-23 2011-12-13 Sony Corporation Decoding multiple remote control code sets
US7991271B2 (en) 2007-02-14 2011-08-02 Sony Corporation Transfer of metadata using video frames
US7814524B2 (en) 2007-02-14 2010-10-12 Sony Corporation Capture of configuration and service provider data via OCR
US7689613B2 (en) 2006-10-23 2010-03-30 Sony Corporation OCR input to search engine
US8935269B2 (en) 2006-12-04 2015-01-13 Samsung Electronics Co., Ltd. Method and apparatus for contextual search and query refinement on consumer electronics devices
JP5040292B2 (ja) * 2006-12-19 2012-10-03 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP2008193295A (ja) * 2007-02-02 2008-08-21 Matsushita Electric Ind Co Ltd 番組抽出方法および装置
US8763038B2 (en) 2009-01-26 2014-06-24 Sony Corporation Capture of stylized TV table data via OCR
US7801888B2 (en) 2007-03-09 2010-09-21 Microsoft Corporation Media content search results ranked by popularity
US8438589B2 (en) 2007-03-28 2013-05-07 Sony Corporation Obtaining metadata program information during channel changes
US9286385B2 (en) 2007-04-25 2016-03-15 Samsung Electronics Co., Ltd. Method and system for providing access to information of potential interest to a user
US8880529B2 (en) 2007-05-15 2014-11-04 Tivo Inc. Hierarchical tags with community-based ratings
EP2156330B1 (en) 2007-05-15 2015-03-18 TiVo Inc. Multimedia content search and recording scheduling system
US20090060468A1 (en) * 2007-08-31 2009-03-05 United Video Properties, Inc. Systems and methods for recording popular media in an interactive media delivery system
US8176068B2 (en) 2007-10-31 2012-05-08 Samsung Electronics Co., Ltd. Method and system for suggesting search queries on electronic devices
US8001561B2 (en) 2007-11-20 2011-08-16 Samsung Electronics Co., Ltd. System and method for automatically rating video content
US8332414B2 (en) 2008-07-01 2012-12-11 Samsung Electronics Co., Ltd. Method and system for prefetching internet content for video recorders
US8463053B1 (en) 2008-08-08 2013-06-11 The Research Foundation Of State University Of New York Enhanced max margin learning on multimodal data mining in a multimedia database
US8320674B2 (en) 2008-09-03 2012-11-27 Sony Corporation Text localization for image and video OCR
US8938465B2 (en) 2008-09-10 2015-01-20 Samsung Electronics Co., Ltd. Method and system for utilizing packaged content sources to identify and provide information based on contextual information
US8035656B2 (en) 2008-11-17 2011-10-11 Sony Corporation TV screen text capture
US10063934B2 (en) 2008-11-25 2018-08-28 Rovi Technologies Corporation Reducing unicast session duration with restart TV
US8620967B2 (en) 2009-06-11 2013-12-31 Rovi Technologies Corporation Managing metadata for occurrences of a recording
US20100333158A1 (en) * 2009-06-30 2010-12-30 Nortel Networks Limited Analysis of Packet-Based Video Content
US8938761B2 (en) * 2009-09-14 2015-01-20 At&T Intellectual Property I, Lp System and method of analyzing internet protocol television content credits information
US8910232B2 (en) * 2009-09-14 2014-12-09 At&T Intellectual Property I, Lp System and method of analyzing internet protocol television content for closed-captioning information
US8914829B2 (en) * 2009-09-14 2014-12-16 At&T Intellectual Property I, Lp System and method of proactively recording to a digital video recorder for data analysis
US8161071B2 (en) 2009-09-30 2012-04-17 United Video Properties, Inc. Systems and methods for audio asset storage and management
US9462318B2 (en) 2009-11-03 2016-10-04 At&T Intellectual Property I, L.P. System for media program management
US8886531B2 (en) 2010-01-13 2014-11-11 Rovi Technologies Corporation Apparatus and method for generating an audio fingerprint and using a two-stage query
CN102469361B (zh) * 2010-11-03 2014-04-16 Tcl集团股份有限公司 一种自动下载电视插曲的方法及电视机
US20120278330A1 (en) * 2011-04-28 2012-11-01 Ray Campbell Systems and methods for deducing user information from input device behavior
US20120278179A1 (en) 2011-04-28 2012-11-01 Ray Campbell Systems and methods for deducing user information from input device behavior
US10467289B2 (en) * 2011-08-02 2019-11-05 Comcast Cable Communications, Llc Segmentation of video according to narrative theme
US8805418B2 (en) 2011-12-23 2014-08-12 United Video Properties, Inc. Methods and systems for performing actions based on location-based rules
US20130227426A1 (en) * 2012-02-24 2013-08-29 Sony Corporation Customized user web-page setting techniques
JP6047915B2 (ja) * 2012-05-01 2016-12-21 ソニー株式会社 エネルギー管理装置およびエネルギー管理方法
US9786281B1 (en) * 2012-08-02 2017-10-10 Amazon Technologies, Inc. Household agent learning
JP5812958B2 (ja) * 2012-09-14 2015-11-17 三菱電機株式会社 車載端末
BR112015021758B1 (pt) * 2013-03-06 2022-11-16 Arthur J. Zito Jr Sistemas de apresentação multimídia, métodos para exibir uma apresentação multimídia, dispositivo de apresentação multimídia e hardware para apresentar estímulos perceptíveis a um espectador humano ou criatura
US8811673B1 (en) * 2013-04-18 2014-08-19 TCL Research America Inc. Intelligent TV system and method
US9432702B2 (en) * 2014-07-07 2016-08-30 TCL Research America Inc. System and method for video program recognition
GB2544106A (en) 2015-11-06 2017-05-10 Tv Control Ltd Method, system and computer program product for providing a description of a program to a user equipment
US9913001B2 (en) * 2015-12-31 2018-03-06 Nbcuniversal Media, Llc System and method for generating segmented content based on related data ranking
US10733231B2 (en) * 2016-03-22 2020-08-04 Sensormatic Electronics, LLC Method and system for modeling image of interest to users
US9965680B2 (en) 2016-03-22 2018-05-08 Sensormatic Electronics, LLC Method and system for conveying data from monitored scene via surveillance cameras
US11042587B2 (en) 2016-09-05 2021-06-22 Honor Device Co., Ltd. Performing behavior analysis on audio track data to obtain a name of an application
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
US11314214B2 (en) 2017-09-15 2022-04-26 Kohler Co. Geographic analysis of water conditions
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
KR20190056119A (ko) * 2017-11-16 2019-05-24 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR102568626B1 (ko) 2018-10-31 2023-08-22 삼성전자주식회사 전자 장치, 그 제어 방법 및 전자 시스템
WO2020139121A1 (en) * 2018-12-28 2020-07-02 Ringcentral, Inc., (A Delaware Corporation) Systems and methods for recognizing a speech of a speaker

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0854645A2 (en) * 1997-01-03 1998-07-22 Texas Instruments Incorporated Electronic television program guide system and method
US5867205A (en) * 1994-11-14 1999-02-02 Intel Corporation Method and apparatus for controlling video/audio and channel selection for a communication signal based on textual information indicative of channel contents of a signal

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012522A (en) * 1988-12-08 1991-04-30 The United States Of America As Represented By The Secretary Of The Air Force Autonomous face recognition machine
US5077607A (en) 1988-12-23 1991-12-31 Scientific-Atlanta, Inc. Cable television transaction terminal
US5038211A (en) 1989-07-05 1991-08-06 The Superguide Corporation Method and apparatus for transmitting and receiving television program information
JPH03160664A (ja) * 1989-11-20 1991-07-10 Canon Inc 画像記録表示装置
DE4106750B4 (de) 1991-03-02 2004-07-22 Deutsche Thomson-Brandt Gmbh Verfahren zur Verarbeitung von Fernsehtext- oder Teletextdaten
US5223924A (en) 1992-05-27 1993-06-29 North American Philips Corporation System and method for automatically correlating user preferences with a T.V. program information database
ATE164280T1 (de) 1992-06-29 1998-04-15 Koninkl Philips Electronics Nv Fernsehempfänger mit videotextdekoder
US5481296A (en) 1993-08-06 1996-01-02 International Business Machines Corporation Apparatus and method for selectively viewing video information
US5410344A (en) * 1993-09-22 1995-04-25 Arrowsmith Technologies, Inc. Apparatus and method of selecting video programs based on viewers' preferences
US5519780A (en) 1993-12-03 1996-05-21 Scientific-Atlanta, Inc. System and method for providing compressed digital teletext services and teletext support services
US6211912B1 (en) 1994-02-04 2001-04-03 Lucent Technologies Inc. Method for detecting camera-motion induced scene changes
DE4405020C1 (de) 1994-02-17 1995-01-26 Inst Rundfunktechnik Gmbh Verfahren zum Empfangen von in einem Fernsehsignal übertragenen Daten
US5502504A (en) 1994-04-28 1996-03-26 Prevue Networks, Inc. Video mix program guide
US5629733A (en) 1994-11-29 1997-05-13 News America Publications, Inc. Electronic television program guide schedule system and method with display and search of program listings by title
WO1997039579A1 (de) 1995-01-31 1997-10-23 Fridley Technologies Limited Verfahren zum wiedergeben von in einem fernseh- oder hörfunk-programmsignal enthaltenen zusatzinformationen
WO1997035429A1 (de) 1995-01-31 1997-09-25 Philips Electronics N.V. Fernseh- oder hörfunk-programmsignal mit zusatzinformationen
US5703655A (en) 1995-03-24 1997-12-30 U S West Technologies, Inc. Video programming retrieval using extracted closed caption data which has been partitioned and stored to facilitate a search and retrieval process
US5699125A (en) * 1995-03-31 1997-12-16 Matsushita Electric Corporation Of America Electronic television program guide for a television system having two tuners
US5760821A (en) 1995-06-07 1998-06-02 News America Publications, Inc. Electronic program guide schedule localization system and method
US5583576A (en) * 1995-09-11 1996-12-10 Oktv, Inc. Rating-dependent parental lock-out for television reception
US6002394A (en) * 1995-10-02 1999-12-14 Starsight Telecast, Inc. Systems and methods for linking television viewers with advertisers and broadcasters
JPH09148996A (ja) 1995-11-27 1997-06-06 Matsushita Electric Ind Co Ltd 放送システムとそのセンター装置及び放送受信装置
US5635989A (en) * 1996-02-13 1997-06-03 Hughes Electronics Method and apparatus for sorting and searching a television program guide
US6061056A (en) * 1996-03-04 2000-05-09 Telexis Corporation Television monitoring system with automatic selection of program material of interest and subsequent display under user control
US5809471A (en) 1996-03-07 1998-09-15 Ibm Corporation Retrieval of additional information not found in interactive TV or telephony signal by application using dynamically extracted vocabulary
US6125259A (en) * 1996-05-07 2000-09-26 Oktv, Inc. Intelligent and user friendly channel up/down control
AU3294997A (en) 1996-06-13 1998-01-07 Starsight Telecast Incorporated Method and apparatus for searching a guide using program characteristics
US5828402A (en) * 1996-06-19 1998-10-27 Canadian V-Chip Design Inc. Method and apparatus for selectively blocking audio and video signals
PT932398E (pt) 1996-06-28 2006-09-29 Ortho Mcneil Pharm Inc Utilizacao do topiramento ou dos seus derivados para a producao de um medicamento para o tratamento de disturbios bipolares maniaco- depressivos
JPH10191190A (ja) * 1996-12-25 1998-07-21 Sanyo Electric Co Ltd 受信装置
US6005565A (en) 1997-03-25 1999-12-21 Sony Corporation Integrated search of electronic program guide, internet and other information resources
GB2325537B8 (en) 1997-03-31 2000-01-31 Microsoft Corp Query-based electronic program guide
JP3772449B2 (ja) 1997-04-03 2006-05-10 ソニー株式会社 テレビジョン番組の記録再生装置および方法
US6286141B1 (en) 1997-05-22 2001-09-04 Soundview Technologies Incorporated Personal editing system
EP0986903B1 (en) 1997-06-06 2003-05-07 Thomson Consumer Electronics, Inc. System and method for sorting program guide information
JPH1146343A (ja) * 1997-07-24 1999-02-16 Matsushita Electric Ind Co Ltd 映像記録装置
DE19736385A1 (de) 1997-08-21 1999-02-25 Grundig Ag Verfahren und Schaltungsanordnung zur Auswahl von Fernsehprogrammen anhand von Videotextdaten
US6020930A (en) 1997-08-28 2000-02-01 Sony Corporation Method and apparatus for generating and displaying a broadcast system program guide
JPH11112913A (ja) 1997-10-03 1999-04-23 Sony Corp 映像情報検索システム、映像情報送出装置、映像情報検索装置及び映像情報生成方法
JPH11126206A (ja) * 1997-10-22 1999-05-11 Toshiba Corp 情報管理装置、情報管理方法及び情報管理プログラムを記録した記録媒体
US6298482B1 (en) * 1997-11-12 2001-10-02 International Business Machines Corporation System for two-way digital multimedia broadcast and interactive services
US5973683A (en) * 1997-11-24 1999-10-26 International Business Machines Corporation Dynamic regulation of television viewing content based on viewer profile and viewing history
US5973723A (en) * 1997-12-12 1999-10-26 Deluca; Michael Joseph Selective commercial detector and eliminator apparatus and method
JPH11184867A (ja) 1997-12-19 1999-07-09 Toshiba Corp 映像情報検索再生方法ならびに装置及び同方法がプログラムされ記録される記録媒体
US6173069B1 (en) * 1998-01-09 2001-01-09 Sharp Laboratories Of America, Inc. Method for adapting quantization in video coding using face detection and visual eccentricity weighting
US7185355B1 (en) * 1998-03-04 2007-02-27 United Video Properties, Inc. Program guide system with preference profiles
IL127791A (en) 1998-04-21 2003-06-24 Ibm System and method for selecting and accessing portions of information stream(s) from a television
US6100916A (en) * 1998-05-20 2000-08-08 Lucent Technologies Inc. System and method for subscriber controlled signal blocking
US6614987B1 (en) * 1998-06-12 2003-09-02 Metabyte, Inc. Television program recording with user preference determination
US7254823B2 (en) * 1998-08-21 2007-08-07 United Video Properties, Inc. Apparatus and method for constrained selection of favorite channels
US6493744B1 (en) * 1999-08-16 2002-12-10 International Business Machines Corporation Automatic rating and filtering of data files for objectionable content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867205A (en) * 1994-11-14 1999-02-02 Intel Corporation Method and apparatus for controlling video/audio and channel selection for a communication signal based on textual information indicative of channel contents of a signal
EP0854645A2 (en) * 1997-01-03 1998-07-22 Texas Instruments Incorporated Electronic television program guide system and method

Also Published As

Publication number Publication date
WO2001037465A2 (en) 2001-05-25
CN1190966C (zh) 2005-02-23
JP2011086315A (ja) 2011-04-28
EP1190574A2 (en) 2002-03-27
US8528019B1 (en) 2013-09-03
CN1408178A (zh) 2003-04-02
WO2001037465A3 (en) 2002-01-10
KR20010089605A (ko) 2001-10-06
JP2003514318A (ja) 2003-04-15

Similar Documents

Publication Publication Date Title
KR100794152B1 (ko) 오디오/데이터/시각 정보 선택을 위한 방법 및 장치
KR100965457B1 (ko) 퍼스널 프로파일에 기초한 콘텐츠의 증가
Dimitrova et al. Applications of video-content analysis and retrieval
KR100915847B1 (ko) 스트리밍 비디오 북마크들
KR101109023B1 (ko) 콘텐트 분석을 사용하여 뮤직 비디오를 요약하는 방법 및 장치
KR100711948B1 (ko) 개인화된 비디오 분류 및 검색 시스템
US20030093794A1 (en) Method and system for personal information retrieval, update and presentation
US20030131362A1 (en) Method and apparatus for multimodal story segmentation for linking multimedia content
US20050028194A1 (en) Personalized news retrieval system
US20030117428A1 (en) Visual summary of audio-visual program features
US20030093580A1 (en) Method and system for information alerts
US20030101104A1 (en) System and method for retrieving information related to targeted subjects
KR20040066897A (ko) 비디오 프로그램에서 사람에 관한 정보를 검색하기 위한시스템 및 방법
Dimitrova et al. Selective video content analysis and filtering
Dimitrova et al. PNRS: personalized news retrieval system

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20130107

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140107

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150106

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151230

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170118

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180105

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190108

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20191231

Year of fee payment: 13