KR20010041194A - 개인화된 비디오 분류 및 검색 시스템 - Google Patents

개인화된 비디오 분류 및 검색 시스템 Download PDF

Info

Publication number
KR20010041194A
KR20010041194A KR1020007009264A KR20007009264A KR20010041194A KR 20010041194 A KR20010041194 A KR 20010041194A KR 1020007009264 A KR1020007009264 A KR 1020007009264A KR 20007009264 A KR20007009264 A KR 20007009264A KR 20010041194 A KR20010041194 A KR 20010041194A
Authority
KR
South Korea
Prior art keywords
story
segment
segments
user
video
Prior art date
Application number
KR1020007009264A
Other languages
English (en)
Other versions
KR100711948B1 (ko
Inventor
얀에치. 엘렌바아스
네벤카 디미트로바
토마스 맥게에
마르크 심프손
약쿠엘린에이. 마르티노
모하메드 압델모트탈렙
마르조리에 가레트
카롤린 람세이
란지트 데사이
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20010041194A publication Critical patent/KR20010041194A/ko
Application granted granted Critical
Publication of KR100711948B1 publication Critical patent/KR100711948B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

비디오 검색 시스템은 유저가 비디오 스트림으로부터 관심 있는 스토리를 신속하고 용이하게 선택하여 수신할 수 있도록 한다. 비디오 검색 시스템은 스토리를 분류하여, 각 유저의 현재 프레퍼런스와 매치하는 선택된 스토리의 샘플을 전달한다. 유저의 프레퍼런스는 특정한 방송망, 사람, 스토리 주제, 키워드 등을 포함할 수 있다. 각 선택된 스토리의 키 프레임들은 연속적으로 디스플레이 되며, 유저가 관심 있는 프레임을 볼 때, 유저는 더 상세하게 보기 위하여 키 프레임과 연관된 스토리를 선택한다. 본 발명은 특히 타겟화된 뉴스 검색을 위해 적합하다. 양호한 실시예에서, 뉴스 스토리는 저장되고, 연관된 키 프레임에 기초하여 상세히 보기 위한 새로운 스토리의 선택은 선택된 뉴스 스토리의 재생을 수행한다. 본 발명의 원리는 또한 유저가 다른 형태의 방송의 직접적인 서치를 수행하도록 한다. 예를 들면, 유저는 직접적인 채널 서핑과 유사한 유저의 현재 프레퍼런스와 일치하는 방송의 샘플을 나타내는 자동화된 스캔을 개시할 수 있다.

Description

개인화된 비디오 분류 및 검색 시스템{Personalized video classification and retrieval system}
고객들은 증가하는 정보 공급 및 오락 선택을 제공받는다. 수 백 개의 텔레비전 채널들이 방송, 케이블 및 위성 통신 시스템을 통해 고객에게 이용 가능하다. 정보의 공급이 증가하기 때문에, 고객이 특정한 정보나 특별한 흥미를 제공하는 정보원을 효율적으로 선택하는데 어려움이 많아지게 된다. 예를 들어, 고객이 12개의 텔레비전 채널중에서 이 고객에게 관심 있는 주제에 대하여 랜덤하게 서치("채널 서프(surf)")한다고 가정한다. 고객에게 특별한 관심이 있는 주제는 대중적인 주제가 아니며, 오직 하나 또는 두 개의 방송자만이 상기 주제를 짧은 기간 동안만 다루는 스토리를 방송하게 된다. 고객이 미리 권고 받지 않는다면, 관심을 갖고 있는 고객은 관심 있는 스토리가 방송될 때 특정한 방송자의 채널로 턴시킬 수 없게 될 것이다. 반대로, 관심 있는 주가가 매우 대중적인 것이라면, 많은 방송자들이 주제를 다루는 스토리를 방송하고, 채널 서핑 고객은 과잉 정보로 충만될 것이다.
자동화된 스캐닝은 일반적으로 라디오 방송에서 이용되며, 텔레비전 방송에서는 일반적으로 다소 적게 이용된다. 전통적으로, 이러한 스캔은 각 방송 채널의 단 기간 샘플을 제공한다. 유저가 채널을 선택하면, 튜너는 상기 채널로 턴되어 남아있게 되는데, 그렇지 않으면 스캔은 다음에 발견된 채널로 진행한다. 그러나, 상기 스캔은 지시되거나 선택되지 않는다. 예를 들면, 유저가 라디오의 뉴스국이나 또는 텔레비전의 스포츠 쇼를 특별하게 스캔하기 위해서 제공된 어떠한 보조물도 없다. 각 발견된 채널은 유저의 현재 관심과 상관없이 유저에게 샘플되어 나타날 수 있다.
컴퓨터와 텔레비전의 지속적인 집적화로 특정한 관심의 정보가 고객에게 제공될 기회가 주어진다. 예를 들면, 많은 웹사이트가 청각-시각과의 링크를 갖는 뉴스 요약 및 현재의 뉴스 스토리에 대응하는 멀티미디어 세그먼트를 제공한다. 상기 뉴스 요약의 분류 및 표현은 각 고객에 대하여 최적화될 수 있다. 예를 들면, 어떤 고객은 우선 날씨, 다음에 세계 뉴스, 이어서 로컬 뉴스를 보기를 원할 수 있고, 반면 다른 고객은 스포츠 스토리와 투자 기사만을 보기를 원할 수 있다. 이러한 시스템의 장점은 유저에게 나타나게 되는 뉴스의 최적화이고, 누군가가 요약을 준비해야될 필요가 있으며, 스토리가 볼만한 가치가 있는 것인가의 여부를 판단하기 위하여 고객이 요약을 읽어야될 필요가 있는 단점이 있다.
MITRE사의 BNE(Broadcast News Editor) 및 BNN(Broadcast News Navigator)(Andrew Merlino, Daryl Morey, and Mark Maybury, MITRE Corporation, Berford MA, Broadcast News Navigation using Story Segmentation, ACM Multimedia Conference Proceedings, 1997, pp. 381-389)에 의해 명시된 바와 같이, 자동화된 스토리 구획 및 식별의 분야에서 지속적인 진보가 있어왔다. BNE를 이용하여, 뉴스캐스트는 각 스토리 세그먼트로 자동적으로 분할되고, 세그먼트와 연관된 자막 텍스트의 제 1 라인이 각 스토리의 요약으로 이용된다. 자막 텍스트나 오디오로 된 키워드는 각 스토리 세그먼트마다 결정된다. BNN은 고객이 서치 워드를 기입하도록 하는데, BNN은 서치 워드를 매치시킨 각 스토리 세그먼트 내의 키워드의 수로 스토리 세그먼트를 분류한다. 매칭하는 키워드의 발생 빈도에 기초하여, 유저는 관심 있는 스토리를 선택한다. 유사한 서치 및 검색 기술이 기술적으로 공통된다. 예를 들면, 종래의 텍스트 서칭 기술은 사람이 특정한 쇼 제목, 특정한 공연자, 특정한 타입의 쇼 등에 대하여 서치할 수 있도록 컴퓨터 기초 텔레비전 안내에 적용될 수 있었다.
기존의 서치 및 검색 기술의 단점은 명확한 서치에 기초하여 다른 것들 중에 대응하는 선택 및 명확한 서치 작업을 필요로 하는데 있다. 그러나, 종종 유저는 마음속으로 명확한 서치 주제를 갖지 못한다. 기존의 채널-서핑 시나리오에서는, 유저가 명확한 서치 주제를 갖지 못한다. 채널 서핑 유저는 특별하게 특정한 주제를 서칭하는 것보다는 관심 있는 다수의 주제들중 소정의 주제에 대하여 다양한 채널들을 랜덤하게 샘플한다. 즉, 예를 들면, 유저는 마음속에 특정한 주제없이 랜덤한 샘플링을 개시할 수 있으며, 샘플링 시간에 상기 채널에 나타나는 주제에 기초하여 샘플된 많은 채널중 하나를 선택한다. 다른 시나리오에서, 유저는 독서나 요리 같은 다른 작업을 수행하면서 "배경" 모드에서 텔레비전을 모니터링 할 수 있다. 관심 있는 주제가 나타날 때, 유저는 텔레비전에 관심 있는 그의 초점을 재지정하며, 보다 적은 관심 있는 주제가 나타나면 그의 관심을 다른 작업으로 돌린다.
본 발명은 통신 및 정보 처리 분야에 관한 것으로, 특히 비디오 분류 및 검색 분야에 관한 것이다.
도 1은 본 발명에 따른 개인화된 비디오 서치 시스템의 일례를 도시한 블록도.
도 2a는 뉴스 방송의 일례의 비디오 스트림(200)을 도시한 도면.
도 2b는 본 발명에 따른 비디오 스트림의 스토리 세그먼트로부터 키 프레임을 추출한 것을 도시하는 도면.
도 3은 본 발명에 따른 비디오 검색 시스템에 대한 일례의 유저 인터페이스를 도시하는 도면.
도 4는 본 발명에 따른 고객 제품(400)의 일례를 도시한 블록도.
본 발명의 목적은, 유저가 관심 있는 스토리를 신속하고 용이하게 선택하고 수신할 수 있도록 하는 뉴스 검색 시스템을 제공하는데 있다. 본 발명의 다른 목적은 유저에게 잠재적인 관심있는 방송을 식별하고, 상기 방송의 랜덤하거나 또는 계통적인 샘플링을 다음의 선택을 위해 유저에게 제공하는데 있다.
상기 목적들 및 다른 목적들은 새로운 스토리를 특징화하고 각 유저의 현재의 프레퍼런스(preference)를 매치시키는 선택된 뉴스 스토리의 샘플을 전달하는 시스템을 제공하여 달성된다. 유저의 프레퍼런스는 특정한 방송망, 앵커, 스토리 주제, 키워드 등을 포함할 수 있다. 각 선택된 스토리의 키 프레임들은 연속적으로 디스플레이되며, 유저가 관심있는 프레임을 볼 때, 유저는 더 상세하게 보기 위하여 키 프레임과 연관된 스토리를 선택한다. 양호한 실시예에서, 뉴스 스토리는 저장되고, 상세히 보기 위한 새로운 스토리의 선택은 선택된 뉴스 스토리의 재생을 수행한다.
본 발명이 특히 타겟화된 뉴스 검색에 적합하지만, 본 발명의 원리는 또한 유저가 다른 형태의 방송의 직접적인 서치를 수행하도록 한다. 예를 들면, 유저는 직접적인 채널 서핑과 유사한 유저의 현재 프레퍼런스와 일치하는 방송의 샘플을 나타내는 자동화된 스캔을 개시할 수 있다.
도 1은 본 발명에 따라 개인화된 비디오 서치 시스템의 일례의 블록도를 예시한다. 비디오 검색 시스템은 비디오 스트림의 각 세그먼트를 분류하는 분류 시스템(100) 및 하나 이상의 유저 프레퍼런스와 매치하는 세그먼트를 선택하여 디스플레이하는 검색 시스템(150)으로 구성된다. 비디오 검색 시스템은 예를 들면 텔레비전 튜너 또는 위성 수신기 같은 방송 채널 선택기(105)로부터 비디오 스트림(101)을 수신한다. 비디오 스트림은 디지털 또는 아날로그 형태일 수 있으며, 방송은 포인트 투 포인트 통신을 포함한 비디오 스트림을 통신하기 위해 이용되는 소정의 형태 또는 매체일 수 있다. 본 명세서에 제시된 원리를 다른 비디오 서치 애플리케이션으로 확장할 수 있음이 당 기술에 숙련된 지식을 가진 자들에게 이해될 수 있지만, 이해를 쉽고 명확히 하기 위하여, 본 명세서에 제시된 예시적 비디오 서치 시스템이 유저 프레퍼런스의 세트에 따르는 뉴스 스토리에 대한 서치 시스템으로 제시된다.
도 1의 예시적 분류 시스템(100)은 스토리 세그먼트 식별기(110), 분류기(120) 및 시각적 특성화기(130)를 포함한다. 스토리 세그먼트 식별기(110)는 비디오 스트림(101)을 처리하고, 비디오 스트림(101)의 분리 세그먼트(111)를 식별한다. 예시적 내용에서, 비디오 스트림(101)은 뉴스 방송에 대응하고, 광고 또는 상업용으로 확산되는 다중 뉴스 스토리를 포함한다. 스토리 세그먼트 식별기(110)는 각 분산 스토리 세그먼트(111)를 비디오 스트림(101)으로부터 저장 장치(115)로 카피하거나, 또는 비디오 스트림(101)의 카피상의 각 분산 스토리 세그먼트(111)의 처음과 끝을 식별하는 위치 파라미터의 세트를 형성함으로써 비디오 스트림(101)을 새로운 스토리 세그먼트(111)로 분할한다. 점선(106)으로 예시된 바와 같이, 양호한 실시예에서, 비디오 스트림(101)은 비디오 테이프 레코더, 레이저 디스크, DVD, DVR, 컴퓨터 파일 시스템 등의 매체상의 세그먼트(111)의 위치에 기초하여 세그먼트(111)의 재생을 허용하는 저장 장치(115)에 저장된다. 이해를 쉽게 하기 위하여, 본 발명은 저장 장치(115)상에 저장된 스토리 세그먼트(111)를 갖는 것으로 나타난다. 당 기술에 숙련된 지식을 가진 자들에게 명백한 바와 같이, 이것은 전체 비디오 스트림(101)을 기록하며 비디오 스트림(101)에 대한 각 스토리 세그먼트(111)를 인덱싱하는 것과 같다.
스토리 세그먼트(111)는 다양한 기술들을 이용하여 식별된다. 기존의 뉴스 방송에는 특히 스토리 세그먼테이션에 적합한 공통 포맷이 따른다. 도 2a는 뉴스 방송의 일례의 비디오 스트림(200)을 예시한다. 서문(201) 후, 뉴스 보도자, 즉 앵커가 출현해서(211), 제 1 뉴스 스토리 세그먼트(221)를 소개한다. 제 1 뉴스 스토리 세그먼트(221)가 완료된 후, 앵커는 다음 스토리 세그먼트(222)를 소개하기 위하여 다시 출현한다(222). 스토리 세그먼트(222)가 완료된 후, 광고 방송(228)을 위해 커트한다(218). 광고 방송(228) 후, 앵커는 다시 출현해서(213), 다음 스토리 세그먼트(223)를 소개한다. 방송 광고로 배포된 상기 앵커 스토리의 시퀀스는 뉴스 방송이 끝날 때까지 반복된다.
일반적으로 동일하게 스테이지된 장소에서의 앵커의 반복된 출현(211-214)은 새로운 세그먼트의 처음과 기존 뉴스 세그먼트 또는 광고 방송의 끝을 명확하게 식별하는 작용을 한다. 기술은 일반적으로 예컨대 광고 방송이 나타날 때 사운드를 소음시키는 장치에서 이용되는 바와 같이 비디오 스트림에서의 광고 방송을 식별하기 위하여 이용된다. 광고 방송(228)에 대한 커트(218)는 또한 앵커의 반복된 출현을 포함할 수 있지만, 광고 방송(228)의 발생은 새로운 뉴스 세그먼트의 소개보다는 커트(218)에 따른 출현을 식별하는 작용을 한다. 앵커는 스토리 세그먼트(221-224)의 방송중에 출현하지만, 대부분의 방송자는 스토리 소개를 위해 하나의 스테이지된 장소 및, 광고 방송 후 대화 샷(shot) 또는 반복된 출현을 위해 다르게 스테이지된 출현을 이용한다. 예를 들면, 앵커는 스토리 소개를 위해 뉴스데스크에 않아 있는 것으로 도시되며, 뉴스캐스터의 다음 영상은 영상에서는 뉴스데스크 없이 클로즈업된다. 즉, 앵커는 야외 리포터와 대화할 때 분할 스크린상에서 스토리를 소개하기 위해 전체 화면에 나타난다. 즉, 앵커 샷은 스토리 및 스토리에 프로파일 된 것을 소개하기 위해 전체 얼굴이 잡힌다. 특징적인 스토리 소개 영상이 식별되면, 기술적으로 일반화된 영상 매칭 기술이 스토리 세그먼테이션 처리를 자동화하기 위해 이용될 수 있다. 자동화된 스토리 세그먼테이션을 제공하는 스토리 세그먼테이션 브레이크를 갖고 있지 않은 상황에서, 수동 또는 반자동 기술이 또한 이용될 수 있다. 또한, MPEG 같은 표준이 최적화가능한 비디오 압축 및 스플라이싱을 위해 개발됨에 따라, 비디오 스트림은 스트림 내의 독립된 세그먼트의 처음과 끝을 식별하는 명시된 마커를 포함할 수 있다.
또한, 비디오 스트림과 오디오 스트림(230)이 연관되고, 대부분의 경우에, 자막 스트림(240)이 오디오 스트림(230)에 대응한다. 도 2a의 각 스토리 세그먼트(221-224)는 연관된 오디오 세그먼트(231-234) 및 가능한 자막 텍스트(241-244)를 갖는다. 오디오 세그먼트(231-234)는 비디오 세그먼트와 동시에 발생하며, 반드시 각 스토리 세그먼트(221-224)와 같은 시간 간격을 소비하지는 않는다. 스토리 세그먼트 식별기(110)는 또한 각 오디오 세그먼트(231-234)에 대응하는 텍스트 세그먼트(241-244)를 생성하는 음성 인식 장치를 포함한다.
오디오 세그먼트의 복사와 더불어, 텍스트 세그먼트(241-244)도 또한 다른 소스로부터의 텍스트를 포함한다. 예를 들면, 비 뉴스 방송에서, 텔레비전 가이드는 각 스토리의 일람표, 등장 인물의 리스트, 시청률 등을 제공하는 것이 가능하다. 뉴스 방송에서, 온-라인 가이드는 헤드라인 리스트, 뉴스캐스터의 리스트, 방송에 참여한 회사나 사람의 리스트를 제공하는 것이 가능하다. 또한, 각 방송 및 각 스토리 세그먼트는 각 스토리를 소개하는 각 앵커뿐만 아니라 "ABC", "NBC", "CNN" 같은 방송 채널 선택기(105)에 의해 모니터 되는 방송 채널을 표시하는 문자 주석과 연관될 수 있다. 앵커의 이름은 영상 인식 기술에 기초하여 자동으로 결정되거나 또는 수동으로 결정될 수 있다. 다른 주석들은 방송 시간, 각 스토리의 장소 등을 포함할 수 있다. 본 발명의 바람직한 실시예에서, 상기 텍스트 포맷된 정보 세그먼트들 각각은 그 대응하는 스토리 세그먼트와 연관될 수 있다. 텔레텍스트 포맷된 데이터는 또한 텍스트 세그먼트(241-244)에 포함될 수 있다.
도 2의 스토리 세그먼트(221-224), 오디오 세그먼트(231-234) 및 텍스트 세그먼트(241-244)는 도 1의 스토리 세그먼트 식별기(110)로부터의 오디오 세그먼트(112) 및 텍스트 세그먼트에 대응하며, 비디오(228), 오디오(238) 및 텍스트(248) 세그먼트는 광고 방송에 대응한다.
도 2b는 본 발명의 한 양태에 따른 비디오 스트림의 스토리 세그먼트로부터 키 프레임의 추출을 예시한다. 스토리 세그먼트(221)는 다수의 장면(scene; 251-253)을 포함한다. 예를 들면, 스토리 세그먼트(221)의 제 1 장면(251)은 스토리 세그먼트(221)를 소개하는 앵커의 영상(211)에 대응한다. 다음 장면(251)은 스토리 등을 보도하는 원격 카메라로부터의 영상일 수 있다. 각 장면(251, 252, 253)의 제 1 프레임(261, 271, 281)은 스토리(221)와 연관된 키 프레임(291, 292, 293)의 세트를 형성하고, 키 프레임은 스토리 세그먼트(221)의 그림 요약을 형성한다. 도 2b의 키 프레임(291, 292, 293)은 도 1의 스토리 세그먼트 식별기로부터의 키 프레임(114)에 대응한다.
각 장면의 제 1 프레임은 프레임들간의 차이에 기초하여 식별될 수 있다. 앵커가 스토리의 소개중에 이동하면, 예컨대 시각차 만이 프레임마다 표시될 수 있다. 뉴스데스크 또는 뉴스 룸 배경에 대응하는 영상의 영역은 실질적으로 프레임마다 변화하지 않는다. 예컨대, 원격 카메라로의 스위칭에 의해 장면 변화가 일어나면, 실질적으로 전체 영상은 변화한다. 다수의 영상 압축 또는 변환 구조는 영상의 시퀀스를 다른 프레임의 시퀀스로서 기억 또는 전송하는 기능을 제공한다. 차이가 많다면, 뉴스 프레임은 일반적으로 기준 프레임의 시퀀스로서 직접 인코드 되고, 다음 프레임은 상기 기준 프레임과의 차로서 인코드 된다. 도 2b는 각 장면(251-253)에서의 각 프레임 F의 상대 크기로 상기 구조를 예시한다. 각 장면(251, 252, 253)의 제 1 프레임(261, 271, 281)은 상당한 양의 정보를 포함한 기준 프레임으로 인코드 되거나, 또는 이들의 이전 프레임으로부터의 상당한 양의 차를 포함한 다른 프레임으로 인코드 된다. 장면의 변화 후, 다음 프레임은 프레임 내의 객체의 이동에 의한 최소 변화나 카메라 앵글 또는 확대로의 변화와 함께 전체 장면을 반영하면 작다. 각 프레임에 포함된 정보량은 한 프레임에서 다음 프레임으로의 변화에 직접 관련된다. MPEG 압축 구조에서, 예를 들면 영상은 한 프레임에서 다음 프레임으로의 랜덤한 변화량에 밀접하게 관련된 크기를 갖는 각 프레임의 인코딩을 생성하는 이산 코사인 변환(DCT)을 이용하여 변환된다. 즉, 예를 들면 프레임(262, 263, 264)은 실질적으로 프레임(261) 보다 작게 도시되었는데, 그 이유는 이들이 장면 변화에 대응하는 프레임인 프레임(261) 보다 적은 정보를 포함하기 때문이다. 따라서, 본 발명의 양호한 실시예에서, 키 프레임(291, 292, 293)은 세그먼트(221) 내의 최대 정보(261, 271, 281)를 포함한 프레임에 대응한다. 키 프레임을 선택하는 다른 기술은 당업자에게는 자명한 것이다. 예를 들면, 한 기술은 각 장면의 중심에서 프레임을 선택하거나, 또는 예컨대 최소 제곱 결정 등을 이용하여 장면에서의 모든 다른 프레임으로부터 최소 차를 갖는 프레임을 선택한다. 스토리 세그먼테이션의 경우에, 수동 및 반자동 기술이 또한 키 프레임을 선택하기 위해 이용되며, 이를 합성한 것이 각 스토리 세그먼트의 그림 요약을 형성한다. 또한, 스토리 세그먼테이션의 경우에서와 같이, 차후의 인코딩 표준은 각 스토리 세그먼트 내의 상기 키 프레임의 직접 표시를 포함할 수 있다.
분류기(120)는 도 1의 각 스토리 세그먼트(111)를 특징지운다. 양호한 실시예에서, 분류기(120)는 수동 또는 반자동 기술이 또한 이용될 수 있지만 자동으로 특징을 부여한다. 양호한 실시예에서의 특징의 주요 수단은 세그먼트 식별기(110)로부터의 텍스트 세그먼트(113)에 기초한다. 텍스트 세그먼트(113)가 방송 채널 및 앵커의 이름 같은 주석을 포함하면, 상기 주석은 "방송자" 및 "앵커" 캐터고리에 대응하는 스토리 세그먼트를 식별하기 위해 이용된다. 텍스트 세그먼트(113)가 스토리 세그먼트의 복사 또는 요약이면, "희생자", "경찰", "범죄", "피고" 같은 키워드가 "범죄"의 주제하에서 새로운 스토리를 특징화하기 위해 이용된다. ""민주주의자", "공화주의자", "집", "의회", "장관" 같은 키워드는 "정치"의 주제하에서 새로운 스토리를 특징화하기 위해 이용된다. 보조 캐터고리화는 또한 "홈런"이 캐터고리 "스포츠"하의 보조 캐터고리 "야구"로서 스토리를 특징화하도록 정의되며, 반면 "터치 다운"은 동일한 캐터고리 "스포츠"하의 보조 캐터고리 "미식축구" 로서 스토리를 특징화한다. 마찬가지로, "클린턴", "빌 게이츠", "존 웨인" 같은 특정한 이름은 각각 "정치", "컴퓨터", "오락" 같은 캐터고리 스토리로 이용된다. 스토리 세그먼트는 다중 캐터고리를 갖을 수 있는데, 예를 들면 "빌 게이츠"는 "컴퓨터" 및 "재정" 모두로서 스토리를 캐터고리화 하기 위해 이용될 수 있다. 마찬가지로, 동일한 스토리에서 "피고" 및 "민주주의자"가 있으면, 스토리를 "범죄", "정치" 모두로서 캐터고리화 시키게 된다. 같은 방식으로, 오디오 세그먼트(112)는 캐터고리화를 위해 이용된다. 간접적인 방식으로, 오디오 세그먼트(112)는 텍스트와 텍스트에 적용되는 캐터고리로 전환된다. 직접적인 방식으로, 오디오 세그먼트(112)는 "코미디", "폭력", "축제" 같은 적절한 특징화를 결정하기 위하여 웃음, 분노, 포격, 환호 같은 사운드로 분석된다.
선택적으로, 시각적 특징화기(130)는 그 시각적 콘텐트에 기초하여 스토리 세그먼트(111)를 특징화한다. 시각적 특징화기(130)는 시각적 인식 기술에 기초하여 스토리 세그먼트에 나타나는 사람을 식별하기 위해서, 또는 영상 배경 정보의 분석에 기초하여 주제를 식별하기 위해 이용된다. 예를 들면, 시각적 특징화기(130)는 주석화 가치가 있는 사람의 라이브러리를 포함한다. 시각적 특징화기(130)는 단일 또는 지배적인 그림을 포함한 영상을 식별하고, 상기 영상들은 라이브러리 내의 영상과 비교된다. 시각적 특징화기(130)는 또한 콘텐트 장면과 이와 연관된 주제 캐터고리의 라이브러리를 포함할 수 있다. 예를 들면, 등압선을 갖는 맵에 사람을 포함한 영상은 "날씨"로서 특징적으로 주제를 식별할 수 있다. 마찬가지로, 영상 처리 기술은 "실내" 또는 "실외", "도시", "지방" 또는 "바다" 장소 등을 영상으로 특징화시키기 위해 이용될 수 있다. 상기 시각적 특징화(131)는 각 스토리 세그먼트(111)와 연관된 텍스트(113) 및 오디오(112)로 형성된 캐터고리화를 부가, 변경 또는 공급하기 위해 분류기(120)에 제공된다. 예를 들면, 스토리 세그먼트(111) 내의 연기의 출현은 오디오 세그먼트(112) 내의 사이렌 사운드의 특징을 "경찰" 보다는 "화재"로서 개정하기 위해 이용될 수 있다.
시각적 특징화기(130)는 또한 키 프레임을 우선화시키기 위해 이용될 수 있다. 뉴스캐스트는 각 새로운 장면의 선택에 기초하여 수 십개 또는 수 백개의 키 프레임을 갖을 수 있다. 양호한 실시예에서, 키 프레임의 수는 다른 것 보다 많은 정보를 갖을 수 있는 상기 영상을 선택함으로써 감소된다. 소정의 영상 콘텐트는 중요한 콘텐트를 갖는 영상의 표시이다. 예를 들면, 사람의 이름은 종종 사람이 우선 뉴스캐스트중에 소개될 때 사람의 영상 아래에 디스플레이 된다. 이러한 사람과 텍스트의 합성은 일반적으로 스토리 세그먼트(111)에 관한 중요한 정보를 전달한다. 마찬가지로, 사람의 클로즈업 또는 작은 그룹의 사람들이 일반적으로 먼 거리 장면 또는 큰 그룹의 사람의 장면보다는 더 많은 정보를 제공한다. 다수의 영상 분석 기술들이 통상 사진, 살색, 텍스트 및 영상에서의 다른 분별 특성을 인식하기 위해 이용된다. 양호한 실시예에서, 키 프레임은 장면의 연대 같은 다른 단서와 함께 상기 영상 콘텐트 분석에 의해 우선화된다. 일반적으로, 더 중요한 장면은 보다 중요한 장면 보다 스토리 세그먼트(111)에 빨리 디스플레이 된다. 키 프레임의 우선화는 또한 우선 순위대로 주어진 수의 프레임을 선택함으로써, 비디오 스트림(101)용 콘텐트의 시각적 테이블과 함께 스토리 세그먼트(111)용 콘텐트의 시각적 테이블을 생성하기 위해 이용된다.
분류 시스템(100)은 특징화의 세트, 즉 각 스토리 세그먼트(111)의 분류(121)를 분류기(120)로부터 및, 각 스토리 세그먼트(111)용 키 프레임(114)의 세트를 스토리 세그먼트 식별기(110)로부터 검색 시스템(150)으로 공급한다. 분류기(121)는 다양한 형태로 제공될 수 있다. "방송자", "앵커", "시간", "장소" 및 "주제" 같은 미리 정의된 캐터고리는 양호한 실시예에서 다중 엔트리를 허용하는 "장소" 및 "주제" 같은 소정의 캐터고리로 제공된다. 미리 정의된 캐터고리와 연관하여 이용되는 다른 분류 방법은 스토리 세그먼트(111)에서 언급된 사람 또는 조직의 리스트 또는 선택 키워드의 히스토그램이다. 분류 시스템(100)에서 이용되는 분류(121)는 검색 시스템(150)의 필터(160)에서 이용된 필터링 시스템과 반드시 동일할 필요는 없지만 일관되거나 호환가능해야 한다. 당 기술에 숙련된 지식을 가진 자들에게는 명백한 바와 같이, 분류 트랜슬레이터가 분류(121) 또는 분류(121)의 일부를 필터(160)에서 이용되는 필터링 시스템과 호환가능한 형태로 전환하기 위하여 분류 시스템(100)과 검색 시스템(150) 사이에 부가될 수 있다. 상기 트랜슬레이션은 자동, 수동 또는 반자동일 수 있다. 이해를 용이하게 하기 위하여, 본 명세서에서는 분류 시스템(100)에 의한 각 스토리 세그먼트(111)의 분류(121)가 검색 시스템(150)의 필터(160)와 호환가능한 것으로 가정한다.
검색 시스템(150)의 필터(160)는 스토리 세그먼트(111) 각각의 분류(121)에 기초하여 유저 프레퍼런스(191)의 세트와 일치하는 스토리 세그먼트(111)를 식별한다. 본 발명의 양호한 실시예에서, 유저는 유저 입력의 세트를 필터(160)의 필터링 시스템과 호환가능하며 분류(121)와 호환가능한 프레퍼런스(191)로 인코드 하는 프로파일러(190)를 제공받는다. 예를 들면, 분류(121)는 방송 채널 또는 앵커의 식별을 포함하며, 프로파일러(190)는 필터(160)에 의한 포함 또는 배제를 위한 특정 채널 또는 앵커를 지정하는 옵션을 유저에게 제공한다. 양호한 실시예에서, 프로파일러(190)는 "순간적인" 프레퍼런스와 함께 "일정한" 프레퍼런스를 모두 포함하여, 전체 프레퍼런스의 세트를 유지하면서 유저 마인드의 현재 상태에 따르는 상기 프레퍼런스를 유저가 용이하게 변경시키도록 할 수 있다. 일시적 세트에서는, 예를 들면 "스포츠" 및 "날씨" 같은 주제의 선택이 있을 수 있다. 일정한 세트에서는, 예를 들면 앵커가 관심 있는 현재 주제를 어드레싱하는 가의 여부와 상관없이 배제하기 위한 앵커의 리스트가 있을 수 있다. 마찬가지로, 일정한 세트는 순간적인 선택에 상관없이 포함될 수 있는 "야구" 또는 "주식 시장" 같은 주제를 포함할 수 있다. 서치를 위해 이용되는 일반 기술과 같이, 프로파일러(190)는 결합 및 분리 등을 이용하여 기준의 조합을 가능하게 한다. 예를 들면, 유저는 회사명의 지정된 리스트와 매치하는 하나 이상의 워드를 포함한 "주식 시장" 스토리에 지속적인 관심을 지정한다.
필터(160)는 유저 프레퍼런스(191)와 매치하는 분류(121)를 갖는 스토리 세그먼트(111) 각각을 식별한다. 매칭의 정도, 즉 필터의 조밀도는 유저에 의해 제어가능하다. 극단적으로, 유저는 유저의 프레퍼런스(191)중 소정의 것과 매치하는 모든 스토리 세그먼트(111)를 요구할 수 있으며, 다른 극단으로서, 유저는 유저의 프레퍼런스(191) 모두와 일치하는 모든 스토리 세그먼트(111)를 요구할 수 있다. 유저는 3개의 주제 영역중 적어도 2개와 매치하는 모든 스토리 세그먼트(111)를 요구할 수 있으며, 또한 적어도 하나의 키워들 세트 등을 포함할 수 있다. 유저는 또한 유저가 예컨대 "스포트"는 원하지 않지만 "하키"는 원하는 상기 주제 또는 키워드 같은 부정 프레퍼런스(191)를 갖을 수 있다. 필터(160)는 유저의 프레퍼런스(191)를 식별하는 스토리 세그먼트(111) 각각을 필터된 세그먼트(161)로서 식별한다. 양호한 실시예에서, 예컨대 스토리 세그먼트(111)의 각 분류(121)에서의 각 주제의 키워드 수의 카운트를 이용하여 분류(121)와 유저 프레퍼런스(191)간의 매칭의 정도에 따라 각 스토리를 랭크하는 분류기를 포함한다. 이해를 용이하게 하기 위하여, 본 명세서에서의 랭킹은 다차원 랭킹 또는 벡터 랭킹이 기술적으로 일반화되어 있지만, 단방향 스칼라양으로서 제안된다. 다중 방송 채널상에 보도되는 동일한 스토리의 경우에, 랭킹(162)은 또한 유저가 원하는 앵커 또는 유저가 원하는 방송 채널에 의해 크게 가중화될 수 있으며, 상기 랭킹(162)은 또한 가장 최근의 스토리로의 프레퍼런스에서 각 뉴스캐스트의 시간에 의해 가중화될 수 있다. 바람직한 실시예에서, 유저는 가중화 인자를 조정하기 위한 선택을 갖을 수 있다. 예를 들면, 유저는 부정 선택 절대치를 작성할 수 있으며, 세그먼트가 부정된 주제 또는 키워드를 포함하면, 다른 매칭 프레퍼런스와 상관없이 최하위 등급으로 할당된다. 소정 수의 일반적인 기술이 지식 기반 시스템, 퍼지 논리 시스템, 전문가 시스템, 학습 시스템 같은 인공 지능 기술의 이용을 포함한 상기 우선화를 실행하기 위하여 이용될 수 있다. 필터(160)는 상기 랭킹(162)에 기초하여 스토리 세그먼트(111)를 선택하고, 상기 선택된 또는 필터된 세그먼트(161) 각각의 랭킹(162)을 검색 시스템(150)의 표현기(170)에 제공한다.
본 발명의 다른 실시예에서, 필터(160)는 또한 일반적으로 "톱 스토리"로 불리우는 인기 있는 스토리를 식별하기 위하여 다중 스토리 세그먼트에서 동일한 스토리의 발생을 식별한다. 상기 식별은 유저의 프레퍼런스(191)에 독립적인 스토리 세그먼트(111)중에서 분류의 유사도에 의해 결정된다. 유사도 측정은 키워드의 히스토그램들 사이의 상관도에 따라 다른 스토리 세그먼트(111)에 적용되는 동일한 주제 분류에 기초한다. 유사한 스토리의 방생 횟수에 기초하여, 필터(160)는 유저의 프레퍼런스(191)와 독립적인 스토리 세그먼트(111)중에서 가장 인기있는 현재의 스토리를 식별한다. 또한, 필터(160)는 적어도 프레퍼런스(191)와 소정의 동일성을 갖는 가장 인기 있는 스토리를 식별한다. 상기 가장 인기 있는 현재의 스토리로부터, 필터는 방송 채널, 앵커에 대한 유저의 프레퍼런스(191)에 기초하여 표현기(170)에 의한 표현을 위하여 한 이상의 스토리 세그먼트(111)를 선택한다.
본 발명에 따르면, 표현기(170)는 디스플레이(175)상에 필터된 스토리 세그먼트(161)의 키 프레임(114)을 나타낸다. 상술된 바와 같이, 각 스토리 세그먼트(161)와 연관된 키 프레임의 세트는 각 스토리 세그먼트(111)의 그림 요약을 제공한다. 따라서, 본 발명에 따르면, 표현기(170)는 유저 프레퍼런스(191)에 대응하는 상기 스토리 세그먼트(161)의 그림 요약(171)을 나타낸다. 양호한 실시예에서, 각 스토리 세그먼트(161)에 디스플레이 되는 키 프레임의 수는 영상 콘텐트, 연대, 이와 연관된 텍스트 등에 기초하여 상술된 우선화 구조에 의해 결정된다. 선택적으로, 그림 요약의 표현은 스토리 세그먼트(111)와 연관된 오디오 세그먼트 부분을 재생함으로써 수반될 수 있다. 예를 들면, 오디오 세그먼트 부분은 앵커에 의한 스토리 세그먼트의 소개에 대응하는 각 스토리 세그먼트의 제 1 오디오 세그먼트일 수 있다. 같은 방식으로, 텍스트 세그먼트의 요약은 또한 그림 요약(171)의 디스플레이과 동시에 디스플레이 된다. 특정한 필터된 스토리 세그먼트의 그림 요약(171)은 유저의 관심을 일으키고, 유저는 검색 시스템(150) 내의 재생기(180)에 의해 완전 재생을 위해 필터된 스토리 세그먼트를 선택한다. 일반적인 기술에서, 유저는 예컨대 마우스를 이용하여 관심 있는 스토리의 디스플레이 된 키 프레임을 지시함으로써, 또는 음성 명령, 제스쳐, 키보드 입력 등에 의해 선택을 실행할 수 있다. 유저 선택(1876)의 수신시, 재생기(180)는 선택된 스토리 세그먼트(181)를 디스플레이(175)상에 디스플레이 한다.
도 3은 검색 시스템(150)용의 일례의 유저 인터페이스를 예시한다. 디스플레이(175)는 필터된 스토리 세그먼트 키 프레임(171)을 디스플레이 하기 위한 창(310)을 갖는다. 도 3에 예시된 바와 같이, 디스플레이(175)는 4개의 창(310a, 310b, 310c, 310d)을 포함하지만, 더 적거나 또는 더 많은 창이 표현기 제어기(350)를 통해 선택될 수 있다. 표현기는 창(310) 내의 키 프레임(171) 각각을 연속적으로 나타낸다. 양호한 실시예에서, 하나의 스토리 세그먼트(161)에 대응하는 키 프레임(171) 각각은 창(310a, 310b, 310c, 310d)중 하나에 연속적으로 나타난다. 즉, 도 3에서, 4개의 스토리 세그먼트(161)의 키 프레임은 동시에 디스플레이 되며, 각 창은 그림 요약을 스토리 세그먼트(161) 각각에 제공한다. 유저는 각 키 프레임(171)의 기간 및, 다른 스토리 세그먼트(161)로부터의 키 프레임(171)의 세트가 상기 창에 나타나기 전의 소정의 시간 기간동안 스토리 세그먼트(161)로부터의 키 프레임(171)이 반복되는가의 여부를 결정하는 선택을 갖는다. 모든 필터된 스토리 세그먼트(161)의 모든 키 프레임(114)기 나타난 후, 사이클은 유저의 프레퍼런스와 일치하는 스토리 세그먼트의 키 프레임의 지속적인 슬라이드 쇼를 제공함으로써 반복된다. 다른 디스플레이 방법이 이용될 수 있다. 예를 들면, 스토리 세그먼트(161)로부터의 4개의 세그먼트가 4개의 창(310a-310d) 모두에 동시에 디스플레이 될 수 있다. 마찬가지로, 하나의 창이 다른 창이 낮은 우선 순위 장면을 연속적으로 디스플레이 하는 동안 스토리 세그먼트(161)의 높은 우선 순위 장면을 포함하도록 구성된 주요 창으로 정의될 수 있다. 비디오 표현을 위한 상기한 기술 및 이외의 기술들은 당 기술에 숙련된 지식을 가진 자들에게는 명백하다. 양호할 실시예에서, 표현 제어기(350)는 키 프레임(171)의 선택 및 표현의 최적화를 위하여 제공된다.
필터(16)가 각 필터된 스토리 세그먼트(161)와 연관된 랭킹(162)을 제공하면, 표현기(170)는 키 프레임(171)의 각 나타난 세트의 빈도 또는 기간을 결정하기 위하여 랭킹(162)을 이용할 수 있다. 즉, 예를 들면 표현기(170)는 필터된 세그먼트(161)와 유저 프레퍼런스(191) 사이의 일치도에 비례하는 반복률로 필터된 세그먼트(161)의 키 프레임(114)을 나타낼 수 있다. 마찬가지로, 큰 수의 필터된 세그먼트(161)가 필터(160)에 제공되면, 표현기(170)는 매 사이클마다 유저 프레퍼런스(191)와의 높은 일치도를 갖는 세그먼트(161)의 키 프레임(114)을 나타낼 수 있지만, 매 사이클보다 적은 유저 프레퍼런스(191)와 낮은 일치도를 갖는 세그먼트의 키 프레임(114)을 나타낼 수 있다.
표현 제어기(350)는 또한 표현기(170)와 재생기(180) 사이의 상호 작용을 유저가 제어하도록 한다. 양호한 실시예에서, 유저는 한 창(310)에서 선택된 스토리 세그먼트(181)를 동시에 볼 수 있으며, 다른 스토리 세그먼트로부터의 키 프레임(171)은 계속해서 다른 창에 디스플레이 된다. 또한, 선택된 스토리 세그먼트(181)는 디스플레이(175)의 전체 영역에 디스플레이 될 수 있다. 시각적 디스플레이를 위한 상기 선택 및 다른 선택은 당 기술에 숙련된 지식을 가진 자들에게는 명백하다. 유저는 또한 볼륨 제어, 반복, 고속 진행, 역 진행 같은 기존의 재생 기능을 위해 (350) 내에 재생 제어 기능부를 제공받는다. 스토리 세그먼트(111)는 스토리 세그먼트 식별기 내의 장면들로 분할되기 때문에, 재생 기능부(350)는 다음 장면, 이전 장면 등과 같은 옵션을 포함할 수 있다.
프로파일러(190)와의 유저 인터페이스는 또한 디스플레이(175)를 통해 제공된다. 도 3의 예시적인 인터페이스에서, 버튼(320)은 유저가 선택 캐터고리에서 프레프런스(191)를 설정하도록 제공된다. "매체" 버튼(320a)은 필터(160)에서의 훨씬 뒤의 시간이 어떻게 스토리 세그먼트를 고려하는지 같은 시간 설정에 관한 유저 옵션을 제공한다. "주제" 버튼(320c)은 유저가 스포트, 예술, 금융, 범죄 같은 주제들 중에서 선택할 수 있도록 한다. "장소" 버튼(320d)은 유저가 인기 있는 스토리 세그먼트의 상술된 식별에 적용되는 필터 파라미터를 지정할 수 있도록 한다. "키워드" 버튼(320f)은 유저가 관심 있는 특정한 키워드를 지정하도록 한다. 다른 캐터고리 및 옵션은 또한 당 기술에 숙련된 지식을 가진 자들에게 명백한 바와 같이 제공될 수 있다.
도 3의 유저 인터페이스는 또한 표현(330)과 재생기(340) 모드의 선택을 할 수 있다. 표현기(170)는 유저의 프레퍼런스 설정에 의해 선택된 스토리 세그먼트의 키 프레임 또는 "탑" 스토리 세그먼트의 키 프레임을 나타내도록 설정될 수 있다. 재생기(180)는 상술된 동작에 대응하는 브라우즈 모드에서 동작하도록 설정될 수 있으며, 여기서 유저는 키 프레임을 브라우즈하고, 관심 있는 스토리 세그먼트를 선택하거나, 또는 재생 모드에서 재생기(180)는 연속적으로 필터된 스토리 세그먼트(161) 각각을 나타내며, 스캔 모드에서, 재생기(180)는 연속적으로 각 필터된 제 1 장면을 나타낸다.
키 프레임과 이와 연관된 자료를 나타내는 다른 수단이 제공된다. 표현은 다차원일 수 있으며, 예컨대 유저의 인터페이스(191)로의 세그먼트(111)의 상관도는 깊이를 식별하고, 키 프레임은 상기 깊이를 이용하여 다차원 시각 뷰에서 유저 키 프레임으로부터 얼마나 멀리 떨어져서 나타나는가의 여부를 판단한다. 마찬가지로, 유저 프레퍼런스의 다른 캐터고리(320)는 뷰의 다른 면과 연관될 수 있으며, 각 캐터고리 내의 유저 프레퍼런스와의 강한 상관도를 갖는 각 세그먼트의 키 프레임은 각 대응하는 면에 디스플레이 된다. 상기 및 다른 표현 기술은 본 발명의 관점에서 당 기술에 숙련된 지식을 가진 자들에게는 자명하다.
본 발명이 주로 뉴스 검색 시스템의 내용으로 설명되었지만, 본 명세서에서 나타난 원리들이 다른 검색 작업에도 적용 가능함을 당 기술에 숙련된 지식을 가진 자들은 인식할 수 있다. 예를 들면, 본 명세서에서 나타난 본 발명의 원리는 직접 채널 서핑을 위해 이용될 수 있다. 일반적으로, 채널 서핑 유저는 방송 프로그램들중 하나가 유저의 관심에 맞는 것일 때까지 다수의 방송 채널들을 랜덤하게 또는 계통적으로 샘플링함으로써 관심 있는 프로그램에 대한 서치를 한다. 온-라인 모드에서 분류 시스템(100) 및 검색 시스템(150)을 이용함으로써, 소정의 처리 지연이 있더라도 관심 있는 프로그램에 대한 더 효율적인 서치가 실행될 수 있다. 온-라인 모드에서, 스토리 세그먼트 식별기(110)는 방송 채널의 현재의 비상업적 부분에 대응하는 텍스트 세그먼트(113), 오디오 세그먼트(112) 및 키 프레임(114)을 제공한다. 분류기(120)는 상기 제시된 기술을 이용하여 상기 부분들을 분류한다. 필터(160)는 필터된 부분들(161) 각각으로부터 키 프레임(171)의 세트를 나타낸다. 유저가 키 프레임(171)의 특정 세트를 선택하면, 방송 채널 선택기(105)는 선택된 키 프레임(171)에 대응하는 채널로 턴되며, 스토리 세그먼트 식별기(110), 저장 장치(115) 및 플레이어(180)는 선택된 채널의 비디오 스트림(101)을 나타내도록 바이패스 모드에 위치된다.
당 기술에 숙련된 지식을 가진 자들에게 명백한 바와 같이, 본 발명에 제시된 원리 및 기술은 다양한 실시예들을 포함할 수 있다. 도 4는 본 발명에 따른 일례의 고객 제품(400)을 예시한다. 제품(400)은 가정 컴퓨터 또는 텔레비전일 수 있으며, VCR, CD-R/W 또는 DVR 장치 같은 비디오 기록 장치일 수 있다. 예시적 제품(400)은 유저에 의한 표현 및 선택을 위해 잠재적으로 관심 있는 스토리 세그먼트(111)를 기록한다. 스토리 세그먼트(111)는 도 1을 참조하여 상술된 바와 같이 분류 시스템(100)에 의해 비디오 스트림(101)으로부터 추출되거나 또는 삽입될 수 있다. 비디오 스트림(101)은 선택기(420) 및 튜너(410)를 통해 케이블 또는 안테나 입력 같은 다채널 입력부(401)로부터 선택된다.
도 4의 한 실시예에서, 선택기(420)는 종래의 VCR 장치에서 확인된 바와 같이 프로그램 가능한 다-사건 채널 선택기이다. 유저는 지정된 기간동안 각 특정한 사건 시간에서 관심 있는 특정한 채널로 튜너(410)를 맞추기 위해 선택기(420)를 프로그램한다. 예를 들면, 유저는 한 채널에서의 아침 뉴스, 다른 채널에서의 저녁 뉴스, 또 다른 채널에서의 최종 밤 뉴스의 시간 및 기간을 프로그램 할 수 있다. 각 채널이 실질적으로 선택기(420)에 의해 선택됨에 따라, 스토리(111)는 또한 각 세그먼트(111)를 분류하는 분류 시스템(100)을 통해 레코더(430)상에 세그먼트되어 저장되며, 상술된 바와 같이 입력/출력 장치(440)상에 디스플레이 시키기 위하여 관련 키 프레임(171)을 추출한다. 양호한 실시예에서, 레코더(430)는 기록 매체가 허용함에 따라 여러 개의 최근 세그먼트(111)로 연속해서 제공되도록 가장 최근의 세그먼트(111) 각각을 기록함에 따라 가장 오래된 세그먼트(111)를 자동적으로 제거하는 연속적인 조사 레코더 또는 연속적인 원형 버퍼 레코더이다. 유저는 입력/출력 장치(440)를 통해 시스템에 액세스하고, 유저의 프레퍼런스와 매치하는 가장 최근의 세그먼트(111)의 키 프레임에 나타난다. 이후, 유저는 나타난 키 프레임(171)에 기초하여 디스플레이하기 위해 세그먼트(181)를 선택한다.
다수의 선택적 기능이 또한 도 4에 예시된다. 이용가능한 기록 매체의 이용을 최적화하기 위하여, 기록 시스템(150)은 상술된 가장 오래된 기록가능한 구조 보다는 (451)을 통해 선택가능한 제거를 제공하도록 구성될 수 있다. 새로운 세그먼트(111)가 기록 매체의 할당을 필요로 하면, 검색 시스템(150)은 유저의 프레퍼런스와의 최소 상관도를 갖는 기록 매체상에 있는 세그먼트(111)를 식별한다. 가장 오래된 세그먼트를 가장 최근의 세그먼트로 대체하는 대신에, 유저로의 최소의 잠재 관심이 있는 세그먼트가 가장 최근의 세그먼트로 대체될 수 있다. 검색 시스템(150)은 또한 분류 시스템(100)에 의해 가장 최근의 세그먼트의 분류에 기초하여, 가장 최근의 세그먼트가 유저 프레퍼런스에 기초하여 유저에게 관심이 없는 것으로 판단되면 가장 최근의 세그먼트의 기록을 전송한다.
대시선(191, 402)에 의해 예시된 바와 같이, 제품(400)은 선필터(425)를 통해 선택기(420)에 의해 채널의 선택을 위해 제공된다. 선필터(425)는 선택기(420) 및 튜너(410)를 통해 채널(401)의 선택을 제어함으로써 세그먼트(111)의 필터링을 수행한다. 상기 표시된 바와 같이, 부가 텍스트 정보는 일반적으로 다채널(401)의 채널 입력부(401) 각각에 나타날 프로그램을 설명하는데 이용가능하다. 대시선으로 예시된 바와 같이, 상기 부가 정보, 즉 프로그램 가이드는 독립 프로그램 가이드 접속(402)을 통한 다채널 입력부(401)의 일부일 수 있다. 상술된 필터(160)와 유사한 기술을 이용하여, 선필터(425)는 유저 프레퍼런스(191)와의 강한 상관도를 갖는 프로그램 가이드(402) 내의 프로그램을 식별하고, 상술된 바와 같이 기록, 분류 및 검색을 위한 상기 프로그램을 선택하기 위해 선택기(420)를 프로그램한다.
당 기술에 숙련된 지식을 가진 자들에게 자명한 바와 같이, 본 발명의 기능 및 파라미터는 각 특정한 실시예의 기능에 따라 조정될 수 있다. 예를 들면, 제품(400)은 라이브 뉴스캐스트를 보기 위한 시간이 없는 고객을 위한 팜탑 시청 장치일 수 있다. 통근자는 잠재적인 관심 있는 스토리(111)를 기록하기 위해 전날 밤에 제품을 다채널 입력부(401)의 소스에 접속한다. 이때, (승객으로의)통근자는 상기 기록된 스토리(111)로부터 관심 있는 스토리(181)를 검색하기 위해 제품(400)을 이용한다. 본 실시예에서, 자원은 제한되고, 각 성분의 파라미터는 이에 따라 조정된다. 예를 들면, 각 세그먼트(111)와 연관된 키 프레임(114)의 수는 실질적으로 감소될 수 있으며, 선필터(425) 또는 필터(160)는 실질적으로 더 선택적일 수 있다. 마찬가지로, 도 1의 분류기(100) 및 검색 시스템(150)은 이들이 부가되는 성분에 기초하여 이들의 파라미터를 동적으로 조정하는 독립형 장치로서 제공될 수 있다. 예를 들면, 분류 시스템(100)은 다양한 유저들에게 스토리 세그먼트를 분류하기 위해 이용되는 매우 크고 다용도의 시스템일 수 있으며, 각각이 다른 레벨의 복잡도와 비용을 갖는 다른 모델의 검색 시스템(150)이 선택된 스토리 세그먼트를 검색하기 위하여 유저에게 제공된다.
이상은 단지 본 발명의 원리를 예시하기 위한 것이다. 따라서, 당 기술에 숙련된 지식을 가진 자들은 본 명세서에서 명확하게 설명되거나 도시되지 않았더라도 본 발명의 원리를 구현하고 그 사상 및 범주 내에서 여러 가지 장치들을 적용할 수 있다. 예를 들어, 키 프레임(114)은 키 프레임이 짧은 비디오 칩 같은 일련의 영상과 동등하더라도 본 명세서에서는 단일 영상으로 나타나며, 키 프레임의 표현은 상기 비디오 칩들 각각의 표현일 수 있다. 분류 시스템(100)과 검색 시스템(150)의 성분은 하드웨어, 소프트웨어 또는 이들의 조합으로 실행될 수 있다. 성분은 전문가 시스템, 지식 기반 시스템 등을 포함한 분류와 검색 기술에 공통인 툴과 기술을 포함할 수 있다. 퍼지 논리, 신경망, 다양한 복귀 분석, 비-단조적 합리화, 의미 처리 및 기술적으로 일반적인 다른 툴 및 기술이 본 발명에서 제시된 기능 및 성분을 실행하기 위해 이용될 수 있다. 처리기(170) 및 필터(160)는 이들의 프레퍼런스(191)와의 상관도와 관계없이 랜덤하게 선택된 세그먼트의 키 프레임(114)을 갖는 유저 프레퍼런스(191)와의 높은 상관도를 갖는 세그먼트(161)의 키 프레임(114)의 표현을 증대시키는 랜덤화 요소를 포함할 수 있다. 비디오 스트림(101)의 소스는 디지털 또는 아날로그일 수 있으며, 스토리 세그먼트(111)는 비디오 스트림(101)의 소스와 관계없이 디지털 또는 아날로그 형태로 저장될 수 있다. 본 발명이 텔레비전 방송의 내용으로 제시되었지만, 본 명세서에 제시된 기술은 또한 인터넷과 월드 와이드 웹을 포함한 공중, 개인 네트워크 같은 소스로부터 비디오 정보의 분류, 검색 및 표현을 위하여 이용될 수 있다. 예를 들면, 키 프레임(114)의 세트와 스토리 세그먼트(111)간의 관계는 웹 사이트 어드레스를 포함한 삽입된 HTML 명령을 통한 것일 수 있으며, 선택된 스토리 세그먼트(181)의 검색은 대응하는 웹 사이트의 선택을 통한 것일 수 있다.
당 기술에 숙련된 지식을 가진 자들에게 자명한 바와 같이, 본 명세서에 제시된 기의 분리는 예시만을 목적으로 제시된 것이다. 예를 들면, 방송 채널 선택기(105)는 스토리 세그먼트 식별기(110)의 구성요소이거나, 또는 분류 및 검색 시스템이 단일 소스 비디오 스트림 또는 이전에 기록된 비디오 스트림(101)으로부터 스토리 세그먼트를 검색하기 위해 이용되면 없어도 될 수 있다. 마찬가지로, 스토리 세그먼트 식별기(110)는 병렬 처리기를 동시에 이용하여 다중 방송 채널을 처리할 수 있다. 필터(160) 및 프로파일러(190)는 단일 선택 장치로서 통합될 수 있다. 키 프레임(114)은 재생기(180)에 의해 제공된 레코더(115) 및 표현기(170) 기능부에 저장되거나 이로부터 삽입될 수 있다. 같은 방식으로, 스토리 세그먼트(111)로부터 키 프레임(114)의 추출은 스토리 세그먼트 식별기(110)나 표현기(170)에서 선택될 수 있다. 본 발명의 사상 및 범주의 범위 내에서의 상기한 것 및 다른 분할 및 최적화 기술은 당 기술에 숙련된 지식을 자진 자들에게는 자명하다.

Claims (10)

  1. 비디오 분류 시스템(100)에 있어서,
    비디오 스트림(101)을 처리하고, 비디오 스트림(101)을 다수의 스토리 세그먼트들(111)로 분할하며, 다수의 스토리 세그먼트들(111)의 각 스토리 세그먼트와 연관된 하나 이상의 키 프레임들(114)을 생성하는 스토리 세그먼트 식별기(110), 및
    하나 이상의 분류들(121)에 기초하여 다수의 스토리 세그먼트들(111)중에서 선택을 용이하게 하기 위하여 다수의 세그먼트들(111)의 각 스토리 세그먼트에 하나 이상의 분류들(121)을 연관시키는 스토리 세그먼트 식별기(110)와 실시 가능하게 결합된 분류기(120)를 포함하는 비디오 분류 시스템.
  2. 제 1 항에 있어서,
    상기 비디오 스트림(101)은 연관된 텍스트 스트림(240)을 포함하고,
    상기 스토리 세그먼트 식별기(110)는 텍스트 스트림(240)을 다수의 스토리 세그먼트들(111)중 적어도 하나의 각 스토리 세그먼트(221-224)에 대응하는 적어도 하나의 텍스트 세그먼트(241-244)로 분할하며,
    상기 분류기(120)는 적어도 하나의 텍스트 세그먼트(241-244)에 기초하여 하나 이상의 분류들(121)을 적어도 하나의 각 스토리 세그먼트(221-244)에 연관시키는 비디오 분류 시스템.
  3. 제 1 항에 있어서,
    상기 비디오 스트림(101)은 연관된 오디오 스트림(230)을 포함하고,
    상기 스토리 세그먼트 식별기(110)는 오디오 스트림(230)을 다수의 스토리 세그먼트들(111)중 적어도 하나의 각 스토리 세그먼트(221-224)에 대응하는 적어도 하나의 오디오 세그먼트(241-244)로 분할하며,
    상기 분류기(120)는 적어도 하나의 오디오 세그먼트(231-234)에 기초하여 하나 이상의 분류들(121)을 적어도 하나의 각 스토리 세그먼트(221-244)에 연관시키는 비디오 분류 시스템.
  4. 제 3 항에 있어서,
    상기 분류기(120)는 적어도 하나의 오디오 세그먼트(231-234)를 적어도 하나의 텍스트 세그먼트(241-244)로 전환시키는 전환기를 포함하며, 상기 분류기(120)는 적어도 하나의 텍스트 세그먼트(241-244)에 기초하여 하나 이상의 분류들(121)을 적어도 하나의 각 스토리 세그먼트(221-224)에 연관시키는 비디오 분류 시스템.
  5. 제 1 항에 있어서,
    상기 스토리 세그먼트 식별기(110)는 적어도 하나의 인식된 사진, 인식된 장면, 비디오 컷 및 검출된 광고 방송에 기초하여 비디오 스트림(101)을 분할하는 비디오 분류 시스템.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 키 프레임들(114)은 다수의 스토리 세그먼트들(111)의 각 스토리 세그먼트의 인코딩의 변환에 기초하여 결정되는 비디오 분류 시스템.
  7. 제 1 항에 있어서,
    다수의 스토리 세그먼트들(111)을 저장하는 저장 장치(115)를 더 포함하는 비디오 분류 시스템.
  8. 다수의 스토리 세그먼트들(111)의 각 스토리 세그먼트와 연관된 하나 이상의 분류들(121)에 기초하여 다수의 스토리 세그먼트들(111)의 스토리 세그먼트들을 검색하기 위한 검색 시스템(150)에 있어서,
    각 스토리 세그먼트와 연관된 하나 이상의 분류들(121)에 기초하여 다수의 스토리 세그먼트들(111)의 하나 이상의 필터된 스토리 세그먼트들(161)을 식별하는 필터(160), 및
    디스플레이(175)상의 하나 이상의 필터된 스토리 세그먼트들(161)과 연관된 하나 이상의 키 프레임들(114)을 연속적으로 나타내는 필터(160)와 실시 가능하게 결합된 표현기(170)를 포함하는 검색 시스템.
  9. 비디오 장치에 있어서,
    다수의 세그먼트들(111)의 각 세그먼트와 연관된 텍스트, 오디오 또는 시각 정보중 적어도 하나에 기초하여 분류(121)를 생성함으로써 비디오 스트림(101)의 다수의 세그먼트들(111)을 분류하는 분류 장치(100), 및
    다수의 세그먼트들(111)의 적어도 하나의 각 세그먼트(181)의 분류를 적어도 하나의 유저 프레퍼런스(191)와 매칭시키며, 다수의 세그먼트들(111)중 적어도 하나의 각 세그먼트(181)의 적어도 하나의 키 프레임(171)을 디스플레이(175)상에 표시함으로써, 다수의 세그먼트들(111)중 적어도 하나의 각 세그먼트(181)의 선택을 용이하게 하는 검색 장치(150)를 포함하는 비디오 장치.
  10. 비디오 스트림(101)의 다수의 세그먼트들(111)중 선택된 세그먼트(181)를 검색하기 위한 유저 인터페이스에 있어서,
    다수의 세그먼트들(111)중 적어도 하나 이상의 세그먼트들(161)과 연관된 하나 이상의 키 프레임들(114)을 랜더링하는 수단(170), 및
    하나 이상의 키 프레임들(114)의 렌더링에 기초하여 선택된 세그먼트(181)를 선택하는 수단(178)을 포함하는 유저 인터페이스.
KR1020007009264A 1998-12-23 1999-12-15 개인화된 비디오 분류 및 검색 시스템 KR100711948B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US22027798A 1998-12-23 1998-12-23
US09/220277 1998-12-23

Publications (2)

Publication Number Publication Date
KR20010041194A true KR20010041194A (ko) 2001-05-15
KR100711948B1 KR100711948B1 (ko) 2007-05-02

Family

ID=22822888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007009264A KR100711948B1 (ko) 1998-12-23 1999-12-15 개인화된 비디오 분류 및 검색 시스템

Country Status (5)

Country Link
EP (1) EP1057129A1 (ko)
JP (1) JP2002533841A (ko)
KR (1) KR100711948B1 (ko)
CN (1) CN1116649C (ko)
WO (1) WO2000039707A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100683501B1 (ko) * 2005-02-23 2007-02-15 인천대학교 산학협력단 신경망 기법을 이용한 뉴스 비디오의 앵커 화면 추출 장치및 그 방법
KR100919340B1 (ko) * 2001-09-07 2009-09-25 인터그래프 소프트웨어 테크놀로지스 캄파니 비디오 이미지의 역다중화 방법, 장치 및 컴퓨터 프로그램제품

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE47908E1 (en) 1991-12-23 2020-03-17 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
USRE48056E1 (en) 1991-12-23 2020-06-16 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6920281B1 (en) 2000-06-30 2005-07-19 Koninklijke Philips Electronics N.V. Video memory manager for use in a video recorder and method of operation
EP1191460A1 (de) * 2000-09-21 2002-03-27 Swisscom AG Verfahren und System für die Klassifizierung von digitalen Audio- und Videodateien
JP2002169819A (ja) * 2000-12-01 2002-06-14 Kanebo Ltd 動画情報配信方法およびそれに用いる動画情報配信システム
US7210157B2 (en) 2000-12-18 2007-04-24 Koninklijke Philips Electronics N.V. Apparatus and method of program classification using observed cues in the transcript information
US20030023972A1 (en) * 2001-07-26 2003-01-30 Koninklijke Philips Electronics N.V. Method for charging advertisers based on adaptive commercial switching between TV channels
US7096179B2 (en) * 2001-08-15 2006-08-22 Siemens Corporate Research, Inc. Text-based automatic content classification and grouping
US20030101104A1 (en) * 2001-11-28 2003-05-29 Koninklijke Philips Electronics N.V. System and method for retrieving information related to targeted subjects
US20030107592A1 (en) * 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. System and method for retrieving information related to persons in video programs
DE602004003497T2 (de) * 2003-06-30 2007-09-13 Koninklijke Philips Electronics N.V. System und verfahren zur erzeugung einer multimedia-zusammenfassung von multimedia-strömen
EP1538536A1 (en) 2003-12-05 2005-06-08 Sony International (Europe) GmbH Visualization and control techniques for multimedia digital content
KR100452085B1 (ko) * 2004-01-14 2004-10-12 엔에이치엔(주) 카테고리 별 키워드의 입력 순위를 제공하기 위한 검색서비스 시스템 및 그 방법
JP4586446B2 (ja) * 2004-07-21 2010-11-24 ソニー株式会社 コンテンツ記録再生装置、コンテンツ記録再生方法及びそのプログラム
JP2006279429A (ja) * 2005-03-29 2006-10-12 Kddi Corp 映像コンテンツの推薦システム
JP4981026B2 (ja) * 2005-03-31 2012-07-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複合ニュース・ストーリーの合成
CN101485124B (zh) * 2006-07-04 2011-05-25 皇家飞利浦电子股份有限公司 内容替换方法
US8930984B2 (en) 2006-07-04 2015-01-06 Koninklijke Philips N.V. Method of content substitution
US8671337B2 (en) 2007-03-27 2014-03-11 Sharp Laboratories Of America, Inc. Methods, systems and devices for multimedia-content presentation
JP4919879B2 (ja) 2007-06-07 2012-04-18 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8588583B2 (en) * 2007-08-22 2013-11-19 Adobe Systems Incorporated Systems and methods for interactive video frame selection
US7836093B2 (en) * 2007-12-11 2010-11-16 Eastman Kodak Company Image record trend identification for user profiles
US20110184955A1 (en) * 2008-10-31 2011-07-28 April Sleyoen Mitchell Organizing data
JP5709359B2 (ja) * 2009-04-07 2015-04-30 ソニー株式会社 通信装置、通信方法、及び通信システム
CN101887445B (zh) * 2009-05-12 2012-10-10 大相科技股份有限公司 处理动态图像的方法、系统与加值处理的方法
KR101043630B1 (ko) 2009-07-31 2011-06-22 고려대학교 산학협력단 뉴스 제공 방법 및 시스템
WO2011039773A2 (en) * 2009-09-14 2011-04-07 Tata Consultancy Services Ltd. Tv news analysis system for multilingual broadcast channels
CN101894129B (zh) * 2010-05-31 2012-05-02 中国科学技术大学 基于在线视频分享网站结构及视频描述文本信息的视频主题发现的方法
EP2661863B1 (en) * 2011-01-04 2016-07-20 Thomson Licensing Apparatus and method for transmitting live media content
CN102184235A (zh) * 2011-05-13 2011-09-14 广州星海传媒有限公司 一种基于机顶盒的数字电视节目推荐方法及系统
CN103247318B (zh) * 2012-02-02 2016-08-17 联想(北京)有限公司 一种获得视频的方法、装置及播放视频的方法、装置
CN103258555A (zh) * 2012-02-16 2013-08-21 岳振华 一种视频编辑方法及一种视频编辑装置
CN102799637A (zh) * 2012-06-27 2012-11-28 北京邮电大学 一种电视节目内部自动生成主要人物摘要的方法
CN103200463A (zh) * 2013-03-27 2013-07-10 天脉聚源(北京)传媒科技有限公司 一种视频摘要生成方法和装置
KR101475479B1 (ko) * 2013-06-27 2014-12-23 삼성중공업 주식회사 선박용 영상 데이터 처리 장치 및 방법
CN106550254B (zh) * 2015-09-23 2020-02-18 北京丰源星际传媒科技有限公司 影院放映电影贴片广告的监播方法及系统
CN108959323B (zh) * 2017-05-25 2021-12-07 腾讯科技（深圳）有限公司 视频分类方法和装置
CN108241729A (zh) * 2017-09-28 2018-07-03 新华智云科技有限公司 筛选视频的方法及设备
CN109241303B (zh) * 2018-06-29 2022-10-21 Oppo广东移动通信有限公司 视频创建方法及相关产品
US20200159759A1 (en) * 2018-11-20 2020-05-21 Comcast Cable Communication, Llc Systems and methods for indexing a content asset
CN113704597A (zh) * 2020-05-21 2021-11-26 阿波罗智联(北京)科技有限公司 内容推荐方法、装置和设备
CN113360709B (zh) * 2021-05-28 2023-02-17 维沃移动通信（杭州）有限公司 短视频侵权风险的检测方法、装置和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05342263A (ja) * 1992-06-08 1993-12-24 Nippon Telegr & Teleph Corp <Ntt> ビデオデータ検索支援方法
JPH10111872A (ja) * 1996-10-08 1998-04-28 Nippon Telegr & Teleph Corp <Ntt> 動画配信装置及び方法
JP2001503895A (ja) * 1996-11-15 2001-03-21 サーノフ コーポレイション ビデオ情報を効果的に表示、保存、およびアクセスするための方法および装置
JP3426960B2 (ja) * 1998-04-23 2003-07-14 日本電信電話株式会社 映像編集方法及び装置及びそのプログラムを記録した記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100919340B1 (ko) * 2001-09-07 2009-09-25 인터그래프 소프트웨어 테크놀로지스 캄파니 비디오 이미지의 역다중화 방법, 장치 및 컴퓨터 프로그램제품
KR100683501B1 (ko) * 2005-02-23 2007-02-15 인천대학교 산학협력단 신경망 기법을 이용한 뉴스 비디오의 앵커 화면 추출 장치및 그 방법

Also Published As

Publication number Publication date
KR100711948B1 (ko) 2007-05-02
JP2002533841A (ja) 2002-10-08
CN1298522A (zh) 2001-06-06
WO2000039707A1 (en) 2000-07-06
CN1116649C (zh) 2003-07-30
EP1057129A1 (en) 2000-12-06

Similar Documents

Publication Publication Date Title
KR100711948B1 (ko) 개인화된 비디오 분류 및 검색 시스템
US20050028194A1 (en) Personalized news retrieval system
KR100915847B1 (ko) 스트리밍 비디오 북마크들
KR101150748B1 (ko) 멀티미디어 스트림들의 멀티미디어 요약을 생성하기 위한시스템 및 방법
KR100794152B1 (ko) 오디오/데이터/시각 정보 선택을 위한 방법 및 장치
JP4905103B2 (ja) 動画再生装置
KR100411437B1 (ko) 지능형 뉴스 비디오 브라우징 시스템
US5664227A (en) System and method for skimming digital audio/video data
US7209942B1 (en) Information providing method and apparatus, and information reception apparatus
US20030093794A1 (en) Method and system for personal information retrieval, update and presentation
US20030093580A1 (en) Method and system for information alerts
US20070136755A1 (en) Video content viewing support system and method
CN100518281C (zh) 视频内容动态搜索的方法和装置
Gauch et al. The VISION digital video library
Jasinschi et al. Automatic TV program genre classification based on audio patterns
Slaughter et al. Open video: A framework for a test collection
KR20020060964A (ko) 오디오/비디오 내용을 인덱스/요약하기 위한 시스템
Zimmerman et al. Interface design for MyInfo: A personal news demonstrator combining Web and TV content
KR100370249B1 (ko) 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템
Smeaton et al. TV news story segmentation, personalisation and recommendation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110420

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee