KR20020076324A - 비디오 프로그램의 멀티미디어 서머리를 엑세스하기 위한시스템 및 방법 - Google Patents

비디오 프로그램의 멀티미디어 서머리를 엑세스하기 위한시스템 및 방법 Download PDF

Info

Publication number
KR20020076324A
KR20020076324A KR1020027010896A KR20027010896A KR20020076324A KR 20020076324 A KR20020076324 A KR 20020076324A KR 1020027010896 A KR1020027010896 A KR 1020027010896A KR 20027010896 A KR20027010896 A KR 20027010896A KR 20020076324 A KR20020076324 A KR 20020076324A
Authority
KR
South Korea
Prior art keywords
video program
topic
viewer
video
multimedia summary
Prior art date
Application number
KR1020027010896A
Other languages
English (en)
Inventor
애그니호트리래리사
디미트로바네벤카
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020076324A publication Critical patent/KR20020076324A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/107—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42661—Internal components of the client ; Characteristics thereof for reading from or writing on a magnetic storage medium, e.g. hard disk drive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215—Recordable discs
    • G11B2220/216—Rewritable discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508—Magnetic discs
    • G11B2220/2516—Hard disks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/40—Combinations of multiple record carriers
    • G11B2220/45—Hierarchical combination of record carriers, e.g. HDD for fast access, optical discs for long term storage or tapes for backup
    • G11B2220/455—Hierarchical combination of record carriers, e.g. HDD for fast access, optical discs for long term storage or tapes for backup said record carriers being in one device and being used as primary and secondary/backup media, e.g. HDD-DVD combo device, or as source and target media, e.g. PC and portable player
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Abstract

비디오 프로그램을 표시하는 것이 가능한 비디오 표시 시스템에서 사용하기 위해서, 비디오 프로그램의 멀티미디어 서머리를 액세스하기 위한 시스템 및 방법이 제공된다. 본 시스템은 비디오 프로그램의 토픽 및 서브토픽과 그러한 토픽 및 서브토픽 각각에 대한 엔트리 포인트를 식별하는 디스플레이 페이지상에 정보를 표시할 수 있다. 엔트리 포인트의 시청자 선택에 응답하여 시스템은 비디오 프로그램의 대응하는 부분을 표시한다. 본 시스템은 또한 비디오 프로그램내의 각각의 대화자를 식별하는 대화자 시각화 디스플레이 페이지 상에 정보를 표시하는 것이 가능한 대화자 가시화 표시 장치와, 비디오 프로그램내의 각각의 대화자가 통화중일 때를 나타내는 다수의 시간 세그먼트를 포함한다. 시간 세그먼트의 시청자 선택에 응답하여 본 시스템은 비디오 프로그램의 대응하는 부분을 표시한다. 본 시스템은 시청자에게 관심있는 부가 정보를 위치시키고 시청자에게 그 부가 정보가 위치되는 때를 알려준다.

Description

비디오 프로그램의 멀티미디어 서머리를 엑세스하기 위한 시스템 및 방법{System and method for accessing a multimedia summary of a video program}
발명의 배경
초창기의 텔레비젼에서, 보는데 사용되는 텔레비젼 방송 채널들은 적었었다. 텔레비젼 기술이 진보하여 초고주파(UHF) 채널들, 고주파(VHF) 채널들, 케이블 텔레비젼, 위성 텔레비젼 수신, 및 인터넷 기반 기술을 포함하게 됨에 따라서, 사용가능한 텔레비젼 채널들의 수는 현저하게 증가하였다.
보는데 사용되는 텔레비젼 프로그램들의 수 역시 현저하게 증가하였다. 높은 해상도의 텔레비젼 컨텐츠에서 보면, 이것은 하루에 채널당 이백 기가바이트(200GB) 이상이된다. 시청자로 하여금 시청자가 보는데 흥미있는 프로그램 또는 프로그램 세그먼트를 찾도록 할 수 있는 비디오 프로그램의 콘텐츠 설명을 통해서 재빨리 브라우즈하는 능력을 시청자가 갖는 것이 점점 더 중요하게 되고 있다. 중요한 문제는 많은 비디오 프로그램들의 콘텐츠 설명이 쉽게 액세스되지 않는 다는 것이다.
기록된 비디오 프로그램을 시청하기 원하는 시청자들을 위한 현재의 옵션들은 1) 전체 비디오 프로그램을 시청하는 것, 2) 흥미 있는 프로그램의 일부를 찾기 위해서 전체 비디오 프로그램의 기록을 통해 빠른게 포워딩(forwarding)하는 것, 3) 일반적인 프로그램 설명만을 제공하는 전자 프로그램 가이드(Electronic Program Guide:EPG)로부터 데이터를 사용하는 것을 포함한다.
현재는 시청자가 비디오 프로그램의 콘텐츠를 쉽게 식별할 수 있도록 하는사용가능한 시스템 또는 방법이 없다. 특히, 시청자가 비디오 프로그램의 콘텐츠의 충분히 상세한 서머리를 획득할 수 있게 하는 사용가능한 시스템 또는 방법이 없다. 이러한 종래 기술의 문제점을 해결하기 위해서, 본 발명의 발명자는 비디오 프로그램의 멀티미디어 서머리를 제공하기 위한 시스템 및 방법을 발명하였다. 이러한 발명은 여기서 설명을 위해서 참조로 포함된, 발명의 명칭이 "SYSTEM AND METHOD FOR PROVIDING A MULTIMEDIA SUMMARY OF A VIDEO PROGRAM"인 미합중국 특허 출원 일련번호[Docket No. PHA 701182]에 설명 및 청구되어 있다.
종래 기술에서는 비디오 프로그램의 멀티미디어 서머리내에 포함되는 정보를 액세스하기 위한 시스템 및 방법이 필요하다. 종래 기술에서는 비디오 프로그램의 토픽(topic) 또는 서브토픽(subtopic)의 시작에서 비디오 프로그램의 멀티미디어 서머리를 액세스하기 위한 시스템 및 방법이 필요하다. 종래 기술에서는 비디오 프로그램 중에 대화하는 사람을 보여주는 비디오 프로그램의 부분을 선택 및 표시하는 비디오 프로그램의 멀티미디어 서머리를 액세스하기 위한 시스템 및 방법이 필요하다.
관련된 출원들에 대한 크로스-레퍼런스
본 발명은 발명의 명칭이 "METHOD AND APPARATUS FOR THE SUMMARIZATION AND INDEXING OF VIDEO PROGRAMS USING TRANSCRIPT INFORMATION"인, 미합중국 특허 출원 일련번호[Docket No. PHA 701137]와, 발명의 명칭이 "METHOD AND APPARATUS FOR LINKING A VIDEO SEGMENT TO ANOTHER SEGMENT OR INFORMATION SOURCE"인, 1999년 7월 9일에 출원된 미합중국 특허출원 제09/351,086호와, 발명의 명칭이 "SYSTEM AND METHOD FOR ORDERING ONLINE UTILIZATION A DIGITAL TELEVISION RECEIVER"인, 미합중국 특허출원 일련번호[Docket No. PHA 701071]와, 발명의 명칭이 "SYSTEM AND METHOD FOR PROGRAMING A MULTIMEDIA SUMMARY OF A VIDEO PROGRAM"인, 미합중국 특허 출원 일련번호[Docket No. PHA 701182]에 개시된 발명에 관한 것이다. 이러한 특허 출원들은 공동으로 본 발명의 양수인에게 양도되었다. 이러한 관련 특허 출원의 개시는 여기서 설명된 바와 같이 참고로 본 명세서에 포함된다.
발명의 기술 분야
본 발명은 비디오 프로그램의 멀티미디어 서머리를 액세스하기 위한 시스템및 방법에 관한 것이다.
도 1은 예로서 주어진 비디오 표시 시스템을 도시하는 도면.
도 2는 도 1에 도시된 예로서 주어진 비디오 디스플레이 시스템에서 수행되는 비디오 프로그램의 시청자 양방향 멀티미디어 서머리를 생성하기 위한 시스템의유리한 일 실시예를 도시하는 도면.
도 3은 시청자 양방향 멀티미디어 서머리의 유리한 일 실시예에서 사용되는 컴퓨터 소프트웨어를 도시하는 도면.
도 4는 예로서 주어진 비디오 표시 시스템에서 시청자 양방향 멀티미디어 서머리의 유리한 실시예의 동작을 예시하는 흐름도.
도 5는 비디오 프로그램의 시청자 양방향 멀티미디어 서머리를 액세스하기 위한 본 발명의 유리한 실시예의 예시적인 표시 페이지를 도시한 도면.
도 6은 비디오 프로그램의 시청자 양방향 멀티미디어 서머리를 액세스하기 위한 본 발명의 유리한 일 실시예의 예시적인 대화자 가시화 페이지를 도시한 도면.
발명의 요약
전술된 종래 기술의 상술한 문제들을 해결하기 위해서, 본 발명의 주 목적은 비디오 프로그램을 표시할 수 있는 비디오 표시 시스템에서 사용하기 위해서, 비디오 프로그램의 멀티미디어 서머리를 액세스하기 위한 시스템 및 방법을 제공하는것이다.
본 발명은 비디오 프로그램의 토픽 및 서브토픽과, 상기 토픽 및 서브토픽 각각에 대한 엔트리 포인트를 식별하는 표시 페이지(display page) 상에 정보를 표시하는 것이 가능한 시스템 및 방법을 포함한다. 토픽 또는 서브토픽의 엔트리 포인트의 시청자 선택에 응답하여, 시스템은 비디오 프로그램의 대응하는 부분을 표시한다.
본 발명은 비디오 프로그램내의 각 대화자와 비디오 프로그램내의 각 대화자가 대화중일 때를 표시하는 다수의 시간 세그먼트들을 식별하는 대화자 가시화 표시 페이지(speaker visualization display page)상에 정보를 표시하는 것이 가능한 대화자 가시화 표시 장치를 포함한다. 대화자의 시간 세그먼트의 시청자 선택에 응답하여, 시스템은 대화자를 보여주는 비디오 프로그램의 대응하는 부분을 표시한다.
본 발명은 시청자에게 흥미있는 부가 정보를 위치시키기 위한 시스템 및 방법을 포함한다. 본 시스템은 시청자에 의해서 선택되는 토픽 및 서브토픽에 기초한 시청자에게 흥미있는 정보를 식별한다. 본 발명의 시스템 및 방법은 시청자에게 언제 부가적인 정보가 위치되는지를 알려준다.
본 발명의 유리한 실시예에 따라서, 본 시스템은 비디오 프로그램의 토픽 및 서브토픽, 및 대응하는 엔트리 포인트를 식별하는 표시 페이지 상에 멀티미디어 서머리로 부터의 정보를 표시하는 것이 가능하다.
본 발명의 또 다른 유리한 실시예에 따라서, 본 시스템은 선택된 토픽 또는서브토픽에 대응하는 엔트리 포인트의 시청자 선택에 응답하여 비디오 프로그램의 토픽 또는 서브토픽에 대응하는 비디오 프로그램의 일부를 표시하는 것이 가능하다.
본 발명의 또 다른 유리한 실시예에 따라서, 비디오 프로그램중에 대화하는 사람을 식별하는 대화자 가시화 페이지상의 멀티미디어 서머리로부터의 정보 및 개인이 통화중에 비디오 프로그램의 시간 세그먼트를 표시하는 것이 가능하다.
본 발명의 또 다른 유리한 실시예에 따라서, 본 시스템은 시청자에게 흥미있는 토픽 및 서브토픽에 관련된 정보를 얻기 위해서 멀티미디어 서머리를 액세스하는 것이 가능하다. 이러한 시스템은 1) 토픽 및 서브토픽에 관련된 부가 정보를 위치시키며, 2) 시청자에게 부가 정보를 알려줄 수 있다.
이상은 본 발명의 특징 및 기술적인 장점들을 대략적으로 설명하여 당업자가 발명의 상세한 설명을 더 잘 이해할 수 있도록 하였다. 본 발명의 부가적인 특징 및 장점은 발명의 청구범위의 주제를 형성하는 것으로서 이하 설명된다. 당업자라면 본 발명의 동일 목적을 수행하기 위한 다른 구성을 변형 또는 설계하기 위한 기초로서 개시된 개념 및 특정 실시예를 쉽게 사용할 수 있음을 알 수 있다. 당업자라면 가장 넓게 볼 때 그러한 균등 구성이 본 발명의 사상 및 범위에서 벗어나지 않음을 알 수 있다.
상세한 설명을 하기에 앞서서, 본 문서에서 사용되는 특정 용어나 구절에 대한 정의를 설명하는 것이 좋은데, "포함하다", "구비하다"는 다른 파생어와 함께 제한 없이 포함하는 것을 의미하며, "또는"은 및/또는 을 의미하는 것으로서 포괄하는 것이며, "-와 관련된" 및 "-과 관련된"은 그 파생어와 함께 포함하거나, 포함되거나, 함유하거나, 함유되거나, 연결하거나, 연결되거나, 결합하거나 결합되거나, 통하거나, 협동하거나, 상호연결되거나, 나란히 놓이거나, 근접하거나, 속박되거나, 갖거나, 소유하거나, 그와 유사한 것을 의미하며, "제어기"는 적어도 하나의 동작을 제어하는 장치, 시스템 또는 부품을 의미하며, 그러한 장치는 하드웨어, 펌웨어, 또는 소프트웨어나 이들중 적어도 두개의 결합으로 실행될 수 있는 것을 말한다. 특정 제어기와 결합된 기능은 국부적이든 원격이든지, 집중되거나 또는 분산될 수 있다. 특히, 제어기는 하나 이상의 데이터 프로세서, 및 결합된 입출력 장치 및 메모리를 포함할 수 있어서 하나 이상의 응용프로그램 및/또는 운영체계 프로그램을 실행한다. 어떤 용어나 문구에 대한 정의는 본 발명의 전체에 걸쳐서 제공되는 것으로서, 당업자가 대부분은 아닐지라도 많이, 그러한 정의가 기 정의된 용어 및 문구를 장래에는 물론이고 이전에도 적용되는 것을 알 수 있다.
본 발명 및 본 발명의 이점들의 더 완벽한 이해를 돕기 위해서, 이하, 참조부호는 동일한 번호가 동일한 대상들을 나타내는 첨부된 도면들과 연계하여 취해진 설명들로 되어 있다.
본 발명의 상세한 설명
이하에 논의되는 도 1 내지 도 6 및 이 특허 문서에서 본 발명의 원리를 설명하기 위해 사용되는 여러 실시예들은 설명하기 위한 목적이고 본 발명의 범위를 제한하려는 어떤 방법으로 해석되어서는 안된다. 예시적인 실시예의 설명에서, 본 발명은 텔레비젼 수신기에 통합되거나 그것과 관련하여 사용된다. 그러나, 이러한 실시예는 예시를 위한 목적이고 텔레비젼 수신기에 본 발명의 범위를 제한하는 것으로 해석되어서는 안된다. 사실, 당업자는 본 발명의 예시적인 실시예가 어떤 유형의 비디오 디스플레이 시스템에서의 사용을 위해 용이하게 변경될 수 있다는 것을 인식할 것이다.
도 1은 본 발명의 하나의 실시예에 따르는 예시적인 비디오 기록 장치(recorder)(150) 및 텔레비젼 세트(105)를 도시한다. 비디오 기록 장치(150)는 케이블 텔레비젼 서비스 제공자(케이블 Co), 로컬 안테나, 위성, 인터넷 또는 디지털 다용도 디스크(DVD) 또는 비디오 홈 시스템(VHS) 테이프 플레이어와 같은 외부 소스로부터 들어도는 텔레비젼 신호를 수신한다. 비디오 기록 장치(150)는 텔레비젼 신호를 선택된 채널로부터 텔레비젼 세트(105)로 전송한다. 채널은 시청자(viewer)에 의해 수동적으로 선택될 수 있거나 시청자에 의해 이전에 프로그램된 기록 장치에 의해 자동적으로 선택될 수 있다. 대안으로, 채널 및 비디오 프로그램은 시청자의 개인 시청 히스토리에서의 프로그램 프로파일로부터의 정보에 기초하여 기록 장치에 의해 자동적으로 선택될 수 있다.
기록 모드에서, 비디오 기록 장치(150)는 비디오 기록 장치(150)내에 있거나 그것과 접속된 저장 매체상에 기록 및 저장되는 기저대역 비디오 신호를 생성하기 위해 들어오는 무선 주파수(RF) 텔레비젼 신호를 복조할 수 있다. 플레이 모드에서, 비디오 기록 장치(150)는 저장 매체로부터 시청자에 의해 선택된 저장된 기저대역 비디오 신호(즉, 프로그램)를 판독하여 텔레비젼 세트(105)에 전송한다. 비디오 기록 장치(150)는 또한 디지털 신호를 수신하고, 기록하고, 그것과 인터페이스하고 플레이시킬 수 있는 유형의 비디오 기록 장치를 포함할 수 있다.
비디오 기록 장치(150)는 기록 테이프를 활용하거나 하드 디스크를 활용하거나 고체 상태 메모리를 활용하거나 어떤 다른 유형의 기록 장치를 활용하는 유형의 비디오 기록 장치를 포함할 수 있다. 비디오 기록 장치(150)가 비디오 카세트 기록장치(VCR)인 경우에, 비디오 기록 장치(150)는 자기 카세트 테이프로 및 자기 카세트 테이프로부터의 들어오는 텔레비젼 신호를 저장 및 검색한다. 비디오 기록 장치(150)가 ReplayTVTM기록 장치 또는 TIVOTM기록 장치와 같은 디스크 드라이브 기반 장치인 경우에, 비디오 기록 장치(150)는 자기 카세트 테이프보다는 컴퓨터 자기 하드 디스크로 및 거기로부터의 들어오는 텔레비젼 신호를 저장 및 검색한다. 다른 실시예에서, 비디오 기록 장치(150)는 로컬 판독/기록(R/W) 디지털 다용도 디스크(DVD) 또는 판독/기록(R/W) 컴팩트 디스크(CD-RW)로부터 저장 및 검색할 수 있다. 로컬 저장 매체는 고정(예를 들어, 하드 디스크 드라이브)될 수 있거나 제거(예를 들어, DVD, CD-RW)될 수 있다.
비디오 기록 장치(150)는 시청자에 의해 작동되는 원격 제어 장치(125)로부터의 (채널 업, 채널 다운, 볼륨 업, 볼륨 다운, 기록, 플레이, 고속 감기(FF), 되감기등과 같은) 명령을 수신하는 적외선(IR) 센서를 포함한다. 텔레비젼 세트(105)는 스크린(110), 적외선(IR) 센서(115) 및 하나 이상의 매뉴얼 제어(120)(점선으로 표시됨)를 포함하는 통상의 텔레비젼이다. IR 센서(115)는 또한 시청자에 의해 작동되는 원격 제어 장치(125)로부터의 (볼륨 업, 볼륨 다운, 파워 온, 파워 오프와 같은) 명령을 수신한다.
비디오 기록 장치(150)는 특정 유형의 소스로부터 특정 유형의 들어오는 텔레비젼 신호를 수신하는데 제한되지 않는다는 것을 알아야 한다. 전술한 바와 같이, 외부 소스는 케이블 서비스 제공자, 통상의 RF 일제 송신 안테나, 위성 접시,인터넷 접속, 또는 DVD 플레이어 또는 VHS 테이프 플레이어와 같은 또 다른 로컬 저장 장치일 수 있다. 들어오는 신호는 디지털 신호, 아날로그 신호, 인터넷 프로토콜(IP) 패킷 또는 다른 유형의 포맷의 신호일 수 있다.
본 발명이 원리를 설명하는데 있어 단순함 및 명확함을 위해, 설명은 근접된 캡션 텍스트 정보(caption text information)를 포함하는 들어오는 아날로그 텔레비젼 신호를 비디오 기록 장치(150)가 수신하는 실시예에 관한 것이다. 그럼에도 불구하고, 당업자는 본 발명의 원리가 디지털 텔레비젼 신호, 무선 일제 송신 텔레비젼 신호, 로컬 저장 시스템, MPEG 데이터를 포함하는 IP 패킷의 들어오는 스트림 등과 사용하기 위해 용이하게 적응될 수 있다는 것을 이해할 것이다.
또한, 당업자는 본 발명의 원리가 음성으로부터 텍스트 변환기로의 텍스트, 제 3 소스로부터의 텍스트, 추출된 비디오 텍스트로부터의 텍스트, 삽입된 스크린 텍스트로부터의 텍스트등을 포함하지만 거기에 제한되지 않는 텍스트의 다른 소스와 사용을 위해 용이하게 적응될 수 있다는 것을 이해할 것이다. 따라서, 용어 "트렌스크립트(transcript)"은 음성으로부터 텍스트 변환기로의 텍스트, 제 3 소스로부터의 텍스트, 추출된 비디오 텍스트로부터의 텍스트, 삽입된 스크린 텍스트로부터의 텍스트등을 포함하지만 거기에 제한되지 않는 텍스트의 어떤 소스로부터 시작하는 텍스트 파일을 의미하기 위해 정의된다.
도 2는 본 발명의 하나의 실시예에 따라 더욱 상세히 예시적인 비디오 기록 장치(150)를 도시한다. 비디오 기록 장치(150)는 IR 센서(160), 비디오 프로세서(210), MPEG2 인코더(220), 하드 디스크 드라이브(230), MPEG2 인코더/디코더(240) 및 제어기(250)를 포함한다. 비디오 기록 장치(150)는 비디오 유닛(260), 텍스트 서머리 발생기(270) 및 메모리(280)를 포함한다. 제어기(250)는 시청 모드, 플레이 모드, 고속 감기(Fast Forward:FF) 모드, 되감기 모드 및 다른 유사 기능들을 포함하는 비디오 기록 장치(150)의 전체 동작을 지시한다. 제어기(250)는 또한 본 발명의 원리에 따라 다중 매체 서머리의 생성, 플레이 및 상호 작용을 지시한다.
시청 모드에서, 제어기(250)는 케이블 서비스 제공자로부터의 들어오는 신호가 비디오 프로세서(210)에 의해 복조되어 처리되게 하여 하드 디스크 드라이브(230)상에서 비디오 신호를 저장(또는 비디오 신호를 검색하는)하거나 하지 않는 텔레비젼 세트(105)로 전송되게 한다. 비디오 프로세서(210)는 케이블 서비스 제공자로부터의 들어오는 텔레비젼 신호를 수신하고, 사용자 선택 채널에 동조하고, 선택된 RF 신호를 텔레비젼 세트(105)상에 디스플레이하기 위해 적절한 기저대역 텔레비젼 신호(예를 들어, 슈퍼 비디오 신호)로 젼환하는 무선 주파수(RF) 프런트-엔트(front-end) 회로를 포함한다. 비디오 프로세서(210)는 또한 MPEG2 인코더/디코더(240)로부터의 통상의 신호 및 메모리(280)로부터의 비디오 프레임을 수신하고 텔레비젼 세트(105)로 기저대역 텔레비젼 신호(예를 들어, 슈퍼 비디오 신호)를 전송할 수 있다.
기록 모드에서, 제어기(250)는 들어오는 텔레비젼 신호가 하드 디스크 드라이브(230)상에 저장되게 한다. 제어기(250)의 제어하에서, MPEG2 인코더(220)는 케이블 서비스 제공자로부터의 들어오는 텔레비젼 신호를 수신하여 수신된 RF 신호를하드 디스크 드라이브(230)상에 저장을 위한 MPEG 포맷으로 변환시킨다. 디지털 텔레비젼 신호의 경우에, 신호는 MPEG2 인코더(220)에 인코드되지 않고 하드 디스크 드라이브(230)상에 직접 저장될 수 있다는 것을 알아야 한다.
플레이 모드에서, 제어기(250)는 하드 디스크 드라이브(230)로부터의 MPEG2 데이터를 예를 들어, 프로세서(210)가 텔레비젼 세트(105)로 전송하는 슈퍼 비디오(S-비디오) 신호로 변환시키는 MPEG2 인코더/디코더(240)로 저장된 텔레비젼 신호(즉, 프로그램)를 스트림하는 것을 하드 디스크 드라이브(230)에 지시한다.
MPEG2 인코더(220) 및 MPEG2 인코더/디코더(240)용 MPEG2 표준의 선택은 설명하기 위한 목적이라는 것을 알아야 한다. 본 발명의 대안의 실시예에서, MPEG 인코더 및 디코더는 하나 이상의 MPEG-1, MPEG-2 및 MPEG-4 표준 또는 하나 이상의 다른 유형의 표준에 따를 수 있다.
이러한 출원 및 청구 범위를 위해, 하드 디스크(230)는 디지털 다용도 디스크(DVD)를 판독/기록하기 위한 통상의 자기 디스크 드라이브 및 광 디스크 드라이브, 재-기록 가능한 CD-ROMs, VCR 테이프 등을 포함하지만, 거기에 제한되지 않는 판독 및 기록 모두 가능한 어떤 대량 기억 장치를 포함하는 것으로 정의된다. 사실, 하드 디스크 드라이브(230)는 비디오 기록 장치(150)에 영구적으로 삽입된다는 통념에 고정될 필요가 없다. 하드 디스크 드라이브(230)는 기억된 비디오 프로그램을 저장하기 위해 비디오 기록 장치(150)에 전용되는 어떤 대량 기억 장치를 포함한다. 따라서, 하드 디스크 드라이브(230)는 여러 판독/기록 DVD들 또는 재-기록 가능한 CD-ROM들을 유지하는 주크 박스(juke box) 장치(도시 생략)와 같은 부착된원형 드라이브 또는 (삽입 또는 부착되는) 제거 가능한 디스크 드라이브를 포함할 수 있다. 도 2에 개략적으로 도시된 바와 같이, 이러한 유형의 제거 가능한 디스크 드라이브는 재-기록 가능한 CD-ROM들 디스크(235)를 수신 및 판독할 수 있다.
또한, 본 발명의 바람직한 실시예에서, 하드 디스크 드라이브(230)는 비디오 기록 장치(150)가 예를 들어, 시청자의 홈 개인 컴퓨터(PC)의 디스크 드라이브 또는 시청자의 인터넷 서비스 제공자(ISP)에서의 서버상의 디스크 드라이브를 포함하는 네트워크 접속(예를 들어, 인터넷 프로토콜(IP) 접속)을 통해 액세스 및 제어할 수 있는 외부 대량 기억 장치를 포함할 수 있다.
제어기(250)는 비디오 프로세서(210)에 의해 수신되는 비디오 신호에 관하여 비디오 프로세서(210)로부터 정보를 얻는다. 제어기(250)가 비디오 기록 장치(150)가 비디오 프로그램을 수신하는 것을 결정할 때, 제어기(250)는 비디오 프로그램이 기록되도록 선택된 프로그램인지를 결정한다. 비디오 프로그램이 기록되는 경우에, 제어기(250)는 비디오 프로그램이 전술된 방법으로 하드 디스크 드라이브(230)상에 기록되게 한다. 비디오 프로그램이 기록되지 않는 경우에, 제어기(250)는 비디오 프로그램이 비디오 프로세서(210)에 의해 처리되게 하여 전술된 방법으로 텔레비젼 세트(105)로 전송되게 한다.
메모리(280)는 랜덤 액세스 메모리(RAM) 또는 랜덤 액세스 메모리(RAM)의 조합 및 판독 전용 메모리(ROM)를 포함할 수 있다. 메모리(280)는 플래쉬 메모리와 같은 비-휘발성 랜덤 액세스 메모리(RAM)를 포함할 수 있다. 텔레비젼 수신기(105)의 대안의 바람직한 실시예에서, 메모리(280)는 하드 디스크 드라이브(도시 생략)와 같은 대용량 기억 장치 데이터 장치를 포함할 수 있다. 메모리(280)는 또한 판독/기록 DVD들 또는 재-기록 가능 CD-ROM들을 판독하는 부착된 원형 드라이브 또는 (삽입되거나 부착되는) 제거 가능한 디스크 드라이브를 포함할 수 있다. 도 2에 개략적으로 도시된 바와 같이, 제거 가능한 디스크 드라이브의 이러한 유형은 재-기록 가능한 CD-ROM 디스크(285)를 수신 및 판독할 수 있다.
비디오 프로그램이 하드 디스크 드라이브(230)상에 기록될 때(또는, 대안으로, 비디오 프로그램이 하드 디스크 드라이브(230)상에 기록된 이후에), 제어기(250)는 텍스트 서머리 발생기(270)를 사용하여 기록된 비디오 프로그램의 텍스트 서머리을 얻는다. 텍스트 서머리 발생기(270)는 발명의 명칭이 "METHOD AND APPARATUS FOR THE SUMMARIZATION AND INDEXING OF VIDEO PROGRAMS USING TRANSCRIPT INFORMATION"인 미국 특허 출원 일련번호[Docket No. PHA 701137]에 설명된 비디오 프로그램을 서머리하는 방법 및 장치를 사용한다. 텍스트 서머리 발생기(270)는 비디오/오디오/ 데이터 신호로서 비디오 프로그램을 수신한다. 비디오/오디오/데이터 신호로부터, 텍스트 서머리 발생기(270)는 프로그램 서머리, 컨텐츠의 테이블 및 비디오 프로그램의 프로그램 인덱스(program index)를 발생시킨다. 텍스트 서머리 발생기(270)는 텍스트에 대응하는 비디오의 선택된 키 프레임을 식별하기 위해 텍스트의 각각의 라인과 관련된 시간 스탬프를 사용한다.
다중 매체 서머리는 비디오/오디오/ 텍스트 서머리이다. 제어기(250)는 비디오 프로그램의 컨텐츠를 서머리하는 정보를 디스플레이하는 다중 매체 서머리를 생성시킨다. 제어기(250)는 적절한 비디오 이미지를 가함으로써 비디오 프로그램의다중 매체 서머리를 생성시키기 위해 텍스트 서머리 발생기(270)에 의해 발생된 프로그램 서머리를 사용한다. 다중 매체 서머리은 1) 텍스트, 2) 단일 비디오 프로그램을 포함하는 정지 비디오 이미지를 디스플레이하고, 3) 일련의 비디오 프레임, 4) 오디오, 및 5) 그것의 어떤 조합을 포함하는 (비디오 "클립(clip)" 또는 비디오 "세그먼트(segment)"라 칭하는) 비디오 이미지들을 이동시킬 수 있다.
제어기(250)는 비디오 유닛(260)을 사용함으로써 서머리(summarized)될 비디오 프로그램으로부터 비디오 이미지들(images)을 얻는다. 비디오 유닛(260)은 1999년 7월 9일에 출원된 발명의 명칭이 "METHOD AND APPARATUS FOR LINKING A VIDEO SEGMENT TO ANOTHER SEGMENT OR INFORMATION SOURCE"인 미국 특허 출원 일련 번호 제 09/351,086에 개시된 비디오 세그먼트들을 연결하는(linking) 방법 및 장치를 사용한다.
제어기(250)는 멀티미디어 서머리(multimedia summary)을 생성하는데 사용될 적절한 비디오 이미지들을 식별하여야 한다. 본 발명의 실시예의 장점은 멀티미디어 서머리을 생성하는데 사용될 적절한 비디오 이미지를 식별할 수 있는 컴퓨터 소프트웨어(300)를 포함한다는 것이다. 도3은 본 발명의 컴퓨터 소프트웨어(300)를 포함하는 선택된 메모리(280) 부분을 도시한다. 메모리(280)는 운영 시스템 인터페이스 프로그램(operationg system interface program:310), 도메인 식별 응용(domain identification application:320), 토픽 큐 식별 응용(topic cue identification application:330), 서브토픽 큐 식별 응용(340), 오디오-비주얼 템플레이트 식별 응용(audia-visual template identification application:350), 멀티미디어 서머리 저장 장소(360) 및 대화자 가시화 응용(370)을 포함한다.
제어기(250) 및 컴퓨터 소프트웨어(300)는 모두 본 발명을 실행할 수 있는 멀티미디어 서머리 생성기를 포함한다. 메모리(280)내에 저장된 컴퓨터 소프트웨어(300)의 명령 방향에 따라서, 제어기(250)는 비디오 프로그램의 멀티미디어 서머리들을 생성하며, 멀티미디어 서머리 저장 장소(360)에서 멀티미디어 서머리들을 저장하고, 시청자의 요청시 저장된 멀티미디어 서머리들을 재생한다. 운영 시스템 인터페이스 프로그램(310)은 제어기(250)의 운영 시스템과 컴퓨터 시스템(300)의 운영을 조정한다.
멀티미디어 서머리를 생성하기 위하여, 제어기(250)는 우선 텍스트 서머리 생성기(270)로 액세스하여 녹화된 비디오 프로그램의 텍스트 서머리을 얻는다. 그리고 나서, 제어기(250)는 멀티미디어 서머리를 생성하기 위하여 텍스트 서머리에 포함하기 위하여 선택될 적절한 비디오 이미지들을 식별한다. 이를 수행하기 위하여, 제어기(250)는 우선 비디오 프로그램 타입("도메인" 또는 "카테고리" 또는 "쟝르")을 식별한다. 예를 들어, 비디오 프로그램의 "도메인"(또는 "카테고리" 또는 "쟝르"는 "토크 쇼" 또는 "뉴스 프로그램"일 수 있다. 이하 설명에선, 용어 "도메인"이 사용될 것이다.
소프트웨어(300)에서 도메인 식별 응용은 도메인들의 유형들의 데이터베이스("도메인 데이터베이스(domain database)")을 포함한다. 도메인 데이터베이스는 자신에 저장된 각 도메인 타입의 식별 문자를 포함한다. 제어기(250)는 도메인 식별 응용(320)에 액세스하여 서머리되는 비디오 프로그램 타입을 식별한다. 도메인 식별 응용(320)은 각 도메인 타입의 식별 문자를 서머리되는 비디오 프로그램의 문자와 비교한다. 이 비교 결과를 사용하여, 도메인 식별 응용(320)은 비디오 프로그램의 도메인을 식별한다.
그 후에, 제어기(250)는 비디오 프로그램의 토픽과 관계되는 단어 또는 구(phrase)("토픽 큐"라 함)를 식별한다. 예를 들어, "토크 쇼" 비디오 프로그램용 토픽 큐는 단어 " 첫 번째 손님(guest)" 또는 단어 " 다음 손님" 일 수 있다. 유사하게, "뉴스 프로그램" 비디오 프로그램용 토픽 큐는 단어 " ∼로 부터 생중계(live from)" 및 단어 "우리가 지금 가는(we now go to)"일 수 있다. 토픽 큐로서 선택되는 특정 단어 또는 구는 비디오 프로그램에서 전환 포인트들(transition points)(즉, 토픽 변경)을 나타내기 위하여 선택된다. 이것은 비디오 프로그램이 다른 토픽들을 취급하는 부분들로 분할되도록 한다.
소프트웨어(300)에서 토픽 큐 식별 응용(330)은 토픽 큐의 데이터베이스("토픽 큐 데이터베이스)를 포함한다. 토픽 큐 데이터베이스는 도메인 데이터베이스에 저장되는 각 도메인 타입용 토픽 큐를 포함한다. 제어기(250)는 토픽 큐 식별 응용(330)에 액세스하여 서머리되는 비디오 프로그램에서 토픽 큐를 식별한다. 토픽 큐 식별 응용(320)은 토픽 큐 데이터베이스에서 각 토픽 큐와 서머리되는 비디오 프로그램의 텍스트 서머리과 비교한다.
토픽 큐가 발견될 때, 제어기(250)는 오디오-비주얼 템플레이트 식별 응용(audio-visual template identification application:350)에 액세스하여, 토픽 큐와 관계되는 오디오-비디오 세그먼트("오디오-비주얼 템플레이트"라 함)를 식별한다. 토크 쇼 비디오 프로그램에서 "첫 번째 손님" 토픽 큐를 위한 적절한 오디오-비주얼 템플레이트는 손님을 나타내는 오디오-비디오 세그먼트이다. "첫 번째 손님"의 신원(identity)은 텍스트에 언급된 손님의 이름으로부터 얻어질 수 있다. 예를 들어, 토크 쇼의 호스트가 "우리의 첫 번째 손님은 단지 한 분 돌리 파튼(Dolly Parton)"이라고 말한 경우, 토픽 큐 식별 응용(330)은 토픽 큐로서 단어 "첫 번째 손님"을 식별한다. 첫 번째 손님 돌리 파튼의 신원은 텍스트 서머리으로부터 얻어진다.
그 후에, 오디오-비주얼 템플레이트 식별 응용(350)은 멀티미디어 서머리에 부가하기 위하여 선택될 오디오-비주얼 템플레이트로서 돌리 파튼의 오디오-비디오 세그먼트를 식별하여 얻는다. 그녀의 소개 후 몇 초내에, 돌리 파튼은 무대로 걸어나온다. 그리고 나서, 그녀의 얼굴이 가시화되고 비디오 이미지의 일부분을 점유하게 될 것이다. 보다 상세하게 후술되는 바와 같이, 오디오-비주얼 템플레이트 식별 응용(350)은 돌리 파튼의 얼굴의 이미지를 식별하여, 돌리 파튼의 얼굴의 이미지를 갖는 오디오-비디오 템플레이트를 추출하고 이 템플레이트를 멀티미디어 서머리에 부가한다.
오디오-비주얼 템플레이트 식별 응용(350)은 다음 방식으로 돌리 파튼의 얼굴의 이미지를 식별한다. 돌리 파튼을 소개하자 마자 나타난 비디오 이미지로부터, 오디오-비주얼 템플레이트 식별 응용(350)은 토크 쇼 호스트의 얼굴 이미지가 아닌 다른 사람의 얼굴 이미지(또는, 토크 쇼의 정규 멤버인 뮤지션 등)를 선택한다. 그리고 나서, 오디오-비주얼 템플레이트 식별 응용(350)은 이 사람의 이미지가 돌리파튼의 이미지라고 추정한다.
이 추정은 오디오-비주얼 템플레이트 식별 응용(350)이 돌리 파튼을 소개하자마자 비디오에 나타난 청중의 이미지를 얻는 경우 부정확하게 될 것이다. 그러므로, 몇 분이 경과한 후 초기에 선택된 이미지에서 사람의 식별을 검사함으로써 그 추정을 확인하는 것이 필요로된다. 이것은 얼굴, 음성, 손님의 이름표와 같은 식별 문자 또는 그외 다른 유사한 식별 문자를 검사함으로써 행해질 수 있다.
돌리 파튼이 토크 쇼의 다음 10분 또는 12분동안 나타나기 때문에, 초기에 선택된 이미지가 실제로 돌리 파튼의 이미지이 되도록 하기 위해선 손님의 이미지를 분석하는데 시간이 걸릴 것이다. 나중 검사가 이 추정이 잘못되었고 초기 선택된 이미지가 돌리 파튼의 이미지가 아니다라는 것을 나타내는 경우, 이 이미지를 돌리 파튼의 이미지로 대체함으로써 정정이 행해질 수 있다.
본 발명의 실시예의 또 다른 장점으로서, 유명인사들의 얼굴 이미지들의 데이터베이스(도시되지 않음)가 오디오-비주얼 템플레이트 식별 응용(350)과 연계하여 사용될 수 있다는 것이다. 비디오로부터 사람의 얼굴 이미지(예를 들어, 토크 쇼 손님)는 데이터베이스의 유명인사들의 각 얼굴 이미지들과 비교될 수 있다. PCA(Principal Component Analysis)(PCA) 기술 또는 그외 다른 유사한 동등한 기술을 사용함으로써 얼굴 매칭이 이루어질 수 있다. 매칭이 발견된 경우, 그 사람은 식별된다. 매칭이 발견되지 않은 경우, 그 사람의 얼굴 이미지는 유명인사 데이터베이스에 존재하지 않은 것이다. 이 경우에, 돌리 파튼을 식별하기 위하여 사용되었던 상술된 절차가 그 사람을 식별하기 위하여 사용되어야 한다.
유명인사 데이터베이스에 없는 유명인사가 식별된 후, 이 유명인사는 데이터베이스에 부가된다. 유명인사 데이터베이스의 내용은 사람을 데이터베이스에 부가 또는 이 데이터베이스로부터 사람을 삭제함으로써 끊임없이 변경될 수 있다. 이 방식으로, 유명인사 데이터베이스내의 유명인사들의 목록은 항상 현재의 경향을 항상 유지한다.
비디오 세그먼트들의 얼굴들을 검출하고 식별하는 다른 방법은 V.Vilaplana, F. Marques, P. Salembier 및 L.Garrido가 제9차 European Signal Processing Conference EUSIPCO-98, Rhodes(1998)에 발표한 명칭이 "Region-Based Segmentation and Tracking of Human Faces"인 논문 및 S.Satoh, Y. Nakamura & T. Kanade가 IEEE Multimedia, Volume 6(1), pp. 22-35(1999)에 발표한 명칭이 " Name-It : Naming and Detecting Faces in News Videos" 인 논문에 서술되어 있다.
또 다른 응용으로서, 스포츠 프로그램용 오디오-비디오 템플레이트는 1)어떤 시간 기간동안 사전규정된 전체 모션(motion) 또는 2) 모션 타입의 시퀀스를 포함할 수 있다. 예를 들어, "축구 경기" 비디오 프로그램에서 토픽 큐는 단어 " 골" 또는 "첫 번째 골" 일 수 있다. 토픽 큐가 식별된 후, 오디오-비주얼 템플레이트 식별 응용(350)은 멀티미디어 서머리에 부가하기 위하여 선택될 오디오-비주얼 템플레이트로서 득점인 첫 번째 골의 오디오-비디오 클립(clip)을 식별하여 얻어야 한다.
골이 득점될 때를 식별하기 위하여, 오디오-비주얼 템플레이트 식별 응용(350)은 우선 고속 모션으로 골을 검출하고 나서 저속 모션으로 골을 검출한다. 골의 순간적인 위치가 지정되었을때, 오디오-비디오 클립이 추출되어 골이 득점되는 동안의 시간 기간을 커버한다. 예를 들어, 오디오-비디오 클립은 골이 득점되기 전 5초의 시점으로부터 골이 득점된 후 5초의 시점까지 확장될 수 있다. 이 방식으로, 스포츠 프로그램의 멀티미디어 서머리는 골이 득점되는 프로그램 세그먼트의 일련의 재생들을 포함할 수 있다.
또 다른 예로서, "뉴스 쇼" 비디오 프로그램에서의 토픽 큐는 단어 "로부터 생중계"일 수 있다. 뉴스 쇼 비디오 프로그램에서 "로 부터 생중계" 토픽 큐를 위한 적절한 오디오-비주얼 템플레이트는 "로부터 생중계" 보도가 행해지는 장소의 오디오-비디오 세그먼트일 수 있다. 대안적으로, 오디오-비주얼 템플레이트는 "로부터 생중계" 보도를 행하는 기자의 오디오-비디오 세그먼트일 수 있다.
뉴스 프로그램의 뉴스 앵커가 " 지금부터 라스베가스로부터 생중계"라고 말한 경우, 토픽 큐 식별 응용(330)은 토픽 큐로서 단어 "로부터 생중계"를 식별하고 오디오-비주얼 템플레이트 식별 응용(350)은 멀티미디어 서머리에 부가하기 위하여 선택될 오디오-비주얼 탬플레이트로서 라스베가스의 오디오-비디오 세그먼트를 식별한다.
오디오-비주얼 템플레이트 식별 응용(350)은 오디오-비주얼 템플레이트들의 세트를 특정 타입의 도메인용 토픽 큐 데이터베이스내에 포함된 각 토픽 큐들의 세트와 관계시킨다. 제어기(250) 및 오디오-비주얼 템플레이트 식별 응용(350)은 비디오 유닛(260)에 액세스하여 토픽용 멀티미디어 서머리에 포함될 적절한 오디오-비주얼 템플레이트를 얻는다.
오디오-비주얼 템플레이트는 비디오 신호들 및 오디오 신호들 둘다를 포함한다. 그러나, 어떤 응용에서, 오디오-비주얼 템플레이트는 단지 한가지 타입의 신호(즉, 오디오 신호 또는 비디오 신호 둘다가 아니라 하나의 신호)만을 포함할 수 있다. 단지 한가지 타입의 신호를 갖는 오디오-비주얼 템플레이트를 위한 운영 원리들은 비디오 신호 및 오디오 신호 둘다를 갖는 오디오-비주얼 템플레이트를 위한 운영 원리들과 동일하다.
제어기(250) 및 오디오-비주얼 템플레이트 식별 응용(350)이 적절한 오디오-비주얼 템플레이트를 식별하여 얻은 후, 제어기(250)는 토픽 큐 및 이에 대응하는 오디오-비주얼 템플레이트를 멀티미디어 서머리에 부가한다. 멀티미디어 서머리에서 토픽 큐의 장소는 멀티미디어 서머리의 "엔트리 포인트(entry point)"이 되도록 규정된다. 엔트리 포인트은 멀티미디어를 시청하는 시청자에 의해 직접적으로 액세스될 수 있는 멀티미디어 서머리의 장소이다. 시청자는 액세스를 멀티미디어 서머리의 엔트리 포인트 전체 목록에 제공하는 사용자 인터페이스를 제공받는다. 시청자가 멀티미디어 서머리의 특정 토픽에 관심이 있는 경우, 시청자는 토픽의 엔트리 포인트에 액세스함으로써 멀티미디어 서머리의 토픽을 디스플레이 할 수 있다.
제어기(250)가 토픽을 식별한 후, 제어기(250)는 토픽의 서브토픽과 관계되는 단어 또는 구("서브토픽 큐"라 함)를 식별한다. 예를 들어, 토크 쇼 비디오 프로그램에서 "첫 번째 손님"의 토픽 큐용 서브토픽 큐는 단어 "신작 영화" 또는 단어 "신간(new book)"일 수 있다. 서브토픽은 "첫 번째 손님"의 생활에서 활동 계획 또는 흥미로운 에피소드에 관한 것일 수 있다. 서브토픽 큐로서 선택된 특정 단어또는 구는 토픽에서 전환 포인트(transition point)(즉, 서브토픽들의 변경)을 나타내기 위하여 선택된다. 이것은 토픽이 여러 서브토픽을 취급하는 부분으로 분할되도록 한다.
소프트웨어(300)에서 서브토픽 큐 식별 응용(340)은 서브토픽 큐("서브토픽 큐 데이터베이스")를 포함한다. 서브토픽 큐 데이터베이스는 토픽 큐 데이터베이스에 저장된 각 토픽 큐 타입용 서브토픽 큐를 포함한다. 제어기(250)는 서브토픽 큐 식별 응용(340)에 액세스하여 서머리되는 토픽에서 서브토픽 큐를 식별한다. 서브토픽 큐 식별 응용(340)은 서브토픽 큐 데이터베이스의 각 서브토픽 큐를 서머리되는 토픽의 텍스트 서머리와 비교한다.
서브토픽 큐가 발견되는 경우, 제어기(250)는 오디오-비주얼 템플레이트 식별 응용(350)에 액세스하여 서브토픽 큐와 관계되는 오디오-비주얼 템플레이트를 식별한다. 예를 들어, 토크 쇼 비디오 프로그램에서 "신작 영화" 서브토픽 큐용 오디오-비주얼 템플레이트는 신작 영화의 명칭을 나타내는 정지 비디오 이미지일 수 있다. 대안적으로, 토크 쇼 비디오 프로그램에서 "신작 영화" 서브토픽 큐용 오디오-비주얼 템플레이트는 신작 영화로부터의 오디오-비디오 세그먼트(또는 "클립(clip)")일 수 있다.
토크 쇼의 호스트가 " 지금부터 우리는 톰 행크스의 신작 영화로부터의 클립을 갖는다"라고 말한 경우, 서브토픽 큐 식별 응용(340)은 서브토픽 큐로서 단어 "신작 영화"를 식별하고 오디오-비주얼 템플레이트 식별 응용(350)은 멀티미디어 서머리에 부가하기 위하여 선택될 오디오-비주얼 템플레이트로서 신작 영화의오디오-비디오 세크먼트를 식별한다.
오디오-비주얼 템플레이트 식별 응용(350)은 오디오-비주얼 템플레이트의 세트를 특정 타입의 토픽용 서브토픽 큐 데이터베이스 내에 포함되는 각 서브토픽 큐 세트와 관계시킨다. 제어기(250) 및 오디오-비주얼 템플레이트 식별 응용(350)은 비디오 유닛(260)에 액세스하여 서브토픽용 멀티미디어 서머리에 포함될 적절한 오디오-비주얼 세그먼트를 얻는다.
제어기(250) 및 오디오-비주얼 템플레이트 식별 응용(350)이 적절한 오디오-비주얼 템플레이트를 식별하여 얻은후, 제어기(250)는 서브토픽 큐 및 이에 대응하는 오디오-비주얼 템플레이트를 멀티미디어 서머리에 부가한다. 토픽 큐의 경우에서 처럼, 멀티미디어 서머리의 서브토픽 큐의 장소는 멀티미디어 서머리의 "엔트리 포인트"이 되도록 규정된다. 시청자가 멀티미디어 서머리의 특정한 서브토픽에 관심을 갖는 경우, 시청자는 서브토픽의 엔트리 포인트에 액세스함으로써 멀티미디어 서머리의 서브토픽을 디스플레이 할 수 있다.
제어기(250)는 비디오 프로그램의 도메인과 관계되는 토픽 큐 및 서브토픽 큐를 식별하는 상술된 공정을 계속한다. 공정이 계속됨에 따라서, 제어기(250)는 비디오 프로그램의 멀티미디어 서머리를 생성한다. 제어기(250)는 메모리(280)내의 멀티미디어 서머리 저장 장소(360)에 멀티미디어 서머리을 저장한다. 제어기(250)는 또한 하나 이상의 멀티미디어 서머리들을 장기간 저장을 위하여 하드 디스크 드라이브(230)로 전송할 수 있다.
멀티미디어 서머리를 생성하는 처리는 도4를 참조하여 보다 명백하게 이해할수 있을 것이다. 도4는 본 발명의 유용한 실시예의 방법의 동작을 도시한 순서도(400)를 나타낸다. 순서도(400)에 서술된 처리 단계는 제어기(250)에서 실행된다. 제어기(250)는 텍스트 서머리 생성기(270)가 상술된 방식(처리 단계 405)으로 비디오 프로그램의 텍스트를 서머리하도록 한다. 그리고 나서, 제어기(250)는 비디오 프로그램의 도메인을 식별한다(처리 단계 410). 그리고 나서, 제어기(250)는 비디오 프로그램의 텍스트를 토픽 큐의 데이터베이스와 비교하여, 비디오 프로그램의 식별된 도메인과 관계되는 토픽 큐를 발견한다(처리 단계 415).
토픽 큐가 발견된 경우, 제어기(250)는 토픽 큐를 위한 관계된 오디오-비주얼 템플레이트를 얻어 상기 오디오-비주얼 템플레이트를 상기 토픽 큐와 연결시킨다. 그리고 나서, 제어기(250)는 토픽 큐 및 이와 관계된 오디오-비주얼 템플레이트를 멀티미디어 서머리에 저장한다(처리 단계 420).
그리고 나서, 제어기(250)는 비디오 프로그램의 텍스트를 서브토픽 큐의 데이터베이스와 비교하여 비디오 프로그램의 식별된 토픽 큐와 관계된 서브토픽 큐를 발견한다(처리 단계 425). 서브토픽 큐가 발견된 경우, 제어기(250)는 서브토픽 큐를 위한 관계된 오디오-비주얼 템플레이트를 얻어 상기 오디오-비주얼 템플레이트를 상기 서브토픽 큐와 연결시킨다. 그리고 나서, 제어기(250)는 서브토픽 큐 및 이와 관계된 오디오-비주얼 템플레이트를 멀티미디어 서머리에 저장시킨다(공정 단계 430).
제어기(250)는 다음 서브토픽 큐 또는 다음 토픽 큐를 계속해서 탐색한다(판단 단계 435). 제어기(250)가 더 이상의 서브토픽 큐 또는 토픽 큐가 존재하지 않는다라고 판단하거나, 비디오 프로그램의 끝에 도달되었다라고 판단한 경우, 서머리 처리는 종료된다.
제어기(250)가 다음 큐를 발견한 경우, 제어기(250)는 다음 큐가 서브토픽 큐인지를 판단한다(판단 단계 440). 다음 큐가 서브토픽 큐인 경우, 제어는 공정 단계(430)로 진행하고 서브토픽 큐 및 이와 관계된 오디오-비주얼 템플레이트는 멀티미디어 서머리에 부가된다. 다음 큐가 서브토픽 큐가 아닌 경우, 이것은 토픽 큐이다. 그리고 나서, 제어는 공정 단계(420)로 진행하고, 토픽 큐 및 이와 관계된 오디오-비주얼 템플레이트는 멀티미디어 서머리에 부가된다. 이 방식으로, 멀티미디어 서머리는 토픽 및 서브토픽에 의해 어셈블링된다.
도5는 본 발명의 시청자 대화형 멀티미디어 서머리(viwer interactive multimedia summary)의 유용한 실시예의 전형적인 디스플레이 페이지를 도시한 것이다. 도5는 전체 멀티미디어 서머리를 위한 전체 포인트이 단일 페이지 상에 어떻게 디스플레이될 수 있는지를 도시한 것이다. 예를 들어, 도5에 도시된 페이지가 토크 쇼 비디오 프로그램의 멀티미디어 서머리를 나타낸다라고 가정하자. 이미지 A(520)는 첫 번째 손님의 얼굴을 나타내며, 이미지 B(540)는 두 번째 손님의 얼굴을 나타내고, 이미지 C(560)는 세 번째 손님의 얼굴을 나타낸다. 텍스트 섹션(text section:510)은 첫 번째 손님에 의해 논의된 서브토픽의 목록을 포함한다. 도5에 도시된 예에서, 이들 서브토픽은 영화, 새 CD 및 새 집(New Home) 이다. 유사하게, 텍스트 섹션(530)은 두 번째 손님(540)에 의해 논의된 서브토픽 목록을 포함하고 텍스트 섹션(550)은 세 번째 손님(560)에 의해 논의된 서브토픽의 목록을 포함한다.
시청자는 3개의 텍스트 목록들(510, 530 또는 550) 중 임의의 토픽에서 임의의 서브토픽을 선택하여 멀티미디어 서머리에 의해 디스플레이할 수 있다. 시청자는 원격 제어(125)를 사용하여 신호를 전송함으로써 디스플레이될 소망의 서브토픽을 나타내어, 각 서브토픽이 메뉴 항목으로서 순차적으로 집중조명받기(highlighted) 때문에 서브토픽들 중 하나의 서브토픽을 선택할 수 있다. 대안적으로, 시청자는 장착되어 있는 비디오 디스플레이 시스템에서 컴퓨터 마우스(도시되지 않음)와 같은 포인팅 장치(pointing device)로 소망의 서브토픽을 나타낼 수 있다.
시청자가 특정 서브토픽을 선택하는 경우, 이 서브토픽용 서머리는 활성 서머리(active summary:580)으로서 식별되는 스크린 부분에 디스플레이된다. 서브토픽과 관계된 오디오-비디오 클립은 비디오 플레잉(video playing:590)으로서 식별되는 스크린의 부분상에서 동시에 플레이된다. 예를 들어, 서브토픽이 "영화"인 경우, 오디오-비디오 클립은 영화로부터의 클립일 수 있다. 서브토픽이 "축구 경기"인 경우, 오디오-비디오 클립은 경기에서 득점되는 골의 클립일 수 있다. 활성 서머리(580)은 시청자에 의해 선택된 토픽과 관계된 서브토픽 및 토픽의 서머리을 디스플레이하기 위하여 생성된다. 시청자가 새로운 토픽 또는 새로운 서브토픽을 선택하는 경우, 활성 서머리(580)에서 디스플레이되는 서머리는 새롭게 선택된 토픽 또는 서브토픽과 관계된 서브토픽들 및 토픽들의 서머리를 반영한다.
텍스트 섹션(570)은 비디오 프로그램의 모든 토픽들의 목록을 포함한다. 예를 들어, 토크 쇼 비디오 프로그램인 경우에, 텍스트 섹션(570)은 토크 쇼 비디오 프로그램의 모든 토픽들의 목록을 포함한다. 이 예에서, 텍스트 섹션(570)의 목록의 항목들 중 3개는 3명의 손님의 이름이다. 텍스트 섹션(570)에 목록화된 다른 항목들은 토크 쇼 비디오 프로그램에서 다른 토픽(예를 들어, 쇼의 시작 단계에서의 호스트의 독백)과 관계된다. 토픽이 선택될 때, 토픽과 관계되는 오디오-비디오 클립은 "비디오 플레잉"으로서 식별되는 스크린의 부분(부분 590)상에서 플레이된다.
이 멀티미디어 서머리의 디스플레이 모드는 시청자에 의한 상호대화(interaction)를 포함하여 디스플레이하기 위한 멀티미디어 서머리의 각각의 부분들을 선택한다. 멀티미디어 서머리의 또 다른 디스플레이 모드는 "플레이 스루(play through)" 모드이다. "플레이 스루" 모드에서, 멀티미디어 서머리은 비디오 프로그램의 시작 단계에서 시작하여 시청자에 의한 어떤 상호대화없이 계속해서 플레이한다. 시청자는 아무때나 개입하여 디스플레이하기 위한 토픽 또는 서브토픽을 선택함으로써 "플레이 스루" 모드를 중지시킨다.
도6은 본 발명의 유용한 실시예의 전형적인 대화자 가시화 페이지(speaker visualization page:600)를 도시한다. 대화자 가시화 페이지(600)는 대화하고 있는 각각의 사람 및 대화자가 대화하는 동안의 시간을 식별하는 멀티미디어 서머리내에 포함되는 정보를 사용한다. 도6에 도시된 바와 같이, 이 정보는 막대 챠트의 형태로 그래픽적으로 디스플레이될 수 있다. 한 가지 유용한 실시예에서, 각각의 대화자는 개별적인 행(row)으로 제공된다. 각 대화자(상업용 카테고리 포함)의 신원은 페이지(600)의 좌측상의 열(column)로 디스플레이된다.
예를 들어, 도6에 도시된 대화자 가시화 페이지(600)는 토크 쇼 프로그램을 나타낸다. 토크 쇼의 호스트는 카테고리(610)에서 식별되고 이 쇼에서 규칙적으로 출연하는 토크 쇼 뮤지션은 카테고리(620)에서 식별된다. 첫 번째 토크 쇼 손님은 카테고리(630)에서 식별된다(손님 1). 상업적인 메시지를 위한 카테고리는 카테고리(640)이다. 두 번째 토크 쇼 손님은 카테고리(650)에서 식별되고(손님 2) 세 번째 토크 쇼 손님은 카테고리(660)에서 식별된다(손님 3).
특정 대화자가 대화하는 동안의 시간은 대화자 카테고리의 우측으로의 수평 영역에 위치된 직사각형 박스로 표시된다. 예를 들어, 토크 쇼 호스트 카테고리(610)의 우측으로의 직사각형 상자는 토크 쇼 호스트가 대화할때 쇼의 개별적인 시간 세그먼트들을 나타낸다. 유사하게, 특정 카테고리의 우측으로의 직사각형 상자는 특정 카테고리에서 사람이 대화할 때 쇼의 개별적인 시간 세그먼트들을 나타낸다. 상업적인 카테고리(640)의 우측으로의 직사각형 박스는 상업적인 메시지가 나타날때 쇼의 시간 세그먼트들을 나타낸다.
도6에 도시된 예에서, 토크 쇼 호스트(610)는 우선 대화하고 토크 쇼를 소개한다. 나중 시점에서, 토크 쇼 뮤지션(620)은 호스트(610)가 침묵하고 있는 동안 대화한다. 그리고 나서, 토크 쇼 호스트(610)는 뮤지션(620)이 침묵하고 있는 동안다시 대화한다. 이 예에서, 뮤지션(620)은 3번 대화한다.
토크 쇼 호스트(610)가 첫 번째 손님(630)을 소개한 후, 첫 번째 손님(630)은 토크 쇼 호스(610)와 번갈아서 대화한다. 그리고 나서, 대화자 가시화 페이지(600)는 첫 번째 상업적인 카테고리(640)가 나타날 때의 시간 세그먼트를 디스플레이한다.
첫 번째 상업적인 카테고리(640)가 나타난 후, 토크 쇼 호스트(610)는 두 번째 손님(650)을 소개한다. 그리고 나서, 토크 쇼 호스트(610) 및 두 번째 손님(650)은 두 번째 상업적인 카테고리가 시작될때 까지 번갈아서 대화한다. 유사한 방식으로, 토크 쇼 호스트(610)는 나중에 세 번째 손님(660)을 소개하고 대화한다.
따라서, 대화자 가시화 페이지(600)는 누가 대화중인지 그리고 전체 쇼 동안 언제 대화하는지를 디스플레이할 수 있다. 시청자는 멀티미디어 서머리에 의해 디스플레이될 대화자 가시화 페이지(600)상에 나타난 어떤 시간 세그먼트를 선택할 수 있다. 시청자는 원격 제어(125)를 사용하여 신호를 전송함으로써 디스플레이될 소망의 시간 세그먼트를 나타내어, 각 시간 세그먼트가 메뉴 항목으로서 순차적으로 집중조명받기 때문에 시간 세그먼트들 중 하나의 세그먼트를 선택할 수 있다. 대안적으로, 시청자는 또한 장착된 비디오 디스플레이 시스템에서 컴퓨터 마우스(도시되지 않음)과 같은 포인팅 장치로 소망의 시간 세그먼트를 나타낼 수 있다.
시청자가 소망의 시간 세그먼트를 나타낼 때, 멀티미디어 서머리는 소망의 시간 세그먼트와 관계하는 쇼의 부분을 플레이한다. 예를 들어, 시청자가 단지 세 번째 손님(660)이 무엇을 말하는지를 알기 원하는 경우, 시청자는 세 번째 손님(660)과 관계된 이들 시간 세그먼트들만을 선택하여 비디오 프로그램의 그 부분만을 시청한다.
대화자 가시화 페이지(600)는 호스트(610), 뮤지션(630), 두 번째손님(630), 및 세 번째 손님(660)의 이름을 디스플레이할 수 있다. 현재 대화자의 신원은 트랜스크립트(transcript)로부터 찾을 수 있다. 새로운 대화자 섹션은 "이중 화살표" 큐가 트랜스크립트에 나타나면 언제든지 시작한다. 대화자의 이름은 "이중 화살표" 바로 다음에 나타나고 "콜론(colon)"보다는 앞서있다.
이름이 없는 경우, 현재 손님이 대화자라고 추정된다. 손님이 소개된 경우, 손님의 이름은 대화자로서 복귀된다. 그렇치 않다면, 손님에 대한 일반적인 용어(즉, 단어 "손님")가 대화자로서 복귀된다.
대화자 가시화 페이지(600)는 비디오 프로그램의 멀티미디어 서머리에 액세스하기 위한 강력한 도구이다. 대화자 가시화 페이지(600)는 시청자가 특정 대화자와 관계되는 비디오 프로그램의 시간 세그먼트를 선택함으로써 비디오 프로그램의 소망 부분으로 즉각적으로 점프하여 시청하도록 한다.
제어기(250) 및 대화자 가시화 응용(370) 모두 본 발명을 실행할 수 있는 대화자 가시화 디스플레이 유닛을 포함한다. 메모리(280)에 저장된 대화자 가시화 응용(370)에서의 명령들의 방향에 따라서, 제어기(250)는 선택된 비디오 프로그램의 선택된 멀티미디어 서머리에 액세스하여 대화자 가시화 페이지(600)에서 관계된 시간 세그먼트의 시청자에 의한 선택에 응답하여 비디오 프로그램의 선택된 부분을 재생한다.
상술된 예에서, 대화자 가시화 페이지(600)는 각 대화자가 대화중 일 때의 시간을 식별한다. 이것은 대화자 가시화 페이지(600)의 한가지 동작 모드이다. 대화자 가시화 페이지(600)는 또한 부가적인 동작 모드가 가능하다. 부가적인 동작모드들 중 한가지 모드로서, 대화자 가시화 페이지(600)가 각 사람의 얼굴이 스크린상에 나타날때를 식별하는 것이다. 부가적인 동작 모드들 중 또 다른 모드로서, 대화자 가시화 페이지(600)가 각 토픽 또는 서브토픽이 논의되는 때를 식별하는 것이다. 부가적인 동작 모드들 중 또 다른 모드로서, 대화자 가시화 페이지(600)가 프로그램의 트랜스크립트의 요소를 식별하는 것이다. 다른 타입의 카테고리가 또한 디스플레이를 위하여 선택될 수 있다.
도6에 도시된 대화자 가시화 페이지(600)는 정보가 2차원 포맷으로 액세스되어 디스플레이되는 방법을 도시한 것이다. 1차원은 대화중인 사람(또는, 사람의 이미지, 또는 논의되는 토픽 등)에 의해 표현되고 2차원은 시간이다. 본 발명의 원리가 3차원으로 정보를 디스플레이하는 것을 사용할 수 있다는 점을 주지하라. 3차원 표현(도시되지 않음)은 3차원 막대 챠트 형태로 3가지 타입들의 정보(예를 들어, 대화자, 토픽 및 시간)를 동시에 디스플레이하기 위하여 사용될 수 있다. 3가지 타입들의 정보가 또한 하나 이상의 대화자 가시화 페이지(600)를 사용함으로써 동시에 디스플레이될 수 있다는 점을 주지하라.
본 발명의 멀티미디어 서머리는 또한 비디오 프로그램 동안 논의된 제품 및 서비스들을 주문하는 방법 및 장치와 관련하여 사용될 수 있다. 예를 들어, 시청자는 토크 쇼 비디오 프로그램 동안 논의된 책을 구입하기를 원할 수 있다. 제품 및 서비스는 발명의 명칭이 "SYSTEM AND METHOD FOR ORDERING ONLINE UTILIZING A DIGITAL TELEVISION RECEIVER"인 출원된[출원일] 미국 특허 출원 일련 번호 [Docket No. PHA 701071]에 서술된 방법 및 장치를 사용하여 직접적으로 주문될 수있다.
본 발명의 멀티미디어 서머리는 또한 시청자의 관심에 관한 부가적인 정보를 얻기 위한 방법 및 장치와 관련하여 사용될 수 있다. 예를 들어, 시청자가 곧 개봉될 신작 영화를 나타내는 서브토픽을 선택한 경우, 이 시청자 질의는 장래의 참조를 위하여 기록될 수 있다. 멀티미디어 서머리는 영화가 개봉될 때를 시청자에게 통지하고 근처 극장으로부터의 표 가격 및 상연 시간을 제공할 수 있다. 이 통지는 관련 프로그램의 서머리에 첨부될 수 있다. 대안적으로, 이 통지는 전자 우편 또는 유사한 통신 링크를 통해서 시청자에게 전송될 수 있다. 이 통지는 또한 개인용 컴퓨터, 개인용 디지털 보조 장치 또는 다른 유사한 타입의 통신 장비상에 가청가능한 경보(예를들어, "비프(beep)" 음)를 발생시킬 수 있다.
이벤트 매칭 엔진(event matching engine)은 지역내에서 치뤄지는 이벤트들을 탐색하는데 사용될 수 있다. 예를 들어, 토크 쇼 프로그램 동안, 배우 케빈 스페이스(Kevin Spacey)가 현재 "아메리칸 뷰티"라는 영화에 출연중이라고 말했다. 시청자가 서브토픽 "아메리칸 뷰티"를 선택한 경우, 멀티미디어 서머리는 시청자의 관심의 표시를 사용하여 다른 프로그램들(예를 들어, 뉴스 프로그램) 상에서 또는 시간 기간에 (예를 들어, 여러 달)걸쳐서 지역 웹 사이트 상에서 영화 "아메리칸 뷰티"에 관한 정보를 탐색한다.
영화 "아메리칸 뷰티"의 상연 시간 및 가격에 관한 부가적인 정보가 탐색될때, 멀티미디어 서머리는 전화 번호 1-800-FILM-777을 오버레이(overlay)할 수 있고/또는 시청자에게 그 영화는 유료 텔레비젼에서 상연될 예정이라는 것을 통지할수 있고/또는 지역내 극장들의 그 영화의 상연 시간들 및 가격들에 관한 정보를 자동적으로 디스플레이하거나 전자 우편으로 알려줄 수 있다. 그 쇼에 대한 표들은 상술된 방법을 사용하여 바로 주문될 수 있다.
본 발명의 멀티미디어 서머리는 시청자가 멀티미디어 서머리로부터 토픽들 및 서브토픽들을 사용하여 확장된 시간 기간에 걸쳐서 흥미있는 부가적인 정보를 찾도록 한다. 멀티미디어 서머리는 능동적으로 작업을 유지시키고 시청자에 대해 흥미 있는 정보를 탐색한다. 첫 번째 프로그램의 멀티미디어 서머리를 토대로 탐색된 어떠한 새로운 부가적인 정보도 두 번째 프로그램이 토픽들, 서브토픽들 또는 첫 번째 프로그램과 유사한 키워드들을 갖는 경우 두 번째 프로그램의 멀티미디어 서머리에 첨부될 수 있다.
본 발명이 상세히 서술되었지만, 당업자는 최광으로 본 발명의 원리 및 영역을 벗어남이 없이 다양한 형태로 본 발명을 변경하거나 대체할 수 있다는 것을 알 수 있을 것이다.

Claims (19)

  1. 비디오 프로그램을 표시하는 것이 가능한 비디오 표시 시스템(video display system:105)에서 사용하기 위해서, 상기 비디오 프로그램의 적어도 일부분을 표시하도록 상기 비디오 프로그램의 멀티미디어 서머리(multimedia summary)를 액세스하기 위한 시스템(250, 300)은,
    상기 비디오 프로그램의 적어도 하나의 토픽(topic) 및 상기 비디오 프로그램의 상기 적어도 하나의 토픽에 대응하는 적어도 하나의 엔트리 포인트를 식별하는 디스플레이 페이지(display page:500)상에 상기 멀티미디어 서머리로부터의 정보를 표시할 수 있는 멀티미디어 서머리 발생기(250, 300)를 포함하며,
    상기 멀티미디어 서머리 발생기(250, 300)는, 상기 비디오 프로그램의 상기 적어도 하나의 토픽에 대응하는 상기 엔트리 포인트의 시청자에 의한 선택에 응답하여 상기 비디오 프로그램의 상기 적어도 하나의 토픽에 대응하는 상기 비디오 프로그램의 일부를 표시할 수 있는, 멀티미디어 서머리 액세스 시스템.
  2. 제 1 항에 있어서,
    상기 비디오 프로그램의 상기 적어도 하나의 토픽의 적어도 하나의 서브토픽(subtopic) 및 상기 비디오 프로그램의 상기 적어도 하나의 토픽의 상기 적어도 하나의 서브토픽에 대응하는 적어도 하나의 엔트리 포인트를 식별하는 표시 페이지(500)상의 상기 멀티미디어 서머리로 부터의 정보를 표시할 수 있으며,
    상기 멀티미이어 서머리 발생기(250, 300)는 상기 비디오 프로그램의 상기 적어도 하나의 토픽의 상기 서브토픽에 대응하는 상기 엔트리 포인트의 시청자에 의한 선택에 대응하는 상기 비디오 프로그램의 일부를 표시할 수 있는, 멀티미디어 서머리 액세스 시스템.
  3. 제 1 또는 2 항에 있어서,
    상기 비디오 프로그램내의 오디오-비주얼 세그먼트(audio-visual segment)의 적어도 하나의 카테고리와, 상기 비디오 프로그램 동안에 오디오-비주얼 세그먼트의 적어도 하나의 카테고리가 발생하는 시간을 식별하는 대화자 가시화 페이지(speaker visualization page:600)상에 상기 멀티미디어 서머리로부터의 정보를 표시할 수 있는 대화자 가시화 표시 유닛(250, 370)을 포함하며,
    상기 대화자 가시화 표시 유닛(250, 370)은 오디오-비주얼 세그먼트의 상기 적어도 하나의 카테고리가 상기 비디오 프로그램 동안에 발생하는 상기 시간의 시청자에 의한 선택에 응답하여 상기 비디오 프로그램의 상기 적어도 일부분을 표시할 수 있는, 멀티미디어 서머리 액세스 시스템.
  4. 제 3 항에 있어서,
    오디오-비주얼 세그먼트의 상기 적어도 하나의 카테고리는,
    대화하는 사람, 상업 메시지, 얼굴이 표시되는 사람, 토픽, 서브토픽, 및 상기 비디오 프로그램의 트렌스크립트(transcript)의 요소(element)를 포함하는, 멀티미디어 서머리 액세스 시스템.
  5. 제 3 항에 있어서,
    상기 대화자 가시화 표시 장치(250, 370)는,
    상기 대화자 가시화 페이지(600)를 표시할 수 있는 상기 제어기(250)에 결합되는 메모리(280)에 포함되는 컴퓨터 소프트웨어 명령들을 실행할 수 있으며, 상기 비디오 프로그램 동안에 오디오-비주얼 세그먼트의 상기 적어도 하나의 카테고리가 발생하는 시간을 식별하는 시청자로부터의 선택을 수신할 수 있으며, 상기 시청자 선택을 수신하는 것에 응답하여, 오디오-비주얼 세그먼트의 상기 적어도 하나의 카테고리를 보여주는 상기 비디오 프로그램의 상기 적어도 일부를 표시할 수 있는 제어기(250)를 포함하는, 멀티미디어 서머리 액세스 시스템.
  6. 제 3 항에 있어서,
    상기 대화자 가시화 표시 유닛(250, 370)은 상기 비디오 프로그램내의 각 대화자와, 상기 비디오 프로그램내의 각 대화자가 대화하는 때를 보여주는 다수의 시간 세그먼트들을 식별하는 대화자 가시화 페이지(600) 상에 상기 멀티미디어 서머리로부터의 정보를 표시할 수 있으며,
    상기 대화자 가시화 표시 유닛(250, 370)은 시간 세그먼트의 시청자에 의한 선택을 수신할 수 있으며, 상기 시청자 선택을 수신하는 것에 응답하여, 선택된 시간 세그먼트 동안에 대화하는 대화자를 보여주는 상기 비디오 프로그램의 일부를표시할 수 있는, 멀티미디어 서머리 액세스 시스템.
  7. 제 1 항에 있어서,
    상기 멀티미디어 서머리 발생기(250 300)는 상기 시청자에 의해서 선택된 적어도 하나의 토픽을 기록할 수 있으며, 상기 적어도 하나의 토픽에 관련되는 부가적인 정보를 위치시킬 수 있으며, 시청자에게 상기 부가적인 정보를 알려줄 수 있는, 멀티미디어 서머리 액세스 시스템.
  8. 청구항 제 1 내지 7 항에 청구된 상기 비디오 프로그램의 적어도 일부를 표시하기 위해 상기 비디오 프로그램의 멀티미디어 서머리를 액세스하기 위한 시스템(250, 300)을 포함하는, 비디오 프로그램을 표시할 수 있는 비디오 표시 시스템(105).
  9. 비디오 프로그램을 표시할 수 있는 비디오 표시 시스템(105)에서 사용하기 위해서, 상기 비디오 프로그램의 적어도 일부를 표시하기 위해서 상기 비디오 프로그램의 멀티미디어 서머리를 액세스하기 위한 방법에 있어서,
    상기 비디오 프로그램의 적어도 하나의 토픽을 식별하는 표시 페이지(500)상에 상기 멀티미디어 서머리로부터의 정보를 표시하는 단계,
    상기 비디오 프로그램의 상기 적어도 하나의 토픽에 대응하는 적어도 하나의 엔트리 포인트를 상기 표시 페이지(500)상에 표시하는 단계,
    상기 비디오 프로그램의 상기 적어도 하나의 토픽에 대응하는 상기 엔트리 포인트의 시청자에 의한 선택을 수신하는 단계, 및
    상기 비디오 프로그램의 상기 적어도 하나의 토픽에 대응하는 상기 비디오 프로그램의 일부를 표시하는 단계를 포함하는, 멀티미디어 서머리 액세스 방법.
  10. 제 9 항에 있어서,
    상기 비디오 프로그램의 상기 적어도 하나의 토픽의 적어도 하나의 서브토픽을 식별하는 표시 페이지(500)상에 상기 멀티미디어 서머리로부터의 정보를 표시하는 단계,
    상기 비디오 프로그램의 상기 적어도 하나의 토픽의 상기 적어도 하나의 서브토픽에 대응하는 적어도 하나의 상기 엔트리 포인트를 상기 표시 페이지(500)상에 표시하는 단계,
    상기 비디오 프로그램의 상기 적어도 하나의 토픽의 상기 적어도 하나의 서브토픽에 대응하는 상기 엔트리 포인트의 시청자에 의한 선택을 수신하는 단계, 및
    상기 비디오 프로그램의 상기 적어도 하나의 토픽의 상기 적어도 하나의 서브토픽에 대응하는 상기 비디오 프로그램의 일부를 표시하는 단계를 포함하는, 멀티미디어 서머리 액세스 방법.
  11. 제 9 항 또는 10 항에 있어서,
    상기 비디오 프로그램의 오디오-비주얼 세그먼트의 적어도 하나의 카테고리및, 상기 비디오 프로그램 동안에 오디오-비주얼 세그먼트의 상기 적어도 하나의 카테고리가 발생하는 시간을 식별하는 대화자 가시화 페이지(600)상에 상기 멀티미디어 서머리로부터의 정보를 표시하는 단계, 및
    상기 비디오 프로그램 동안에 오디오-비주얼 세그먼트의 상기 적어도 하나의 카테고리가 발생하는 상기 시간의 시청자에 의한 선택을 수신하는 단계, 및
    상기 시청자에 의해서 선택된 상기 비디오 프로그램의 오디오-비주얼 세그먼트의 상기 적어도 하나의 카테고리를 보여주는 상기 비디오 프로그램의 일부를 표시하는 단계를 포함하는, 멀티미디어 서머리 액세스 방법.
  12. 제 11 항에 있어서,
    오디오-비주얼 세그먼트의 상기 적어도 하나의 카테고리는,
    대화하는 사람, 상업 메시지, 얼굴이 표시되는 사람, 토픽, 서브토픽, 및 상기 비디오 프로그램의 트렌스크립트의 요소를 포함하는, 멀티미디어 서머리 액세스 방법.
  13. 제 11 항에 있어서,
    제어기에서, 상기 제어기에 결합된 메모리에 저장된 컴퓨터 소프트웨어(370)로부터의 명령을 수신하는 단계,
    상기 대화자 가시화 페이지(600)를 표시하기 위해서 상기 제어기에서 상기 명령들을 실행하는 단계,
    오디오-비주얼 세그먼트의 상기 적어도 하나의 카테고리가 상기 비디오 프로그램중에 발생하는 시간을 식별하는 시청자로부터의 선택을 수신하도록 상기 제어기(250)에서 상기 명령을 실행하는 단계, 및
    오디오-비주얼 세그먼트의 상기 적어도 하나의 카테고리를 보여주는 상기 비디오 프로그램의 상기 적어도 일부를 표시하도록 상기 시청자 선택을 수신하는 것에 응답하여 상기 제어기(250)에서 상기 명령을 실행하는 단계를 더 포함하는, 멀티미디어 서머리 액세스 방법.
  14. 제 11 항에 있어서,
    상기 비디오 프로그램내의 각각의 대화자와, 상기 비디오 프로그램내의 각 대화자가 대화하는 때를 나타내는 다수의 시간 세그먼트들을 식별하는 대화자 가시화 페이지(600)상에 상기 멀티미디어 서머리로부터의 정보를 표시하는 단계,
    시간 세그먼트의 시청자에 의한 선택을 수신하는 단계, 및
    상기 시청자 선택을 수신하는 것에 응답하여, 선택된 시간 세그먼트 동안에 대화하는 대화자를 보여주는 상기 비디오 프로그램의 일부를 표시하는 단계를 더 포함하는, 멀티미디어 서머리 액세스 방법.
  15. 제 9 항에 있어서,
    상기 시청자에 의해서 선택된 적어도 하나의 토픽을 기록하는 단계,
    상기 적어도 하나의 토픽에 관련되는 부가적인 정보를 위치시키는 단계, 및
    시청자에게 상기 부가적인 정보를 알리는 단계를 더 포함하는, 멀티미디어 서머리 액세스 방법.
  16. 상기 컴퓨터 프로그램 제품을 실행할 때 프로그래밍 장치를 청구항 제 1 내지 7 항 중 어느 한 항에 청구된 시스템(250, 300)으로서 기능할 수 있게 하는 컴퓨터 프로그램 제품.
  17. 제 11 항에 있어서,
    2차원 포맷으로 적어도 두가지 유형들의 정보를 표시하는 대화자 가시화 페이지(600)상에 상기 멀티미디어 서머리로부터의 정보를 표시하는 단계를 더 포함하는, 멀티미디어 서머리 액세스 방법.
  18. 제 11 항에 있어서,
    3차원 포맷으로 적어도 세가지 유형들의 정보를 표시하는 대화자 가시화 페이지(600)상에 상기 멀티미디어 서머리로부터의 정보를 표시하는 단계를 더 포함하는, 멀티미디어 서머리 액세스 방법.
  19. 제 11 항에 있어서,
    적어도 네가지 유형들의 정보를 표시하는 적어도 두 개의 대화자 가시화 페이지들(600) 상에 상기 멀티미디어 서머리로부터의 정보를 표시하는 단계를 더 포함하는, 멀티미디어 서머리 액세스 방법.
KR1020027010896A 2000-12-21 2001-12-06 비디오 프로그램의 멀티미디어 서머리를 엑세스하기 위한시스템 및 방법 KR20020076324A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/747,108 US20020083473A1 (en) 2000-12-21 2000-12-21 System and method for accessing a multimedia summary of a video program
US09/747,108 2000-12-21
PCT/IB2001/002372 WO2002051138A2 (en) 2000-12-21 2001-12-06 System and method for accessing a multimedia summary of a video program

Publications (1)

Publication Number Publication Date
KR20020076324A true KR20020076324A (ko) 2002-10-09

Family

ID=25003680

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027010896A KR20020076324A (ko) 2000-12-21 2001-12-06 비디오 프로그램의 멀티미디어 서머리를 엑세스하기 위한시스템 및 방법

Country Status (6)

Country Link
US (1) US20020083473A1 (ko)
EP (1) EP1348298A2 (ko)
JP (1) JP2004516752A (ko)
KR (1) KR20020076324A (ko)
CN (1) CN1425249A (ko)
WO (1) WO2002051138A2 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120925A1 (en) * 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
US6714909B1 (en) 1998-08-13 2004-03-30 At&T Corp. System and method for automated multimedia content indexing and retrieval
US8028314B1 (en) 2000-05-26 2011-09-27 Sharp Laboratories Of America, Inc. Audiovisual information management system
US8020183B2 (en) 2000-09-14 2011-09-13 Sharp Laboratories Of America, Inc. Audiovisual management system
US20030038796A1 (en) * 2001-02-15 2003-02-27 Van Beek Petrus J.L. Segmentation metadata for audio-visual content
US7904814B2 (en) 2001-04-19 2011-03-08 Sharp Laboratories Of America, Inc. System for presenting audio-video content
US7499077B2 (en) * 2001-06-04 2009-03-03 Sharp Laboratories Of America, Inc. Summarization of football video content
US7203620B2 (en) * 2001-07-03 2007-04-10 Sharp Laboratories Of America, Inc. Summarization of video content
US7474698B2 (en) 2001-10-19 2009-01-06 Sharp Laboratories Of America, Inc. Identification of replay segments
US7120873B2 (en) * 2002-01-28 2006-10-10 Sharp Laboratories Of America, Inc. Summarization of sumo video content
US8214741B2 (en) 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
US20040210947A1 (en) 2003-04-15 2004-10-21 Shusman Chad W. Method and apparatus for interactive video on demand
US7657836B2 (en) 2002-07-25 2010-02-02 Sharp Laboratories Of America, Inc. Summarization of soccer video content
US7657907B2 (en) 2002-09-30 2010-02-02 Sharp Laboratories Of America, Inc. Automatic user profiling
SE524936C2 (sv) * 2002-10-23 2004-10-26 Softhouse Nordic Ab Mobil likhetsbedömning av objekt
WO2004095456A1 (en) * 2003-04-24 2004-11-04 Koninklijke Philips Electronics N.V. Menu generator device and menu generating method for complementing video/audio signals with menu information
EP1625540A2 (en) * 2003-05-16 2006-02-15 PCH International Ltd. Method and system for supply chain management employing a vizualization interface
EP1538536A1 (en) * 2003-12-05 2005-06-08 Sony International (Europe) GmbH Visualization and control techniques for multimedia digital content
US8949899B2 (en) 2005-03-04 2015-02-03 Sharp Laboratories Of America, Inc. Collaborative recommendation system
US8356317B2 (en) 2004-03-04 2013-01-15 Sharp Laboratories Of America, Inc. Presence based technology
US7594245B2 (en) 2004-03-04 2009-09-22 Sharp Laboratories Of America, Inc. Networked video devices
CN1977536A (zh) * 2004-04-28 2007-06-06 松下电器产业株式会社 节目选择系统
KR100602435B1 (ko) * 2004-10-11 2006-07-19 (주)토필드 예약녹화장치 및 그 방법
US7835158B2 (en) * 2005-12-30 2010-11-16 Micron Technology, Inc. Connection verification technique
JP2007228220A (ja) * 2006-02-23 2007-09-06 Funai Electric Co Ltd ハードディスクドライブ内蔵型テレビジョン受像機、及びテレビジョン受像機
US8689253B2 (en) 2006-03-03 2014-04-01 Sharp Laboratories Of America, Inc. Method and system for configuring media-playing sets
US8589973B2 (en) * 2006-09-14 2013-11-19 At&T Intellectual Property I, L.P. Peer to peer media distribution system and method
JP4909854B2 (ja) * 2007-09-27 2012-04-04 株式会社東芝 電子機器および表示処理方法
US8037095B2 (en) * 2008-02-05 2011-10-11 International Business Machines Corporation Dynamic webcast content viewer method and system
CN102723089B (zh) * 2011-05-11 2015-11-18 新奥特（北京）视频技术有限公司 一种现场输出数据并播出的实现方法及系统
JP2013025748A (ja) * 2011-07-26 2013-02-04 Sony Corp 情報処理装置、動画要約方法、及びプログラム
KR101956373B1 (ko) * 2012-11-12 2019-03-08 한국전자통신연구원 요약 정보 생성 방법, 장치 및 서버
CN103399865B (zh) * 2013-07-05 2018-04-10 华为技术有限公司 一种生成多媒体文件的方法和装置
KR102217186B1 (ko) * 2014-04-11 2021-02-19 삼성전자주식회사 요약 컨텐츠 서비스를 위한 방송 수신 장치 및 방법
US9906820B2 (en) * 2015-07-06 2018-02-27 Korea Advanced Institute Of Science And Technology Method and system for providing video content based on image
US10290320B2 (en) * 2015-12-09 2019-05-14 Verizon Patent And Licensing Inc. Automatic media summary creation systems and methods
EP3429706B1 (en) * 2016-03-18 2020-02-26 C360 Technologies, Inc. Shared experiences in panoramic video
US20180160200A1 (en) * 2016-12-03 2018-06-07 Streamingo Solutions Private Limited Methods and systems for identifying, incorporating, streamlining viewer intent when consuming media
US10839221B2 (en) * 2016-12-21 2020-11-17 Facebook, Inc. Systems and methods for compiled video generation
CN106649713B (zh) * 2016-12-21 2020-05-12 中山大学 一种基于内容的电影可视化处理方法及其系统
US10123058B1 (en) 2017-05-08 2018-11-06 DISH Technologies L.L.C. Systems and methods for facilitating seamless flow content splicing
US10192584B1 (en) 2017-07-23 2019-01-29 International Business Machines Corporation Cognitive dynamic video summarization using cognitive analysis enriched feature set
US11115717B2 (en) 2017-10-13 2021-09-07 Dish Network L.L.C. Content receiver control based on intra-content metrics and viewing pattern detection
CN110198467A (zh) * 2018-02-27 2019-09-03 优酷网络技术（北京）有限公司 视频播放方法及装置
CN108650558B (zh) * 2018-05-30 2021-01-15 互影科技（北京）有限公司 基于交互视频的视频前情提要的生成方法及装置
CN109905764B (zh) * 2019-03-21 2021-08-24 广州国音智能科技有限公司 一种视频中目标人物语音截取方法及装置
US11361759B2 (en) * 2019-11-18 2022-06-14 Streamingo Solutions Private Limited Methods and systems for automatic generation and convergence of keywords and/or keyphrases from a media

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485221A (en) * 1993-06-07 1996-01-16 Scientific-Atlanta, Inc. Subscription television system and terminal for enabling simultaneous display of multiple services
US5907323A (en) * 1995-05-05 1999-05-25 Microsoft Corporation Interactive program summary panel
US5654748A (en) * 1995-05-05 1997-08-05 Microsoft Corporation Interactive program identification system
JPH0993548A (ja) * 1995-09-27 1997-04-04 Toshiba Corp 文字情報表示機能付きテレビ受信機
JP3407840B2 (ja) * 1996-02-13 2003-05-19 日本電信電話株式会社 映像要約方法
JP3377677B2 (ja) * 1996-05-30 2003-02-17 日本電信電話株式会社 映像編集装置
JP3426876B2 (ja) * 1996-09-27 2003-07-14 三洋電機株式会社 映像関連情報生成装置
US6263507B1 (en) * 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
JP3250509B2 (ja) * 1998-01-08 2002-01-28 日本電気株式会社 放送番組の視聴方法および視聴装置
US6366296B1 (en) * 1998-09-11 2002-04-02 Xerox Corporation Media browser using multimodal analysis
JP2000253337A (ja) * 1999-02-24 2000-09-14 Sony Corp 画面の制御方法および画面の制御装置および映像再生方法および映像再生装置および映像情報の記録方法および映像情報の記録装置およびコンピュータが読み取り可能な記録媒体
US6580437B1 (en) * 2000-06-26 2003-06-17 Siemens Corporate Research, Inc. System for organizing videos based on closed-caption information

Also Published As

Publication number Publication date
CN1425249A (zh) 2003-06-18
WO2002051138A2 (en) 2002-06-27
WO2002051138A3 (en) 2002-08-22
EP1348298A2 (en) 2003-10-01
JP2004516752A (ja) 2004-06-03
US20020083473A1 (en) 2002-06-27

Similar Documents

Publication Publication Date Title
KR20020076324A (ko) 비디오 프로그램의 멀티미디어 서머리를 엑세스하기 위한시스템 및 방법
KR100865042B1 (ko) 비디오 프로그램의 멀티미디어 설명 데이터를 생성하는 시스템 및 방법, 비디오 디스플레이 시스템, 및 컴퓨터 판독 가능 기록 매체
US10713009B2 (en) User speech interfaces for interactive media guidance applications
US6988245B2 (en) System and method for providing videomarks for a video program
US7356244B2 (en) Method and system for replaying video images
JP6356097B2 (ja) デジタル格納部を備えた電子番組ガイド
US7346264B2 (en) Non-linear reproduction control method of multimedia stream and apparatus thereof
US20170199856A1 (en) Method and apparatus for annotating video content with metadata generated using speech recognition technology
US8005344B2 (en) Enhanced personal video recorder including user play programming
US8448068B2 (en) Information processing apparatus, information processing method, program, and storage medium
US20050060741A1 (en) Media data audio-visual device and metadata sharing system
JP2015092757A (ja) 記録されたプログラムを用いてプロモーションを提供するためのシステムおよび方法
JP2008148077A (ja) 動画再生装置
US20020174445A1 (en) Video playback device with real-time on-line viewer feedback capability and method of operation
US7493021B2 (en) Method and apparatus for using closed captioning data to identify television programming content for recording
JP2006350925A (ja) 番組検索支援システム
KR20040101245A (ko) 키 오디오/비디오 세그먼트를 찾기 위한 복사부 정보의 사용
JP2002262224A (ja) インデックス配信方法、インデックス配信装置および番組記録装置
JPH1139343A (ja) 映像検索装置
KR20060102639A (ko) 동영상 재생 시스템 및 방법
KR20070033119A (ko) Ｐｖｒ 기능을 구비한 디지털 방송 수신장치 및 이를이용한 녹화 목록 검색방법
JP2001257973A (ja) 記録／再生装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid