KR20060113761A - 기록 장치, 기록 방법, 기록 매체, 요약 재생 장치, 요약 재생 방법, 멀티미디어 요약 시스템 및 멀티미디어 요약 방법 - Google Patents

기록 장치, 기록 방법, 기록 매체, 요약 재생 장치, 요약 재생 방법, 멀티미디어 요약 시스템 및 멀티미디어 요약 방법 Download PDF

Info

Publication number
KR20060113761A
KR20060113761A KR1020067014082A KR20067014082A KR20060113761A KR 20060113761 A KR20060113761 A KR 20060113761A KR 1020067014082 A KR1020067014082 A KR 1020067014082A KR 20067014082 A KR20067014082 A KR 20067014082A KR 20060113761 A KR20060113761 A KR 20060113761A
Authority
KR
South Korea
Prior art keywords
video
metadata
segment
image
audio
Prior art date
Application number
KR1020067014082A
Other languages
English (en)
Other versions
KR100831531B1 (ko
Inventor
이사오 오츠카
가즈히코 나카네
마사하루 오가와
아제이 디바카란
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/757,138 external-priority patent/US20050154987A1/en
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20060113761A publication Critical patent/KR20060113761A/ko
Application granted granted Critical
Publication of KR100831531B1 publication Critical patent/KR100831531B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

시스템 및 방법은, 구간열로 분할된 압축 멀티미디어 파일에 저장되어 있는 멀티미디어를 요약하고, 멀티미디어의 콘텐츠는 예컨대, 영상 신호, 음성 신호, 텍스트, 및 2진 데이터이다. 관련되는 메타데이터 파일이 각 구간의 색인 정보 및 중요도 레벨을 포함한다. 중요도 정보는 폐구간에 걸쳐 연속적이다. 중요도 레벨의 임계값은 폐구간에서 선택되고, 멀티미디어 중, 중요도 레벨의 임계값보다 높은 특정의 중요도 레벨을 갖는 구간만이 재생된다. 중요도 레벨은, 복수의 구간으로 이루어지는 고정 길이의 윈도우, 즉 슬라이딩 윈도우에 대하여 구할 수도 있다. 또한, 중요도 레벨은 음량 등의 계수에 의해 가중치 부여할 수 있다.

Description

요약 재생 장치 및 요약 재생 방법{SUMMARIZING REPRODUCTION DEVICE AND SUMMARIZING REPRODUCTION METHOD}
본 발명은 포괄적으로는 멀티미디어의 처리에 관한 것으로, 특히, 영상 신호, 음성 신호, 텍스트, 및 2진 데이터를 기억 매체에 기록하고, 이 멀티미디어의 선택된 부분을 재생하는 것에 관한 것이다.
비디오(예컨대 영화, 녹화한 스포츠 이벤트 또는 뉴스방송)를 민첩하게 시청 및 분석하기 위해서, 비디오의 요약을 작성할 수 있다. 비압축 비디오 및 압축 비디오를 요약하기 위한 몇 가지 방법이 알려져 있다.
종래의 비디오를 요약하는 방법은, 우선 비디오를 장면 또는 「샷(shot)」으로 세분화하고, 다음에 저 레벨의 특징과 고 레벨의 특징을 추출한다. 저 레벨의 특징은 통상, 색 성분, 움직임 성분, 및 음성 성분 등의 신택스(syntax)에 근거하는 것인 데 비하여, 한편, 고 레벨의 특징은 의미가 있는 정보이다.
다음에 특징을 분류하고, 분류한 특징에 따라 샷을 더 세분화한 세그먼트를 얻을 수 있다. 세그먼트(segments)는, 짧은 화상열(sequences)(예컨대 1초 또는 2 초의 「클립(clips)」 또는 「정지(still)」 프레임)로 변환하고, 라벨 첨부 및 색인 첨부를 할 수 있다. 따라서 시청자는, 요약을 민첩하게 주사하여, 상세히 재생하는 비디오의 부분을 선택할 수 있다. 분명히, 그와 같은 요약의 문제는, 요약의 작성에 이용되는 특징 및 분류에만 근거해서밖에 재생을 할 수 없는 것이다.
시청을 더 보조하기 위해, 세그먼트를 상대적인 중요도에 따라 주관적으로 순위를 붙일 수 있다. 따라서, 비디오 중의 중요한 이벤트(클라이맥스의 장면, 또는 골 득점의 찬스 등)를 민첩하게 식별할 수 있다(예컨대, 비특허문헌 1 및 2 참조). 시청자는, 재생 장치의 빨리감기 기능 또는 뒤로감기 기능을 이용하여, 설정된 중요한 세그먼트 중, 흥미가 있는 세그먼트를 시청할 수 있다(예컨대, 비특허문헌 3을 참조).
뉴스 비디오를 요약하는 다른 기법은 움직임 액티비티 기술자(motion activity descriptor)를 이용한다(예컨대, 특허문헌 1 참조). 축구의 하이라이트를 작성하는 기법은, 영상 특징과 음성 특징의 조합을 이용한다(예컨대, 특허문헌 2 참조). 음성 특징 및 영상 특징은 또, 뉴스, 축구, 야구 및 골프의 비디오의 하이라이트를 작성하기 위해 이용할 수 있다(예컨대, 특허문헌 3 참조). 이들 기법은, 비디오로부터 주목해야 할 이벤트의 중요한 세그먼트를 추출한다(득점의 찬스 또는 뉴스 스토리의 도입 부분 등). 따라서 본래의 비디오는 추출된 중요한 세그먼트를 포함하는 요약에 의해 표시된다. 중요한 세그먼트는, 본래의 콘텐츠로의 엔트리 포인트를 제공할 수 있고, 따라서 유연하고 편리한 네비게이션을 가능하게 한다.
또한, 종래의 프로그램 검색 장치는, 상기 비디오에 대응하는 입력 신호를 기록할 때에 해당 입력 신호로부터 소정의 정보를 추출하고, 해당 정보의 종류에 따라, 상기 입력 신호에 대응하는 비디오(영상 음성 스트림)를 시간축으로 단편화하여 비디오 샷을 얻는다. 다음에, 해당 비디오 샷을 미리 설정하는 소정의 카테고리에 구분하여, 재생 시간 위치 정보(기록 매체에 있어서의 해당 비디오 샷의 위치를 나타내는 정보)와 함께 기록 매체에 기록한다. 그리고, 상기 기록 매체에 기록한 프로그램을 시청자가 단시간에 훑어보는 경우에는, 시청자가 선택한 정보의 종류에 따른 카테고리에 속하는 비디오 샷만을 연속하여 재생한다(예컨대, 특허문헌 4 참조).
또한, 다른 프로그램 검색 장치는, 비디오 샷의 재생 시간 범위의 재생 시간 위치 정보를 중요도에 따라 잘라내어 정리한 테이블이 설정되고, 재생시에는, 시청자에 의해 지정된 중요도에 대응하는 테이블에 기술되어 있는 재생 시간 위치 정보에 근거하여 재생을 실행한다(예컨대, 비특허문헌 1 참조).
[특허문헌 1] 미국특허출원 제09/845,009호
[특허문헌 2] 미국특허출원 제10/046,790호
[특허문헌 3] 미국특허출원 제10/374,017호
[특허문헌 4] 일본특허공개 2000-125243호 공보(제11페이지, 도 1)
[비특허문헌 1] 후지와라 등 저, 「Summary DS를 이용한 비디오의 요약 기술」, 포인트 도해식 브로드밴드+모바일 표준 MPEG 교과서, 주식회사 아스키, p.177 도 5-24, 2003년 2월 11일,
[비특허문헌 2] 「ISO/IEC 15938-5:2002 정보 기술-멀티미디어 콘텐츠 기술 인터페이스-Part 5:멀티미디어 기술 계획(ISO/IEC 15938-5:2002 Information technology-Multimedia content description interface-Part 5: Multimedia Description Schemes)」(2002년)
[비특허문헌 3] DVD 레코더 「DVR-7000 취급설명서」(파이오니아 주식회사, p.49, 2001년)
종래 기술에 의한 비디오의 녹화, 요약 및 재생에는 몇 가지 문제가 있다. 제1에, 요약은, 시청자의 선입관이 아니라, 추출되는 특징, 분류, 및 중요도의 어떠한 선입관에 근거하는 것이다. 제2에, 중요도 레벨을 이용하는 경우, 중요도 레벨은 통상, 매우 소수의 레벨로 양자화된다(예컨대 5 이하). 또한 많은 경우에는, 2개의 레벨(즉, 흥미가 있는 세그먼트를 나타내는 레벨과, 비디오의 나머지의 부분을 나타내는 레벨)밖에 이용되지 않는다.
특히, 중요도가 세밀한 양자화를 이용하는 경우, 계층의 계층수가 매우 많아져, 너무 많은 계층을 관리해야만 하게 되기 때문에, MPEG-7 규격으로 제안되어 있는 계층 기술은 매우 취급하기 어렵다.
MPEG-7의 기재에서는, 콘텐츠를 편집할 때에 메타데이터를 편집해야 한다. 예컨대, 본래의 콘텐츠로부터 어떤 세그먼트를 컷트한 경우, 이 컷트의 영향을 받는 모든 계층을 수정해야 한다. 이것은, 편집 조작의 회수가 증가하면 곧 취급하기 어렵게 될 가능성이 있다.
중요도 레벨은 매우 주관적이고, 또한, 콘텐츠에 매우 의존하고 있다. 즉, 스포츠 비디오의 중요도 레벨은 특정 스포츠 쟝르에 의존하고, 영화나 뉴스 프로그램에는 전혀 적용할 수 없다. 또한 시청자는 작성되는 요약의 길이를 제어할 수가 없다.
종래 기술의 기법이 이용하는 소수의 주관 레벨은, 시청자가 몇 가지 다른 비디오를 요약에 근거하여 편집하고 서로 연결시켜, 시청자의 관심을 반영한 파생적인 비디오를 작성하는 것을 사실상 불가능하게 한다.
또한, 종래의 검색 장치에도, 몇 가지 문제가 있다. 우선, 상기한 비특허문헌 3(DVD 레코더 「DVR-7000」 취급설명서)에 기재된 프로그램 검색 장치와 같이, 시청자 자신의 주관에 의해, 해당 시청자가 마음에 든 장면으로 챕터마크를 설정(각인)하는 경우에는, 시청자에게 번잡한 조작이 요구된다.
또한, 상기한 특허문헌 4(일본특허공개 2000-125243호 공보) 또는 상기 비특허문헌 1(포인트 도해식 브로드밴드+모바일 표준 MPEG 교과서)에 기재된 프로그램 검색 장치에 있어서는, 시청자의 선택에 따른 재생은 가능하지만, 미리 설정된 테이블 단위 또는 카테고리 단위에 의한 영상의 선택에서는, 기록 매체에 기록된 비디오 전체에 있어서의 고조의 경향(예컨대, 스포츠 프로그램에 있어서의 시합의 흐름 등)을 파악하는 것은 곤란하다. 특히, 기록 매체에 기록된 비디오가 시청자에게 있어 처음보는 프로그램인 경우에는, 비디오 전체에 있어서의 고조의 경향을 파악하는 것은 불가능하다.
본 발명은, 이러한 문제점을 해소하기 위해서 이루어진 것으로서, 시청자가 제어 가능한 방법으로 비디오를 기록 및 재생하는 것이 가능한 멀티미디어 요약 시스템 및 멀티미디어 요약 방법을 얻는 것을 목적으로 한다. 또한, 콘텐츠에 의존하지 않고, 또한 주관적이지 않은 중요도 레벨을 지정하는 것이 필요로 되고 있다. 또한, 보다 많은 별개의 중요도 레벨을 제공하는 것이 필요로 되고 있다. 최후에, 시청자가, 혼자서 선택한 중요도 레벨에 따라 임의의 길이의 요약을 작성하는 것을 가능하게 하는 것이 필요로 되고 있다.
본 발명은, 멀티미디어를 요약하는 시스템으로서, 구간열로 분할된 압축 멀티미디어 파일, 및, 상기 열의 각 구간의 색인 정보 및 폐구간에 걸쳐 연속적인 중요도의 레벨 정보를 포함하는 메타데이터 파일을 저장하는 수단과, 상기 폐구간에 있어서 중요도 레벨의 임계값을 선택하는 수단과, 상기 색인 정보를 이용하여, 상기 멀티미디어 중, 상기 중요도 레벨의 임계값보다 높은 특정한 중요도 레벨을 갖는 구간만을 재생하는 수단을 구비한 멀티미디어를 요약하는 시스템이다.
본 발명에 의하면, 사용자가 선택한, 임의의 길이(재생 시간)의 요약을 작성하는 것이 가능하다.
도 1은 본 발명의 실시예 1에 따른, 멀티미디어를 재생하는 시스템의 블럭도,
도 2는 본 발명의 실시예 1에 따른 멀티미디어의 파일 구조의 블럭도,
도 3은 본 발명의 실시예 1에 따른 메타데이터 파일의 데이터 구조의 블럭도,
도 4는 본 발명의 실시예 1에 따른, 메타데이터 파일을 이용한 멀티미디어의 색인 첨부의 블럭도,
도 5는 본 발명의 실시예 1에 따른 요약 재생을 나타내는 그래프,
도 6(a)는 본 발명의 실시예 1에 따른 다른 요약 재생의 그래프, 및, 도 6(b)는 요약률을 나타내는 그래픽 화상,
도 7은 본 발명의 실시예 1에 따른, 압축된 멀티미디어 파일 및 메타데이터 파일을 기억 매체에 기록하는 시스템의 블럭도,
도 8은 본 발명의 실시예 1에 따른 다른 요약 재생의 그래프,
도 9는 본 발명의 실시예 1에 따른 다른 요약 재생의 그래프,
도 10은 본 발명의 실시예 1에 따른 다른 요약 재생의 그래프,
도 11은 본 발명의 실시예 1에 따른, 멀티미디어를 기록하는 시스템의 블럭도,
도 12는 윈도우로 분할한 멀티미디어 콘텐츠의 블럭도,
도 13은 본 발명의 실시예 2에 있어서의 영상 검색 장치의 구성을 나타내는 블럭도,
도 14는 본 발명의 실시예 2에 있어서의 영상 검색 장치의 OSD 화상을 설명하기 위한 설명도,
도 15는 본 발명의 실시예 2에 있어서의 영상 검색 장치에 있어서의 요약 재 생시에 있어서, 해당 영상 검색 장치에 접속되는 모니터, 텔레비젼 등의 영상 출력단말(130)에 표시되는 영상을 설명하기 위한 설명도,
도 16은 본 발명의 실시예 3의 영상 검색 장치에 있어서 요약 재생을 실행했을 때에 표시되는 화상을 설명하기 위한 설명도,
도 17은 본 발명의 실시예 4의 영상 검색 장치에 있어서 요약 재생을 실행했을 때에 표시되는 화상을 설명하기 위한 설명도,
도 18은 본 발명의 실시예 5의 영상 검색 장치에 있어서 요약 재생을 실행했을 때에 표시되는 화상을 설명하기 위한 설명도,
도 19는 본 발명의 실시예 6의 영상 검색 장치에 있어서 요약 재생을 실행했을 때에 표시되는 화상을 설명하기 위한 설명도,
도 20은 본 발명의 실시예 6에 있어서의 영상 검색 장치의 중요장면 표시 바의 생성 방법을 설명하기 위한 설명도,
도 21은 본 발명의 실시예 7의 영상 검색 장치에 있어서 요약 재생을 실행했을 때에 표시되는 화상을 설명하기 위한 설명도,
도 22는 본 발명의 실시예 7에 있어서의 영상 검색 장치의 슬라이드 표시 바 및 슬라이드 표시 인디케이터를 설명하기 위한 설명도,
도 23은 본 발명의 실시예 8에 있어서의 기록 장치의 구성을 나타내는 블럭도,
도 24는 CM 검출부에서의 CM 검출을 설명하기 위한 설명도,
도 25는 메타데이터 생성부에서의 중요도 레벨의 수정을 설명하기 위한 설명 도,
도 26은 본 발명의 실시예 8에 있어서의 다른 기록 장치의 구성을 나타내는 블록도이다.
본 발명에 따른 멀티미디어 요약 시스템 및 방법은, 세그먼트로 분할된 압축 멀티미디어 파일에 저장된 멀티미디어를 요약한다.
관련되는 메타데이터 파일은 상기 화상열의 각 세그먼트의 색인 정보 및 중요도 레벨 정보를 포함한다. 바람직한 실시형태에 있어서, 파일은 DVD 등의 기억 매체에 저장된다.
중요도 정보는 임의의 범위 내에서 연속적이다. 중요도 레벨의 임계값, 또는 범위는 상기 임의의 범위 내에서 선택된다. 중요도 레벨은 시청자가 선택한 것, 및 음성 신호(예컨대 음성의 분류 및/또는 음량)에 근거하는 것으로 할 수 있다.
파일을 판독할 때는, 중요도 레벨의 임계값보다 높은 특정 중요도 레벨을 갖는 멀티미디어의 세그먼트만이 재생된다.
요약 정밀도를 더 높이기 위해, 중요도 레벨은 구간 윈도우에 근거하는 것으로 할 수 있다. 이 경우, 콘텐츠는 일정한 길이의 윈도우, 또는, 슬라이딩 윈도우로 분할할 수 있다.
(실시예 1)
재생 시스템의 구조
도 1은 멀티미디어를 재생하는 시스템(100)을 나타낸다. 여기서, 멀티미디어의 콘텐츠는 예컨대, 영상 신호, 음성 신호, 텍스트, 및 2진 데이터이다. 이 시스템은, 파일로서 구성된 멀티미디어 및 메타데이터를 디렉토리에 저장하는 기억 매체(1)(디스크나 테이프 등)를 구비한다. 바람직한 실시형태에 있어서, 멀티미디어는, 예컨대 MPEG 규격이나 AC-3 규격을 이용하여 압축된다. 멀티미디어는, 기지의 기법을 이용하여 세분화되고, 분류되며, 색인이 붙여져 있다. 색인 첨부는 시간 또는 프레임 번호에 근거하여 실행할 수 있다(본 명세서 중에 원용되는 미국특허 제6,628,892호를 참조).
메타데이터는 색인 및 중요도의 정보를 포함한다. 본 발명의 이점으로서, 종래 기술과는 대조적으로, 중요도 정보는 임의의 범위 내(예컨대 [0, 1] 또는 [0, 100])에서 연속적이다. 따라서, 중요도 레벨은 「골」이나 「헤드라인 뉴스의 시간」이 아니라 실수(實數)에 관한 것이고, 예컨대 중요도는 0.567이나 +73.64라는 값이 된다.
부가적인 이점으로서, 연속적인 중요도 정보는 콘텍스트나 콘텐츠에 의존하지 않고, 종래 기술과 같이 매우 주관적이지도 않다. 이들 특징은 모두, 시청자가 멀티미디어를 임의의 소망의 길이까지 재생하는 것을 가능하게 한다.
메타데이터는 2진 또는 텍스트로서, 필요하면, 암호화로 보호할 수 있다. 메타데이터는 날짜, 유효성 코드, 파일 타입 등과 같은 파일 속성을 포함할 수 있 다. 멀티미디어 및 메타데이터의 계층파일 및 디렉토리 구조는 도 2와 같이 된다.
도 1에 도시하는 바와 같이, 판독 드라이브(10)는, 기억 매체(1)로부터 멀티미디어 파일 및 메타데이터 파일을 판독한다. 판독 버퍼(11)는 판독 드라이브(10)에 의해 판독된 데이터를 일시적으로 기억한다. 디멀티플렉서(12)가 판독 버퍼로부터 순차적으로 멀티미디어 데이터를 취득하고, 이 멀티미디어 데이터를 영상 스트림과 음성 스트림으로 분리한다.
비디오 디코더(13)는 영상 신호(17)를 처리하고, 오디오 디코더(14)는 출력 장치(예컨대 텔레비젼 모니터(19))를 위한 음성 신호(18)를 처리한다.
메타데이터 분석부(15)는 판독 버퍼(11)로부터 순차적으로 메타데이터를 취득한다. 프로세서를 포함하는 재생 제어부(16)가 시스템(100)을 제어한다. 메타데이터 분석부(15)의 기능성은, 소프트웨어를 이용하여 실시할 수 있고, 재생 제어부(16)의 일부로서 내장할 수 있다.
또, 본 명세서 중에 기재되는 어느 실시예에서도, 멀티미디어 파일과 메타데이터 파일을 동시에 기록 및 재생할 필요는 없다. 실제로는, 메타데이터 파일은, 별개로 분석하여, 시청자가 멀티미디어 파일중의 흥미가 있는 세그먼트를 민첩하게 찾아내는 것을 가능하게 할 수도 있다. 또한, 멀티미디어 및 메타데이터는 다중화하여 단일의 파일로 하고, 판독 시에 분리할 수도 있다.
파일 및 디렉토리의 구조
도 2는 기억 매체(1)에 저장되는 파일 및 디렉토리의 계층 구조(200)를 나타낸다. 루트 디렉토리(20)는 멀티미디어 디렉토리(21) 및 메타데이터 디렉토리(22) 를 포함한다. 멀티미디어 디렉토리(21)는 정보 관리 파일(23), 멀티미디어 파일(24), 및 백업 파일(25)을 저장한다. 메타데이터 디렉토리(22)는 메타데이터 파일(26)을 저장한다. 또, 다른 디렉토리 및 파일의 구조도 가능하다. 멀티미디어 파일(24)내의 데이터는 다중화된 영상 신호 및/또는 음성 신호를 포함한다.
또, 정보 관리 파일(23) 및/또는 멀티미디어 데이터 파일(24) 중 어느 하나는, 메타데이터의 유무 또는 그것이 무효인 것을 나타내는 플래그를 포함하고 있더라도 좋다.
메타데이터 구조
도 3은 메타데이터 파일(26)의 계층 구조(300)를 나타낸다. 계층에는 5개의 계층 A~E가 있고, 메타데이터(30)를 최상위 계층에 포함하며, 이 하위에 관리 정보(31), 일반 정보(32), 샷 정보(33), 및 색인 및 중요도 정보(34)가 계속된다.
계층 B의 관리 정보(31)는, 전 메타데이터(30)의 포괄적인 기술인 메타데이터 관리 정보(31a), 비디오 오브젝트(VOB) 메타데이터 정보 검색 포인터(31b), 및 관련되는 VOB 메타데이터 정보(31c)를 포함한다. 상관은 일대일일 필요는 없고, 예컨대, 하나의 VOB 메타데이터 정보(31c)에 대한 메타데이터 정보 검색 포인터(31b)가 복수이더라도 좋고, 복수의 VOB에 대한 VOB 메타데이터 정보(31c)가 하나이더라도 무방하고, 또는 하나도 없더라도 무방하다.
다음 계층 C에서는, 각 VOB 메타데이터 정보(31c)가 메타데이터 일반 정보(32a) 및 비디오 샷 맵 정보(32b)를 포함한다. 메타데이터 일반 정보(32a)는 프로그램명, 제작자명, 남배우/여배우/리포터/선수의 이름, 내용 설명, 방송 일시나 채널 등을 포함할 수 있다. 정확한 대응 관계는 메타데이터 일반 정보(32a)에 테이블로서 저장된다.
다음 계층 D에는, 비디오 샷 맵 정보(32b)마다, 비디오 샷 맵 일반 정보(33a), 및 하나 또는 복수의 비디오 샷 엔트리(33b)가 있다. 상기한 바와 같이, 이들 엔트리 사이에 일대일의 대응 관계가 있을 필요는 없다. 정확한 대응 관계는 비디오 샷 맵 일반 정보(33a)에 테이블로서 저장된다.
다음 계층 E에는, 비디오 샷 엔트리(33b)마다, 비디오 샷 개시 시간 정보(34a), 비디오 샷 종료 시간 정보(34b), 및, 비디오 샷 중요도 레벨(34c)이 있다. 상기한 바와 같이, 프레임 번호로 멀티미디어에 색인을 붙일 수도 있다. 색인 데이터를 비디오 샷 개시 시간 정보(34a)로부터 취득할 수 있는 경우, 색인 정보는 생략할 수 있다. 임의의 순위 첨부 시스템을 이용하여 상대적인 중요도를 나타낼 수 있다. 상기한 바와 같이, 중요도 레벨은, 연속적이고 또한 콘텐츠와는 독립된 것으로 할 수 있다. 중요도 레벨은 수동 또는 자동으로 부가할 수 있다.
또, 도 3에 있어서는, 메타데이터 파일(200)을 5개의 계층으로 하는 경우에 대하여 설명했지만, 비디오 샷 중요도 레벨(34c)과, 해당 비디오 샷 중요도 레벨(34c)에 대응하는 비디오 샷의 재생 위치 정보를 특정할 수 있는 시간 정보 또는 색인 정보가 포함되어 있으면, 계층은 몇 개라도 좋다. 또한, 도 3에 있어서는, 메타데이터 파일(26)에 있어서, 모든 비디오 오브젝트의 메타데이터를 하나의 파일로서 취급하는 경우에 대하여 설명했지만, 예컨대, 비디오 오브젝트마다 독립된 메타데이터 파일을 설정하더라도 무방하다.
멀티미디어의 색인 첨부
도 4는, 본 발명에 있어서의 기록 및 재생되는 멀티미디어와, 메타데이터와의 관계를 나타낸다. 정보 관리 파일(23)에 저장되는 프로그램 체인 정보(40)에는, 멀티미디어 데이터 파일(24)의 멀티미디어의 재생 순서가 기술된다. 체인 정보는, 프로그램 체인 정보(40)에 의해 정의되는 재생 단위에 근거하는 프로그램(41)을 포함한다. 셀(42a~b)은, 프로그램(41)에 의해 정의되는 재생 단위에 근거하는 것이다. 또, DVD(Digital Versatile Disk)에 있어서, 「셀」이란, 비디오 프로그램의 일부를 나타내기 위한 데이터 구조이다.
비디오 오브젝트 정보(43a~b)는, 정보 관리 파일(23)에 기술되는 셀(42)에 의해 지정되는 재생 시간 정보(즉 프리젠테이션 타임)에 대응하는 실제의 영상 데이터 또는 음성 데이터의 참조처를 기술한다.
타임맵테이블(TMAP)(44a~b)은, VOB 정보(43)에 의해 정의된 재생 시간 정보를 오프셋하여 이것을 실제의 영상 데이터 또는 음성 데이터의 어드레스 정보로 변환하기 위한 것이다. 비디오 오브젝트 유닛(VOBU)(45a, 45b)은 멀티미디어 데이터 파일(24)내의 실제의 영상 데이터 또는 음성 데이터를 기술한다. 이들 데이터는 재생 시간 정보와 함께 패킷 구조로 다중화된다. VOBU는, 멀티미디어에 액세스하여 이것을 재생하기 위한 최소 단위이다. VOBU는 콘텐츠의 하나 또는 복수의 픽쳐그룹(GOP)을 포함한다.
중요도의 임계값에 근거하는 재생
도 5는, 본 발명에 따른 요약 재생을 나타내고, 가로축(51)을 시간으로 하 며, 세로축(50)을 중요도 레벨로 한다. 도 5에 도시하는 바와 같이, 중요도 레벨은, 소정의 범위(55)(예컨대 [0, 1] 또는 [0, 100])에 있어서 연속적으로 변화된다. 또한, 도시한 바와 같이, 중요도 레벨의 임계값(53)은, 시청자가 상기 소정의 범위(55)에 있어서 변화시킬 수 있다(56).
또, 가로축(51)에 나타낸 시간은, 도 3의 비디오 샷 개시 시간 정보(34a) 및 비디오 샷 종료 시간 정보(134b)를 기준으로 한다. 중요도는 비디오 샷 중요도 레벨(34c)을 기준으로 한다. 중요도 곡선의 예(52)는 임계값(53)에 따라 평가된다.
멀티미디어의 재생중에는, 임계값(53)보다도 높은 중요도를 갖는 멀티미디어의 부분을 재생하고(58), 임계값보다 낮은 중요도를 갖는 부분은 스킵한다(59). 곡선(54)은 재생에 포함되는 부분을 나타낸다. 재생은 재생 제어부(16)를 이용하여, 메타데이터 분석부(15)로부터 얻어지는 메타데이터 정보에 근거하여 행하여진다.
또, 복수의 연속적인 중요도 레벨, 또는 하나 또는 복수의 중요도 레벨 범위는, 중요도의 범위의 실수값에 따르는 특정 중요도를 갖는 구간만을 재생하도록 지정할 수 있다. 다른 방법으로서, 중요도가 가장 낮은 구간만을 재생할 수도 있다.
소망의 프로그램을 재생하기 위해서는, 판독 드라이브(10)에 의해 정보 관리 파일(23)을 판독한다. 이에 따라, 프로그램이 예컨대 2개의 셀로서 구성된다고 판단할 수 있다.
각 셀은, VOB 번호 및 색인 정보(예컨대 개시 시간 및 종료 시간)에 의해 기술된다. VOB1 정보(43a)의 타임맵테이블(44a)은, 각 프리젠테이션 타임을 프리 젠 테이션 타임 스탬프(PTS), 또는 관계하는 VOB1 내의 어드레스 정보로 변환하기 위해서 이용되고, 따라서 실제의 VOBU(45)를 얻는다.
마찬가지로, 셀 2(42b)는 또, VOB2 정보(43b)의 타임맵테이블(44b)을 이용함으로써, VOB2의 VOBU(45b) 그룹과 함께 얻어진다. 이 예에 있어서, 셀(이 경우 셀(42b))은 VOB(43b)에 의해서, 타임맵테이블(44b)을 이용하여 색인이 붙여진다.
VOBU(45)의 데이터는 순차적으로, 분리 및 복호화를 위해 공급된다. 영상 신호(17) 및 음성 신호(18)는, 프리젠테이션 타임(PTM)을 이용하여 동기되고, 출력 장치(19)에 공급된다.
시청자가 소망의 프로그램(예컨대 프로그램(141))을 선택하면, 프로그램 체인 정보(40)에 의해 관련되는 프로그램(41)의 구성을 포함하는 셀(42a~b)을 찾아 낼 수 있다. 따라서 프로그램 체인 정보는, 대응하는 VOB 및 프리젠테이션 타임(PTM)을 찾아내기 위해서 이용된다.
도 4에 있어서 설명되는 메타데이터(26)는 아래와 같이 사용되고, 또한 도 3과 같이 표시된다. 우선, 메타데이터 관리 정보(31a)를 이용하여, 소망의 VOB 번호에 대응하는 메타데이터 정보 검색 포인터(31b)를 찾아낸다. 다음에, 메타데이터 정보 검색 포인터(31b)를 이용하여 VOB 메타데이터 정보(31c)를 찾아낸다. VOB 메타데이터 정보(31c)는 비디오 샷 맵 정보(32b)를 포함하고, 이 비디오 샷 맵 정보(32b)는 각 비디오 샷의 개시 시간, 종료(stop) 시간 및 중요도 레벨을 포함한다. 따라서, VOB 메타데이터는, 셀의 개시 시간 및 종료 시간에 의해 지정된 범위에 포함되는 프리젠테이션 타임(PTM), 및 대응하는 중요도 레벨을 갖는 모든 샷을 수집하기 위해서 이용된다. 다음에, 소망의 중요도 레벨(53)을 넘는 부분만을 유지한다.
또, 재생에 복수의 프로그램을 선택할 수 있어, 재생되는 구간만을 연결시키기 위해 임의의 방법이 사용 가능하다.
다른 요약 재생
도 6(a)는 본 발명에 따른 다른 요약 재생을 나타내고, 세로축(50)을 중요도 레벨로 하며, 가로축(51)을 시간으로 하고, 연속적인 곡선(52)은 중요도 레벨을 나타낸다. 선(63)은 중요도 레벨의 임계값이며, 선(64)은 임계값보다 높은 특정한 중요도를 갖는 구간만의 재생이다. 다른 구간은 스킵한다.
요약률
도 6(b)는 요약률(60)을 나타낸다. 요약률은, 예컨대 0%부터 100%(즉 전체 범위(55))까지 변화시킬 수 있다. 요약률은, 재생 장치로 할 수 있는 출력 장치(19)에 있어서 출력 화상에 겹쳐진 그래픽 화상으로서 표시된다. 부분(61)은 사용자에 의해 선택 가능한 현재의 요약률이다. 임계값(63)은 사용자에 의해 선택 가능한 현재의 요약률(61)에 따라 설정된다. 사용자는, 어떠한 입력 장치(예컨대 키보드나 리모콘(17a), 도 1을 참조)를 이용하여 요약률을 설정할 수 있다. 요약률이 100%인 경우는 멀티미디어 파일 전체를 재생하고, 50%의 요약률에서는 파일의 절반만을 재생한다. 요약률은 재생중에 변경할 수 있다. 또, 그래픽 화상은 요약률이나 실제의 시간에 관해서 다른 형태(예컨대 슬라이딩 바, 또는 수치 디스플레이)를 갖는 것도 가능하다. 다른 방법으로서, 요약률은 메타데이터 분석부(15) 또 는 재생 제어부(16)에 의해 자동적으로 변화시킬 수도 있다.
또, 비디오 구간에 대한 포인터는 리스트내에서, 중요도의 내림차순에 따라서 정렬할 수 있다. 따라서, 시간의 길이의 요건을 만족시킬 때까지, 정렬 순으로 된 구간을 포함하는 리스트의 아래로 가는 것에 따라, 임의의 소망의 길이의 요약을 얻는 것이 가능하다.
기록 시스템의 구조
도 7은, 압축된 멀티미디어 파일 및 메타데이터 파일을 기억 매체(2)(디스크나 테이프 등)에 기록하는 시스템(700)의 블럭도를 나타낸다. 이 시스템은, 입력으로서 영상 신호(78), 음성 신호(79), 텍스트, 화상, 2진 데이터 등을 취득하는 비디오 인코더(71) 및 오디오 인코더(72)를 구비한다. 각 인코더의 출력은, 멀티플렉서(73)에 의해 다중화되어, 기입 버퍼(74)에 멀티미디어 데이터로서 일시적으로 저장된다. 또한, 각 인코더의 출력은 또 메타데이터 생성부(75)에 보내지고, 또한 이 메타데이터 생성부(75)도 출력을 기입 버퍼에 기입한다.
다음에 기입 드라이브(70)가, 프로세서를 포함하는 기록 제어부(76)의 제어하에서, 멀티미디어 및 메타데이터를 기억 매체(2)에 파일로서 기입한다. 파일은, MPEG이나 AC-3 등의 표준 멀티미디어 압축 기법을 이용하여 압축 형식으로 기입할 수 있다. 기록중에 암호화도 이용할 수 있다. 또, 메타데이터 생성부(75)는 기록 제어부(76)에 내장되는 소프트웨어로서 실시할 수 있다.
인코더는, 입력 신호(78~79)로부터 특징, 예컨대 움직임 벡터, 컬러 히스토그램, 음성 주파수, 특성, 및 음량, 및 음성 관련 정보를 추출한다. 추출된 특징 을 메타데이터 생성부(75)에 의해 분석하고, 세그먼트와 그에 관련되는 색인 정보 및 중요도 레벨을 구한다.
중요도 레벨 윈도우
예컨대, 도 12에 도시하는 바와 같이, 중요도 레벨은 음성 신호를 이용함으로써 구할 수 있다. 예컨대, 각 세그먼트(1201)의 음량을 이용할 수 있고, 또한, 각 세그먼트(1201)의 음성 신호를 여러가지 종류(음성, 음악, 환성(歡聲), 박수, 웃음소리 등)로 분류할 수 있다. 이 경우, 콘텐츠(1200) 전체를 중복하지 않는 세그먼트(1201)(예컨대 1초의 지속 시간)로 분할한다. 박수 및 환성에는, 음성이나 음악보다도 높은 중요도 레벨을 부여할 수 있다.
세그먼트(1201)를 분류한 후, 하이라이트를 찾아내기 위한 방법은, 콘텐츠를 지속 시간이 같은 세그먼트(1201), 즉 윈도우(1202)로 분할하는 것이다. 윈도우를 이용하는 경우, 각 윈도우는, 도시와 같은 복수의 분류된 세그먼트를 포함한다.
다음에, 윈도우내의 연속한 박수 및/또는 환성의 최장의 길이를 구하는 것에 따라, 또는 윈도우내의 박수 및/또는 환성의 비율(percentage)을 구하는 것에 따라, 각 윈도우의 중요도 레벨을 계산할 수 있다. 윈도우내의 모든 구간에, 윈도우의 중요도 레벨을 부여할 수 있다.
다른 윈도우 방식은, 콘텐츠 전체에 걸쳐 지속 기간이 고정된 슬라이딩 윈도우(1203)(예컨대 12초)를 이용한다. 슬라이딩 윈도우는 「앵커(anchor)」 세그먼트(예컨대 윈도우내의 최초, 중간, 또는 최후의 구간)를 포함한다. 이 윈도우는, 한번에 1세그먼트씩 정 방향(시간 방향)으로 슬라이딩할 수 있다. 이 경우, 윈도 우의 앵커 구간(A)(1204)의 중요도 레벨은, 슬라이딩 윈도우 전체의 박수 및/또는 환성의 비율 또는 연속한 박수 및/또는 환성의 길이에 근거하는 것이다. 슬라이딩 윈도우 수법은 하이라이트의 시간을 보다 정확히 찾아내는 것을 가능하게 한다.
가중치 부여(Weighted) 중요도 레벨
또한, 상기의 방책에 의해 얻어진 중요도 레벨(IL)을, 윈도우의 계수(예컨대 음량(1211))로 더 가중치 부여하여(1210), 최종적인 중요도 레벨을 얻을 수 있다. 따라서 예컨대, 어떤 세그먼트가 다수의 음량이 낮은 박수를 포함하는 경우, 그 세그먼트에는 비교적 낮은 중요도 레벨이 부여되지만, 매우 큰 박수를 갖는 세그먼트에는 비교적 높은 중요도 레벨이 부여된다.
또, 스포츠 프로그램 등의 경우, 득점 장면이나 득점하는 찬스에 있어서는, 박수나 환성의 이외에 아나운서나 해설자에 의한 절규 음성이 따르는 경우가 많다. 따라서, 스포츠 프로그램 등의 경우에는, 박수나 환성을 포함하는 절규 음성을 하나의 음성 종류로서 설정하고, 해당 음성 종류를 중요도 레벨의 산출에 사용하는 것도 유효하다.
또, 어느 쪽의 실시예에서도, 멀티미디어 파일과 메타데이터 파일을 동시에 생성할 필요는 없다. 예컨대, 메타데이터는 후에 생성할 수 있고, 또한 메타데이터는 소정 시간에 걸쳐 서서히 부가할 수 있다.
시간의 임계값에 근거하는 재생
도 8은, 본 발명에 따른 다른 요약 재생을 나타내고, 세로축(50)을 중요도 레벨로 하며, 가로축(51)을 시간으로 하고, 연속적인 곡선(52)은 소정 시간에 걸치 는 중요도 레벨을 나타낸다. 선(80)은 가변의 중요도 레벨의 임계값이며, 선(81)은 임계값보다 높은 특정한 중요도를 갖는 구간만의 재생이다. 다른 구간은 스킵한다.
그러나, 이 실시형태에서는 시간의 임계값도 이용한다. 중요도 레벨의 임계값보다 높은 특정한 중요도 레벨을 갖고, 시간의 임계값보다 긴 시간 그 중요도 레벨을 유지하는 구간만을 재생한다. 예컨대, 구간 a1~a2는 재생하지 않고, 구간 b1~b2를 재생한다. 이에 따라, 시간이 지나치게 짧아 시청자가 적절히 이해할 수 없는 구간은 배제된다.
부가적인 구간의 연장을 이용한 시간의 임계값에 근거하는 재생
도 9는 본 발명에 따른 다른 요약 재생(900)을 나타내고, 세로축(50)을 중요도 레벨로 하며, 가로축(51)을 시간으로 하고, 곡선(52)은 소정 시간에 걸치는 중요도 레벨을 나타낸다. 선(90)은 중요도 레벨의 임계값이며, 선(91)은 임계값보다 높은 특정한 중요도를 갖는 구간만의 재생이다. 상기와 마찬가지로, 다른 구간은 스킵된다. 이 실시형태 및 후술의 다른 실시형태에 있어서, 연장량은, 재생 제어부가 내린 결정에 따라 변화시킬 수 있다.
또, 이 실시형태도 상술한 바와 같이 시간의 임계값을 이용한다. 그러나, 이 경우, 시간의 임계값보다 시간이 짧은 구간은 스킵되지 않는다. 그 대신, 그와 같은 구간은, 시간의 임계값의 요건을 만족시키도록 시간을 연장시킨다. 이것은, 그 짧은 구간의 전, 후, 또는 전후에서 멀티미디어 파일의 각 부분을 가산함으로써 행하여진다(예컨대 구간 c1~a2). 따라서, 짧은 구간의 사이즈를 크게 하여, 시청 자가 그 짧은 구간을 적절히 이해할 수 있도록 한다. 또, 제 2 시간의 임계값도 이용할 수 있어, 극단적으로 짧은 구간(예컨대 1 프레임)은 여전히 스킵하도록 한다.
곱셈에 의한 구간의 연장을 이용한 시간의 임계값에 근거하는 재생
도 10은 본 발명에 따른 다른 요약 재생을 나타내고, 세로축(50)을 중요도 레벨로 하며, 가로축(51)을 시간으로 하고, 곡선(52)은 소정 시간에 걸치는 중요도 레벨을 나타낸다. 선(1000)은 중요도 레벨의 임계값이며, 선(1001)은 임계값보다 높은 특정한 중요도를 갖는 구간만의 재생이다. 다른 구간은 스킵한다.
또, 이 실시형태도 상술한 바와 같이 시간의 임계값을 이용한다. 그러나, 이 경우, 구간의 시간을 소정량 d만큼 길게 하여, 시간의 임계값을 만족시키는 재생되는 구간의 사이즈를 크게 한다. 상기한 바와 같이, 구간은 전, 후, 또는 전후에서 연장할 수 있다. 또한, 계수를 승산하여 같게 되도록 구간의 시간을 길게 할 수도 있다.
기록 및 재생 시스템의 구조
도 11은, 판독/기입 기억 매체(3)(디스크나 테이프 등)에 저장된(저장되는) 압축 멀티미디어 파일 및 메타데이터 파일을 기록 및 재생하는 시스템(1100)의 블럭도를 나타낸다.
판독/기입 드라이브(110)가, 판독 버퍼(11)에 데이터를 기입할 수 있고, 기입 버퍼(74)로부터 데이터를 판독할 수 있다. 디멀티플렉서(12)는 판독 버퍼로부터 순차적으로 멀티미디어를 취득하고, 이 멀티미디어를 영상 스트림과 음성 스트 림으로 분리한다. 비디오 디코더(13)는 영상 스트림을 처리하고, 오디오 디코더(14)는 음성 스트림을 처리한다. 그러나, 이 경우, 메타데이터 생성부(75)도 디코더(13~14)의 출력을 수취하기 때문에, 기록/재생 제어부(111)를 이용하여, 재생되는 멀티미디어를 기억 매체(3)에 저장할 수 있다.
또, 중요도 레벨, 색인 첨부 정보 및 다른 메타데이터는, 복호화중에 메타데이터 생성부(75)를 이용하여 영상 데이터 및/또는 음성 데이터로부터 추출할 수도 있다.
또한, 중요도 레벨, 색인 첨부 정보 및 다른 메타데이터는 수동으로 생성하고, 후의 단계에서 삽입할 수도 있다.
또, 상기의 실시형태는 모두, 검색 기능을 포함하여, 시청자가 시간, 프레임 번호, 또는 중요도 중 어느 하나에 근거하여 멀티미디어의 특정 부분으로 직접 건너뛰는(position to) 것을 가능하게 할 수 있다. 이 검색 기능은, 「섬네일」 구간(예컨대, 검색 중에 시청자를 보조하는 하나 또는 소수의 프레임)을 이용할 수 있다.
또, 실시예 1에 있어서는, 해당 시스템에 기억 매체를 포함하는 경우에 대하여 설명했지만, 해당 기억 매체는 시스템과 별개로 구성하더라도 무방하다. 예컨대, 해당 시스템에 상기 기억 매체로서 HDD(Hard Disk Drive)를 내장하는 경우에는, 시스템에 기억 매체를 포함하여 구성한다. 한편, 외부 부착의 HDD, DVD 등의 광디스크 또는 자기디스크를 상기 기억 매체로서 사용하는 경우에는 시스템과 기억 매체를 별개로 구성한다.
(실시예 2)
도 13은 실시예 2에 있어서의 요약 재생 장치(1200)의 구성을 나타내는 블럭도이다. 또, 도 13에 있어서, 실시예 1에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기한다.
요약 재생 장치(1200)는, DVD-R나 DVD-RW를 포함하는 각종 DVD 디스크, 하드디스크, 또는 블루레이디스크 등의 기억 매체(4)에, 상기 도 2에 있어서 설명한 디렉토리 구조에 따라서 기록된 상기 비디오의 영상 또는 음성의 재생을 실행한다. 또한, 해당 요약 재생 장치(1200)는, 상기 기억 매체(4)에 기록된 상기 비디오에 대응하는 상기 중요도 레벨에 근거하여 해당 비디오의 요약 재생을 실행한다.
이하, 요약 재생 장치(1200)에 있어서, 비디오의 요약 재생을 실행하는 경우에 대하여 설명한다. 사용자는, 조작부(130)를 조작하여, 재생할 소망의 비디오를 선택하고, 또한 요약 재생을 선택한다. 사용자에 의해 소망의 비디오가 선택되면, 상기 도 4에 있어서 설명한 바와 같이 하여, 해당 비디오를 구성하는 프로그램(41) 및 해당 프로그램(41)을 구성하는 셀(42)을 프로그램 체인 정보(40)에 의해 특정할 수 있기 때문에, 참조해야 할 VOB의 번호 및 해당 셀의 재생 개시 시간과 재생 종료 시간의 각 프리젠테이션 타임(PTM)이 확정된다.
기억 매체(4)에 기록된 메타데이터(30)(도 3)는, 해당 기억 매체(4)가 판독 드라이브(11)에 삽입된 후로서 사용자가 요약 재생을 선택하기 전, 또는 요약 재생하는 비디오를 사용자가 선택한 후, 또는 해당 요약 장치(1200)에 있어서 기억 매체(4)에 기록된 프로그램을 재생(통상 재생)하고 있는 도중 등의 타이밍에 있어서, 판독 드라이브(11)에 의해 판독되고, 드라이브 I/F부(3)에 출력된다. 드라이브 I/F부(3)는 입력된 메타데이터(30)를 복조하여 메타데이터 분석부(15)에 출력한다.
메타데이터 분석부(15)는, 상술한 바와 같이 프로그램 체인 정보(40)에 근거하여 검출한, 상기 비디오에 대응하는 VOB의 번호를 참조하여, 해당 비디오에 대응하는 메타데이터(30)를 메타데이터 파일(26)로부터 판독한다. 그리고, 해당 메타데이터 분석부(15)는 상기 메타데이터(30)로부터 각 VOB에 대응하는 비디오 샷 중요도 레벨(34c)에 저장된 중요도 레벨을 판독한다.
구체적으로는, 우선, 상기 VOB의 번호를 참조하여, 메타데이터 관리 정보(31a) 및 VOB 메타데이터 정보 검색 포인터(31b)에 저장된 어드레스 정보에 의해서, VOB 메타데이터 정보(31c)를 특정한다. 다음에, 각 VOB 메타데이터 정보(31c)에 대응하는 비디오 샷 맵 정보(32b)에 액세스한다.
그리고, 해당 비디오 샷 맵 정보(32b)에 포함되는 각 비디오 샷 엔트리(33b)에 기술된 비디오 샷 개시 시간 정보(34a)에 저장된 개시 시간 정보, 비디오 샷 종료 시간 정보(34b)에 저장된 종료 시간 정보 및 비디오 샷 중요도 레벨(34c)에 저장된 중요도 레벨을 판독한다. 또, 비디오 샷 개시 시간 정보(34a) 및 비디오 샷 종료 시간 정보(34b)가 특정되면, 상기 셀의 재생 개시 시간과 재생 종료 시간의 범위에 포함되는 프리젠테이션 타임(PTM)을 갖는 비디오 샷이 특정된다.
메타데이터 분석부(15)에 있어서 판독한 중요도 레벨은 해당 메타데이터 분석부(15)에 기록된다. 또, 메타데이터 분석부(15)에는, 기억 매체(4)에 기록된 복수의 비디오의 각각에 대응하는 중요도 레벨을 모두 기록하더라도 좋고, 상기 기억 매체(4)에 기록된 비디오중, 요약 재생의 대상으로 되고 있는 비디오에 대응하는 중요도 레벨을 모두 기록하도록 하더라도 무방하다. 또한, 재생 제어부(16)에 있어서 OSD 플레인 화상(상세한 것은 후술함)을 생성하기 위해서 필요한 중요도 레벨만을 기록하도록 하더라도 무방하다. 또한, 상기 중요도 레벨은, 메타데이터 분석부(15)에 기록하지 않더라도 무방하며, 예컨대, 재생 제어부(16)에 메모리(도시하지 않음)를 마련하여, 해당 메모리에 기록하도록 하더라도 무방하다. 그 경우, 상기 메타데이터 분석부(15)는, 중요도 레벨을 상기 메타데이터(30)의 비디오 샷 중요도 레벨(34c)로부터 판독하여 재생 제어부(16)에 출력한다.
재생 제어부(16)는, 상기 메타데이터 분석부(15)에 기록된 각 중요도 레벨과 미리 설정된 임계값을 비교한다. 구체적으로는, 재생 제어부(16)에 마련하는 비교부(도시하지 않음)에 있어서, 상기 메타데이터 분석부(15)로부터 출력된 중요도 레벨과 상기 임계값을 비교한다. 그리고, 재생 제어부(14)는, 상기 임계값보다 큰 값을 갖는 중요도 레벨에 대응하는 비디오 샷을 구성하는 VOBU를 상기 도 4에 있어서 설명한 프로그램 체인 정보(40)에 의해 특정하고, 해당 VOBU를 판독하도록 판독 드라이브(11)를 제어한다. 또, 상기 임계값은, 사용자가 조작부(130)를 조작함으로써 조정할 수 있도록 구성된다.
또, 상기 판독 드라이브(11)에 의해 판독된 VOBU는, 드라이브 I/F부(121)에 의해 복조된다. 그리고, 해당 VOBU에 대응하는 음성의 데이터(음성 데이터)는 오디오 디코더부(14)를 거쳐서 D/A 컨버터(127)에 출력된다. 또한, 상기 VOBU에 대응하는 부(副) 영상(비디오에 있어서의 자막 등)의 데이터(부 영상 데이터)는 그래 픽 디코더부(123)에 의한 처리를 거친 후, YUV 신호로서 그래픽 플레인에 축적된다. 또한, 상기 비디오의 영상에 대응하는 데이터(영상 데이터)는 비디오 디코더부(13)에 의한 처리를 거친 후, 아날로그 영상 신호로서 비디오 묘화 플레인(125)에 축적된다.
상기 재생 제어부(16)는, 상술의 비교를 행하여, 사용자에 의해 선택된 비디오의 중요도 레벨의 변화를 나타내는 화상(OSD 플레인 화상)을 생성한다. 그리고, 상기 OSD 플레인 화상에 대응하는 신호(이하, OSD 신호라고 함)를 프레임 메모리 등으로 구성되는 OSD 플레인(129)에 출력한다. 그리고, 상기 OSD 신호에 대응하는 OSD 플레인 화상은 OSD 플레인(129)에 축적된다.
도 14는 OSD 플레인 화상을 설명하기 위한 설명도이다. 도 14에 도시하는 바와 같이, 재생 제어부(16)는, 중요도를 나타내는 축인 세로축(133), 시간축인 가로축(134), 상기 시간축 방향에 있어서의 중요도 레벨의 변화를 나타내는 중요도 레벨 플롯(135), 상기 비교부에 미리 설정되는 임계값을 나타내는 슬라이스 레벨(137), 및 해당 요약 재생 장치(1200)의 요약 재생시에 있어서 재생되어 있는 영상의 프로그램 전체에 있어서의 위치를 나타내는 재생 인디케이터(136)를 포함하는 OSD 플레인 화상(132)을 생성한다. 또, 상기 재생 인디케이터(136)는, 비디오 묘화 플레인(125)으로부터 출력된 화상의 프로그램 전체에 있어서의 위치가 시간축(134)상에 있어 정확히 표시되도록 적절히 갱신하여 묘화된다.
비디오 묘화 플레인(125), 그래픽 플레인(124) 및 OSD 플레인(129)에 축적된 신호는 동기하여 합성부(126)에 출력된다. 합성부(126)는, 상기 그래픽 플레 인(124)에 축적된 YUV 신호, 상기 비디오 묘화 플레인(125)에 축적된 상기 아날로그 영상 신호, 및 상기 OSD 플레인(129)에 축적된 상기 OSD 신호를 합성하여 비디오 인코더(71)에 출력한다. 그리고, 비디오 인코더(71)는, 합성 신호를 소정의 신호로 변환하여 요약 재생 장치(1200)에 접속되는 표시 장치 등의 외부기기에 출력한다.
또, 요약 재생 장치(1200)에 있어서 실행되는 요약 재생은 상기 도 5 등에 의해 설명한 요약 재생과 마찬가지로 하여 실행된다.
도 15는, 요약 재생 장치(1200)에 있어서의 요약 재생시에 있어서, 해당 요약 재생 장치(1200)에 접속되는 모니터, 텔레비젼 등의 표시 장치(1300)에 표시되는 영상을 설명하기 위한 설명도이다. 도 15에 있어서, 도 15(a)는, 비디오 묘화 플레인(125)으로부터 출력된 아날로그 영상 신호에 대응하는 화상(131)(이하, 비디오 플레인 화상(131)이라고도 함)을 모식적으로 나타낸 도면이다. 또한, 도 15(b)은 상기 도 14에 있어서 설명한 OSD 플레인 화상(132)이다. 또한, 도 15(c)은, 도 15(a)의 화상과 도 15(b)의 화상을 합성한 화상, 즉 상기 합성부(126)로부터 출력된 합성 신호에 대응하는 화상(이하, 합성 화상이라고도 함)이다. 또, 자막 등의 부 영상 데이터에 대응하는 화상이 있는 경우에는, 상기 합성 화상에 해당 부 영상 데이터에 대응하는 화상이 중첩된다.
도 15(c)와 같이, 실시예 2에 있어서의 요약 재생 장치(1200)에서는, 요약 재생시에 있어서 상기 표시 장치(1300)에는 합성 화상이 표시된다. 그 때문에, 종래의 요약 재생 장치와 같이 비디오 전체에 있어서의 고조의 경향을 사용자가 파악 할 수 없다고 하는 문제는 발생하지 않는다. 즉, 사용자는, 합성 화상에 포함되는 OSD 플레인 화상(132)에 의해 비디오에 있어서의 고조의 경향을 한눈에 파악할 수 있다.
구체적으로 설명하면, 예컨대, 요약 재생하는 비디오가 스포츠 프로그램으로서, 해당 스포츠 프로그램의 영상의 특징을 나타내는 파라미터를 「환성의 계속 시간」이라고 하여 중요도 레벨을 산출한 경우, 중요도 레벨 플롯(135)은 상기 스포츠 프로그램에 있어서의 환성의 계속 시간의 변화를 나타내는 것으로 된다. 스포츠 프로그램 등에 있어서는, 승패의 행방을 좌우하는 장면일수록 환성이나 박수가 계속한다. 따라서, 사용자는, 해당 중요도 레벨 플롯(135)을 한번 본 것만으로 해당 스포츠 프로그램에 있어서의 중요한 장면의 프로그램 전체에 있어서의 위치를 파악할 수 있어, 해당 스포츠 프로그램에 있어서의 고조의 경향을 한눈에 파악할 수 있다.
또한, 해당 사용자는, 중요도 레벨 플롯(135)에 대한 슬라이스 레벨(137)의 위치를 보는 것에 따라, 해당 요약 재생에 의해 비디오 전체가 어느 정도 요약되어 있는지를 한눈에 파악할 수 있다. 그리고, 사용자는, 비디오를 보다 요약하여 재생하고 싶은 경우에는, 상기 조작부(130)를 조작함으로써 상기 슬라이스 레벨(137)을 세로축(133) 방향으로 이동시킨다. 한편, 상기 비디오에 포함되는 영상을 보다 많이 보고 싶은 경우에는 상기 슬라이스 레벨(137)을 세로축(133)과는 반대의 방향으로 이동시킨다. 또, 상기 재생 제어부(16)는, 임계값의 변화에 따라, 상기 프로그램 체인 정보(40)를 참조하여 재생하는 비디오 샷을 조정하고, 해당 비디오 샷에 포함되는 VOBU를 판독하도록 판독 드라이브(10)를 제어한다.
이상의 설명과 같이, 실시예 2에 있어서의 요약 재생 장치(1200)에 의하면, 기억 매체(4)에 기록된 비디오가, 사용자에 있어서 처음보는 비디오이더라도, 해당 비디오의 고조의 경향을 용이하게 파악할 수 있다.
또한, OSD 플레인 화상(132)을 참조함으로써, 시청자가 소망의 장면(하이라이트 장면 등)을 민첩하게 검출할 수 있다. 그리고, 상기 OSD 플레인 화상(132)을 보면서 조작부(130)를 조작하여 임계값을 조정하는 것만으로, 요약 재생하는 시간을 간단히 조정할 수 있다.
또한, 재생 인디케이터(136)에 의해서, 요약 재생에 의해 표시되는 화상의 비디오 전체에 있어서의 위치를 용이하게 파악할 수 있다.
또한, 종래의 요약 재생 장치와 같이 기억 매체에 기록된 비디오 전체를 빨리감기 등에 의해 보지 않더라도 하이라이트 장면 등의 위치를 용이하게 파악할 수 있다. 즉, 예컨대, 기억 매체에 기록된 프로그램이 장시간인 경우에는, 빨리감기라도, 사용자가 해당 비디오 전체를 보기 위해서는 상당한 시간이 필요하다. 그러나, 실시예 2에 있어서의 요약 재생 장치에 있어서는, 프로그램의 장단에 상관없이, 하이라이트 장면의 비디오 전체에 있어서의 위치를 한눈에 파악할 수 있다.
또한, 종래의 요약 재생 장치와 같이, 하이라이트 장면을 설정(각인)하는 경우에는, 해당 하이라이트 장면을 스킵할 가능성이 있지만, 실시예 2에 있어서의 요약 재생 장치(1200)에서는 그와 같은 가능성이 없다.
또, OSD 플레인 화상(132)에 있어서의 중요도 레벨 플롯(135), 슬라이스 레 벨(137), 재생 인디케이터(136) 등의 OSD 플레인 화상에 있어서의 각 요소 또는 해당 OSD 플레인 화상(132) 전체는, 사용자가 조작부(130)를 조작함으로써 표시 또는 비표시의 전환을 할 수 있도록 구성하더라도 무방하다.
(실시예 3)
도 16은, 실시예 3의 요약 재생 장치에 있어서 요약 재생을 실행했을 때에 표시되는 화상을 설명하기 위한 설명도이다. 또, 이하, 실시예 1 또는 2에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
도 16에 도시하는 바와 같이, 실시예 3에 있어서의 요약 재생 장치는, 재생 제어부(16)에 마련하는 연산부(도시하지 않음)에 있어서, 요약 재생하는 비디오의 녹화 시간(즉, 해당 비디오를 통상 재생한 경우에 필요한 시간), 및 현재의 임계값에 근거하여 비디오를 요약 재생한 경우에 필요한 시간(이하, 요약 시간이라고 함)을 연산한다. 또한, 재생 제어부(16)에서는, 상기 요약 시간을 상기 녹화 시간으로 나눈 결과 얻어지는 요약률의 연산, 및 해당 요약 재생에 있어서 재생되는 장면의 수의 계수가 실행된다.
재생 제어부(16)는, 해당 재생 제어부(16)에 있어서 실행된 연산 등의 결과에 근거하여, 텍스트 정보(141)를 포함하여 구성되는 OSD 플레인 화상(140)을 생성하고, 해당 OSD 플레인 화상(140)에 대응하는 OSD 신호를 OSD 플레인(129)에 출력한다. 그리고, OSD 플레인(129)은, 상기 비디오 묘화 플레인에 축적된 신호 등과 동기한 타이밍으로 해당 OSD 신호를 합성부(10)에 출력한다.
합성부(126)에 있어서는, 실시예 2에 있어서 합성한 신호에 덧붙여, 상기 OSD 플레인 화상(140)에 대응하는 OSD 신호를 합성한다. 그 결과, 표시 장치(1300)에 있어서는, 도 16에 도시하는 바와 같이, 실시예 2에서 설명한 중요도 레벨 플롯(135)을 포함하는 OSD 플레인 화상에 덧붙여, 텍스트 정보(141)를 포함하는 OSD 플레인 화상이 표시된다.
이상의 설명과 같이, 실시예 3에 있어서의 요약 재생 장치에 의하면, 실시예 2에 있어서 설명한 중요도 레벨 플롯(135)에 덧붙여, 텍스트 정보(141)도 표시되기 때문에, 사용자는 요약 재생에 필요한 시간, 요약률 등을 용이하게 파악할 수 있다.
따라서, 사용자는, 표시 장치(1300)에 표시된 텍스트 정보를 참조하여 조작부(130)를 조작함으로써, 임계값을 조정할 수 있다.
또, 실시예 3에 있어서는, 상기 텍스트 정보로서 요약 시간 등을 표시하는 경우에 대하여 설명했지만, 현재 재생하고 있는 장면의 번호, 현재 재생하고 있는 프로그램의 프로그램명, 출연자명, 제작자명, 녹화한 연월일이나 일시 또는 요일, 녹화한 프로그램의 방송국명, 기억 매체(4)에 기록되어 있는 프로그램의 총수, 현재 재생하고 있는 프로그램의 프로그램 번호나 재생 시간 위치, 기억 매체(4)의 명칭 등, 사용자에 대하여 제공하는 보충·부가 정보를 표시하도록 하더라도 무방하다.
또한, 텍스트 정보(141)로 표시하는 보충·부가 정보에 대해서는, 텍스트 등의 문자열뿐만 아니라, 아이콘이나 화상을 사용하여 표시하더라도 무방하다.
또한, OSD 플레인 화상(132, 140)은, 조작부(130)에 의한 사용자 조작에 의해 개별적으로 표시의 온, 오프의 선택 설정이 가능한 구성으로 해도 좋다. 또, OSD 플레인 화상(132, 140)의 표시는, 양쪽을 동시에 온 또는 오프로 하더라도 좋고, 예컨대, 임계값(137)만의 표시 온, 오프 조작을 행하는 등, OSD 플레인 화상(132, 140)의 일부분을 온 또는 오프로 해도 좋다.
(실시예 4)
도 17은, 실시예 4의 요약 재생 장치에 있어서 요약 재생을 실행했을 때에 표시되는 화상을 설명하기 위한 설명도이다. 또, 이하, 실시예 1~3에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
실시예 4의 요약 재생 장치에 있어서의 OSD 플레인(129)은, 실시예 3에서 설명한 텍스트 정보(141)에 대응하는 OSD 신호만을 축적하고, 해당 OSD 신호를 합성부(126)에 출력한다. 따라서, 표시 장치(1300)에는, 도 17과 같이, 텍스트 정보(141) 및 요약 재생되는 비디오의 화상이 표시된다. 또, 텍스트 정보(141)의 내용은 실시예 3에서 설명한 내용과 마찬가지기 때문에 설명을 생략한다.
이상의 설명과 같이, 실시예 4에 있어서의 요약 생성 장치에 의하면, 텍스트 정보(141)가 표시되기 때문에, 사용자는 요약 재생에 필요한 시간, 요약률 등을 용이하게 파악할 수 있다.
(실시예 5)
도 18은, 실시예 5의 요약 재생 장치에 있어서 요약 재생을 실행했을 때에 표시되는 화상을 설명하기 위한 설명도이다. 또, 이하, 실시예 1~4에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
실시예 5에 있어서의 요약 재생 장치는, 재생 제어부(16)에 미리 기록되는 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)을 포함하는 OSD 플레인 화상(150)을 해당 재생 제어부(16)에 있어서 생성한다.
구체적으로 설명하면, 해당 요약 재생 장치에 있어서 요약 재생이 선택되면, 재생 제어부(16)는, 미리 기록된 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)에 근거하여 OSD 플레인 화상(150)을 생성하고, 해당 OSD 플레인 화상에 대응하는 OSD 신호를 OSD 플레인(129)에 출력한다. 그리고, OSD 플레인(129)은, 재생 제어부(16)로부터 출력된 OSD 신호를 축적하고, 해당 OSD 신호를 합성부(126)에 출력한다.
그리고, 합성부(126)는, 비디오 묘화 플레인(125)으로부터 출력된 신호에 대응하는 화상 또는 그래픽 플레인(124)으로부터 출력된 신호에 대응하는 화상과, OSD 플레인(129)으로부터 출력된 신호에 대응하는 화상을 합성하여 비디오 인코더(71)에 출력한다. 그 결과, 표시 장치(1300)에 있어서는, 도 18에 나타내는 것 같은 화상이 표시된다.
이상의 설명과 같이, 실시예 5의 요약 재생 장치에 의하면, 사용자가 해당 요약 재생 장치의 동작 상태를 한눈에 파악할 수 있다.
또, 실시예 5에 있어서는, 요약 재생을 실행하고 있는 경우에 표시하는 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)에 대하여 설명했지만, 통상 재생이나 빨리감기, 뒤로감기 등, 그 밖의 동작 상태를 나타내는 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)을 표시하도록 하더라도 무방하다.
또한, 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)의 양쪽을 표시하지 않고, 동작 모드 표시 텍스트(151) 또는 아이콘 화상(152) 중 어느 한쪽을 표시하도록 하더라도 무방하다. 또한, 조작부(130)를 조작함으로써, 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)의 양쪽을 표시하는 경우, 동작 모드 표시 텍스트(151) 또는 아이콘 화상(152) 중 어느 한쪽을 표시하는 경우, 또는 동작 모드 표시 텍스트(151) 및 아이콘 화상(152)의 양쪽을 표시하지 않는 경우를 전환할 수 있도록 하더라도 무방하다.
(실시예 6)
도 19는, 실시예 6의 요약 재생 장치에 있어서 요약 재생을 실행했을 때에 표시되는 화상을 설명하기 위한 설명도이다. 또, 이하, 실시예 1~5에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
실시예 6에 있어서의 요약 재생 장치는, 재생 제어부(16)에 있어서, 현재의 임계값(137)보다도 큰 값을 갖는 중요도 레벨에 대응하는 영상(중요장면)의 비디오 전체에 있어서의 위치를 나타내기 위한 중요장면 표시 바(161), 해당 중요장면의 위치를 나타내는 중요장면 바(162), 현재의 재생 위치를 적절히 갱신 표시하여 나 타내는 재생 인디케이터(163)를 생성한다. 그리고, 재생 제어부(16)는 OSD 플레인 화상(160)을 생성하고, OSD 플레인(129)에 OSD 신호를 출력한다. 그리고, OSD 플레인(129)은 재생 제어부(16)로부터 출력된 OSD 신호를 축적하고, 해당 OSD 신호를 합성부(126)에 출력한다.
합성부(126)는, 비디오 묘화 플레인(125)으로부터 출력된 신호에 대응하는 화상 또는 그래픽 플레인(9)으로부터 출력된 신호에 대응하는 화상과, OSD 플레인(129)으로부터 출력된 신호에 대응하는 화상을 합성하여 비디오 인코더(71)에 출력한다. 그 결과, 표시 장치(1300)에 있어서는, 도 19에 나타내는 것 같은 화상이 표시된다.
여기서, 중요장면 표시 바(161)의 생성 방법에 대하여 구체적으로 설명한다. 도 20은 중요장면 표시 바(161)의 생성 방법을 설명하기 위한 설명도이다. 또, 도 20에 있어서, 도 19에서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
예컨대, 실시예 2에 있어서 설명한 중요도 레벨 플롯(135)이 있었던 경우에 현재의 임계값(137)을 넘는 부분이 중요한 장면(예컨대, 득점장면 등의 하이라이트 장면)이라고 한다. 그렇다면, 중요장면 바(162)는, 해당 임계값(137)을 넘는 부분을, 중요장면 표시 바(161)에 투영함으로써 얻을 수 있다.
이상의 설명과 같이, 실시예 6에 있어서의 요약 재생 장치에 의하면, 중요장면 표시 바(161)를 포함하여 구성되는 OSD 플레인 화상(160)의 면적을, 실시예 2에서 나타낸 중요도 레벨 플롯(135)을 포함하여 구성되는 OSD 플레인 화상의 면적보 다도 작게 억제할 수 있다. 따라서, 비디오 묘화 플레인 화상(131)에, 해당 OSD 플레인 화상(160)을 중첩시키고 표시하더라도 비디오의 영상을 차폐하는 경우가 없다.
또한, 통상 재생시에 있어서, 중요장면 표시 바(161)를 표시시키면, 현재의 재생 위치에 대한 중요개소(높은 중요도 레벨을 가지는 하이라이트 장면)의 상대적인 위치를 용이하게 파악할 수 있다.
또한, 중요장면 표시 바(161)에 중요장면 바(162)를 표시하는 것으로, 텍스트 정보(141)만으로 표시하는 것보다도 요약률 등을 용이하게 파악할 수 있다.
(실시예 7)
도 21은 실시예 7의 요약 재생 장치에 있어서 요약 재생을 행했을 때에 표시되는 화상을 설명하기 위한 설명도이다. 또, 이하, 실시예 1~6에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
실시예 7에 있어서의 요약 재생 장치는, 재생 제어부(16)에 있어서, 비디오의 기록 시간을 나타내는 슬라이드 표시 바(171), 및 현재 표시하고 있는 장면의 비디오 전체에 있어서의 위치를 나타내는 슬라이드 표시 인디케이터(172)를 포함하는 OSD 플레인 화상을 생성하여, 해당 OSD 플레인 화상에 대응하는 OSD 신호를 OSD 플레인(129)에 출력한다. OSD 플레인(129)은, 재생 제어부(16)로부터 출력된 OSD 신호를 축적하고, 해당 OSD 신호를 합성부(126)에 출력한다. 또, 슬라이드 표시 인디케이터(172)는, 비디오 묘화 플레인 화상(125)으로부터 출력된 화상의 비디오 전체에 있어서의 위치가 슬라이드 표시 바(171)상에 있어 정확히 표시되도록 적절히 갱신하여 묘화된다.
그리고, 합성부(126)는, 비디오 묘화 플레인(125)으로부터 출력된 신호에 대응하는 화상 또는 그래픽 플레인(124)으로부터 출력된 신호에 대응하는 화상과, OSD 플레인(129)으로부터 출력된 신호에 대응하는 화상을 합성하여 비디오 인코더(71)에 출력한다. 그 결과, 표시 장치(1300)에 있어서는, 도 21에 나타내는 것 같은 화상이 표시된다.
여기서, 슬라이드 표시 바(171) 및 슬라이드 표시 인디케이터(172)에 대하여 구체적으로 설명한다. 도 22는 슬라이드 표시 바(171) 및 슬라이드 표시 인디케이터(172)를 설명하기 위한 설명도이다. 또, 도 22에 있어서, 도 21에서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
예컨대, 실시예 2에 있어서 설명한 중요도 레벨 플롯(135)을 포함하는 OSD 플레인 화상(132)이 있었던 경우, 재생 제어부(16)는, 해당 중요도 레벨 플롯(135)의 일부분인 파선으로 둘러싼 부분(도 22에 있어서의 173의 부분. 이하, 부분 플롯(173)이라고 함)을 잘라낸 화상에 대응하는 OSD 신호를 OSD 플레인(129)에 출력한다. 또한, 재생 제어부(16)는, 부분 플롯(173)으로서 잘라낸 부분의, 비디오 전체에 있어서의 위치를 연산하여, 해당 위치를 도시하는 바와 같이, 슬라이드 표시 인디케이터(172)를 수시로 갱신하고, 슬라이드 표시 바(171) 상에 중첩시킨다.
이상에 설명한 재생 제어부(16)의 처리에 의해, 도 21에 나타낸 OSD 플레인 화상(170)이 생성된다.
이상의 설명과 같이, 실시예 7에 있어서의 요약 재생 장치에 의하면, 중요도 레벨의 변동을 나타내는 OSD 플레인 화상(170)의 면적을 작게 억제할 수 있기 때문에, 비디오 플레인 화상(131)에 중첩시켜 표시하더라도 비디오의 영상을 차폐하는 경우가 없다.
또, 중요도 레벨 플롯의 특정 부분을 확대 표시하는 것으로 시간축 방향에 있어서의 중요도 레벨의 변동을 보다 상세하고 또한 명확히 표시할 수 있다. 따라서, 중요도 레벨 플롯(135)의 변동이 친밀한 개소이더라도 사용자는 그 변동을 용이하게 시인할 수 있다.
또, 실시예 7에 있어서는, 슬라이드 표시 바(171) 및 슬라이드 표시 인디케이터(172)를 이용하여, 표시 장치(1300)에 현재 표시되어 있는 화상의 비디오 전체에 있어서의 위치를 나타내는 경우에 대하여 설명했지만, 현재 표시하고 있는 화상의 비디오 전체에 있어서의 위치를 표시할 수 있는 방법이면, 분수나 퍼센티지 표기를 이용한 텍스트에 의한 표현이나, 슬라이드 표시 바(170)와는 다른 원 그래프 등의 묘화를 채용할 수도 있다.
(실시예 8)
도 23은 실시예 8에 있어서의 기록 장치(1400)의 구성을 나타내는 블럭도이다. 또, 이하의 설명에 있어서는, 실시예 1 또는 2에 있어서 설명한 구성과 동일한 구성에 대해서는 동일한 부호를 부기하고, 설명을 생략한다.
도 23에 있어서, CM 검출부(300)는, 오디오 인코더(72)에 있어서 추출된 음 성 신호의 특징을 분석하여 상기 비디오에 있어서의 광고(Commercial Message, 이하, CM이라고도 함) 구간을 검출한다. 그리고, 해당 검출 결과에 대응하는 데이터를 메타데이터 생성부(301)에 출력한다.
메타데이터 생성부(301)는, 실시예 1에 있어서 설명한 바와 같이, 각 인코더에 있어서 추출된 영상 신호의 특징 또는 음성 신호의 특징에 근거하여 중요도 레벨을 산출한다. 또한, 메타데이터 생성부(301)는, CM 검출부(300)에 있어서의 CM 검출의 결과에 따라, 생성한 중요도 레벨을 수정한다. 또한, 메타데이터 생성부(301)는 수정한 중요도 레벨을 포함하는 메타데이터를 생성하여 기입 버퍼(74)에 출력한다. 그리고, 상기 메타데이터는, 실시예 1에 있어서 설명한 바와 같이, 세그먼트와 대응시켜 기록 매체(2)에 기록된다.
도 24는 CM 검출부(300)에 있어서의 CM 검출을 설명하기 위한 설명도이다. 도 24에 있어서, 참조부호 310은, 해당 기록 장치(1400)에 입력된 영상 신호 또는 음성 신호에 대응하는 비디오의 내용(예컨대, 텔레비젼 방송의 방송 내용)을 본편 방송(이하, 본편이라고도 함)과 CM 방송(이하, CM이라고도 함)으로 나눠 나타낸 비디오 내용 개념도이다. 또, 해당 비디오 내용 개념도에서는 CM 방송이 CM1, …, CMn과 같이 복수의 CM으로 구성되는 경우에 대하여 나타내었다.
또한, 도 24에 있어서, 참조부호 311은, 해당 CM 검출부(300)에 있어서 상기 음성 신호를 분석함으로써 검출된, 상기 비디오 내용 개념도(310)의 비디오 내용에 있어서의 무음성인 부분(이하, 무음성 개소라고도 함)과 무음성이 아닌 부분(이하, 유음성 개소라고도 함)을 나타낸 무음성 개소 검출 곡선이다. 또한, 참조부호 312 는 상기 무음성 개소에 근거하여 CM을 검출하기 위한 CM 검출 필터이며, 참조부호 313은 CM 검출 필터(312)에 의해 CM 구간으로서 검출된 부분을 나타내는 CM 검출 곡선이다.
통상, 도 24의 비디오 내용 개념도(310)에 나타낸 바와 같이 비디오의 내용이 본편과 CM으로 구성되어 있는 경우, 본편의 영상 또는 음성과 CM의 영상 또는 음성과는 관계가 없는 경우가 많다. 또한, 복수의 CM이 연속하는 경우에는, 어떤 CM의 영상 또는 음성과 다른 CM의 영상 또는 음성과는 관계가 없는 경우가 많다. 그 때문에, 본편으로부터 CM으로 바뀌는 부분, CM으로부터 CM으로 바뀌는 부분, 또는 CM으로부터 본편으로 바뀌는 부분에 있어서는 음성이 수백밀리초간, 무음으로 된다. 그래서, 실시예 8에 있어서의 CM 검출부(300)는, 오디오 인코더(72)로부터 출력된 음성의 특징을 분석하여 해당 무음성 개소를 검출함으로써 CM의 검출을 실행한다.
이하, CM 검출부(300)의 동작에 대하여 설명한다. 상술한 바와 같이, 해당 CM 검출부(300)는, 오디오 인코더(72)로부터 출력된 음성의 특징을 분석하여 해당 무음성 개소를 검출한다. 무음성 개소의 검출 방법으로서는, 예컨대, 변형 이산 코사인 변환(Modified Discrete Cosine Transform, 이하, MDCT라고 함)을 사용할 수 있다.
MDCT를 사용하는 경우, CM 검출부(300)는, 오디오 인코더(72)에 있어서 아날로그 음성 신호를 A/D 변환하고, 또한 부호화 압축하여 얻어지는 디지털 신호(PCM(Pulse Code Modulation) 신호라고도 함)를 MDCT하여 MDCT 계수를 산출한다. 다음에, 소정의 개수의 MDCT 계수의 값의 2승합(즉, 오디오 에너지에 상당함)을 산출하고, 해당 2승합의 값과 소정의 임계값을 비교한다. 그리고, 비교의 결과, 상기 2승합의 값이 상기 소정의 임계값 이하로 되는 구간이 소정의 구간(예컨대, 수백밀리초)인 경우에, 해당 구간을 무음성 개소로 한다. 그 결과, 도 24의 비디오 내용 개념도(31O)에 나타낸 비디오의 경우에는, 본편과 CM의 전환 부분 및 CM과 CM의 전환 부분에 있어서 무음성 개소가 검출된다.
또, CM 검출부(300)에 있어서 검출한 무음성 개소를 나타내는 정보(예컨대, 비디오 중의 해당 무음성 개소의 시간축 상의 위치를 나타내는 정보)는, CM 검출부(300)에 있어서의 메모리(도시하지 않음), 또는 기록 제어부(76)에 있어서의 메모리(도시하지 않음)에 기록한다. 또한, 상기 소정의 임계값 및 상기 소정의 구간은 해당 기록 장치(1400)의 설계 등에 따라 임의로 설정할 수 있다.
다음에, CM 검출부(300)는, 검출한 무음성 개소와 CM 검출 필터(312)를 비교하여 CM 구간의 검출을 실행한다. 일반적으로, CM 방송은, 하나의 CM의 시간이 15초, 30초, 60초, 90초… 와 같이 미리 결정된 시간 중 어느 하나의 시간을 채용하여 실행된다. 그래서, CM 검출부(300)에, 15초 간격, 30초 간격과 같이 소정의 간격으로 인에이블 신호를 발생하는 CM 검출 필터(312)를 설정한다. 그리고, 상기 메모리에 기록한 무음성 개소의 발생 위치(시간축 상의 위치)와, 상기 인에이블 신호의 발생 위치(시간축 상의 위치)를 비교하여 CM의 검출을 실행한다.
즉, CM 검출부(300)는, 임의의 무음 개소를 검출한 경우에 그 무음 개소의 위치를 기점으로 한 인에이블 신호(이하, 기점 인에이블 신호라고도 함)를 발생시 킨다. 그리고, 기점 인에이블 신호의 후에 소정의 간격(예컨대, 15초 간격, 30초 간격 등)으로 발생하는 인에이블 신호와, 후속하는 무음 개소가 연속하여 일치한 경우에, 기점으로 한 무음 개소를 CM 구간의 개시 위치(이하, CM IN 점이라고도 함)로 한다.
다음에, 무음 개소의 위치와 인에이블 신호의 위치가 일치하지 않는 개소를 검출한 경우에, 해당 일치하지 않는 개소보다도 시간적으로 앞이며, 또한 가장 가까이 있는 무음 개소의 위치와 인에이블 신호의 위치가 일치하는 개소를 CM 구간의 종료 개소(이하, CM OUT 점이라고도 함)로 한다. 그리고, CM IN 점과 CM OUT 점 사이의 구간을 CM 구간으로 하고, CM 구간을 나타내는 위치 정보를 메타데이터 생성부(301)에 출력한다. 즉, 상기 CM 검출 곡선(313)에 대응하는 신호를 메타데이터 생성부(300)에 출력한다.
도 25는 메타데이터 생성부(301)에 있어서의 중요도 레벨의 수정을 설명하기 위한 설명도이다. 또한, 도 25(a)은, 메타데이터 생성부(301)에 있어서, 비디오 인코더(71)의 출력 또는 오디오 인코더(72)의 출력에 근거하여 생성되는 중요도 레벨의 변화의 일례를 나타내는 중요도 레벨 플롯(도면 중 52), 도 25(b)은, 상기 CM 검출 곡선(도면 중 313), 도 25(c)은, CM 검출 곡선에 근거하여 중요도 레벨을 수정한 결과 얻어지는 중요도 레벨 플롯(도면 중 321, 이하, 수정 중요도 레벨 곡선이라고도 함)이다.
메타데이터 생성부(301)는 CM 검출부(300)에서 얻어진 CM 검출 곡선과, 중요도 레벨 플롯을 비교하여 중요도 레벨을 수정한다. 즉, 중요도 레벨 플롯에 있어 서 CM 검출 구간과 일치하는 중요도 레벨을 낮게 한다. 구체적으로는, 예컨대, CM 구간과 일치하는 중요도 레벨을 0 등의 고정값으로 대체한다. 또는, CM 구간과 일치하는 중요도 레벨에 대하여, 해당 중요도 레벨의 값을 작게 하는 것 같은 고정값(예컨대, 0.5)을 승산하더라도 무방하다. 이상에 설명한 처리를 실행하는 것에 따라, 해당 메타데이터 생성부(30l)에서 수정된 중요도 레벨을 얻을 수 있다.
또, 이상으로 설명한, CM 검출부(300)에 있어서의 CM 구간의 검출, 메타데이터 생성부(301)에 있어서의 메타데이터의 수정, 또는 수정한 중요도 레벨을 포함하는 메타데이터의 기록 매체로의 기록은, 해당 기록 장치(1400)에 있어서 기록 매체(2)로의 비디오의 기록중에 실행하더라도 좋고, 기록 매체(2)로의 비디오의 기록이 종료한 후에, 메모리나 하드디스크 등에 기록한 무음 구간의 시간 정보에 근거하여 중요도 레벨을 수정하여 임의의 타이밍에서 기록 매체(2)에 기록하더라도 무방하다.
이상의 설명과 같이, 실시예 8에 있어서의 기록 장치에 의하면, CM 구간에서의 중요도 레벨을 낮은 값으로 설정할 수 있다. 즉, CM 방송의 부분에 있어서 높은 중요도 레벨이 인가된 경우에도, 중요도 레벨을 낮은 값으로 수정할 수 있다. 따라서, 기록 매체에 기록된 비디오를 요약 재생할 때에, CM을 재생하는 것을 방지할 수 있다.
또, 이상의 설명에 있어서는, 오디오 인코더(72)로부터 출력된 음성 신호의 특징에 근거하여 CM 구간의 검출을 실행하는 경우에 대하여 설명했지만, CM 구간의 검출에 있어서는 비디오 인코더(71)로부터 출력되는 영상 신호의 특징을 사용하더 라도 좋고, 비디오 인코더(71)에 있어서의 영상 신호의 부호화 압축 시에 얻어지는 소정의 특징량을 사용하더라도 무방하다.
또한, CM 구간의 검출은, 영상 신호 또는 음성 신호 중 어느 한쪽으로부터만 얻어진 특징에 근거하여 행하더라도 좋고, 영상 신호와 음성 신호의 쌍방으로부터 얻어진 특징에 근거하여 행해져도 무방하다.
또한, 이상의 설명에 있어서는, 무음성 개소를 검출하여 CM 구간을 검출하여, 중요도 레벨을 수정하는 경우에 대하여 설명했지만, 그 밖의 방법에 의해 CM 구간을 검출하여 중요도 레벨의 수정을 실행하더라도 무방하다. 예컨대, 기록 장치에 입력되는 음성 신호의 음성 방식이 스테레오 방식인지 모노럴(monaural) 방식인지를 검출하여 CM 구간을 검출할 수도 있다. 즉, 본편에 있어서는 모노럴 방식이 사용되고, CM에서는 스테레오 방식이 사용되고 있는 경우에는, 모노럴 방식과 스테레오 방식의 전환 부분을 검출함으로써 CM IN 점과 CM OUT 점을 검출하여 CM 구간을 검출할 수 있다. 또한, 본편에 있어서는 2개국어 방식이 사용되고, CM에서는 2개국어 방식이 사용되고 있지 않은 경우에는, 2개국어 방송이 아닌 부분을 CM 구간으로서 검출할 수 있다.
또한, 본편과 CM의 전환점에서 흑 화면의 영상 프레임이 삽입되어 있는 경우에는, 해당 흑 화면을 검출함으로써 CM 구간을 검출할 수 있다. 또한, 본편에 대응하는 영상 신호에 있어서는 자막 방송 신호가 포함되고, CM에 대응하는 영상 신호에서는 자막 방송 신호가 포함되지 않는 경우에 있어서는, 해당 자막 방송 신호를 검출하는 것에 의해 CM 구간의 검출을 할 수 있다.
또한, 기록 장치에 입력되는 영상 신호 또는 음성 신호에 CM 구간을 식별하기 위한 신호(이하, CM 식별 신호라고도 함)가 중첩되어 있는 경우에는, 해당 CM 식별 신호를 검출함으로써 CM 구간의 검출을 할 수 있다. 또, CM 구간의 검출에 있어서, 흑 화면을 검출하는 등, 영상 신호의 특징을 사용하는 경우에 있어서는, 도 26에 도시하는 바와 같이, CM 검출부(302)에 비디오 인코더(71)의 출력이 입력되도록 기록 장치(1500)를 구성한다. 그리고, 메타데이터 생성부(303)에 있어서는, 영상 신호 또는 음성 신호에 근거하여 얻어진 CM 검출 곡선에 따라 메타데이터의 수정을 실행한다.
또한, 이상의 설명에 있어서는, CM 구간의 검출에 있어서, 무음성 개소를 검출하는 방법만을 사용하는 경우에 대하여 설명했지만, CM 검출부(300)에 있어서는, 상술한 복수의 CM 검출 방법의 어느 것을 사용하더라도 좋고, 복수의 CM 검출 방법을 조합시켜 사용하더라도 무방하다.
예컨대, 모노럴 방식과 스테레오 방식의 전환 부분을 검출함으로써 CM 구간을 검출하는 방법과, 무음성 개소를 검출함으로써 CM 구간을 검출하는 방법을 조합할 수 있다. 모노럴 방식과 스테레오 방식의 전환 부분을 검출하여 CM 구간을 검출하는 방법은, 본편 및 CM의 쌍방에서 스테레오 방식을 사용하고 있는 경우에는 CM 구간의 검출을 하는 것은 곤란하다. 그러나, 해당 음성 방식의 전환을 검출함으로써 CM 구간을 검출하는 방법은 가장 간이하게 CM 구간을 검출할 수 있고, 기록 장치에 있어서의 연산 부하를 작게 할 수 있다.
그래서, 녹화의 대상으로 되는 텔레비젼 방송의 음성 신호의 음성 방식을 미 리 전자 프로그램표(EPG(Electric Program Guide)라고도 함)에 의해 취득해두고, 본편이 모노럴 방식인 경우나 2개국어 방식의 경우에는 음성 방식의 전환을 검출하여 CM 구간을 검출하는 방식을 채용하고, 본편이 스테레오 방식인 경우에는, 무음성 개소를 검출하는 것에 의해 CM 구간을 검출하는 방법을 채용하도록 하더라도 무방하다.
또한, 음성 방식의 전환의 검출에 의한 CM 검출 방식의 결과와, 무음성 개소의 검출에 의한 CM 검출 방식의 결과를 독립된 데이터 테이블로서 유지해두고, 녹화 완료 후 또는 임의의 타이밍에서 어느 쪽의 방식에 의한 CM 검출이 적절했는지를 소정의 기준에 근거해서 판정하여, 어느 하나의 방식을 채용하도록 하더라도 무방하다.
또, 상기 소정의 기준이란, 예컨대, 검출되는 CM 구간의 개수(이하, CM 구간수라고도 함)를 사용할 수 있다. 예컨대, 본편이 스테레오 음성 방식의 프로그램에 대하여 음성 방식의 전환을 검출하는 것에 의한 CM 구간의 검출을 한 경우에는, CM 구간수가, 프로그램의 방송 시간에서 상정되는 일반적인 CM 구간의 개수보다도 극단적으로 적어진다. 그래서, 상술의 경우에는, CM 구간수가, 프로그램의 방송 시간에서 상정되는 일반적인 CM 구간의 개수보다도 극단적으로 적어진 경우에, 음성 방식의 전환을 검출하는 것에 의한 CM 검출이 적절하지 않았던 것을 판단할 수 있다.
구체적으로는, 예컨대, 소정의 임계값(프로그램의 방송 시간으로부터 상정되는 일반적인 CM 구간의 개수보다도 극단적으로 적다고 판단하는 것이 가능한 임계 값)을 설정하고, CM 구간수와 상기 임계값을 비교하여, 해당 임계값보다 CM 구간수가 작은 경우에, 음성 방식의 전환을 검출하는 것에 의한 CM 검출이 적절하지 않다고 판단할 수 있다.
또한, 음성 방식의 전환을 검출하여 CM 구간을 검출하는 방법을 사용하여 중요도 레벨의 수정을 실행하여 얻어지는 메타데이터, 및, 무음성 개소를 검출함으로써 CM 구간을 검출하는 방법을 사용하여 중요도 레벨의 수정을 실행하여 얻어지는 메타데이터의 양쪽의 메타데이터를 기록 매체(2)에 기록하고, 해당 기록 매체(2)를 재생할 때에, 사용하는 메타데이터를 선택하도록 하더라도 무방하다.
또, 실시예 8에 있어서 설명한 기록 장치에 의해 메타데이터 등이 기록된 기록 매체(2)는, 실시예 2에 있어서 설명한 요약 재생 장치에 의해 재생할 수 있다.
본 발명을, 바람직한 실시형태의 예로서 기재하여 왔지만, 본 발명의 정신 및 범위 내에서 여러 가지 다른 적응 및 수정을 행할 수 있는 것을 이해하여야 한다. 따라서, 병기의 특허청구의 범위의 목적은 본 발명의 참된 정신 및 범위에 들어가는 변형 및 수정을 전부 망라하는 것이다.

Claims (21)

  1. 입력된 영상 신호 또는 음성 신호를 소정의 기록 매체에 기록하는 기록 수단과,
    상기 영상 신호 또는 상기 음성 신호를 소정의 세그먼트로 구분하여, 상기 영상 신호의 영상의 특징 또는 상기 음성 신호의 음성의 특징을 상기 세그먼트마다 추출하는 특징 추출 수단과,
    상기 특징에 대응하는 특징 데이터, 및 상기 세그먼트의 개시 위치를 포함하는 메타데이터를 생성하는 메타데이터 생성 수단
    을 구비하고,
    상기 기록 수단은, 상기 세그먼트와 대응시켜 상기 메타데이터를 상기 기록 매체에 기록하도록 구성되어 이루어지는 기록 장치.
  2. 제 1 항에 있어서,
    상기 메타데이터 생성 수단은, 소정의 윈도우에 포함되는 각 세그먼트의 특징 데이터에 근거하여, 상기 윈도우내의 세그먼트 모두에 대응하는 상기 특징 데이터를 생성하도록 구성되어 이루어지는 기록 장치.
  3. 제 2 항에 있어서,
    상기 윈도우는 소정의 특징 데이터가 설정되는 앵커 구간(anchor segment)을 갖고,
    상기 메타데이터 생성 수단은, 상기 윈도우에 포함되는 각 세그먼트의 특징 데이터, 및 상기 앵커 구간에 설정된 특징 데이터에 근거하여, 상기 윈도우내의 세그먼트 모두에 대응하는 상기 특징 데이터를 생성하도록 구성되어 이루어지는
    기록 장치.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 메타데이터 생성 수단은 상기 특징 데이터에 가중치 부여를 행하도록 구성되어 이루어지는 기록 장치.
  5. 제 4 항에 있어서,
    상기 가중치 부여는, 상기 음성 신호에 대응하는 음성의 음량인 것을 특징으로 하는 기록 장치.
  6. 입력된 영상 신호 또는 음성 신호를 소정의 기록 매체에 기록하는 기록 수단과,
    상기 영상 신호 또는 상기 음성 신호를 소정의 세그먼트로 구분하여, 상기 영상 신호의 영상의 특징 또는 상기 음성 신호의 음성의 특징을 상기 세그먼트마다 추출하는 특징 추출 수단과,
    상기 특징에 대응하는 특징 데이터, 및 상기 세그먼트의 개시 위치를 포함하는 메타데이터를 생성하는 메타데이터 생성 수단과,
    상기 영상 신호 또는 상기 음성 신호에 근거하여 상기 영상 신호 또는 상기 음성 신호에 포함되는 광고 구간을 검출하는 CM 검출 수단
    을 구비하고,
    상기 메타데이터 생성 수단은, 상기 CM 검출 수단에서의 검출의 결과에 따라, 상기 특징 데이터를 수정하여 메타데이터를 생성하고,
    상기 기록 수단은, 수정된 상기 특징 데이터를 포함하는 메타데이터를, 상기 세그먼트와 대응시켜 상기 기록 매체에 기록하도록 구성되어 이루어지는
    기록 장치.
  7. 입력된 영상 신호 또는 음성 신호를 소정의 기록 매체에 기록하고,
    상기 영상 신호 또는 상기 음성 신호를 소정의 세그먼트로 구분하여, 상기 영상 신호의 영상의 특징 또는 상기 음성 신호의 음성의 특징을 상기 세그먼트마다 추출하며,
    상기 특징에 대응하는 특징 데이터, 및 상기 세그먼트의 개시 위치를 포함하는 메타데이터를 생성하고,
    상기 기록시에, 상기 세그먼트와 대응시켜 상기 메타데이터를 상기 기록 매체에 기록하는
    것을 포함하는 기록 방법.
  8. 입력된 영상 신호 또는 음성 신호를 소정의 기록 매체에 기록하고,
    상기 영상 신호 또는 상기 음성 신호를 소정의 세그먼트로 구분하여, 상기 영상 신호의 영상의 특징 또는 상기 음성 신호의 음성의 특징을 상기 세그먼트마다 추출하며,
    상기 특징에 대응하는 특징 데이터, 및 상기 세그먼트의 개시 위치를 포함하는 메타데이터를 생성하고,
    상기 영상 신호 또는 상기 음성 신호에 근거하여 상기 영상 신호 또는 상기 음성 신호에 포함되는 광고 구간을 검출하며,
    광고 구간의 검출의 결과에 따라, 상기 특징 데이터를 수정하여 메타데이터를 생성하고,
    수정된 상기 특징 데이터를 포함하는 메타데이터를, 상기 세그먼트와 대응시 켜 상기 기록 매체에 기록하는
    것을 포함하는 기록 방법.
  9. 청구항 7 또는 청구항 8에 기재된 기록 방법에 의해, 상기 메타데이터, 상기 영상 신호 또는 상기 음성 신호에 대응하는 세그먼트가 기록된 컴퓨터 판독 가능한 기록 매체.
  10. 제 9 항에 있어서,
    상기 메타데이터에 대응하는 파일이 저장되는 디렉토리와, 상기 세그먼트에 대응하는 파일이 저장되는 디렉토리를 다른 디렉토리로서 마련하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
  11. 청구항 9 또는 10에 기재된 기록 매체에 기록된 상기 메타데이터로부터 상기 특징 데이터를 추출하는 특징 데이터 추출 수단과,
    상기 특징 데이터에 대응하는 값과 미리 정해진 임계값을 비교하는 비교 수단과,
    상기 기록 매체에 기록된 상기 세그먼트 중, 상기 비교의 결과에 대응하는 세그먼트를 검색하는 검색 수단과,
    상기 검색 수단에서 검색된 세그먼트에 대응하는 영상 또는 음성을 재생하는 재생 수단
    을 구비하는 요약 재생 장치.
  12. 제 11 항에 있어서,
    상기 검색 수단은, 상기 비교 수단에서의 비교의 결과, 상기 임계값보다 값이 큰 특징 데이터에 대응하는 세그먼트를 검색하도록 구성되어 이루어지는 요약 재생 장치.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 비교 수단은, 상기 검색 수단에서 검색된 세그먼트에 대응하는 영상의 재생 시간과 소정의 임계값을 비교하고,
    상기 요약 재생 장치는, 상기 비교 수단에서의 비교의 결과, 상기 재생 시간이 상기 소정의 임계값보다 작은 경우에는, 상기 검색된 세그먼트에 대응하는 영상 또는 음성을 재생하지 않도록 구성되어 이루어지는
    요약 재생 장치.
  14. 제 11 항 또는 제 12 항에 있어서,
    상기 비교 수단은, 상기 검색 수단에서 검색된 세그먼트에 대응하는 영상의 재생 시간과 소정의 임계값을 비교하고,
    상기 요약 재생 장치는, 상기 비교 수단에서의 비교의 결과, 상기 재생 시간이 상기 소정의 임계값보다 작은 경우에는, 상기 세그먼트에 대응하는 영상 또는 음성을 포함하여 재생되는 영상 또는 음성의 재생 시간이 상기 소정의 임계값 이상이 되도록 재생 시간을 조정하도록 구성되어 이루어지는
    요약 재생 장치.
  15. 제 11 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 비교 수단에서의 비교의 결과를 나타내는 화상을 생성하는 화상 생성 수단과,
    상기 화상 생성 수단에서 생성된 화상과, 상기 영상 검색 수단에서 검색된 세그먼트의 영상을 합성하여 출력하는 합성 수단
    을 더 구비하는 요약 재생 장치.
  16. 제 15 항에 있어서,
    상기 화상 생성 수단에서 생성되는 화상은, 상기 특징 데이터의 값의 변동을 나타내는 화상과, 상기 임계값의 레벨을 나타내는 화상을 포함하여 구성되는 요약 재생 장치.
  17. 제 15 항 또는 제 16 항에 있어서,
    상기 화상 생성 수단에서 생성되는 화상은, 상기 비교 수단에서의 비교의 결과, 상기 검색 수단에 의해 검색된 세그먼트에 대응하는 영상의 재생 시간을 나타내는 화상을 포함하여 구성되는 요약 재생 장치.
  18. 제 15 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 화상 생성 수단에서 생성되는 화상은, 상기 비교 수단에서의 비교의 결과, 상기 검색 수단에 의해 검색된 세그먼트에 대응하는 영상의, 비디오 전체에 있어서의 위치를 나타내는 화상을 포함하여 구성되는 요약 재생 장치.
  19. 청구항 9 또는 10에 기재된 기록 매체에 기록된 상기 메타데이터로부터 상기 특징 데이터를 추출하고,
    상기 특징 데이터에 대응하는 값과 미리 정해진 임계값을 비교하며,
    상기 기록 매체에 기록된 상기 세그먼트 중, 상기 비교의 결과에 대응하는 세그먼트를 검색하고,
    상기 검색 수단에서 검색된 세그먼트에 대응하는 영상 또는 음성을 재생하는
    것을 포함하는 요약 재생 방법.
  20. 멀티미디어를 요약하는 멀티미디어 요약 시스템으로서,
    구간열로 분할된 압축 멀티미디어 파일, 및, 상기 열의 각 구간의 색인 정보 및 폐구간(closed interval)에 걸쳐 연속적인 중요도의 레벨 정보를 포함하는 메타데이터 파일을 저장하는 수단과,
    상기 폐구간에 있어서 중요도 레벨의 임계값을 선택하는 수단과,
    상기 색인 정보를 이용하여, 상기 멀티미디어 중, 상기 중요도 레벨의 임계값보다 높은 특정 중요도 레벨을 갖는 구간만을 재생하는 수단
    을 구비한 멀티미디어 요약 시스템.
  21. 멀티미디어를 요약하는 멀티미디어 요약 방법으로서,
    구간열로 분할된 압축 멀티미디어 파일을 저장하고,
    상기 구간열의 각 구간의 색인 정보 및 폐구간에 걸쳐 연속적인 중요도의 레벨 정보를 포함하는 메타데이터 파일을 저장하며,
    상기 폐구간에 있어서 중요도 레벨의 임계값을 선택하고,
    상기 색인 정보를 이용하여, 상기 멀티미디어 중, 상기 중요도 레벨의 임계값보다 높은 특정 중요도 레벨을 갖는 구간을 재생하는
    것을 포함하는 멀티미디어 요약 방법.
KR1020067014082A 2004-01-14 2005-01-07 기록 장치, 기록 방법, 기록 매체, 요약 재생 장치, 요약 재생 방법, 멀티미디어 요약 시스템 및 멀티미디어 요약 방법 KR100831531B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US10/757,138 US20050154987A1 (en) 2004-01-14 2004-01-14 System and method for recording and reproducing multimedia
US10/757,138 2004-01-14
US10/779,105 2004-02-13
US10/779,105 US7406409B2 (en) 2004-01-14 2004-02-13 System and method for recording and reproducing multimedia based on an audio signal

Publications (2)

Publication Number Publication Date
KR20060113761A true KR20060113761A (ko) 2006-11-02
KR100831531B1 KR100831531B1 (ko) 2008-05-22

Family

ID=34799005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067014082A KR100831531B1 (ko) 2004-01-14 2005-01-07 기록 장치, 기록 방법, 기록 매체, 요약 재생 장치, 요약 재생 방법, 멀티미디어 요약 시스템 및 멀티미디어 요약 방법

Country Status (6)

Country Link
US (1) US20050198570A1 (ko)
EP (1) EP1708101B1 (ko)
JP (3) JP4000171B2 (ko)
KR (1) KR100831531B1 (ko)
TW (1) TWI259719B (ko)
WO (1) WO2005069172A1 (ko)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4835439B2 (ja) * 2004-08-10 2011-12-14 ソニー株式会社 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
US20060218573A1 (en) * 2005-03-04 2006-09-28 Stexar Corp. Television program highlight tagging
JP4525437B2 (ja) * 2005-04-19 2010-08-18 株式会社日立製作所 動画処理装置
JP2006324743A (ja) * 2005-05-17 2006-11-30 Toshiba Corp 無音部を利用した映像信号の区切り情報設定方法及び装置
JP4373962B2 (ja) * 2005-05-17 2009-11-25 株式会社東芝 音声と映像信号から判定した映像信号の区切り情報設定方法及び装置
JP4381345B2 (ja) * 2005-05-17 2009-12-09 株式会社東芝 音声モードを利用した映像信号の区切り情報設定方法及び装置
JPWO2007013407A1 (ja) * 2005-07-27 2009-02-05 パナソニック株式会社 ダイジェスト生成装置、ダイジェスト生成方法、ダイジェスト生成プログラムを格納した記録媒体、およびダイジェスト生成装置に用いる集積回路
JP4871550B2 (ja) * 2005-08-30 2012-02-08 株式会社日立製作所 録画再生装置
US20090254562A1 (en) * 2005-09-02 2009-10-08 Thomson Licensing Automatic Metadata Extraction and Metadata Controlled Production Process
WO2007029489A1 (ja) * 2005-09-07 2007-03-15 Pioneer Corporation コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体
EP1942671A4 (en) * 2005-09-30 2010-01-27 Pioneer Corp DEVICE FOR GENERATING A SUMMARY AND PROGRAM THEREFOR
JP4757876B2 (ja) * 2005-09-30 2011-08-24 パイオニア株式会社 ダイジェスト作成装置およびそのプログラム
EP1954042A4 (en) * 2005-09-30 2009-11-11 Pioneer Corp OUT-OF-PROGRAM MATERIAL SCENE EXTRACTION DEVICE AND COMPUTER PROGRAM
US20070100891A1 (en) * 2005-10-26 2007-05-03 Patrick Nee Method of forming a multimedia package
US9697230B2 (en) * 2005-11-09 2017-07-04 Cxense Asa Methods and apparatus for dynamic presentation of advertising, factual, and informational content using enhanced metadata in search-driven media applications
KR100763189B1 (ko) 2005-11-17 2007-10-04 삼성전자주식회사 영상 표시 장치 및 방법
US20100005485A1 (en) * 2005-12-19 2010-01-07 Agency For Science, Technology And Research Annotation of video footage and personalised video generation
JP4321518B2 (ja) * 2005-12-27 2009-08-26 三菱電機株式会社 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置
JP4296514B2 (ja) * 2006-01-23 2009-07-15 ソニー株式会社 音楽コンテンツ再生装置、音楽コンテンツ再生方法及び音楽コンテンツ再生プログラム
JP2007228334A (ja) * 2006-02-24 2007-09-06 Fujifilm Corp 動画像制御装置および方法並びにプログラム
US20070204238A1 (en) * 2006-02-27 2007-08-30 Microsoft Corporation Smart Video Presentation
US7421455B2 (en) * 2006-02-27 2008-09-02 Microsoft Corporation Video search and services
JP4854339B2 (ja) * 2006-03-08 2012-01-18 三洋電機株式会社 映像再生装置
EP2021956A1 (en) * 2006-05-05 2009-02-11 Koninklijke Philips Electronics N.V. Method of updating a video summary by user relevance feedback
JP4442585B2 (ja) * 2006-05-11 2010-03-31 三菱電機株式会社 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置
US8094997B2 (en) * 2006-06-28 2012-01-10 Cyberlink Corp. Systems and method for embedding scene processing information in a multimedia source using an importance value
JP5045983B2 (ja) * 2006-06-30 2012-10-10 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US8275814B2 (en) * 2006-07-12 2012-09-25 Lg Electronics Inc. Method and apparatus for encoding/decoding signal
KR100803747B1 (ko) 2006-08-23 2008-02-15 삼성전자주식회사 요약 클립 생성 시스템 및 이를 이용한 요약 클립 생성방법
WO2008048066A1 (en) * 2006-10-19 2008-04-24 Lg Electronics Inc. Encoding method and apparatus and decoding method and apparatus
US20100031142A1 (en) * 2006-10-23 2010-02-04 Nec Corporation Content summarizing system, method, and program
US8107541B2 (en) * 2006-11-07 2012-01-31 Mitsubishi Electric Research Laboratories, Inc. Method and system for video segmentation
JP5022025B2 (ja) * 2006-12-27 2012-09-12 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツのデータ・ストリームとメタデータを同期するための方法および装置。
JP2008204568A (ja) * 2007-02-21 2008-09-04 Matsushita Electric Ind Co Ltd 記録装置
JP5092469B2 (ja) * 2007-03-15 2012-12-05 ソニー株式会社 撮像装置、画像処理装置、および画像表示制御方法、並びにコンピュータ・プログラム
US20080225940A1 (en) * 2007-03-16 2008-09-18 Chen Ma Digital video apparatus and method thereof for video playing and recording
US8571384B2 (en) * 2007-03-16 2013-10-29 Realtek Semiconductor Corp. Digital video recorder, digital video system, and video playback method thereof
US8478587B2 (en) 2007-03-16 2013-07-02 Panasonic Corporation Voice analysis device, voice analysis method, voice analysis program, and system integration circuit
JP4462290B2 (ja) * 2007-04-04 2010-05-12 ソニー株式会社 コンテンツ管理情報記録装置、コンテンツ再生装置、コンテンツ再生システム、撮像装置、コンテンツ管理情報記録方法およびプログラム
US7890556B2 (en) 2007-04-04 2011-02-15 Sony Corporation Content recording apparatus, content playback apparatus, content playback system, image capturing apparatus, processing method for the content recording apparatus, the content playback apparatus, the content playback system, and the image capturing apparatus, and program
US8316302B2 (en) * 2007-05-11 2012-11-20 General Instrument Corporation Method and apparatus for annotating video content with metadata generated using speech recognition technology
US20110229110A1 (en) * 2007-08-08 2011-09-22 Pioneer Corporation Motion picture editing apparatus and method, and computer program
JPWO2009037856A1 (ja) * 2007-09-19 2011-01-06 パナソニック株式会社 記録装置
US8706690B2 (en) 2008-05-12 2014-04-22 Blackberry Limited Systems and methods for space management in file systems
US10552384B2 (en) 2008-05-12 2020-02-04 Blackberry Limited Synchronizing media files available from multiple sources
US8086651B2 (en) 2008-05-12 2011-12-27 Research In Motion Limited Managing media files using metadata injection
WO2009147553A1 (en) * 2008-05-26 2009-12-10 Koninklijke Philips Electronics N.V. Method and apparatus for presenting a summary of a content item
US9432629B2 (en) * 2008-08-18 2016-08-30 Brigham Young University Interactive viewing of sports video
JP2010074823A (ja) * 2008-08-22 2010-04-02 Panasonic Corp 録画編集装置
US8812311B2 (en) * 2008-10-27 2014-08-19 Frank Elmo Weber Character-based automated shot summarization
JP2010166323A (ja) * 2009-01-15 2010-07-29 Toshiba Corp 映像記録再生装置及び信号情報表示方法
JP5421627B2 (ja) * 2009-03-19 2014-02-19 キヤノン株式会社 映像データ表示装置及びその方法
US9774818B2 (en) * 2009-04-24 2017-09-26 Level 3 Communications, Llc Media resource storage and management
CN102460418B (zh) 2009-04-24 2016-05-18 第三雷沃通讯有限责任公司 媒体资源存储和管理
JP2010288015A (ja) 2009-06-10 2010-12-24 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
CN102487456B (zh) * 2009-11-30 2015-06-17 国际商业机器公司 用于提供网络视频访问热度的方法和装置
JP2011130279A (ja) * 2009-12-18 2011-06-30 Sony Corp コンテンツ提供サーバ、コンテンツ再生装置、コンテンツ提供方法、コンテンツ再生方法、プログラムおよびコンテンツ提供システム
JP2010183596A (ja) * 2010-03-11 2010-08-19 Hitachi Ltd 録画再生装置
US8773490B2 (en) 2010-05-28 2014-07-08 Avaya Inc. Systems, methods, and media for identifying and selecting data images in a video stream
WO2012086616A1 (ja) * 2010-12-22 2012-06-28 株式会社Ｊｖｃケンウッド 映像処理装置、映像処理方法及び映像処理プログラム
US10440402B2 (en) * 2011-01-26 2019-10-08 Afterlive.tv Inc Method and system for generating highlights from scored data streams
JP2011211738A (ja) * 2011-05-31 2011-10-20 Sanyo Electric Co Ltd 映像再生装置
US8667032B1 (en) * 2011-12-22 2014-03-04 Emc Corporation Efficient content meta-data collection and trace generation from deduplicated storage
US8914338B1 (en) 2011-12-22 2014-12-16 Emc Corporation Out-of-core similarity matching
US10091552B2 (en) * 2012-09-19 2018-10-02 Rovi Guides, Inc. Methods and systems for selecting optimized viewing portions
JP2014106637A (ja) * 2012-11-26 2014-06-09 Sony Corp 情報処理装置および方法、並びにプログラム
JP2014183559A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 報知制御装置、報知制御方法及びプログラム
WO2015038121A1 (en) * 2013-09-12 2015-03-19 Thomson Licensing Video segmentation by audio selection
US20150110462A1 (en) * 2013-10-21 2015-04-23 Sling Media, Inc. Dynamic media viewing
US10297287B2 (en) 2013-10-21 2019-05-21 Thuuz, Inc. Dynamic media recording
KR101466007B1 (ko) * 2014-06-27 2014-12-11 (주)진명아이앤씨 멀티플 듀플렉스 네트워크 비디오 리코더 및 그 리코딩 방법
KR20160035649A (ko) * 2014-09-23 2016-04-01 삼성전자주식회사 전자 장치에서 컨텐츠의 선호도를 표시하기 위한 장치 및 방법
US10433030B2 (en) 2014-10-09 2019-10-01 Thuuz, Inc. Generating a customized highlight sequence depicting multiple events
US10536758B2 (en) 2014-10-09 2020-01-14 Thuuz, Inc. Customized generation of highlight show with narrative component
US11863848B1 (en) 2014-10-09 2024-01-02 Stats Llc User interface for interaction with customized highlight shows
US10419830B2 (en) 2014-10-09 2019-09-17 Thuuz, Inc. Generating a customized highlight sequence depicting an event
TWI554090B (zh) 2014-12-29 2016-10-11 財團法人工業技術研究院 產生多媒體影音摘要的系統與方法
WO2017087641A1 (en) * 2015-11-17 2017-05-26 BrightSky Labs, Inc. Recognition of interesting events in immersive video
US10321196B2 (en) * 2015-12-09 2019-06-11 Rovi Guides, Inc. Methods and systems for customizing a media asset with feedback on customization
KR20170098079A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 전자 장치에서의 비디오 녹화 방법
JP6584978B2 (ja) * 2016-02-24 2019-10-02 京セラ株式会社 電子機器、制御装置、制御プログラム及び表示方法
US10276177B2 (en) 2016-10-01 2019-04-30 Intel Corporation Technologies for privately processing voice data using a repositioned reordered fragmentation of the voice data
US10929707B2 (en) 2017-03-02 2021-02-23 Ricoh Company, Ltd. Computation of audience metrics focalized on displayed content
US10720182B2 (en) 2017-03-02 2020-07-21 Ricoh Company, Ltd. Decomposition of a video stream into salient fragments
US10713391B2 (en) 2017-03-02 2020-07-14 Ricoh Co., Ltd. Tamper protection and video source identification for video processing pipeline
US10956494B2 (en) 2017-03-02 2021-03-23 Ricoh Company, Ltd. Behavioral measurements in a video stream focalized on keywords
US10949463B2 (en) 2017-03-02 2021-03-16 Ricoh Company, Ltd. Behavioral measurements in a video stream focalized on keywords
US10708635B2 (en) 2017-03-02 2020-07-07 Ricoh Company, Ltd. Subsumption architecture for processing fragments of a video stream
US10719552B2 (en) 2017-03-02 2020-07-21 Ricoh Co., Ltd. Focalized summarizations of a video stream
US10956773B2 (en) 2017-03-02 2021-03-23 Ricoh Company, Ltd. Computation of audience metrics focalized on displayed content
US10943122B2 (en) 2017-03-02 2021-03-09 Ricoh Company, Ltd. Focalized behavioral measurements in a video stream
US10929685B2 (en) 2017-03-02 2021-02-23 Ricoh Company, Ltd. Analysis of operator behavior focalized on machine events
US10949705B2 (en) 2017-03-02 2021-03-16 Ricoh Company, Ltd. Focalized behavioral measurements in a video stream
US10956495B2 (en) 2017-03-02 2021-03-23 Ricoh Company, Ltd. Analysis of operator behavior focalized on machine events
JP7114908B2 (ja) * 2018-01-19 2022-08-09 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、および情報処理プログラム
US10795549B2 (en) * 2018-03-12 2020-10-06 International Business Machines Corporation Generating a graphical user interface to navigate video content
US11138438B2 (en) 2018-05-18 2021-10-05 Stats Llc Video processing for embedded information card localization and content extraction
US11264048B1 (en) 2018-06-05 2022-03-01 Stats Llc Audio processing for detecting occurrences of loud sound characterized by brief audio bursts
US11025985B2 (en) 2018-06-05 2021-06-01 Stats Llc Audio processing for detecting occurrences of crowd noise in sporting event television programming
JP6923033B2 (ja) * 2018-10-04 2021-08-18 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
KR102412863B1 (ko) * 2020-05-21 2022-06-24 주식회사 윌비소프트 동영상 강의의 중요구간 탐지 방법, 컴퓨터 프로그램 및 컴퓨터 판독가능 기록 매체

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7080392B1 (en) * 1991-12-02 2006-07-18 David Michael Geshwind Process and device for multi-level television program abstraction
JP3573493B2 (ja) * 1994-06-27 2004-10-06 株式会社日立製作所 動画検索システムおよび動画検索データ抽出方法
JP3579111B2 (ja) * 1995-03-16 2004-10-20 株式会社東芝 情報処理装置
JPH1032776A (ja) * 1996-07-18 1998-02-03 Matsushita Electric Ind Co Ltd 映像表示方法及び記録再生装置
JP3409834B2 (ja) * 1997-07-10 2003-05-26 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
JPH1155613A (ja) * 1997-07-30 1999-02-26 Hitachi Ltd 記録および／または再生装置およびこれに用いられる記録媒体
US6163510A (en) * 1998-06-30 2000-12-19 International Business Machines Corporation Multimedia search and indexing system and method of operation using audio cues with signal thresholds
JP2000023062A (ja) * 1998-06-30 2000-01-21 Toshiba Corp ダイジェスト作成システム
US6714909B1 (en) * 1998-08-13 2004-03-30 At&T Corp. System and method for automated multimedia content indexing and retrieval
US6833865B1 (en) * 1998-09-01 2004-12-21 Virage, Inc. Embedded metadata engines in digital capture devices
US6185527B1 (en) * 1999-01-19 2001-02-06 International Business Machines Corporation System and method for automatic audio content analysis for word spotting, indexing, classification and retrieval
GB2354105A (en) * 1999-09-08 2001-03-14 Sony Uk Ltd System and method for navigating source content
KR100371813B1 (ko) * 1999-10-11 2003-02-11 한국전자통신연구원 효율적인 비디오 개관 및 브라우징을 위한 요약 비디오 기술구조 및 이의 기록매체, 이를 이용한 요약 비디오 기술 데이터 생성 방법 및 생성시스템, 요약 비디오 기술 데이터의 브라우징 장치 및 브라우징 방법.
EP1168840A3 (en) * 2000-06-30 2003-12-17 Kabushiki Kaisha Toshiba Method and apparatus for special video reproduction modes
JP2002023062A (ja) * 2000-07-07 2002-01-23 Nikon Corp レーザ顕微鏡の照明光学系の調整方法
JP2002142189A (ja) * 2000-11-06 2002-05-17 Canon Inc 画像処理装置、画像処理方法及び記憶媒体
JP2002259720A (ja) * 2001-03-02 2002-09-13 Internatl Business Mach Corp <Ibm> コンテンツ要約システム、映像要約システム、ユーザ端末、要約映像生成方法、要約映像受信方法、およびプログラム
JP2003143546A (ja) * 2001-06-04 2003-05-16 Sharp Corp フットボールビデオ処理方法
JP4546682B2 (ja) * 2001-06-26 2010-09-15 パイオニア株式会社 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
JP4615166B2 (ja) * 2001-07-17 2011-01-19 パイオニア株式会社 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム
GB0118575D0 (en) * 2001-07-31 2001-09-19 Koninl Philips Electronics Nv Entertainment schedule adapter
US7386217B2 (en) * 2001-12-14 2008-06-10 Hewlett-Packard Development Company, L.P. Indexing video by detecting speech and music in audio
US7349477B2 (en) * 2002-07-10 2008-03-25 Mitsubishi Electric Research Laboratories, Inc. Audio-assisted video segmentation and summarization
US7127120B2 (en) * 2002-11-01 2006-10-24 Microsoft Corporation Systems and methods for automatically editing a video
US7356778B2 (en) * 2003-08-20 2008-04-08 Acd Systems Ltd. Method and system for visualization and operation of multiple content filters
EP2053516B1 (en) * 2007-05-28 2017-08-02 Panasonic Corporation Metadata recording device and method thereof

Also Published As

Publication number Publication date
JP2006345554A (ja) 2006-12-21
WO2005069172A1 (ja) 2005-07-28
EP1708101A1 (en) 2006-10-04
KR100831531B1 (ko) 2008-05-22
TW200533193A (en) 2005-10-01
TWI259719B (en) 2006-08-01
JP4000171B2 (ja) 2007-10-31
EP1708101B1 (en) 2014-06-25
EP1708101A4 (en) 2009-04-22
JP4081120B2 (ja) 2008-04-23
US20050198570A1 (en) 2005-09-08
JP2007282268A (ja) 2007-10-25
JP2007006509A (ja) 2007-01-11

Similar Documents

Publication Publication Date Title
KR100831531B1 (ko) 기록 장치, 기록 방법, 기록 매체, 요약 재생 장치, 요약 재생 방법, 멀티미디어 요약 시스템 및 멀티미디어 요약 방법
EP2107477B1 (en) Summarizing reproduction device and summarizing reproduction method
JP5322550B2 (ja) 番組推奨装置
US7403698B2 (en) Recording/reproduction apparatus and method as well as recording medium
US7941031B2 (en) Video processing apparatus, IC circuit for video processing apparatus, video processing method, and video processing program
US8855796B2 (en) Method and device for detecting music segment, and method and device for recording data
JP4905103B2 (ja) 動画再生装置
US7058278B2 (en) Information signal processing apparatus, information signal processing method, and information signal recording apparatus
WO1998021722A1 (fr) Appareil et procede de generation de train de bits pour memoire a disque d&#39;enregistrement de donnees permettant une reproduction continue de plusieurs pieces de donnees-images et support d&#39;enregistrement sur lequel est enregistre un programme applique a l&#39;appareil de generation
US8019163B2 (en) Information processing apparatus and method
JPH09251717A (ja) 情報記録媒体並びにその記録装置及び再生装置
US20100257156A1 (en) Moving picture indexing method and moving picture reproducing device
US7801420B2 (en) Video image recording and reproducing apparatus and video image recording and reproducing method
JP2002281433A (ja) 動画像検索閲覧編集装置および記録媒体
JP2006270233A (ja) 信号処理方法及び信号記録再生装置
JP2008153920A (ja) 動画像一覧表示装置
US20060263062A1 (en) Method of and apparatus for setting video signal delimiter information using silent portions
KR20090114937A (ko) 녹화된 뉴스 프로그램들을 브라우징하는 방법 및 이를 위한장치
US20090214176A1 (en) Information processing apparatus, information processing method, and program
JP2004088267A (ja) データ記録方法、データ記録装置、データ変換方法、データ変換装置、データ記録媒体、データ記録のためのプログラムおよびそのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130502

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140418

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150417

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160418

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170421

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180418

Year of fee payment: 11