KR20060027826A - 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램 - Google Patents

비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램 Download PDF

Info

Publication number
KR20060027826A
KR20060027826A KR1020057025312A KR20057025312A KR20060027826A KR 20060027826 A KR20060027826 A KR 20060027826A KR 1020057025312 A KR1020057025312 A KR 1020057025312A KR 20057025312 A KR20057025312 A KR 20057025312A KR 20060027826 A KR20060027826 A KR 20060027826A
Authority
KR
South Korea
Prior art keywords
frame
content
presentation
information
unit
Prior art date
Application number
KR1020057025312A
Other languages
English (en)
Inventor
겐타로우 다니카와
유코 즈사카
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20060027826A publication Critical patent/KR20060027826A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Abstract

규칙저장부(106)는, 시작 프레임으로 지정될 프레임의 특징을 보여주고 서로 다른 타입의 콘텐츠에 대응하는 다수의 지정정보 부분을 저장한다. 프로그램 취득부(104)는 그것의 시작 프레임이 지정될 콘텐츠를 취득한다. 정보취득부(105)는 취득한 콘텐츠의 타입을 보여주는 타입 정보를 취득한다. 선택부(107)는 규칙저장부(106)로부터 취득한 타입 정보에 대응하는 지정정보 부분을 취득한다. 지정부(108)는, 취득한 지정정보 부분이 나타내는 특징을 갖는 취득한 콘텐츠의 프레임을 시작 프레임으로 지정한다.
콘텐츠, 규칙, 시작 프레임, 프레임 특징, 콘텐츠 타입, 지정정보

Description

비디오 처리장치, 비디오 처리장치용 집적회로, 비디오 처리방법, 및 비디오 처리 프로그램{VIDEO PROCESSING APPARATUS, IC CIRCUIT FOR VIDEO PROCESSING APPARATUS, VIDEO PROCESSING METHOD, AND VIDEO PROCESSING PROGRAM}
본 발명은, 콘텐츠의 비디오 및 오디오 분석에 기초하여 콘텐츠를 다수의 세그먼트로 분할하기 위한 인덱싱 기술에 관한 것이다.
최근 들어, HDD 리코더 및 DVD 리코더와 같은 대용량 기록장치가 가정용으로 널리 보급되고 있다. 이러한 기록장치가 사용자의 흥미와 선호에 따라 방송 콘텐츠를 자동으로 그리고 선택적으로 기록하는 기능을 구비하는 것은 일반화되고 있다. 이 기능 때문에, 이러한 기록장치는 전에보다 더 많은 양의 콘텐츠를 저장하는 것으로 기대된다.
이러한 기능에 의하면, EPG(Electric Program Guide)가 나타내는 방송 프로그램은 콘텐츠로 기록된다. 일반적으로, 사용자는 기록된 콘텐츠를 좀처럼 처음부터 끝까지 시청하지 않지만, 콘텐츠의 특정 부분을 선택적으로 본다. 예를 들어, 사용자는 사용자에게 흥미를 주는 뉴스 프로그램에서 특정 뉴스 부분이나 사용자가 좋아하는 가수가 등장하는 음악 쇼의 특정 부분을 시청할 수 있다. 이러한 방법으로, 사용자는 대용량의 콘텐츠 데이터로부터 원하는 정보를 효과적으로 검색할 수 있다.
이 때문에, 비디오 및 오디오 데이터의 다양한 특징을 추출하기 위하여 콘텐츠를 분석하려는 시도가 이루어져 왔다. 콘텐츠는 추출된 특징의 조합을 이용하여 인덱스되어, 다수의 세그먼트로 분할된다(이하, "뷰잉 세그먼트(viewing segment)"라 함).
구체적으로, 예를 들어, 한 장면으로서 순차적으로 촬영된 일련의 프레임이 다른 장면으로 변경되는 전환 프레임을 검출하는 기술은 텔롭(telop: television opaque projection) 효과나 자막이 나타나는 프레임을 검출하는 기술과 결합하여 사용된다. 이 기술들을 사용함으로써, 자막 프레임에 앞선 모든 전환 프레임 중 그 자막 프레임에 가장 인접하여 위치한 프레임을 검출하도록 한다. 이어, 이렇게 검출된 프레임은 서로 비교하여 그 사이의 유사성을 측정한다. 유사한 프레임 각각이 서로 다른 뷰잉 세그먼트에 속하는 방식으로 분할이 실행된다.
그러나, 위성방송, 케이블방송, 및 비디오 스트리밍을 포함하는 사용가능한 방송 스타일의 다양성뿐만 아니라 육상 텔레비전 채널의 증가하는 수의 결과로 문제가 발생한다. 즉, 더 많은 형태의 콘텐츠를 가정에서 시청할 수 있어, 모든 종류의 콘텐츠를 적절하게 인덱스하기에는 종래의 알려진 기술로는 불충분 할 수 있다.
이것은, 방송 프로그램의 각 장르가, 사이즈, 레이아웃, 자막의 등장 시간과 같은 특징과 연관된 분할 패턴에서 다르기 때문이다.
상기한 문제를 고려하여, 본 발명은 각각 종래에 알려진 기술보다 더 적절하게 다양한 종류의 콘텐츠를 인덱싱할 수 있는 비디오 처리장치, 비디오 처리장치용 IC 회로, 비디오 처리방법, 및 비디오 처리 프로그램을 제공하는 목적을 구비한다.
상기 목적을 달성하기 위하여, 본 발명은 콘텐츠를 분할할 때 다수의 뷰잉 세그먼트의 시작 프레임으로 될 프레임을 지정하기 위한 비디오 처리장치를 제공한다. 이 비디오 처리장치는 시작 프레임으로 지정될 프레임의 특징을 보여주고 서로 다른 타입의 콘텐츠에 대응하는 지정정보 부분을 저장하는 지정정보 메모리; 콘텐츠를 취득하는 콘텐츠 취득부; 상기 취득한 콘텐츠의 타입을 나타내는 타입 정보를 취득하는 정보취득부; 상기 취득한 타입 정보가 나타내는 타입에 대응하는 지정정보 부분을 상기 지정정보 메모리로부터 추출하는 추출부; 및 상기 추출된 지정정보 부분에 따라 상기 콘텐츠에 존재하는 시작 프레임을 지정하는 지정부를 포함한다.
이러한 구성에 의하면, 비디오 처리장치는 다수의 지정정보 부분을 저장하고, 콘텐츠의 타입에 따라 서로 다른 지정정보 부분을 이용한다. 이것은, 콘텐츠의 오디오 및 이미지 데이터의 특징을 고려하여 선택된 지정정보 부분에 따라 콘텐츠의 인덱싱이 수행된다는 것을 의미한다. 따라서, 비디오 처리장치가 여러 타입의 콘텐츠를 다수의 뷰잉 세그먼트로 적절하게 분할할 수 있다는 것이 보증된다.
여기서, 지정정보의 각 부분은 프리젠테이션(presentation) 프레임으로 지정될 프레임의 특징을 추가로 나타낼 수 있고, 상기 프리젠테이션 프레임 각각은 각 뷰잉 세그먼트의 대표 정지화상으로 표시된다. 상기 지정부는, 상기 추출된 지정정보에 따라, 상기 콘텐츠에 존재하는 프리젠테이션 정보를 추가로 지정할 수 있다.
상기한 구성에 의하면, 시작 프레임과 프리젠테이션 프레임의 쌍이 각 뷰잉 세그먼트에 대해 지정된다. 시작 프레임의 이미지가 대응하는 세그먼트에 대한 대표 이미지로 적절하지 않은 경우, 더 적절한 프레임이 프리젠테이션 프레임으로 지정된다. 이와 같이 지정된 프리젠테이션 프레임의 정지화상 표시에 의해, 사용자는 뷰잉 세그먼트에 기록된 것을 쉽게 식별할 수 있다.
여기서, 비디오 처리장치는, 상기 콘텐츠에 대응하여, 상기 지정부에 의해 지정된 각 시작 프레임 및 프리젠테이션 프레임의 표시시간을 저장하는 인덱스 저장부를 추가로 포함할 수 있다.
이러한 구성에 의하면, 콘텐츠의 뷰잉 세그먼트는 표시시간에 의해 관리된다.
여기서, 상기 지정정보가 나타낸 상기 특징은 비디오 분석, 정지화상 분석, 및 오디오 분석 중 적어도 하나를 통하여 검출할 수 있다. 상기 지정부는 비디오 분석, 정지화상 분석, 및 오디오 분석 중 적어도 하나를 통하여 상기 시작 프레임과 프리젠테이션 프레임을 지정할 수 있다.
상기한 구성에 의하면, 다양한 타입의 콘텐츠가 이미지 분석기술 및/또는 오디오 분석기술을 이용하여 적절하게 인덱스된다는 것이 보증된다.
여기서, 상기 지정정보는, 프리젠테이션 프레임에 대한 후보로서 검출될 프레임의 특징을 보여주는 제 1 조건; 프리젠테이션 프레임에 대한 후보로부터 배제될 프레임의 특징을 보여주는 배제조건; 시작 프레임에 대한 후보로서 검출될 프레임의 특징을 보여주는 제 2 조건; 및 프리젠테이션 프레임과 시작 프레임으로 선택될 프레임 사이의 관계를 보여주는 선택조건을 포함할 수 있다. 상기 지정부는, 상기 콘텐츠에 존재하는 모든 프레임으로부터 상기 제 1 조건을 만족하는 프레임을 검출하고 상기 검출된 프레임에서 상기 배제조건을 만족하는 프레임을 순차적으로 배제함으로써 상기 프리젠테이션 프레임을 지정하고, 상기 콘텐츠에 존재하는 모든 프레임으로부터 상기 제 2 조건을 만족하는 프레임을 검출하고 상기 검출된 프레임으로부터 상기 제정된 프리젠테이션 프레임에 관하여 상기 선택조건이 나타내는 상기 관계를 만족하는 프레임을 순차적으로 선택함으로써 상기 시작 프레임을 지정할 수 있다.
또한, 상기 지정부는, 서로 다른 특징을 갖는 프레임을 각각 검출하는 다수의 검출 서브유닛; 상기 제 1 조건을 만족하는 프레임으로부터 상기 배제조건을 만족하는 프레임을 배제하는 선택 서브유닛; 및 상기 제 2 조건을 만족하는 프레임으로부터 상기 선택조건이 나타내는 상기 관계를 만족하는 프레임을 선택하는 선택 서브유닛을 포함할 수 있다. 상기 제 1 조건, 상기 배제조건, 및 상기 제 2 조건은 각각 사용될 검출 서브유닛 중 하나의 식별자일 수 있다.
상기한 구성에 의하면, 조합으로 얻은 다수의 특징에 기초하여 각 세그먼트의 첫 번째 프레임을 지정함으로써 콘텐츠는 다수의 뷰잉 세그먼트로 분할된다. 이것은 단일 특징에 기초한 분할보다 장면 단위를 기초로 하여 더 정확하게 분할이 실행되도록 한다.
여기서, 기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막(large-caption) 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막(small-caption) 프레임, 광고 메시지(CM)를 구성하는 CM 프레임, 및 유사 화상의 일련의 프레임의 첫 번째 프레임인 전환(transition) 프레임을 검출하고, (ii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임과 CM 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iii) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 전환 프레임을 시작 프레임으로 지정할 수 있다.
이러한 구성에 의하면, 지정된 각 프리젠테이션 프레임은 CM 프레임이 아니라 소자막이 없는 대자막 프레임인 프레임이다. 또한, 지정된 각 시작 프레임은 프리젠테이션 프레임을 앞선 모든 전환 프레임 중 이 프리젠테이션 프레임에 가장 인접한 전환 프레임이다.
기설정된 타입의 콘텐츠는 인접한 세그먼트 사이에 장면 전환을 갖는 다수의 뷰잉 세그먼트를 포함하도록 구성된 방송 프로그램이라고 가정한다. 또한, 대응 세그먼트의 요약 또는 헤드라인을 표시하는 자막은 각 장면 전환 직후 나타난다. 이 경우, 이러한 자막이 나타나는 각 프레임은 프리젠테이션 프레임으로 지정되고, 반면 장면 전환이 발생하는 각 프레임은 시작 프레임으로 지정된다. 더 구체적으로, 기설정된 타입의 콘텐츠의 일 예는 두 개의 연속하는 뉴스 스토리 사이에 장면 전환이 일어나고 장면 전환 후 뉴스 헤드라인이 표시되는 뉴스 프로그램이다. 따라서, 이러한 뉴스 프로그램은, 각각 하나의 뉴스 프로그램에 정확하게 대응하는 다수의 뷰잉 세그먼트로 적절하게 분할된다.
여기서, 기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 광고 메시지를 구성하는 프레임을 배제하고, (ii) 상기 남아 있는 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 및 유사 화상의 일련의 프레임의 첫 번째 프레임인 전환 프레임을 검출하고, (iii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iv) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 전환 프레임을 시작 프레임으로 지정할 수 있다.
상기한 구성에 의하면, 인접한 뷰잉 세그먼트 사이에 장면 전환이 일어나고 대응 세그먼트의 헤드라인을 표시하는 자막이 이 장면 전환 직후에 나타나는 방송 프로그램을 적절하게 인덱스하는 것이 보증된다. 또한, 지정정보가 나타낸 특징을 갖는 프레임을 검출하는데 요구되는 처리량이 감소하고 따라서 처리시간이 단축된다는 것이 보증된다.
여기서, 기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 광고 메시지(CM)를 구성하는 CM 프레임, 및 그것의 오디오 데이터가 기설정된 볼륨 레벨 아래에 있는 무음(silence) 프레임을 검출하고, (ii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임과 CM 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iii) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 무음 프레임을 시작 프레임으로 지정할 수 있다.
이러한 구성에 의하면, 지정된 각 프리젠테이션 프레임은 CM 프레임이 아니라 소자막이 없는 대자막 프레임인 프레임이다. 또한, 지정된 각 시작 프레임은 프리젠테이션 프레임을 바로 앞선 무음 세그먼트가 끝나는 프레임이다.
기설정된 타입의 콘텐츠는 오디오 데이터 부분이 포함되고 오디오 데이터의 각 부분의 선두가 뷰잉 세그먼트의 선두와 일치하는 방송 프로그램이라고 가정한다. 또한, 각 뷰잉 세그먼트의 헤드라인을 표시하는 자막은 뷰잉 세그먼트가 시작한 후 표시된다. 이 경우, 이러한 자막이 나타나는 각 프레임은 프리젠테이션 프레임으로 지정되고, 반면 오디오 데이터 부분에 의해 표현되는 소리가 시작하는 각 프레임은 시작 프레임으로 지정된다. 더 구체적으로, 기설정된 타입의 콘텐츠의 일 예는 두 개의 연속하는 뉴스 스토리 사이에 무음이 발생하고 뉴스 스토리를 보도하는 소리가 시작한 후 뉴스 헤드라인이 표시되는 뉴스 프로그램이다. 이러한 뉴스 프로그램은, 각각 하나의 뉴스 프로그램에 정확하게 대응하는 다수의 뷰잉 세그먼트로 적절하게 분할된다.
여기서, 기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 광고 메시지를 구성하는 프레임을 배제하고, (ii) 상기 남아 있는 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 및 그것의 오디오 데이터가 기설정된 볼륨 레벨 아래에 있는 무음 프레임을 검출하고, (iii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iv) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 무음 프레임을 시작 프레임으로 지정할 수 있다.
상기한 구성에 의하면, 인접한 뷰잉 세그먼트 사이에 무음이 발생하고 각 뷰잉 세그먼트의 헤드라인을 표시하는 자막이 소리가 시작된 직후에 표시되는 방송 프로그램을 적절하게 인덱스하는 것이 보증된다. 또한, 지정정보가 나타낸 특징을 갖는 프레임을 검출하는데 요구되는 처리량이 감소하고 따라서 처리시간이 단축된다는 것이 보증된다.
여기서, 기설정된 타입의 음악 프로그램에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 광고 메시지(CM)를 구성하는 CM 프레임, 및 그것의 오디오 데이터가 음악 데이터 부분을 표시하는 일련의 프레임의 첫 번째 프레임인 음악-시작 프레임을 검출하고, (ii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임과 CM 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iii) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 음악-시작 프레임을 시작 프레임으로 지정할 수 있다.
상기한 구성에 의하면, 지정된 각 프리젠테이션 프레임은 CM 프레임이 아니라 소자막이 없는 대자막 프레임인 프레임이다. 지정된 각 시작 프레임은 프리젠테이션 프레임에 가장 인접하여 앞선 음악 세그먼트인 음악 세그먼트를 구성하는 일련의 프레임 중 첫 번째 프레임이다.
기설정된 타입의 콘텐츠는 다수의 음악 부분이 재생되고 대응 음악 부분의 제목이나 작곡가를 표시하는 자막이 음악이 시작된 직후에 나타나는 음악 쇼이다. 이 경우, 이러한 자막이 나타나는 각 프레임은 프리젠테이션 프레임으로 지정되고, 반면 음악의 시작에 대응하는 각 프레임은 시작 프레임으로 지정된다. 따라서, 이러한 음악 쇼는, 각각 하나의 뉴스 프로그램에 정확하게 대응하는 다수의 뷰잉 세그먼트로 적절하게 분할된다.
여기서, 기설정된 타입의 음악 프로그램에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 광고 메시지를 구성하는 프레임을 배제하고, (ii) 상기 남아 있는 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 및 그것의 오디오 데이터가 음악 데이터 부분을 표시하는 일련의 프레임의 첫 번째 프레임인 음악-시작 프레임을 검출하고, (iii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iv) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 음악-시작 프레임을 시작 프레임으로 지정할 수 있다.
상기의 구성에 의하면, 다수의 음악 부분이 재생되고 대응 음악 부분의 제목이나 작곡가를 표시하는 자막이 음악이 시작된 직후에 나타나는 음악 쇼를적절하게 인덱스하는 것이 보증된다. 또한, 지정정보가 나타낸 특징을 갖는 프레임을 검출하는데 요구되는 처리량이 감소하고 따라서 처리시간이 단축된다는 것이 보증된다.
여기서, 기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 광고 메시지(CM)를 구성하는 CM 프레임, 및 그것의 오디오 데이터가 특정 발화자의 발화를 표현하는 일련의 프레임의 첫 번째 프레임인 발화-시작 프레임을 검출하고, (ii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임과 CM 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iii) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 발화-시작 프레임을 시작 프레임으로 지정할 수 있다.
이러한 구성에 의하면, 지정된 각 프리젠테이션 프레임은 CM 프레임이 아니라 소자막이 없는 대자막 프레임인 프레임이다. 또한, 지정된 각 시작 프레임은 프리젠테이션 프레임에 가장 인접하여 앞선 발화 세그먼트인 발화 세그먼트를 구성하는 일련의 프레임 중 첫 번째 프레임이다.
기설정된 타입의 콘텐츠는, 특정 발화자가 각 뷰잉 세그먼트의 선두에서 말하기 시작하고, 그 후에 뷰잉 세그먼트의 헤드라인을 표시하는 자막이 나타나는 방송 프로그램인 것으로 가정한다. 이 경우, 이러한 자막이 나타나는 각 프레임은 프리젠테이션 프레임으로 지정되고, 반면 발화자가 말하기 시작하는 각 프레임은 시작 프레임으로 지정된다. 더 구체적으로, 기설정된 타입의 콘텐츠의 일 예는, 한 명의 발화자가 두 개의 연속된 화제(topic) 사이에 무음 구간을 갖는 다수의 화제에 대해 말하고, 화제에 대한 발화가 시작된 후 화제 헤드라인을 표시하는 자막이 표시되는 뉴스 프로그램이나 교육 프로그램이다. 이러한 방송 프로그램은, 각각 하나의 화제에 정확하게 대응하는 다수의 뷰잉 세그먼트로 적절하게 분할된다.
여기서, 기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 광고 메시지를 구성하는 프레임을 배제하고, (ii) 상기 남아 있는 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 및 그것의 오디오 데이터가 특정 발화자의 발화를 표현하는 일련의 프레임의 첫 번째 프레임인 발화-시작 프레임을 검출하고, (iii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iv) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 발화-시작 프레임을 시작 프레임으로 지정할 수 있다.
상기한 구성에 의하면, 대응하는 화제의 헤드라인을 표시하는 자막이 각 화제에 대해 나타나는 방송 프로그램을 적절하게 인덱스하는 것이 보증된다. 또한, 지정정보가 나타낸 특징을 갖는 프레임을 검출하는데 요구되는 처리량이 감소하고 따라서 처리시간이 단축된다는 것이 보증된다.
여기서, 기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 광고 메시지를 구성하는 일련의 프레임의 첫 번째 프레임인 CM 시작 프레임, 및 유사 화상의 일련의 프레임의 첫 번째 프레임인 전환 프레임을 검출하고, (ii) 각 CM 시작 프레임을 시작 프레임으로 지정하며, (iii) 각 시작 프레임에 대해, 상기 시작 프레임에 가장 인접하여 이어지는 전환 프레임을 프리젠테이션 프레임으로 지정할 수 있다.
상기한 구성에 의하면, 콘텐츠의 포함된 각 CM은 하나의 뷰잉 세그먼트로 분할된다.
여기서, 비디오 처리장치는 상기 지정부에 의해 지정된 시작 프레임으로부터 시작하여 상기 콘텐츠를 재생하는 재생부를 추가로 포함할 수 있다.
상기한 구성에 의하면, 비디오 처리장치는 뷰잉 세그먼트의 선두로부터 시작하여 콘텐츠를 재생할 수 있다. 따라서, 사용자는 뷰잉 세그먼트의 선두로부터 시작하여 콘텐츠를 시청할 수 있다.
여기서, 비디오 처리장치는 각 뷰잉 세그먼트에 대해 상기 지정부가 지정한 각 시작 프레임과 프리젠테이션 프레임의 표시시간 쌍을 저장하는 인덱스 저장부; 각 뷰잉 세그먼트에 대해 상기 지정부가 지정한 프리젠테이션 프레임을 표시하는 표시부; 및 사용자 선택에 따라서, 표시된 상기 프리젠테이션 프레임 중 적어도 하나를 선택하는 사용자 선택부를 추가로 포함할 수 있다. 상기 재생부는 상기 사용자가 선택한 프리젠테이션 프레임이 속하는 뷰잉 세그먼트의 시작 프레임으로부터 시작하여 상기 콘텐츠를 재생할 수 있다.
상기한 구성에 의하면, 각 뷰잉 세그먼트에 기록된 것을 사용자가 식별할 수 있도록 도와주는 프리젠테이션 프레임, 예를 들어, 자막을 봄으로써, 사용자는 자신이 흥미있는 뷰잉 세그먼트를 선택할 수 있다. 또한, 사용자는 이와 같이 선택된 뷰잉 세그먼트의 선두로부터 시작하여 콘텐츠를 시청할 수 있다.
여기서, 상기 표시부는 각 프리젠테이션 프레임의 썸네일 이미지를 생성하고 상기 썸네일 이미지를 리스트 형태로 표시함으로써 상기 프리젠테이션 프레임을 표시할 수 있다.
이러한 구성에 의하면, 리스트 형태로 표시된 프리젠테이션 프레임의 썸네일 이미지를 조사함으로써, 사용자는 자신이 흥미있는 뷰잉 세그먼트를 쉽게 선택할 수 있다.
여기서, 상기 사용자 선택부는 상기 선택된 프리젠테이션 프레임을 기준 프레임으로 상기 지정정보 메모리에 저장할 수 있다. 상기 지정부는, 자막이 나타나는 영역의 위치에 관하여 상기 기준 프레임과 유사한 프레임을 검출함으로써 상기 프리젠테이션 프레임을 지정할 수 있다.
이러한 구성에 의하면, 보기 위해 사용자가 선택한 프리젠테이션 프레임은 프리젠테이션 프레임의 앞으로의 규격을 위한 기준 프레임으로 사용된다. 즉, 그것의 이미지가 기준 프레임의 이미지와 유사한 각 프레임은, 다음번 인덱스가 수행될 때, 프리젠테이션 프레임으로 지정된다. 기준 프레임을 이미 사용자가 보았기 때문에, 기준 프레임과 유사하며 이와 같이 지정된 프리젠테이션 프레임은, 사용자로 하여금 각 뷰잉 세그먼트에 기록된 것을 식별하도록 도와준다. 또한, 재생과 인덱싱이 반복될 때마다, 사용자가 각 뷰잉 세그먼트에 기록된 것을 식별하는 것이 더 쉬어진다.
여기서, 비디오 처리장치는 콘텐츠와 상기 콘텐츠의 타입 정보를 취득하고, 상기 타입 정보와 대응하여 상기 콘텐츠를 기록매체에 기록하는 기록부를 추가로 포함할 수 있다. 상기 기록부가 상기 타입 정보와 적어도 상기 콘텐츠의 부분을 기록한 후, 상기 콘텐츠 취득부는 상기 기록매체로부터 상기 콘텐츠의 부분을 순차적으로 취득할 수 있다. 상기 지정부는 상기 콘텐츠 취득부가 취득한 상기 콘텐츠의 부분에 존재하는 시작 프레임을 순차적으로 지정할 수 있다.
이러한 구성에 의하면, 시작 프레임을 지정하는 처리는 콘텐츠의 기록과 나란히 수행된다.
다시 말해, 콘텐츠의 인덱싱이 전체 콘텐츠가 기록되기를 기다리지 않고 시작되며, 이에 따라 기록이 완료된 후 전체 콘텐츠를 인덱스하는데 더 이상 시간을 들일 필요가 없다. 따라서, 이 비디오 처리장치는 사용자로 하여금 인덱싱에 요구되는 시간을 걱정하지 않고 콘텐츠를 이용하도록 한다.
여기서, 비디오 처리장치는 콘텐츠와 상기 콘텐츠의 타입 정보를 취득하고, 상기 콘텐츠를 인코드하며, 상기 타입 정보와 대응하여 상기 인코드된 콘텐츠를 기록하는 기록부를 추가로 포함할 수 있다. 상기 기록부가 상기 타입 정보를 기록하고 적어도 상기 콘텐츠의 부분을 인코드한 후, 상기 콘텐츠 취득부는 상기 콘텐츠의 인코드된 부분을 순차적으로 취득할 수 있다. 상기 지정부는 상기 인코딩에 대해 상기 기록부가 실행한 상기 인코드된 부분의 분석을 취득하고, 상기 분석을 이용하여 상기 인코드된 부분에 존재하는 시작 프레임을 순차적으로 지정할 수 있다.
이러한 구성에 의하면, 콘텐츠를 압축 코딩하는 과정에서 취득한 분석은 자막이 나타나는 것과 장면 전환을 검출하는데 이용된다.
그 결과, 인덱싱에 요구되는 처리량이 줄고, 따라서 처리시간이 단축된다.
여기서, 비디오 처리장치는 특정 타입의 콘텐츠에 대응하여 새로운 버전의 지정정보를 취득하고, 상기 새로운 버전의 지정정보를 상기 지정정보 메모리에 기록하는 갱신부를 추가로 포함할 수 있다.
이러한 구성에 의하면, 본 발명의 비디오 처리장치는 새로운 버전의 지정정보를 취득할 수 있고, 이 새로운 버전의 지정정보를 이용하여 콘텐츠의 시작 프레임을 지정할 수 있다.
여기서, 상기 갱신부는, 지정정보를 준비하고 상기 새로운 버전의 지정정보가 이용가능한지를 판정하기 위해 공급자 장치에 통신망을 통하여 연결될 때 상기 새로운 버전의 지정정보를 취득할 수 있다. 상기 특정 타입에 대응하여 상기 지정정보 메모리에 저장된 지정정보 부분을 상기 새로운 버전으로 갱신함으로써, 상기 새로운 버전의 지정정보는 상기 지정정보 메모리에 기록된다.
상기한 구성에 의하면, 본 발명의 비디오 처리장치는 공급자 장치가 새로운 버전의 지정정보를 가지고 있는지를 판정하고 이용가능하다면 새로운 버전을 취득할 수 있다.
따라서, 본 발명의 비디오 처리장치는 원하는 타이밍에 지정정보를 갱신하려고 시도할 수 있다.
여기서, 상기 새로운 버전의 지정정보가 이용가능한지에 대한 판정은 상기 지정부가 상기 특정 타입의 콘텐츠를 처리할 때마다 이루어질 수 있다.
이러한 구성에 의하면, 콘텐츠의 분할이 항상 최근 버전의 지정정보에 따라 실행되는 것이 보증된다.
다른 측면에서, 본 발명은 콘텐츠를 분할할 때 다수의 뷰잉 세그먼트의 시작 프레임으로 될 프레임을 지정하는 비디오 처리장치에서 사용하기 위한 집적회로를 제공한다. 상기 비디오 처리장치는 시작 프레임으로 지정될 프레임의 특징을 보여주고 서로 다른 타입의 콘텐츠에 대응하는 지정정보 부분을 저장하는 지정정보 메모리를 구비한다. 상기 집적회로는, 콘텐츠를 취득하는 콘텐츠 취득모듈; 상기 취득한 콘텐츠의 타입을 나타내는 타입 정보를 취득하는 정보취득모듈; 상기 취득한 타입 정보가 나타내는 타입에 대응하는 지정정보 부분을 상기 지정정보 메모리로부터 추출하는 추출모듈; 및 상기 추출된 지정정보 부분에 따라 상기 콘텐츠에 존재하는 시작 프레임을 지정하는 지정모듈을 포함한다.
이러한 구성에 의하면, 다수의 지정정보 부분 중 서로 다른 부분이 콘텐츠의 타입에 따라 이용된다. 이것은, 콘텐츠의 오디오 및 이미지 데이터의 특징을 고려하여 선택된 지정정보의 특정 부분에 따라 콘텐츠의 인덱싱이 수행된다는 것을 의미한다. 따라서, 비디오 처리장치가 여러 타입의 콘텐츠를 다수의 뷰잉 세그먼트로 적절하게 분할할 수 있다는 것이 보증된다.
다른 측면에서, 본 발명은 콘텐츠를 분할할 때 다수의 뷰잉 세그먼트의 시작 프레임으로 될 프레임을 지정하는 비디오 처리장치가 사용하기 위한 비디오 처리방법을 제공한다. 상기 비디오 처리장치는 시작 프레임으로 지정될 프레임의 특징을 보여주고 서로 다른 타입의 콘텐츠에 대응하는 지정정보 부분을 저장하는 지정정보 메모리를 구비하다. 상기 비디오 처리방법은, 콘텐츠를 취득하는 단계; 상기 취득한 콘텐츠의 타입을 나타내는 타입 정보를 취득하는 단계; 상기 취득한 타입 정보가 나타내는 타입에 대응하는 지정정보 부분을 상기 지정정보 메모리로부터 추출하는 단계; 및 상기 추출된 지정정보 부분에 따라 상기 콘텐츠에 존재하는 시작 프레임을 지정하는 단계를 포함한다.
상기한 구성에 의하면, 다수의 지정정보 부분 중 서로 다른 부분이 콘텐츠의 타입에 따라 이용된다. 이것은, 콘텐츠의 오디오 및 이미지 데이터의 특징을 고려하여 선택된 지정정보의 특정 부분에 따라 콘텐츠의 인덱싱이 수행된다는 것을 의미한다. 따라서, 비디오 처리장치가 여러 타입의 콘텐츠를 다수의 뷰잉 세그먼트로 적절하게 분할할 수 있다는 것이 보증된다.
또 다른 측면에서, 본 발명은 장치로 하여금, 콘텐츠를 분할할 때 다수의 뷰잉 세그먼트의 시작 프레임으로 될 프레임을 지정하도록 하는 비디오 처리 프로그램을 제공한다. 상기 장치는 시작 프레임으로 지정될 프레임의 특징을 보여주고 서로 다른 타입의 콘텐츠에 대응하는 지정정보 부분을 저장하는 지정정보 메모리를 구비한다. 상기 비디오 처리 프로그램은, 콘텐츠를 취득하는 단계; 상기 취득한 콘텐츠의 타입을 나타내는 타입 정보를 취득하는 단계; 상기 취득한 타입 정보가 나타내는 타입에 대응하는 지정정보 부분을 상기 지정정보 메모리로부터 추출하는 단계; 및 상기 추출된 지정정보 부분에 따라 상기 콘텐츠에 존재하는 시작 프레임을 지정하는 단계를 포함한다.
이러한 구성에 의하면, 다수의 지정정보 부분 중 서로 다른 부분이 콘텐츠의 타입에 따라 이용된다. 이것은, 콘텐츠의 오디오 및 이미지 데이터의 특징을 고려하여 선택된 지정정보의 특정 부분에 따라 콘텐츠의 인덱싱이 수행된다는 것을 의미한다. 따라서, 비디오 처리장치가 여러 타입의 콘텐츠를 다수의 뷰잉 세그먼트로 적절하게 분할할 수 있다는 것이 보증된다.
도 1은 본 발명의 실시예 1에 따른 기록장치(100)의 사용패턴을 보여주는 도면이다.
도 2는 기록장치(100)의 기능블록을 보여주는 도면이다.
도 3은 타입 정보의 데이터 구조를 보여주는 도면이다.
도 4는 규칙 저장부(106)에 저장된 규칙 테이블(301)의 데이터 구조를 보여주는 도면이다.
도 5는 규칙 저장부(106)에 저장된 검출 작업 테이블(302)의 데이터 구조를 보여주는 도면이다.
도 6은 기록장치(100)에 의해 수행되는 인덱스 처리의 플로차트이다.
도 7은 분할 처리의 플로차트이다.
도 8은 프레임 검출 처리의 플로차트이다.
도 9는 콘텐츠의 일 예인 콘텐츠(401)의 이미지 데이터 특징을 도식적으로 보여주는 도면이다.
도 10은 작업 ID 001을 갖는 검출작업 명령에 따라 대자막 검출부(142)에 의해 검출된 대자막 시작 프레임의 표시시간 리스트를 도식적으로 보여주는 도면이다.
도 11은 작업 ID 001을 갖는 검출작업 명령이 처리된 후, 콘텐츠(401)의 인덱스 정보를 보여주는 도면이다.
도 12는 작업 ID 001을 갖는 검출작업 명령에 따라 CM 검출부(145)에 의해 검출된 CM 프레임의 표시시간 리스트를 보여주는 도면이다.
도 13은 작업 ID 004를 갖는 검출작업 명령이 처리된 후, 콘텐츠(401)의 인덱스 정보를 보여주는 도면이다.
도 14는 작업 ID 002를 갖는 검출작업 명령에 따라 소자막 검출부(143)에 의해 검출된 소자막 프레임의 표시시간 리스트를 보여주는 도면이다.
도 15는 작업 ID 002를 갖는 검출작업 명령이 처리된 후, 콘텐츠(401)의 인덱스 정보를 보여주는 도면이다.
도 16은 작업 ID 003을 갖는 검출작업 명령에 따라 전환 검출부(141)에 의해 검출된 전환 프레임의 표시시간 리스트를 보여주는 도면이다.
도 17은 "뉴스 프로그램 1"에 대응하는 규칙에 따라 인덱스 처리가 완료된 후의 콘텐츠(401)의 인덱스 정보이다.
도 18a, 18b, 및 18c는 콘텐츠(401)에 포함된 프레임의 예를 보여주는 도면이다.
도 19는 본 발명의 실시예 2에 따른 재생장치(200)의 사용 패턴을 보여주는 도면이다.
도 20은 재생장치(200)의 기능블록을 보여주는 도면이다.
도 21은 본 발명의 실시예 3에 따른 기록장치(300)의 기능블록이다.
도 22는 실시예 2의 지정부(108)로 실시된 LSI(400)를 보여주는 도면이다.
도 23은 실시예 3의 기록제어부(102)와 지정부(111)로서 실시된 LSI(500)이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명한다.
(실시예 1)
(개요)
본 발명의 실시예 1에서, 콘텐츠를 인덱스하는 기록장치(100)에 대해 설명한다. 구체적으로, 기록장치(100)는 콘텐츠를 구성하는 일련의 프레임으로부터 프리젠테이션 프레임과 시작 프레임을 지정하여 콘텐츠를 다수의 뷰잉 세그먼트로 분할한다. 프리젠테이션 프레임은 사용자가 대응하는 뷰잉 세그먼트에 기록된 것이 무엇인지를 손쉽게 구별할 수 있는 프레임이며, 시작 프레임은 뷰잉 세그먼트의 첫 번째 프레임이다.
또한, 이 설명에서 뷰잉 세그먼트는 각 단위가 밀착하거나 연속하는 장면을 나타내는 방법으로 콘텐츠를 분할함으로써 얻어지는 비디오 데이터의 단위를 말한다.
기록장치(100)는 각각 프리젠테이션 프레임과 시작 프레임으로 지정될 프레임의 조건을 보여주는 지정정보 부분을 저장하며, 콘텐츠의 종류(장르 및/또는 프로그램 타이틀)에 따라 지정정보의 다른 부분을 사용한다.
(구조)
도 1은 기록장치(100)의 사용패턴을 보여준다.
방송국(10)은 장르, 방송 프로그램의 방송 스케줄, 및 방송 콘텐츠에 대한 EPG 데이터와 같은 데이터를 방송파에 실어 방송한다.
공급자 장치(20)는 인터넷과 같은 통신망을 통하여 기록장치(100)에 연결된 컴퓨터일 수 있다. 공급자 장치(20)는 최근 버전의 지정정보(즉, 규칙이나 검출작업 명령)를 내장형 HDD와 같은 메모리에 저장하고, 요청시 기록장치(100)에 지정정보를 공급한다. 지정정보에 대한 상세한 것은 후에 기술될 것이다.
구체적으로, 기록장치(100)는 내장형 HDD를 구비한 DVD 리코더, DVD 리코더, 또는 HDD 리코더일 수 있다. 기록장치(100)는 방송국(10)으로부터 송신된 방송파를 수신하고, 방송파에 의해 운반된 콘텐츠를 기록한다. 기록장치(100)는 방송파 상에서 수신된 EPG를 참조하여 사용자의 흥미와 선호에 적합한 콘텐츠를 선택적으로 기록하는 자동기록 기능을 갖는다. 또한, 기록장치(100)는 기록된 콘텐츠를 다수의 뷰잉 세그먼트로 분할하는 인덱싱 기능을 갖는다.
기록장치(100)는 프로세서, RAM, 및 거기에 프로그램이 기록된 ROM을 포함하고, 프로세서가 이 프로그램을 실행함으로써 인덱싱 기능을 수행한다.
이하, 기록장치(100)의 구조에 대해 설명한다.
도 2는 인덱싱 기능과 관련된 기록장치(100)의 기능 블록이다. 도면에 도시된 바와 같이, 기록장치(100)는 수신부(101), 기록제어부(102), 콘텐츠 저장부(103), 정보취득부(105), 정보취득부(105), 규칙저장부(106), 선택부(107), 지정부(108), 인덱스 저장부(109), 및 규칙갱신부(110)를 포함한다.
수신부(101)는 안테나와 수신회로로 구성될 수 있다. 수신부(101)는 방송국(10)으로부터 송신된 방송파를 수신하고, 수신된 방송파로부터 취득한 콘텐츠와 EPG를 기록제어부(102)에 출력한다.
기록제어부(102)는, 사용자 요청시 콘텐츠의 기록, 프리셋(preset) 기록, 및 사용자 흥미 및 선호와 일치하는 콘텐츠의 자동 기록과 같은 기록 동작을 제어하는 기능 블록이다. 기록제어부(102)는 수신부(101)로부터 수신한 콘텐츠를 디지털화한 후, MPEG-2(Moving Picture Expert Group phase 2) 압축코딩법을 이용하여 코딩함으로써 디지털 콘텐츠를 압축하며, 압축된 콘텐츠를 콘텐츠 저장부(103)에 기록한다. 콘텐츠를 기록하는 경우, 기록제어부(102)는 EPG를 참조하여 콘텐츠의 장르와 프로그램 타이틀로 구성된 타입 정보를 생성하며, 타입 정보를 콘텐츠에 대응하여 콘텐츠 저장부(103)에 저장한다.
해당분야에 잘 알려져 있기 때문에, 사용자 흥미와 선호에 따른 자동 기록과 프리셋 기록의 기술에 대해서는 상세한 설명을 생략한다.
구체적으로, 콘텐츠 저장부(103)는 하드디스크나 DVD와 같은 기록매체이며, 콘텐츠의 타입 정보에 대응하여 콘텐츠를 저장한다. 콘텐츠 저장부(103)에 저장된 각 콘텐츠는 비디오 및 오디오 데이터로 구성된다. 비디오 데이터는 시간 순으로 배열된 일련의 프레임(정지화상들)이 교대로 구성되고, 오디오 데이터는 각 프레임용 소리를 포함한다. 도 3에 도시된 바와 같이, 타입 정보는 콘텐츠 ID, 장르 및 프로그램 타이틀로 구성된다. 콘텐츠 ID는 콘텐츠 저장부(103)에 저장된 대응 콘텐츠를 고유하게 식별하는 식별자이다. 콘텐츠 ID는 콘텐츠 기록시 기록장치(100)에 의해 부여될 수 있다. EPG에 사용된 프로그램 ID가 콘텐츠 ID 대신에 간단하게 사용될 수 있다.
일반적으로, NTSC(National Television System Committee) 시스템에 따르는 콘텐츠는 초당 30 프레임으로 구성되며, 각 프레임의 표시시간(콘텐츠의 시작으로 부터 경과된 시간)은 대략 33ms 간격으로 지정될 수 있다. 그러나, 이 실시예에서, 각 프레임의 표시시간은 간단히 하기 위하여 초 단위로 지정된다.
새로운 콘텐츠가 콘텐츠 저장부(103)에 저장될 때마다, 프로그램 취득부(104)는 콘텐츠 저장부(103)로부터 콘텐츠를 취득하며, 취득한 콘텐츠를 지정부(108)에 출력한다.
구체적으로, 규칙저장부(106)는 하드디스크나 DVD와 같은 기록매체, 또는 EEPROM과 같은 재기록가능한 비휘발성 메모리이다. 규칙저장부(106)는 규칙테이블(301)과 검출작업 테이블(302)을 저장한다. 또한, 규칙저장부(106)는 기준 프레임 저장영역을 구비하며, 규칙테이블(301)에 포함된 각 규칙에 대한 프레임 ID를 갖는 기준 프레임을 저장한다. 기준 프레임은 이미지 분석을 위하여 후술하는 유사화상 검출부(147)에 의해 사용된다.
실시예 1에서, 지정정보의 각 부분은 하나의 규칙과 그 규칙에 의해 지정된 검출작업 명령으로 구성된다.
각 검출작업 명령은 프리젠테이션 프레임의 표시시간(이하, "프리젠테이션 시간"이라 함)을 인덱스 저장부(109)에 저장하고 인덱스 저장부(109)로부터 등록된 프리젠테이션 시간을 삭제하거나, 또는 시작 프레임의 표시시간(이하, "세그먼트-시작시간"이라 함)을 인덱스 저장부(109)에 등록하도록 명령한다. 구체적으로, 각 검출작업 명령은 수행될 작업을 보여주는 정보(즉, 프리젠테이션 시간 등록, 프리젠테이션 시간 삭제, 또는 세그먼트-시작시간 등록 중 하나를 보여주는 정보)와 함께, 그 표시시간이 인덱스 저장부(109)에의 등록이나 인덱스 저장부(109)로부터의 삭제를 필요로 하는 프레임의 조건을 보여주는 정보를 포함한다.
각 규칙은 대응 타입의 콘텐츠를 인덱싱하고 그 콘텐츠를 다수의 뷰잉 세그먼트로 분할하기 위하여 검출제어부(121)에 의해 수행되는 순서로 검출작업 명령 개수를 보여주는 정보이다.
이하, 규칙테이블(301)과 검출작업 테이블(302)에 대해 상세하게 설명한다.
도 4는 규칙저장부(106)에 저장된 규칙테이블(301)의 데이터 구조를 보여준다.
규칙테이블(301)은 콘텐츠의 각 장르에 대해 서로 다른 규칙을 포함한다.
각 규칙은 프로그램 타입, 작업명령 개수, 및 그 개수만큼 많은 작업 ID로 구성된다.
프로그램 타입은 콘텐츠의 대응하는 장르를 보여주고, 작업명령의 수는 얼마나 많은 개수의 검출작업 명령이 지정되는지를 보여준다.
작업 ID는 검출작업 명령의 식별이며, 인덱싱을 위하여 실행될 순서로 나열된다.
예를 들어, "뉴스 프로그램 1"에 대한 규칙은, 작업 ID 001, 004, 002, 및 003에 의해 지정된 검출작업 명령이 언급된 순서로 실행될 필요가 있다는 것을 보여준다.
도 5는 규칙저장부(106)에 저장된 검출작업 테이블(302)의 데이터 구조를 보여준다.
검출작업 테이블(302)은 검출작업 명령을 포함한다. 각 검출작업 명령은, 어 떤 작업(즉, 프리젠테이션 시간 등록, 프리젠테이션 시간 삭제, 또는 세그먼트-시작시간 등록)이 수행될지를 나타내는 정보와 함께, 인덱스 저장부(109)에의 표시시간 등록이나 인덱스 저장부(109)로부터의 표시시간 삭제를 필요로 하는 프레임의 조건을 보여준다.
각 검출작업 명령은 작업 ID, 검출-대상 프레임, 검출 파라미터, 인덱싱 작업, 선택 프레임, 및 인덱스 프레임으로 구성된 정보이다.
작업 ID는 검출작업 명령을 고유하게 식별한다.
검출-대상 프레임은 특징프레임 검출부(123)에 의해 검출될 프레임의 특징을 보여준다. 검출 파라미터는 특징 프레임 검출을 위해 특징프레임 검출부(123)에 의해 사용되는 파라미터이다.
인덱싱 작업은 검출처리부(124)로 하여금 프리젠테이션 시간 등록, 프리젠테이션 시간 삭제, 또는 세그먼트-시작시간 등록 중 하나를 수행하도록 하는 정보이다. 보다 구체적으로, 인덱싱 작업은, 프리젠테이션 시간이 등록될 필요가 있을 때 "프리젠테이션 시간 등록", 프리젠테이션 시간이 삭제될 필요가 있을 때 "프리젠테이션 시간 삭제", 그리고 세그먼트-시작시간이 등록될 필요가 있을 때 "세그먼트-시작시간 등록"으로 설정된다.
선택 프레임은, 그 표시시간이 검출처리부(124)에 의해 등록되거나 삭제될 예정인 인덱스 프레임을 지정하는데 사용되는 프레임을 보여주는 정보이다. 선택 프레임은 값 0, 1, 및 2 중 하나로 설정된다. 값 0은 검출-대상 프레임, 값 1은 등록된 프리젠테이션, 그리고 값 2는 등록된 시작 프레임을 나타낸다.
인덱스 프레임은 그 표시시간이 등록되거나 삭제될 필요가 있는 프레임인 인덱스 프레임을 보여준다. 인덱스 프레임은 선택 프레임과 검출-대상 프레임 사이의 관계로 나타난다. 보다 구체적으로, 인덱스 프레임은 값 0, 1, 및 2 중 하나로 설정된다. 값 0은 선택 프레임과 일치하는 검출-대상 프레임이 인덱스 프레임으로 결정되는 것을 나타낸다. 값 1은 선택 프레임에 가장 인접하여 앞선 검출-대상 프레임(즉, 선택 프레임을 앞선 모든 검출-대상 프레임 중 선택 프레임에 가장 인접한 프레임)이 인덱스 프레임으로 결정되는 것을 나타낸다. 값 2는 선택 프레임의 가장 인접하여 이어지는 검출-대상 프레임(즉, 선택 프레임 이후에 위치하는 모든 검출-대상 프레임 중 선택 프레임에 가장 인접한 프레임)이 인덱스 프레임으로 결정되는 것을 나타낸다.
예를 들어, 작업 ID 001을 갖는 검출작업 명령은 특징프레임 검출부(123)로 하여금 모든 "대자막 시작 프레임(large-caption frame)"을 검출하도록 명령한다. 대자막 시작 프레임은 임계값 [(x y)]보다 큰 사이즈의 자막이 검출 파라미터 [(x-y), (x, y)]에 의해 정의된 영역에 연속적으로 나타나는 일련의 프레임 중 첫 번째 프레임이다. 또한, 검출처리부(124)는, 인덱스 프레임으로서, 선택 프레임(즉, 이 경우 대자막 시작 프레임)과 일치하는 모든 검출-대상 프레임을 지정하고, 이와 같이 지정된 인덱스 프레임의 표시시간을 프리젠테이션 시간으로 인덱스 저장부(109)에 등록하도록 명령받는다.
또한, 작업 ID 002를 갖는 검출작업 명령은 특징프레임 검출부(123)로 하여금 모든 "소자막 프레임(small-caption frame)"을 검출하도록 명령한다. "소자막 프레임"은 임계값 [(x y)]보다 작은 사이즈의 자막이 검출 파라미터 [(X, Y) - (x, y)]에 의해 정의된 영역에 나타나는 프레임이다. 또한, 검출처리부(124)는, 인덱스 프레임으로서, 선택 프레임(등록된 프리젠테이션 프레임)과 일치하는 모든 검출-대상 프레임(소자막 프레임)을 지정하고, 이와 같이 지정된 인덱스 프레임의 표시시간을 인덱스 저장부(109)에 등록된 프리젠테이션 시간으로부터 삭제하도록 명령받는다.
또한, 작업 ID 003을 갖는 검출작업 명령은 특징프레임 검출부(123)로 하여금 하나의 연속 장면으로부터 다른 장면으로의 전환이 일어나는 전환 프레임(즉, 장면 경계의 프레임)을 검출하도록 명령한다. 또한, 검출처리부(124)는, 인덱스 프레임으로서, 선택 프레임(등록된 프리젠테이션 프레임)에 가장 인접하여 앞선 검출-대상 프레임(전환 프레임)을 지정하고, 이와 같이 지정된 인덱스 프레임의 표시시간을 세그먼트-시작시간으로 인덱스 저장부(109)에 등록하도록 명령받는다.
도 2에 도시된 선택부(107)는 규칙테이블(301)로부터 프로그램 취득부(104)로부터 취득한 타입 정보에 대응하는 규칙을 취득한다. 또한, 선택부(107)는 취득한 규칙에 포함된 각 작업 ID에 의해 지정된 검출작업 명령을 검출작업 테이블(302)로부터 취득한다. 취득한 규칙과 검출작업 명령은 지정부(108)로 출력된다. 취득한 규칙이 다수의 작업 ID를 포함하는 경우, 선택부(107)는 대응하는 검출작업 명령을 규칙에 나열된 작업 ID의 순서로 지정부(108)에 출력한다.
지정부(108)는 검출제어부(121), 데이터 분석부(122), 특징프레임 검출부(123), 및 검출처리부(124)를 포함한다. 지정부(108)는, 콘텐츠를 다수의 뷰잉 세 그먼트로 분할하기 위하여, 프로그램 취득부(104)에 의해 취득된 콘텐츠의 이미지 데이터를 구성하는 다수의 프레임 중, 뷰잉 세그먼트의 시작 프레임이 되는 프레임을 지정하는 기능 블록이다.
검출제어부(121)는 규칙이 나타내는 순서로 선택부(107)로부터 하나씩 검출작업 명령을 취득한다. 취득한 각 검출작업 명령에 대해, 검출제어부(121)는 검출작업 명령에 의해 나타난 검출 파라미터를 특징프레임 검출부(123)에 출력하여 특징프레임 검출부(123)와 검출처리부(124)를 제어한다.
데이터 분석부(122)는 프로그램 취득부(104)에 의해 취득된 콘텐츠를 디코딩하고 디코딩된 콘텐츠를 특징프레임 검출부(123)의 제어하에 분석하여 비디오 및 오디오 데이터의 특징을 추출하도록 하기 위한 기능 블록이다. 이에 따라, 데이터 분석부(122)는 정지화상 분석부(131), 비디오 분석부(132), 및 오디오 분석부(133)의 기능 블록을 포함한다.
정지화상 분석부(131)는 각 프레임의 휘도와 색을 분석한다.
비디오 분석부(132)는 인접하는 프레임 쌍 사이의 휘도와 색의 변화를 분석한다.
오디오 분석부(133)는 디코딩된 오디오 데이터에 기초하여 볼륨 레벨 측정, 파형 분석, 및 음성인식을 수행한다.
특징프레임 검출부(123)는 전환검출부(141), 대자막 검출부(142), 소자막 검출부(143), 무음검출부(144), CM검출부(145), 음악-시작 검출부(146), 유사화상 검출부(147), 및 발화-시작 검출부(148)를 포함한다. 특징프레임 검출부(123)는 검출 제어부(121)의 제어하에 콘텐츠로부터 후술하는 특징을 갖는 프레임을 검출한다. 프레임 검출은 데이터 분석부(122)에 의해 취득된 분석에 기초하여 수행된다. 특징프레임 검출부(123)는 각 검출된 프레임의 표시시간을 검출처리부(124)에 출력한다.
더 구체적으로, 전환검출부(141)는 한 장면에서 다른 장면으로의 전환이 일어나는 전환 프레임을 검출한다. 일련의 프레임에 의해 표현되는 장면은 연속하여 촬영되는 것에 유의해야 한다. 보다 구체적으로, 전환검출부(141)는 인접 프레임 쌍 사이의 색 분포를 이용하는 기설정된 알고리즘에 의해 콘텐츠의 모든 전환 프레임을 검출한다. 검출된 각 전환 프레임의 표시시간은 검출처리부(124)로 출력된다.
대자막 검출부(142)는 대자막 시작 프레임을 검출하는 기능 블록이다. 이 때문에, 대자막 검출부(142)는 파라미터를 검출제어부(121)로부터 취득, 즉 기설정된 영역과 자막 사이즈의 임계값을 정의하는 것을 조정한다. 이어, 대자막 검출부(142)는 휘도-베이스의 수평 에지 픽셀의 수에서의 인접하는 프레임 쌍 사이의 시간-베이스 변화를 이용할 뿐만 아니라 취득한 파라미터를 이용하는 기설정된 알고리즘에 의해 모든 대자막 시작 프레임을 검출한다. 검출된 각 대자막 시작 프레임의 표시시간은 검출처리부(124)로 출력된다.
소자막 검출부(143)는 소자막 프레임을 검출하는 기능 블록이다. 이 때문에, 소자막 검출부(143)는 검출제어부(121)로부터 파라미터를 취득, 즉 기설정된 영역과 자막 사이즈의 임계값을 정의하는 것을 조정한다. 이어, 소자막 검출부(143)는 휘도-베이스 수평 에지 픽셀의 수를 이용할 뿐만 아니라 취득한 파라미터를 이용하 는 기설정된 알고리즘에 의해 모든 소자막 프레임을 취득한다. 이어, 검출된 각 소자막 프레임은 검출처리부(124)로 출력된다.
상기한 바와 같이, 대자막 검출부(142)와 소자막 검출부(143)는 화상 분석을 통한 검출을 수행한다. 그러나, 콘텐츠는 그것의 자막에 대하여 클로즈드-캡션(closed-caption; 귀가 불편한 사람을 위한 자막)과 같은 메타 데이터를 포함할 수 있다. 그러한 경우, 검출은 화상 분석 없이 메타 데이터를 이용하여 수행될 수 있다.
무음검출부(144)는, 기설정된 알고리즘을 이용하여, 그 소리 레벨이 임계값 이하인 무음의 프레임을 검출한다. 검출된 각 무음 프레임의 표시시간은 검출처리부(124)로 출력된다.
CM검출부(145)는, 기설정된 알고리즘을 이용하여, CM(Commercial Message)을 구성하는 CM 프레임을 검출한다. 더 구체적으로, CM검출부(145)는, CM 프레임으로서, 무음이 기설정된 시간 간격(예를 들어, 15초)으로 반복되는 세그먼트에 대응하는 프레임을 검출한다. 검출된 각 CM 프레임의 표시시간은 검출처리부(124)에 출력된다.
음악-시작 검출부(146)는 기설정된 알고리즘을 이용하여 특징 소리가 주기적으로 반복되는 일련의 프레임 중 첫 번째 프레임인 음악-시작 프레임을 검출한다.
유사화상 검출부(147)는 먼저 검출제어부(121)로부터 취득한 파라미터에 의해 지정되는 기준 프레임을 규칙저장부(106)의 기준 프레임 저장 영역으로부터 취득한다. 이어, 유사화상 검출부(147)는 인덱스 저장부(109)에 등록된 프리젠테이션 시간에 대응하는 각 프레임을 비교하여 프리젠테이션 프레임의 화상이 기준 프레임 화상과 유사한지를 확인한다. 이러한 방법으로, 유사화상 검출부(147)는 기준 프레임 화상에 대한 화상데이터를 기초로 프리젠테이션 프레임으로부터 유사한 프레임을 검출한다. 검출된 각 유사-화상 프레임의 표시시간은 검출처리부(124)로 출력된다.
유사-화상 프레임의 검출은 여러 가지 방법으로 수행될 수 있다. 예를 들어, 기준 프레임에 특유한 메인 자막의 표시 위치는 기준영역으로 지정되며, 그 영역의 수평 에지 픽셀의 개수는 특징 인덱스로 지정된다. 각 프레임 쌍 사이의 유사성은 특징 인덱스에 기초하여 측정된다. 선택적으로, 기준 프레임의 자막의 표시 위치는, 유사 위치에 표시된 자막을 구비한 프레임을 검출하도록 특징 인덱스로 지정될 수 있다. 또한, 각 프레임 쌍 사이의 유사성은 다른 측정에 의해서도 측정될 수 있다.
발화-시작 검출부(148)는, 오디오 데이터를 기초하여, 특정 발화자의 발화가 계속되는 일련의 프레임의 첫 번째 프레임인 발화-시작 프레임을 검출한다. 검출은 기설정된 알고리즘을 이용하여 실행되고, 각 발화-시작 프레임의 표시시간은 검출처리부(124)로 출력된다.
검출처리부(124)는 후보 지정부(151), 후보 삭제부(152), 및 시작 프레임 지정부(153)의 기능 블록을 포함한다. 검출제어부(121)의 제어하에, 검출처리부(124)는 인덱스 저장부(109)에 보유된 인덱스 정보를 다시 기록한다.
후보 지정부(151)는 프리젠테이션 시간을 인덱스 정보에 등록한다. 후보 삭 제부(152)는 인덱스 정보로부터 등록된 프리젠테이션 시간을 삭제한다. 시작 프레임 지정부(153)는 세그먼트-시작시간을 인덱스 정보에 등록한다.
구체적으로, 인덱스 저장부(109)는 하드디스크나 DVD 같은 기록매체이며, 콘텐츠 저장부(103)에 저장된 각 콘텐츠에 대한 인덱스 정보를 저장한다. 인덱스 정보는 각 콘텐츠의 각 뷰잉 세그먼트에 대한 세그먼트-시작시간 및 프리젠테이션 시간으로 구성된다.
규칙갱신부(110)는, 통신망을 통하여 공급자 장치(20)로부터 가장 최근의 지정정보(규칙과 검출작업 명령)를 취득함으로써 규칙저장부(106)에 저장된 규칙테이블(301) 및 검출작업 테이블(302)을 갱신하기 위한 기능 블록이다.
기록제어부(102)가 콘텐츠의 기록을 시작할 때마다, 규칙갱신부(110)는 처리되고 있는 콘텐츠에 대응하는 지정정보의 새로운 버전이 있는지에 대해 공급자 장치(20)에 질의한다. 이 질의는 선택부(107)가 지정정보의 대응 부분을 선택하기 전에 이루어진다. 새로운 버전이 있는 경우, 규칙갱신부(110)는 새로운 버전을 취득한다.
상기한 구조에 의하면, 기록장치(100)는 다수의 지정정보 부분을 저장하고, 각 장르의 콘텐츠에 대해 지정정보의 적절한 부분을 이용한다. 이것은, 인덱싱이 각 장르의 콘텐츠에 대해 적절한 알고리즘으로 구성된 지정정보 부분을 제공하여 다양한 타입의 콘텐츠에 대해 적절하게 수행되는 것을 보장한다.
상기한 바와 같이, 기록제어부(102), 프로그램 취득부(104), 정보취득부(105), 선택부(107), 지정부(108), 및 규칙갱신부(110)의 기능은 프로세서가 ROM에 저장된 프로그램을 실행함으로써 수행된다. 그러나, 선택적으로, 그러한 기능들은, 예를 들어, 유선 로직이나 ASIC(Application-Specific Integrated Circuit)을 이용하여 수행될 수 있다.
(처리)
다음, 콘텐츠를 인덱싱하기 위해 기록장치(100)에 의해 수행되는 처리에 대해 설명한다.
도 6은 기록장치(100)에 의해 수행되는 인덱스 처리의 플로차트이다.
먼저, 프로그램 취득부(104)는 콘텐츠 저장부(103)로부터 기록된 콘텐츠를 취득하며, 취득한 콘텐츠를 지정부(108)에 출력한다(S1).
다음, 정보취득부(105)는 콘텐츠 저장부(103)로부터 단계 S1에서 취득한 콘텐츠에 대응하는 타입 정보 부분을 취득하며, 취득한 타입 정보를 선택부(107)에 출력한다(S2). 이어, 선택부(107)는 취득한 타입 정보가 나타내는 "장르"에 대응하는 규칙을 찾기 위하여 규칙저장부(106)에 보유된 규칙테이블(301)을 검색한다. 또한, 선택부(107)는 취득한 규칙에 포함된 각 작업 ID에 의해 식별되는 검출작업 명령을 찾기 위해 검출작업 테이블(302)을 검색한다. 취득된 규칙과 검출작업 명령은 지정부(108)로 출력된다(S3).
상기한 단계들을 통하여, 실시예 1의 기록장치(100)는 콘텐츠의 타입에 대응하는 지정정보 부분을 이용하여 콘텐츠를 적절하게 인덱싱한다는 것이 확인된다.
다음, 도 6의 단계 S4와 같이 나타낸 분할 처리에 대해 더 상세히 설명한다. 분할 처리(segmentation processing)는 시작 프레임을 지정하고, 이에 의해 콘텐츠를 다수의 뷰잉 세그먼트로 분할하는 것이다.
도 7은 분할 처리의 플로차트이다.
먼저, 검출제어부(121)는 선택부(107)가 취득한 어떤 검출작업 명령이든 처리되지 않고 남아있는지를 판정한다(S11).
처리되지 않은 검출작업 명령이 존재하는 경우(S11: YES), 검출제어부(121)는 규칙에 나열된 순서로 처리되지 않은 검출작업 명령의 첫 번째 것을 선택한다(S12). 이와 같이 선택된 검출작업 명령에 기초하여, 검출제어부(121)는 특징프레임 검출부(123) 및 검출처리부(124)를 제어하여 프레임 검출 처리를 수행한다. 프레임 검출 처리를 통하여, 현재 검출작업 명령에 의해 나타난 조건을 만족하는 프레임이 지정되며, 인덱스 저장부(109)에 보유된 인덱스 정보가 그에 따라 갱신된다(단계 S13).
프레임 검출 처리 후, 검출제어부(121)는 다음 검출작업 명령을 유사하게 처리하기 위해 단계S11로 복귀한다.
검출제어부(121)는, 처리되지 않고 남아있는 검출작업 명령이 더 이상 없을 때까지 상기의 단계들을 반복한다(S11: NO). 그 결과, 다수의 뷰잉-세그먼트 각각의 세그먼트-시작시간과 프리젠테이션 시간이 인덱스 정보에 등록된다.
상기한 단계들을 통하여, 지정부(108)는 선택부(107)에 의해 선택된 규칙이 나타내는 순서로 검출작업 명령을 하나씩 처리한다.
다음, 도 7의 단계 S13과 같이 나타낸 프레임 검출 처리에 대한 더 상세한 것을 설명한다. 프레임 검출 처리는, 검출작업 명령에 의해 보여준 조건을 만족하는 프레임을 검출하고 검출된 프레임을 이용하여 인덱스 정보를 갱신하기 위하여, 특징프레임 검출부(123)과 검출처리부(124)에 의해 수행된다.
도 8은 프레임 검출 처리의 플로차트이다.
먼저, 특징프레임 검출부(123)는 프로그램 취득부(104)가 취득한 콘텐츠를 구성하는 어떠한 프레임이든 분석되지 않고 남아 있는지를 판정한다(S21).
분석되지 않은 프레임이 있는 경우(S21: YES), 특징프레임 검출부(123)는 분석되지 않은 프레임의 첫 번째 것을 선택한다(S22). 기능 블록의 사용에 의하면, 특징프레임 검출부(123)는 현재 프레임이 현재 검출작업 명령이 나타내는 조건을 만족하는 검출-대상 프레임인지를 판정한다(S23). 분석되고 있는 프레임이 검출-대상 프레임이 아닌 경우(S23: NO), 특징프레임 검출부(123)는 다음 프레임을 분석하기 위하여 단계 S21로 복귀한다. 반면, 분석되고 있는 프레임이 검출-대상 프레임이면(S23: YES), 특징프레임 검출부(123)는 그 프레임의 표시시간을 메모리에 확보된 작업 영역에 기록한다(S24). 이어 처리는 다음 프레임을 분석하기 위하여 단계 S21로 돌아간다.
특징프레임 검출부(123)는 상기한 단계들을 반복하여 그 콘텐츠에서 발견된 모든 검출-대상 프레임의 표시시간 리스트를 작업 영역에 생성한다. 전체 콘텐츠에 대한 프레임 분석을 완료한 때(단계 S21: NO), 검출처리부(124)는 작업 영역으로부터 표시시간 리스트를 취득하고, 취득한 검출-대상 프레임의 표시시간과 현재 검출작업 명령이 나타낸 선택 프레임을 이용하여 검출작업 명령에 따라 인덱스 정보를 갱신한다(S25).
상기한 단계들을 통하여, 특징프레임 검출부(123)는, 검출작업 명령에 따라 콘텐츠의 화상데이터를 구성하는 프레임으로부터 모든 대상 프레임을 정당하게 검출하는 것이 보증된다.
(예 1)
이하, 기록장치(100)에 의해 콘텐츠(401)에 대해 수행되는 인덱스 처리의 구체적인 예를 설명한다. 이 예에서, 콘텐츠(401)는 60분짜리 뉴스 프로그램이다.
도 9는 콘텐츠(401)의 화상데이터 특징을 도식적으로 보여주는 도면이다. 도면에서 수평 축은 시간 축이다. 시간 축 위의 숫자는 콘텐츠(401)의 시작부터 경과한 시간을 (분으로) 나타낸다.
시간 축(402)을 따른 직사각형은 각각 대자막이 각 프레임의 하부 영역에 나타나는 세그먼트를 표시한다. 시간 축(403)을 따른 각 직사각형은 광고를 목적으로 삽입된 CM에 대응하는 세그먼트이다. 시간 축(404)을 따른 각 직사각형은 소자막이 하부영역 이외의 영역에 나타나는 세그먼트를 표시한다. 시간 축(405)을 따른 각 수직 라인은 한 장면으로부터 다른 장면으로의 전환이 일어나는 장면 전환을 표시한다.
여기서, 인덱스될 콘텐츠(401)는 장르 "뉴스 프로그램 1"에 속한다. 이와 같이, 선택부(107)는 도 4에 도시된 규칙테이블(301)로부터 "뉴스 프로그램 1"에 대응하는 규칙을 취득한다. 규칙은 작업 ID 001, 004, 002, 및 003을 포함한다. 이와 같이, 선택부(107)는 작업 ID에 의해 식별되는 4가지 검출작업 명령을 더 취득한다. 이어, 선택부(107)는 취득한 규칙과 검출작업 명령을 지정부(108)에 출력한다.
지정부(108)는, "뉴스 프로그램 1"에 대응하여 규칙에 나열된 작업 ID의 순서로 각 검출작업 명령에 따라 프레임 검출 처리를 하나씩 순차적으로 수행한다.
먼저, 규칙에 나타내는 첫 번째 ID인 작업 ID 001에 의해 식별되는 검출작업 명령에 따라 프레임 검출 처리가 수행된다. 이를 위해, 대자막 검출부(142)는 콘텐츠(401)에 포함된 모든 대자막 시작 프레임을 검출한다. 이어, 후보 지정부(151)는, 프리젠테이션 시간으로서, 각 검출된 프레임의 표시시간을 인덱스 정보에 등록한다.
도 10은 작업 ID 001을 갖는 검출작업 명령에 따라 대자막 검출부(142)에 의해 검출된 대자막 시작 프레임의 표시시간 리스트를 보여준다. 도 11은 작업 ID 001을 갖는 검출작업 명령이 처리된 후 콘텐츠(401)의 인덱스 정보를 보여준다.
다음, 두 번째 작업 ID 004에 의해 식별된 검출작업 명령이 수행된다. 이에 따라, CM검출부(145)는 콘텐츠(401)로부터 모든 CM 정보를 검출한다. 도 12는 작업 ID 004를 갖는 검출작업 명령에 따라 CM검출부(145)에 의해 검출된 CM 프레임의 표시시간 리스트를 보여준다. 실제, CM검출부(145)는 콘텐츠(401)에 포함된 모든 CM 프레임을 검출한다. 그러나, 간단하게 하기 위하여, 도 12는 CM 세그먼트의 시작시간과 종료시간을 보여준다.
CM검출부(145)에 의한 CM 프레임 검출이 완료된 때, 후보 삭제부(152)는 검출된 어떠한 CM 프레임이라도 그것의 표시시간과 일치하는 모든 세그먼트-시작시간 을 삭제함으로써 인덱스 정보를 변경한다.
더 구체적으로, 도 11에 도시된 인덱스 정보로부터, 프리젠테이션 시간 "13:00", "29:00", "45:00", 및 "58:00"이 삭제된다. 도 13은 작업 ID 004를 갖는 검출작업 명령이 처리된 후 콘텐츠(401)의 인덱스 정보를 보여준다.
다음, 세 번째 작업 ID 002에 의해 식별된 검출작업 명령이 처리된다. 이를 위해, 소자막 검출부(143)는 콘텐츠(401)에 포함된 모든 소자막 프레임을 검출한다. 도 14는 작업 ID 002를 갖는 검출작업 명령에 따라 소자막 검출부(143)에 의해 검출된 소자막 프레임의 표시시간 리스트를 보여주는 도면이다. 도 12와 마찬가지로, 도 14는 소자막이 연속하여 나타나는 각 세그먼트의 시작시간과 종료시간을 보여주며, 이에 의해 각 소자막 프레임의 표시시간을 나타낸다.
소자막 검출부(143)에 의한 소자막 검출이 완료된 때, 후보 삭제부(152)는 검출된 어떠한 소자막 프레임이라도 그것의 표시시간과 일치하는 모든 세그먼트-시작시간을 삭제함으로써 인덱스 정보를 변경한다.
더 구체적으로, 도 13에 도시된 인덱스 정보로부터, 프리젠테이션 시간 "08:00", "24:00", "33:00", "40:00", 및 "45:30"이 삭제된다. 도 15는 작업 ID 002를 갖는 검출작업 명령이 처리된 후 콘텐츠(401)의 인덱스 정보를 보여준다.
다음, 네 번째 작업 ID 003에 의해 식별된 검출작업 명령이 처리된다. 이를 위해, 전환검출부(141)는 콘텐츠(401)에 포함된 모든 전환 프레임을 검출한다. 도 16은 작업 ID 003을 갖는 검출작업 명령에 따라 전환검출부(141)에 의해 검출된 전환 프레임의 표시시간 리스트를 보여주는 도면이다. 실제, 전환검출부(141)는 CM 세그먼트에 포함된 것을 포함하여 콘텐츠(401)에 포함된 전환 프레임을 검출한다. 그러나, CM 세그먼트의 어떠한 전환 프레임이라도 그것의 표시시간은 다음의 이유로 리스트에 포함되지 않는다. 작업 ID 002를 갖는 검출작업 명령에 따르면, CM 세그먼트에 포함된 프리젠테이션 시간은 결코 (프리젠테이션 프레임에 가장 인접하여 앞선 전환 프레임인) 인덱스 프레임으로 지정되지 않는다. 이러한 이유로, 도 6은 CM 세그먼트에 포함되어 있는 전환 프레임의 표시시간을 생략한다.
전환검출부(141)에 의한 전환 프레임 검출이 완료된 때, 시작 프레임 지정부(153)는 각 등록된 프리젠테이션 프레임에 가장 인접하여 앞선 전환 프레임을 지정하고, 이와 같이 지정된 각 인덱스 프레임의 표시시간을 세그먼트-시작시간으로서 등록한다.
더 구체적으로, 인덱스 정보가 도 15에 도시된 바와 같이 프리젠테이션 시간 "00:45", "19:30", "30:30", 및 "51:15"를 포함하는 경우, 세그먼트-시작시간 "00:00", ""19:00", "30:30", 및 "50:00"이 등록된다. 도 17은 "뉴스 프로그램 1"에 대응하는 규칙에 따라 인덱스 처리가 완료된 후의 콘텐츠(401)의 인덱스 정보를 보여준다.
도 9에서, 시간 축(406)을 따른 검은 점은 시작 프레임으로 지정된 프레임을 나타내며, 반면 시간 축(407)을 따른 검정 삼각형은 프리젠테이션 프레임으로 지정된 프레임을 나타낸다.
상기한 단계를 통하여, 뉴스 스토리의 요약이나 헤드라인을 표현하기 위하여 각 뉴스 스토리에 대해 자막이 나타나는 뉴스 프로그램의 인덱싱을 적절하게 수행 하는 것이 확실하다.
더 구체적으로, 이러한 뉴스 프로그램을 인덱싱할 때, 프리젠테이션 프레임은 뉴스 스토리의 헤드라인을 제공하는 자막이 나타나는 각 프레임일 것이며, 반면 시작 프레임은 뉴스 스토리를 보도하는 아나운서의 화상으로의 장면 전환이 일어나는 각 프레임일 것이다.
도 18a는 예시적인 시작 프레임의 화상이고, 도 18b는 예시적인 프리젠테이션 프레임의 화상을 보여준다. 도 18c는, 표시시간이 작업 ID 001을 갖는 검출작업 명령에 따라 프리젠테이션 프레임으로 일단 등록되고 작업 ID 002를 갖는 검출작업 명령에 따라 삭제되는 예시적인 프레임의 화상이다. 결국, 도 18c에 도시된 프레임은 프리젠테이션 프레임으로 지정되지 않는다.
(예 2)
다음, 기록장치(100)에 의해 수행된 인덱스 처리의 다른 예를 설명한다.
이 예의 콘텐츠(401)는 장르 "뉴스 프로그램 3"에 속하는 것으로 가정한다. 따라서, "뉴스 프로그램 3"에 대응하는 규칙은 규칙테이블(301)로부터 취득된다.
"뉴스 프로그램 3"에 대응하는 규칙은 작업 ID 001, 004, 002 및 005를 언급한 순서대로 포함한다. "뉴스 프로그램 3"에 대응하는 규칙에 따라 인덱스 처리가 수행될 때, 처음 3가지 검출작업 명령(작업 ID가 001, 004, 및 002인 검출작업 명령)이 예 1과 같은 방법으로 수행된다.
이후, 네 번째 작업 ID 005에 의해 식별된 검출작업 명령이 수행된다. 이를 위해, 무음검출부(144)는 콘텐츠(401)로부터 모든 무음 프레임을 검출한다.
무음 프레임 검출이 완료된 때, 시작 프레임 지정부(153)는 검출된 모든 무음 프레임 중 각 프리젠테이션 프레임에 가장 인접하여 앞선 프레임을 지정한다. 시작 프레임 지정부(153)는 이와 같이 지정된 무음 프레임의 표시시간을 세그먼트-시작시간으로 인덱스 정보에 등록한다.
상기한 단계들은 각 뉴스 스토리가 그것의 헤드라인을 제공하도록 자막이 나타나는 뉴스 프로그램의 인덱싱을 적절하게 수행하는 것을 확실하게 한다.
더 구체적으로, 프리젠테이션 프레임과 시작 프레임은 각 뉴스 스토리에 대해 지정된다. 이 경우에 지정된 각 프리젠테이션 프레임은 헤드라인을 표시하는 자막이 나타나는 첫 번째 프레임이다. 이 경우에 지정된 각 시작 프레임은 뉴스 스토리를 보도하는 오디오 데이터를 바로 앞서는 무음 세그먼트를 구성하는 일련의 프레임의 최종 프레임이다.
(예 3)
이하, 기록장치(100)에 의해 수행되는 인덱스 처리의 다른 예를 설명한다.
이 예의 콘텐츠(401)는 장르 "음악 쇼 1"에 속하는 것으로 가정한다. 따라서, "음악 쇼 1"에 대응하는 규칙이 규칙테이블(301)로부터 취득된다.
"음악 쇼 1"에 대응하는 규칙은 작업 ID 001, 004, 002 및 006을 언급한 순서대로 포함한다. "음악 쇼 1"에 대응하는 규칙에 따라 콘텐츠(401)의 인덱싱이 수행될 때, 처음 3가지 검출작업 명령(작업 ID가 001, 004, 및 002인 검출작업 명령) 이 예 1과 같은 방법으로 수행된다.
이후, 네 번째 작업 ID 006에 의해 식별된 검출작업 명령이 수행된다. 이를 위해, 음악-시작 검출부(146)는 콘텐츠(401)로부터 모든 음악-시작 프레임을 검출한다.
음악-시작 프레임 검출이 완료된 때, 시작 프레임 지정부(153)는 인덱스 정보에 등록된 각 프리젠테이션 프레임에 대해 시작 프레임을 지정한다. 이 경우에 지정된 시작 프레임은 모든 음악-시작 프레임 중 각 프리젠테이션 프레임에 가장 인접하여 앞선 프레임이다.
상기한 단계들은 음악을 시작한 후 음악 각 부분의 제목과 작곡가를 표시하는 자막이 나타나는 음악 쇼의 인덱싱을 적절하게 수행하는 것을 확실하게 한다.
더 구체적으로, 프리젠테이션 프레임과 시작 프레임은 음악 쇼에서 연주되는 음악 각 부분에 대해 지정된다. 이 경우에 지정된 각 시작 프레임은 음악 부분이 시작하는 프레임이다. 이 경우에 지정된 각 프리젠테이션 프레임은, 제목과 같이, 음악 부분에 대한 자막이 처음 나타나는 프레임이다.
(예 4)
다음, 기록장치(100)에 의해 수행되는 인덱스 처리의 다른 예를 설명한다.
이 예의 콘텐츠(401)는 장르 "뉴스 프로그램 5"에 속하는 것으로 가정한다. 따라서, "뉴스 프로그램 5"에 대응하는 규칙은 규칙테이블(301)로부터 취득된다.
"뉴스 프로그램 5"에 대응하는 규칙은 작업 ID 001, 004, 002 및 0010을 언 급한 순서대로 포함한다. "뉴스 프로그램 5"에 대응하는 규칙에 따라 인덱스 처리가 수행될 때, 처음 3가지 검출작업 명령(작업 ID가 001, 004, 및 002인 검출작업 명령)이 예 1과 같은 방법으로 수행된다.
이후, 네 번째 작업 ID 010에 의해 식별된 검출작업 명령이 수행된다. 이를 위해, 발화-시작 검출부(148)는 콘텐츠(401)로부터 모든 발화-시작 프레임을 검출한다.
발화-시작 프레임 검출이 완료된 때, 시작 프레임 지정부(153)는 검출된 모든 발화-시작 프레임 중 각 프리젠테이션 프레임에 가장 인접하여 앞선 프레임을 지정한다. 시작 프레임 지정부(153)는 이와 같이 지정된 발화-시작 프레임의 표시시간을 세그먼트-시작시간으로 인덱스 정보에 등록한다.
상기한 단계들은 각 뉴스 스토리가 그것의 헤드라인을 제공하도록 자막이 나타나는 뉴스 프로그램의 인덱싱을 적절하게 수행하는 것을 확실하게 한다.
더 구체적으로, 프리젠테이션 프레임과 시작 프레임은 각 뉴스 스토리에 대해 지정된다. 이 경우에 지정된 각 프리젠테이션 프레임은 헤드라인을 표시하는 자막이 나타나는 첫 번째 프레임이다. 이 경우에 지정된 각 시작 프레임은 뉴스 스토리의 보도가 시작되는 프레임이다.
"뉴스 프로그램 1", "뉴스 프로그램 3", "음악 쇼 1", 및 "뉴스 프로그램 5"에 대응하는 각 규칙에 따라 인덱싱이 수행될 때, 기록장치(100)는 전체 콘텐츠(401)에서 검출-대상 프레임을 검출한다. 즉, CM을 구성하는 프레임이 검출-대상 프레임으로 검출될 수 있다. 그러나, CM은 방송용으로는 적절하지 않으므로, CM 프 레임은 시작 프레임이나 프리젠테이션 프레임으로 지정될 수 없다.
상기의 내용을 고려하여, 이러한 검출작업 명령은 콘텐츠(401)로부터 모든 CM 프레임을 검출하도록 먼저 수행될 수 있다. 이를 위해, 모든 CM 프레임을 제거한 후 남아 있는 프레임으로부터 대상 프레임을 검출하도록 이어지는 검출작업 명령이 수행될 수 있다. 이러한 방법으로, 데이터 분석부(122)에 가해지는 처리 부하가 감소하고 따라서 처리 시간이 단축된다.
예를 들어, "뉴스 프로그램 2"에 대응하는 규칙의 경우, 모든 CM 프레임을 제거하기 위한 검출작업 명령을 우선 처리하고, 이어서 작업 ID 001, 002, 및 003에 의해 식별된 검출작업 명령을 하나씩 처리하도록 명령받는다. 또한, "뉴스 프로그램 4"에 대응하는 규칙의 경우, 모든 CM 프레임을 제거하기 위한 검출작업 명령을 우선 처리하고, 이어서 작업 ID 001, 002, 및 005에 의해 식별된 검출작업 명령을 하나씩 처리하도록 명령받는다. "음악 쇼 2"에 대응하는 규칙의 경우, 모든 CM 프레임을 제거하기 위한 검출작업 명령을 우선 처리하고, 이어서 작업 ID 001, 002, 및 006에 의해 식별된 검출작업 명령을 하나씩 처리하도록 명령받는다. "뉴스 프로그램 6"에 대응하는 규칙의 경우, 모든 CM 프레임을 제거하기 위한 검출작업 명령을 우선 처리하고, 이어서 작업 ID 001, 002, 및 010에 의해 식별된 검출작업 명령을 하나씩 처리하도록 명령받는다.
또한, 기록장치(100)는 상기 언급한 규칙 이외의 규칙에 따라 인덱스 처리를 수행할 수 있다.
예를 들어, 작업 ID 001을 갖는 검출작업 명령이 먼저 처리되어 각 대자막 시작 프레임의 표시시간이 인덱스 정보에 등록되도록 할 수 있다. 다음, 작업 ID 004를 갖는 검출작업 명령이 처리되어, 같은 표시시간이 인덱스 정보에 등록되어 있으면, 각 CM 프레임의 표시시간이 제거된다. 다음, 작업 ID 009를 갖는 검출작업 명령이 처리된다. 따라서, 등록된 프리젠테이션 시간에 대응하는 각 프레임은 규칙저장부(106)의 기준 프레임 저장 영역에 저장된 기준 프레임에 대해 비교된다. 이 비교에 기초하여, 자막 영역의 위치에 관하여 기준 프레임에 유사한 프레임은 유사-화상 프레임으로 검출되고, 이와 같이 검출된 유사-화상 프레임 이외의 각 프레임의 표시시간은 인덱스 정보에서 제거된다. 이러한 방법으로, 표시시간이 등록된 채로 있는 각 프레임은 프리젠테이션 프레임으로 지정된다.
또한, 자막의 중첩 정도 또는 자막 영역의 중심 사이의 거리를 알기 위해 각각 등록된 프리젠테이션 프레임에 대응하는 프레임들 중에 비교가 이루어질 수 있다. 이 비교에 기초하여, 유사성이 낮은 프레임은 프리젠테이션 프레임으로부터 제거되어 프리젠테이션의 개수를 줄인다.
다른 예로, 일련의 CM 프레임 각각의 첫 번째 프레임이 콘텐츠로부터 검출되어 시작 프레임으로 지정된다. 또한, 전환 프레임이 콘텐츠로부터 검출된다. 이어, 각각 지정된 시작 프레임에 대해, 모든 검출된 전환 프레임 중 각 시작 프레임에 가장 인접하여 이어지는 프레임이 프리젠테이션 프레임으로 지정된다. 이러한 방법으로, 콘텐츠에 포함된 각 CM은 한 세그먼트로 인덱스된다.
상기한 바와 같이, 실시예 1의 기록장치(100)는 특징프레임 검출부(123)를 이용하여 전환 프레임, 소자막 프레임, 대자막 시작 프레임, 무음 프레임, CM 프레 임, 음악-시작 프레임, 및 유사-화상 프레임을 검출한다. 그러나, 기록장치(100)는 다른 특징을 갖는 프레임을 검출할 수도 있다.
또한, 검출작업 명령은 도 5의 검출동작 테이블(302)에 포함된 특정 예에 한정되지 않는다. 기록장치(100)는 다른 작업을 명령하는 다른 검출작업 명령을 구비할 수 있다.
이러한 검출작업 명령의 예는 다음을 포함한다.
1. CM 프레임을 앞선 모든 프리젠테이션 프레임 중 CM 프레임에 가장 인접한 각 프리젠테이션 프레임을 인덱스 정보에서 삭제하도록 명령하는 검출작업 명령.
2. 각 CM 프레임에 앞선 기설정된 시간 내에 있는 프리젠테이션 시간을 인덱스 정보에서 삭제하도록 명령하는 검출작업 명령.
3. 프리젠테이션 시간의 첫 번째 것을 제외하고 기설정된 시간 내에 있는 프리젠테이션 시간을 인덱스 정보에서 삭제하도록 명령하는 검출작업 명령.
4. 각 단시간-자막의 시작 프레임의 표시시간을 프리젠테이션 시간으로 인덱스 정보에 등록할 것을 명령하는 검출작업 명령.
단시간-자막 시작 프레임은 기설정된 표시 영역에 자막이 연속적으로 나타나는 일련의 프레임 중 첫 번째 프레임으로 기설정된 시간보다 더 짧은 기간 동안 나타난다.
5. 수직-자막 프레임과 일치하는 각 프리젠테이션 시간을 인덱스 정보에서 삭제하도록 명령하는 검출작업 명령. 수직-자막 프레임은 수직방향 또는 상하방향의 자막이 기설정된 표시 영역에 나타나는 프레임이다.
6. CM 프레임에 가장 인접한 프리젠테이션 시간을 제외하고, CM 프레임에 이어지는 모든 프리젠테이션 시간을 인덱스 정보로부터 삭제하도록 명령하는 검출작업 명령.
7. 각 프리젠테이션 시간을 앞선 기설정된 시간 내 위치하는 가장 긴 무음 세그먼트를 검출하고, 가장 긴 세그먼트를 구성하는 일련의 프레임의 첫 번째 프레임을 지정하도록 명령하는 검출작업 명령. 이와 같이 지정된 프레임의 표시시간은 세그먼트-시작시간으로 인덱스 정보에 등록된다.
8. 동시에 무음 세그먼트인 각 전환 프레임을 삭제하도록 명령하는 검출작업 명령. 이와 같이 검출된 프레임 중, 각 프리젠테이션 프레임에 가장 인접하여 앞선 프레임은 시작 프레임으로 지정되고, 그것의 표시시간은 세그먼트-시작시간으로 인덱스 정보에 등록된다.
여러 가지 검출작업 명령을 제공함으로써 실시예 1의 기록장치(100)는 각각 다른 특징을 갖는 다양한 콘텐츠에 대해 검출작업 명령을 적절하게 조합하여 사용할 수 있도록 한다. 따라서, 콘텐츠의 분할은 높은 정확도로 실행된다. 여기에 사용된 분할의 정확도란 비디오 처리장치에 의한 분할이 인간에 감지되는 바와 같은 콘텐츠의 구조에 기초한 분할과 얼마나 잘 일치하는지를 의미한다.
실시예 1의 기록장치(100)는 다수의 검출작업 명령을 순차적으로 수행함으로써 시작 프레임과 프리젠테이션 프레임을 지정하는 것에 주목해야 한다. 선택적으로, 기록장치(100)는 모든 관련 검출작업 명령에 따라 모든 검출-대상 프레임을 먼저 검출하고, 이어 이와 같이 검출된 대상 프레임으로부터 검출작업 명령이 나타내 는 조건을 만족하는 시작 프레임과 프리젠테이션 프레임을 선택할 수 있다.
또한, 항상 전체 콘텐츠로부터 검출-대상 프레임을 검출할 필요는 없다. 대신, 대상 프레임 검출은 시간순으로 알려진 프레임을 앞선 프레임에 대해 수행될 수 있다. 예를 들어, 전환 프레임 중 프리젠테이션 프레임에 가장 인접하여 앞선 프레임이 시작 프레임으로 지정된다고 가정하자. 이 경우, 전환 프레임은 전체 프레임으로부터 검출되고 프리젠테이션 프레임에 가장 인접하여 앞선 프레임이 이와 같이 검출된 전환 프레임으로부터 선택되는 것으로 위에서 기술하고 있다. 선택적으로, 각 프리젠테이션 프레임에서 시작하여 시간 역순으로 전환 프레임을 검출하는 것을 적용할 수 있다. 검출된 첫 번째 전환 프레임은 지작 프레임으로 지정된다. 이러한 구성에 의하면, 비디오 분석에 요구되는 처리량이 감소한다.
또한, 콘텐츠의 인덱싱은 콘텐츠의 다수 부분에 대해 병행하여 수행될 수 있다. 이러한 구성에 의하면, 콘텐츠를 인덱싱하는데 걸리는 처리 시간을 단축한다.
(실시예 2)
실시예 2에서, 본 발명과 일치하는 비디오 처리장치의 일 예로서 재생장치(200)에 대해 설명한다.
도 19는 재생장치(200)의 이용 패턴을 보여준다.
재생장치(200)는 콘텐츠 저장부(103)에 저장된 콘텐츠를 모니터(30)에 재생하는 기능을 갖는다. 또한, 재생장치(200)는, 프리젠테이션 프레임의 썸네일(thubmnail) 이미지를 모니터(30) 상에 리스트 형태로 표시하는 기능뿐만 아니라, 콘텐츠 저장부(103)에 저장된 콘텐츠를 다수의 뷰잉 세그먼트로 분할하는 인덱스 기능을 갖는다. 또한, 리모트 컨트롤러(40)에 대한 사용자 조작에 응답하여, 재생장치(200)는 표시된 썸네일 이미지 중 하나의 사용자 선택을 수신하고, 선택된 썸네일 이미지의 프리젠테이션 프레임이 속하는 뷰잉 세그먼트의 선두로부터 콘텐츠를 재생한다.
도 20은 재생장치(200)의 기능블록을 보여준다.
기록 기능과 관련한 수신부(101)와 기록제어부(102)가 제거되고, 재생 기능과 관련한 썸네일 생성부(201), 썸네일 표시부(202), 사용자 선택부(203), 및 재생제어부(204)가 추가된다는 점에서 재생장치(200)는 기록장치(100)와 다르다.
도 20에서, 기록장치(100)와 동일한 기능 블록을 표시하는데 같은 참조번호가 사용된다. 따라서, 그러한 기능 블록에 대한 설명은 생략된다.
썸네일 생성부(201)는 콘텐츠의 프리젠테이션 프레임의 썸네일 이미지를 생성하기 위한 기능 블록이다. 썸네일 이미지는 각 뷰잉 세그먼트에 대한 대표 정지화상으로 사용된다. 콘텐츠 저장부(103)에 저장된 콘텐츠의 화상데이터로부터 각 뷰잉 세그먼트의 프리젠테이션 프레임을 검색하기 위하여, 썸네일 생성부(201)는 인덱스 저장부(109)에 저장된 인덱스 정보가 나타내는 각 뷰잉 세그먼트의 프리젠테이션 시간을 참조한다. 이어 썸네일 생성부(201)는 이와 같이 취득한 프리젠테이션 프레임으로부터 썸네일 이미지를 생성한다.
썸네일 표시부(202)는 썸네일 생성부(201)가 각 뷰잉 세그먼트에 대해 생성한 썸네일 이미지를 표시하기 위한 기능 블록이다. 썸네일 이미지는 모니터(30) 상 에 리스트 형태로 표시된다. 또한, 썸네일 표시부(202)는, 각 썸네일 이미지에 대해, 대응하는 뷰잉 세그먼트의 세그먼트-시작시간과 프리젠테이션 시간을 관리한다. 사용자 선택부(203)로부터 썸네일 이미지의 사용자 선택을 수신한 경우, 썸네일 표시부(202)는 사용자가 선택한 썸네일 이미지의 세그먼트-시작시간을 재생제어부(204)에 통보한다.
사용자 선택부(203)는 사용자 조작을 수신하고, 이에 따라 표시된 썸네일 이미지 중 하나 이상을 선택하며, 선택된 썸네일 이미지에 대해 썸네일 표시부(202)에 통보하기 위한 기능 블록이다. 또한, 썸네일 이미지를 선택한 경우, 사용자 선택부(203)는 선택된 썸네일 이미지를 규칙저장부(106)의 기준 프레임 저장영역에 기록한다.
재생제어부(204)는 콘텐츠의 재생을 제어하기 위한 기능 블록이다. 세그먼트-시작시간의 통보를 수신한 경우, 재생제어부(204)는 수신한 세그먼트-시작시간에 대응하는 프레임으로부터 시작하여 콘텐츠 저장부(103)에 저장된 콘텐츠를 재생한다.
이러한 구성에 의하면, 재생장치(200)는 썸네일 이미지를 리스트 형태로 표시한다. 썸네일 이미지는 각 뷰잉 세그먼트에 기록된 것(즉, 프리젠테이션 프레임)을, 예를 들어, 그것의 자막으로 사용자가 쉽게 구별할 수 있도록 하는 프레임이다. 사용자가 표시된 썸네일 이미지 중 하나를 선택한 경우, 재생장치(200)는 선택된 썸네일 이미지에 대응하는 프레임(즉, 프리젠테이션 프레임)으로부터 시작하지 않고 선택된 썸네일 이미지가 속하는 뷰잉 세그먼트의 선두(즉, 시작 프레임)로부 터 콘텐츠를 재생한다.
이하, 도 9에 도시된 콘텐츠(401)에 의해, 썸네일 표시처리와 재생처리에 대해 구체적으로 설명한다. 여기서, 콘텐츠(401)는 이미 인덱스되고 따라서 인덱스 저장부(109)는 콘텐츠(401)의 인덱스 정보를 저장하고 있는 것으로 가정한다.
먼저, 썸네일 생성부(201)는 인덱스 저장부(109)에 저장된 인덱스 정보를 참조하여 콘텐츠(401)의 프리젠테이션 시간을 취득한다. 이어, 썸네일 생성부(201)는 그것의 표시시간이 각 프리젠테이션 시간에 대응하는 프레임을 취득하고, 이와 같이 취득한 프레임의 썸네일 이미지를 생성한다.
더 구체적으로, 4개의 프리젠테이션 시간 "00:45", "19:30", "30:30", 및 "51:15"가 인덱스 정보로 등록되어, 등록된 프리젠테이션 시간에 대응하는 4개의 프리젠테이션 프레임으로부터 4개의 썸네일 이미지가 생성된다.
썸네일 표시부(202)는 썸네일 생성부(201)가 생성한 썸네일 이미지를 취득하며, 취득한 이미지를 모니터(30) 위에 리스트 형태로 표시한다.
사용자 선택부(203)는 사용자 선택에 따라 썸네일 이미지 중 하나를 선택한다. 또한, 사용자 선택부(203)는 선택된 썸네일 이미지에 대해 썸네일 표시부(202)에 통보하며, 선택된 썸네일 이미지를 규칙저장부(106)의 기준 프레임 저장영역에 기록한다. 여기서, 선택된 썸네일 이미지의 이미지 데이터 없이 선택된 썸네일 이미지가 생성되도록 하는 콘텐츠(401)의 프레임을 지정하는 정보를 기록하는 것을 적용할 수 있다.
선택된 썸네일 이미지에 대해 사용자 선택부(203)로부터 통보를 수신한 경 우, 썸네일 표시부(202)는 선택된 썸네일 이미지에 대응하는 프레임의 세그먼트-시작시간에 대해 재생제어부(204)에 통보한다.
재생제어부(204)는 통보된 세그먼트-시작시간으로부터 시작하여 콘텐츠(401)를 재생한다.
구체적으로, 선택된 썸네일 이미지가 프리젠테이션 시간 "00:45"에 대응하는 프레임으로부터 생성된 것일 때, 콘텐츠(401)의 재생은 세그먼트 시작시간 00:00으로부터 시작된다. 선택된 썸네일 이미지가 프리젠테이션 시간 "19:30"에 대응하는 프레임으로부터 생성된 것일 때, 콘텐츠(401)의 재생은 세그먼트 시작시간 19:00으로부터 시작된다. 선택된 썸네일 이미지가 프리젠테이션 시간 "30:30"에 대응하는 프레임으로부터 생성된 것일 때, 콘텐츠(401)의 재생은 세그먼트 시작시간 30:30으로부터 시작된다. 선택된 썸네일 이미지가 프리젠테이션 시간 "51:15"에 대응하는 프레임으로부터 생성된 것일 때, 콘텐츠(401)의 재생은 세그먼트 시작시간 50:00으로부터 시작된다.
하나 이상의 썸네일 이미지가 사용자 선택부(203)에 의해 선택되는 경우, 선택된 썸네일 이미지는 모두 규칙저장부(106)의 기준 프레임 저장영역에 기록된다.
또한, 재생제어부(204)는 뷰잉 세그먼트의 순차 재생을 위한 플레이리스트 기능을 구비할 수 있다. 따라서, 하나 이상의 썸네일 이미지가 선택된 경우, 재생제어부(204)는 선택된 썸네일 이미지들에 대응하는 뷰잉 세그먼트들을 순차적으로 재생한다.
(실시예 3)
(개요)
MPEG2 포맷으로의 데이터 압축코딩은 특징을 측정하기 위하여 화상 및 오디오 데이터를 포함한다. 실시예 3에서, 콘텐츠의 분할은 압축코딩 처리로 만들어진 화상 및 오디오 데이터의 분석에 기초하여 수행된다. 이러한 구성에 의하면, 지정부가 간단해질 수 있다. 이렇게 간단해진 지정부를 갖는 기록장치를 이하에서 설명한다.
(구조)
도 21은 본 발명의 실시예 3에 따른 기록장치(300)의 기능 블록이다. 프로그램 취득부(104)가 제거되고 지정부(108)가 지정부(111)로 대체된다는 점에서 기록장치(300)는 기록장치(100)와 다르다. 도 21에서, 기록장치(100)와 동일한 기능 블록을 표시하는데 동일한 참조번호가 사용된다. 따라서, 이들 기능 블록들에 대한 설명은 생략된다.
지정부(111)는 데이터 분석부(122)가 제거된다는 점에서 지정부(108)와 다르다. 지정부(111)는 콘텐츠의 압축코딩 중에 취득한 화상 및 오디오 데이터 분석을 취득한다. 이어, 지정부(111)는 이와 같이 취득한 분석을 이용하여 콘텐츠의 인덱스 정보를 생성한다.
이러한 구성에 의하면, 기록장치(300)는 콘텐츠를 기록 중에 취득한 분석을 이용하여 콘텐츠의 인덱스 정보를 생성한다. 또한, 인덱스 정보의 생성은 콘텐츠의 기록과 나란히 수행된다. 이것은 기록장치(300)가 재생장치(200)와 비교하여 구조가 간단해지도록 한다.
또한, 기록된 콘텐츠의 화상 및 오디오 데이터 분석을 위한 요구 없이, 더 적은 양의 데이터를 처리함으로써 인덱싱이 수행된다.
(변형예)
본 발명은 상기한 실시예 의해 기술되었다. 그러나, 본 발명은 이들 특정 실시예에 한정되지 않으며 다음을 포함하는 다양한 변형은 여전히 본 발명의 범위에 포함되는 것으로 당연히 해석된다.
(1) 본 발명은 상기한 방법으로서 실시될 수 있다. 또한, 본 발명은 컴퓨터에 의해 이 방법을 실현하는 컴퓨터 프로그램이나, 컴퓨터 프로그램을 표현하는 디지털 신호로서 실시될 수 있다.
또한, 본 발명은 컴퓨터 프로그램이나 디지털 신호를 저장하는 컴퓨터-판독가능한 기록매체로서 실시될 수 있다. 이러한 기록매체의 예는 플렉시블 디스크, 하드디스크, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD(Blu-ray Disc) 및 반도체 메모리를 포함한다.
또한, 본 발명은 상기한 어떠한 기록매체라도 거기에 기록된 컴퓨터 프로그램이나 디지털 신호로서 실시될 수 있다.
또한, 본 발명은 전기통신선, 무선통신, 유선통신 또는 인터넷으로 대표되는 네트워크를 통하여 전송되는 컴퓨터 프로그램이나 디지털 신호로서 실시될 수 있 다.
또한, 본 발명은 마이크로프로세서와 메모리로 구성된 컴퓨터 시스템으로서 실시될 수 있다. 메모리는 상기한 컴퓨터 프로그램을 저장하며, 마이크로프로세서는 컴퓨터 프로그램에 따라 동작할 수 있다.
또한, 컴퓨터 프로그램이나 디지털 신호는 상기한 기록매체의 형태로 전송되거나, 상기 네트워크를 통하여 전송되어 컴퓨터 프로그램이나 디지털 신호가 다른 독립된 컴퓨터 시스템에 의해 실행될 수 있다.
(2) 본 발명은 비디오 처리장치를 제어하는 LSI로서 실시될 수 있다. 이러한 LSI는, 도 2, 20 및 21에 도시된 바와 같이, 점선 내에 포함된 기능 블록들의 부분 또는 모두를 집적함으로써 실현될 수 있다. 그 기능 블록들은 별도의 IC 칩이나 단일-칩 IC로서 함께 집적될 수 있다.
예를 들어, 도 22는 실시예 2의 지정부(108)로서 실시된 LSI(400)를 보여준다. 인덱싱을 위한 명령을 수신한 경우, LSI(400)는 콘텐츠 저장부(103)로부터 독출한 재생신호를 분석하여 인덱스 정보를 생성하며, 이 인덱스 정보를 인덱스 저장부(109)에 출력한다.
도 23은 실시예 3의 기록제어부(102)와 지정부(111)로 실시된 LSI(500)를 보여준다. 기록을 위한 명령을 수신한 경우, LSI(500)는 수신부(101)가 수신한 오디오 및 화상 데이터를 디지털화하고, 디지털화된 데이터를 오디오 및 비디오 인코더로 인코딩하여 엘리멘터리 스트림(이하, "ES"라 함)을 생성한다. 이어, LSI(500)는 오디오 ES와 화상 ES를 시스템 인코더를 이용하여 다중화하고, 이에 의해 프로그램 스트림(이하, "PS"라 함)을 생성한다. 기록 명령은 인덱싱을 수행하도록 명령하는 태그와 함께 첨부될 수 있다. 이러한 태그와 함께 첨부된 기록 명령을 수신한 경우, LSI(500)는 압축코딩 중 오디오 및 비디오 인코더가 취득한 분석을 사용하여 특징프레임 검출부와 검출처리부를 이용하여 인덱스 정보를 생성한다. 생성된 인덱스 정보는 인덱스 저장부(109)로 출력된다.
여기서, 예로 든 LSI는 집적도에 따라 IC, 시스템 LSI, 초 LSI, 또는 울트라 LSI로 불릴 수 있다.
또한, 집적화 체계는 대규모 집적에 한정되지 않으며, 전용회로나 범용 프로세서로 실현될 수 있다. 선택적으로, LSI가 제조된 후 프로그램 가능한 FPGA(field programmable gate array), LSI 내 회로 셀의 연결과 설정을 재구성할 수 있는 재구성 가능한 프로세서 등이 적용될 수 있다.
또한, 반도체 기술의 향상 또는 유도 기술의 도래의 결과로 대규모 집적을 대체하는 집적화 기술이 사용가능해지면, 기능 블록의 집적화는 이 기술을 이용하여 당연히 수행될 수 있다. 이 영역에 바이오기술 등의 적용도 하나의 가능성이다.
(3) 본 발명이 기록장치와 재생장치에 한정되지 않는 것은 당연하게 해석된다. 본 발명은 기록장치(100)와 재생장치(200) 모두의 기능 블록을 구비한 기록/재생장치에 적용할 수도 있다.
(4) 상기의 실시예에서, 콘텐츠는 방송파에 실려서 수신되는 것을 기술되어 있다. 방송의 예는 지상파 아날로그 방송, 위성방송, 위성 디지털 방송, 및 케이블 방송을 포함한다. 선택적으로, 콘텐츠는 인터넷으로 대표되는 통신망을 통하여 주 문형으로 분배될 수 있다. 선택적으로, 콘텐츠는 DVD, CD 또는 SD 카드와 같은 기록매체에 기록된 정보로부터 취득할 수 있다. 선택적으로, 콘텐츠는 사용자가 홈-비디오로 촬영한 화상 데이터일 수 있다.
(5) 상기 실시예에서, 지정정보의 각 부분은 콘텐츠의 장르에 대응한다. 선택적으로, 지정정보의 각 부분은 방송 프로그램의 제목에 직접 대응할 수 있다.
또한, 지정정보의 일부는 방송 프로그램에 직접 대응하고, 다른 부분은 방송 프로그램의 장르에 대응할 수 있다. 규칙저장부에 지정정보의 양 타입을 저장하고, 저장된 그러한 부분이 있는 경우 방송 프로그램 제목에 기초하여 선택된 지정정보 부분에 따라 콘텐츠의 인덱스 처리가 수행된다. 그렇지 않다면, 지정정보의 적절한 부분이 장르에 기초하여 선택된다.
(6) 상기 실시예에 따른 기록장치는 콘텐츠의 기록 처리의 완료시 콘텐츠의 인덱싱을 시작할 수 있다. 선택적으로, 인덱싱은 기록 처리를 시작할 때 시작될 수 있다.
인덱싱이 기록 처리를 시작할 때 시작되는 경우, 콘텐츠는 모든 기설정된 기록기간에 대해 또는 모든 기설정된 기록 데이터량에 대해 한 부분씩 순차적으로 취득될 수 있다. 콘텐츠 부분이 취득될 때마다, 그 취득한 부분에 대해 인덱싱이 수행된다. 그러한 인덱싱 처리는, 소위 "추적 재생(chasing playback)" 기능이 기록 버퍼와 독출 버퍼를 이용하여 수행될 때 그리고 다음의 두 단계를 선택적으로 수행함으로써 실행된다.
단계 1: 기록 버퍼에 보유한 데이터를 콘텐츠 저장부에 기록하고, 독출 버퍼 에 보유한 데이터에 대해 인덱스 처리를 수행하는 단계.
단계 2: 콘텐츠 부분을 기록 버퍼에 기록하고 기록된 콘텐츠 부분을 콘텐츠 저장부로부터 독출 버퍼에 독출하는 단계.
(7) 상기 실시예의 기록장치는 기설정된 콘텐츠의 기록이 미리 설정되는 시점에 기설정된 콘텐츠에 대응하는 지정정보 부분을 갱신할 수 있다.
또한, 상기 실시예의 기록장치는 사용가능한 새로운 버전의 지정정보가 있는지에 대해 공급자 장치에 주기적으로 질의를 할 수 있다. 긍정적인 응답을 수신한 경우, 기록장치는 새로운 버전의 지정정보를 취득할 수 있다.
또한, 상기 실시예의 기록장치는 최근 버전의 지정정보를 주기적으로 취득할 수 있다. 이와 같이 취득한 최근 버전에 따라, 기록장치는 이전 버전의 지정정보에 따라 이미 인덱스되어 있는 콘텐츠를 다시 인덱스한다.
(8) 상기 실시예에서, 지정정보의 각 부분은 규칙과 다수의 검출작업 명령으로 구성된다. 그러나, 지정정보는 상기 특정 실시예에 한정되지 않으며, 다른 형태로 실현될 수 있다.
지정정보는 다음이 포함되는 한 어떠한 형태라도 취할 수 있다. 즉, 각각 특정한 특징을 갖는 프레임을 검출하기 위한 다수의 알고리즘; 이 알고리즘의 실행 시퀀스; 및 이 특징을 보여주는 파라미터이다. 예를 들어, 지정정보는 프리젠테이션 프레임과 시작 프레임을 지정하기 위한 시퀀스를 기술하는 기계어 프로그램일 수 있다.
(9) 또한, 상기 실시예와 변형예는 다양한 조합으로 이용될 수 있다.
본 발명은 예를 들어 기록된 콘텐츠를 다수의 뷰잉 세그먼트로 분할하고 이 콘텐츠를 세그먼트 단위로 재생하는 기록장치에 적용할 수 있다.

Claims (27)

  1. 콘텐츠를 분할할 때 다수의 뷰잉 세그먼트(viewing segment)의 시작 프레임으로 될 프레임을 지정하기 위한 비디오 처리장치로서,
    시작 프레임으로 지정될 프레임의 특징을 보여주고 서로 다른 타입의 콘텐츠에 대응하는 지정정보 부분을 저장하는 지정정보 메모리;
    콘텐츠를 취득하는 콘텐츠 취득부;
    상기 취득한 콘텐츠의 타입을 나타내는 타입 정보를 취득하는 정보취득부;
    상기 취득한 타입 정보가 나타내는 타입에 대응하는 지정정보 부분을 상기 지정정보 메모리로부터 추출하는 추출부; 및
    상기 추출된 지정정보 부분에 따라 상기 콘텐츠에 존재하는 시작 프레임을 지정하는 지정부를 포함하는 것을 특징으로 하는 비디오 처리장치.
  2. 청구항 1에 있어서,
    지정정보의 각 부분은 프리젠테이션 프레임으로 지정될 프레임의 특징을 추가로 나타내고, 상기 프리젠테이션 프레임 각각은 각 뷰잉 세그먼트의 대표 정지화상으로 표시되며,
    상기 지정부는, 상기 추출된 지정정보에 따라, 상기 콘텐츠에 존재하는 프리젠테이션 정보를 추가로 지정하는 것을 특징으로 하는 비디오 처리장치.
  3. 청구항 2에 있어서,
    상기 콘텐츠에 대응하여, 상기 지정부에 의해 지정된 각 시작 프레임 및 프리젠테이션 프레임의 표시시간을 저장하는 인덱스 저장부를 추가로 포함하는 것을 특징으로 하는 비디오 처리장치.
  4. 청구항 2에 있어서,
    상기 지정정보가 나타낸 상기 특징은 비디오 분석, 정지화상 분석, 및 오디오 분석 중 적어도 하나를 통하여 검출 가능하며,
    상기 지정부는 비디오 분석, 정지화상 분석, 및 오디오 분석 중 적어도 하나를 통하여 상기 시작 프레임과 프리젠테이션 프레임을 지정하는 것을 특징으로 하는 비디오 처리장치.
  5. 청구항 4에 있어서,
    상기 지정정보는,
    프리젠테이션 프레임에 대한 후보로서 검출될 프레임의 특징을 보여주는 제 1 조건;
    프리젠테이션 프레임에 대한 후보로부터 배제될 프레임의 특징을 보여주는 배제조건;
    시작 프레임에 대한 후보로서 검출될 프레임의 특징을 보여주는 제 2 조건; 및
    프리젠테이션 프레임과 시작 프레임으로 선택될 프레임 사이의 관계를 보여주는 선택조건을 포함하며,
    상기 지정부는, 상기 콘텐츠에 존재하는 모든 프레임으로부터 상기 제 1 조건을 만족하는 프레임을 검출하고 상기 검출된 프레임에서 상기 배제조건을 만족하는 프레임을 순차적으로 배제함으로써 상기 프리젠테이션 프레임을 지정하고, 상기 콘텐츠에 존재하는 모든 프레임으로부터 상기 제 2 조건을 만족하는 프레임을 검출하고 상기 검출된 프레임으로부터 상기 제정된 프리젠테이션 프레임에 관하여 상기 선택조건이 나타내는 상기 관계를 만족하는 프레임을 순차적으로 선택함으로써 상기 시작 프레임을 지정하는 것을 특징으로 하는 비디오 처리장치.
  6. 청구항 5에 있어서,
    상기 지정부는,
    서로 다른 특징을 갖는 프레임을 각각 검출하는 다수의 검출 서브유닛;
    상기 제 1 조건을 만족하는 프레임으로부터 상기 배제조건을 만족하는 프레임을 배제하는 배제 서브유닛; 및
    상기 제 2 조건을 만족하는 프레임으로부터 상기 선택조건이 나타내는 상기 관계를 만족하는 프레임을 선택하는 선택 서브유닛을 포함하며,
    상기 제 1 조건, 상기 배제조건, 및 상기 제 2 조건은 각각 사용될 검출 서브유닛 중 하나의 식별자인 것을 특징으로 하는 비디오 처리장치.
  7. 청구항 4에 있어서,
    기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 광고 메시지(CM)를 구성하는 CM 프레임, 및 유사 화상의 일련의 프레임의 첫 번째 프레임인 전환 프레임을 검출하고, (ii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임과 CM 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iii) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 전환 프레임을 시작 프레임으로 지정하는 것을 특징으로 하는 비디오 처리장치.
  8. 청구항 4에 있어서,
    기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 광고 메시지를 구성하는 프레임을 배제하고, (ii) 상기 남아 있는 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 및 유사 화상의 일련의 프레임의 첫 번째 프레임인 전환 프레임을 검출하고, (iii) 상기 대자막 시작 프레임으로부 터 상기 소자막 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iv) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 전환 프레임을 시작 프레임으로 지정하는 것을 특징으로 하는 비디오 처리장치.
  9. 청구항 4에 있어서,
    기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 광고 메시지(CM)를 구성하는 CM 프레임, 및 그것의 오디오 데이터가 기설정된 볼륨 레벨 아래에 있는 무음 프레임을 검출하고, (ii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임과 CM 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iii) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 무음 프레임을 시작 프레임으로 지정하는 것을 특징으로 하는 비디오 처리장치.
  10. 청구항 4에 있어서,
    기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 광고 메시지를 구성 하는 프레임을 배제하고, (ii) 상기 남아 있는 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 및 그것의 오디오 데이터가 기설정된 볼륨 레벨 아래에 있는 무음 프레임을 검출하고, (iii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iv) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 무음 프레임을 시작 프레임으로 지정하는 것을 특징으로 하는 비디오 처리장치.
  11. 청구항 4에 있어서,
    기설정된 타입의 음악 프로그램에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 광고 메시지(CM)를 구성하는 CM 프레임, 및 그것의 오디오 데이터가 음악 데이터 부분을 표시하는 일련의 프레임의 첫 번째 프레임인 음악-시작 프레임을 검출하고, (ii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임과 CM 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iii) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 음악-시작 프레임을 시작 프레임으로 지정하는 것을 특징으로 하는 비디오 처리장치.
  12. 청구항 4에 있어서,
    기설정된 타입의 음악 프로그램에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 광고 메시지를 구성하는 프레임을 배제하고, (ii) 상기 남아 있는 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 및 그것의 오디오 데이터가 음악 데이터 부분을 표시하는 일련의 프레임의 첫 번째 프레임인 음악-시작 프레임을 검출하고, (iii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iv) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 음악-시작 프레임을 시작 프레임으로 지정하는 것을 특징으로 하는 비디오 처리장치.
  13. 청구항 4에 있어서,
    기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 광고 메시지(CM)를 구성하는 CM 프레임, 및 그것의 오디오 데이터가 특정 발화자의 발화를 표현하는 일련의 프레임의 첫 번째 프레임인 발화-시작 프레임을 검출하고, (ii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임과 CM 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iii) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 발화-시작 프레임을 시작 프레임으로 지정하는 것을 특징으로 하는 비디오 처리장치.
  14. 청구항 4에 있어서,
    기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 광고 메시지를 구성하는 프레임을 배제하고, (ii) 상기 남아 있는 프레임으로부터, 임계값보다 큰 사이즈의 자막이 기설정된 영역에 연속하여 나타나게 하는 일련의 프레임 중 첫 번째 프레임인 대자막 시작 프레임, 상기 기설정된 영역 이외의 영역에 임계값보다 작은 사이즈의 자막이 나타나게 하는 소자막 프레임, 및 그것의 오디오 데이터가 특정 발화자의 발화를 표현하는 일련의 프레임의 첫 번째 프레임인 발화-시작 프레임을 검출하고, (iii) 상기 대자막 시작 프레임으로부터 상기 소자막 프레임을 제거한 후 남아 있는 각 프레임을 프리젠테이션 프레임으로 지정하며, (iv) 각 프리젠테이션 프레임에 대해, 상기 프리젠테이션 프레임에 가장 인접하여 앞선 발화-시작 프 레임을 시작 프레임으로 지정하는 것을 특징으로 하는 비디오 처리장치.
  15. 청구항 4에 있어서,
    기설정된 타입의 콘텐츠에 대응하는 지정정보 부분에 따라 동작할 때, 상기 지정부는, (i) 상기 콘텐츠에 존재하는 모든 프레임으로부터, 광고 메시지를 구성하는 일련의 프레임의 첫 번째 프레임인 CM 시작 프레임, 및 유사 화상의 일련의 프레임의 첫 번째 프레임인 전환 프레임을 검출하고, (ii) 각 CM 시작 프레임을 시작 프레임으로 지정하며, (iii) 각 시작 프레임에 대해, 상기 시작 프레임에 가장 인접하여 이어지는 전환 프레임을 프리젠테이션 프레임으로 지정하는 것을 특징으로 하는 비디오 처리장치.
  16. 청구항 2에 있어서,
    상기 지정부에 의해 지정된 시작 프레임으로부터 시작하여 상기 콘텐츠를 재생하는 재생부를 추가로 포함하는 것을 특징으로 하는 비디오 처리장치.
  17. 청구항 16에 있어서,
    각 뷰잉 세그먼트에 대해 상기 지정부가 지정한 각 시작 프레임과 프리젠테이션 프레임의 표시시간 쌍을 저장하는 인덱스 저장부;
    각 뷰잉 세그먼트에 대해 상기 지정부가 지정한 프리젠테이션 프레임을 표시하는 표시부; 및
    사용자 선택에 따라서, 표시된 상기 프리젠테이션 프레임 중 적어도 하나를 선택하는 사용자 선택부를 추가로 포함하며,
    상기 재생부는 상기 사용자가 선택한 프리젠테이션 프레임이 속하는 뷰잉 세그먼트의 시작 프레임으로부터 시작하여 상기 콘텐츠를 재생하는 것을 특징으로 하는 비디오 처리장치.
  18. 청구항 17에 있어서,
    상기 표시부는 각 프리젠테이션 프레임의 썸네일 이미지를 생성하고 상기 썸네일 이미지를 리스트 형태로 표시함으로써 상기 프리젠테이션 프레임을 표시하는 것을 특징으로 하는 비디오 처리장치.
  19. 청구항 17에 있어서,
    상기 사용자 선택부는 상기 선택된 프리젠테이션 프레임을 기준 프레임으로 상기 지정정보 메모리에 저장하며,
    상기 지정부는, 자막이 나타나는 영역의 위치에 관하여 상기 기준 프레임과 유사한 프레임을 검출함으로써 상기 프리젠테이션 프레임을 지정하는 것을 특징으로 하는 비디오 처리장치.
  20. 청구항 1에 있어서,
    콘텐츠와 상기 콘텐츠의 타입 정보를 취득하고, 상기 타입 정보와 대응하여 상기 콘텐츠를 기록매체에 기록하는 기록부를 추가로 포함하며,
    상기 기록부가 상기 타입 정보와 적어도 상기 콘텐츠의 부분을 기록한 후, 상기 콘텐츠 취득부는 상기 기록매체로부터 상기 콘텐츠의 부분을 순차적으로 취득하며,
    상기 지정부는 상기 콘텐츠 취득부가 취득한 상기 콘텐츠의 부분에 존재하는 시작 프레임을 순차적으로 지정하는 것을 특징으로 하는 비디오 처리장치.
  21. 청구항 1에 있어서,
    콘텐츠와 상기 콘텐츠의 타입 정보를 취득하고, 상기 콘텐츠를 인코드하며, 상기 타입 정보와 대응하여 상기 인코드된 콘텐츠를 기록하는 기록부를 추가로 포함하며,
    상기 기록부가 상기 타입 정보를 기록하고 적어도 상기 콘텐츠의 부분을 인코드한 후, 상기 콘텐츠 취득부는 상기 콘텐츠의 인코드된 부분을 순차적으로 취득하며,
    상기 지정부는 상기 인코딩에 대해 상기 기록부가 실행한 상기 인코드된 부분의 분석을 취득하고, 상기 분석을 이용하여 상기 인코드된 부분에 존재하는 시작 프레임을 순차적으로 지정하는 것을 특징으로 하는 비디오 처리장치.
  22. 청구항 1에 있어서,
    특정 타입의 콘텐츠에 대응하여 새로운 버전의 지정정보를 취득하고, 상기 새로운 버전의 지정정보를 상기 지정정보 메모리에 기록하는 갱신부를 추가로 포함하는 것을 특징으로 하는 비디오 처리장치.
  23. 청구항 22에 있어서,
    상기 갱신부는, 지정정보를 준비하고 상기 새로운 버전의 지정정보가 이용가능한지를 판정하기 위해 공급자 장치에 통신망을 통하여 연결될 때 상기 새로운 버전의 지정정보를 취득하며,
    상기 특정 타입에 대응하여 상기 지정정보 메모리에 저장된 지정정보 부분을 상기 새로운 버전으로 갱신함으로써, 상기 새로운 버전의 지정정보는 상기 지정정보 메모리에 기록되는 것을 특징으로 하는 비디오 처리장치.
  24. 청구항 23에 있어서,
    상기 새로운 버전의 지정정보가 이용가능한지에 대한 판정은 상기 지정부가 상기 특정 타입의 콘텐츠를 처리할 때마다 이루어지는 것을 특징으로 하는 비디오 처리장치.
  25. 콘텐츠를 분할할 때 다수의 뷰잉 세그먼트의 시작 프레임으로 될 프레임을 지정하는 비디오 처리장치에서 사용하기 위한 집적회로로서,
    상기 비디오 처리장치는 시작 프레임으로 지정될 프레임의 특징을 보여주고 서로 다른 타입의 콘텐츠에 대응하는 지정정보 부분을 저장하는 지정정보 메모리를 구비하며,
    상기 집적회로는,
    콘텐츠를 취득하는 콘텐츠 취득모듈;
    상기 취득한 콘텐츠의 타입을 나타내는 타입 정보를 취득하는 정보취득모듈;
    상기 취득한 타입 정보가 나타내는 타입에 대응하는 지정정보 부분을 상기 지정정보 메모리로부터 추출하는 추출모듈; 및
    상기 추출된 지정정보 부분에 따라 상기 콘텐츠에 존재하는 시작 프레임을 지정하는 지정모듈을 포함하는 것을 특징으로 하는 집적회로.
  26. 콘텐츠를 분할할 때 다수의 뷰잉 세그먼트의 시작 프레임으로 될 프레임을 지정하는 비디오 처리장치가 사용하기 위한 비디오 처리방법으로서,
    상기 비디오 처리장치는 시작 프레임으로 지정될 프레임의 특징을 보여주고 서로 다른 타입의 콘텐츠에 대응하는 지정정보 부분을 저장하는 지정정보 메모리를 구비하며,
    상기 비디오 처리방법은,
    콘텐츠를 취득하는 단계;
    상기 취득한 콘텐츠의 타입을 나타내는 타입 정보를 취득하는 단계;
    상기 취득한 타입 정보가 나타내는 타입에 대응하는 지정정보 부분을 상기 지정정보 메모리로부터 추출하는 단계; 및
    상기 추출된 지정정보 부분에 따라 상기 콘텐츠에 존재하는 시작 프레임을 지정하는 단계를 포함하는 것을 특징으로 하는 비디오 처리방법.
  27. 장치로 하여금, 콘텐츠를 분할할 때 다수의 뷰잉 세그먼트의 시작 프레임으로 될 프레임을 지정하도록 하는 비디오 처리 프로그램으로서,
    상기 장치는 시작 프레임으로 지정될 프레임의 특징을 보여주고 서로 다른 타입의 콘텐츠에 대응하는 지정정보 부분을 저장하는 지정정보 메모리를 구비하며,
    상기 비디오 처리 프로그램은,
    콘텐츠를 취득하는 단계;
    상기 취득한 콘텐츠의 타입을 나타내는 타입 정보를 취득하는 단계;
    상기 취득한 타입 정보가 나타내는 타입에 대응하는 지정정보 부분을 상기 지정정보 메모리로부터 추출하는 단계; 및
    상기 추출된 지정정보 부분에 따라 상기 콘텐츠에 존재하는 시작 프레임을 지정하는 단계를 포함하는 것을 특징으로 하는 비디오 처리 프로그램.
KR1020057025312A 2003-07-03 2004-07-02 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램 KR20060027826A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00191430 2003-07-03
JP2003191430 2003-07-03

Publications (1)

Publication Number Publication Date
KR20060027826A true KR20060027826A (ko) 2006-03-28

Family

ID=33562360

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057025312A KR20060027826A (ko) 2003-07-03 2004-07-02 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램

Country Status (7)

Country Link
US (1) US7941031B2 (ko)
EP (1) EP1642295A1 (ko)
JP (1) JP4584250B2 (ko)
KR (1) KR20060027826A (ko)
CN (1) CN1816879A (ko)
TW (1) TW200509676A (ko)
WO (1) WO2005004159A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172713A1 (ko) * 2020-02-24 2021-09-02 삼성전자(주) 전자장치 및 그 제어방법

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US8574074B2 (en) 2005-09-30 2013-11-05 Sony Computer Entertainment America Llc Advertising impression determination
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US8458754B2 (en) 2001-01-22 2013-06-04 Sony Computer Entertainment Inc. Method and system for providing instant start multimedia content
US8751310B2 (en) 2005-09-30 2014-06-10 Sony Computer Entertainment America Llc Monitoring advertisement impressions
US8763157B2 (en) 2004-08-23 2014-06-24 Sony Computer Entertainment America Llc Statutory license restricted digital media playback on portable devices
JP4613867B2 (ja) * 2005-05-26 2011-01-19 ソニー株式会社 コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム
US8626584B2 (en) * 2005-09-30 2014-01-07 Sony Computer Entertainment America Llc Population of an advertisement reference list
US8676900B2 (en) 2005-10-25 2014-03-18 Sony Computer Entertainment America Llc Asynchronous advertising placement based on metadata
US11004089B2 (en) 2005-10-25 2021-05-11 Sony Interactive Entertainment LLC Associating media content files with advertisements
US10657538B2 (en) 2005-10-25 2020-05-19 Sony Interactive Entertainment LLC Resolution of advertising rules
US20070118425A1 (en) 2005-10-25 2007-05-24 Podbridge, Inc. User device agent for asynchronous advertising in time and space shifted media network
JPWO2007111297A1 (ja) 2006-03-24 2009-08-13 日本電気株式会社 映像データインデキシングシステム、映像データインデキシング方法およびプログラム
US20090167960A1 (en) * 2006-03-29 2009-07-02 Pioneer Corporation Picture processing apparatus
CN103279874B (zh) 2006-05-05 2016-08-03 美国索尼电脑娱乐公司 广告旋转
JP4327827B2 (ja) * 2006-07-28 2009-09-09 株式会社東芝 映像記録再生システムおよび映像記録再生方法
JP4945236B2 (ja) * 2006-12-27 2012-06-06 株式会社東芝 映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム
US20080235587A1 (en) * 2007-03-23 2008-09-25 Nextwave Broadband Inc. System and method for content distribution
US8955030B2 (en) * 2007-03-23 2015-02-10 Wi-Lan, Inc. System and method for personal content access
US9483405B2 (en) 2007-09-20 2016-11-01 Sony Interactive Entertainment Inc. Simplified run-time program translation for emulating complex processor pipelines
US8769558B2 (en) 2008-02-12 2014-07-01 Sony Computer Entertainment America Llc Discovery and analytics for episodic downloaded media
US8320717B2 (en) * 2008-03-31 2012-11-27 Brother Kogyo Kabushiki Kaisha Image processor
JP5091806B2 (ja) * 2008-09-01 2012-12-05 株式会社東芝 映像処理装置及びその方法
JP2010109852A (ja) * 2008-10-31 2010-05-13 Hitachi Ltd 映像インデクシング方法、映像録画再生装置、及び映像再生装置
GB2470570B (en) * 2009-05-27 2014-07-16 Snell Ltd Determining a regional shot change parameter
US9565479B2 (en) * 2009-08-10 2017-02-07 Sling Media Pvt Ltd. Methods and apparatus for seeking within a media stream using scene detection
US8763090B2 (en) 2009-08-11 2014-06-24 Sony Computer Entertainment America Llc Management of ancillary content delivery and presentation
US8126987B2 (en) 2009-11-16 2012-02-28 Sony Computer Entertainment Inc. Mediation of content-related services
US8433759B2 (en) 2010-05-24 2013-04-30 Sony Computer Entertainment America Llc Direction-conscious information sharing
US10372758B2 (en) * 2011-12-22 2019-08-06 Tivo Solutions Inc. User interface for viewing targeted segments of multimedia content based on time-based metadata search criteria
CN103686032A (zh) * 2012-09-14 2014-03-26 晨星软件研发(深圳)有限公司 产生略缩图的方法与装置
US9680689B2 (en) 2013-02-14 2017-06-13 Comcast Cable Communications, Llc Fragmenting media content
US9185309B1 (en) 2013-03-14 2015-11-10 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a snipe-overlay DVE
US9094618B1 (en) * 2013-03-14 2015-07-28 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a bug-overlay DVE with absolute timing restrictions
US9549208B1 (en) 2013-03-14 2017-01-17 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a multi-video-source DVE
US9049386B1 (en) 2013-03-14 2015-06-02 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a bug-overlay DVE
US9473801B1 (en) 2013-03-14 2016-10-18 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a bug-removal DVE
US9532086B2 (en) 2013-11-20 2016-12-27 At&T Intellectual Property I, L.P. System and method for product placement amplification
CN111050201B (zh) * 2019-12-10 2022-06-14 Oppo广东移动通信有限公司 数据处理方法、装置、电子设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3407840B2 (ja) * 1996-02-13 2003-05-19 日本電信電話株式会社 映像要約方法
JP3131560B2 (ja) * 1996-02-26 2001-02-05 沖電気工業株式会社 動画像処理システムにおける動画像情報検出装置
US6496228B1 (en) 1997-06-02 2002-12-17 Koninklijke Philips Electronics N.V. Significant scene detection and frame filtering for a visual indexing system using dynamic thresholds
JP3435334B2 (ja) * 1998-02-23 2003-08-11 日本電信電話株式会社 映像中文字領域抽出装置および方法および記録媒体
JPH11167583A (ja) * 1997-12-04 1999-06-22 Nippon Telegr & Teleph Corp <Ntt> テロップ文字認識方法および映像蓄積表示装置、テロップ文字認識・検索端末、映像検索端末
JP3439105B2 (ja) * 1998-01-20 2003-08-25 日本電信電話株式会社 映像中字幕文字検出方法およびその装置および記録媒体
US6366699B1 (en) 1997-12-04 2002-04-02 Nippon Telegraph And Telephone Corporation Scheme for extractions and recognitions of telop characters from video data
JPH11250081A (ja) 1998-02-27 1999-09-17 Toshiba Corp マルチメディア情報処理装置および記録媒体
AU3051299A (en) * 1998-03-31 1999-10-18 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
US7209942B1 (en) 1998-12-28 2007-04-24 Kabushiki Kaisha Toshiba Information providing method and apparatus, and information reception apparatus
JP2000250944A (ja) 1998-12-28 2000-09-14 Toshiba Corp 情報提供方法、情報提供装置、情報受信装置、並びに情報記述方法
US7184100B1 (en) * 1999-03-24 2007-02-27 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
JP4227241B2 (ja) * 1999-04-13 2009-02-18 キヤノン株式会社 画像処理装置及び方法
JP4253410B2 (ja) 1999-10-27 2009-04-15 シャープ株式会社 ニュース記事切り出し装置
JP2002044572A (ja) * 2000-07-21 2002-02-08 Sony Corp 情報信号処理装置及び情報信号処理方法および情報信号記録装置
US7548565B2 (en) * 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
JP2002199333A (ja) * 2000-12-27 2002-07-12 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2002330392A (ja) * 2001-04-27 2002-11-15 Toshiba Corp 映像概要作成装置および方法およびプログラム
JP4615166B2 (ja) * 2001-07-17 2011-01-19 パイオニア株式会社 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172713A1 (ko) * 2020-02-24 2021-09-02 삼성전자(주) 전자장치 및 그 제어방법
US11424845B2 (en) 2020-02-24 2022-08-23 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Also Published As

Publication number Publication date
TW200509676A (en) 2005-03-01
CN1816879A (zh) 2006-08-09
US20060143650A1 (en) 2006-06-29
JP4584250B2 (ja) 2010-11-17
JP2007521736A (ja) 2007-08-02
WO2005004159A1 (en) 2005-01-13
EP1642295A1 (en) 2006-04-05
WO2005004159A8 (en) 2006-04-20
US7941031B2 (en) 2011-05-10

Similar Documents

Publication Publication Date Title
US7941031B2 (en) Video processing apparatus, IC circuit for video processing apparatus, video processing method, and video processing program
JP4000171B2 (ja) 再生装置
EP2107477B1 (en) Summarizing reproduction device and summarizing reproduction method
JP5322550B2 (ja) 番組推奨装置
JP4905103B2 (ja) 動画再生装置
US8682132B2 (en) Method and device for detecting music segment, and method and device for recording data
JP4491700B2 (ja) 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置
JP2003101939A (ja) 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム
JP2008084115A (ja) 情報処理装置、情報処理プログラムおよび情報処理システム
US20070179786A1 (en) Av content processing device, av content processing method, av content processing program, and integrated circuit used in av content processing device
JP2006303657A (ja) コマーシャル視聴制御機能を有する録画再生装置
JP2009239729A (ja) コンテンツのシーン出現を通知する装置、方法およびプログラム
JP2007336283A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2009124298A (ja) 符号化映像再生装置及び符号化映像再生方法
JP4215681B2 (ja) 動画像処理装置及びその方法
JP4432823B2 (ja) 特定条件区間検出装置および特定条件区間検出方法
JP2006270233A (ja) 信号処理方法及び信号記録再生装置
US20060263062A1 (en) Method of and apparatus for setting video signal delimiter information using silent portions
KR20040102962A (ko) Ｐｖｒ에서의 하이라이트 스트림 생성 장치 및 그 방법
JP2006303868A (ja) 信号属性判定装置、信号属性判定方法、情報信号記録装置、情報信号記録方法、情報信号再生装置、情報信号再生方法、情報信号記録再生装置および情報信号記録再生方法並びに記録媒体
JP2013074480A (ja) 映像信号処理装置及び映像信号処理方法
JP2012034022A (ja) 映像音声記録再生装置、および映像音声記録再生方法
JP2005223794A (ja) 映像音響コンテンツの記録装置及び方法
JP2011004197A (ja) 録画再生装置及び再生方法
JP2016197798A (ja) 映像記録再生装置および映像記録再生方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application