KR20060097767A - 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터배신 장치, 콘텐츠 검색 장치, 메타데이터 재생성 조건설정 장치, 메타데이터 배신 방법 및 힌트 정보 기술 방법 - Google Patents

메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터배신 장치, 콘텐츠 검색 장치, 메타데이터 재생성 조건설정 장치, 메타데이터 배신 방법 및 힌트 정보 기술 방법 Download PDF

Info

Publication number
KR20060097767A
KR20060097767A KR1020067015167A KR20067015167A KR20060097767A KR 20060097767 A KR20060097767 A KR 20060097767A KR 1020067015167 A KR1020067015167 A KR 1020067015167A KR 20067015167 A KR20067015167 A KR 20067015167A KR 20060097767 A KR20060097767 A KR 20060097767A
Authority
KR
South Korea
Prior art keywords
metadata
scene
hint information
content
information
Prior art date
Application number
KR1020067015167A
Other languages
English (en)
Other versions
KR100986401B1 (ko
Inventor
요시미 모리야
히로후미 니시카와
순이치 세키구치
고타로 아사이
요시히사 야마다
겐지 오토이
신이치 구로다
후미노부 오가와
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20060097767A publication Critical patent/KR20060097767A/ko
Application granted granted Critical
Publication of KR100986401B1 publication Critical patent/KR100986401B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

동화상이나 음성을 포함하는 멀티미디어 콘텐츠를 복수의 장면으로 분할하고, 분할된 장면마다 메타데이터를 생성한다. 장면의 구간 정보나 타이틀의 이외에, 상기 콘텐츠의 계층적인 구조를 기술하는 장면 구조 정보 메타데이터를 포함하는 메타데이터를 생성할 수 있다. 또한, 메타데이터에 포함되는 기술자의 명칭 또는 식별자가, 콘텐츠의 의미 내용, 구조, 특징을 기술하는 하나 또는 복수의 기술자로 이루어지는 메타데이터를 조작할 때의 힌트 정보로서, 기술하고 있다.

Description

메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 콘텐츠 검색 장치, 메타데이터 재생성 조건 설정 장치, 메타데이터 배신 방법 및 힌트 정보 기술 방법{METADATA EDITION DEVICE, METADATA REPRODUCTION DEVICE, METADATA DISTRIBUTION DEVICE, METADATA SEARCH DEVICE, METADATA REPRODUCTION CONDITION SETTING DEVICE, METADATA DISTRIBUTION METHOD, AND HINT INFORMATION DESCRIPTION METHOD}
도 1은 본 발명의 실시예 1에 따른 메타데이터 편집 장치의 구성을 나타내는 블록도,
도 2는 본 발명의 실시예 1에 따른 메타데이터 편집 장치의 편집 대상의 일례인 뉴스 영상을 나타내는 도면,
도 3은 본 발명의 실시예 1에 따른 메타데이터 편집 장치의 장면 분할부의 장면의 구간 정보 메타데이터의 일례를 나타내는 도면,
도 4는 본 발명의 실시예 1에 따른 메타데이터 편집 장치의 장면 기술 편집부의 장면 구조 정보 메타데이터의 일례를 나타내는 도면,
도 5는 본 발명의 실시예 1에 따른 메타데이터 편집 장치의 콘텐츠 재생·표시부, 사용자 입력부의 화면 이미지예를 나타내는 도면,
도 6은 본 발명의 실시예 2에 따른 메타데이터 편집 장치의 구성을 나타내는 블록도,
도 7은 본 발명의 실시예 2에 따른 메타데이터 편집 장치의 동작을 설명하기 위한 도면,
도 8은 본 발명의 실시예 3에 따른 메타데이터 재생 장치의 구성을 나타내는 블록도,
도 9는 본 발명의 실시예 3에 따른 메타데이터 재생 장치의 동작을 설명하기 위한 도면,
도 10은 본 발명의 실시예 4에 따른 콘텐츠 배신 시스템의 구성을 나타내는 블록도,
도 11은 본 발명의 실시예 4에 따른 메타데이터 배신 서버의 메타데이터 해석부로부터 출력되는 콘텐츠(뉴스 영상의 예)의 구조 정보를 나타내는 도면,
도 12는 본 발명의 실시예 4에 따른 콘텐츠 배신 시스템의 메타데이터 재생성부에 의한 재구성 후의 콘텐츠의 구조예를 나타내는 도면,
도 13은 본 발명의 실시예 5에 따른 메타데이터 배신 서버의 구성을 나타내는 블록도,
도 14는 본 발명의 실시예 5에 따른 메타데이터 배신 서버에 의한, 메타데이터 최적화 힌트 정보에 대하여 설명하기 위한 비디오 콘텐츠의 일례를 나타내는 도면,
도 15는 본 발명의 실시예 5에 따른 메타데이터 배신 서버에 의한, MPEG-7을 이용한 경우의 메타데이터의 기술예를 나타내는 도면,
도 16은 본 발명의 실시예 5에 따른 메타데이터 배신 서버가 이용하는 메타데이터 최적화 힌트 정보의 포맷예를 나타내는 도면,
도 17은 본 발명의 실시예 5에 따른 메타데이터 배신 서버가 이용하는 메타데이터 최적화 힌트 정보를 나타내는 도면,
도 18은 본 발명의 실시예 5에 따른 메타데이터 배신 서버의 메타데이터 해석·재생성부의 동작을 나타내는 흐름도,
도 19는 본 발명의 실시예 5에 따른 메타데이터 배신 서버의 메타데이터 해석·재생성부의 동작을 나타내는 흐름도,
도 20은 본 발명의 실시예 6에 따른 메타데이터 검색 서버의 구성을 나타내는 블록도,
도 21은 본 발명의 실시예 6에 따른 메타데이터 검색 서버의 메타데이터 해석부의 동작을 나타내는 흐름도,
도 22는 본 발명의 실시예 7에 따른 클라이언트 단말의 구성을 나타내는 블록도,
도 23은 본 발명의 실시예 8에 따른 콘텐츠 배신 서버의 구성을 나타내는 블록도이다.
본 발명은, 동화상이나 음성을 포함하는 멀티미디어 콘텐츠를 복수의 장면으로 분할하고, 분할한 장면마다 메타데이터의 생성 등을 하는 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치 및 메타데이터 배신 방법에 관한 것이다.
종래의 동화상 관리 장치에서는, 영상을 복수의 장면으로 분할하고 나서, 각 장면의 재생에 필요한 구간 정보와 장면 번호와 장면을 대표하는 화상의 모음인 인덱스를 편집하여, 하나 이상의 인덱스를 작성하는 수단과, 각 인덱스에는 검색 목적을 나타낸 타이틀을 부여하는 수단과, 검색시에는 타이틀로 인덱스를 검색하고, 장면 번호의 순서에 따라 인덱스의 장면을 잇달아 재생하는 수단으로 구성함으로써, 필요한 장면이 나열되도록 인덱스를 편집하는 것에 의해, 필요한 장면만을 재생할 수 있다(예컨대, 일본 특허 공개 2001-028722호 공보(제 1 페이지, 도 1) 참조).
그러나, 상술한 종래의 동화상 관리 장치에서는, 장면의 재생에 필요한 구간 정보와, 장면 번호와, 장면을 대표하는 화상에 의해 메타데이터를 작성하는 것에 불과하기 때문에, 비디오 데이터가 가지고 있는 계층성 등, 비디오 데이터의 구조까지 관리할 수가 없다는 문제점이 있었다.
또한, 등록한 화상을 검색할 때는, 인덱스에 부여되어 있는 타이틀을 이용하여 실행하기 때문에, 적절한 검색 결과를 얻기 위해서는, 적절한 타이틀을 입력해야만 한다고 하는 문제점도 있었다.
본 발명은 상술한 문제점을 해결하기 위해 이루어진 것으로, 장면의 구간 정보나 타이틀 이외에, 비디오 데이터 등의 콘텐츠가 갖는 구조 등의 인덱스 정보인 메타데이터를 생성할 수 있는 메타데이터 편집 장치를 얻는 것을 목적으로 한다.
또한, 메타데이터 편집 장치에 의해 생성된 메타데이터를 이용하여, 사용자가 보고 싶은 장면만을 모아 재생하거나, 메타데이터로 기술되어 있는 특징량 등을 이용하여, 보고 싶은 장면을 검색할 수 있는 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치 및 메타데이터 배신 방법을 얻는 것을 목적으로 한다.
본 발명에 따른 메타데이터 편집 장치는, 동화상, 음성 중 적어도 하나를 포함하는 멀티미디어 콘텐츠를 복수의 장면으로 분할하고, 분할된 장면마다 장면의 개시 위치와 종료 위치를 나타내는 장면의 구간 정보 메타데이터를 생성하는 장면 분할부와, 상기 장면 분할부로부터의 장면의 구간 정보 메타데이터에 근거하여, 상기 멀티미디어 콘텐츠의 각 장면의 계층적인 편집을 행하고, 상기 멀티미디어 콘텐츠의 계층적인 구조를 기술하는 장면 구조 정보 메타데이터를 생성하는 장면 기술 편집부와, 상기 장면의 구간 정보 메타데이터 및 상기 장면 구조 정보 메타데이터를 통합하고, 소정의 포맷에 따라 상기 멀티미디어 콘텐츠의 내용 및 구조를 기술한 메타데이터를 생성하는 메타데이터 기술부를 마련한 것이다.
또한, 본 발명에 따른 메타데이터 배신 장치는, 메타데이터에 포함되는 기술 자(記述子)의 종류와 내용을 기술하는 메타데이터 최적화 힌트 정보를 해석하는 힌트 정보 해석부와, 상기 해석된 메타데이터 최적화 힌트 정보 및 메타데이터 재생성에 관한 조건에 근거하여, 동화상, 음성 중 적어도 하나를 포함하는 멀티미디어 콘텐츠의 내용 및 구조를 기술한 메타데이터를 해석하여 제 2 메타데이터를 재생성하는 메타데이터 해석·재생성부와, 상기 메타데이터 해석·재생성부에 의해 재생성된 제 2 메타데이터를 클라이언트 단말에 배신하는 메타데이터 배신부를 마련한 것이다.
또한, 본 발명에 따른 메타데이터 배신 방법은, 메타데이터에 포함되는 기술자의 종류를 기술하는 메타데이터 최적화 힌트 정보를 해석하는 단계와, 상기 해석된 메타데이터 최적화 힌트 정보 및 메타데이터 재생성에 관한 조건에 근거하여, 동화상, 음성 중 적어도 하나를 포함하는 멀티미디어 콘텐츠의 내용 및 구조를 기술한 메타데이터를 해석하여 제 2 메타데이터를 재생성하는 단계와, 상기 재생성된 제 2 메타데이터를 클라이언트 단말에 배신하는 단계를 포함하는 것이다.
또한, 본 발명에 따른 힌트 정보 기술 방법은, 콘텐츠의 의미 내용, 구조, 특징을 기술하는 하나 또는 복수의 기술자로 이루어지는 메타데이터를 조작할 때의 힌트 정보로서, 메타데이터에 포함되는 기술자의 명칭 또는 식별자를 기술하는 것이다.
이하, 본 발명의 실시예 1 및 2에 따른 메타데이터 편집 장치, 실시예 3에 따른 메타데이터 재생 장치, 실시예 4에 따른 콘텐츠 배신 시스템, 실시예 5에 따른 메타데이터 배신 서버, 실시예 6에 따른 메타데이터 검색 서버, 실시예 7에 따른 클라이언트 단말 및 실시예 8에 따른 콘텐츠 배신 서버에 대하여, 도면에 근거하여 설명한다.
(실시예 1)
본 실시예 1에서는, 동화상이나 음성을 포함하는 멀티미디어 콘텐츠를 복수의 장면으로 분할하여, 장면의 계층적인 구조 기술이나, 각 장면의 특징량을 포함하는 메타데이터(인덱스 정보)를 작성하는 메타데이터 편집 장치에 대하여 설명한다.
본 발명의 실시예 1에 따른 메타데이터 편집 장치에 대하여 도면을 참조하여 설명한다. 도 1은 본 발명의 실시예 1에 따른 메타데이터 편집 장치의 구성을 나타내는 블록도이다. 또, 각 도면 중, 동일 부호는 동일 또는 상당 부분을 나타낸다.
도 1에서, 메타데이터 편집 장치(100)는 콘텐츠 재생·표시부(2)와, 장면 분할부(3)와, 섬네일 화상 생성부(4)와, 장면 기술 편집부(5)와, 텍스트 정보 부여부(6)와, 특징 추출부(7)와, 사용자 입력부(8)와, 메타데이터 기술부(9)를 구비한다.
콘텐츠 재생·표시부(2)는 영상 데이터나 음성 데이터 등으로 이루어지는 편집 대상의 멀티미디어 콘텐츠(10)를 재생·표시한다. 장면 분할부(3)는 콘텐츠를 복수의 장면으로 분할한다. 섬네일 화상 생성부(4)는 장면의 대표 프레임을 섬네 일 화상으로서 추출한다. 장면 기술 편집부(5)는 장면 분할부(3)에 의해 분할된 장면의 그룹화, 장면의 결합, 장면의 삭제, 장면의 관계 정보의 생성 등에 의해 장면을 계층적으로 편집한다. 텍스트 정보 부여부(6)는 각 장면에 대하여 각종 텍스트 정보를 부가한다. 특징 추출부(7)는 장면의 특징을 추출한다.
또한, 사용자 입력부(8)는 콘텐츠 재생·표시부(2), 장면 분할부(3), 섬네일 화상 생성부(4), 장면 기술 편집부(5) 및 텍스트 정보 부여부(6)에 대하여, 사용자로부터의 지시 정보를 사용자 입력 정보(11)로서 출력한다.
또한, 메타데이터 기술부(9)는 장면 분할부(3), 섬네일 화상 생성부(4), 장면 기술 편집부(5), 텍스트 정보 부여부(6) 및 특징 추출부(7)로부터 출력되는 장면의 구간 정보 메타데이터(12), 장면의 섬네일 화상 정보 메타데이터(13), 장면 구조 정보 메타데이터(14), 텍스트 정보 메타데이터(15) 및 특징 기술 메타데이터(16)를 통합하고, 규정의 포맷에 따라 멀티미디어 콘텐츠의 내용 및 구조를 기술한 메타데이터(17)를 생성한다.
다음에, 본 실시예 1에 따른 메타데이터 편집 장치의 동작에 대하여 도면을 참조하여 설명한다. 도 2는 본 실시예 1에 따른 메타데이터 편집 장치의 편집 대상의 일례인 뉴스 영상의 구성을 나타내는 도면이다.
도 2에 나타내는 구성의 뉴스 영상을 편집하는 경우를 예로 설명한다.
우선, 메타데이터 편집 장치(100)의 콘텐츠 재생·표시부(2)는, 콘텐츠 기억부(도시하지 않음)에 기억되어 있는 영상 콘텐츠 등의 멀티미디어 콘텐츠(10)가 네트워크 등을 거쳐 입력되면, 편집용으로 재생·표시한다.
메타데이터 편집 장치(100)의 사용자가 그 재생 영상을 보면서, 장면으로서 잘라내는 위치, 즉 장면의 개시 위치와, 종료 위치를 사용자 입력부(8)로부터 입력하면, 장면 분할부(3)는 사용자로부터 입력된 장면의 개시 위치와 종료 위치를 나타내는 장면의 구간 정보 메타데이터(12)를 생성한다.
도 3은 본 실시예 1에 따른 메타데이터 편집 장치의 장면 분할부의 장면의 구간 정보 메타데이터의 일례를 나타내는 도면이다.
이 도 3에 나타내는 구간 정보 메타데이터(12)는 도 2에 나타내는 뉴스 영상으로부터 생성한 예를 나타낸다. 도 3에 도시하는 바와 같이, 장면 분할부(3)에 의해, 뉴스 영상 콘텐츠로부터 잘라낸 "뉴스 다이제스트", "국내 뉴스"나, "국제 뉴스" 등의 각 장면에 대하여, 장면의 개시 위치와, 종료 위치의 구간 정보를 나타내는 장면의 구간 정보 메타데이터(12)가 생성된다.
장면 기술 편집부(5)에서는, 사용자로부터 사용자 입력부(8)를 거쳐 장면 편집의 지시가 있으면, 장면 분할부(3)로부터의 장면의 구간 정보 메타데이터(12)에 근거하여, 장면 분할부(3)에서 연속적으로 잘라낸 장면의 계층적인 편집을 행하고, 장면 구조 정보 메타데이터(14)를 출력한다. 장면의 계층적 편집이란, 예컨대, 장면의 그룹화, 장면의 재분할, 장면의 결합, 장면의 삭제가 있다. 장면의 그룹화란, 예컨대, 도 2에 나타내는 뉴스 영상으로부터, 예컨대 도 4에 도시하는 바와 같이 「국내 뉴스」, 「국제 뉴스」, 「경제 뉴스」 등의 임의의 특정 특징에 관련 있는 장면을 하나의 「뉴스」 그룹으로 정리하는 것을 말한다. 또한, 장면의 재분할이란 하나의 장면을 복수의 장면으로 분할하는 것이다. 장면의 결합이란 복수의 장면을 정리하여 하나의 장면으로 하는 것이다.
도 4는 본 실시예 1에 따른 메타데이터 편집 장치의 장면 기술 편집부의 장면 구조 정보 메타데이터의 일례를 나타내는 도면이다.
이 도 4에 나타내는 장면 구조 정보 메타데이터(14)는, 장면 기술 편집부(5)에서의 편집 결과, 생성된 영상 콘텐츠의 계층적인 구조를 기술한다. 도 4에서는, 장면 기술 편집부(5)에서, 장면의 그룹화나, 장면의 재분할, 장면의 결합 등의 장면의 편집에 의해, "뉴스"와 같은 장면이, "뉴스 다이제스트", "뉴스", "특집", "스포츠" 등으로 편집되고, 또한 그 "뉴스"가 "국내 뉴스", "국제 뉴스", "경제 뉴스"의 계층적으로 편집된 것을 나타내고 있다.
그리고, 장면 기술 편집부(5)에서 생성된 예컨대 도 4에 나타내는 메타데이터(14)는 메타데이터 기술부(9)로 출력된다.
한편, 섬네일 화상 생성부(4)에서는, 장면 분할부(3)로부터의 장면의 구간 정보 메타데이터(12)에 근거하여, 장면 분할부(3)에서 잘라낸 각 장면 중에서 대표 프레임을 섬네일 화상으로서 생성하고, 생성된 섬네일 정보를 섬네일 화상 정보 메타데이터(13)로서 메타데이터 기술부(9)로 출력하고, 메타데이터 기술부(9)에 등록한다. 여기서, 사용자는 사용자 입력부(8)로부터, 섬네일의 선택을 할 수도 있지만, 자동적으로, 선두 프레임이나 고정 시간 간격의 복수 프레임을 대표 프레임으로 하거나, 장면 변경점을 자동 검출하고, 그들의 프레임을 대표 프레임으로 하거나 할 수도 있다. 섬네일 화상 정보 메타데이터(13)는 영상 콘텐츠의 중의 섬네일의 위치 정보(프레임 번호 또는 시간), 또는, 섬네일 화상의 URL 등의 위치 정보로 된다.
또한, 특징 추출부(7)에서는, 장면 분할부(3)로부터의 장면의 구간 정보 메타데이터(12)에 근거하여, 각 장면 속에서, 움직임, 색, 또는 장면 내에 포함되는 물체의 형상 등, 장면이 갖는 시각적 특징량을 추출한다. 추출된 특징량은 특징 기술 메타데이터(16)로서, 메타데이터 기술부(9)로 출력되어 등록된다.
또한, 텍스트 정보 부여부(6)에서는, 장면 분할부(3)로부터의 장면의 구간 정보 메타데이터(12)에 근거하여, 각 장면에 대하여, 사용자가 타이틀, 요약, 키워드, 코멘트, 장면의 중요도 등의 각종 텍스트 정보를 부여한다. 텍스트 정보의 부여는, 사용자 입력부(8)로부터 사용자가 입력하는 경우와, 콘텐츠에 포함되는 음성 정보나 캡션을 해석함으로써, 자동적으로 부여하는 경우가 있다. 텍스트 정보는 텍스트 정보 메타데이터(15)로서 메타데이터 기술부(9)로 출력하고, 메타데이터 기술부(9)에 등록한다.
도 5는 본 실시예 1에 따른 메타데이터 편집 장치의 콘텐츠 재생·표시부나, 사용자 입력부(8)의 화면 이미지예를 나타낸다. 도 5에서, 비디오 재생 화면 G1은 콘텐츠 재생·표시부(2)에서의 화면 이미지예에 상당하고, 이 비디오 재생 화면 G1에서는, 편집용 콘텐츠를 재생·표시한다. 도 5에는, 명시하지 않지만, 「재생」, 「정지」, 「되돌려감기」, 「빨리감기」, 「연속재생」 재생용 지시 버튼 등, 통상의 비디오 재생 장치에 구비되어 있는 사용자 인터페이스를 구비하고 있는 것으로 한다. 그리고, 이 비디오 재생 화면 G1의 아래쪽에는 장면 분할 지시 화면 G2가 표시되어 있다. 이 장면 분할 지시 화면 G2는, 예컨대, 슬라이더 형식으로 되 어 있고, 비디오 재생 화면 G1에 표시되는 영상을 보면서, 사용자가 비디오 재생 화면 G1에 표시되는 영상 장면의 개시 위치와 종료 위치를 지시할 수 있다. 또한, 장면 분할 지시 화면 G2는, 동시에, 장면의 개시 위치와 종료 위치 사이에서, 섬네일의 위치를 지시할 수 있다. 여기서, 장면 분할 지시 화면 G2에 의해 섬네일의 위치가 지정되면, 영상 콘텐츠의 지정된 위치의 프레임으로부터 섬네일 화상 생성부(4)가 섬네일 화상을 생성하는 것으로 된다.
또한, 장면 분할 지시 화면 G2에 의해 위치가 지정된 섬네일 화상은, 장면의 분할 정보로서, 장면 분할 정보 표시 화면 G3에 표시된다. 이 장면 분할 정보 표시 화면 G3에서는, 섬네일 화상 이외에, 도 3에 도시하는 바와 같이 장면마다 장면의 개시 위치와 종료 위치를 나타내는 정보를 표시할 수도 있다.
다음에, 트리 구조 생성 지시·표시 화면 G4에서는, 장면의 편집을 사용자에 대하여 지시한다. 사용자는, 장면 분할 정보 표시 화면 G3에 표시되어 있는 섬네일 화상 등의 장면 분할 정보를 보면서, 영상 콘텐츠가 갖는 계층 구조를 나타내는 트리를 생성한다.
조작 방법으로서는, 예컨대, 장면의 그룹화를 하는 경우에는, 트리 상에 새로운 노드를 추가하고, 그 노드에 그룹화하고 싶은 장면을 추가해 간다. 장면 추가의 조작은 추가하고 싶은 장면을 장면 분할 정보 표시 화면 G3 상에서 선택하고, 드래그 앤 드롭(drag-and-drop)에 의해, 노드에 장면을 추가하는 등의 방법이 생각된다. 장면 분할 정보 표시 화면 G3, 트리 구조 생성 지시·표시 화면 G4에서는, 장면을 선택하는 것에 의해, 그 장면에 대하여 텍스트 정보 부여부(6)를 거쳐서 텍 스트 정보를 부여하기 위한 사용자 인터페이스로서 사용자 입력부(8)가 제공되어, 장면에 대한 텍스트 정보를 입력할 수 있다.
메타데이터 기술부(9)는 장면 분할부(3), 섬네일 화상 생성부(4), 장면 기술 편집부(5), 텍스트 정보 부여부(6) 및 특징 추출부(7)로부터 출력되는 각종 메타데이터를 통합하고, 규정의 기술 포맷에 따라 기술한 메타데이터 파일을 생성한다. 메타데이터의 규정의 기술 포맷은, 독자적으로 정한 포맷으로 기술할 수도 있지만, 본 실시예 1에서는, ISO에 의해 표준화되어 있는 MPEG-7을 쓰기로 한다. 이 MPEG-7은 콘텐츠의 구조나 특징을 기술하는 포맷을 규정하는 것이며, XML 파일 포맷과 바이너리 포맷이 있다.
따라서, 본 실시예 1의 메타데이터 편집 장치(100)에 의하면, 장면을 계층적으로 편집하는 장면 기술 편집부(5)나, 장면으로부터 특징을 추출하는 특징 추출부(7)를 마련하도록 했기 때문에, 비디오 데이터 등의 콘텐츠가 갖는 계층적인 구조나 각 장면의 특징량을 기술한 메타데이터를 생성할 수 있다.
또, 콘텐츠 재생·표시부(2)에 입력되는 멀티미디어 콘텐츠(10)는, 네트워크상에 있는 콘텐츠 서버(도시하지 않음)로부터 취득하는 경우나, 메타데이터 편집 장치(100) 내에 있는 콘텐츠 기억부(도시하지 않음)로부터 취득하는 경우, CD나 DVD 등의 축적 매체(도시하지 않음)로부터 취득하는 경우 등 여러 가지 경우가 상정된다. 마찬가지로, 메타데이터 기술부(9)로부터 출력되는 메타데이터는, 네트워크상에 있는 메타데이터 서버(도시하지 않음)에 축적되는 경우나, 메타데이터 편집 장치 내에 있는 메타데이터 축적부(도시하지 않음)에 축적되는 경우, CD나 DVD 등 의 축적 매체(도시하지 않음)에 콘텐츠와 함께 축적되는 경우 등이 상정된다.
또한, 본 실시예 1에서는, 장면 기술 편집부(5)와, 특징 추출부(7)의 양자를 마련하여 설명했지만, 이것에 한정되지 않고, 장면 기술 편집부(5)만을 마련하거나, 특징 추출부(7)만을 마련하도록 해도 물론 좋다.
(실시예 2)
상기 실시예 1에서는, 장면의 분할을 전부 수동으로 하고 있었지만, 본 실시예 2에서는, 장면 변경점을 자동 검출하는 장면 변경 검출부를 구비한 것을 특징으로 하는 데이터 편집 장치에 대하여 설명한다.
본 발명의 실시예 2에 따른 메타데이터 편집 장치에 대하여 도면을 참조하여 설명한다. 도 6은 본 발명의 실시예 2에 따른 메타데이터 편집 장치의 구성을 나타내는 블록도이다.
도 6에서, 메타데이터 편집 장치(100A)는 콘텐츠 재생·표시부(2)와, 장면 분할부(3)와, 섬네일 화상 생성부(4)와, 장면 기술 편집부(5)와, 텍스트 정보 부여부(6)와, 특징 추출부(7)와, 사용자 입력부(8)와, 메타데이터 기술부(9)와, 장면 변경 검출부(39)를 구비한다. 또, 참조부호 40은 자동 검출된 장면 개시 위치 정보이다.
다음에, 본 실시예 2에 따른 메타데이터 편집 장치의 동작에 대하여 도면을 참조하여 설명한다.
도 7은 본 발명의 실시예 2에 따른 메타데이터 편집 장치의 동작을 설명하기 위한 도면이다.
장면 변경 검출부(39)와, 장면 분할부(3) 이외의 동작은 상기 실시예 1과 동일하다. 실시예 2 특유의 동작을 설명한다.
장면 변경 검출부(39)는 자동적으로 장면 변경, 컷트점 검출을 행한다. 장면 변경 검출은, 예컨대, 프레임간 화소 차분이나, 프레임간의 색이나, 휘도의 히스토그램 차분 등에 근거하여 실행한다. 장면 분할부(3)는, 장면 변경 검출부(39)에서 검출된 장면 변경점에 근거하여, 장면의 개시 위치와 종료 위치를 결정한다.
여기서, 장면 변경 검출부(39)와 장면 분할부(3)의 처리에 대하여, 편집 대상의 콘텐츠가 뉴스 영상인 경우를 예로 상술한다.
장면 변경 검출을 위한 특징량으로서, 색의 히스토그램을 이용하는 경우를 예로 설명한다.
장면 변경 검출부(39)에서는 1 프레임마다 색의 히스토그램을 산출한다. 표색계로서는 HSV, RGB, YCbCr 등이 있지만, 여기서는 HSV 색공간을 이용한다. 이 HSV 색공간은 색상(H), 채도(S), 명도(V)의 3요소로 구성된다. 각 요소의 히스토그램을 산출한다. 다음에, 구해진 히스토그램으로부터, 예컨대 하기의 (식 1)에 근거하여, 프레임간의 히스토그램 차분을 산출한다. 장면의 개시 프레임으로부터 N 프레임(예컨대 N=3)은 동일 장면, 즉, 장면 변경점이 없는 것으로 가정한다. 또, 장면의 초기 특징량으로서, 하기의 (식 2)에 근거하여, 최초의 N 프레임간의 히스토그램 차분의 평균(mean)과 표준편차(sd)를 구한다.
Figure 112006054033702-PAT00001
(식 1)
sum i : 프레임i와 프레임i-1의 히스토그램간 차분 합
H i (h) : 색상의 히스토그램, bin_H : 히스토그램의 요소수
S i (h) : 채도의 히스토그램, bin_S : 히스토그램의 요소수
V i (h) : 명도의 히스토그램, bin_V : 히스토그램의 요소수
Figure 112006054033702-PAT00002
(식 2)
mean : 프레임간의 히스토그램 차분의 평균
sd : 프레임간의 히스토그램 차분의 표준편차
그리고, N+1 프레임 이후는, 히스토그램의 프레임간 차분이 mean+λ·sd보다 커진 프레임을 장면 변경점으로 하여, 새로운 장면의 개시 위치 후보로 한다.
장면의 개시 위치 후보가 복수 얻어지면, 다음에, 뉴스 영상과 같이, 뉴스의 전환 등으로 결정된 패턴의 화상이 삽입되는 경우를 생각한다.
뉴스 영상은 뉴스의 전환으로, 예컨대, 아나운서와 배경의 스튜디오 세트, 설명의 문자(캡션)에 의해 구성된 화상 등, 결정된 패턴의 화상이 삽입되는 것이 많다. 따라서, 이들 결정된 패턴의 화상(템플레이트 화상이라고 함), 또는 템플레이트 화상의 특징량을 기술한 메타데이터를 미리 등록해 놓는다. 템플레이트 화상의 특징량은 템플레이트 화상의 색의 히스토그램, 또는, 움직임의 패턴(뉴스의 전환으로, 아나운서가 찍히는 부분은 움직임이 적은 것 등) 등을 들 수 있다.
템플레이트 화상이 미리 등록되어 있는 경우에는, 예컨대 도 7에 도시하는 바와 같이, 장면 변경점에 대응하는 화상과 템플레이트 화상의 매칭을 취해, 유사도가 높은 경우에는, 그 장면 변경점을 장면의 개시 위치로서 등록한다. 유사도의 매칭으로서는, 프레임간 차분이나 프레임간의 색의 히스토그램 차분 등이 있다.
또한, 템플레이트 화상의 특징량이 미리 등록되어 있는 경우에는, 장면 변경점에 대응하는 화상으로부터 특징량을 추출하고, 템플레이트 화상의 특징량과의 매칭을 취해, 유사도가 높은 경우에는, 그 장면 변경점을 장면의 개시 위치로서 등록한다. 장면 개시 위치의 정보는 장면 분할부(3)로 출력된다.
장면 분할부(3)에서는, 장면 변경 검출부(39)에서 자동 검출된 장면 개시 위치 정보에 근거하여, 장면의 개시 위치 및 종료 위치를 결정한다. 또, 본 실시예 2의 장면 분할부(3)에서는, 상기 실시예 1과 마찬가지로, 사용자로부터의 지시에 근거하여, 장면의 개시 위치 및 종료 위치를 결정할 수도 있다.
장면 분할부(3)에서는, 장면의 개시 위치 및 종료 위치를 기술한 장면의 구간 정보 메타데이터(12)를 장면 변경 검출부(39)로 출력하고, 이 장면 변경 검출부(39)에서, 그 장면에 포함되는 장면 변경점을 검출할 수도 있다.
장면 기술 편집부(5)에서는, 장면 분할부(3)로부터의 장면의 구간 정보 메타데이터(12)에 근거하여, 장면 변경 검출부(39)에서 자동 검출된 장면을 재분할 또는 통합할 수 있다. 또, 장면 기술 편집부(5)의 상세는 상기 실시예 1과 마찬가지다.
따라서, 본 실시예 2에 따른 메타데이터 편집 장치(100A)에 따르면, 상기 실 시예 1과 마찬가지로, 비디오 데이터 등의 콘텐츠가 갖는 계층적인 구조나 각 장면의 특징량을 기술한 메타데이터를 생성할 수 있고, 또한, 장면 변경 검출부(39)를 마련한 것에 의해, 콘텐츠의 장면 변경점을 자동 검출하는 것이 가능해진다.
(실시예 3)
본 실시예 3에서는, 상기 실시예 1 및 2의 메타데이터 편집 장치에 의해 생성된 메타데이터를 이용하여, 화상의 요약 재생이나, 검색 등을 하는 메타데이터 재생 장치에 대하여 설명한다.
본 발명의 실시예 3에 따른 메타데이터 재생 장치에 대하여 도면을 참조하여 설명한다. 도 8은 본 발명의 실시예 3에 따른 메타데이터 재생 장치의 구성을 나타내는 블록도이다.
도 8에서, 메타데이터 재생 장치(200)는, 메타데이터 해석부(19)와, 구조 표시부(20)와, 섬네일 화상 표시부(21)와, 사용자 입력부(22)와, 검색부(23)와, 검색 결과 표시부(24)와, 요약 작성부(25)와, 요약 구조 표시부(26)와, 콘텐츠 재생부(27)를 구비한다.
메타데이터 해석부(19)는, 콘텐츠가 갖는 계층적인 장면 구조나 각 장면의 섬네일에 관한 정보, 각 장면의 특징량 등이 기술된 메타데이터(28)의 해석을 행한다. 구조 표시부(20)는 메타데이터 해석 결과로부터 취득되는 장면 구조(29), 즉 콘텐츠의 계층적인 구조를 표시한다. 섬네일 화상 표시부(21)는 메타데이터 해석 결과로부터 취득되는 섬네일 화상 정보(30)를 표시한다.
사용자 입력부(22)는 검색이나 재생 등의 지시를 한다. 검색부(23)는 사용자로부터의 검색 지시(검색 조건(31))와, 메타데이터로부터 취득되는 장면의 특징량이나 텍스트 정보(32)에 근거하여 검색을 한다. 검색 결과 표시부(24)는, 검색 결과(33)를 표시한다. 요약 작성부(25)는 사용자로부터의 요약 작성 지시(요약 작성 조건(34))에 근거하여 요약 작성을 한다. 요약 구조 표시부(26)는 요약된 콘텐츠의 구조(38)를 표시한다. 콘텐츠 재생부(27)는 요약 정보(35), 콘텐츠 재생 지시(36), 재생하는 콘텐츠(37)에 근거하여 콘텐츠를 재생·표시한다.
다음에, 본 실시예 3에 따른 메타데이터 재생 장치의 동작에 대하여 도면을 참조하여 설명한다.
우선, 메타데이터 해석부(19)는, 콘텐츠가 갖는 계층적인 장면 구조나, 각 장면의 섬네일에 관한 정보, 각 장면의 특징량 등이 기술된 메타데이터(28)를 입력으로 하여, 메타데이터의 해석을 행한다.
본 실시예 3에서는, 이 메타데이터(28)는 상기 실시예 1, 2의 메타데이터 기술부(9)가 생성한 MPEG-7 규정의 포맷으로 기술되어 있기 때문에, 메타데이터는 XML로 기술된 텍스트 파일이라도 좋고, 바이너리 포맷으로 부호화된 바이너리 파일이더라도 좋다.
이 때문에, 메타데이터 해석부(19)는, 메타데이터(28)가 XML로 기술되어 있으면, XML 파일의 해석을 하는 XML 파저(Parser)의 기능을 갖는다. 또한, 메타데이터(28)가 바이너리 포맷으로 부호화되어 있으면, 메타데이터(28)의 복호를 하는 디코더의 기능을 갖는다.
구조 표시부(20)는 메타데이터 해석부(19)의 해석 결과를 입력하여, 콘텐츠의 계층적인 장면 구조(29)를 표시한다. 콘텐츠의 장면 구조는, 예컨대, 도 4에 도시하는 바와 같이, 각 장면의 타이틀과 함께 트리 표시된다.
섬네일 화상 표시부(21)는 메타데이터 해석부(19)의 해석 결과(섬네일 화상 정보(30))를 입력하여, 콘텐츠의 섬네일 화상 일람을 표시한다.
검색부(23)는, 사용자 입력부(22)를 거친 사용자로부터의 검색 지시에 따라, 콘텐츠에 포함되는 장면을 검색한다. 그 때, 사용자 입력부(22)에서는, 키워드나 샘플 화상의 제시 등에 의해 검색 조건을 입력한다. 검색부(23)에서는, 메타데이터로 기술되어 있는 장면의 특징량이나, 장면의 타이틀 등의 텍스트 정보(32)에 근거하여, 사용자로부터 제시된 검색 조건(키워드나 샘플 화상의 특징)(31)에 합치하는 장면을 검색한다.
검색부(23)에 의한 검색이 종료하면, 검색 결과 표시부(24)는 검색부(23)의 검색 결과(33)를 입력으로 하여 검색 결과를 표시한다. 검색 결과의 표시 방법으로서는, 예컨대, 검색 조건에 합치한 장면의 섬네일 화상을 표시한다.
또한, 요약 작성부(25)는, 사용자 입력부(22)를 거친 사용자로부터의 요약 작성 지시에 근거하여, 콘텐츠의 요약을 작성한다. 그 때, 사용자 입력부(22)에서는, 요약된 콘텐츠의 재생 시간이나, 사용자의 기호 등의 정보를 입력한다. 예컨대, 콘텐츠가 뉴스 영상인 경우에는, 뉴스 중의 스포츠를 중심으로 보고 싶거나, 또는, 1 시간의 뉴스를 20분으로 요약하여 보고 싶은 등의 사용자의 기호 정보를 입력한다. 또한, 요약 작성부(25)에서는, 메타데이터로 기술되어 있는 장면의 재 생 시간이나, 장면의 타이틀 등의 텍스트 정보(32)에 근거하여, 요약 조건에 합치한 요약 정보(35)를 작성한다. 이 요약 정보(35)란, 예컨대, 요약된 콘텐츠에 포함되는 장면의 재생 리스트이며, 콘텐츠의 URL 등의 위치 정보와, 그 콘텐츠의 중의 재생하고 싶은 장면의 개시 위치와 종료 위치를 열기한 리스트이다.
또한, 콘텐츠 재생·표시부(27)에서는, 요약 정보(35)에 포함되는 콘텐츠의 위치 정보에 근거하여, 대상 콘텐츠를 특정하여, 요약 정보에 포함되는 장면 리스트에 근거하여, 재생하는 장면의 취득·재생·표시를 한다. 또한, 별도의 예로서, 요약 정보가 요약된 장면의 구조를 계층적으로 기술한 경우도 생각된다.
도 9는 요약된 장면 구조를 계층적으로 기술한 것의 일례를 나타내는 도면이다. 도 9(a)는 원래 콘텐츠의 장면 구조의 예를 나타낸다. 각 장면에 대하여, 중요도가 0.0∼1.0의 범위에서 부가되어 있다. 1.0은 중요도가 가장 높고, 0.0은 중요도가 가장 낮은 것을 의미한다. 중요도는, 예컨대, 사용자의 기호에 근거하여 계산된 것으로 한다. 예컨대, 팀 A의 축구 시합에 관한 장면, 특히, 시합 결과와 득점 장면은 반드시 보고 싶다고 하는 사용자의 기호를 미리 등록해 놓으면, 각 장면에는 사용자의 기호를 반영한 중요도가 부가된다.
그리고, 도 9(a)에서, 중요도가 가장 높은 장면만으로 요약을 생성하면, 요약된 장면 구조는 도 9(b)에 도시하는 바와 같이 된다. 또, 각 장면은, 그 장면을 포함하는 콘텐츠의 URL 등의 위치 정보와, 그 장면의 콘텐츠 내에서의 위치 정보(개시 위치와 종료 위치) 등의 메타데이터를 갖는다. 요약된 장면 구조(38)에 관한 정보는 요약 구조 표시부(26)로 넘겨지고, 이 요약 구조 표시부(26)는 요약된 장면 구조를 예컨대, 도 9(b)에 나타내는 트리 형식으로 표시한다.
또한, 사용자 입력부(22)를 거쳐 사용자가 구조 표시부(20) 또는 요약 구조 표시부(26)에 표시되어 있는 장면 구조나, 섬네일 화상 표시부(21)나 검색 결과 표시부(24)에 표시되어 있는 각 장면의 섬네일 중에서 재생하고 싶은 하나 이상의 장면을 선택하면, 콘텐츠 재생·표시부(27)에서는 콘텐츠에 포함되는 장면을 재생·표시할 수 있다.
따라서, 본 실시예 3에 따른 메타데이터 재생 장치(200)에 따르면, 상기 실시예 1, 2에서 설명한 메타데이터 편집 장치에 의해 생성된 메타데이터를 이용하여, 사용자가 보고 싶은 장면만을 모아 재생하거나, 메타데이터로 기술되어 있는 특징량을 이용하여, 보고 싶은 장면을 검색할 수 있다.
또한, 본 실시예 3에서는, 콘텐츠 재생·표시부(27)가 메타데이터 재생 장치(200) 내에 있지만, 콘텐츠 재생·표시부가 별도의 장치 내에 있더라도 좋다. 이것은, 예컨대, 장면의 구조나 섬네일 화상의 표시 등, 메타데이터 재생에 관한 조작이나 표시는 휴대전화나 휴대 정보단말 등으로 실행하고, 멀티미디어 콘텐츠의 재생에 관한 처리나 표시는 휴대전화나, 휴대 정보단말 등에 네트워크를 거쳐서 접속한 단말(예컨대, PC 등)로 실행하는 경우가 생각된다.
(실시예 4)
본 실시예 4에서는, 콘텐츠의 메타데이터를 클라이언트 단말에 대하여 배신하는 메타데이터 배신 서버(메타데이터 배신 장치)와, 그 콘텐츠를 클라이언트 단 말의 단말 능력에 따라 비례하게 구성하여 배신하는 콘텐츠 배신 서버에 대하여 설명한다.
본 발명의 실시예 4에 따른 콘텐츠 배신 시스템에 대하여 도면을 참조하여 설명한다. 도 10은 본 발명의 실시예 4에 따른 콘텐츠 배신 시스템의 구성을 나타내는 블록도이다.
도 10에서, 콘텐츠 배신 시스템(300)은 메타데이터 배신 서버(400)와, 각종 클라이언트 단말(481∼48n)과, 콘텐츠 배신 서버(500)를 구비한다.
메타데이터 배신 서버(400)는 메타데이터 축적부(41)와, 메타데이터 해석부(42)와, 단말 능력 판정부(43)와, 메타데이터 재생성부(44)와, 메타데이터 배신부(45)로 구성되어 있다.
메타데이터 축적부(41)에는, 예컨대 상기 실시예 1, 2의 메타데이터 편집 장치가 생성한 메타데이터가 축적되어 있다. 메타데이터 해석부(42)는, 콘텐츠의 구조나 특징을 기술한 메타데이터(49)의 해석을 행한다. 단말 능력 판정부(43)는, 클라이언트 단말의 성능에 관한 정보(51)에 근거하여, 클라이언트 단말의 단말 능력을 판정한다. 메타데이터 재생성부(44)는, 메타데이터 해석 결과(50)에 근거하여, 클라이언트 단말의 단말 능력에 따라 콘텐츠를 재구성하고, 그 내용을 기술한 메타데이터(52)를 재생성한다. 메타데이터 배신부(45)는, 메타데이터 재생성부(44)에서 재생성된 메타데이터(53)를 각종 클라이언트 단말(481∼48n)에 배신한다.
또, 메타데이터 축적부(41)는 본 실시예 4의 메타데이터 배신 서버(400) 밖 에 마련하더라도 좋다. 그 경우에는, 메타데이터 배신 서버(400)는 네트워크(도시하지 않음) 등을 거쳐 메타데이터 축적부(41)로부터 메타데이터(49)를 입력한다.
또한, 콘텐츠 배신 서버(500)는 콘텐츠 축적부(46)와, 콘텐츠 배신부(47)로 구성되어 있다.
콘텐츠 축적부(46)는 콘텐츠(55)를 축적한다. 콘텐츠 배신부(47)는 클라이언트 단말(481∼48n)로부터의 콘텐츠 배신 요구(54)에 따라 콘텐츠(56)를 배신한다.
상술한 메타데이터 배신 서버(400)의 경우와 마찬가지로, 콘텐츠 축적부(46)는 콘텐츠 배신 서버(500) 밖에 마련하더라도 좋다. 그 경우, 콘텐츠 배신 서버(500)는, 네트워크(도시하지 않음)를 거쳐서 콘텐츠 데이터(55)를 입력한다.
다음에, 본 실시예 4에 따른 콘텐츠 배신 시스템의 동작에 대하여 도면을 참조하여 설명한다.
우선, 메타데이터 배신 서버(400)측에서는, 메타데이터 해석부(42)가 메타데이터 축적부(41)에 축적되어 있는 메타데이터의 해석을 행한다. 메타데이터 해석부(42)의 동작은 상기 실시예 3의 메타데이터 재생 장치(200)의 메타데이터 해석부(19)와 마찬가지다. 메타데이터 해석부(42)는, 메타데이터를 해석함으로써, 각 콘텐츠의 구조나 특징에 관한 정보를 취득한다.
도 11은 본 실시예 4에 따른 메타데이터 배신 서버의 메타데이터 해석부로부터 출력되는 콘텐츠(뉴스 영상의 예)의 구조 정보를 나타내는 도면이다. 도 11에서는, 콘텐츠의 계층적인 장면 구조를, 트리를 이용하여 표시하고 있다. 트리의 각 노드는 각각의 장면에 대응하고, 각 노드에는 각종 장면 정보가 대응되어 있다. 장면 정보는 장면의 타이틀, 요약, 장면의 개시 위치와 종료 위치의 시간 정보, 장면의 섬네일, 대표 프레임, 섬네일 샷, 대표 샷, 색이나 움직임 등 시각적인 특징량 등인 장면의 특징이다. 또, 도 11에는, 각종 장면 정보 중, 장면의 타이틀만을 도시하고 있다.
여기서, 클라이언트 단말은, 단말 능력이 다른 각종 정보 가전기기를 상정한다. 단말 능력이란, 통신 속도, 처리 속도나, 재생·표시 가능한 화상 포맷, 화상 해상도, 사용자 입력 기능 등이다. 예컨대, 클라이언트 단말(481)은, 통신 속도, 처리 속도, 표시 성능, 사용자 입력 기능에 있어서, 충분한 성능을 갖는 PC(퍼스널 컴퓨터)를 상정한다. 또한, 클라이언트 단말(482)은 휴대전화를 상정하고, 그 밖의 클라이언트 단말은 PDA 등을 상정한다. 각 클라이언트 단말(481∼48n)에서는, 각각의 단말 성능에 관한 정보가 송신된다.
단말 능력 판정부(43)는 각 클라이언트 단말(481∼48n)로부터 송신되는 단말 성능에 관한 정보(51)를 해석하여, 배신 가능한 화상 포맷, 최대 화상 해상도, 콘텐츠의 길이 등을 결정하여, 메타데이터 재생성부(44)로 출력한다. 예컨대, 원래의 콘텐츠가 MPEG-2로 부호화된 해상도가 큰 비디오 콘텐츠의 경우, 충분한 성능을 갖는 클라이언트 단말(481)에서는, 원래의 콘텐츠를 재생할 수 있다. 또한, 이 클라이언트 단말(481)은, 상기 실시예 3에서 설명한 화상의 요약 재생이나 검색이 가능한 기능을 갖는 것으로 한다. 한편, 클라이언트 단말(482)에서는, MPEG-4에 의해 부호화된 짧은 비디오 샷만 재생 가능하고, 또한, 표시 가능한 최대 해상도도 작은 것으로 한다.
메타데이터 재생성부(44)에서는, 단말 능력 판정부(43)로부터의 각 클라이언트 단말(48l∼48n)의 단말 성능에 따라 콘텐츠를 재구성하고, 그 구조나 내용을 기술한 메타데이터(52)를 재생성하며, 메타데이터 배신부(45)로 출력한다. 예컨대, 클라이언트 단말(481)에 대해서는, 원래의 메타데이터를 그대로 배신하기 때문에, 콘텐츠의 재구성은 행하지 않는다. 한편, 클라이언트 단말(482)에 대해서는, 짧은 비디오 샷의 재생 기능만을 갖기 때문에, 모든 장면을 재생할 수는 없다. 따라서, 중요한 장면의 짧은 비디오 샷으로 콘텐츠를 재구성한다.
도 12는 실시예 4에 따른 콘텐츠 배신 시스템의 메타데이터 재생성부에 의한 재구성 후의 콘텐츠의 구조예를 나타내는 도면이다. 도 12에 도시하는 바와 같이, 각 뉴스의 장면 중에서 중요한 장면을 추출하여, 그 장면의 대표 샷 또는, 대표 프레임만으로 구성되도록 한다. 또한, 클라이언트 단말(482)은, 상기 실시예 3에서 설명한 검색 기능을 갖지 않기 때문에, 장면의 각종 정보 중, 검색에 사용하는 장면의 특징량을 메타데이터로 기술할 필요는 없다. 그래서, 메타데이터 재생성부(44)는 재구성된 장면 구조와, 그 장면의 대표 샷 또는 대표 프레임의 위치 정보만을 기술한 메타데이터를 재생성하고, 메타데이터 배신부(45)로 출력한다.
이 메타데이터 배신부(45)는 메타데이터 재생성부(44)에서 생성된 메타데이터(53)를 클라이언트 단말(481∼48n)에 배신한다.
각 클라이언트 단말(481∼48n)은, 메타데이터 배신부(45)로부터 배신된 메타데이터(53)를 해석하여, 콘텐츠의 장면 구조 정보를 취득한다. 각 클라이언트 단 말(481∼48n)의 사용자가 재생하고 싶은 장면을 선택하면, 선택된 장면의 위치 정보가 각 클라이언트 단말(481∼48n)로부터 콘텐츠 배신 서버(500)의 콘텐츠 배신부(47)로 송신된다.
콘텐츠 배신 서버(500)의 콘텐츠 배신부(47)에서는, 각 클라이언트 단말(481∼48n)로부터 송신되는 장면의 위치 정보를 취득하고, 콘텐츠 축적부(46)로부터 대응하는 콘텐츠(55)를 취득하여, 클라이언트 단말(481∼48n)로 배신한다. 클라이언트 단말(481)의 경우에는, 장면의 개시 위치와 종료 위치를 송신하고, 원래의 콘텐츠의 대응하는 장면을 배신한다. 또한, 클라이언트 단말(482)의 경우는, 장면의 대표 샷의 소재 정보(URI 등)를 송신한다. 또, 대표 샷이 클라이언트 단말(482)에서 재생·표시 불가능한 화상 포맷이나, 화상 해상도, 화상 파일 사이즈 등인 경우에는, 콘텐츠 배신부(47)에서, 포맷 변환이나 해상도 변환, 파일 사이즈를 작게 하기 위한 콘텐츠의 요약 등을 하여 송신한다.
따라서, 본 실시예 4의 메타데이터 배신 서버(400)에 따르면, 각 클라이언트 단말(481∼48n)의 능력에 따라 메타데이터를 재생성하여 각 클라이언트 단말에 배신하는 것이 가능해진다.
또, 도 10에서는, 메타데이터 배신 서버(400)와 콘텐츠 배신 서버(500)를 따로따로 구성하여 나타내고 있지만, 본 발명에서는, 이것에 한정되지 않고, 메타데이터 배신 서버 내에 콘텐츠 배신 서버를 마련하거나, 또는 콘텐츠 배신 서버 내에 메타데이터 배신 서버를 마련하거나 해도 좋다. 또한, 메타데이터 배신 서버와 콘텐츠 배신 서버를 동일 서버 내에 마련하더라도 물론 좋다. 이와 같이 하면, 콘텐 츠 배신부(47)는, 단말 능력 판정부(43)로부터 각 클라이언트 단말(481∼48n)의 능력을 간단히 알 수 있기 때문에, 각 클라이언트 단말(481∼48n)의 능력에 따라 포맷 변환 등 콘텐츠를 재구성하여 각 클라이언트 단말(481∼48n)에 배신하는 것이 가능해진다.
또한, 본 실시예 4에서는, 메타데이터 축적부(41)에 축적되어 있는 메타데이터는, 예컨대 상기 실시예 1, 2의 메타데이터 편집 장치가 생성한 것이라고 설명했지만, 이것에 한정되지 않고, 상기 실시예 1, 2의 메타데이터 편집 장치 이외의 다른 장치가 생성한 메타데이터를 축적한 것이라도 물론 좋다.
(실시예 5)
본 실시예 5에서는, 상기 실시예 4에서 설명한 메타데이터 배신 서버의 별도의 예를 설명한다. 상기 실시예 4의 메타데이터 배신 서버에서는, 클라이언트 단말로부터 송신되는 단말 정보에 근거하여, 메타데이터의 재생성을 행하고 있었다. 본 실시예 5에서는, 보다 적절한 메타데이터의 재생성을 하기 위해, 메타데이터 재생성을 위한 힌트 정보인 메타데이터 최적화 힌트 정보를 이용하여, 메타데이터의 재생성을 하는 메타데이터 해석·재생성부를 구비한 것을 특징으로 하는 메타데이터 배신 서버(메타데이터 배신 장치)에 대하여 설명한다.
본 발명의 실시예 5에 따른 메타데이터 배신 서버에 대하여 도면을 참조하여 설명한다. 도 13은 본 발명의 실시예 5에 따른 메타데이터 배신 서버의 구성을 나타내는 블록도이다.
도 13에서, 메타데이터 배신 서버(400A)는 힌트 정보 해석부(61)와, 메타데이터 해석·재생성부(63)와, 메타데이터 배신부(45)를 구비한다.
힌트 정보 해석부(61)는 메타데이터 최적화 힌트 정보(60)를 해석하여 그 결과를 출력한다. 메타데이터 해석·재생성부(63)는 해석된 메타데이터 최적화 힌트 정보(62)와, 클라이언트 단말의 성능에 관한 정보, 또는, 사용자의 기호 등의 메타데이터 재생성에 관한 조건(65)에 근거하여, 콘텐츠의 구조나 특징을 기술한 메타데이터(49)를 해석하여 재구성한 메타데이터(64)를 출력한다. 메타데이터 배신부(45)는 메타데이터(53)를 클라이언트 단말에 배신한다.
메타데이터 축적부(41)(도 10 참조)에는, 콘텐츠의 구조나 특징을 기술한 메타데이터(49)와, 그 메타데이터(49)를 재생성하기 위한 힌트 정보의 메타데이터 최적화 힌트 정보(60)가 축적되어 있다. 메타데이터(49)를 재생성하기 위한 메타데이터 최적화 힌트 정보(60)란, 그 메타데이터(49)에, 어떠한 종류의 정보가 어느 정도 포함되어 있는지, 메타데이터(49)의 개요나 복잡도를 적은 것이다.
다음에, 본 실시예 5에 따른 메타데이터 배신 서버의 동작에 대하여 도면을 참조하여 설명한다.
도 14에 나타내는 구조를 가진 비디오 콘텐츠를 예로, 메타데이터 최적화 힌트 정보(60)에 대하여 상술한다.
비디오 콘텐츠(루트(Root))(축구 게임 프로그램)는 크게 2개의 장면(장면 l, 장면 2)의 전반전과 후반전으로 구성되고, 전반전의 장면은 복수의 장면(장면 l-1, 장면 l-2, …, 장면 l-n)(골 장면, 코너킥 장면 등)으로 더 구성되어 있다. 도 14 에서는, 장면간의 시간적인 계층 구조를 트리 구조에 의해 나타내고 있다.
대응하는 메타데이터(49)에는, 이러한 콘텐츠의 시간적인 계층 구조, 즉, 장면간의 시간적 관계나 각 장면의 개시 시간과 길이가 기술되어 있다. 또한, 각 장면에 대해서는, 계층의 레벨에 따라 그 장면이 갖는 특징(예컨대, 색의 히스토그램이나 움직임의 복잡성) 외에, 타이틀, 요약, 장르, 주석 등의 텍스트 정보, 중요도 등이 기술되어 있다. 또, 본 실시예 5에서는, 메타데이터의 기술 포맷으로서, ISO에 의해 표준화되어 있는 MPEG-7을 이용하는 것으로 한다.
도 15는 MPEG-7을 이용한 경우의 메타데이터의 기술예를 나타낸다. MPEG-7에서, 각 장면은 「비디오 세그먼트」라고 불리는 단위로 기술된다. 각 비디오 세그먼트에는, 시간 정보(장면의 개시점과 길이), 타이틀, 개요, 장르 등이 기술된다. 또, 비디오 세그먼트의 계층에 따라 비디오 세그먼트 내에서 기술되는 정보가 다른 경우가 있다. 도 15의 예에서는, 레벨 2와 레벨 3의 비디오 세그먼트에는, 중요도가 기술되어 있지만, 레벨 4에서는 중요도는 기술되지 않는다. 또한, 색이나 움직임의 특징량은 레벨 4의 비디오 세그먼트 내에서만 기술되어 있다.
장면간의 시간적인 계층 관계는, 비디오 세그먼트를 재귀적으로 기술함으로써 표현할 수 있다. 도 15의 기술예에서는, 「시간 분할」이라는 기술에 의해, 하나의 비디오 세그먼트가 시간적으로 분할된 복수의 비디오 세그먼트로 구성되어 있는 것을 기술하고 있다. MPEG-7에서는, 콘텐츠가 갖는 공간적인 계층 구조도 마찬가지로 기술할 수 있다. 이 경우에는, 「시간 분할」이라는 기술을 대신하여, 하나의 세그먼트가 공간적으로 분할된 복수의 세그먼트로 구성되어 있는 것을 나타내 는 「공간 분할」이라는 기술을 이용한다.
메타데이터(49)의 재생성을 위한 메타데이터 최적화 힌트 정보(60)는 그 메타데이터(49)에 포함되는 정보(기술자)의 종류나 내용을 기술한 것이다. 따라서, 메타데이터 최적화 힌트 정보(60)에는, 도 15의 메타데이터에 대해서는, 콘텐츠가 갖는 시간적인 계층 구조를 표현하는 기술자(「시간 분할」)와, 색의 히스토그램이나 움직임의 복잡성을 표현하는 기술자, 타이틀, 요약, 장르, 중요도를 표현하는 기술자가 포함되어 있다. 또한, 기술의 내용이나 복잡성을 나타내는 지표로서, 비디오 세그먼트의 계층 구조의 깊이는 최대로 4(레벨 1∼ 레벨 4)이다. 중요도는 5개의 이산적인 값({0.0, 0.25, 0.5, 0.75, 1.0})을 잡는다. 이 중요도의 시점으로서, "팀 A"의 시점에서 보았을 때의 중요도와, "팀 B"의 시점에서 보았을 때의 중요도가 기술되어 있다. 또한, 중요도가 기술되어 있는 계층 위치(비디오 세그먼트의 어느 레벨에 기술되어 있는지)도 포함되어 있다.
도 16은 메타데이터 최적화 힌트 정보(60)의 포맷예를 나타낸다. 도 16에 나타내는 메타데이터 최적화 힌트 정보(60)에는, 메타데이터 파일 정보와, 메타데이터 구성 요소 정보가 포함된다.
메타데이터 파일 정보는 메타데이터 파일의 소재, 메타데이터 파일 사이즈, 메타데이터 파일 포맷(XML 포맷, 바이너리 포맷 등 파일 포맷을 나타냄), 신택스 파일 정보(메타데이터의 문법을 규정하는 신택스 파일의 소재), 메타데이터에 포함되는(출현하는) 요소의 수를 나타내는 출현 요소수 등, 메타데이터를 처리하기 위해 필요한 리소스(메타데이터의 축적·해석을 하기 위해 필요로 하는 메모리 사이 즈나 메타데이터를 해석하기 위해 필요한 처리계(S/W) 등)를 예측하기 위한 정보를 기술한다. 또, 메타데이터 파일의 포맷을 규정한 신택스 파일이란, 예컨대, 메타데이터가 XML로 기술되어 있는 경우에는, 그 기술 포맷(문법)을 규정하는 DTD 파일이나 스키마 파일(schema file) 등이 그것에 상당하고, 신택스 파일 정보란, DTD 파일이나 스키마 파일 등의 신택스 파일의 소재를 기술한다.
메타데이터 구성 요소 정보란, 메타데이터를 구성하는 기술자의 종류와 그 내용을 기술하는 정보이다. 이 메타데이터 구성 요소 정보에는, 메타데이터에 포함되어 있는 기술자의 명칭, 그 기술자가 메타데이터 내에 출현하는 빈도(회수), 그 기술자가 문법적으로 포함할 가능성이 있는 모든 기술자를 포함하고 있는지 여부의 기술(완전 기술성), 또한 그 기술자가 재귀적으로 기술되는 경우에는, 그 기술자가 갖는 시간 또는 공간에서의 계층성(깊이의 최대값)이 포함된다. 예컨대, 도 15에 나타내는 메타데이터 기술예에서는, 「비디오 세그먼트」가 재귀적으로 기술되는 기술자이며, 최대로 4 계층의 구조를 갖고 있기 때문에, 「비디오 세그먼트」 기술자가 갖는 계층의 깊이는 최대 4가 된다.
또한, 재귀적으로 기술되는 기술자 내에 포함되는 기술자에 대해서는, 그 기술자가 출현하는 출현 위치(계층)도 힌트 정보이다. 예컨대, 「중요도」는 「비디오 세그먼트」안에 포함되는 기술자이지만, 레벨 3 이상의 「비디오 세그먼트」에 포함된다, 즉, 레벨 4의 비디오 세그먼트에는 포함되지 않을 때에, 「중요도」가 출현하는 위치는 최대로 3까지로 된다. 또, 이와 같이, 출현 위치를 계층 레벨로 지정할 수도 있지만, 「중요도」를 포함하는 「비디오 세그먼트」, 또는 「비디오 세그먼트」 자체에 ID가 할당되어 있는 경우에는, 출현 위치를 ID의 리스트로서 기술하는 것도 가능하다. 또한, 값을 갖는 기술자의 경우에는 기술자의 유형이나 기술자가 취득하는 값의 범위도 힌트 정보의 하나이다. 예컨대, 중요도가 "팀 A", "팀 B"의 각각의 시점으로부터, 5개의 이산적인 값({0.0, 0.25, 0.5, 0.75, l.0})으로 표현되어 있는 경우에는, 「중요도」가 취득하는 값은 부동 소수점의 유형을 갖는 리스트 {O.0, 0.25, 0.5, 0.75, l.0}이다. 이상의 기술을 메타데이터의 구성 요소인 기술자마다 반복한다.
도 17은 도 16의 포맷에 따라 기술된 메타데이터 최적화 힌트 정보의 일례를 나타낸다. 도 17에 나타내는 메타데이터 최적화 힌트 정보(60)의 일례에는, 메타데이터 파일 정보와, "비디오 세그먼트"와 "타이틀"과 같은 메타데이터 구성 요소 정보가 포함되어 있는 것을 알 수 있다.
다음에, 메타데이터 최적화 힌트 정보(60)를 사용하여, 메타데이터의 재생성을 하는 수법에 대하여 도 13을 이용하여 설명한다.
힌트 정보 해석부(61)에서는, 규정의 포맷으로 기술된 메타데이터 최적화 힌트 정보(60)의 해석을 행한다. 메타데이터 해석·재생성부(63)에서는, 힌트 정보 해석부(61)로부터 출력되는 해석된 메타데이터 최적화 힌트 정보(62)를 사용하여, 메타데이터(49)의 해석을 하여, 메타데이터 재생성에 관한 조건(65)에 근거하여 재생성 메타데이터(64)를 출력한다.
도 18은 해석된 메타데이터 최적화 힌트 정보(62)를 사용한 메타데이터 해석·재생성부(63)에 의한 메타데이터의 해석 방법의 일례를 나타낸다. 이 예에서는, 원래의 메타데이터(49)로부터 중요도가 0.5 이상의 특징을 갖는 비디오 세그먼트만을 추출하고, 추출된 비디오 세그먼트에 관한 기술만으로 구성된 메타데이터를 재생성하는 것으로 한다.
우선, 메타데이터 해석·재생성부(63)는 메타데이터 재생성을 위한 조건(65)으로부터, 재생성에 필요한 메타데이터를 특정한다(단계 S1). 여기서는, 중요도가 0.5 이상의 특징을 갖는 비디오 세그먼트만을 추출하기 때문에, 「중요도」나 「비디오 세그먼트」가 재생성에 필요한 기술자이다.
다음에, 해석된 메타데이터 최적화 힌트 정보(62)에 의해, 메타데이터(49)에 단계 S1에서 특정한 기술자(이하, 기술자 「중요도」를 예로 설명함)가 포함되는지 여부를 판정한다(단계 S2).
메타데이터에 「중요도」의 기술자가 포함되어 있는 경우에는, 메타데이터의 해석을 하고(단계 S3), 「중요도」의 기술자가 포함되어 있지 않는 경우에는, 메타데이터의 해석 처리를 종료한다(단계 S4).
또한, 해석된 메타데이터 최적화 힌트 정보(62)에, 「중요도」의 출현 위치가 계층 구조의 레벨 3까지라고 지정되어 있는 경우에는, 레벨 3까지의 비디오 세그먼트의 해석을 종료한 시점에서(단계 S5), 레벨 4 이하의 계층에 대한 해석을 하지 않고 해석 처리를 종료한다(단계 S6).
또, 필요에 따라 별도의 메타데이터(49)의 해석을 하기 때문에, 단계 S1 이후의 처리를 반복한다. 또한, 메타데이터 최적화 힌트 정보(62)에 「중요도」 기술자의 출현 회수가 20으로 지정되어 있는 경우에는, 20개의 「중요도」 기술자의 해석을 끝낸 시점에서(단계 S5), 메타데이터의 해석을 종료한다(단계 S6). 또한, 단계 S4 또는 단계 S6에서 메타데이터의 해석 처리를 종료 후, 필요에 따라 별도의 메타데이터를 해석하기 때문에, 단계 S1 이후의 처리를 반복한다.
도 19는 해석된 메타데이터 최적화 힌트 정보(62)를 사용한 메타데이터의 해석 방법의 별도의 예를 나타낸다. 이 예에서는, 「타이틀」 기술자를 포함하는 비디오 세그먼트만을 추출하여 메타데이터를 재생성하는 것으로 한다. 메타데이터에 「타이틀」 기술자를 포함하는지 여부의 판정은 도 l8의 예와 동일하다.
메타데이터 해석·재생성부(63)는, 메타데이터에 「타이틀」 기술자를 포함하는 경우에는, 메타데이터 최적화 힌트 정보(62)에 기술되어 있는 출현 위치의 ID와 일치하는 비디오 세그먼트인지 아닌지를 판정한다(단계 S13).
ID와 일치하지 않는 경우에는, 「타이틀」 기술자를 포함하지 않는 비디오 세그먼트 때문에, 그 비디오 세그먼트의 기술의 해석을 생략한다(단계 Sl6).
ID와 일치하는 경우에는, 「타이틀」 기술자를 취득하기 때문에, 그 비디오 세그먼트의 기술의 해석을 행한다(S15).
다음에, 출현 위치의 ID와 일치하는 모든 비디오 세그먼트의 해석을 끝낸 경우(단계 S17)에는, 더 이상, 「타이틀」 기술자를 포함하는 비디오 세그먼트는 메타데이터 내에 존재하지 않기 때문에, 해석 처리를 종료한다(단계 S18).
또, 필요에 따라 별도의 메타데이터를 해석하기 때문에, 단계 Sl1 이후의 처리를 반복한다. 이상의 해석 처리를 통해서 추출된 기술자로 재구성한 메타데이터(64)를 출력한다.
메타데이터 배신부(45)에서는, 재구성된 메타데이터(64)를 각종 클라이언트 단말로 배신한다.
또, 도시는 하지 않지만, 메타데이터 재생성 후에는 메타데이터 파일의 소재나 메타데이터 파일 사이즈, 메타데이터에 출현하는 요소수, 메타데이터 구성 요소에 관한 정보도 변하기 때문에, 재생성 후의 메타데이터에 대응하는 메타데이터 최적화 힌트 정보를 재생성해도 좋다.
이상과 같이, 종래는 메타데이터 재생성을 위해 메타데이터에 포함되는 모든 기술자를 해석해야만 하지만, 본 실시예 5에서는, 메타데이터(49)에 포함되는 기술자의 리스트나 기술자의 출현 위치, 출현 회수 등이 기술된 메타데이터 최적화 힌트 정보(60)를 사용하여 메타데이터(49)의 기술자를 해석하도록 했기 때문에, 메타데이터 재생성을 위한 메타데이터(49) 자체의 해석을 생략할 수 있고, 또한 출현 위치나 출현 회수에 의해, 재생성 조건에 합치하지 않는 기술자의 해석을 생략할 수 있기 때문에, 메타데이터의 해석 및 재생성에 따르는 처리 비용(처리량이나 메모리 사용량 등)을 저감할 수 있다.
(실시예 6)
상기의 실시예 5에서는, 메타데이터 재생성을 위한 메타데이터 최적화 힌트 정보를 이용하여, 메타데이터의 해석 및 재생성에 따르는 처리 비용을 저감하는 메타데이터 배신 서버에 대하여 설명했지만, 본 실시예 6에서는, 메타데이터 최적화 힌트 정보를 이용하여, 메타데이터의 검색에 따르는 처리를 경감하는 메타데이터 검색 서버(메타데이터 검색 장치)에 대하여 설명한다.
본 발명의 실시예 6에 따른 메타데이터 검색 서버에 대하여 도면을 참조하여 설명한다. 도 20은 본 발명의 실시예 6에 따른 메타데이터 검색 서버의 구성을 나타내는 블록도이다.
도 20에서, 메타데이터 검색 서버(600)는 힌트 정보 해석부(61)와, 메타데이터 해석부(71)와, 검색부(73)를 구비하고 있다.
힌트 정보 해석부(61)는 상기 실시예 5와 동일하기 때문에, 설명을 생략한다. 메타데이터 해석부(71)는 해석된 메타데이터 최적화 힌트 정보(62)와 검색 조건(70)을 이용하여, 콘텐츠의 구조나 특징을 기술한 방대한 메타데이터(49)의 해석을 적은 처리 비용으로 효율적으로 실행한다. 검색부(73)는 메타데이터의 해석 결과(72)를 이용하여, 검색 조건에 적합한 콘텐츠를 검색한다.
다음에, 본 실시예 6에 따른 메타데이터 검색 서버의 동작에 대하여 도면을 참조하여 설명한다.
도 21은 본 실시예 6에 따른 메타데이터 검색 서버의 메타데이터 해석부의 동작을 나타내는 흐름도이다.
메타데이터 해석부(71)는 하나 이상의 메타데이터의 해석을 각 메타데이터에 대응하는 메타데이터 최적화 힌트 정보(62)를 이용하여 실행한다. 메타데이터의 해석이란, 여기서는, 메타데이터로부터 검색에 필요한 특징 기술을 추출하는 것이다. 예컨대, 검색 조건으로서 비디오 세그먼트의 색의 특징량이 인가되어, 그 비디오 세그먼트에 가까운 특징을 갖는 비디오 세그먼트를 검색하는 경우에는, 색에 관한 특징 기술을 갖는 비디오 세그먼트를 추출해야 한다. 도 15에 나타내는 메타데이터 예에서는, 레벨 4의 비디오 세그먼트에 대하여 색의 특징 기술(「색의 히스토그램」)이 부가되어 있기 때문에, 레벨 4의 비디오 세그먼트에 관한 기술을 추출한다.
메타데이터 해석부(71)는, 검색 조건(70)을 해석하여, 검색에 유효한 기술자의 특정을 한다(단계 S21). 검색 조건으로서, MPEG-7에 규정된 기술에 따른 특징량이 인가되는 경우와, 화상이나 키워드가 인가되는 경우 등이 있다. 검색 조건이 MPEG-7의 기술에 따른 특징량(예컨대 색 배치 정보)으로서 인가되는 경우에는, 그 기술자(빛깔 배치 정보)가 검색에 유효한 기술자로 된다. 또한, 키워드로서 검색 조건이 인가되는 경우에는, 텍스트 형식의 기술자(타이틀, 요약, 주석 등)가, 검색에 유효한 기술자로 된다.
다음에, 메타데이터 최적화 힌트 정보(62)를 참조하여, 선택된 기술자가 메타데이터(49)에 포함되는지 여부를 판정한다(단계 S22). 검색에 이용하는 기술자가 메타데이터(49)에 포함되지 않는 경우에는, 그 메타데이터(49)의 해석 처리를 종료(단계 S24)하고, 필요에 따라 별도의 메타데이터(49)의 해석을 행한다.
선택된 기술자가 메타데이터(49)에 포함되는 경우에는, 메타데이터의 해석을 행한다(단계 S23). 메타데이터의 해석 방법에 대해서는 상기 실시예 5의 경우와 마찬가지로 메타데이터 최적화 힌트 정보(62)를 이용하여 도 18이나 도 19에 나타내는 메타데이터 해석 처리를 효율적으로 실행한다(단계 S25∼S26). 이상의 처리를 통해서, 메타데이터 해석부(71)로부터 검색에 필요한 특징 기술이 추출된다.
검색부(73)에서는, 메타데이터 해석부(71)로부터 출력되는 메타데이터의 해석 결과(검색에 필요한 특징 기술)(72)를 이용하여, 검색 조건에 적합한 콘텐츠를 검색한다. 상술한 예에서는, 색의 특징 기술(「빛깔의 히스토그램」)을 가진 비디오 세그먼트에 관한 기술이 메타데이터 해석부(71)로부터 출력되기 때문에, 검색 조건으로서 인가된 색의 특징량(히스토그램)과의 적합성을 판정하고, 적합한 비디오 세그먼트의 정보(예컨대 「시간 정보」)를 검색 결과(74)로서 출력한다.
이상과 같이, 본 실시예 6에서는, 메타데이터 최적화 힌트 정보(60)를 사용하여 메타데이터(49)의 해석을 하기 때문에, 메타데이터 재생성을 위한 메타데이터(49) 자체의 해석을 생략할 수 있다. 또한, 출현 위치나 출현 회수에 따라, 검색에 필요하지 않은 기술자의 해석을 생략할 수 있기 때문에, 메타데이터의 검색에 따르는 처리 비용(처리량이나 메모리 사용량 등)을 저감할 수 있다.
(실시예 7)
상기의 실시예 5 또는 실시예 6에서는, 메타데이터 최적화 힌트 정보를 이용하는 서버측에 대하여 설명했지만, 본 실시예 7에서는, 메타데이터 최적화 힌트 정보를 이용하는 클라이언트 단말(메타데이터 재생성 조건 설정 장치)에 대하여 설명한다.
본 발명의 실시예 7에 따른 클라이언트 단말에 대하여 도면을 참조하여 설명한다. 도 22는 본 발명의 실시예 7에 따른 클라이언트 단말의 구성을 나타내는 블록도이다.
도 22에서, 클라이언트 단말(48A)은 힌트 정보 해석부(80)와, 메타데이터 재생성 조건 설정부(82)를 구비하고 있다.
또, 도 22에는, 클라이언트 단말(48A)에 구비되는 기능 중, 메타데이터 최적화 힌트 정보(60)를 이용하여 메타데이터 재생성을 위한 조건을 설정하는 수단에 관한 부분만을 나타내고 있다.
다음에, 본 실시예 7에 따른 클라이언트 단말의 동작에 대하여 도면을 참조하여 설명한다.
힌트 정보 해석부(80)는 규정의 포맷으로 기술된 메타데이터 최적화 힌트 정보(60)를 해석한다. 이 힌트 정보 해석부(80)는 상기 실시예 5와 동일하기 때문에, 상세한 설명을 생략한다.
메타데이터 재생성 조건 설정부(82)는, 힌트 정보 해석부(80)로부터 출력되는 해석 결과(81)를 바탕으로, 메타데이터 재생성의 조건 설정(83)을 한다. 조건 설정이란, 예컨대, 메타데이터 최적화 힌트 정보(60)에 포함되는 기술자의 종류 중에서 클라이언트 단말(48A)에 불필요한 기술자의 선택이 있다. 클라이언트 단말(48A)이 특징량을 이용한 검색 기능을 구비하지 않는 경우에는, 색의 히스토그램이나 움직임의 복잡성 등의 특징량을 표현하는 기술자는 불필요하다.
조건 설정의 별도의 예로서, 콘텐츠의 장면 관계를 기술하는 계층 구조가 깊어질수록 메타데이터의 복잡도가 증가할 때에, 메타데이터 최적화 힌트 정보(60)에 기술되어 있는 계층 구조의 깊이의 최대값을 바탕으로, 클라이언트 단말에서 처리 가능한 계층 구조의 깊이를 설정한다. 또한, 별도의 예에서는, 메타데이터 최적화 힌트 정보(60)에 기술되어 있는 중요도가 취득하는 값의 정보를 바탕으로, 사용자가 착안하는 시점과, 선택하는 장면의 중요도의 임계값을 설정한다.
상술한 바와 같이, 중요도가 "팀 A", "팀 B"의 각각의 시점으로부터, 5개의 이산적인 값({0.0, 0.25, 0.5, 0.75, 1.0})을 잡는 경우에는, "팀 A"의 시점에서 0.5 이상의 중요도를 갖는 장면만을 선택하는 등의 설정을 할 수 있다.
메타데이터 재생성 조건 설정부(82)에서 설정된 메타데이터 재생성을 위한 조건(83)은 메타데이터 배신 서버에 송신된다. 메타데이터 배신 서버측에서는, 메타데이터 재생성을 위한 조건과, 클라이언트 단말의 단말 성능에 근거하여 메타데이터를 재구성한다. 예컨대, 원래의 메타데이터의 계층 구조의 깊이의 최대값이 4이고, 메타데이터 재생성 조건에, 클라이언트 단말에서 처리 가능한 계층 구조의 깊이가 2로 설정되어 있는 경우에는, 계층 구조의 깊이의 최대값이 2가 되도록, 메타데이터의 구조를 재구성한다.
또한, 메타데이터 재생성 조건에, "팀 A"의 시점에서 중요도가 0.5 이상의 장면만을 선택하면 설정되어 있는 경우에는, 동일 조건에 합치하는 장면만으로 구성된 메타데이터를 재생성한다. 메타데이터 재생성은, 상기 실시예 5와 마찬가지로 메타데이터 최적화 힌트 정보를 이용하여 효율적으로 실행할 수 있다.
이상과 같이, 본 실시예 7에서는, 메타데이터 최적화 힌트 정보(60)를 사용하여 메타데이터 재생성을 위한 조건을 설정할 수 있으므로, 클라이언트 단말이나 애플리케이션에 따라 적절한 메타데이터를 생성할 수 있다.
(실시예 8)
상기의 실시예 5 또는 실시예 6에서는, 메타데이터 최적화 힌트 정보를 이용하여 메타데이터를 재생성하고, 재생성된 메타데이터를 배신하는 서버에 대하여 설명했지만, 본 실시예 8에서는, 메타데이터 최적화 힌트 정보를 이용하여 메타데이터를 해석하고, 해석 결과를 이용하여 클라이언트 단말이나 사용자의 기호에 적합한 콘텐츠를 재생성하여 배신하는 콘텐츠 배신 서버(콘텐츠 배신 장치)에 대하여 설명한다.
본 발명의 실시예 8에 따른 콘텐츠 배신 서버에 대하여 도면을 참조하여 설명한다. 도 23은 본 발명의 실시예 8에 따른 콘텐츠 배신 서버의 구성을 나타내는 블록도이다.
도 23에서, 콘텐츠 배신 서버(500A)는 힌트 정보 해석부(61)와, 메타데이터 해석부(86)와, 콘텐츠 재구성·배신부(88)를 구비한다.
다음에, 본 실시예 8에 따른 콘텐츠 배신 서버의 동작에 대하여 도면을 참조하여 설명한다.
힌트 정보 해석부(61)의 동작은 상기 실시예 5와 마찬가지기 때문에, 설명을 생략한다.
메타데이터 해석부(86)는, 힌트 정보 해석부(61)로부터 출력되는 해석된 메타데이터 최적화 힌트 정보(62)를 사용하여, 메타데이터(49)의 해석을 하고, 클라이언트 단말에 관한 정보, 또는, 사용자의 기호 등의 콘텐츠 재구성에 관한 조건(85)에 합치하는 기술을 추출한다. 힌트 정보를 사용한 해석 방법은, 상기 실시 예 5와 마찬가지지만, 실시예 5와 다른 점은, 추출한 기술을 사용하여 메타데이터를 재생성하는 것이 아니라, 콘텐츠를 재구성하는 점이다. 이 메타데이터 해석부(86)에서 추출된 기술, 즉 해석된 메타데이터(87)는 콘텐츠 재구성·배신부(88)로 출력된다.
콘텐츠 재구성·배신부(88)는 메타데이터 해석부(86)에서 추출된 기술을 바탕으로 콘텐츠(89)의 재구성을 한다. 여기서는, 상기 실시예 5에서 설명한 예를 이용하여 설명한다. 실시예 5의 예에서는, 메타데이터(49)로부터 중요도가 0.5 이상의 특징을 갖는 비디오 세그먼트만을 추출하고, 추출된 비디오 세그먼트에 관한 기술만으로 구성된 메타데이터를 재생성했다.
본 실시예 8에서는, 메타데이터(49)로부터 중요도가 0.5 이상의 특징을 갖는 비디오 세그먼트만을 추출하고, 추출된 비디오 세그먼트에 대응하는 장면만으로 구성된 콘텐츠(90)를 재구성하여 배신한다. 추출된 비디오 세그먼트에 관한 기술에는, 대응하는 콘텐츠의 소재와 그 비디오 세그먼트의 콘텐츠 내에서의 위치(시간 정보)가 기술되어 있기 때문에, 콘텐츠로부터 대응하는 장면을 잘라내어, 하나의 콘텐츠(90)에 재구성한 뒤에 배신할 수도 있지만, 콘텐츠로부터 대응하는 장면을 잘라내어, 잘라낸 장면을 순차적으로 배신할 수도 있다.
이상과 같이, 본 실시예 8에 따른 콘텐츠 배신 서버(500A)에서는, 메타데이터(49)에 포함되는 기술자의 리스트나 기술자의 출현 위치, 출현 회수 등이 기술된 메타데이터 최적화 힌트 정보(60)를 사용하여 메타데이터의 해석을 하기 때문에, 메타데이터 재생성을 위한 메타데이터(49) 자체의 해석을 생략할 수 있다. 또한, 출현 위치나 출현 회수에 의해, 재생성 조건에 합치하지 않는 기술자의 해석을 생략할 수 있기 때문에, 클라이언트 단말이나 사용자의 기호에 적합한 콘텐츠를 재생성하여 배신할 때의 메타데이터의 해석 및 콘텐츠의 재구성에 따르는 처리 비용(처리량이나 메모리 사용량 등)을 저감할 수 있다.
본 발명은 이상 설명한 바와 같이, 동화상이나 음성을 포함하는 멀티미디어 콘텐츠를 복수의 장면으로 분할하고, 복수로 분할한 장면을 편집하여 멀티미디어 콘텐츠의 계층적인 구조를 기술하는 장면 구조 정보 메타데이터를 생성하도록 했기 때문에, 비디오 데이터 등을 포함하는 멀티미디어 콘텐츠가 갖는 계층적인 구조를 기술한 메타데이터를 생성할 수 있다.

Claims (22)

  1. 동화상, 음성 중 적어도 하나를 포함하는 멀티미디어 콘텐츠를 복수의 장면으로 분할하고, 분할된 장면마다 장면의 개시 위치와 종료 위치를 나타내는 장면의 구간 정보 메타데이터를 생성하는 장면 분할부와,
    상기 장면 분할부로부터의 장면의 구간 정보 메타데이터에 근거하여, 상기 멀티미디어 콘텐츠의 각 장면의 계층적인 편집을 행하고, 상기 멀티미디어 콘텐츠의 계층적인 구조를 기술하는 장면 구조 정보 메타데이터를 생성하는 장면 기술 편집부와,
    상기 장면의 구간 정보 메타데이터 및 상기 장면 구조 정보 메타데이터를 통합하고, 소정의 포맷에 따라 상기 멀티미디어 콘텐츠의 내용 및 구조를 기술한 메타데이터를 생성하는 메타데이터 기술부를 구비하는
    메타데이터 편집 장치.
  2. 제 1 항에 있어서,
    상기 장면 분할부로부터의 장면의 구간 정보 메타데이터에 근거하여, 상기 멀티미디어 콘텐츠의 각 장면의 시각적 특징량을 추출하여 특징 기술 메타데이터를 생성하는 특징 추출부를 더 구비하고,
    상기 메타데이터 기술부는, 상기 장면의 구간 정보 메타데이터, 상기 장면 구조 정보 메타데이터 및 상기 특징 기술 메타데이터를 통합하고, 소정의 포맷에 따라 상기 멀티미디어 콘텐츠의 내용 및 구조를 기술한 메타데이터를 생성하는
    메타데이터 편집 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    프레임간 차분에 근거하여 상기 멀티미디어 콘텐츠의 장면 변경점을 검출하는 장면 변경 검출부를 더 구비하고,
    상기 장면 분할부는, 상기 장면 변경점에 근거하여 상기 멀티미디어 콘텐츠를 복수의 장면으로 분할하는
    메타데이터 편집 장치.
  4. 힌트 정보로서, 메타데이터에 포함되는 기술자의 명칭 또는 식별자를 기술하는 힌트 정보 기술 방법.
  5. 힌트 정보로서, 메타데이터에 포함되는 기술자가 취득하는 값의 범위를 기술하는 힌트 정보 기술 방법.
  6. 힌트 정보로서, 메타데이터에 포함되는 기술자의 출현 개수와 출현 위치를 기술하는 힌트 정보 기술 방법.
  7. 제 6 항에 있어서,
    메타데이터에 포함되는 기술자의 출현 위치를 그 기술자 고유의 식별자 또는 그 기술자가 출현하는 계층 구조의 깊이의 최대값으로 기술하는 힌트 정보 기술 방법.
  8. 힌트 정보로서, 메타데이터에 포함되는 기술자가 계층적으로 구성될 때, 계층 구조의 깊이의 최대값을 기술하는 힌트 정보 기술 방법.
  9. 힌트 정보로서, 메타데이터에 포함되는 기술자의 출현 개수의 총합을 기술하는 힌트 정보 기술 방법.
  10. 힌트 정보로서, 메타데이터의 문법을 규정하는 신택스 파일의 소재를 기술하 는 힌트 정보 기술 방법.
  11. 힌트 정보로서, 메타데이터의 문법을 규정하는 신택스 파일에 비추어 자요소(子要素)를 가질 수 있다고 판단되는 기술자가, 실제로 메타데이터 내에서 모든 자요소를 포함하고 있는지 여부를 지시하는 정보를 기술하는 힌트 정보 기술 방법.
  12. 콘텐츠의 의미 내용, 구조, 특징을 기술하는 하나 또는 복수의 기술자로 이루어지는 메타데이터로부터, 메타데이터 수신 장치의 능력이나 통신 환경, 사용자 요구 중 어느 하나에 적합한 기술만을 추출하여 재구성하는 메타데이터 재생성 장치에 있어서,
    메타데이터에 포함되는 기술자의 명칭 또는 식별자를 기술한 힌트 정보를 해석하는 힌트 정보 해석 수단과,
    해석된 상기 힌트 정보를 이용하여 메타데이터로 재생성 후의 메타데이터에 필요한 기술이 포함되어 있는지 여부를 판단하는 메타데이터 해석 수단을 구비하는
    메타데이터 재생성 장치.
  13. 제 12 항에 있어서,
    메타데이터에 포함되는 기술자의 출현 위치와 출현 빈도를 기술한 힌트 정보를 해석하는 수단과,
    해석된 상기 힌트 정보를 이용하여 출현 위치에 대응하는 기술자를 모두 해석했는지, 또는 출현 빈도분의 해석을 종료했는지를 판단하는 메타데이터 해석 수단을 구비하는
    메타데이터 재생성 장치.
  14. 제 12 항 또는 제 13 항에 있어서,
    메타데이터의 재생성 후에, 재생성된 메타데이터에 대응하는 힌트 정보를 재생성하는 수단을 구비하는 메타데이터 재생성 장치.
  15. 메타데이터로부터, 메타데이터 수신 장치의 능력이나 통신 환경, 사용자 요구 중 어느 하나에 적합한 기술만을 추출하여 재구성한 메타데이터를 배신하는 메타데이터 배신 장치에 있어서,
    메타데이터에 포함되는 기술자의 명칭 또는 식별자를 기술한 힌트 정보를 해석하는 힌트 정보 해석 수단과,
    해석된 상기 힌트 정보를 이용하여 메타데이터로 재생성 후의 메타데이터에 필요한 기술이 포함되어 있는지 여부를 판단하는 메타데이터 해석 수단을 구비하는
    메타데이터 배신 장치.
  16. 제 15 항에 있어서,
    메타데이터에 포함되는 기술자의 출현 위치와 출현 빈도를 기술한 힌트 정보를 해석하는 수단과,
    해석된 상기 힌트 정보를 이용하여, 출현 위치에 대응하는 기술자를 모두 해석했는지, 또는 출현 빈도분의 해석을 종료했는지를 판단하는 메타데이터 해석 수단을 구비하는
    메타데이터 배신 장치.
  17. 메타데이터를 이용하여, 콘텐츠를 검색하는 콘텐츠 검색 장치에 있어서,
    메타데이터에 포함되는 기술자의 명칭 또는 식별자를 기술한 힌트 정보를 해석하는 힌트 정보 해석 수단과,
    해석된 상기 힌트 정보를 이용하여 검색에 이용되는 기술자가 포함되어 있는지 여부를 판단하는 메타데이터 해석 수단을 구비하는
    콘텐츠 검색 장치.
  18. 제 17 항에 있어서,
    메타데이터에 포함되는 기술자의 출현 위치와 출현 빈도를 기술한 힌트 정보를 해석하는 수단과,
    해석된 상기 힌트 정보를 이용하여 출현 위치에 대응하는 기술자를 모두 해석했는지, 또는 출현 개수분의 해석을 종료했는지를 판단하는 메타데이터 해석 수단을 구비한
    콘텐츠 검색 장치.
  19. 청구항 4 내지 청구항 11 중 어느 한 항에 기재된 힌트 정보 기술 방법에 의해 생성된 힌트 정보와, 메타데이터 재생성에 관한 외부 조건을 취득하고, 취득된 힌트 정보를 해석하는 수단과,
    해석된 상기 힌트 정보와 상기 메타데이터 재생성에 관한 외부 조건을 이용하여, 메타데이터 재생성에 관한 조건을 설정하는 수단을 구비한
    메티데이터 재생성 조건 설정 장치.
  20. 하나 이상의 콘텐츠를 콘텐츠 수신 장치의 능력이나 통신 환경, 사용자 요구 중 어느 하나에 적합한 콘텐츠로 재생성하는 콘텐츠 재생성 장치에 있어서,
    콘텐츠의 의미 내용, 구조, 특징을 기술하는 하나 또는 복수의 기술자로 이루어지는 메타데이터에 포함되는 기술자의 명칭 또는 식별자를 기술한 힌트 정보를 해석하는 힌트 정보 해석 수단과,
    해석된 상기 힌트 정보를 이용하여 콘텐츠의 재재생에 필요한 기술이 포함되어 있는지 여부를 판단하는 메타데이터 해석 수단을 구비하는
    것을 특징으로 하는 콘텐츠 재생성 장치.
  21. 메타데이터로부터 메타데이터 수신 장치의 능력이나 통신 환경, 사용자의 요구 중 어느 하나에 적합한 기술만을 추출하여 재구성하는 메타데이터 재생성 방법에 있어서,
    메타데이터에 포함되는 기술자의 명칭 또는 식별자를 기술한 힌트 정보를 해석하고, 해석된 상기 힌트 정보를 이용하여 메타데이터로 재생성 후의 메타데이터에 필요한 기술이 포함되어 있는지 여부를 판단하는 메타데이터 재생성 방법.
  22. 하나 이상의 콘텐츠를 콘텐츠 수신 장치의 능력이나 통신 환경, 사용자의 요구 중 어느 하나에 적합한 콘텐츠로 재생성하는 콘텐츠 재생성 방법에 있어서,
    콘텐츠의 의미 내용, 구조, 특징을 기술하는 하나 또는 복수의 기술자로 이루어지는 메타데이터에 포함되는 기술자의 명칭 또는 식별자를 기술한 힌트 정보를 해석 하고, 해석된 상기 힌트 정보를 이용하여, 콘텐츠의 재재생에 필요한 기술이 포함되어 있는지 여부를 판단하는 콘텐츠 재생성 방법.
KR1020067015167A 2002-04-12 2003-03-20 콘텐츠 처리 방법 KR100986401B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002110259 2002-04-12
JPJP-P-2002-00110259 2002-04-12
JP2002178169 2002-06-19
JPJP-P-2002-00178169 2002-06-19

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020047016204A Division KR100912984B1 (ko) 2002-04-12 2003-03-20 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020107009513A Division KR100997599B1 (ko) 2002-04-12 2003-03-20 콘텐츠 처리 방법

Publications (2)

Publication Number Publication Date
KR20060097767A true KR20060097767A (ko) 2006-09-15
KR100986401B1 KR100986401B1 (ko) 2010-10-08

Family

ID=29253534

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020107009513A KR100997599B1 (ko) 2002-04-12 2003-03-20 콘텐츠 처리 방법
KR1020067015167A KR100986401B1 (ko) 2002-04-12 2003-03-20 콘텐츠 처리 방법
KR1020087012071A KR100918725B1 (ko) 2002-04-12 2003-03-20 메타데이터 재생성 조건 설정 장치
KR1020047016204A KR100912984B1 (ko) 2002-04-12 2003-03-20 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020107009513A KR100997599B1 (ko) 2002-04-12 2003-03-20 콘텐츠 처리 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020087012071A KR100918725B1 (ko) 2002-04-12 2003-03-20 메타데이터 재생성 조건 설정 장치
KR1020047016204A KR100912984B1 (ko) 2002-04-12 2003-03-20 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법

Country Status (10)

Country Link
US (7) US7826709B2 (ko)
EP (7) EP2202978A1 (ko)
JP (5) JPWO2003088665A1 (ko)
KR (4) KR100997599B1 (ko)
CN (1) CN100367794C (ko)
AU (1) AU2003221185A1 (ko)
CA (2) CA2664732C (ko)
SG (1) SG152905A1 (ko)
TW (1) TWI231140B (ko)
WO (1) WO2003088665A1 (ko)

Families Citing this family (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050162515A1 (en) * 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
DE602004027252D1 (de) * 2003-07-08 2010-07-01 Panasonic Corp Inhaltsspeichersystem, home-server-vorrichtung, informationszuführungsvorrichtung, integrierte schaltung und programm
TWI478154B (zh) * 2003-10-04 2015-03-21 Samsung Electronics Co Ltd 儲存搜尋資訊的再生方法
DE60318451T2 (de) * 2003-11-12 2008-12-11 Sony Deutschland Gmbh Automatische Zusammenfassung für eine Vorschlagsmaschine von Fernsehprogrammen beruhend auf Verbraucherpräferenzen
KR20070007788A (ko) * 2004-01-30 2007-01-16 마츠시타 덴끼 산교 가부시키가이샤 콘텐츠 재생장치
WO2005116858A1 (en) * 2004-05-25 2005-12-08 Samsung Electronics Co., Ltd. Method of reproducing multimedia data using musicphotovideo profiles and reproducing apparatus using the method
WO2005120055A2 (en) * 2004-05-26 2005-12-15 Skipjam Corp. Method and system for displaying and selecting content of an electronic program guide
US8953908B2 (en) * 2004-06-22 2015-02-10 Digimarc Corporation Metadata management and generation using perceptual features
US8156123B2 (en) * 2004-06-25 2012-04-10 Apple Inc. Method and apparatus for processing metadata
US9053754B2 (en) * 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
KR100619064B1 (ko) * 2004-07-30 2006-08-31 삼성전자주식회사 메타 데이터를 포함하는 저장 매체, 그 재생 장치 및 방법
JP2006066015A (ja) 2004-08-30 2006-03-09 Sony Corp 画像情報記録装置および画像情報表示装置
KR100565080B1 (ko) * 2004-09-13 2006-03-30 삼성전자주식회사 대표 타이틀 정보가 부가된 메타 데이터를 포함한 ａｖ데이터를 기록한 정보저장매체, 그 재생장치 및 메타데이터 검색방법
KR100602388B1 (ko) * 2004-11-17 2006-07-20 주식회사 픽스트리 엠펙-21 멀티미디어 프레임워크에서의 리소스 참조 방법
KR20060065476A (ko) 2004-12-10 2006-06-14 엘지전자 주식회사 기록매체, 기록매체 내의 콘텐츠 서치방법 및 기록매체재생방법과 재생장치
CN101088088A (zh) * 2004-12-24 2007-12-12 皇家飞利浦电子股份有限公司 一种编辑节目检索信息的方法和装置
JP4349277B2 (ja) * 2004-12-24 2009-10-21 株式会社日立製作所 動画再生装置
CN101137976A (zh) * 2005-01-07 2008-03-05 韩国电子通信研究院 利用游戏元数据提供自适应广播服务的设备和方法
JP4978894B2 (ja) * 2005-01-25 2012-07-18 日本電気株式会社 構造化文書検索装置、構造化文書検索方法および構造化文書検索プログラム
FR2883441A1 (fr) * 2005-03-17 2006-09-22 Thomson Licensing Sa Procede de selection de parties d'une emission audiovisuelle et dispositif mettant en oeuvre le procede
TWI309389B (en) * 2005-05-06 2009-05-01 Sunplus Technology Co Ltd Digital audio-video information reproducing apparatus and reproducing method thereof
KR100654455B1 (ko) 2005-05-26 2006-12-06 삼성전자주식회사 확장형 자막 파일을 이용하여 부가정보를 제공하는 장치 및방법
WO2007000649A1 (en) * 2005-06-27 2007-01-04 Nokia Corporation Transport mechanisms for dynamic rich media scenes
US20070022215A1 (en) * 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
US20080130989A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP4514671B2 (ja) * 2005-08-03 2010-07-28 シャープ株式会社 コンテンツ編集装置、コンピュータ読み取り可能なプログラム及びそれを記録した記録媒体
US20070078883A1 (en) * 2005-09-30 2007-04-05 Yahoo! Inc. Using location tags to render tagged portions of media files
US20070078896A1 (en) * 2005-09-30 2007-04-05 Yahoo! Inc. Identifying portions within media files with location tags
US20070078898A1 (en) * 2005-09-30 2007-04-05 Yahoo! Inc. Server-based system and method for retrieving tagged portions of media files
EP1949697B1 (en) * 2005-10-13 2014-08-20 LG Electronics Inc. Method and apparatus for encoding/decoding
US7743363B2 (en) * 2005-10-13 2010-06-22 Microsoft Corporation Extensible meta-data
US8180826B2 (en) * 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US20090123086A1 (en) * 2005-10-31 2009-05-14 Sharp Kabushiki Kaisha View environment control system
US8856118B2 (en) * 2005-10-31 2014-10-07 Qwest Communications International Inc. Creation and transmission of rich content media
US8196032B2 (en) * 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing
JP2007179435A (ja) * 2005-12-28 2007-07-12 Sony Corp 情報処理装置、情報処理方法、プログラム
US7421455B2 (en) * 2006-02-27 2008-09-02 Microsoft Corporation Video search and services
US20070204238A1 (en) * 2006-02-27 2007-08-30 Microsoft Corporation Smart Video Presentation
US7873946B2 (en) * 2006-03-23 2011-01-18 Oracle America, Inc. Scalable vector graphics, tree and tab as drag and drop objects
JP2007265341A (ja) * 2006-03-30 2007-10-11 Sony Corp コンテンツ利用方法、コンテンツ利用装置、コンテンツ記録方法、コンテンツ記録装置、コンテンツ提供システム、コンテンツ受信方法、コンテンツ受信装置およびコンテンツデータフォーマット
JP4377887B2 (ja) * 2006-03-30 2009-12-02 株式会社東芝 映像分割装置
US7827155B2 (en) * 2006-04-21 2010-11-02 Microsoft Corporation System for processing formatted data
US8549492B2 (en) * 2006-04-21 2013-10-01 Microsoft Corporation Machine declarative language for formatted data processing
JP4760572B2 (ja) * 2006-06-30 2011-08-31 ソニー株式会社 編集装置および編集方法、並びにプログラム
US8275814B2 (en) * 2006-07-12 2012-09-25 Lg Electronics Inc. Method and apparatus for encoding/decoding signal
US20080019281A1 (en) * 2006-07-21 2008-01-24 Microsoft Corporation Reuse of available source data and localizations
US7769363B2 (en) * 2006-08-01 2010-08-03 Chew Gregory T H User-initiated communications during multimedia content playback on a mobile communications device
US20080065693A1 (en) * 2006-09-11 2008-03-13 Bellsouth Intellectual Property Corporation Presenting and linking segments of tagged media files in a media services network
EP2063635A4 (en) * 2006-09-12 2009-12-09 Panasonic Corp CONTENT IMAGE FORMATION DEVICE
US20100215334A1 (en) * 2006-09-29 2010-08-26 Sony Corporation Reproducing device and method, information generation device and method, data storage medium, data structure, program storage medium, and program
JP2008099012A (ja) * 2006-10-12 2008-04-24 Mitsubishi Electric Corp コンテンツ再生システム及びコンテンツ蓄積システム
US8271553B2 (en) 2006-10-19 2012-09-18 Lg Electronics Inc. Encoding method and apparatus and decoding method and apparatus
KR101317204B1 (ko) * 2006-11-27 2013-10-10 삼성전자주식회사 동적 영상물의 프레임 정보를 생성하는 방법 및 이를이용한 장치
KR100827241B1 (ko) * 2006-12-18 2008-05-07 삼성전자주식회사 동적 영상물을 생성하기 위한 템플릿을 편집하는 장치 및방법
FR2910769B1 (fr) * 2006-12-21 2009-03-06 Thomson Licensing Sas Procede de creation d'un resume d'un document audiovisuel comportant un sommaire et des reportages, et recepteur mettant en oeuvre le procede
CN103559165B (zh) 2007-01-05 2016-08-17 索尼克知识产权股份有限公司 包含连续播放的视频分配系统
US8671346B2 (en) * 2007-02-09 2014-03-11 Microsoft Corporation Smart video thumbnail
KR100864524B1 (ko) * 2007-02-14 2008-10-21 주식회사 드리머 디지털 방송 데이터 어플리케이션 실행 방법 및 이를실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한기록 매체
JP4511569B2 (ja) * 2007-03-26 2010-07-28 株式会社エヌ・ティ・ティ・ドコモ 遠隔視聴システム及び遠隔視聴方法
JP4469868B2 (ja) * 2007-03-27 2010-06-02 株式会社東芝 説明表現付加装置、プログラムおよび説明表現付加方法
JP4734407B2 (ja) * 2007-04-05 2011-07-27 株式会社ソニー・コンピュータエンタテインメント コンテンツ配信装置、コンテンツ配信システム、メタデータ生成方法及びコンテンツ配信装置の制御方法
EP1983755A1 (en) * 2007-04-17 2008-10-22 Thomson Licensing Method to transmit video data in a data stream and associated metadata
JPWO2008136466A1 (ja) * 2007-05-01 2010-07-29 株式会社Ｄｅｐ 動画編集装置
KR100935862B1 (ko) * 2007-07-06 2010-01-07 드리머 매체 재생 장치 기반 컨텐츠 제공 시스템
JP4360428B2 (ja) * 2007-07-19 2009-11-11 ソニー株式会社 記録装置、記録方法、コンピュータプログラムおよび記録媒体
JP4420085B2 (ja) * 2007-08-20 2010-02-24 ソニー株式会社 データ処理装置、データ処理方法、プログラムおよび記録媒体
KR101268987B1 (ko) * 2007-09-11 2013-05-29 삼성전자주식회사 메타데이터를 자동적으로 생성/갱신하는 멀티미디어 데이터기록 방법 및 장치
KR20090031142A (ko) * 2007-09-21 2009-03-25 삼성전자주식회사 컨텐츠 생성시 관련된 컨텐츠를 표시하는 ｇｕｉ 제공방법및 이를 적용한 멀티미디어 기기
KR101034758B1 (ko) * 2007-10-04 2011-05-17 에스케이 텔레콤주식회사 통합 멀티미디어 파일의 초기 실행 방법과 이를 위한시스템
US20090158157A1 (en) * 2007-12-14 2009-06-18 Microsoft Corporation Previewing recorded programs using thumbnails
JP2009152927A (ja) * 2007-12-21 2009-07-09 Sony Corp コンテンツの再生方法および再生システム
KR20090079010A (ko) * 2008-01-16 2009-07-21 삼성전자주식회사 프로그램 정보 표시 방법 및 장치
JP5033653B2 (ja) * 2008-01-21 2012-09-26 株式会社日立製作所 映像記録再生装置及び映像再生装置
JP5188260B2 (ja) * 2008-05-08 2013-04-24 キヤノン株式会社 画像処理装置、画像処理方法ならびにそのプログラムおよび記憶媒体
US20090287655A1 (en) * 2008-05-13 2009-11-19 Bennett James D Image search engine employing user suitability feedback
WO2009149442A1 (en) * 2008-06-06 2009-12-10 Divx, Inc. Systems and methods for font file optimization for multimedia files
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
US20090315980A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Image processing method and apparatus
WO2009157713A2 (en) * 2008-06-24 2009-12-30 Samsung Electronics Co., Ltd. Image processing method and apparatus
US20090315981A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Ltd. Image processing method and apparatus
JP5649273B2 (ja) * 2008-08-25 2015-01-07 株式会社東芝 情報処理装置、情報処理方法および情報処理プログラム
JP5091806B2 (ja) * 2008-09-01 2012-12-05 株式会社東芝 映像処理装置及びその方法
JP5322550B2 (ja) * 2008-09-18 2013-10-23 三菱電機株式会社 番組推奨装置
US8239359B2 (en) * 2008-09-23 2012-08-07 Disney Enterprises, Inc. System and method for visual search in a video media player
KR101592943B1 (ko) * 2008-12-11 2016-02-12 엘지전자 주식회사 이동 단말기 및 이동 단말기의 데이터 관리 방법
KR20110032610A (ko) * 2009-09-23 2011-03-30 삼성전자주식회사 장면 분할 장치 및 방법
KR20110047768A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 멀티미디어 컨텐츠 재생 장치 및 방법
CN102065237B (zh) * 2009-11-13 2014-12-24 新奥特（北京）视频技术有限公司 一种方便处理字幕文件的字幕机
EP2499612A4 (en) * 2009-11-13 2013-07-31 Samsung Electronics Co Ltd METHOD AND DEVICE FOR DATA MANAGEMENT
JP2011130279A (ja) * 2009-12-18 2011-06-30 Sony Corp コンテンツ提供サーバ、コンテンツ再生装置、コンテンツ提供方法、コンテンツ再生方法、プログラムおよびコンテンツ提供システム
WO2011087814A2 (en) * 2009-12-21 2011-07-21 Estefano Emilio Isaias Video segment management and distribution system and method
JP2011188342A (ja) * 2010-03-10 2011-09-22 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP5913788B2 (ja) * 2010-03-25 2016-04-27 ソニー株式会社 コンテンツサーバ、コンテンツ提供システム及びコンテンツ提供方法
US8447604B1 (en) 2010-04-12 2013-05-21 Adobe Systems Incorporated Method and apparatus for processing scripts and related data
KR101746453B1 (ko) * 2010-04-12 2017-06-13 삼성전자주식회사 실감 효과 처리 시스템 및 방법
US9276986B2 (en) * 2010-04-27 2016-03-01 Nokia Technologies Oy Systems, methods, and apparatuses for facilitating remote data processing
GB2481185A (en) * 2010-05-28 2011-12-21 British Broadcasting Corp Processing audio-video data to produce multi-dimensional complex metadata
US8806340B2 (en) * 2010-09-01 2014-08-12 Hulu, LLC Method and apparatus for embedding media programs having custom user selectable thumbnails
JP5671288B2 (ja) * 2010-09-24 2015-02-18 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理方法及び情報処理システム
US9753609B2 (en) * 2010-12-03 2017-09-05 Facebook, Inc. User interface with media wheel facilitating viewing of media objects
US8587672B2 (en) 2011-01-31 2013-11-19 Home Box Office, Inc. Real-time visible-talent tracking system
US9264484B1 (en) * 2011-02-09 2016-02-16 Google Inc. Attributing preferences to locations for serving content
CN102143001B (zh) * 2011-04-02 2013-10-09 西南科技大学 一种基于语义理解的音频资源管理方法
GB2491894A (en) * 2011-06-17 2012-12-19 Ant Software Ltd Processing supplementary interactive content in a television system
US9146909B2 (en) * 2011-07-27 2015-09-29 Qualcomm Incorporated Web browsing enhanced by cloud computing
KR101315608B1 (ko) * 2011-09-27 2013-10-18 엘지전자 주식회사 컨텐츠 관리 방법 및 그를 이용한 영상 표시 장치
US20130089301A1 (en) * 2011-10-06 2013-04-11 Chi-cheng Ju Method and apparatus for processing video frames image with image registration information involved therein
US9536044B2 (en) 2011-12-06 2017-01-03 Microsoft Technology Licensing, Llc Metadata extraction pipeline
US9100291B2 (en) * 2012-01-31 2015-08-04 Db Networks, Inc. Systems and methods for extracting structured application data from a communications link
US9525642B2 (en) 2012-01-31 2016-12-20 Db Networks, Inc. Ordering traffic captured on a data connection
TWI461955B (zh) * 2012-02-20 2014-11-21 Univ Nat Cheng Kung 惡意程式破壞系統及其破壞方法
JP2015517233A (ja) * 2012-02-29 2015-06-18 ドルビー ラボラトリーズ ライセンシング コーポレイション 改善された画像処理およびコンテンツ送達のための画像メタデータ生成
KR101952260B1 (ko) 2012-04-03 2019-02-26 삼성전자주식회사 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법
KR101332834B1 (ko) * 2012-04-03 2013-11-27 모젼스랩(주) 온톨로지 기반 전시관련 서비스 제공방법
SE537206C2 (sv) * 2012-04-11 2015-03-03 Vidispine Ab Metod och system för sökningar i digitalt innehåll
EP2680601A1 (en) * 2012-06-29 2014-01-01 Moda e Technologia S.r.l. Video streams management system for a television apparatus
US20140136545A1 (en) 2012-10-05 2014-05-15 International Business Machines Corporation Multi-tier Indexing Methodology for Scalable Mobile Device Data Collection
TWI474201B (zh) * 2012-10-17 2015-02-21 Inst Information Industry Construction system scene fragment, method and recording medium
KR101537665B1 (ko) * 2013-02-26 2015-07-20 주식회사 알티캐스트 콘텐츠 재생 방법 및 장치
EP2809077A1 (en) * 2013-05-27 2014-12-03 Thomson Licensing Method and apparatus for classification of a file
EP2809078A1 (en) * 2013-05-27 2014-12-03 Thomson Licensing Method and apparatus for managing metadata files
US9197926B2 (en) 2013-06-05 2015-11-24 International Business Machines Corporation Location based determination of related content
KR101775938B1 (ko) 2013-07-30 2017-09-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들
US20150331551A1 (en) * 2014-05-14 2015-11-19 Samsung Electronics Co., Ltd. Image display apparatus, image display method, and computer-readable recording medium
WO2015176202A1 (zh) * 2014-05-19 2015-11-26 华为技术有限公司 一种多媒体显示的方法、装置和设备
KR102190233B1 (ko) * 2014-10-06 2020-12-11 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
KR101640317B1 (ko) 2014-11-20 2016-07-19 소프트온넷(주) 오디오 및 비디오 데이터를 포함하는 영상의 저장 및 검색 장치와 저장 및 검색 방법
KR102380979B1 (ko) * 2015-01-05 2022-04-01 삼성전자 주식회사 이미지의 메타데이터 관리 방법 및 장치
KR102306538B1 (ko) * 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
JP2016144080A (ja) * 2015-02-03 2016-08-08 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR102310241B1 (ko) * 2015-04-29 2021-10-08 삼성전자주식회사 소스 디바이스, 그의 제어 방법, 싱크 디바이스 및 그의 화질 개선 처리 방법
US9554160B2 (en) * 2015-05-18 2017-01-24 Zepp Labs, Inc. Multi-angle video editing based on cloud video sharing
US9917870B2 (en) 2015-06-23 2018-03-13 Facebook, Inc. Streaming media presentation system
US10462524B2 (en) * 2015-06-23 2019-10-29 Facebook, Inc. Streaming media presentation system
US10375443B2 (en) 2015-07-31 2019-08-06 Rovi Guides, Inc. Method for enhancing a user viewing experience when consuming a sequence of media
US10062413B2 (en) * 2015-10-16 2018-08-28 Tribune Broadcasting Company, Llc Media-production system with social media content interface feature
US10645465B2 (en) * 2015-12-21 2020-05-05 Centurylink Intellectual Property Llc Video file universal identifier for metadata resolution
US11023417B2 (en) * 2017-05-30 2021-06-01 Home Box Office, Inc. Video content graph including enhanced metadata
CN108829881B (zh) * 2018-06-27 2021-12-03 深圳市腾讯网络信息技术有限公司 视频标题生成方法及装置
JP6688368B1 (ja) * 2018-11-13 2020-04-28 西日本電信電話株式会社 映像コンテンツ構造化装置、映像コンテンツ構造化方法、及びコンピュータプログラム
CN112150778A (zh) * 2019-06-29 2020-12-29 华为技术有限公司 环境音处理方法及相关装置
KR102250642B1 (ko) * 2019-10-31 2021-05-11 테크온미디어(주) 효율적인 콘텐츠 유통을 위한 탈중앙화된 콘텐츠 분산 관리 시스템 및 이를 수행하기 위한 컴퓨팅 장치
JP2021132281A (ja) * 2020-02-19 2021-09-09 Jcc株式会社 メタデータ生成システムおよびメタデータ生成方法
US20210319230A1 (en) * 2020-04-10 2021-10-14 Gracenote, Inc. Keyframe Extractor
US11526612B2 (en) 2020-09-22 2022-12-13 International Business Machines Corporation Computer file metadata segmentation security system

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5119465A (en) * 1989-06-19 1992-06-02 Digital Equipment Corporation System for selectively converting plurality of source data structures through corresponding source intermediate structures, and target intermediate structures into selected target structure
US5758180A (en) * 1993-04-15 1998-05-26 Sony Corporation Block resizing function for multi-media editing which moves other blocks in response to the resize only as necessary
JP3194837B2 (ja) * 1994-07-19 2001-08-06 日本電信電話株式会社 代表画面抽出方法および装置
JP3144285B2 (ja) * 1995-11-30 2001-03-12 松下電器産業株式会社 映像処理装置
JP3529540B2 (ja) 1996-03-07 2004-05-24 Ｋｄｄｉ株式会社 動画像検索装置
WO1997034240A1 (en) * 1996-03-15 1997-09-18 University Of Massachusetts Compact tree for storage and retrieval of structured hypermedia documents
US5986675A (en) * 1996-05-24 1999-11-16 Microsoft Corporation System and method for animating an object in three-dimensional space using a two-dimensional input device
US20010038719A1 (en) * 1996-10-14 2001-11-08 Nikon Corporation Information processing apparatus
JP3633229B2 (ja) * 1997-09-01 2005-03-30 セイコーエプソン株式会社 発光素子の製造方法および多色表示装置の製造方法
AUPO918697A0 (en) * 1997-09-15 1997-10-09 Canon Information Systems Research Australia Pty Ltd Enhanced information gathering apparatus and method
KR100284574B1 (ko) * 1997-10-27 2001-03-15 정선종 객체자동저장시스템및그운용방법
US6134558A (en) * 1997-10-31 2000-10-17 Oracle Corporation References that indicate where global database objects reside
US6751623B1 (en) * 1998-01-26 2004-06-15 At&T Corp. Flexible interchange of coded multimedia facilitating access and streaming
JPH11238071A (ja) * 1998-02-20 1999-08-31 Toshiba Corp ダイジェスト作成装置及びダイジェスト作成方法
US6085198A (en) * 1998-06-05 2000-07-04 Sun Microsystems, Inc. Integrated three-tier application framework with automated class and table generation
US6711590B1 (en) * 1998-07-10 2004-03-23 Canon Kabushiki Kaisha Linking metadata with a time-sequential digital signal
KR100279735B1 (ko) * 1998-11-20 2001-02-01 정선종 메타데이터를 이용한 멀티미디어 컨텐츠 전달방법
JP2000253337A (ja) * 1999-02-24 2000-09-14 Sony Corp 画面の制御方法および画面の制御装置および映像再生方法および映像再生装置および映像情報の記録方法および映像情報の記録装置およびコンピュータが読み取り可能な記録媒体
US7362946B1 (en) * 1999-04-12 2008-04-22 Canon Kabushiki Kaisha Automated visual image editing system
JP4227241B2 (ja) 1999-04-13 2009-02-18 キヤノン株式会社 画像処理装置及び方法
JP2001008136A (ja) * 1999-06-21 2001-01-12 Victor Co Of Japan Ltd マルチメディアデータのオーサリング装置
JP2001028722A (ja) * 1999-07-13 2001-01-30 Matsushita Electric Ind Co Ltd 動画像管理装置及び動画像管理システム
JP2001111957A (ja) * 1999-08-16 2001-04-20 Univ Of Washington ビデオシーケンスの対話型処理方法と、その記憶媒体およびシステム
AU7588100A (en) * 1999-09-16 2001-04-17 Ixl Enterprises, Inc. System and method for linking media content
KR100373371B1 (ko) * 1999-09-20 2003-02-25 한국전자통신연구원 메타데이터의 중요도 결정기법을 적용한 비디오 데이터 검색방법
JP3738631B2 (ja) * 1999-09-27 2006-01-25 三菱電機株式会社 画像検索システムおよび画像検索方法
WO2001024046A2 (en) 1999-09-29 2001-04-05 Xml-Global Technologies, Inc. Authoring, altering, indexing, storing and retrieving electronic documents embedded with contextual markup
KR100371813B1 (ko) 1999-10-11 2003-02-11 한국전자통신연구원 효율적인 비디오 개관 및 브라우징을 위한 요약 비디오 기술구조 및 이의 기록매체, 이를 이용한 요약 비디오 기술 데이터 생성 방법 및 생성시스템, 요약 비디오 기술 데이터의 브라우징 장치 및 브라우징 방법.
KR100305964B1 (ko) 1999-10-22 2001-11-02 구자홍 사용자 적응적인 다단계 요약 스트림 제공방법
JP3478331B2 (ja) * 1999-10-29 2003-12-15 株式会社リコー 構造表示方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001167099A (ja) * 1999-12-07 2001-06-22 Nippon Hoso Kyokai <Nhk> 映像・音声オブジェクトを基本としたデータベース装置
JP2001167109A (ja) 1999-12-08 2001-06-22 Kddi Corp オーディオビデオ情報の特徴記述群構成方法
US7212972B2 (en) 1999-12-08 2007-05-01 Ddi Corporation Audio features description method and audio video features description collection construction method
EP1177691B1 (en) 2000-03-13 2011-01-26 Sony Corporation Method and apparatus for generating compact transcoding hints metadata
KR100739031B1 (ko) * 2000-03-27 2007-07-25 주식회사 큐론 멀티미디어 검색시스템에서 ｍｐｅｇ－７ 표준 메타데이터의 은닉 및 검출 방법과 이를 이용한 멀티미디어 데이터의 검색 방법
JP3517631B2 (ja) * 2000-05-08 2004-04-12 株式会社リコー ダイジェスト映像蓄積方法およびダイジェスト映像蓄積装置
JP2001320693A (ja) * 2000-05-12 2001-11-16 Sony Corp サービス提供装置および方法、受信端末装置および方法、サービス提供システム
JP4953496B2 (ja) * 2000-05-15 2012-06-13 ソニー株式会社 コンテンツ検索・提示システム及び方法、並びに、ソフトウェア記憶媒体
US6646676B1 (en) * 2000-05-17 2003-11-11 Mitsubishi Electric Research Laboratories, Inc. Networked surveillance and control system
JP2001326901A (ja) * 2000-05-18 2001-11-22 Sharp Corp 動画像シーン情報管理装置
JP3600186B2 (ja) * 2000-05-19 2004-12-08 株式会社リコー 映像検索装置
JP2001357008A (ja) * 2000-06-14 2001-12-26 Mitsubishi Electric Corp コンテンツ検索配信装置およびコンテンツ検索配信方法
AUPQ867700A0 (en) 2000-07-10 2000-08-03 Canon Kabushiki Kaisha Delivering multimedia descriptions
KR100369222B1 (ko) * 2000-07-26 2003-01-24 (학)창성학원 디지털 비디오 검색 및 저작기
US7054508B2 (en) * 2000-08-03 2006-05-30 Canon Kabushiki Kaisha Data editing apparatus and method
JP4403643B2 (ja) * 2000-08-04 2010-01-27 ソニー株式会社 番組視聴サービスシステム
US6959326B1 (en) * 2000-08-24 2005-10-25 International Business Machines Corporation Method, system, and program for gathering indexable metadata on content at a data repository
US6651253B2 (en) * 2000-11-16 2003-11-18 Mydtv, Inc. Interactive system and method for generating metadata for programming events
JP4536940B2 (ja) * 2001-01-26 2010-09-01 キヤノン株式会社 画像処理装置、画像処理方法、記憶媒体、及びコンピュータプログラム
US7254570B2 (en) * 2001-03-21 2007-08-07 Nokia Corporation Query resolution system and service
JP2003067397A (ja) 2001-06-11 2003-03-07 Matsushita Electric Ind Co Ltd コンテンツ管理システム
US20030088876A1 (en) * 2001-11-08 2003-05-08 Liberate Technologies Video on demand gateway
US20030110501A1 (en) * 2001-12-12 2003-06-12 Rafey Richter A. Personalizing media presentations based on a target duration
JP3826048B2 (ja) * 2002-02-15 2006-09-27 キヤノン株式会社 情報処理装置及び方法
JP3826043B2 (ja) * 2002-01-31 2006-09-27 キヤノン株式会社 情報処理装置及び方法
JP2007179435A (ja) * 2005-12-28 2007-07-12 Sony Corp 情報処理装置、情報処理方法、プログラム
US8386438B2 (en) * 2009-03-19 2013-02-26 Symantec Corporation Method for restoring data from a monolithic backup

Also Published As

Publication number Publication date
AU2003221185A1 (en) 2003-10-27
CA2482431C (en) 2013-03-19
EP2202649A1 (en) 2010-06-30
EP2202977A1 (en) 2010-06-30
US7826709B2 (en) 2010-11-02
KR100918725B1 (ko) 2009-09-24
US20080071836A1 (en) 2008-03-20
KR20100055541A (ko) 2010-05-26
EP2202979A1 (en) 2010-06-30
EP1496701A4 (en) 2009-01-14
JP2009171623A (ja) 2009-07-30
JP2009171621A (ja) 2009-07-30
US20100005070A1 (en) 2010-01-07
CA2664732C (en) 2013-07-02
TW200306114A (en) 2003-11-01
EP2202648A1 (en) 2010-06-30
US20080071838A1 (en) 2008-03-20
US20080071837A1 (en) 2008-03-20
CA2482431A1 (en) 2003-10-23
JP2009171624A (ja) 2009-07-30
TWI231140B (en) 2005-04-11
EP2202978A1 (en) 2010-06-30
US20080065697A1 (en) 2008-03-13
EP1496701A1 (en) 2005-01-12
EP2200315A1 (en) 2010-06-23
JP4987907B2 (ja) 2012-08-01
US8811800B2 (en) 2014-08-19
SG152905A1 (en) 2009-06-29
US20050149557A1 (en) 2005-07-07
JPWO2003088665A1 (ja) 2005-08-25
KR20080064875A (ko) 2008-07-09
CN100367794C (zh) 2008-02-06
WO2003088665A1 (fr) 2003-10-23
CN1647528A (zh) 2005-07-27
JP2009171622A (ja) 2009-07-30
JP4652462B2 (ja) 2011-03-16
KR100997599B1 (ko) 2010-11-30
KR100986401B1 (ko) 2010-10-08
US20080075431A1 (en) 2008-03-27
KR100912984B1 (ko) 2009-08-20
KR20040108726A (ko) 2004-12-24
CA2664732A1 (en) 2003-10-23

Similar Documents

Publication Publication Date Title
KR100912984B1 (ko) 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
KR20050099488A (ko) 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어응용 파일 형식의 인코딩/디코딩 방법 및 시스템
CA2387404A1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
JP4732418B2 (ja) メタデータ処理方法
CN101132528A (zh) 元数据再生、分发、检索装置、元数据再生成条件设定装置
JP4652389B2 (ja) メタデータ処理方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130924

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141001

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150917

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160921

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170920

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 9