KR20050099488A - Method and apparatus for encoding and decoding of a video multimedia application format including both video and metadata - Google Patents

Method and apparatus for encoding and decoding of a video multimedia application format including both video and metadata Download PDF

Info

Publication number
KR20050099488A
KR20050099488A KR1020050088630A KR20050088630A KR20050099488A KR 20050099488 A KR20050099488 A KR 20050099488A KR 1020050088630 A KR1020050088630 A KR 1020050088630A KR 20050088630 A KR20050088630 A KR 20050088630A KR 20050099488 A KR20050099488 A KR 20050099488A
Authority
KR
South Korea
Prior art keywords
video
maf
encoding
information
method
Prior art date
Application number
KR1020050088630A
Other languages
Korean (ko)
Other versions
KR100686521B1 (en
Inventor
노용만
진성호
양승지
Original Assignee
한국정보통신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국정보통신대학교 산학협력단 filed Critical 한국정보통신대학교 산학협력단
Priority to KR1020050088630A priority Critical patent/KR100686521B1/en
Publication of KR20050099488A publication Critical patent/KR20050099488A/en
Application granted granted Critical
Publication of KR100686521B1 publication Critical patent/KR100686521B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00711Recognising video content, e.g. extracting audiovisual features from movies, extracting representative key-frames, discriminating news vs. sport content
    • G06K9/00744Extracting features from the video content, e.g. video "fingerprints", or characteristics, e.g. by automatic extraction of representative shots or key frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Abstract

본 발명은 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어 응용 파일 형식의 인코딩/디코딩 방법 및 시스템에 관한 것이다. The present invention relates to a encoding / decoding method and system of the video file, multimedia applications for the integration of video and metadata format. 즉, 본 발명은 비디오 데이터와 관계된 멀티미디어 콘텐츠 및 메타데이터(metadata)를 결합하는 새로운 비디오 멀티미디어 응용 포맷(Video Multimedia Application Format, Video MAF)을 구성하는 과정에 있어서, 효과적인 인덱싱(indexing) 및 검색을 위해 비디오 데이터 및 내용으로부터 획득한 오디오(audio)/이미지(image)/모션(motion) 특징정보를 비디오 MAF 파일의 메타데이터로 활용하며, 비디오 MAF의 구조에 따라 사용자가 MAF파일내에 포함된 비디오 및 메타데이터를 효과적으로 브라우징(browsing)할 수 있도록 한다. That is, the present invention provides a process of configuring a new video multimedia application format (Video Multimedia Application Format, Video MAF) for combining related multimedia content and metadata (metadata) and the video data, for efficient indexing (indexing) and search audio obtained from the video data and information (audio) / image (image) / motion (motion), and utilizing the feature information in the metadata of the video MAF file, video and metadata contained in the user MAF file according to the structure of the video MAF so that the data can be effectively browsing (browsing).

Description

비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어 응용 파일 형식의 인코딩/디코딩 방법 및 시스템{METHOD AND APPARATUS FOR ENCODING AND DECODING OF A VIDEO MULTIMEDIA APPLICATION FORMAT INCLUDING BOTH VIDEO AND METADATA} Video and metadata of the video file format for multimedia applications, the integration of data encoding / decoding method and system {METHOD AND APPARATUS FOR ENCODING AND DECODING OF A VIDEO MULTIMEDIA APPLICATION FORMAT INCLUDING BOTH VIDEO AND METADATA}

본 발명은 비디오 멀티미디어 응용 포맷(Video Multimedia Application Format: Video MAF)에 관한 것으로, 특히, 비디오 데이터와 관계된 멀티미디어 콘텐츠 및 메타데이터(metadata)를 결합하는 새로운 비디오 멀티미디어 응용 포맷을 구성하는 과정에 있어서, 효과적인 인덱싱(indexing) 및 검색을 위해 비디오 데이터 및 내용으로부터 획득한 오디오(audio)/이미지(image)/모션(motion) 특징정보를 비디오 MAF 파일의 메타데이터로 활용하고, 비디오 MAF의 구조에 따라 사용자가 MAF파일 내에 포함된 비디오 및 메타데이터를 효과적으로 브라우징(browsing)할 수 있도록 하는 비디오 MAF 파일의 인코딩/디코딩 시스템 및 방법에 관한 것이다. The present invention is a video Multimedia Application Format: In the process of configuring, and more particularly, new video multimedia application format to combine the associated multimedia content and metadata (metadata) and the video data on (Video Multimedia Application Format Video MAF), effective utilizing the index (indexing) and audio (audio) obtained from video data and information for detection / image (image) / motion (motion) feature information in the metadata of the video MAF file, and the user according to the structure of the video MAF It relates to an encoding / decoding system and method of the video file to the video MAF and metadata contained in the file so that it can be effectively browsing MAF (browsing).

국제 표준화 기구인 MPEG(Moving Picture Experts Group)은 1988년 MPEG-1의 표준화를 시작으로 현재까지, MPEG-2, MPEG-4, MPEG-7, MPEG-21의 표준화를 수행 중에 있으며, 이와 같은 표준 기술들은 하나의 단일 표준 규격 내에서 필요한 요소들의 집합으로 표준 규격의 프로파일(profile)들로 구성하여, 특정한 응용 서비스를 지원하는 방식을 취하고 있다. International Organization for Standardization in (Moving Picture Experts Group) MPEG is currently starting the standardization of MPEG-1 1988 years, and while performing the standardization of MPEG-2, MPEG-4, MPEG-7, MPEG-21, this Standard technologies are taking the way to consist of profiles (profile) of a standard set of elements required within one single standard, support for specific application services.

그러나, 위와 같은 제한된 표준 규격화는 산업의 다양한 기술적 요구 사항을 하나의 표준 기술로 만족시키기 어렵다는 점 때문에 그 동안 문제가 되어왔다. However, the limited standards Standardization above has been a problem for him because that is difficult to meet the diverse technical requirements of the industry as one of the standard techniques. 즉, 다양한 멀티미디어 표준 기술들이 개발됨에 따라, 서로 다른 표준 기술들을 조합하여, 새로운 멀티미디어 응용 서비스들에 적용시킬 필요성이 대두되고 있다. That is, as multimedia technology standard developed by combining different standard technologies, there is a demand to apply the new multimedia application services.

이를 위해, MPEG-A(MPEG Application: ISO/ICE 23000)에서는 이러한 필요성에 대한 표준화 활동을 진행하고 있다. For this purpose, MPEG-A (MPEG Application: ISO / ICE 23000) and the progress of standardization activities for these needs. MPEG-A에서 진행중인 멀티미디어 응용 형식(Multimedia Application Format, MAF)은 기존의 MPEG 표준들뿐만 아니라, JPEG과 같은 비 MPEG 표준들을 함께 조합함으로써, 산업계의 요구를 적극적으로 대응하여 표준의 활용 가치를 높이고자 하고 있다. Ongoing multimedia application format (Multimedia Application Format, MAF) from MPEG-A, as well as existing MPEG standards, by combining with the non-MPEG standards such as JPEG, and actively respond to the needs of the industry want to increase the utilization value of the standard and. 위와 같은 MAF 표준화의 주요 목적은 MPEG 기술을 쉽게 산업에서 이용할 수 있는 기회를 제공함으로써, 산업에서 필요한 응용 서비스를 위해 별도의 표준을 새로 만드는 노력 없이 이미 검증된 표준 기술을 쉽게 조합할 수 있도록 하는 것이다. Above, the main purpose of such MAF standards is to ensure a by providing opportunities readily available in the industry for MPEG technologies, new proven standard technologies without efforts to create a separate standard for application services required by the industry can be easily combined .

현재 음악 콘텐츠에 대한 응용 파일 형식 표준화가 MPEG Music Player Application Format(ISO/IEC 23000-2)이라는 이름으로 수행되어 음악 MAF는 FDIS(Final Draft International Standard) 상태로 표준화가 거의 완성 단계에 있다. Currently the application file format standard for music content is performed in the name of MPEG Music Player Application Format (ISO / IEC 23000-2) Music MAF is nearing completion in the standard as FDIS (Final Draft International Standard) status. 이로써 기존에 재생만 하던 MP3 재생기의 기능을 확장하여, 음악을 장르에 따라 자동으로 분류하여 재생하거나, 음악을 듣는 동시에 가사를 보여주거나, 음악과 관련된 앨범 재킷 사진 등을 브라우징 할 수 있게 되었다. This extends the functionality of an MP3 player who plays only the existing, renewable automatically sorted according to music genre, or listen to music at the same time show off your lyrics, and was able to browse the album jacket photos related to music. 사용자들이 보다 향상된 음악 서비스를 받을 수 있는 파일 형식이 마련된 것이다. Users will be provided with more than two types of files that can be enhanced music services. 특히, 최근 MP3 재생기가 휴대폰, 게임기(소니의 PSP), 또는 휴대형 멀티미디어 재생기(Portable Multimedia Player, PMP)에 탑재되는 등 소비자에게 인기가 높아지고 있다. In particular, in recent years the MP3 player has become increasingly popular with consumers, such as onboard mobile phones, game consoles (Sony PSP), or portable multimedia players (Portable Multimedia Player, PMP). 따라서 MAF를 이용한 향상된 기능의 음악 재생기를 상용화하는 것도 빠른 시일 내에 가능할 것이다. Thus it will be possible in the earliest commercialization of the music player, enhanced by the MAF.

또한 영상, 특히 사진 콘텐츠에 대한 응용 파일 형식 표준화가 MPEG Photo Player Application Format(ISO/IEC 23000-3)이라는 이름으로 시작되어, 사진 MAF의 형식 표준화 작업은 WD(Working Draft) 상태이다. In addition, a video, in particular, the application file format standard for photo content begins with the name of MPEG Photo Player Application Format (ISO / IEC 23000-3), standardized format of the picture MAF is WD (Working Draft) states. MP3 음악과 마찬가지로, 디지털 카메라 시장이 꾸준히 증가하면서 디지털 카메라를 통하여 획득된 사진(일반적으로 JPEG) 데이터가 급속도로 증가하고 있다. Like MP3 music, and digital camera market with a steadily increasing obtained through a digital camera pictures (usually JPEG) data is increasing rapidly. 사진 데이터를 저장하는 매체(메모리 카드)가 소형화되고 집적화 됨에 따라, 하나의 메모리 카드에 수백 장의 사진을 저장할 수 있게 되었으나, 증가하는 사진의 양과 비례적으로 사용자들이 사진을 관리하면서 느끼는 어려움은 증가하고 있다. As the medium for storing the image data (memory card) compact and integrated, but allows you to store hundreds of photos on a memory card, the amount in proportion to your increase Photo to increase the difficulty and feel while maintaining the picture, have. 따라서, 사진 MAF는 이러한 문제점을 해결하기 위하여 사진 콘텐츠와 관련된 메타데이터를 하나의 파일에 함께 묶는 새로운 파일 형식을 표준화가 시도되고 있다. Thus, the picture MAF has been tried standardize a new file format to tie together the metadata associated with the picture content in a single file in order to solve these problems.

한편, 상기 음악 콘텐츠와 사진 콘텐츠에 대한 표준화 작업과 더불어 개인용 비디오나 방송용 비디오와 같은 비디오 MAF에 관해서도 표준화 연구에 대한 건의가 시작되고, 활용성이 증가할 것으로 예상된다. On the other hand, with the standardization work for the music content and photo content has been suggested to standardize the start of the study with regard to the video MAF such as personal video and broadcast video, it is expected to increase usability. 따라서, 비디오 데이터와 관계된 멀티미디어 콘텐츠 및 메타데이터(metadata)를 결합하는 새로운 비디오 멀티미디어 응용 포맷을 구성하고, 사용자가 비디오 MAF 파일 내에 포함된 비디오 및 메타데이터를 효과적으로 브라우징(browsing)할 수 있도록 한다면 멀티미디어 콘텐츠의 보다 효과적인 활용이 기대된다. Thus, if the configuration of new video multimedia application format to combine the associated multimedia content and metadata (metadata) and the video data, and allow the user to the video and metadata effectively browsing (browsing) to include in the video MAF file multimedia content the more effective utilization is expected.

따라서, 본 발명의 목적은 기존의 비디오 데이터 및 메타데이터의 관리 방법의 문제점을 해결함으로써 사용자가 휴대용 단말에서 효과적으로 비디오를 브라우징할 수 있도록 하기 위하여, 비디오 데이터, 비디오의 구조 및 내용으로부터 얻는 오디오/이미지/모션 특징정보, 사진의 효과적인 인덱싱을 위한 다양한 특징정보를 메타데이터로 활용하여 비디오 MAF 파일로 인코딩하며, 상기 구조에 따라 사용자가 비디오 MAF 파일을 효과적으로 브라우징 및 소비할 수 있도록 비디오 데이터와 관계된 멀티미디어 콘텐츠 및 메타데이터를 결합하는 비디오 MAF 파일 인코딩/디코딩하는 방법 및 시스템을 제공함에 있다. Thus, in order to by object of the present invention to address the management method The problem with the conventional video data and metadata allows the user to effectively browse the video on the portable terminal, the audio / image obtained from the structure and contents of the video data, the video / motion-characteristic information, the various features information, and by utilizing the meta data encoded in video MAF file, the user and related multimedia content with the video data so that it can be effectively browsing and consume video MAF file according to the structure for the effective index of the photo and a video file MAF encoding / decoding method and system for combining the metadata to provide.

또한 본 발명의 다른 목적은 비디오 데이터와 이미지, 자막(subtitle) 그리고, 음악파일을 포함하는 그 외의 멀티미디어 콘텐츠들을 하나로 통합하여 비디오 MAF라는 응용 파일 형식으로 구성하는 과정에서, 비디오 데이터, 비디오의 구조 및 내용으로부터 얻는 오디오/이미지/모션 특징정보, 비디오의 효과적인 인덱싱 및 검색을 위한 요약 정보를 메타데이터로 포함하고, 메타데이터에 기반을 둔 콘텐츠 활용 방법적 도구들을 포함함으로써, 사용자에게 특별한 어플리케이션이 없거나, 메타데이터를 활용하는 기능을 포함하고 있지 않더라도, 멀티미디어 콘텐츠의 효과적인 소비가 가능하게 하는데 있다. In addition, in the course of another object of the present invention is configured as an application file format that integrates other multimedia content one video MAF including video data and image caption (subtitle) and music files, video data, the structure of the video and including summary information for effective indexing and retrieval of audio / image / motion characteristic information, the video gets from the content with metadata, and by including the method can utilize based on metadata ever tool, or the user has a special application, even if it does not include the ability to take advantage of the metadata, and to the effective consumption of multimedia content possible.

상술한 목적을 달성하기 위한 본 발명은, 개인 사용자가 PDA, 디지털 카메라, 휴대폰, 게임기와 같은 휴대용 단말에서 개인용 비디오를 획득/입력하거나 혹은 서비스 제공자나 콘텐츠 제작자가 방송용 비디오를 획득/입력하는 단계, 입력된 비디오로부터 특징정보를 획득하는 비디오 프로세싱 및 저작 단계, 획득된 특징정보들을 가지고 메타데이터를 생성하는 단계, 획득된 비디오 데이터와 메타데이터를 조합하여 비디오 MAF를 인코딩하는 단계, 비디오 MAF를 전송하는 단계, 전송된 비디오 MAF를 디코딩하는 단계, 디코딩된 비디오 데이터를 출력하는 단계, 디코딩된 메타데이터를 출력하는 단계를 포함하는 것을 특징으로 한다. The present invention for achieving the above object, the individual steps of the user and obtaining type / PDA, digital cameras, mobile phones, obtains the personal video on a portable terminal such as a game device / input, or the service provider or the content creator, the broadcast video, acquiring the characteristic information from the inputted video video processing and writing step, with the obtained feature information generating metadata, by combining the video data and the metadata acquiring method comprising: encoding video MAF, for transmitting video MAF phase, characterized in that it comprises the step of decoding the transmitted video MAF, step of outputting step of outputting the decoded video data, the decoded metadata.

또한 본 발명은 발명의 핵심적인 요소로써, 비디오 MAF의 구조 및 비디오 MAF에 포함될 메타데이터의 구성 요소들을 정의하고, 각 구성 요소들의 관계 및 서술 구조를 포함하는 것을 특징으로 한다. In another aspect, the present invention is characterized in that as a key element of the invention, defined the components of the metadata to be included in the structure of video and video MAF MAF, and including the relationship between structure and description of the individual components.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예의 동작을 상세하게 설명한다. With reference to the accompanying drawings, will be described in the preferred embodiment operates in accordance with the present invention in detail.

도 1을 본 발명의 실시 예에 따른 비디오 MAF를 효과적으로 구성하고 인코딩 및 디코딩하기 위한 시스템 구성을 도시한 블록도 이다. It is also effectively configure the video MAF according to a first embodiment of the present invention, encoding and a block diagram showing a structure of a system for decoding.

이하 상기 도 1을 참조하여 각 블록에서의 동작을 상세히 설명하기로 한다. With reference to FIG. 1 will be described with the operation of each block in detail. 먼저 비디오 획득/입력부(Video acquisition/input part)(1000)는 PDA, 휴대폰, 디지털 카메라, 게임기와 같은 휴대용 단말 장치를 이용하여 개인용 비디오를 획득하거나 입력받는다. First video acquisition / input (Video acquisition / input part) (1000) receives the personal video obtained by using a portable terminal device such as PDA, mobile phone, digital camera, game machine, or type. 또한, 서비스 제공자나 콘텐츠 제작자에 의해서, 제공되는 양질의 방송용 비디오를 획득하거나 입력받는다. Further, by the service provider or the content creator, subject, type, or quality of the acquired broadcast video provided.

비디오 프로세싱/저작부(Video processing/authoring prat)(2000)는 입력된 비디오 데이터를 표현할 수 있는 특징정보를 프로세싱하고 저작한다. Video processing / writing unit (Video processing / authoring prat) (2000) processes the feature information that can represent the input video data, and a work. 즉, 비디오 프로세싱/저작부(2000)는 입력되는 비디오로부터 비디오의 샷(shot) 검출, MPEG-7의 오디오/이미지/모션 서술자(descriptor) 검출, 프리뷰(preview) 이미지 및 키프레임(key-frame) 이미지들을 검출한다. That is, the video processing / writing unit (2000) is shot in the video from the input video (shot) is detected, MPEG-7 audio / image / motion descriptor (descriptor) is detected, preview (preview) image and a key frame (key-frame ) detects images.

비디오 메타데이터 생성부(Video metadata creation part)(3000)는 비디오 프로세싱/저작부(2000)에서 추출된 특징정보를 메타데이터로 생성한다. Video metadata generating section (Video metadata creation part) (3000), generates the feature information extracted from the video processing / writing unit 2000 as metadata. 이때 비디오 메타데이터 생성은 MPEG-7 MDS(Multimedia Description Scheme)를 기반으로 하여 XML 형태로 생성하게 된다. The video metadata generation is generated in the XML format based on the MPEG-7 (Multimedia Description Scheme) MDS.

비디오 MAF 인코딩부(Video MAF encoding part)(4000)는 입력된 비디오와 생성된 메타데이터를 조합하여 비디오 MAF를 인코딩 한다. MAF video encoding section (Video MAF encoding part) (4000) is a combination of a metadata generating the input video and encodes the video MAF. 위와 같이 서비스 제공자나 콘텐츠 제작자에 의한 비디오 MAF는 기본적인 질의 응답 서비스 시스템을 통해 사용자의 요청에 의한 응답으로 사용자의 휴대 단말 장치로 전송된다. As above video MAF by the service provider or the content creator it is sent to the user of the mobile terminal apparatus according to the response request of a user through a basic service Q system.

비디오 MAF 디코딩부(Video MAF decoding part)(6000)는 전송된 비디오MAF를 휴대용 단말에서 비디오 데이터와 메타데이터로 디코딩 한다. MAF video decoder (Video MAF decoding part) (6000) decodes the transferred video MAF to the video data and metadata in a portable terminal. 비디오 MAF 재생부(Video MAF player)(7000)는 디코딩된 비디오 데이터를 브라우징하고 디스플레이한다. MAF video playback unit (MAF Video player) (7000) are browsing and displaying the decoded video data. 메타데이터 해석부(Metadata parser)(8000)는 메타데이터로부터 스토리(story)기반 비디오의 표현 및 비디오의 검색을 위한 특징정보를 해석한다. The metadata analysis unit (Metadata parser) (8000) analyzes the characteristic information for the representation and retrieval of the video story (story) based video from the metadata.

본 발명에서는 입력된 비디오 데이터를 표현할 수 있는 특징정보를 프로세싱하고 저작하는 단계에 있어서, 프리뷰 이미지 추출, 샷 검출과 샷 단위의 모션 특징정보 및 오디오 특징정보의 추출, 키프레임의 추출, 키프레임들 단위의 이미지 특징정보의 추출하는 과정을 특징으로 한다. In the present invention, the step of processing, and writing the feature information that can represent the input video data, the preview image extracted motion feature of shot detection and shot unit information and extraction of the audio characteristics information, extraction of key frames, the key frame It characterized by the extraction process of the image feature information of the unit.

도 2는 상기 도 1에 도시된 비디오 프로세싱/저작부(2000)의 상세 구조도를 도시한 것으로, 이하 상기 도 2를 참조하여 비디오 프로세싱/저장부 각 구성요소에서의 동작을 상세히 설명하기로 한다. Figure 2 shows a detailed schematic block diagram of a video processing / writing unit 2000 shown in FIG. 1, hereinafter to FIG. 2 will be described in detail the operation of the video processing / storage unit for each component.

먼저, 프리뷰 이미지 선택부(Preview image selection part)(2110)는 입력된 비디오 데이터를 대표하는 프리뷰 이미지를 선택한다. First, the preview image selection unit (Preview image selection part) (2110) selects the preview image, which represents the input video data. 이때 프리뷰 이미지는 비디오 데이터를 대표하는 포스터 이미지나 광고 이미지들을 포함하며, 프리뷰 이미지의 형식은 JPEG, BMP, GIF등을 포함하나 이에 한정되지는 않는다. The preview image includes an image of a poster or advertising image representing the video data, the format of the preview image is not limited to, including JPEG, BMP, GIF, etc.

샷 검출부(Shot detection)(2120)는 입력된 비디오 데이터를 샷(Shot) 단위로 세그먼트하며, 샷 검출의 결과로 샷 구간들과 각 샷을 대표하는 키프레임을 획득한다. Detecting shot (Shot detection) (2120), and the segment of the input video data to a shot (Shot) unit, and obtains the shot interval and the key frames representing each shot as a result of shot detection. 이때 키프레임의 형식은 JPEG, BMP, GIF등을 포함하나 이에 한정되지는 않는다. The format of the key frame is not limited to this one including JPEG, BMP, GIF and the like.

모션 특징 획득부(Motion feature extraction part)(2130)는 샷 검출부(2120)에서 획득된 샷 구간들로부터, MPEG-7 모션 서술자들을 이용하여 모션 특징을 획득한다. Motion characteristic obtaining unit (Motion feature extraction part) (2130) is from the shot interval obtained from the shot detector 2120, and obtains the motion characteristic by using the MPEG-7 motion descriptors. 이때 모션 특징으로 카메라 모션(Camera motion)과 모션 액티비티(Motion activity)가 추출되는 것을 특징으로 한다. The motion features is characterized in that the camera motion (Camera motion) and the motion activity (Motion activity) extraction.

오디오 특징 획득부(Audio feature extraction part)(2140)는 샷 검출부(2120)에서 획득된 샷 구간들로부터, MPEG-7 저레벨 오디오 서술자(Low-level audio descriptor)들을 이용하여 오디오 특징을 획득한다. Using the audio feature obtaining section (Audio feature extraction part) (2140) is from the shot interval obtained from the shot detector (2120), MPEG-7 low level audio descriptors (Low-level audio descriptor) to obtain an audio feature. 이때 오디오 특징으로 기본(Basic), 기본 스펙트럴(Basic spectral), 기본 신호(Basic signal), 시간적 음색(Temporal timbral), 스펙트럴 음색(Spectral timbral), 스펙트럴 기저(Spectral basis) 서술자들을 포함하는 것을 특징으로 한다. The audio features comprising a base (Basic), basic spectral (Basic spectral), primary signals (Basic signal), temporal tone (Temporal timbral), spectral voice (Spectral timbral), spectral base (Spectral basis) descriptor and that is characterized.

키프레임 추출부(Key-frame extraction part)(2150)는 추출된 샷 구간내에서 키프레임을 추출한다. Keyframe extraction unit (Key-frame extraction part) (2150) extracts a key frame in the extracted shot interval. 이미지 특징 추출부(Image feature extraction part)(2160)는 추출된 키프레임으로부터 이미지 특징을 추출한다. Image feature extraction unit (Image feature extraction part) (2160) extracts a feature image from the extracted key frames. 이때 이미지 특징은 칼라 스트럭쳐(Color structure), 칼라 레이아웃(Color layout), 스케일러블 칼라(Scalable color), 주요 칼라(Dominant color), 에지 히스토그램(Edge histogram), 균질 질감(Homogeneous texture) 서술자들을 포함한다. And wherein the image feature comprises a collar structures (Color structure), color layout (Color layout), a scalable color (Scalable color), the main color (Dominant color), edge histograms (Edge histogram), homogeneous texture (Homogeneous texture) descriptor .

본 발명에서는 메타데이터를 표준화된 형식 및 구조에 따라 서술하는 단계에 있어서, MPEG-7 이용하는 것을 특징으로 한다. In the present invention, the step of describing, according to the format and structure of the standardized metadata, characterized by using MPEG-7.

도 3은 상기 도 1의 비디오 메타데이터 생성부(3000)에서 생성되는 메타데이터의 구성 요소 및 요소들의 구조를 도시한 것이다. Figure 3 illustrates the structure of the components and elements of the meta data generated from the video metadata generating unit 3000 of the Fig.

상기 도 3을 참조하면, 비디오 MAF 메타데이터(Video MAF metadata, 3100)는 미디어 자체에 대한 서술인 미디어 정보 및 생성 서술부(3110)를 포함하고, 미디어 의미 서술부(3120)를 포함하고, 미디어의 디지털 권리를 서술하는 디지털 권리 서술부(3130)를 포함하는 것을 특징으로 한다. Referring to FIG. 3, the video MAF metadata (Video MAF metadata, 3100) is the media itself, including the media information and generate predicates 3110 described for, and media means comprises a predicate (3120), and the digital media in that it comprises a digital rights predicate 3130 for describing right characterized.

상기 미디어 정보 및 생성 서술부(Media information/creation description)(3110)는 MPEG-7 MDS에 의한 생성 관련 메타데이터를 포함하고, 미디어의 시간적 구조를 서술하는 메타데이터를 포함하는 것을 특징으로 한다. The media information and generate predicates (Media information / creation description) (3110) is characterized by including metadata including generating associated metadata according to the MPEG-7 MDS, and describe the temporal structure of the media.

하기의 [표 1]은 상기 미디어의 정보 생성 서술을 위해 필요한 메타데이터를 표현하기 위한 서술 구조를 XML 형식으로 표현한 것이다. To Table 1, the representation is a description structure for rendering the metadata necessary to generate the information of the media described in XML format.

<complexType name="CreationInformationType"> <complexContent> <extension base="mpeg7:DSType"> <sequence> <element name="Creation" type="mpeg7:CreationType"/> <complexType> <sequence> <element name="Title" type="mpeg7:TitleType" minOccurs="1" maxOccurs="unbounded"/> <element name="PreviewImage" type="mpeg7:TitleMediaType" minOccurs="0"/> <element name="Abstract" type="mpeg7:TextAnnotationType" minOccurs="0" maxOccurs="unbounded"/> <element name="Creator" type="mpeg7:CreatorType" minOccurs="0" maxOccurs="unbounded"/> <element name="CreationCoordinates" minOccurs="0" maxOccurs="unbounded"> <complexType> <sequence> <element name="Location" type="mpeg7:PlaceType" minOccurs="0"/> <element name="Date" type="mpeg7:TimeType" minOccurs="0"/> </sequence> </complexType> </element> <element name="CreationTool" type="mpeg7:CreationToolType" minOccurs="0" maxOccurs="unbounded"/> <element name="CopyrightString" type="mpeg7:TextualType" minOccurs="0" maxOccurs="unbounded"/> </sequence> </complexType> < <ComplexType name = "CreationInformationType"> <complexContent> <extension base = "mpeg7: DSType"> <sequence> <element name = "Creation" type = "mpeg7: CreationType" /> <complexType> <sequence> <element name = "Title" type = "mpeg7: TitleType" minOccurs = "1" maxOccurs = "unbounded" /> <element name = "PreviewImage" type = "mpeg7: TitleMediaType" minOccurs = "0" /> <element name = "Abstract" type = "mpeg7: TextAnnotationType" minOccurs = "0" maxOccurs = "unbounded" /> <element name = "Creator" type = "mpeg7: CreatorType" minOccurs = "0" maxOccurs = "unbounded" /> <element name = " CreationCoordinates "minOccurs =" 0 "maxOccurs =" unbounded "> <complexType> <sequence> <element name =" Location "type =" mpeg7: PlaceType "minOccurs =" 0 "/> <element name =" Date "type =" mpeg7: TimeType "minOccurs =" 0 "/> </ sequence> </ complexType> </ element> <element name =" CreationTool "type =" mpeg7: CreationToolType "minOccurs =" 0 "maxOccurs =" unbounded "/> < element name = "CopyrightString" type = "mpeg7: TextualType" minOccurs = "0" maxOccurs = "unbounded" /> </ sequence> </ complexType> < element name="Classification" type="mpeg7:ClassificationType" minOccurs="0"/> <element name="RelatedMaterial" type="mpeg7:RelatedMaterialType" minOccurs="0" maxOccurs="unbounded"/> </sequence> </extension> </complexContent></complexType> element name = "Classification" type = "mpeg7: ClassificationType" minOccurs = "0" /> <element name = "RelatedMaterial" type = "mpeg7: RelatedMaterialType" minOccurs = "0" maxOccurs = "unbounded" /> </ sequence> </ extension> </ complexContent> </ complexType>

미디어의 시간구조를 표현하는 메타데이터는 미디어의 시간적 구조를 세그먼트(segment)하는 정보를 포함하고, 각 세그먼트 당 요구되는 MPEG-7 오디오/모션 특징을 포함하고, 각 세그먼트당 추출되는 키프레임 이미지에서 추출되는 MPEG-7 이미지 특징을 포함하는 것을 특징으로 한다. Metadata representing the time structure of the media and the temporal structure of the media segment (segment), and includes information, including MPEG-7 audio / motion characteristics required for each segment, and, in the key-frame images to be extracted for each segment to be extracted is characterized in that it comprises an MPEG-7 image features.

하기의 [표 2]는 상기 미디어의 시간적 구조를 표현하기 위한 서술 구조를 XML 형식으로 표현한 것이다. To Table 2 is expressed in a description structure for representing the temporal structure of the media in the XML format.

<complexType name="TemporalDecomposition"> <complexContent> <sequence> <element name="AudioVisualSegment" type="mpeg7: AudioVisualSegmentType"> < complexType > <sequence> <element name="TextAnnotation" type="mpeg7:TextAnnotationType" /> <element name="MediaTime" type="mpeg7:MediaTimeType" /> <element name ="MediaSourceDecomposition" type="mpeg7:VideoSegmentMediaSourceDecompositionType"> <sequence> <element name="VideoSegment" type="mpeg7:VideoSegmentType" minOccurs="0" maxOccurs="unbounded"/> <element name="MediaTime" type="mpeg7:MediaTimeType"/> <element name="Keyframe" type="mpeg7:ImageLocatorType"/> <element name="VisualDescriptor" type="mpeg7:VisualDType" minOccurs="0" maxOccurs="unbounded"/> </Keyframe> <element name="VisualDescriptor" type="mpeg7:VisualDType" minOccurs="0" maxOccurs="unbounded"/> </VideoSegment> <element name="AudioSegment" type="mpeg7:AudioSegmentType" minOccurs="0" maxOccurs="unbounded"> <element name="MediaTime" type="mpeg7:MediaTimeType"/> <element name="Audi <ComplexType name = "TemporalDecomposition"> <complexContent> <sequence> <element name = "AudioVisualSegment" type = "mpeg7: AudioVisualSegmentType"> <complexType> <sequence> <element name = "TextAnnotation" type = "mpeg7: TextAnnotationType" / > <element name = "MediaTime" type = "mpeg7: MediaTimeType" /> <element name = "MediaSourceDecomposition" type = "mpeg7: VideoSegmentMediaSourceDecompositionType"> <sequence> <element name = "VideoSegment" type = "mpeg7: VideoSegmentType" minOccurs = "0" maxOccurs = "unbounded" /> <element name = "MediaTime" type = "mpeg7: MediaTimeType" /> <element name = "Keyframe" type = "mpeg7: ImageLocatorType" /> <element name = "VisualDescriptor" type = "mpeg7: VisualDType" minOccurs = "0" maxOccurs = "unbounded" /> </ Keyframe> <element name = "VisualDescriptor" type = "mpeg7: VisualDType" minOccurs = "0" maxOccurs = "unbounded" /> < / VideoSegment> <element name = "AudioSegment" type = "mpeg7: AudioSegmentType" minOccurs = "0" maxOccurs = "unbounded"> <element name = "MediaTime" type = "mpeg7: MediaTimeType" /> <element name = "Audi oDescriptor" type="mpeg7:AudioDType" minOccurs="0" maxOccurs="unbounded"/> </AudioSegment> <sequence> </MediaSourceDecomposition> </sequence> </complexType > </AudioVisualSegment> </sequence> </complexContent></complexType > oDescriptor "type =" mpeg7: AudioDType "minOccurs =" 0 "maxOccurs =" unbounded "/> </ AudioSegment> <sequence> </ MediaSourceDecomposition> </ sequence> </ complexType> </ AudioVisualSegment> </ sequence> </ complexContent> </ complexType>

미디어 의미 서술부(Media semantic description)(3120)부 미디어의 주인공이나 요약정보와 같은 미디어 리소스의 의미 기반 특징의 서술을 포함하는 것을 특징으로 한다. It characterized in that it includes a media means predicate (Media semantic description) (3120) the main character or the media portion of the means described based on characteristics of the media resource, such as summary information.

하기의 [표 3]은 상기 미디어 리소스의 의미를 표현하기 위한 서술 구조를 XML 형식으로 표현한 것이다. To Table 3 is a representation of a description structure for representing the meaning of the media resource in the XML format.

<complexType name="SemanticDescriptionType"> <complexContent> <extension base="mpeg7:ContentAbstractionType"> <choice> <element name="Semantics" type="mpeg7:SemanticType" minOccurs="1" maxOccurs="unbounded"/> <element name="ConceptCollection" type="mpeg7:ConceptCollectionType" minOccurs="1" maxOccurs="unbounded"/> </choice> </extension> </complexContent></complexType> <ComplexType name = "SemanticDescriptionType"> <complexContent> <extension base = "mpeg7: ContentAbstractionType"> <choice> <element name = "Semantics" type = "mpeg7: SemanticType" minOccurs = "1" maxOccurs = "unbounded" /> <element name = "ConceptCollection" type = "mpeg7: ConceptCollectionType" minOccurs = "1" maxOccurs = "unbounded" /> </ choice> </ extension> </ complexContent> </ complexType>

디지털 권리 서술부(Digital right description)(3130)는 비디오 MAF에 인코딩된 비디오의 접근 권한에 대해서 서술을 포함하는 것을 특징으로 한다. Digital rights predicate (Digital right description) (3130) is characterized by including the description about the access rights of the encoded video to the video MAF.

하기의 [표 4]는 상기 미디어의 접근 권한에 대한 서술 구조를 XML 형식으로 표현한 것이다. To Table 4 is a representation of the structure described for the access of the media in the XML format.

<complexType name="DigitalRightType"> <complexContent> <extension base="mpeg7: AvailabilityType"> <sequence> <element name="EditPermission" type ="boolean" use="required"/> <element name="CopyPermission" type ="boolean" use="required"/> <element name="ReleasePermission" type ="boolean" use="required"/> <element name="ViewPermission" use="required"/> <choice> <element name="PulicView" type ="boolean" /> <element name="LimitedView" type ="boolean"/> <element name="PrivateView" type ="boolean"/> <element name="FreeView" type ="boolean"/> </choice> </ ViewPermission> <sequence> </extension> </complexContent></complexType> <ComplexType name = "DigitalRightType"> <complexContent> <extension base = "mpeg7: AvailabilityType"> <sequence> <element name = "EditPermission" type = "boolean" use = "required" /> <element name = "CopyPermission" type = "boolean" use = "required" /> <element name = "ReleasePermission" type = "boolean" use = "required" /> <element name = "ViewPermission" use = "required" /> <choice> <element name = "PulicView" type = "boolean" /> <element name = "LimitedView" type = "boolean" /> <element name = "PrivateView" type = "boolean" /> <element name = "FreeView" type = " boolean "/> </ choice> </ ViewPermission> <sequence> </ extension> </ complexContent> </ complexType>

본 발명에서는 비디오와 관련된 멀티미디어 콘텐츠들 및 메타데이터를 조합하는 비디오 MAF 구조를 서술하는 단계에 있어서, MPEG-4 파일 포맷을 이용하는 것을 특징으로 한다. In the present invention, the step of describing the video MAF structures to combine the multimedia content and the metadata associated with the video, characterized in that using the MPEG-4 file format.

도 4는 상기 도 1의 비디오 MAF 인코딩부로부터 생성되는 비디오 MAF 파일의 구성 요소 및 요소들의 구조를 도시한 것이다. Figure 4 shows the structure of the components and elements of the video file that is the MAF MAF also generated from the video encoder of Fig.

상기 도 4를 참조하면, 무브(moov)(5010)는 메타박스(meta)(5030)와 트랙박스(trak)(5040)를 포함하며, 무브는 멀티 트랙들을 포함하는 것을 특징으로 한다. Referring to FIG. 4, and move (moov) (5010) includes a Meta Box (meta) (5030) and a track box (trak) (5040), move is characterized in that it comprises a multi-track.

메타박스(meta)(5030)는 상기 도 3에서 서술하고 있는 비디오 MAF 메타데이터(3100)를 포함한다. Meta Box (meta) (5030) comprises a video MAF metadata 3100 that is described in the Fig. 또한, 메탁박스는 메타데이터를 이용하여, 복수의 비디오 데이터들이 인코딩된 비디오 MAF의 출력 방식을 포함하는 것을 특징으로 한다. Further, metak box using metadata, characterized by including an output method of a plurality of video data are encoded video MAF. 여기서, 출력방식은 각각의 비디오 데이터들의 시간 순서의 출력방식, 이벤트 단위의 출력방식, 스토리기반의 출력방식 등에 대해서 포함하나 이에 한정되지는 않는다. Here, the output method is not limited to this or the like, including, for each output of the time sequence of the video data system, the output system in the event units, the story-based output system.

트랙박스(trak)(5040)는 파일포맷내의 비디오 스트림, 오디오 스트림, 자막(subtitle) 스트림과 같은 미디어의 디코딩정보를 포함하는 미디어박스(mdia)(5050)를 포함하는 것을 특징으로 한다. Track box (trak) (5040) is characterized in that it comprises a media box (mdia) (5050) including a media decoding of information such as video and audio streams, and subtitle (subtitle) in the stream file format. 미디어박스(5050)는 해당 미디어의 타임스탬프와 같은 디코딩 정보를 포함하는 구조를 특징으로 한다. Media box (5050) is characterized by a structure including a decode information such as the timestamp of the media.

특히, 상기 도 4는 하나의 비디오 스트림에 대해서 관련된 복수의 멀티미디어 콘텐츠들 및 메타데이터를 인코딩하는 비디오 MAF의 경우를 도시한 것으로, 하나의 비디오 스트림 (video stream)(5070)에 대해서, N개의 오디오 스트림들(audio stream)(5080)과 N개의 자막들(subtitle stream)(5090)을 포함하는 것을 특징으로 한다. In particular, the Figure 4 that shows the case of video MAF for encoding a plurality of multimedia content and metadata associated with respect to one video stream, with respect to a video stream (video stream) (5070), N audio the stream is characterized in that it comprises (audio stream) (5080) and the N number of subtitle (subtitle stream) (5090). 이때 각각의 오디오 스트림들과 자막들은 관련된 언어를 각각 표현하는 콘텐츠이다. In this case, each of the audio streams and subtitles are content to represent each of the languages ​​involved. 예를 들면, 하나의 영화 콘텐츠에 대해서, 한국어, 영어, 일본어, 중국어 등등 다양한 언어들이 존재할 수 있다. For example, for a single movie content, Korean, English, there may be Japanese, Chinese, etc. in various languages. 따라서, 하나의 비디오 스트림은 복수의 오디오 및 자막 스트림들을 가질 수 있다. Thus, a video stream may have a plurality of audio and subtitle streams.

본 발명에서는 비디오 MAF 구조를 서술하는 단계에 있어서, 복수의 비디오 스트림들을 비디오 MAF에 포함하는 것을 특징으로 한다. In the present invention, the step of describing the video MAF structure, a plurality of video streams characterized in that it comprises a video MAF.

도 5는 복수의 비디오 스트림을 포함하는 비디오 MAF의 구성 요소 및 요소들의 구조를 도시한 것으로, 상기 도 4에서 설명된 하나의 비디오 스트림에 대한 비디오 MAF가 확장된 경우를 나타낸 것이다. 5 is that showing the structure of the components and elements of the MAF video including a plurality of video streams, illustrating a case where the MAF video for a video stream described in the Figure 4 extended.

상기 도 5를 참조하면, 데이터 집합(5110) 및 (5120)은 각각 멀티미디어 테이터들과 메타데이터들 포함한다. Referring to FIG 5, the data sets 5110 and 5120 are included in each multimedia mutator and metadata. 즉, 비디오 MAF는 복수의 비디오 데이터들의 집합들을 포함하는 것을 특징으로 한다. That is, the video MAF is characterized in that it comprises a set of a plurality of video data. 예를 들어, 축구 경기의 슛장면에 대한 비디오들은 다양하게 존재한다. For example, a video shot for the scene of football, there are varied. 따라서, 각각의 슛장면 비디오에 대한 메타데이터와 프리뷰 이미지, 키프레임 이미지들을 조합하고, 다시 조합된 결과들을 비디오 MAF로 생성할 수 있다. Thus, the combination of the metadata and the preview images, the key frame image for each shot, scene, video, and may generate a result of re-assembling it into a video MAF. 상기 도 5는 A개의 비디오들에 대해서 조합된 비디오 MAF를 나타낸 것이며, 이때 각각의 비디오들은 N개의 언어들과 M개의 키프레임 이미지들을 포함한다. Will FIG. 5 is shown a video MAF combination of A with respect to the video, wherein each comprise video and the M key frame image N languages.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. Meanwhile, in the explanation of the invention as described above has been described with reference to certain preferred embodiments thereof, various modifications may be made without departing from the scope of the invention. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다. Therefore, the scope of the invention is not determined by the described embodiments shall be appointed by the claims.

이상에서 설명한 바와 같이, 본 발명은 비디오 데이터와 관계된 멀티미디어 콘텐츠 및 메타데이터(metadata)를 결합하는 새로운 비디오 멀티미디어 응용 포맷(Video Multimedia Application Format, Video MAF)을 구성하는 과정에 있어서, 효과적인 인덱싱(indexing) 및 검색을 위해 비디오 데이터 및 내용으로부터 획득한 오디오(audio)/이미지(image)/모션(motion) 특징정보를 비디오 MAF 파일의 메타데이터로 활용하며, 비디오 MAF의 구조에 따라 사용자가 MAF파일내에 포함된 비디오 및 메타데이터를 효과적으로 브라우징(browsing)할 수 있도록 하는 이점이 있다. As described above, the present invention provides a process of configuring a new video multimedia application format (Video Multimedia Application Format, Video MAF) for combining related multimedia content and metadata (metadata) and the video data, the effective index (indexing) and utilized for searching for the audio (audio) / image (image) / motion (motion) feature information obtained from the video data and the information as metadata in the video MAF files, contained in the user MAF file according to the structure of the video MAF the video and metadata effectively has the advantage to allow browsing (browsing).

도 1은 본 발명의 실시 예에 따른 전체 시스템 구성도, Figure 1 is a whole system configuration according to an embodiment of the present invention,

도 2는 본 발명의 실시 예에 따른 비디오 프로세싱/저작부의 상세 구조도, 2 is a video processing / writing parts of the detailed structure according to the embodiment of the present invention,

도 3은 본 발명의 실시 예에 따른 메타데이터의 구성 요소 및 요소들의 구조도, Figure 3 is a structure of the components and elements of the metadata according to an embodiment of the present invention,

도 4는 본 발명의 실시 예에 따른 비디오 MAF의 구성 요소 및 요소들의 구조도, Figure 4 is a structure of the components and elements of the video MAF according to an embodiment of the present invention,

도 5는 본 발명의 실시 예에 따른 복수의 비디오 스트림을 포함하는 비디오 MAF의 구성 요소 및 요소들의 구조도. Figure 5 is a structure of the components and elements of the MAF video including a plurality of video streams in an embodiment of the present invention.

Claims (28)

  1. 비디오와 관련된 멀티미디어 콘텐츠 및 메타데이터를 하나의 통합된 비디오 멀티미디어 응용 형식으로 인코딩/디코딩하는 방법으로서, Multimedia content and metadata associated with the video as a method for encoding / decoding as an integrated multimedia applications, video format,
    PDA, 디지털 카메라, 휴대폰, 게임기와 같은 휴대용 단말에서 비디오 단말을 획득/입력하거나 혹은 서비스 제공자나 콘텐츠 제작자로부터의 비디오 데이터를 획득/입력하는 단계와, PDA, digital camera, mobile phone, comprising: obtaining / video input terminal in a portable terminal such as a game machine, or acquisition / input video data from a service provider or content creators and,
    상기 입력된 비디오로부터 특징정보를 획득하는 비디오 프로세싱 및 저작 단계와, And video processing and writing steps for obtaining the feature information from the input video,
    상기 획득된 특징정보들을 이용하여 메타데이터를 생성하는 단계와, The method comprising: generating metadata using the acquired characteristic information,
    상기 획득된 비디오 데이터와 메타데이터를 조합하여 비디오 MAF를 인코딩하는 단계와, The method comprising: encoding video MAF by combining the obtained video data and metadata,
    상기 인코딩된 비디오 MAF를 전송받아 이를 디코딩 하는 단계와, And transmitting the received decoding this encoded video MAF,
    상기 디코딩된 비디오 데이터와 메타데이터를 출력하는 단계 And outputting the decoded video data and the metadata,
    를 포함하는 비디오 MAF 파일 인코딩/디코딩 방법. MAF video file encoding / decoding method comprising a.
  2. 제 1 항에 있어서, According to claim 1,
    상기 입력된 비디오로부터 특징정보를 획득하는 비디오 프로세싱 및 저작 단계는, Video processing and writing steps for obtaining the feature information from the input video,
    프리뷰 이미지를 선택하는 과정과, 샷검출을 하는 과정과, 샷단위로 모션 특징을 추출하는 과정과, 샷단위로 오디오 특징을 추출하는 과정과, 샷단위로 키프레임을 추출하는 과정과, 키프레임 단위로 이미지 특징을 추출하는 과정을 포함하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 방법. The process of selecting a preview image, and the steps of the shot is detected, the method of extracting a motion feature a shot unit, and extracting audio features a shot unit, the method comprising the steps of: extracting key frames as a shot unit, keyframes MAF video file encoding / decoding method comprising a process of extracting an image feature in a unit.
  3. 제 2 항에 있어서, 3. The method of claim 2,
    상기 모션 특징정보를 추출하는 과정에서 추출되는 모션 특징정보는, Motion feature information to be extracted in the process of extracting the motion characteristic information,
    MPEG-7 카메라 모션(camera motion)과 모션 액티비티(motion activity) 정보를 포함하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 방법. MPEG-7 motion camera (camera motion) and the motion activity MAF video file encoding / decoding method comprising the (motion activity) information.
  4. 제 2 항에 있어서, 3. The method of claim 2,
    상기 오디오 특징정보를 추출하는 과정에서 추출되는 오디오 특징정보는, Audio feature information to be extracted in the process of extracting the audio information, characterized in,
    MPEG-7 저 레벨 오디오 서술자(low-level audio descriptor)들을 이용하여 추출되며, 오디오 특징으로 기본(basic), 기본 스펙트럴(basic spectral), 기본 신호(basic signal), 시간적 음색(temporal timbral), 스펙트럴 음색(spectral timbral), 스펙트럴 기저(spectral basis) 서술자들을 포함하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 방법. MPEG-7 low level audio descriptors (low-level audio descriptor) is extracted using, default (basic), basic spectral (basic spectral), the primary signal (basic signal), temporal voice by the audio feature (temporal timbral), spectral voice (spectral timbral), spectral base (spectral basis) video comprising a descriptor file MAF encoding / decoding method.
  5. 제 2 항에 있어서, 3. The method of claim 2,
    상기 이미지 특징정보를 추출하는 과정에서, 추출되는 이미지 특징정보는, In the process of extracting the image feature information, image feature information is extracted,
    MPEG-7 칼라 스트럭쳐(color structure), 칼라 레이아웃(color layout), 스케일러블 칼라(scalable color), 주요 칼라(dominant color), 에지 히스토그램(edge histogram), 균질 질감(homogeneous texture) 서술자들을 포함하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 방법. In that it comprises the MPEG-7 Color Structure (color structure), color layout (color layout), a scalable color (scalable color), the major color (dominant color), the edge histogram (edge ​​histogram), homogeneous texture (homogeneous texture) descriptor video according to claim MAF file encoding / decoding method.
  6. 제 1 항에 있어서, According to claim 1,
    상기 획득된 특징정보들을 가지고 메타데이터를 생성하는 단계에서의 비디오 MAF 메타데이터는, MAF video metadata in the step of generating the metadata with the obtained feature information,
    미디어 자체에 대한 서술인 미디어 정보 및 생성 서술 정보와, 미디어 의미 서술 정보와, 미디어의 디지털 권리를 서술하는 디지털 권리 서술 정보를 포함하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 방법. Describe the media information and generates descriptive information and media description information means, and a video, comprising: a digital rights description information that describes the digital rights of media files MAF encoding / decoding method of the media itself.
  7. 제 6 항에 있어서, 7. The method of claim 6,
    상기 미디어 정보 및 생성 서술 정보에서는, In the media information, and generates descriptive information,
    미디어의 정보 생성 서술을 위해 필요한 메타데이터를 표현하기 위한 서술 구조를 XML 형식으로 구현하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 방법. Video, characterized in that to implement the description structure for representing the required metadata for the media description information is created in an XML format file MAF encoding / decoding method.
  8. 제 6 항에 있어서, 7. The method of claim 6,
    상기 미디어 정보 및 생성 서술 정보에서는, In the media information, and generates descriptive information,
    미디어의 시간적 구조를 표현하기 위한 서술 구조를 XML 형식으로 표현하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 방법. Video, characterized in that representing a description structure for representing the temporal structure of the media files in the XML format MAF encoding / decoding method.
  9. 제 6 항에 있어서, 7. The method of claim 6,
    상기 미디어 의미 서술 정보에서는, In the above-described information media means,
    미디어 리소스의 의미를 표현하기 위한 서술 구조를 XML 형식으로 표현하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 방법. MAF video file encoding / decoding method, characterized in that to represent the structure described in the XML format for representing the meaning of the media resource.
  10. 제 6 항에 있어서, 7. The method of claim 6,
    상기 디지털 권리 서술 정보에서는, In the above described digital rights information,
    미디어의 접근 권한에 대한 서술 구조를 XML 형식으로 표현하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 방법. Video, characterized in that to express the described structure for the access of the media file in XML format MAF encoding / decoding method.
  11. 제 1 항에 있어서, According to claim 1,
    상기 획득된 비디오 데이터와 메타데이터를 조합하여 비디오 MAF를 인코딩하는 단계에서 인코딩된 비디오 MAF 데이터는, MAF a video data encoding step of encoding a video MAF by combining the obtained video data and metadata,
    하나의 비디오 데이터에 대해서 복수의 오디오 스트림과, 복수의 자막 스트림과, 복수의 키프레임과, 복수의 프리뷰 이미지를 포함하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 방법. A plurality of audio streams and a plurality of subtitle streams and the plurality of key frames, the video comprises a plurality of preview images MAF file encoding / decoding method for a video data.
  12. 제 2 항에 있어서, 3. The method of claim 2,
    상기 비디오 MAF를 인코딩하는 단계에서 프리뷰 이미지와 키프레임에 대한 디코딩 정보는, 메타박스내의 메타데이터에 포함되고, 비디오 데이터, 오디오 스트림들, 자막 스트림들과 같은 미디어 데이터에 대한 디코딩 정보는, 미디어박스에 포함되는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 방법. Decoding information for the preview image and the key frame in encoding the video MAF is contained in the metadata in the meta box, decoding information for the media data such as video data, audio streams, subtitle stream, the media box MAF video file encoding / decoding method, characterized in that contained in the.
  13. 제 2 항에 있어서, 3. The method of claim 2,
    상기 비디오 MAF를 인코딩하는 단계에서는, 각각 인코딩된 하나의 비디오 데이터와 관련된 메타데이터를 복수의 형태로 비디오 MAF를 인코딩하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 방법. In encoding the video MAF, each of the encoded video data and metadata related to one of a plurality of types, characterized in that for encoding a video file MAF MAF video encoding / decoding method.
  14. 제 1 항에 있어서, According to claim 1,
    상기 디코딩된 비디오 데이터와 메타데이터를 출력하는 단계에서, 복수의 비디오 데이터들의 출력 및 표현방식은, 각각의 비디오 데이터들의 시간 순서의 출력방식, 이벤트 단위의 출력방식, 스토리기반의 출력방식 중 어느 하나의 방식으로 구현되는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 방법. In the step of outputting the decoded video data and metadata, the output, and the representation of the plurality of video data, each of the outputs of the time sequence of the video data system, the output system in the event units, one of the output system of the storage-based MAF video file encoding / decoding method of being implemented in the system.
  15. 비디오와 관련된 멀티미디어 콘텐츠 및 메타데이터를 하나의 통합된 비디오 멀티미디어 응용 형식으로 인코딩/디코딩하는 시스템으로서, Multimedia content and metadata associated with the video as a system for encoding / decoding as an integrated multimedia applications, video format,
    PDA, 디지털 카메라, 휴대폰, 게임기과 같은 휴대용 단말에서 비디오 단말을 획득/입력하거나 혹은 서비스 제공자나 콘텐츠 제작자로부터의 비디오 데이터를 획득/입력하는 비디오 획득/입력부와, A PDA, digital cameras, cell phones, video terminals obtained from a portable terminal such geimgigwa / or video input or acquisition / input unit for acquisition / input video data from a service provider or the content creator,
    상기 비디오 획득/입력부를 통해 인가되는 비디오 데이터를 표현할 수 있는 특징 정보를 프로세싱하고 저작하는 비디오 프로세싱/저작부와, And video processing / writing unit for processing the characteristic information which can express the video data to be applied through the said video acquisition / ENTER chewing,
    상기 비디오 프로세싱/저작부를 통해 획득된 입력 비디오 데이터의 특징정보들을 이용하여 메타데이터를 생성하는 비디오 메타데이터 생성부와, And the video processing / writing, using the feature information of the input video data acquired by section for generating metadata video metadata generating section,
    상기 입력된 비디오 데이터와 메타데이터를 조합하여 비디오 MAF를 인코딩하는 비디오 MAF 인코딩부와, And the input video data and video by combining the metadata that encodes video MAF MAF encoding section,
    상기 인코딩된 비디오 MAF를 비디오 데이터와 메타데이터로 디코딩하는 비디오 MAF 디코딩부와, And the decoding the encoded video to the video data and metadata MAF MAF video decoding unit,
    상기 비디오 MAF 디코딩부로부터 디코딩된 비디오 데이터를 브라우징하고 디스플레이시키는 비디오 MAF 재생부와, MAF and the video reproduction unit for browsing and displaying the decoded video data from the video decoding unit MAF,
    상기 메타데이터로부터 스토리 기반 비디오의 표현 및 비디오의 검색을 위한 특징정보를 해석하는 메타데이터 해석부 The metadata analysis to interpret the feature information for searching the representation of the visual story-based video from the metadata portion
    를 포함하는 비디오 MAF 파일 인코딩/디코딩 시스템. MAF video file encoding / decoding system that includes.
  16. 제 15 항에 있어서, 16. The method of claim 15,
    상기 비디오 프로세싱/저작부는, The video processing / writing unit,
    상기 입력된 비디오로부터 특징정보를 획득하는 단계에서, 프리뷰 이미지를 선택하는 과정과, 샷검출을 하는 과정과, 샷단위로 모션 특징을 추출하는 과정과, 샷단위로 오디오 특징을 추출하는 과정과, 샷단위로 키프레임을 추출하는 과정과, 키프레임 단위로 이미지 특징을 추출하는 과정을 포함하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 시스템. Extracting audio features from the step of acquiring the characteristic information from the input video, a process of selecting a preview image, and the steps of the shot is detected, the method comprising the steps of: extracting a motion feature a shot unit, shot units and, MAF video file encoding / decoding system comprising: a process of extracting a key frame and a shot unit, extracts the image feature in the key-frame units.
  17. 제 16 항에 있어서, 17. The method of claim 16,
    상기 모션 특징정보를 추출하는 과정에서 추출되는 모션 특징정보는, Motion feature information to be extracted in the process of extracting the motion characteristic information,
    MPEG-7 카메라 모션(camera motion)과 모션 액티비티(motion activity) 정보를 포함하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 시스템. MPEG-7 motion camera (camera motion) and the motion activity (motion activity) MAF video file encoding / decoding system comprising the information.
  18. 제 16 항에 있어서, 17. The method of claim 16,
    상기 오디오 특징정보를 추출하는 과정에서 추출되는 오디오 특징정보는, Audio feature information to be extracted in the process of extracting the audio information, characterized in,
    MPEG-7 저 레벨 오디오 서술자(low-level audio descriptor)들을 이용하여 추출되며, 오디오 특징으로 기본(basic), 기본 스펙트럴(basic spectral), 기본 신호(basic signal), 시간적 음색(temporal timbral), 스펙트럴 음색(spectral timbral), 스펙트럴 기저(spectral basis) 서술자들을 포함하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 시스템. MPEG-7 low level audio descriptors (low-level audio descriptor) is extracted using, default (basic), basic spectral (basic spectral), the primary signal (basic signal), temporal voice by the audio feature (temporal timbral), spectral voice (spectral timbral), spectral base (spectral basis) MAF video file encoding / decoding system, comprising: a descriptor.
  19. 제 16 항에 있어서, 17. The method of claim 16,
    상기 이미지 특징정보를 추출하는 과정에서, 추출되는 이미지 특징정보는, In the process of extracting the image feature information, image feature information is extracted,
    MPEG-7 칼라 스트럭쳐(color structure), 칼라 레이아웃(color layout), 스케일러블 칼라(scalable color), 주요 칼라(dominant color), 에지 히스토그램(edge histogram), 균질 질감(homogeneous texture) 서술자들을 포함하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 시스템. In that it comprises the MPEG-7 Color Structure (color structure), color layout (color layout), a scalable color (scalable color), the major color (dominant color), the edge histogram (edge ​​histogram), homogeneous texture (homogeneous texture) descriptor MAF video file encoding / decoding system according to claim.
  20. 제 15 항에 있어서, 16. The method of claim 15,
    상기 비디오 메타데이터 생성부에서 생성되는 비디오 MAF 메타데이터는, MAF video meta data generated from the video metadata generating section is,
    미디어 자체에 대한 서술인 미디어 정보 및 생성 서술 정보와, 미디어 의미 서술 정보와, 미디어의 디지털 권리를 서술하는 디지털 권리 서술 정보를 포함하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 시스템. Describe the media information and generates descriptive information and media description information means, and a video, comprising: a digital rights description information that describes the digital rights of media files MAF encoding / decoding system for the media itself.
  21. 제 20 항에 있어서, 21. The method of claim 20,
    상기 미디어 정보 및 생성 서술 정보에서는, In the media information, and generates descriptive information,
    미디어의 정보 생성 서술을 위해 필요한 메타데이터를 표현하기 위한 서술 구조를 XML 형식으로 구현하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 시스템. Video, characterized in that to implement the description structure for representing the required metadata for the media description information is created in an XML format file MAF encoding / decoding system.
  22. 제 20 항에 있어서, 21. The method of claim 20,
    상기 미디어 정보 및 생성 서술 정보에서는, In the media information, and generates descriptive information,
    미디어의 시간적 구조를 표현하기 위한 서술 구조를 XML 형식으로 표현하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 시스템. MAF video file encoding / decoding system, characterized in that to represent the description structure for representing the temporal structure of the media in the XML format.
  23. 제 20 항에 있어서, 21. The method of claim 20,
    상기 미디어 의미 서술 정보에서는, In the above-described information media means,
    미디어 리소스의 의미를 표현하기 위한 서술 구조를 XML 형식으로 표현하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 시스템. MAF video file encoding / decoding system, characterized in that to represent the description structure for representing the meaning of the media resource in the XML format.
  24. 제 20 항에 있어서, 21. The method of claim 20,
    상기 디지털 권리 서술 정보에서는, In the above described digital rights information,
    미디어의 접근 권한에 대한 서술 구조를 XML 형식으로 표현하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 시스템. MAF video file encoding / decoding system, characterized in that to express the described structure for the access of the media in the XML format.
  25. 제 15 항에 있어서, 16. The method of claim 15,
    상기 비디오 MAF 인코딩부에서 인코딩되는 비디오 MAF 데이터는, MAF video data that is encoded by the video encoder are MAF,
    하나의 비디오 데이터에 대해서 복수의 오디오 스트림과, 복수의 자막 스트림과, 복수의 키프레임과, 복수의 프리뷰 이미지를 포함하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 시스템. A video comprising a plurality of audio streams and a plurality of subtitle streams, and a plurality of key frames and a plurality of preview images for a video data file MAF encoding / decoding system.
  26. 제 16 항에 있어서, 17. The method of claim 16,
    상기 비디오 MAF를 인코딩하는 단계에서 프리뷰 이미지와 키프레임에 대한 디코딩 정보는, 메타박스내의 메타데이터에 포함되고, 비디오 데이터, 오디오 스트림들, 자막 스트림들과 같은 미디어 데이터에 대한 디코딩 정보는, 미디어박스에 포함되는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 시스템. Decoding information for the preview image and the key frame in encoding the video MAF is contained in the metadata in the meta box, decoding information for the media data such as video data, audio streams, subtitle stream, the media box MAF video file encoding / decoding system, characterized in that contained in the.
  27. 제 16 항에 있어서, 17. The method of claim 16,
    상기 비디오 MAF를 인코딩하는 단계에서는, 각각 인코딩된 하나의 비디오 데이터와 관련된 메타데이터를 복수의 형태로 비디오 MAF를 인코딩하는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 시스템. In encoding the video MAF, each of the encoded video data and metadata related to one of a plurality of types, characterized in that for encoding a video file MAF MAF video encoding / decoding system.
  28. 제 15 항에 있어서, 16. The method of claim 15,
    상기 비디오 MAF 디코딩부에서 비디오 데이터와 메타데이터를 출력하는 단계에서, 복수의 비디오 데이터들의 출력 및 표현방식은, 각각의 비디오 데이터들의 시간 순서의 출력방식, 이벤트 단위의 출력방식, 스토리기반의 출력방식 중 어느 하나의 방식으로 구현되는 것을 특징으로 하는 비디오 MAF 파일 인코딩/디코딩 시스템. In the step of outputting the video data and the metadata from the video MAF decoding unit, the output, and the expression of a plurality of video data scheme, each output of the time sequence of the video data system, the output system in the event units, the story-based output system of the video, characterized in that is implemented by any one of methods MAF file encoding / decoding system.
KR1020050088630A 2005-09-23 2005-09-23 Method and apparatus for encoding and decoding of a video multimedia application format including both video and metadata KR100686521B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050088630A KR100686521B1 (en) 2005-09-23 2005-09-23 Method and apparatus for encoding and decoding of a video multimedia application format including both video and metadata

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050088630A KR100686521B1 (en) 2005-09-23 2005-09-23 Method and apparatus for encoding and decoding of a video multimedia application format including both video and metadata

Publications (2)

Publication Number Publication Date
KR20050099488A true KR20050099488A (en) 2005-10-13
KR100686521B1 KR100686521B1 (en) 2007-02-26

Family

ID=37278623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050088630A KR100686521B1 (en) 2005-09-23 2005-09-23 Method and apparatus for encoding and decoding of a video multimedia application format including both video and metadata

Country Status (1)

Country Link
KR (1) KR100686521B1 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100837721B1 (en) * 2006-08-04 2008-06-13 한국전자통신연구원 Encoding/Decoding Apparatus and Encoding Method of Binding Format for Consuming Personalized Digital Broadcasting Contents
WO2008091136A1 (en) * 2007-01-26 2008-07-31 Lg Electronics Inc. Method for contructing a file format and appratus for processing a digital broadcasting signal including a file having the file format and method thereof
WO2009035193A1 (en) * 2007-09-11 2009-03-19 Samsung Electronics Co., Ltd. Multimedia data recording method and apparatus for automatically generating/updating metadata
KR100988120B1 (en) * 2007-07-06 2010-10-18 한국전자통신연구원 Integrated storage format for efficient storage/management/consumption of digital contents, and method and system for offering electronic comic contents service using the same
KR101033448B1 (en) * 2006-03-09 2011-05-09 인터내셔널 비지네스 머신즈 코포레이션 Rss content administration for rendering rss content on a digital audio player
WO2012103267A2 (en) * 2011-01-27 2012-08-02 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
WO2012138103A2 (en) * 2011-04-04 2012-10-11 에스케이플래닛 주식회사 Device-adaptable contents generating device, contents generating device, and method thereof
KR101243965B1 (en) * 2006-03-30 2013-03-25 엘지전자 주식회사 Media file format, and method and apparatus for reproducing media using the same
KR101369426B1 (en) * 2007-09-18 2014-03-04 엘지전자 주식회사 Method and apparatus for transforming MP3 file to MPEG4 file, and method and apparatus for playing MPEG4 file thereof
KR101401964B1 (en) * 2007-08-13 2014-05-30 삼성전자주식회사 A method for encoding/decoding metadata and an apparatus thereof
KR101482099B1 (en) * 2007-10-08 2015-01-13 엘지전자 주식회사 Method and apparatus for encoding/decoding Multi-media data

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101345284B1 (en) 2005-07-20 2013-12-27 한국과학기술원 Method and apparatus for encoding/playing multimedia contents
KR101158723B1 (en) 2011-05-09 2012-06-22 한밭대학교 산학협력단 System and method for fast game pictures encoder based on scene descriptor
TWI631835B (en) 2014-11-12 2018-08-01 弗勞恩霍夫爾協會 Decoder for decoding a media signal and encoder for encoding secondary media data comprising metadata or control data for primary media data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082162B2 (en) 1999-04-17 2006-07-25 Pts Corporation Segment-based encoding system including segment-specific metadata
KR100556826B1 (en) * 2003-04-17 2006-03-10 한국전자통신연구원 System and Method of Internet Broadcasting for MPEG4 based Stereoscopic Video
KR20040096718A (en) * 2003-05-10 2004-11-17 삼성전자주식회사 Multimedia data decoding apparatus, audio data receiving method and audio data structure therein
JP2004363825A (en) 2003-06-03 2004-12-24 Canon Inc Recording and reproducing device, recording and reproducing method, and recording medium and program therefor

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101033448B1 (en) * 2006-03-09 2011-05-09 인터내셔널 비지네스 머신즈 코포레이션 Rss content administration for rendering rss content on a digital audio player
KR101243965B1 (en) * 2006-03-30 2013-03-25 엘지전자 주식회사 Media file format, and method and apparatus for reproducing media using the same
KR100837721B1 (en) * 2006-08-04 2008-06-13 한국전자통신연구원 Encoding/Decoding Apparatus and Encoding Method of Binding Format for Consuming Personalized Digital Broadcasting Contents
WO2008091136A1 (en) * 2007-01-26 2008-07-31 Lg Electronics Inc. Method for contructing a file format and appratus for processing a digital broadcasting signal including a file having the file format and method thereof
KR100988120B1 (en) * 2007-07-06 2010-10-18 한국전자통신연구원 Integrated storage format for efficient storage/management/consumption of digital contents, and method and system for offering electronic comic contents service using the same
KR101401964B1 (en) * 2007-08-13 2014-05-30 삼성전자주식회사 A method for encoding/decoding metadata and an apparatus thereof
US8912931B2 (en) 2007-08-13 2014-12-16 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding metadata
US8255395B2 (en) 2007-09-11 2012-08-28 Samsung Electronics Co., Ltd. Multimedia data recording method and apparatus for automatically generating/updating metadata
WO2009035193A1 (en) * 2007-09-11 2009-03-19 Samsung Electronics Co., Ltd. Multimedia data recording method and apparatus for automatically generating/updating metadata
KR101369426B1 (en) * 2007-09-18 2014-03-04 엘지전자 주식회사 Method and apparatus for transforming MP3 file to MPEG4 file, and method and apparatus for playing MPEG4 file thereof
KR101482099B1 (en) * 2007-10-08 2015-01-13 엘지전자 주식회사 Method and apparatus for encoding/decoding Multi-media data
WO2012103267A3 (en) * 2011-01-27 2012-10-18 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
WO2012103267A2 (en) * 2011-01-27 2012-08-02 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
WO2012138103A3 (en) * 2011-04-04 2013-01-10 에스케이플래닛 주식회사 Device-adaptable contents generating device, contents generating device, and method thereof
WO2012138103A2 (en) * 2011-04-04 2012-10-11 에스케이플래닛 주식회사 Device-adaptable contents generating device, contents generating device, and method thereof

Also Published As

Publication number Publication date
KR100686521B1 (en) 2007-02-26

Similar Documents

Publication Publication Date Title
Li et al. Fundamentals of multimedia
US7624337B2 (en) System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
JP4408768B2 (en) Description data generation device, audio visual device using description data
KR101382499B1 (en) Method for tagging video and apparatus for video player using the same
Money et al. Video summarisation: A conceptual framework and survey of the state of the art
Babaguchi et al. Personalized abstraction of broadcasted American football video by highlight selection
Bolle et al. Video query: Research directions
EP1019852B1 (en) Hierarchical method and system for object-based audiovisual descriptive tagging of images for information retrieval, editing, and manipulation
US7743025B2 (en) Network-extensible reconfigurable media appliance
Dimitrova et al. Applications of video-content analysis and retrieval
US6222532B1 (en) Method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel
KR100411437B1 (en) Intelligent news video browsing system
JP2009044767A (en) Computer readable medium for supporting media content description
US20040220791A1 (en) Personalization services for entities from multiple sources
US7209942B1 (en) Information providing method and apparatus, and information reception apparatus
CN100511208C (en) System and method for providing a multimedia contents service based on user&#39;s preferences
US7826709B2 (en) Metadata editing apparatus, metadata reproduction apparatus, metadata delivery apparatus, metadata search apparatus, metadata re-generation condition setting apparatus, metadata delivery method and hint information description method
US20080247458A1 (en) System and method to compose a slide show
US20040220926A1 (en) Personalization services for entities from multiple sources
KR20080063450A (en) Techniques for navigating multiple video streams
CN100392749C (en) Apparatus for reproducing information signal stored on storage medium
US8296797B2 (en) Intelligent video summaries in information access
US7143353B2 (en) Streaming video bookmarks
CN1190966C (en) Method for audio/data/video information selection
KR100464076B1 (en) Video browsing system based on keyframe

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110201

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee