KR20130005527A - Realtime transcoding device for progressive downloading of which meta data and media data saperated - Google Patents

Realtime transcoding device for progressive downloading of which meta data and media data saperated Download PDF

Info

Publication number
KR20130005527A
KR20130005527A KR1020110066979A KR20110066979A KR20130005527A KR 20130005527 A KR20130005527 A KR 20130005527A KR 1020110066979 A KR1020110066979 A KR 1020110066979A KR 20110066979 A KR20110066979 A KR 20110066979A KR 20130005527 A KR20130005527 A KR 20130005527A
Authority
KR
South Korea
Prior art keywords
bit rate
screen
metadata
unit
information
Prior art date
Application number
KR1020110066979A
Other languages
Korean (ko)
Other versions
KR101285654B1 (en
Inventor
전형욱
이진학
심승용
Original Assignee
주식회사 씬멀티미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씬멀티미디어 filed Critical 주식회사 씬멀티미디어
Priority to KR1020110066979A priority Critical patent/KR101285654B1/en
Publication of KR20130005527A publication Critical patent/KR20130005527A/en
Application granted granted Critical
Publication of KR101285654B1 publication Critical patent/KR101285654B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements

Abstract

PURPOSE: A real time trans coding device to progressively download the multimedia contents in a file format with the separated metadata and media data aids the progressive download of a user end terminal by coding multimedia contents stored in a storage device in a server with the use of a trans coder in real time through the control of a two staged bit rate in between screens or in the screen. CONSTITUTION: A metadata reprocessing unit(20) reprocesses a metadata(100) inputted. A one-step bit rate controller(22) supplies the right metadata generation by using an inter-screen correlation and the proper inter-screen bit rate to the metadata reprocessing unit. A decoding unit(24) decodes some part of whole part of a screen data(104) received from a media data(102). An encoding unit(26) encodes the decoded data in a desired codec. A two-step bit rate controller provides the optimal bit rate through an intra-screen correlation and the reattempt of encoding in the encoding unit. [Reference numerals] (10) Media data; (100) Metadata; (104) Screen data; (2) MP4 file converting unit; (20) Metadata reprocessing unit; (22) One-step bit rate controller; (24) Decoding unit; (26) Encoding unit; (28) Two-step bit rate controller; (3) Network; (AA) MP4 file format; (BB) Repeated attempt; (CC) Compression rate; (DD) Real-time transmission

Description

메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치{Realtime transcoding device for progressive downloading of which meta data and media data saperated}Real-time transcoding device for progressive downloading of which meta data and media data saperated}

본 발명은 멀티미디어 컨텐츠를 사용자 단말에서 프로그래시브 다운로드하는데 필요하여 서버측에 설치되는 실시간 트랜스코딩 장치에 관한 것으로, 더 상세하게는 MP4, skm, k3g, 3gp, 및 3gp2 파일 형식과 같이 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 사용자 단말에서 최적의 화질을 유지하면서 프로그래시브 다운로드할 수 있도록 지원하기 위하여 서버측에 설치되는 실시간 트랜스코딩 장치에 관한 것이다.The present invention relates to a real-time transcoding device that is installed on the server side for progressive download of multimedia content from a user terminal. More specifically, the present invention relates to metadata such as MP4, skm, k3g, 3gp, and 3gp2 file formats. The present invention relates to a real-time transcoding apparatus installed on a server side to support progressive download of multimedia contents in a file format in which media data is separated, while maintaining optimal image quality in a user terminal.

멀티미디어 시스템의 발전은 영상 압축 영역에 상당한 영향을 끼치게 되었다. 특히, 여러 통신 환경 및 비디오 압축 방식과 다양한 사용자 장치들이 늘어나게 됨으로써 상이한 시스템 및 통신 환경 간의 호환성 문제를 해결하는 것이 멀티미디어 서비스의 중요한 요소가 되었다. 이에 게이트웨이, 서버와 같은 장치들은 사용자에게 끊김 없는 원활한 서비스를 제공하기 위하여 네트워크 대역폭 및 사용자 장치에 적합한 형식의 콘텐츠를 전송할 필요성이 있다. 무선 환경과 같은 제한된 네트워크 대역폭의 경우 고해상도/고화질의 비디오 데이터를 전송하기에는 어려움이 있으며, 전송 방법 또한 사용자 장치에 따라 차이가 있어 적합한 형태로의 변환이 필요하게 되었다.Advances in multimedia systems have had a significant impact on image compression. In particular, as the number of communication environments, video compression schemes, and various user devices have increased, solving the compatibility problem between different systems and communication environments has become an important element of the multimedia service. Accordingly, devices such as gateways and servers need to transmit content in a format suitable for network bandwidth and user devices in order to provide seamless service to users. In the case of limited network bandwidth such as a wireless environment, it is difficult to transmit high resolution / high definition video data, and the transmission method also needs to be converted into a suitable form because there are differences depending on user devices.

여러 전송 방법 중 하나인 프로그래시브 다운로드는 동영상 파일이 서버부터 사용자 장치에 전달될 때 파일 일부가 도착하는 대로 먼저 재생하는 방법으로서, 불필요한 네트워크 낭비와 재생 대기 시간을 줄일 수 있는 장점이 있지만, 동영상 파일의 전송 비트율이 네트워크 속도보다 낮아야 동영상이 끊김없는 재생이 가능하다. 따라서, 사용자가 무선 환경과 같은 제한된 네트워크 대역폭 내에서 고해상도/고화질의 동영상 파일을 서버로부터 프로그래시브 다운로드하는 경우, 잦은 끊김 현상을 가져올 수 있다.Progressive download, one of several transfer methods, plays a video file as soon as it arrives as it arrives from the server to the user's device, which can reduce unnecessary network wastage and playback latency. If the transfer bit rate of the file is lower than the network speed, the video can be played seamlessly. Therefore, when a user progressively downloads a high resolution / high definition video file from a server within a limited network bandwidth such as a wireless environment, frequent disconnection may occur.

즉, 무선 통신 환경과 같은 제한된 네트워크 대역폭을 갖는 경우 많은 제약 사항들이 존재하기 때문에 기존의 멀티미디어 콘텐츠를 가공 없이 재사용하기에 무리가 있다. 이러한 네트워크 트래픽을 최소화하여 사용자에게 끊김없는 멀티미디어 서비스를 제공하기 위한 재가공 방법으로서 트랜스코딩 장치가 사용되고 있으나 서버 내 저장장치에 있는 MP4,skm, k3g, 3gp, 및 3gp2와 같은 파일 형식의 멀티미디어 콘텐츠의 경우, 메타데이타와 미디어데이타가 독립적으로 분리되어 있어 실시간 트랜스코더를 사용하여 프로그래시브 다운로드를 구현할 수 없다는 문제점이 있다.In other words, since there are many limitations in the case of limited network bandwidth, such as a wireless communication environment, it is difficult to reuse existing multimedia contents without processing. Transcoding device is used as a reprocessing method to provide seamless multimedia service to users by minimizing such network traffic, but multimedia content such as MP4, skm, k3g, 3gp, and 3gp2 in the storage device in the server However, since metadata and media data are independently separated, there is a problem that progressive download cannot be implemented using a real-time transcoder.

본 발명은 상기한 기술적 과제를 이루기 위하여 개발된 것으로 본 발명이 이루고자 하는 기술적 과제는, 서버 내 저장장치에 저장되는 멀티미디어 컨텐츠로서메타데이타와 미디어데이타가 독립적으로 분리되어 있는 파일 형식의 멀티미디어 콘텐츠를 실시간 트랜스코더를 사용하여 프로그래시브 다운로드를 구현할 수 있도록 하는, 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치를 제공하는 것이다.The present invention was developed in order to achieve the above technical problem, the technical problem to be achieved by the present invention, the multimedia content stored in the storage device in the server as a multimedia content in which the metadata and media data are independently separated in real time The present invention provides a real-time transcoding device for progressive download of multimedia content in a file format in which metadata and media data are separated, which enables a progressive download using a transcoder.

상기 기술적 과제를 이루기 위한 본 발명에 따른 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치는,In order to achieve the above technical problem, a real-time transcoding device for progressive downloading multimedia content in a file format in which metadata and media data are separated,

메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 사용자 단말기에서 프로그래시브 다운로드할 수 있도록 지원하도록 서버측에 설치되는 실시간 트랜스코딩 장치로서,A real-time transcoding device installed on the server side to support progressive download of multimedia content in a file format in which metadata and media data are separated from a user terminal.

입력된 메타데이터를 원하는 압축율로 재가공하기 위한 메타데이터 재가공부와;A metadata reprocessing unit for reprocessing the input metadata at a desired compression ratio;

상기 메타데이터 재가공부에 화면 간 상관관계를 이용하여, 올바른 메타데이터 생성과 적합한 화면 간 비트율을 제공하는 1단계 비트율 제어부와;A step 1 bit rate controller for providing correct metadata generation and a suitable bit rate between screens by using correlation between screens in the metadata reprocessing unit;

메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식 데이터의 미디어데이터로부터 화면 데이터를 받아 일부 혹은 전부를 복호화하는 복호화부와;A decoding unit which receives screen data from the media data of the file format data in which the meta data and the media data are separated, and decodes some or all of the screen data;

복호화기로 부터 복호화된 일부 혹은 전부를 입력 받아 원하는 코덱으로 부호화하는 부호화부; 및An encoder which receives part or all of the decoded data from the decoder and encodes the codec into a desired codec; And

상기 1 단계 비트율 제어부로부터 현재 화면의 목표 압축율을 제공받아 화면 내 상관관계와 부호화부의 부호화 재시도를 통하여 최적의 비트율을 제공하는 2 단계 비트율 제어부;를 포함하는 것을 특징으로 한다.And a second stage bit rate controller which receives the target compression rate of the current screen from the first stage bit rate controller and provides an optimal bit rate through intra-correlation and encoding retry of the encoder.

또한, 상기 메타데이터 재가공부는,In addition, the metadata reprocessing unit,

메타데이터 재가공을 위해 기존의 메타데이터를 분석하여 코덱의 데이터 기술자(Element Stream Descriptor)를 추출하고, 재가공이 요구되는 화면 정보와 재가공이 요구되지 않는 정보를 분류하여 수행 시간을 단축하는 메타데이터 분석부;Metadata analysis unit that extracts the codec data descriptor (Element Stream Descriptor) by analyzing existing metadata for metadata reprocessing, and classifies screen information that needs to be reprocessed and information that does not require reprocessing to reduce execution time. ;

재가공이 요구되는 화면 정보에 대해서 상기 1 단계 비트율 제어부를 통하여 제안된 비트율로 화면 정보를 재가공하는 화면 정보 재가공부; 및A screen information reprocessing unit for reprocessing the screen information at the bit rate suggested through the first step bit rate controller for the screen information requiring reprocessing; And

비 재가공 정보, 재가공된 화면 정보 와 부호화부로 부터 입력된 새로운 코덱의 데이터 기술자(Element Stream Descriptor)를 조합하여 새로운 메타데이터를 생성하는 메타데이터 생성부로 구성되는 것이 바람직하다.It is preferable that the metadata generation unit generates new metadata by combining non-reprocessed information, reprocessed screen information, and a data stream of a new codec inputted from an encoder.

또한, 상기 1 단계 비트율 제어부는,In addition, the first step bit rate control unit,

재가공 전 메타데이터로 부터 초기 정보를 입력받아 1 단계 비트율 제어부를 초기화하는 비트율 제어 설정부와;A bit rate control setting unit which receives initial information from metadata before reprocessing and initializes a first-level bit rate controller;

전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율을 포함하는 상기 비트율 제어부의 초기 정보와 메타데이터의 샘플 정보로부터 현재 화면에 대한 화면 종류를 결정하고 적합한 압축율을 제공하는 화면 간 비트율 제어부; 및From the initial information of the bit rate control unit, including the total number of screens, screen size, codec information, screen type, bit rate and frame rate, and sample information of metadata, the screen type for the current screen is determined and provides an appropriate compression ratio. A bit rate controller; And

전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율을 포함하는 상기 비트율 제어부의 초기 정보와 화면 간 비트율 제어부의 화면 종류 및 압축율을 저장함으로써 상기 2 단계 비트율 제어부의 입력이 되는 화면 정보 저장부를 포함하는 것이 바람직하다.A screen to be input by the second-level bit rate controller by storing the initial information of the bit rate controller including the total number of screens, screen size, codec information, screen type, bit rate and frame rate, and the screen type and compression rate of the bit rate controller between screens. It is preferable to include an information storage unit.

또한, 상기 화면 간 비트율 제어부는,In addition, the bit rate controller between the screen,

메타데이터로부터 입력된 샘플 정보(동기화 샘플 정보, DT(Decoding Time)/CT(Composition Time))만으로 화면 종류를 예측 및 결정하는 화면 종류 예측부와;A screen type predictor for predicting and determining a screen type only by sample information (synchronization sample information, DT (Composition Time) / CT (Composition Time)) input from metadata;

상기 화면 종류 예측부에서 결정된 화면 종류와 트랜스코더 부호화부의 코덱 내 엔트로피 부호화 방식에 따라 현재 화면의 최대 압축율을 예측하여 2 단계 비트율 제어의 오동작을 방지함으로써 올바른 메타데이터를 생성하는 최대 압축율 예측부와;A maximum compression ratio predictor for predicting the maximum compression ratio of the current screen according to the screen type determined by the screen type predictor and an entropy encoding scheme in the codec of the transcoder encoder to generate correct metadata by preventing malfunction of two-step bit rate control;

상기 최대 압축율 제어부에서 결정된 최대 압축율과 초당 화면 비트율 제어부에서 제안된 비트율을 기반으로 적합한 최종 압축율을 계산하는 최종 압축율 결정부와;A final compression ratio determiner for calculating a suitable final compression ratio based on the maximum compression ratio determined by the maximum compression ratio controller and the bit rate proposed by the screen bit rate controller per second;

상기 최종 압축율 결정부에서 결정된 압축율에 따라 발생하는 초당 비트율 버퍼의 오버플로우와 언더플로우를 방지하는 초당 화면 비트율 버퍼 제어부; 및A screen bit rate buffer control unit for preventing an overflow and underflow of the bit rate buffer per second generated according to the compression rate determined by the final compression rate determining unit; And

상기 초당 화면 비트율 제어부에서 발생하는 초당 화면 비트율을 누적하여 전체 비트율의 오버플로우와 언더플로우를 방지하고 전체적인 비트율을 안정화하는 평균 비트율 버퍼 제어부로 구성되는 것이 바람직하다.It is preferable that the average bit rate buffer control unit accumulates the screen bit rate per second generated by the screen bit rate control unit per second to prevent overflow and underflow of the entire bit rate and to stabilize the overall bit rate.

또한, 상기 2 단계 비트율 제어부는,In addition, the two-step bit rate control unit,

상기 화면 정보 저장부로부터 초기 정보(전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율)를 입력 받아 2 단계 비트율 제어부를 초기화하는 비트율 제어 설정부;A bit rate control setting unit which receives initial information (number of full screens, screen size, codec information, screen type, bit rate, and frame rate) from the screen information storage unit and initializes a two-level bit rate control unit;

상기 비트율 설정부의 설정값과 복호화부에서 실제 화면 정보 및 제 4항의 화면 종류 예측부에서 결정된 화면 정보를 사용하여 적합한 화면 종류를 최종 결정하는 화면 종류 결정부; 및A screen type determiner which finally determines a suitable screen type by using the setting value of the bit rate setting unit and the screen information determined by the screen type predictor of claim 4 in the decoder; And

상기 화면 종류 결정부의 화면 종류와 목표 압축율을 입력으로 현재 화면에 대한 적합한 비트율을 제공하는 화면 내 비트율 제어부로 구성되는 것이 바람직하다.It is preferable that the screen type determiner is configured with an on-screen bit rate controller that provides an appropriate bit rate for the current screen by inputting the screen type and the target compression ratio.

또한, 상기 화면 내 비트율 제어부는,In addition, the on-screen bit rate control unit,

상기 복호화부로부터 매크로블록 종류, 모션 벡터의 크기, 계수 및 발생 비트량를 포함하는 트랜스코딩 전 매크로블록 정보를 사용하여 화면 내 현재 매크로블록의 중요도를 계산하고 비트율 할당에 있어 가중치를 두어 화면 화질을 개선하는 매크로블록 분석부와;The decoder decodes the importance of the current macroblock in the picture using the pre-coding macroblock information including the macroblock type, the size of the motion vector, the coefficient, and the generated bit amount, and weights the bit rate to improve the picture quality. A macroblock analyzer;

상기 부호화부로부터 트랜스코딩 후 매크로블록의 발생 비트량을 누적하고, 다음 매크로블록 양자화 레벨 결정부에서 제안된 양자화 레벨을 고려하여 현재 화면에서 발생될 비트율을 예측하는 현재 화면 비트율 예측부와;A current screen bit rate predictor for accumulating the generated bit amount of the macroblock after transcoding from the encoder and predicting a bit rate to be generated in the current screen in consideration of the quantization level proposed by the next macroblock quantization level determiner;

상기 매크로블록 분석부의 가중치, 기준 양자화 레벨 저장부의 기준 양자화 레벨, 화면 내 평균 양자화 레벨 저장부의 평균 양자화 레벨을 입력받아 상기 현재 화면 비트율 예측부 간의 검증을 통해 다음 매크로블록의 양자화 레벨을 결정하는 다음 매크로블록 양자화 레벨 결정부와;Next macro for determining the quantization level of the next macroblock through verification between the current screen bit rate prediction unit by receiving the weight of the macroblock analyzer, the reference quantization level storage unit, and the average quantization level of the intra-screen average quantization level storage unit. A block quantization level determiner;

상기 매크로블록 양자화 레벨 결정부에서 결정된 양자화 레벨을 누적/평균하여 다음 매크로블록에 이를 반영함으로써 화면 내 급격한 화질 변화를 방지하기 위한 화면 내 평균 양자화 레벨 저장부와;An on-screen average quantization level storage unit for accumulating / averaging the quantization level determined by the macroblock quantization level determination unit and reflecting it to the next macroblock to prevent a sudden change in image quality in the screen;

상기 현재 화면 비트율 예측부에서 예측된 비트율이 목표 압축율에 적합하지 않을 경우, 이에 대한 재부호화 여부를 결정하는 재부호화 결정부; 및A re-encoding determination unit for determining whether to re-encode the bit rate predicted by the current screen bit rate prediction unit when it is not suitable for a target compression rate; And

상기 재부호화 결정부에서 재부호화 결정에 따라 전체 화면에 대한 기준 양자화 레벨을 저장 및 조정하여, 화면 간 급격한 화질 변화 및 화면 내 무리한 양자화 레벨 제어를 방지하기 위한 기준 양자화 레벨 저장부를 포함하는 것이 바람직하다.Preferably, the recoding determination unit includes a reference quantization level storage unit for storing and adjusting the reference quantization level for the entire screen according to the re-encoding determination to prevent sudden image quality change and uncontrollable quantization level control in the screen. .

상술한 바와 같이, 본 발명에서 따르면 화면 간/ 화면 내 2 단계 비트율 제어를 통하여 서버 내 저장장치에 저장되는 멀티미디어 컨텐츠로서 메타데이타와 미디어데이타가 독립적으로 분리되어 있는 MP4, skm, k3g, 3gp, 및 3gp2 파일포맷의 멀티미디어 콘텐츠를 실시간 트랜스코더를 사용하여 부호화함으로써 사용자 단말에서 프로그래시브 다운로드할 수 있도록 지원한다. 또한, 본 발명에 따르면 메타데이터 안정적인 생성 과정 및 트랜스코더 수행 과정에서 화면 간 및 화면 내의 2 단계 비트율 제어를 함으로써 실시간 트랜스코더에서 프로그래시브 다운로드를 가능하게 하고, 효과적인 비트율 제어를 통하여 수행 시간 단축, 전송 효율 극대화, 및 화질 저하를 방지할 수 있다.As described above, according to the present invention, MP4, skm, k3g, 3gp, and metadata, in which metadata and media data are independently separated as multimedia contents stored in a storage device within a server through two-step bit rate control between screens and in screens. Multimedia content in 3gp2 file format is encoded using a real-time transcoder to enable progressive download from the user's device. In addition, according to the present invention, by performing two-step bit rate control between screens and in screens during the stable metadata generation and transcoder execution, progressive download is possible in a real-time transcoder, and the execution time is reduced through effective bit rate control. Maximization of transmission efficiency and deterioration of image quality can be prevented.

도 1은 본 발명의 실시예에 따른 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치의 구조를 도시한 블록도,
도 2는 도 1의 메타데이타 재가공부의 세부 구조를 도시한 블록도,
도 3은 도 1의 1 단계 비트율 제어부의 세부 구조를 도시한 블록도,
도 4는 도 3의 화면 간 비트율 제어부의 세부 구조를 도시한 블록도,
도 5는 도 1의 2 단계 비트율 제어부의 세부 구조를 도시한 블록도, 및
도 6은 도 5의 화면 내 비트율 제어부의 세부 구조를 도시한 블록도.
1 is a block diagram illustrating a structure of a real-time transcoding apparatus for progressive downloading a multimedia content in a file format in which metadata and media data are separated according to an embodiment of the present invention;
FIG. 2 is a block diagram showing a detailed structure of the metadata reprocessing part of FIG. 1;
3 is a block diagram illustrating a detailed structure of a step 1 bit rate controller of FIG. 1;
4 is a block diagram illustrating a detailed structure of an inter-screen bit rate controller of FIG. 3;
5 is a block diagram showing a detailed structure of a two-step bit rate control unit of FIG.
FIG. 6 is a block diagram illustrating a detailed structure of an intra screen bit rate controller of FIG. 5; FIG.

본 발명과 본 발명의 동작성의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야 한다. DETAILED DESCRIPTION In order to fully understand the present invention, the advantages of the operability of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings that illustrate preferred embodiments of the present invention and the contents described in the accompanying drawings.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명에 따르면 서버 측에서 실시간 트랜스코더를 통하여 사용자의 네트워크 환경에 적합한 컨텐츠를 전송하여 원할한 서비스를 제공하도록 한다. MP4, skm, k3g, 3gp, 및 3gp2 파일 포맷의 구조는 화면마다 헤더 정보를 포함하고 있는 다른 파일 포맷과 달리 컨텐츠의 상세 정보와 화면의 파일 내 위치 및 크기 등 모든 재생 정보를 포함하고 있는 메타데이터와 순수하게 비디오/오디오의 데이터 묶음만으로 구성된 미디어데이터로 구성되어 있다. 이하의 실시예에서는 멀티미디어 콘텐츠가 MP4 형식인 것을 예로서 설명한다.According to the present invention, the server side transmits content suitable for the user's network environment through a real-time transcoder to provide a smooth service. The structure of the MP4, skm, k3g, 3gp, and 3gp2 file formats, unlike other file formats that contain header information per screen, includes metadata that contains all the playback information, including details of the content and the location and size of the file on the screen. It is composed of media data consisting of only video / audio data bundles. In the following embodiment, the multimedia content is described as an MP4 format by way of example.

위에서 설명한 바와 같이 MP4, skm, k3g, 3gp, 및 3gp2 파일 포맷의 구조는 화면마다 헤더 정보를 포함하고 있는 다른 파일 포맷과 달리 컨텐츠의 상세 정보와 화면의 파일 내 위치 및 크기 등 모든 재생 정보를 포함하고 있는 메타데이터와 순수하게 비디오/오디오의 데이터 묶음만으로 구성된 미디어데이터로 분리되어 있는 MP4 파일 포맷을 프로그래시브 다운로드 하기 위해서는 동영상 재생에 필요한 메타데이타 전송이 선행된다. 사용자 장치는 먼저 전송된 메타데이터의 수신을 완료 후 미디어데이터 수신 시점에서 동영상 재생이 가능하다. 이러한 구조는 트랜스코더를 사용하는 경우, 서버는 실시간 트랜스코딩을 수행하기 이전에 메타데이터를 먼저 송신해야 하는 문제가 발생한다. 즉, 실시간 트랜스코더를 사용하여 재가공전 화면의 정보가 없는 상태에서 메타데이타를 생성해야만 한다. 하지만, 적합하지 않는 메타데이터의 생성 및 전송은 사용자 단말에서 화면 열화 및 불필요한 네트워크 낭비, 그리고 서버 단의 추가적인 부하를 가져온다. 따라서, MP4 프로그래시브 다운로드를 위한 실시간 트랜스코더를 수행하기 전에 실시간 트랜스코더와 연계하여 최적의 메타데이터를 예측 및 생성할 필요성이 존재한다.As explained above, the structure of the MP4, skm, k3g, 3gp, and 3gp2 file formats, unlike other file formats that contain header information for each screen, contains all the playback information, including the details of the content and the location and size of the file on the screen. In order to progressively download the MP4 file format, which is separated into the existing metadata and media data consisting of purely video / audio data bundles, metadata transmission for video playback is preceded. The user device may complete the reception of the transmitted metadata and then play the video at the time of receiving the media data. This structure causes a problem in that when a transcoder is used, the server must first transmit metadata before performing real-time transcoding. In other words, metadata must be generated using a real-time transcoder without information on the screen before reprocessing. However, the generation and transmission of inappropriate metadata introduces screen degradation and unnecessary network waste in the user terminal and additional load on the server side. Therefore, there is a need to predict and generate optimal metadata in conjunction with a real-time transcoder before performing a real-time transcoder for MP4 progressive download.

이를 위하여 본 발명에 따른 장치는 2 단계에 걸친 비트율 제어를 수행한다. 도 1에는 본 발명의 바람직한 실시예에 따른 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치의 구조를 블록도로써 나타내었다. 도 1을 참조하면, 본 발명에 따른 실시간 트랜스코딩 장치는,To this end, the apparatus according to the invention performs a bit rate control over two stages. FIG. 1 is a block diagram illustrating a structure of a real-time transcoding apparatus for progressive downloading a multimedia content in a file format in which meta data and media data are separated according to a preferred embodiment of the present invention. 1, a real-time transcoding device according to the present invention,

입력된 메타데이터(100)를 원하는 압축율로 재가공하기 위한 메타데이터 재가공부(20)와,A metadata reprocessing unit 20 for reprocessing the input metadata 100 at a desired compression ratio,

상기 메타데이터 재가공부(20)에 화면 간 상관관계를 이용하여, 올바른 메타데이터 생성과 적합한 화면 간 비트율을 제공하는 1단계 비트율 제어부(22)와,A first stage bit rate controller 22 for providing correct metadata generation and an appropriate bit rate between screens by using correlation between screens in the metadata reprocessing unit 20,

MP4 파일의 미디어 데이터로부터 화면 데이터를 받아 일부 혹은 전부를 복호화하는 복호화부(24)와,A decoding unit 24 which receives screen data from the media data of the MP4 file and decodes part or all of it;

복호화부(24)로부터 복호화된 일부 혹은 전부를 입력받아 원하는 코덱으로 부호화하는 부호화부(26), 및An encoding unit 26 which receives a portion or all of the decoded from the decoding unit 24 and encodes it with a desired codec, and

상기 1 단계 비트율 제어부(22)로부터 현재 화면의 목표 압축율을 제공받아 화면 내 상관관계와 부호화부의 부호화 재시도를 통하여 최적의 비트율을 제공하는 2 단계 비트율 제어부(28)를 구비한다.The second stage bit rate controller 28 receives the target compression ratio of the current screen from the first stage bit rate controller 22 and provides an optimal bit rate through the intra-screen correlation and the encoding retry of the encoder.

복호화부(24)와 부호화부(28)는 이종간 트랜스코더 및 동종간 트랜스코더를 지원하고, 트랜스코더의 방식으로 복호화부(24)와 부호화부(28)를 종속적으로 연결한 종속 트랜스코더(Casecased Transcoder)와 DCT 공간 데이터와 화소 공간 데이터를 복합적으로 이용하는 복합 트랜스코더(Hybrid Transcoder)가 적용 가능하다. 즉, 본 발명의 비트율 제어 장치는 실시간 MP4 프로그래시브 다운로드가 요구되는 다양한 실시간 트랜스코더에 접목이 가능하다.The decoder 24 and the encoder 28 support heterogeneous transcoders and homogeneous transcoders, and cascaded by cascading the decoder 24 and the encoder 28 in a transcoder manner. Transcoder) and a hybrid transcoder using a combination of DCT spatial data and pixel spatial data are applicable. That is, the bit rate control apparatus of the present invention can be applied to various real-time transcoder requiring real-time MP4 progressive download.

도 2에는 도 1의 메타데이터 재가공부의 세부 구조를 블록도로써 나타내었다. 도 2를 참조하면, 메타데이터 재가공부(20)는 MP4 프로그래시브 다운로드의 시작과 동시에 전송되어야 할 메타데이터를 원하는 비트율에 적합한 메타데이터로 재가공하기 위한 장치로 메타데이터 분석부(200), 화면 정보 재가공부(202), 메타데이터 생성부(204)로 구성된다.FIG. 2 is a block diagram illustrating a detailed structure of the metadata reprocessing unit of FIG. 1. Referring to FIG. 2, the metadata reprocessing unit 20 is a device for reprocessing metadata to be transmitted at the same time as the start of the MP4 progressive download into metadata suitable for a desired bit rate. The information reprocessing unit 202 and the metadata generating unit 204 are configured.

메타데이터 분석부(200)는 부호화부(24)의 새로운 코덱의 데이터 기술자(Element Stream Descriptor)를 입력 받기 위해 MP4 파일 내 코덱의 데이터 기술자(Element Stream Descriptor)를 추출하여 복호화부(26)에 입력한다. 또한, 화면 정보와 관련된 데이터와 재가공이 불필요한 데이터를 분리하여 수행시간을 줄임으로써 초기 전송 지연 시간을 줄여준다.The metadata analyzer 200 extracts the data descriptor of the codec in the MP4 file and inputs it to the decoder 26 in order to receive an element stream descriptor of the new codec of the encoder 24. do. In addition, the initial transmission delay time is reduced by reducing the execution time by separating the data related to the screen information and the data that is not reprocessed.

화면 정보 재가공부(202)는 1 단계 비트율 제어부(22)와 연계하여 목표 압축율에 맞는 화면 정보로 재가공한다.The screen information reprocessing unit 202 is reworked with the screen information corresponding to the target compression ratio in association with the first-level bit rate control unit 22.

메타데이터 생성부(204)는 부호화부(26)로부터 입력된 새로운 코덱의 데이터 기술자(Element Stream Descriptor)와 재가공된 화면 정보와 가공되지 않는 메타데이터를 조합하여 전송할 메타데이터를 생성한다.The metadata generator 204 generates metadata to be transmitted by combining a data descriptor (Element Stream Descriptor) of the new codec inputted from the encoder 26, the reprocessed screen information, and the raw metadata.

도 3에는 도 1의 1 단계 비트율 제어부의 세부 구조를 블록도로써 나타내었다. 도 3을 참조하면, 1 단계 비트율 제어부(22)는 비트율 제어 설정부(220), 화면간 비트율 제어부(222), 화면 정보 저장부(224)로 구성된다.FIG. 3 is a block diagram illustrating a detailed structure of the first stage bit rate controller of FIG. 1. Referring to FIG. 3, the first stage bit rate control unit 22 includes a bit rate control setting unit 220, an inter-screen bit rate control unit 222, and a screen information storage unit 224.

비트율 제어 설정부(220)는 메타데이더의 재가공부 중 메타데이터 분석부(200)로부터 전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율에 대한 기본 정보를 전달받아 1단계 비트율 제어에 사용되는 전반적인 초기 정보를 설정하고 관련 정보를 화면 정보 저장부(224)에 저장한다.The bit rate control setting unit 220 receives basic information about the total number of screens, screen size, codec information, screen type, bit rate, and frame rate from the metadata analysis unit 200 among metadata reprocessing units. General initial information used for bit rate control is set and related information is stored in the screen information storage unit 224.

화면 정보 저장부(224)는 트랜스코더 수행 전에 재가공된 메타데이터의 모든 화면 정보들이 저장되어 있으며, 이 정보들은 트랜스코더 수행 시 2 단계 비트율 제어를 통해 적합한 트랜스코딩을 위해 사용된다.The screen information storage unit 224 stores all screen information of metadata reprocessed before the transcoder is executed, and the information is used for proper transcoding through two-step bit rate control during the transcoder.

즉, 1 단계 비트율 제어부(22)는 비트율 제어 설정부(220)에서 메타데이터로부터 전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율에 대한 기본정보를 받아 비트율 제어부를 초기화하고, 화면 간 비트율 제어부(222)는 실제 입력된 화면 정보와 목표 압축율을 기반으로 화면 간 상관관계 및 비트율을 참고하여 화면 정보를 재가공하며, 재가공된 화면 정보들은 화면 정보 저장부(224)로 저장되고 2단계 비트율 제어부에서 이를 사용하여 정확한 비트율 제어가 수행되도록 한다. 이와 같은 1단계 비트율 제어는 실시간 트랜스코더 수행에 앞서 프로그래시브 다운로드를 지원하기 위해 메타데이타 생성 및 전송 단계의 비트율 제어를 선행하는 것으로 미디어데이터의 실제 화면 정보 없이 메타데이터의 샘플 정보만으로 화면 간 비트율 제어를 통해 최적의 비트율 산출하는 것이다.That is, the first stage bit rate controller 22 receives the basic information about the total number of screens, screen size, codec information, screen type, bit rate and frame rate from the metadata in the bit rate control setting unit 220 and initializes the bit rate controller. The inter-bit rate controller 222 reprocesss the screen information by referring to the inter-screen correlation and the bit rate based on the actual input screen information and the target compression ratio, and the re-processed screen information is stored in the screen information storage unit 224. The second stage bit rate controller uses this to ensure accurate bit rate control. This one-stage bit rate control precedes bit rate control of metadata generation and transmission stages to support progressive download prior to real-time transcoder execution. The control is to calculate the optimal bit rate.

도 4에는 도 3의 화면 간 비트율 제어부의 세부 구조를 블록도로써 나타내었다. 도 4를 참조하면, 화면 간 비트율 제어부(222)는 화면 종류 예측부(2220), 최대 압축율 예측부(2222), 초당 화면 비트율 제어부(2226), 평균 비트율 버퍼 제어부(2224), 및 최종 압축율 결정부(2228)로 구성된다.4 is a block diagram illustrating a detailed structure of the inter-bit rate controller of FIG. 3. Referring to FIG. 4, the inter-screen bit rate controller 222 determines a screen type predictor 2220, a maximum compression rate predictor 2222, a second screen bit rate controller 2226, an average bit rate buffer controller 2224, and a final compression rate. It is comprised by the part 2228.

화면 종류 예측부(2220)는 미디어데이터를 사용하지 않고 메타데이터 만으로 현재 화면의 종류(I/P/B frame)를 예측 또는 추정한다. 실제 메타데이터 내부에는 화면 종류에 대한 정보가 명시되어 있지 않기 때문에 정확한 화면 종류를 알기 위해서는 추가적으로 미디어데이터의 분석이 요구된다. 하지만, 미디어데이터의 분석은 잦은 메모리 접근 및 많은 연산으로 인한 전송 지연을 초래한다. 본 발명에서는 미디어데이터의 분석 없이 메타데이터 내의 동기화 샘플 정보와 DT(Decoding Time)/CT(Composition Time) 만을 이용하여 화면의 종류를 예측할 수 있다. 추가적으로 최종 압축율 결정부(2228)에서 재요청이 오는 경우, 앞서 결정된 화면 종류 외에 그 다음 적합한 화면 종류로 다시 예측하여, 좀 더 효과적인 압축율 제어를 제공할 수 있다.The screen type predictor 2220 predicts or estimates the current screen type (I / P / B frame) using only metadata without using media data. Since information on the screen type is not specified in the actual metadata, additional media data analysis is required to know the correct screen type. However, analysis of media data causes transmission delays due to frequent memory accesses and many operations. In the present invention, the type of screen may be predicted using only synchronization sample information and DT (Composition Time) / CT (Composition Time) in the metadata without analyzing the media data. In addition, when a re-request comes from the final compression rate determiner 2228, the control unit may predict the next suitable screen type in addition to the previously determined screen type to provide more effective compression rate control.

최대 압축율 예측부(2222)는 현재 화면의 최대 압축율을 계산하여, 주어진 목표 압축율의 적용 여부를 판단한다. 이는 적합하지 않은 압축율로 메타데이터의 오동작 및 트랜스코더의 불필요한 재시도를 방지하고, 최종 압축율 결정부(2228)에서 적합한 압축율을 계산하기 위한 참고 정보가 된다. 최대 압축율 계산은 현재 화면의 매크로블록 수와 적용된 코덱의 엔트로피 부호화 방식을 고려하여, 매크로블록 내 계수가 존재하지 않는 경우를 적용하여 계산할 수 있다.The maximum compression ratio predictor 2222 calculates a maximum compression ratio of the current screen to determine whether to apply a given target compression ratio. This prevents malfunction of the metadata and unnecessary retries of the transcoder at an unsuitable compression ratio, and serves as reference information for calculating a suitable compression ratio in the final compression ratio determiner 2228. The maximum compression ratio may be calculated by considering the number of macroblocks of the current screen and the entropy encoding scheme of the applied codec, by applying a case in which no coefficients exist in the macroblock.

초당 화면 비트율 버퍼 제어부(2226)는 최대 압축율 제한 또는 최종 압축율 결정부(2228)의 압축율 변경으로 인하여 초당 목표 압축율에 오차가 발생하는 경우, 발생된 오버플로우와 언더플로우를 고려하여 초당 목표 압축율에 근접하도록 초당 비트율을 제어한다.If an error occurs in the target compression rate per second due to the maximum compression rate limit or the change in the compression rate of the final compression rate determiner 2228, the screen bit rate buffer control unit 2226 approaches the target compression rate per second in consideration of the overflow and the underflow. To control the bit rate per second.

평균 비트율 버퍼 제어부(2224)는 초당 화면 비트율의 변화폭이 심하여, 전체 목표 압축율에 오차가 발생하는 경우, 발생된 다수의 초당 화면 비트율을 누적하고 발생된 오버플로우(overflow)와 언더플로우(underflow)를 고려하여 전체 목표 압축율에 근접하도록 평균 비트율을 제어함으로써 전체적인 화면의 화질 보정을 담당한다.The average bit rate buffer control unit 2224 changes the screen bit rate per second, and when an error occurs in the overall target compression rate, the average bit rate buffer control unit 2224 accumulates a plurality of generated screen bit rates per second and generates the overflow and underflow that occur. In consideration of the overall target compression rate, the average bit rate is controlled to compensate for the overall picture quality.

최종 압축율 결정부(2228)는 최대 압축율 예측부(2222)에서 예측된 최대 압축율과 초당 화면 비트율 버퍼 제어부(2226)와 평균 비트율 버퍼 제어부(2224)로부터 제안된 비트율을 고려하여, 완만한 화질 유지를 위해 가장 적합한 압축율을 계산한다. 또한, 최종 압축율 결정부(2228)는 결정된 최종 압축율이 화질 저하 및 압축율 오류에 영향이 있다고 판단되는 경우, 화면 종류 예측부(2222)를 제어하여 다른 화면 종류로 예측함으로서 현재 화면에 대한 적합한 최종 압축율을 결정한다. 이는 다시 초당 화면 비트율 버퍼 제어부(2226)로 입력되어 다음 화면의 최종 압축율 계산에 영향을 준다.The final compression ratio determiner 2228 considers the maximum compression ratio predicted by the maximum compression ratio predictor 2222 and the bit rates proposed by the screen bit rate buffer control unit 2226 and the average bit rate buffer control unit 2224 per second, thereby maintaining smooth image quality. In order to calculate the most suitable compression ratio. In addition, when the final compression ratio determiner 2228 determines that the determined final compression ratio has an effect on image quality degradation and a compression ratio error, the final compression ratio determiner 2222 controls the screen type predictor 2222 to predict a different screen type so as to provide a suitable final compression ratio for the current screen. Determine. This is again input to the screen bit rate buffer control unit 2226 per second to influence the final compression rate calculation of the next screen.

도 5에는 도 1의 2 단계 비트율 제어부의 세부 구조를 블록도로써 나타내었다. 도 5를 참조하면, 2 단계 비트율 제어부(28)는 비트율 제어 설정부(280), 화면 종류 결정부(282), 및 화면 내 비트율 제어부(284)로 구성된다.FIG. 5 is a block diagram illustrating a detailed structure of the second stage bit rate controller of FIG. 1. Referring to FIG. 5, the two-step bit rate control unit 28 includes a bit rate control setting unit 280, a screen type determination unit 282, and an in-screen bit rate control unit 284.

비트율 제어 설정부(280)는 1 단계 비트율 제어부(22)의 화면 정보 저장부(224)에 저장된 전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율을 입력받아 2 단계 비트율 제어에 필요한 초기 정보를 설정하고 트랜스코더와 연동함으로써 현재 입력된 화면에 대한 목표 비트율을 제공한다.The bit rate control setting unit 280 receives the number of screens, the screen size, the codec information, the screen type, the bit rate, and the frame rate stored in the screen information storage unit 224 of the first-level bit rate controller 22 to control the second-level bit rate. It provides the target bit rate for the currently input screen by setting the initial information necessary for and linking with the transcoder.

화면 종류 결정부(282)는 도 4의 1 단계 비트율 제어부(22)의 화면 종류 예측부(2220)에서 예측된 화면 종류를 초기값으로 2 단계 비트율 제어를 수행하고, 실제 화면 내 압축율과 목표 압축율이 불일치하여 화면 종류의 변경이 요구되는 경우, 복호화된 실제 화면 종류와 후보 화면 종류들 중 가장 적합한 화면 종류를 재결정하여 목표 압축율에 근접하도록 한다.The screen type determiner 282 performs two-step bit rate control based on the screen type predicted by the screen type predictor 2220 of the first-level bit rate controller 22 of FIG. 4 as an initial value, and the actual intra-screen compression rate and the target compression rate. If the screen type is changed due to this mismatch, the most suitable screen type among the decoded actual screen types and the candidate screen types is re-determined to approach the target compression ratio.

즉, 2 단계 비트율 제어부(22)는 비트율 제어 설정부(280)가 1 단계 비트율 제어부(22)의 화면 정보 저장부(224)에 의하여 저장된 화면 정보를 읽어와 비트율 제어부를 초기화하고, 화면 정보 결정부(282)는 비트율 제어 설정부(280)로 부터 현재 화면 종류를 가져와 적용하고, 재시도시 적합한 화면 종류를 재설정하며, 화면 내 비트율 제어부(284)는 결정된 화면 종류 및 현재 트랜스코딩이 진행 중인 화면 정보를 화면 내 상관관계 및 비트율을 참고하여 매크로블록 단위로 비트율 제어를 수행한다. 이러한 2단계 비트율 제어는 실시간 트랜스코더 수행시 1 단계 비트율 제어에서 결정된 현재 화면의 최대 압축 크기(비트율)를 고려하여 화면 내 매크로블록 간의 비트율 제어를 통해 최적의 비트율을 계산하는 것이다.That is, the second stage bit rate controller 22 reads the screen information stored by the screen information storage unit 224 of the first stage bit rate controller 22 by the bit rate control setting unit 280 to initialize the bit rate controller, and determines the screen information. The unit 282 obtains and applies the current screen type from the bit rate control setting unit 280, resets the screen type suitable for retry, and the intra-bit rate control unit 284 determines the screen type and the screen in which the current transcoding is in progress. The bit rate control is performed in units of macroblocks by referring to the correlation and the bit rate of the information. The two-step bit rate control calculates the optimal bit rate by controlling the bit rate between macroblocks in the screen in consideration of the maximum compression size (bit rate) of the current screen determined in the first step bit rate control when performing a real-time transcoder.

도 6에는 도 5에 도시한 화면 내 비트율 제어부의 세부 구조를 블록도로써 나타내었다. 도 6을 참조하면, 화면 내 비트율 제어부(284)는 매크록블록 분석부(2840), 현재 화면 비트율 예측부(2842), 다음 매크로블록 양자화 레벨 결정부(2846), 화면 내 평균 양자화 레벨 저장부(2844), 재부호화 결정부(2848) 및 기본 양자화 레벨 저장부(2849)로 구성된다.FIG. 6 is a block diagram illustrating a detailed structure of the on-screen bit rate controller shown in FIG. 5. Referring to FIG. 6, the intra-screen bit rate controller 284 includes a macroblock analyzer 2840, a current-screen bit rate predictor 2842, a next macroblock quantization level determiner 2846, and an intra-screen average quantization level storage unit. 2844, a recoding determination unit 2848, and a basic quantization level storage unit 2849.

매크로블록 분석부(2840)는 현재 복호화된 매크로블록의 매크로블록 종류, 모션 벡터의 크기, 계수 및 발생 비트량을 분석하여 화면 내에서의 현재 매크로블록의 가중치를 계산함으로서 부호화에서 사용될 중요한 매크로블록들의 화질을 보정한다.The macroblock analyzer 2840 analyzes the macroblock type, the motion vector size, the coefficient, and the generated bit amount of the currently decoded macroblock to calculate the weight of the current macroblock in the screen to determine the weight of the macroblocks to be used in encoding. Correct the picture quality.

현재 화면 비트율 예측부(2842)는 부호화된 매크로블록들의 비트량을 누적하고, 누적된 비트량과 다음 매크로블록 양자화 레벨 결정부(2846)에서 결정되는 양자화 레벨에 대해 발생될 현재 화면 비트율을 예측한다. 만약, 예측된 비트율이 목표 압축율에 적합하지 않은 경우 재부호화 결정부(2848)는 현재 화면에 대한 재부호화를 수행하도록 부호화부(26)를 제어한다.The current picture bit rate predictor 2842 accumulates the bit amount of the encoded macroblocks, and predicts the current picture bit rate to be generated for the accumulated bit amount and the quantization level determined by the next macroblock quantization level determiner 2846. . If the predicted bit rate does not match the target compression rate, the recoding determiner 2848 controls the encoder 26 to perform recoding on the current screen.

다음 매크로블록 양자화 레벨 결정부(2846)는 복호화부(24)로부터 분석된 매크로블록의 가중치와 화면 내 평균 양자화 레벨 저장부(2844)에 저장된 평균 양자화 레벨 및 기준 양자화 레벨 저장부(2849)에 저장된 기준 양자화 레벨을 참고하여, 다음 매크로블록을 위한 예측된 양자화 레벨를 제시하고, 이를 현재 화면 비트율 예측부를 통해 적합성 검증 후 최종 결정한다. 다음 매크로블록 양자화 레벨 결정부(2846)에 의하여 제시된 예측된 양자화 레벨을 사용하여 현재 화면 비트율 예측부(2842)에서 양자화 레벨의 적합성을 검증하고, 적합하지 아니한 경우, 제시된 양자화 레벨을 상향 또는 하향 조정하여 적합할 때까지 적합성 검토를 반복한다. 이렇게 최종 결정된 양자화 레벨은 화면 내 평균 양자화 레벨에 입력되어 갱신된다.Next, the macroblock quantization level determiner 2846 stores the weight of the macroblock analyzed by the decoder 24 and the average quantization level stored in the on-screen average quantization level storage 2844 and the reference quantization level storage 2849. With reference to the reference quantization level, a predicted quantization level for the next macroblock is presented, which is finally determined after conformance verification through the current picture bit rate prediction unit. Next, verify the suitability of the quantization level in the current picture bit rate prediction unit 2842 using the predicted quantization level suggested by the macroblock quantization level determiner 2846, and if not, adjusts the presented quantization level upward or downward. Repeat the conformity review until conformance. The final quantization level thus determined is input to the average quantization level in the screen and updated.

재부호화 결정부(2848)는 현재 화면 비트율 예측부(2842)에서 예측된 비트율이 목표 압축율에 적합하지 않다고 판단되는 경우 재부호화를 결정한다. 세부적으로는 목표 압축율 보다 높은 비트율로 인해 발생하는 단말단의 오동작 및 목표 압축율 보다 낮은 비트율로 인해 발생하는 전송단의 전송 효율 저하를 방지한다.The recoding determiner 2848 determines recoding if the bit rate predicted by the current picture bit rate predictor 2842 is not suitable for the target compression rate. In detail, it prevents a malfunction of a terminal caused by a bit rate higher than a target compression rate and a decrease in transmission efficiency of a transmitter caused by a bit rate lower than a target compression rate.

기준 양자화 레벨 저장부(2849)는 전체 트랜스코더 수행에서 기준이 되는 양자화 레벨을 저장하며, 초기값은 2 단계 비트율 제어 설정부(280)로 부터 압축율에 대응하는 초기 기준 양자화 레벨을 입력받아 결정되고, 재부호화 결정부(2848)에서 재부호화하는 것으로 결정되는 경우, 기준 양자화 레벨을 상향 또는 하향 조정하여 재부호화되는 현재 화면 내 매크로블록에 대한 기준 양자화 레벨 및 다음 화면에 대한 초기 기준 양자화 레벨로 제공된다. 이러한 기준 양자화 레벨은 화면 간 화질 변화를 최소화 하고, 적합한 화면 내 초기 양자화 레벨을 제공함으로써 화면 내 목표 압축율을 맞추기 위한 무리한 양자화 레벨의 조정에 따른 화질 열화를 감소시킨다.The reference quantization level storage unit 2849 stores a quantization level that is a reference for the entire transcoder performance, and an initial value is determined by receiving an initial reference quantization level corresponding to the compression rate from the two-step bit rate control setting unit 280. If it is determined by the recoding determination unit 2848 to re-encode, the reference quantization level is adjusted up or down to provide the reference quantization level for the macroblock in the current picture to be recoded and the initial reference quantization level for the next picture. do. Such a reference quantization level minimizes the change in picture quality between screens and provides an appropriate initial quantization level in the picture, thereby reducing image quality deterioration due to an excessive adjustment of the quantization level to match the target compression ratio in the picture.

상기와 같은 본 발명에 따른 장치는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 전송하기 위하여 실시간 트랜스코더의 메타데이터 재구성시 1 단계 비트율 제어부에서는 메타데이터를 재가공하고 화면 간 적합한 비트율을 제공하고, 2 단계 비트율 제어부는 트랜스코더 수행시 화면 내 적합한 비트율을 제공한다.As described above, the apparatus according to the present invention reprocesses the metadata in the first-level bit rate control unit during reconstruction of the metadata of the real-time transcoder to progressively transmit multimedia content in a file format in which metadata and media data are separated. A suitable bit rate is provided, and the second stage bit rate control unit provides a suitable bit rate in the screen when the transcoder is executed.

본 발명은 도면에 도시된 일실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to one embodiment shown in the drawings, this is merely exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. . Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

10 : MP4
100 : 입력된 메타데이터 102: 미디어 데이터
104 : 화면 데이터
20 : 메타데이터 재가공부
200 : 메타데이터 분석부 202 : 화면 정보 재가공부
204 : 메타데이터 생성부
22 : 1단계 비트율 제어부
220 : 비트율 제어 설정부
222 : 화면간 비트율 제어부
2220 : 화면 종류 예측부 2222: 최대 압축율 예측부
2226 : 초당 화면 비트율 제어부
2224 : 평균 비트율 버퍼 제어부
2228 : 최종 압축율 결정부
224 : 화면 정보 저장부
24 : 복호화부
26 : 부호화부
28 : 2 단계 비트율 제어부
280 : 비트율 제어 설정부 282 : 화면 종류 결정부
284 : 화면 내 비트율 제어부
2840 : 매크록블록 분석부
2842 : 현재 화면 비트율 예측부
2846 : 다음 매크로블록 양자화 레벨 결정부
2848 : 화면 내 평균 양자화 레벨 저장부
2849 : 재부호화 결정부
10: MP4
100: input metadata 102: media data
104: screen data
20: Metadata reprocessing department
200: metadata analysis unit 202: screen information reprocessing unit
204: metadata generating unit
22: 1-step bit rate control unit
220: bit rate control setting unit
222: bit rate control between screens
2220: screen type predictor 2222: maximum compression ratio predictor
2226: screen bit rate control per second
2224: average bit rate buffer control unit
2228: final compression rate determination unit
224: screen information storage unit
24: decoder
26: encoder
28: two-step bit rate control unit
280: bit rate control setting unit 282: screen type determination unit
284: bit rate control in the screen
2840: macroblock analysis unit
2842: current screen bit rate prediction unit
2846: next macroblock quantization level determiner
2848: On-screen average quantization level storage
2849: re-encoding decision unit

Claims (6)

사용자 단말기에서 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드할 수 있도록 지원하도록 서버측에 설치되는 실시간 트랜스코딩 장치에 있어서,
입력된 메타데이터를 원하는 압축율로 재가공하기 위한 메타데이터 재가공부;
상기 메타데이터 재가공부에 화면 간 상관관계를 이용하여, 올바른 메타데이터 생성과 적합한 화면 간 비트율을 제공하는 1단계 비트율 제어부;
메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식 데이터의 미디어데이터로부터 화면 데이터를 받아 일부 혹은 전부를 복호화하는 복호화부;
복호화기로 부터 복호화된 일부 혹은 전부를 입력 받아 원하는 코덱으로 부호화하는 부호화부; 및
상기 1 단계 비트율 제어부로부터 현재 화면의 목표 압축율을 제공받아 화면 내 상관관계와 부호화부의 부호화 재시도를 통하여 최적의 비트율을 제공하는 2 단계 비트율 제어부;를 포함하는 것을 특징으로 하는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치.
In the real-time transcoding device installed on the server side to enable the progressive download of the multimedia content of the file format in which the metadata and media data is separated from the user terminal,
A metadata reprocessing unit for reprocessing the input metadata at a desired compression ratio;
A step 1 bit rate controller for providing correct metadata generation and an appropriate bit rate between screens by using correlation between screens in the metadata reprocessing unit;
A decoder which receives screen data from the media data of the file format data in which the meta data and the media data are separated, and decodes some or all of the screen data;
An encoder which receives part or all of the decoded data from the decoder and encodes the codec into a desired codec; And
And a second stage bit rate controller that receives the target compression rate of the current screen from the first stage bit rate controller and provides an optimal bit rate through intra-screen correlation and encoding retry of the encoder. Real-time transcoding device for progressive downloading multimedia content in separate file formats.
제1항에 있어서, 상기 메타데이터 재가공부는,
메타데이터 재가공을 위해 기존의 메타데이터를 분석하여 코덱의 데이터 기술자(Element Stream Descriptor)를 추출하고, 재가공이 요구되는 화면 정보와 재가공이 요구되지 않는 정보를 분류하여 수행 시간을 단축하는 메타데이터 분석부,
재가공이 요구되는 화면 정보에 대해서 상기 1 단계 비트율 제어부를 통하여 제안된 비트율로 화면 정보를 재가공하는 화면 정보 재가공부, 및
비 재가공 정보, 재가공된 화면 정보 와 부호화부로 부터 입력된 새로운 코덱의 데이터 기술자(Element Stream Descriptor)를 조합하여 새로운 메타데이터를 생성하는 메타데이터 생성부로 구성되는 것을 특징으로 하는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치.
The method of claim 1, wherein the metadata reprocessing unit,
Metadata analysis unit that extracts the codec data descriptor (Element Stream Descriptor) by analyzing existing metadata for metadata reprocessing, and classifies screen information that needs to be reprocessed and information that does not require reprocessing to reduce execution time. ,
A screen information reprocessing unit for reprocessing screen information at a bit rate suggested through the first-level bit rate controller for screen information requiring reprocessing; and
Meta data and media data are separated, comprising: a metadata generator for generating new metadata by combining non-reprocessed information, reprocessed screen information, and a new codec data descriptor (Element Stream Descriptor) input from the encoder. Real-time transcoding device for progressive download of multimedia content in file format.
제1항에 있어서, 상기 1 단계 비트율 제어부는,
재가공 전 메타데이터로 부터 초기 정보를 입력받아 1 단계 비트율 제어부를 초기화하는 비트율 제어 설정부,
상기 비트율 제어부의 초기 정보(전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율)와 메타데이터의 샘플 정보로부터 현재 화면에 대한 화면 종류를 결정하고, 적합한 압축율을 제공하는 화면 간 비트율 제어부, 및
상기 비트율 제어부의 초기 정보(전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율)와 화면 간 비트율 제어부의 화면 종류 및 압축율을 저장함으로써, 2 단계 비트율 제어부의 입력이 되는 화면 정보 저장부로 구성되는 것을 특징으로 하는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치.
The method of claim 1, wherein the first step bit rate control unit,
A bit rate control setting unit which receives initial information from metadata before reprocessing and initializes a first-level bit rate controller;
A screen type for the current screen is determined from initial information of the bit rate controller (number of full screens, screen size, codec information, screen type, bit rate and frame rate) and sample information of metadata, and provides an appropriate compression ratio. A bit rate controller, and
Screen information that is input by the second-level bit rate controller by storing the initial information (number of full screens, screen size, codec information, screen type, bit rate and frame rate) of the bit rate controller and the screen type and compression ratio of the bit rate controller between screens. A real-time transcoding device for progressive downloading multimedia content in a file format in which metadata and media data are separated from each other.
제3항에 있어서, 상기 화면 간 비트율 제어부는,
메타데이터로부터 입력된 샘플 정보(동기화 샘플 정보, DT(Decoding Time)/CT(Composition Time))만으로 화면 종류를 예측 및 결정하는 화면 종류 예측부,
상기 화면 종류 예측부에서 결정된 화면 종류와 트랜스코더 부호화부의 코덱 내 엔트로피 부호화 방식에 따라 현재 화면의 최대 압축율을 예측하여 2 단계 비트율 제어의 오동작을 방지함으로써 올바른 메타데이터를 생성하는 최대 압축율 예측부,
상기 최대 압축율 제어부에서 결정된 최대 압축율과 초당 화면 비트율 제어부에서 제안된 비트율을 기반으로 적합한 최종 압축율을 계산하는 최종 압축율 결정부,
상기 최종 압축율 결정부에서 결정된 압축율에 따라 발생하는 초당 비트율 버퍼의 오버플로우와 언더플로우를 방지하는 초당 화면 비트율 버퍼 제어부, 및
상기 초당 화면 비트율 제어부에서 발생하는 초당 화면 비트율을 누적하여 전체 비트율의 오버플로우와 언더플로우를 방지하고 전체적인 비트율을 안정화하는 평균 비트율 버퍼 제어부로 구성되는 것을 특징으로 하는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치.
The bit rate controller of claim 3,
A screen type predictor for predicting and determining a screen type only with sample information inputted from metadata (synchronization sample information, DT (Decoding Time) / CT (Composition Time)),
A maximum compression ratio prediction unit for predicting the maximum compression ratio of the current screen according to the screen type determined by the screen type prediction unit and the entropy encoding scheme in the codec of the transcoder encoder, thereby generating correct metadata by preventing malfunction of two-step bit rate control;
A final compression ratio determination unit for calculating a final final compression ratio based on the maximum compression ratio determined by the maximum compression ratio controller and the bit rate proposed by the screen bit rate controller per second,
A screen bit rate buffer control unit per second for preventing an overflow and an underflow of the bit rate buffer caused by the compression rate determined by the final compression rate determining unit;
Meta data and media data are separated, comprising: an average bit rate buffer control unit for accumulating the screen bit rate per second generated by the screen bit rate control unit per second to prevent overflow and underflow of the entire bit rate and to stabilize the overall bit rate Real-time transcoding device for progressive download of multimedia content in file format.
제1항에 있어서, 상기 2 단계 비트율 제어부는
상기 화면 정보 저장부로부터 초기 정보(전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율)를 입력 받아 2 단계 비트율 제어부를 초기화하는 비트율 제어 설정부,
상기 비트율 설정부의 설정값과 복호화부에서 실제 화면 정보 및 제 4항의 화면 종류 예측부에서 결정된 화면 정보를 사용하여 적합한 화면 종류를 최종 결정하는 화면 종류 결정부, 및
상기 화면 종류 결정부의 화면 종류와 목표 압축율을 입력으로 현재 화면에 대한 적합한 비트율을 제공하는 화면 내 비트율 제어부로 구성되는 것을 특징으로 하는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치.
The method of claim 1, wherein the second step bit rate control unit
A bit rate control setting unit which receives initial information (number of full screens, screen size, codec information, screen type, bit rate and frame rate) from the screen information storage unit and initializes a two-level bit rate control unit;
A screen type determiner which finally determines a suitable screen type by using the setting value of the bit rate setting unit and the screen information determined by the screen type predictor of claim 4 in the decoder;
A multimedia content in a file format in which metadata and media data are separated, comprising: a screen bit rate controller configured to provide an appropriate bit rate for the current screen by inputting a screen type and a target compression ratio of the screen type determiner. Real-time transcoding device for sieve download.
제5항에 있어서, 상기 화면 내 비트율 제어부는,
상기 복호화부로부터 매크로블록 종류, 모션 벡터의 크기, 계수 및 발생 비트량를 포함하는 트랜스코딩 전 매크로블록 정보를 사용하여 화면 내 현재 매크로블록의 중요도를 계산하고 비트율 할당에 있어 가중치를 두어 화면 화질을 개선하는 매크로블록 분석부,
상기 부호화부로부터 트랜스코딩 후 매크로블록의 발생 비트량을 누적하고, 다음 매크로블록 양자화 레벨 결정부에서 제안된 양자화 레벨을 고려하여 현재 화면에서 발생될 비트율을 예측하는 현재 화면 비트율 예측부,
상기 매크로블록 분석부의 가중치, 기준 양자화 레벨 저장부의 기준 양자화 레벨, 화면 내 평균 양자화 레벨 저장부의 평균 양자화 레벨을 입력받아 상기 현재 화면 비트율 예측부 간의 검증을 통해 다음 매크로블록의 양자화 레벨을 결정하는 다음 매크로블록 양자화 레벨 결정부,
상기 매크로블록 양자화 레벨 결정부에서 결정된 양자화 레벨을 누적/평균하여 다음 매크로블록에 이를 반영함으로써 화면 내 급격한 화질 변화를 방지하기 위한 화면 내 평균 양자화 레벨 저장부,
상기 현재 화면 비트율 예측부에서 예측된 비트율이 목표 압축율에 적합하지 않을 경우, 이에 대한 재부호화 여부를 결정하는 재부호화 결정부, 및
상기 재부호화 결정부에서 재부호화 결정에 따라 전체 화면에 대한 기준 양자화 레벨을 저장 및 조정하여, 화면 간 급격한 화질 변화 및 화면 내 무리한 양자화 레벨 제어를 방지하기 위한 기준 양자화 레벨 저장부를 포함하는 것을 특징으로 하는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치.
The method of claim 5, wherein the on-screen bit rate control unit,
The decoder decodes the importance of the current macroblock in the picture using the pre-coding macroblock information including the macroblock type, the size of the motion vector, the coefficient, and the generated bit amount, and weights the bit rate to improve the picture quality. Macroblock analysis unit,
A current screen bit rate predictor for accumulating the generated bit amount of the macroblock after transcoding from the encoder and predicting a bit rate to be generated in the current screen in consideration of the quantization level proposed by the next macroblock quantization level determiner;
Next macro for determining the quantization level of the next macroblock through verification between the current screen bit rate prediction unit by receiving the weight of the macroblock analyzer, the reference quantization level storage unit, and the average quantization level of the intra-screen average quantization level storage unit. Block quantization level determiner,
An on-screen average quantization level storage unit for accumulating / averaging the quantization level determined by the macroblock quantization level determination unit and reflecting it to the next macroblock to prevent a sudden change in image quality in the screen;
A re-encoding determination unit for determining whether to re-encode the bit rate predicted by the current screen bit rate prediction unit when it is not suitable for a target compression rate, and
And a reference quantization level storage unit configured to store and adjust the reference quantization level for the entire screen according to the re-encoding determination, to prevent a sudden change in image quality and control of excessive quantization levels in the screen. A real-time transcoding device for progressive downloading multimedia content in a file format in which metadata and media data are separated.
KR1020110066979A 2011-07-06 2011-07-06 Realtime transcoding device for progressive downloading of which meta data and media data saperated KR101285654B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110066979A KR101285654B1 (en) 2011-07-06 2011-07-06 Realtime transcoding device for progressive downloading of which meta data and media data saperated

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110066979A KR101285654B1 (en) 2011-07-06 2011-07-06 Realtime transcoding device for progressive downloading of which meta data and media data saperated

Publications (2)

Publication Number Publication Date
KR20130005527A true KR20130005527A (en) 2013-01-16
KR101285654B1 KR101285654B1 (en) 2013-08-14

Family

ID=47836778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110066979A KR101285654B1 (en) 2011-07-06 2011-07-06 Realtime transcoding device for progressive downloading of which meta data and media data saperated

Country Status (1)

Country Link
KR (1) KR101285654B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150021007A (en) * 2013-08-19 2015-02-27 경희대학교 산학협력단 A Method And Apparatus For Enhancing Quality Of Multimedia Service By Using Cloud Computing
CN109120966A (en) * 2018-08-30 2019-01-01 广州珠江数码集团股份有限公司 A kind of method and device and system of 4K program request intelligent decision identification code rate
CN109195012A (en) * 2018-11-07 2019-01-11 成都索贝数码科技股份有限公司 A method of MP4 file is combined into based on object storage fragment transcoding/synthesis sudden strain of a muscle

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210083007A (en) 2019-12-26 2021-07-06 강릉원주대학교산학협력단 Cloud storage system and method of generating contents metadata in the cloud storage system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20011871A (en) * 2001-09-24 2003-03-25 Nokia Corp Processing of multimedia data
JP4619353B2 (en) * 2003-02-26 2011-01-26 エヌエックスピー ビー ヴィ System for distributing multimedia content
US20050102371A1 (en) * 2003-11-07 2005-05-12 Emre Aksu Streaming from a server to a client
US20070091928A1 (en) * 2005-10-21 2007-04-26 Wee Susie J Serial and parallel processing of data using information about the data and information about a streaming network

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150021007A (en) * 2013-08-19 2015-02-27 경희대학교 산학협력단 A Method And Apparatus For Enhancing Quality Of Multimedia Service By Using Cloud Computing
CN109120966A (en) * 2018-08-30 2019-01-01 广州珠江数码集团股份有限公司 A kind of method and device and system of 4K program request intelligent decision identification code rate
CN109120966B (en) * 2018-08-30 2020-10-09 广州珠江数码集团股份有限公司 Method, device and system for intelligently judging and identifying code rate of 4K video-on-demand
CN109195012A (en) * 2018-11-07 2019-01-11 成都索贝数码科技股份有限公司 A method of MP4 file is combined into based on object storage fragment transcoding/synthesis sudden strain of a muscle

Also Published As

Publication number Publication date
KR101285654B1 (en) 2013-08-14

Similar Documents

Publication Publication Date Title
JP6703150B2 (en) A distributed architecture for encoding and delivering video content
US20200322619A1 (en) Systems and Methods of Encoding Multiple Video Streams for Adaptive Bitrate Streaming
US8477844B2 (en) Method and apparatus for transmitting video
US9800883B2 (en) Parallel video transcoding
US9571827B2 (en) Techniques for adaptive video streaming
US9288251B2 (en) Adaptive bitrate management on progressive download with indexed media files
CA2185704C (en) Method, rate controller, and system for preventing overflow and underflow of a decoder buffer
KR102144557B1 (en) Systems and methods for the reuse of encoding information in encoding alternative streams of video data
JP4358215B2 (en) Video encoding apparatus and method
US20110292995A1 (en) Moving image encoding apparatus, moving image encoding method, and moving image encoding computer program
JP2016526336A (en) System and method for encoding multiple video streams using adaptive quantization for adaptive bitrate streaming
US9560356B2 (en) Image processing apparatus, image processing method, and image processing system
KR101285654B1 (en) Realtime transcoding device for progressive downloading of which meta data and media data saperated
US11196795B2 (en) Method and apparatus for predicting video decoding time
US20230283825A1 (en) Method for dynamic computational resource management and apparatus for implementing the same
JP2016192658A (en) Communication system, communication device, communication method and communication control method
US8862758B1 (en) System and method for controlling one or more media stream characteristics
Zhang et al. Rate control optimization for live streaming using fixed-time playback buffer
Ortega et al. Mechanisms for adapting compressed multimedia to varying bandwidth conditions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee