KR20130005527A - Realtime transcoding device for progressive downloading of which meta data and media data saperated - Google Patents
Realtime transcoding device for progressive downloading of which meta data and media data saperated Download PDFInfo
- Publication number
- KR20130005527A KR20130005527A KR1020110066979A KR20110066979A KR20130005527A KR 20130005527 A KR20130005527 A KR 20130005527A KR 1020110066979 A KR1020110066979 A KR 1020110066979A KR 20110066979 A KR20110066979 A KR 20110066979A KR 20130005527 A KR20130005527 A KR 20130005527A
- Authority
- KR
- South Korea
- Prior art keywords
- bit rate
- screen
- metadata
- unit
- information
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
Abstract
Description
본 발명은 멀티미디어 컨텐츠를 사용자 단말에서 프로그래시브 다운로드하는데 필요하여 서버측에 설치되는 실시간 트랜스코딩 장치에 관한 것으로, 더 상세하게는 MP4, skm, k3g, 3gp, 및 3gp2 파일 형식과 같이 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 사용자 단말에서 최적의 화질을 유지하면서 프로그래시브 다운로드할 수 있도록 지원하기 위하여 서버측에 설치되는 실시간 트랜스코딩 장치에 관한 것이다.The present invention relates to a real-time transcoding device that is installed on the server side for progressive download of multimedia content from a user terminal. More specifically, the present invention relates to metadata such as MP4, skm, k3g, 3gp, and 3gp2 file formats. The present invention relates to a real-time transcoding apparatus installed on a server side to support progressive download of multimedia contents in a file format in which media data is separated, while maintaining optimal image quality in a user terminal.
멀티미디어 시스템의 발전은 영상 압축 영역에 상당한 영향을 끼치게 되었다. 특히, 여러 통신 환경 및 비디오 압축 방식과 다양한 사용자 장치들이 늘어나게 됨으로써 상이한 시스템 및 통신 환경 간의 호환성 문제를 해결하는 것이 멀티미디어 서비스의 중요한 요소가 되었다. 이에 게이트웨이, 서버와 같은 장치들은 사용자에게 끊김 없는 원활한 서비스를 제공하기 위하여 네트워크 대역폭 및 사용자 장치에 적합한 형식의 콘텐츠를 전송할 필요성이 있다. 무선 환경과 같은 제한된 네트워크 대역폭의 경우 고해상도/고화질의 비디오 데이터를 전송하기에는 어려움이 있으며, 전송 방법 또한 사용자 장치에 따라 차이가 있어 적합한 형태로의 변환이 필요하게 되었다.Advances in multimedia systems have had a significant impact on image compression. In particular, as the number of communication environments, video compression schemes, and various user devices have increased, solving the compatibility problem between different systems and communication environments has become an important element of the multimedia service. Accordingly, devices such as gateways and servers need to transmit content in a format suitable for network bandwidth and user devices in order to provide seamless service to users. In the case of limited network bandwidth such as a wireless environment, it is difficult to transmit high resolution / high definition video data, and the transmission method also needs to be converted into a suitable form because there are differences depending on user devices.
여러 전송 방법 중 하나인 프로그래시브 다운로드는 동영상 파일이 서버부터 사용자 장치에 전달될 때 파일 일부가 도착하는 대로 먼저 재생하는 방법으로서, 불필요한 네트워크 낭비와 재생 대기 시간을 줄일 수 있는 장점이 있지만, 동영상 파일의 전송 비트율이 네트워크 속도보다 낮아야 동영상이 끊김없는 재생이 가능하다. 따라서, 사용자가 무선 환경과 같은 제한된 네트워크 대역폭 내에서 고해상도/고화질의 동영상 파일을 서버로부터 프로그래시브 다운로드하는 경우, 잦은 끊김 현상을 가져올 수 있다.Progressive download, one of several transfer methods, plays a video file as soon as it arrives as it arrives from the server to the user's device, which can reduce unnecessary network wastage and playback latency. If the transfer bit rate of the file is lower than the network speed, the video can be played seamlessly. Therefore, when a user progressively downloads a high resolution / high definition video file from a server within a limited network bandwidth such as a wireless environment, frequent disconnection may occur.
즉, 무선 통신 환경과 같은 제한된 네트워크 대역폭을 갖는 경우 많은 제약 사항들이 존재하기 때문에 기존의 멀티미디어 콘텐츠를 가공 없이 재사용하기에 무리가 있다. 이러한 네트워크 트래픽을 최소화하여 사용자에게 끊김없는 멀티미디어 서비스를 제공하기 위한 재가공 방법으로서 트랜스코딩 장치가 사용되고 있으나 서버 내 저장장치에 있는 MP4,skm, k3g, 3gp, 및 3gp2와 같은 파일 형식의 멀티미디어 콘텐츠의 경우, 메타데이타와 미디어데이타가 독립적으로 분리되어 있어 실시간 트랜스코더를 사용하여 프로그래시브 다운로드를 구현할 수 없다는 문제점이 있다.In other words, since there are many limitations in the case of limited network bandwidth, such as a wireless communication environment, it is difficult to reuse existing multimedia contents without processing. Transcoding device is used as a reprocessing method to provide seamless multimedia service to users by minimizing such network traffic, but multimedia content such as MP4, skm, k3g, 3gp, and 3gp2 in the storage device in the server However, since metadata and media data are independently separated, there is a problem that progressive download cannot be implemented using a real-time transcoder.
본 발명은 상기한 기술적 과제를 이루기 위하여 개발된 것으로 본 발명이 이루고자 하는 기술적 과제는, 서버 내 저장장치에 저장되는 멀티미디어 컨텐츠로서메타데이타와 미디어데이타가 독립적으로 분리되어 있는 파일 형식의 멀티미디어 콘텐츠를 실시간 트랜스코더를 사용하여 프로그래시브 다운로드를 구현할 수 있도록 하는, 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치를 제공하는 것이다.The present invention was developed in order to achieve the above technical problem, the technical problem to be achieved by the present invention, the multimedia content stored in the storage device in the server as a multimedia content in which the metadata and media data are independently separated in real time The present invention provides a real-time transcoding device for progressive download of multimedia content in a file format in which metadata and media data are separated, which enables a progressive download using a transcoder.
상기 기술적 과제를 이루기 위한 본 발명에 따른 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치는,In order to achieve the above technical problem, a real-time transcoding device for progressive downloading multimedia content in a file format in which metadata and media data are separated,
메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 사용자 단말기에서 프로그래시브 다운로드할 수 있도록 지원하도록 서버측에 설치되는 실시간 트랜스코딩 장치로서,A real-time transcoding device installed on the server side to support progressive download of multimedia content in a file format in which metadata and media data are separated from a user terminal.
입력된 메타데이터를 원하는 압축율로 재가공하기 위한 메타데이터 재가공부와;A metadata reprocessing unit for reprocessing the input metadata at a desired compression ratio;
상기 메타데이터 재가공부에 화면 간 상관관계를 이용하여, 올바른 메타데이터 생성과 적합한 화면 간 비트율을 제공하는 1단계 비트율 제어부와;A step 1 bit rate controller for providing correct metadata generation and a suitable bit rate between screens by using correlation between screens in the metadata reprocessing unit;
메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식 데이터의 미디어데이터로부터 화면 데이터를 받아 일부 혹은 전부를 복호화하는 복호화부와;A decoding unit which receives screen data from the media data of the file format data in which the meta data and the media data are separated, and decodes some or all of the screen data;
복호화기로 부터 복호화된 일부 혹은 전부를 입력 받아 원하는 코덱으로 부호화하는 부호화부; 및An encoder which receives part or all of the decoded data from the decoder and encodes the codec into a desired codec; And
상기 1 단계 비트율 제어부로부터 현재 화면의 목표 압축율을 제공받아 화면 내 상관관계와 부호화부의 부호화 재시도를 통하여 최적의 비트율을 제공하는 2 단계 비트율 제어부;를 포함하는 것을 특징으로 한다.And a second stage bit rate controller which receives the target compression rate of the current screen from the first stage bit rate controller and provides an optimal bit rate through intra-correlation and encoding retry of the encoder.
또한, 상기 메타데이터 재가공부는,In addition, the metadata reprocessing unit,
메타데이터 재가공을 위해 기존의 메타데이터를 분석하여 코덱의 데이터 기술자(Element Stream Descriptor)를 추출하고, 재가공이 요구되는 화면 정보와 재가공이 요구되지 않는 정보를 분류하여 수행 시간을 단축하는 메타데이터 분석부;Metadata analysis unit that extracts the codec data descriptor (Element Stream Descriptor) by analyzing existing metadata for metadata reprocessing, and classifies screen information that needs to be reprocessed and information that does not require reprocessing to reduce execution time. ;
재가공이 요구되는 화면 정보에 대해서 상기 1 단계 비트율 제어부를 통하여 제안된 비트율로 화면 정보를 재가공하는 화면 정보 재가공부; 및A screen information reprocessing unit for reprocessing the screen information at the bit rate suggested through the first step bit rate controller for the screen information requiring reprocessing; And
비 재가공 정보, 재가공된 화면 정보 와 부호화부로 부터 입력된 새로운 코덱의 데이터 기술자(Element Stream Descriptor)를 조합하여 새로운 메타데이터를 생성하는 메타데이터 생성부로 구성되는 것이 바람직하다.It is preferable that the metadata generation unit generates new metadata by combining non-reprocessed information, reprocessed screen information, and a data stream of a new codec inputted from an encoder.
또한, 상기 1 단계 비트율 제어부는,In addition, the first step bit rate control unit,
재가공 전 메타데이터로 부터 초기 정보를 입력받아 1 단계 비트율 제어부를 초기화하는 비트율 제어 설정부와;A bit rate control setting unit which receives initial information from metadata before reprocessing and initializes a first-level bit rate controller;
전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율을 포함하는 상기 비트율 제어부의 초기 정보와 메타데이터의 샘플 정보로부터 현재 화면에 대한 화면 종류를 결정하고 적합한 압축율을 제공하는 화면 간 비트율 제어부; 및From the initial information of the bit rate control unit, including the total number of screens, screen size, codec information, screen type, bit rate and frame rate, and sample information of metadata, the screen type for the current screen is determined and provides an appropriate compression ratio. A bit rate controller; And
전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율을 포함하는 상기 비트율 제어부의 초기 정보와 화면 간 비트율 제어부의 화면 종류 및 압축율을 저장함으로써 상기 2 단계 비트율 제어부의 입력이 되는 화면 정보 저장부를 포함하는 것이 바람직하다.A screen to be input by the second-level bit rate controller by storing the initial information of the bit rate controller including the total number of screens, screen size, codec information, screen type, bit rate and frame rate, and the screen type and compression rate of the bit rate controller between screens. It is preferable to include an information storage unit.
또한, 상기 화면 간 비트율 제어부는,In addition, the bit rate controller between the screen,
메타데이터로부터 입력된 샘플 정보(동기화 샘플 정보, DT(Decoding Time)/CT(Composition Time))만으로 화면 종류를 예측 및 결정하는 화면 종류 예측부와;A screen type predictor for predicting and determining a screen type only by sample information (synchronization sample information, DT (Composition Time) / CT (Composition Time)) input from metadata;
상기 화면 종류 예측부에서 결정된 화면 종류와 트랜스코더 부호화부의 코덱 내 엔트로피 부호화 방식에 따라 현재 화면의 최대 압축율을 예측하여 2 단계 비트율 제어의 오동작을 방지함으로써 올바른 메타데이터를 생성하는 최대 압축율 예측부와;A maximum compression ratio predictor for predicting the maximum compression ratio of the current screen according to the screen type determined by the screen type predictor and an entropy encoding scheme in the codec of the transcoder encoder to generate correct metadata by preventing malfunction of two-step bit rate control;
상기 최대 압축율 제어부에서 결정된 최대 압축율과 초당 화면 비트율 제어부에서 제안된 비트율을 기반으로 적합한 최종 압축율을 계산하는 최종 압축율 결정부와;A final compression ratio determiner for calculating a suitable final compression ratio based on the maximum compression ratio determined by the maximum compression ratio controller and the bit rate proposed by the screen bit rate controller per second;
상기 최종 압축율 결정부에서 결정된 압축율에 따라 발생하는 초당 비트율 버퍼의 오버플로우와 언더플로우를 방지하는 초당 화면 비트율 버퍼 제어부; 및A screen bit rate buffer control unit for preventing an overflow and underflow of the bit rate buffer per second generated according to the compression rate determined by the final compression rate determining unit; And
상기 초당 화면 비트율 제어부에서 발생하는 초당 화면 비트율을 누적하여 전체 비트율의 오버플로우와 언더플로우를 방지하고 전체적인 비트율을 안정화하는 평균 비트율 버퍼 제어부로 구성되는 것이 바람직하다.It is preferable that the average bit rate buffer control unit accumulates the screen bit rate per second generated by the screen bit rate control unit per second to prevent overflow and underflow of the entire bit rate and to stabilize the overall bit rate.
또한, 상기 2 단계 비트율 제어부는,In addition, the two-step bit rate control unit,
상기 화면 정보 저장부로부터 초기 정보(전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율)를 입력 받아 2 단계 비트율 제어부를 초기화하는 비트율 제어 설정부;A bit rate control setting unit which receives initial information (number of full screens, screen size, codec information, screen type, bit rate, and frame rate) from the screen information storage unit and initializes a two-level bit rate control unit;
상기 비트율 설정부의 설정값과 복호화부에서 실제 화면 정보 및 제 4항의 화면 종류 예측부에서 결정된 화면 정보를 사용하여 적합한 화면 종류를 최종 결정하는 화면 종류 결정부; 및A screen type determiner which finally determines a suitable screen type by using the setting value of the bit rate setting unit and the screen information determined by the screen type predictor of claim 4 in the decoder; And
상기 화면 종류 결정부의 화면 종류와 목표 압축율을 입력으로 현재 화면에 대한 적합한 비트율을 제공하는 화면 내 비트율 제어부로 구성되는 것이 바람직하다.It is preferable that the screen type determiner is configured with an on-screen bit rate controller that provides an appropriate bit rate for the current screen by inputting the screen type and the target compression ratio.
또한, 상기 화면 내 비트율 제어부는,In addition, the on-screen bit rate control unit,
상기 복호화부로부터 매크로블록 종류, 모션 벡터의 크기, 계수 및 발생 비트량를 포함하는 트랜스코딩 전 매크로블록 정보를 사용하여 화면 내 현재 매크로블록의 중요도를 계산하고 비트율 할당에 있어 가중치를 두어 화면 화질을 개선하는 매크로블록 분석부와;The decoder decodes the importance of the current macroblock in the picture using the pre-coding macroblock information including the macroblock type, the size of the motion vector, the coefficient, and the generated bit amount, and weights the bit rate to improve the picture quality. A macroblock analyzer;
상기 부호화부로부터 트랜스코딩 후 매크로블록의 발생 비트량을 누적하고, 다음 매크로블록 양자화 레벨 결정부에서 제안된 양자화 레벨을 고려하여 현재 화면에서 발생될 비트율을 예측하는 현재 화면 비트율 예측부와;A current screen bit rate predictor for accumulating the generated bit amount of the macroblock after transcoding from the encoder and predicting a bit rate to be generated in the current screen in consideration of the quantization level proposed by the next macroblock quantization level determiner;
상기 매크로블록 분석부의 가중치, 기준 양자화 레벨 저장부의 기준 양자화 레벨, 화면 내 평균 양자화 레벨 저장부의 평균 양자화 레벨을 입력받아 상기 현재 화면 비트율 예측부 간의 검증을 통해 다음 매크로블록의 양자화 레벨을 결정하는 다음 매크로블록 양자화 레벨 결정부와;Next macro for determining the quantization level of the next macroblock through verification between the current screen bit rate prediction unit by receiving the weight of the macroblock analyzer, the reference quantization level storage unit, and the average quantization level of the intra-screen average quantization level storage unit. A block quantization level determiner;
상기 매크로블록 양자화 레벨 결정부에서 결정된 양자화 레벨을 누적/평균하여 다음 매크로블록에 이를 반영함으로써 화면 내 급격한 화질 변화를 방지하기 위한 화면 내 평균 양자화 레벨 저장부와;An on-screen average quantization level storage unit for accumulating / averaging the quantization level determined by the macroblock quantization level determination unit and reflecting it to the next macroblock to prevent a sudden change in image quality in the screen;
상기 현재 화면 비트율 예측부에서 예측된 비트율이 목표 압축율에 적합하지 않을 경우, 이에 대한 재부호화 여부를 결정하는 재부호화 결정부; 및A re-encoding determination unit for determining whether to re-encode the bit rate predicted by the current screen bit rate prediction unit when it is not suitable for a target compression rate; And
상기 재부호화 결정부에서 재부호화 결정에 따라 전체 화면에 대한 기준 양자화 레벨을 저장 및 조정하여, 화면 간 급격한 화질 변화 및 화면 내 무리한 양자화 레벨 제어를 방지하기 위한 기준 양자화 레벨 저장부를 포함하는 것이 바람직하다.Preferably, the recoding determination unit includes a reference quantization level storage unit for storing and adjusting the reference quantization level for the entire screen according to the re-encoding determination to prevent sudden image quality change and uncontrollable quantization level control in the screen. .
상술한 바와 같이, 본 발명에서 따르면 화면 간/ 화면 내 2 단계 비트율 제어를 통하여 서버 내 저장장치에 저장되는 멀티미디어 컨텐츠로서 메타데이타와 미디어데이타가 독립적으로 분리되어 있는 MP4, skm, k3g, 3gp, 및 3gp2 파일포맷의 멀티미디어 콘텐츠를 실시간 트랜스코더를 사용하여 부호화함으로써 사용자 단말에서 프로그래시브 다운로드할 수 있도록 지원한다. 또한, 본 발명에 따르면 메타데이터 안정적인 생성 과정 및 트랜스코더 수행 과정에서 화면 간 및 화면 내의 2 단계 비트율 제어를 함으로써 실시간 트랜스코더에서 프로그래시브 다운로드를 가능하게 하고, 효과적인 비트율 제어를 통하여 수행 시간 단축, 전송 효율 극대화, 및 화질 저하를 방지할 수 있다.As described above, according to the present invention, MP4, skm, k3g, 3gp, and metadata, in which metadata and media data are independently separated as multimedia contents stored in a storage device within a server through two-step bit rate control between screens and in screens. Multimedia content in 3gp2 file format is encoded using a real-time transcoder to enable progressive download from the user's device. In addition, according to the present invention, by performing two-step bit rate control between screens and in screens during the stable metadata generation and transcoder execution, progressive download is possible in a real-time transcoder, and the execution time is reduced through effective bit rate control. Maximization of transmission efficiency and deterioration of image quality can be prevented.
도 1은 본 발명의 실시예에 따른 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치의 구조를 도시한 블록도,
도 2는 도 1의 메타데이타 재가공부의 세부 구조를 도시한 블록도,
도 3은 도 1의 1 단계 비트율 제어부의 세부 구조를 도시한 블록도,
도 4는 도 3의 화면 간 비트율 제어부의 세부 구조를 도시한 블록도,
도 5는 도 1의 2 단계 비트율 제어부의 세부 구조를 도시한 블록도, 및
도 6은 도 5의 화면 내 비트율 제어부의 세부 구조를 도시한 블록도.1 is a block diagram illustrating a structure of a real-time transcoding apparatus for progressive downloading a multimedia content in a file format in which metadata and media data are separated according to an embodiment of the present invention;
FIG. 2 is a block diagram showing a detailed structure of the metadata reprocessing part of FIG. 1;
3 is a block diagram illustrating a detailed structure of a step 1 bit rate controller of FIG. 1;
4 is a block diagram illustrating a detailed structure of an inter-screen bit rate controller of FIG. 3;
5 is a block diagram showing a detailed structure of a two-step bit rate control unit of FIG.
FIG. 6 is a block diagram illustrating a detailed structure of an intra screen bit rate controller of FIG. 5; FIG.
본 발명과 본 발명의 동작성의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야 한다. DETAILED DESCRIPTION In order to fully understand the present invention, the advantages of the operability of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings that illustrate preferred embodiments of the present invention and the contents described in the accompanying drawings.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명에 따르면 서버 측에서 실시간 트랜스코더를 통하여 사용자의 네트워크 환경에 적합한 컨텐츠를 전송하여 원할한 서비스를 제공하도록 한다. MP4, skm, k3g, 3gp, 및 3gp2 파일 포맷의 구조는 화면마다 헤더 정보를 포함하고 있는 다른 파일 포맷과 달리 컨텐츠의 상세 정보와 화면의 파일 내 위치 및 크기 등 모든 재생 정보를 포함하고 있는 메타데이터와 순수하게 비디오/오디오의 데이터 묶음만으로 구성된 미디어데이터로 구성되어 있다. 이하의 실시예에서는 멀티미디어 콘텐츠가 MP4 형식인 것을 예로서 설명한다.According to the present invention, the server side transmits content suitable for the user's network environment through a real-time transcoder to provide a smooth service. The structure of the MP4, skm, k3g, 3gp, and 3gp2 file formats, unlike other file formats that contain header information per screen, includes metadata that contains all the playback information, including details of the content and the location and size of the file on the screen. It is composed of media data consisting of only video / audio data bundles. In the following embodiment, the multimedia content is described as an MP4 format by way of example.
위에서 설명한 바와 같이 MP4, skm, k3g, 3gp, 및 3gp2 파일 포맷의 구조는 화면마다 헤더 정보를 포함하고 있는 다른 파일 포맷과 달리 컨텐츠의 상세 정보와 화면의 파일 내 위치 및 크기 등 모든 재생 정보를 포함하고 있는 메타데이터와 순수하게 비디오/오디오의 데이터 묶음만으로 구성된 미디어데이터로 분리되어 있는 MP4 파일 포맷을 프로그래시브 다운로드 하기 위해서는 동영상 재생에 필요한 메타데이타 전송이 선행된다. 사용자 장치는 먼저 전송된 메타데이터의 수신을 완료 후 미디어데이터 수신 시점에서 동영상 재생이 가능하다. 이러한 구조는 트랜스코더를 사용하는 경우, 서버는 실시간 트랜스코딩을 수행하기 이전에 메타데이터를 먼저 송신해야 하는 문제가 발생한다. 즉, 실시간 트랜스코더를 사용하여 재가공전 화면의 정보가 없는 상태에서 메타데이타를 생성해야만 한다. 하지만, 적합하지 않는 메타데이터의 생성 및 전송은 사용자 단말에서 화면 열화 및 불필요한 네트워크 낭비, 그리고 서버 단의 추가적인 부하를 가져온다. 따라서, MP4 프로그래시브 다운로드를 위한 실시간 트랜스코더를 수행하기 전에 실시간 트랜스코더와 연계하여 최적의 메타데이터를 예측 및 생성할 필요성이 존재한다.As explained above, the structure of the MP4, skm, k3g, 3gp, and 3gp2 file formats, unlike other file formats that contain header information for each screen, contains all the playback information, including the details of the content and the location and size of the file on the screen. In order to progressively download the MP4 file format, which is separated into the existing metadata and media data consisting of purely video / audio data bundles, metadata transmission for video playback is preceded. The user device may complete the reception of the transmitted metadata and then play the video at the time of receiving the media data. This structure causes a problem in that when a transcoder is used, the server must first transmit metadata before performing real-time transcoding. In other words, metadata must be generated using a real-time transcoder without information on the screen before reprocessing. However, the generation and transmission of inappropriate metadata introduces screen degradation and unnecessary network waste in the user terminal and additional load on the server side. Therefore, there is a need to predict and generate optimal metadata in conjunction with a real-time transcoder before performing a real-time transcoder for MP4 progressive download.
이를 위하여 본 발명에 따른 장치는 2 단계에 걸친 비트율 제어를 수행한다. 도 1에는 본 발명의 바람직한 실시예에 따른 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치의 구조를 블록도로써 나타내었다. 도 1을 참조하면, 본 발명에 따른 실시간 트랜스코딩 장치는,To this end, the apparatus according to the invention performs a bit rate control over two stages. FIG. 1 is a block diagram illustrating a structure of a real-time transcoding apparatus for progressive downloading a multimedia content in a file format in which meta data and media data are separated according to a preferred embodiment of the present invention. 1, a real-time transcoding device according to the present invention,
입력된 메타데이터(100)를 원하는 압축율로 재가공하기 위한 메타데이터 재가공부(20)와,A
상기 메타데이터 재가공부(20)에 화면 간 상관관계를 이용하여, 올바른 메타데이터 생성과 적합한 화면 간 비트율을 제공하는 1단계 비트율 제어부(22)와,A first stage
MP4 파일의 미디어 데이터로부터 화면 데이터를 받아 일부 혹은 전부를 복호화하는 복호화부(24)와,A
복호화부(24)로부터 복호화된 일부 혹은 전부를 입력받아 원하는 코덱으로 부호화하는 부호화부(26), 및An
상기 1 단계 비트율 제어부(22)로부터 현재 화면의 목표 압축율을 제공받아 화면 내 상관관계와 부호화부의 부호화 재시도를 통하여 최적의 비트율을 제공하는 2 단계 비트율 제어부(28)를 구비한다.The second stage
복호화부(24)와 부호화부(28)는 이종간 트랜스코더 및 동종간 트랜스코더를 지원하고, 트랜스코더의 방식으로 복호화부(24)와 부호화부(28)를 종속적으로 연결한 종속 트랜스코더(Casecased Transcoder)와 DCT 공간 데이터와 화소 공간 데이터를 복합적으로 이용하는 복합 트랜스코더(Hybrid Transcoder)가 적용 가능하다. 즉, 본 발명의 비트율 제어 장치는 실시간 MP4 프로그래시브 다운로드가 요구되는 다양한 실시간 트랜스코더에 접목이 가능하다.The
도 2에는 도 1의 메타데이터 재가공부의 세부 구조를 블록도로써 나타내었다. 도 2를 참조하면, 메타데이터 재가공부(20)는 MP4 프로그래시브 다운로드의 시작과 동시에 전송되어야 할 메타데이터를 원하는 비트율에 적합한 메타데이터로 재가공하기 위한 장치로 메타데이터 분석부(200), 화면 정보 재가공부(202), 메타데이터 생성부(204)로 구성된다.FIG. 2 is a block diagram illustrating a detailed structure of the metadata reprocessing unit of FIG. 1. Referring to FIG. 2, the
메타데이터 분석부(200)는 부호화부(24)의 새로운 코덱의 데이터 기술자(Element Stream Descriptor)를 입력 받기 위해 MP4 파일 내 코덱의 데이터 기술자(Element Stream Descriptor)를 추출하여 복호화부(26)에 입력한다. 또한, 화면 정보와 관련된 데이터와 재가공이 불필요한 데이터를 분리하여 수행시간을 줄임으로써 초기 전송 지연 시간을 줄여준다.The
화면 정보 재가공부(202)는 1 단계 비트율 제어부(22)와 연계하여 목표 압축율에 맞는 화면 정보로 재가공한다.The screen
메타데이터 생성부(204)는 부호화부(26)로부터 입력된 새로운 코덱의 데이터 기술자(Element Stream Descriptor)와 재가공된 화면 정보와 가공되지 않는 메타데이터를 조합하여 전송할 메타데이터를 생성한다.The
도 3에는 도 1의 1 단계 비트율 제어부의 세부 구조를 블록도로써 나타내었다. 도 3을 참조하면, 1 단계 비트율 제어부(22)는 비트율 제어 설정부(220), 화면간 비트율 제어부(222), 화면 정보 저장부(224)로 구성된다.FIG. 3 is a block diagram illustrating a detailed structure of the first stage bit rate controller of FIG. 1. Referring to FIG. 3, the first stage bit
비트율 제어 설정부(220)는 메타데이더의 재가공부 중 메타데이터 분석부(200)로부터 전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율에 대한 기본 정보를 전달받아 1단계 비트율 제어에 사용되는 전반적인 초기 정보를 설정하고 관련 정보를 화면 정보 저장부(224)에 저장한다.The bit rate
화면 정보 저장부(224)는 트랜스코더 수행 전에 재가공된 메타데이터의 모든 화면 정보들이 저장되어 있으며, 이 정보들은 트랜스코더 수행 시 2 단계 비트율 제어를 통해 적합한 트랜스코딩을 위해 사용된다.The screen
즉, 1 단계 비트율 제어부(22)는 비트율 제어 설정부(220)에서 메타데이터로부터 전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율에 대한 기본정보를 받아 비트율 제어부를 초기화하고, 화면 간 비트율 제어부(222)는 실제 입력된 화면 정보와 목표 압축율을 기반으로 화면 간 상관관계 및 비트율을 참고하여 화면 정보를 재가공하며, 재가공된 화면 정보들은 화면 정보 저장부(224)로 저장되고 2단계 비트율 제어부에서 이를 사용하여 정확한 비트율 제어가 수행되도록 한다. 이와 같은 1단계 비트율 제어는 실시간 트랜스코더 수행에 앞서 프로그래시브 다운로드를 지원하기 위해 메타데이타 생성 및 전송 단계의 비트율 제어를 선행하는 것으로 미디어데이터의 실제 화면 정보 없이 메타데이터의 샘플 정보만으로 화면 간 비트율 제어를 통해 최적의 비트율 산출하는 것이다.That is, the first stage
도 4에는 도 3의 화면 간 비트율 제어부의 세부 구조를 블록도로써 나타내었다. 도 4를 참조하면, 화면 간 비트율 제어부(222)는 화면 종류 예측부(2220), 최대 압축율 예측부(2222), 초당 화면 비트율 제어부(2226), 평균 비트율 버퍼 제어부(2224), 및 최종 압축율 결정부(2228)로 구성된다.4 is a block diagram illustrating a detailed structure of the inter-bit rate controller of FIG. 3. Referring to FIG. 4, the inter-screen
화면 종류 예측부(2220)는 미디어데이터를 사용하지 않고 메타데이터 만으로 현재 화면의 종류(I/P/B frame)를 예측 또는 추정한다. 실제 메타데이터 내부에는 화면 종류에 대한 정보가 명시되어 있지 않기 때문에 정확한 화면 종류를 알기 위해서는 추가적으로 미디어데이터의 분석이 요구된다. 하지만, 미디어데이터의 분석은 잦은 메모리 접근 및 많은 연산으로 인한 전송 지연을 초래한다. 본 발명에서는 미디어데이터의 분석 없이 메타데이터 내의 동기화 샘플 정보와 DT(Decoding Time)/CT(Composition Time) 만을 이용하여 화면의 종류를 예측할 수 있다. 추가적으로 최종 압축율 결정부(2228)에서 재요청이 오는 경우, 앞서 결정된 화면 종류 외에 그 다음 적합한 화면 종류로 다시 예측하여, 좀 더 효과적인 압축율 제어를 제공할 수 있다.The
최대 압축율 예측부(2222)는 현재 화면의 최대 압축율을 계산하여, 주어진 목표 압축율의 적용 여부를 판단한다. 이는 적합하지 않은 압축율로 메타데이터의 오동작 및 트랜스코더의 불필요한 재시도를 방지하고, 최종 압축율 결정부(2228)에서 적합한 압축율을 계산하기 위한 참고 정보가 된다. 최대 압축율 계산은 현재 화면의 매크로블록 수와 적용된 코덱의 엔트로피 부호화 방식을 고려하여, 매크로블록 내 계수가 존재하지 않는 경우를 적용하여 계산할 수 있다.The maximum
초당 화면 비트율 버퍼 제어부(2226)는 최대 압축율 제한 또는 최종 압축율 결정부(2228)의 압축율 변경으로 인하여 초당 목표 압축율에 오차가 발생하는 경우, 발생된 오버플로우와 언더플로우를 고려하여 초당 목표 압축율에 근접하도록 초당 비트율을 제어한다.If an error occurs in the target compression rate per second due to the maximum compression rate limit or the change in the compression rate of the final
평균 비트율 버퍼 제어부(2224)는 초당 화면 비트율의 변화폭이 심하여, 전체 목표 압축율에 오차가 발생하는 경우, 발생된 다수의 초당 화면 비트율을 누적하고 발생된 오버플로우(overflow)와 언더플로우(underflow)를 고려하여 전체 목표 압축율에 근접하도록 평균 비트율을 제어함으로써 전체적인 화면의 화질 보정을 담당한다.The average bit rate
최종 압축율 결정부(2228)는 최대 압축율 예측부(2222)에서 예측된 최대 압축율과 초당 화면 비트율 버퍼 제어부(2226)와 평균 비트율 버퍼 제어부(2224)로부터 제안된 비트율을 고려하여, 완만한 화질 유지를 위해 가장 적합한 압축율을 계산한다. 또한, 최종 압축율 결정부(2228)는 결정된 최종 압축율이 화질 저하 및 압축율 오류에 영향이 있다고 판단되는 경우, 화면 종류 예측부(2222)를 제어하여 다른 화면 종류로 예측함으로서 현재 화면에 대한 적합한 최종 압축율을 결정한다. 이는 다시 초당 화면 비트율 버퍼 제어부(2226)로 입력되어 다음 화면의 최종 압축율 계산에 영향을 준다.The final
도 5에는 도 1의 2 단계 비트율 제어부의 세부 구조를 블록도로써 나타내었다. 도 5를 참조하면, 2 단계 비트율 제어부(28)는 비트율 제어 설정부(280), 화면 종류 결정부(282), 및 화면 내 비트율 제어부(284)로 구성된다.FIG. 5 is a block diagram illustrating a detailed structure of the second stage bit rate controller of FIG. 1. Referring to FIG. 5, the two-step bit
비트율 제어 설정부(280)는 1 단계 비트율 제어부(22)의 화면 정보 저장부(224)에 저장된 전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율을 입력받아 2 단계 비트율 제어에 필요한 초기 정보를 설정하고 트랜스코더와 연동함으로써 현재 입력된 화면에 대한 목표 비트율을 제공한다.The bit rate
화면 종류 결정부(282)는 도 4의 1 단계 비트율 제어부(22)의 화면 종류 예측부(2220)에서 예측된 화면 종류를 초기값으로 2 단계 비트율 제어를 수행하고, 실제 화면 내 압축율과 목표 압축율이 불일치하여 화면 종류의 변경이 요구되는 경우, 복호화된 실제 화면 종류와 후보 화면 종류들 중 가장 적합한 화면 종류를 재결정하여 목표 압축율에 근접하도록 한다.The
즉, 2 단계 비트율 제어부(22)는 비트율 제어 설정부(280)가 1 단계 비트율 제어부(22)의 화면 정보 저장부(224)에 의하여 저장된 화면 정보를 읽어와 비트율 제어부를 초기화하고, 화면 정보 결정부(282)는 비트율 제어 설정부(280)로 부터 현재 화면 종류를 가져와 적용하고, 재시도시 적합한 화면 종류를 재설정하며, 화면 내 비트율 제어부(284)는 결정된 화면 종류 및 현재 트랜스코딩이 진행 중인 화면 정보를 화면 내 상관관계 및 비트율을 참고하여 매크로블록 단위로 비트율 제어를 수행한다. 이러한 2단계 비트율 제어는 실시간 트랜스코더 수행시 1 단계 비트율 제어에서 결정된 현재 화면의 최대 압축 크기(비트율)를 고려하여 화면 내 매크로블록 간의 비트율 제어를 통해 최적의 비트율을 계산하는 것이다.That is, the second stage
도 6에는 도 5에 도시한 화면 내 비트율 제어부의 세부 구조를 블록도로써 나타내었다. 도 6을 참조하면, 화면 내 비트율 제어부(284)는 매크록블록 분석부(2840), 현재 화면 비트율 예측부(2842), 다음 매크로블록 양자화 레벨 결정부(2846), 화면 내 평균 양자화 레벨 저장부(2844), 재부호화 결정부(2848) 및 기본 양자화 레벨 저장부(2849)로 구성된다.FIG. 6 is a block diagram illustrating a detailed structure of the on-screen bit rate controller shown in FIG. 5. Referring to FIG. 6, the intra-screen
매크로블록 분석부(2840)는 현재 복호화된 매크로블록의 매크로블록 종류, 모션 벡터의 크기, 계수 및 발생 비트량을 분석하여 화면 내에서의 현재 매크로블록의 가중치를 계산함으로서 부호화에서 사용될 중요한 매크로블록들의 화질을 보정한다.The
현재 화면 비트율 예측부(2842)는 부호화된 매크로블록들의 비트량을 누적하고, 누적된 비트량과 다음 매크로블록 양자화 레벨 결정부(2846)에서 결정되는 양자화 레벨에 대해 발생될 현재 화면 비트율을 예측한다. 만약, 예측된 비트율이 목표 압축율에 적합하지 않은 경우 재부호화 결정부(2848)는 현재 화면에 대한 재부호화를 수행하도록 부호화부(26)를 제어한다.The current picture
다음 매크로블록 양자화 레벨 결정부(2846)는 복호화부(24)로부터 분석된 매크로블록의 가중치와 화면 내 평균 양자화 레벨 저장부(2844)에 저장된 평균 양자화 레벨 및 기준 양자화 레벨 저장부(2849)에 저장된 기준 양자화 레벨을 참고하여, 다음 매크로블록을 위한 예측된 양자화 레벨를 제시하고, 이를 현재 화면 비트율 예측부를 통해 적합성 검증 후 최종 결정한다. 다음 매크로블록 양자화 레벨 결정부(2846)에 의하여 제시된 예측된 양자화 레벨을 사용하여 현재 화면 비트율 예측부(2842)에서 양자화 레벨의 적합성을 검증하고, 적합하지 아니한 경우, 제시된 양자화 레벨을 상향 또는 하향 조정하여 적합할 때까지 적합성 검토를 반복한다. 이렇게 최종 결정된 양자화 레벨은 화면 내 평균 양자화 레벨에 입력되어 갱신된다.Next, the macroblock
재부호화 결정부(2848)는 현재 화면 비트율 예측부(2842)에서 예측된 비트율이 목표 압축율에 적합하지 않다고 판단되는 경우 재부호화를 결정한다. 세부적으로는 목표 압축율 보다 높은 비트율로 인해 발생하는 단말단의 오동작 및 목표 압축율 보다 낮은 비트율로 인해 발생하는 전송단의 전송 효율 저하를 방지한다.The
기준 양자화 레벨 저장부(2849)는 전체 트랜스코더 수행에서 기준이 되는 양자화 레벨을 저장하며, 초기값은 2 단계 비트율 제어 설정부(280)로 부터 압축율에 대응하는 초기 기준 양자화 레벨을 입력받아 결정되고, 재부호화 결정부(2848)에서 재부호화하는 것으로 결정되는 경우, 기준 양자화 레벨을 상향 또는 하향 조정하여 재부호화되는 현재 화면 내 매크로블록에 대한 기준 양자화 레벨 및 다음 화면에 대한 초기 기준 양자화 레벨로 제공된다. 이러한 기준 양자화 레벨은 화면 간 화질 변화를 최소화 하고, 적합한 화면 내 초기 양자화 레벨을 제공함으로써 화면 내 목표 압축율을 맞추기 위한 무리한 양자화 레벨의 조정에 따른 화질 열화를 감소시킨다.The reference quantization
상기와 같은 본 발명에 따른 장치는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 전송하기 위하여 실시간 트랜스코더의 메타데이터 재구성시 1 단계 비트율 제어부에서는 메타데이터를 재가공하고 화면 간 적합한 비트율을 제공하고, 2 단계 비트율 제어부는 트랜스코더 수행시 화면 내 적합한 비트율을 제공한다.As described above, the apparatus according to the present invention reprocesses the metadata in the first-level bit rate control unit during reconstruction of the metadata of the real-time transcoder to progressively transmit multimedia content in a file format in which metadata and media data are separated. A suitable bit rate is provided, and the second stage bit rate control unit provides a suitable bit rate in the screen when the transcoder is executed.
본 발명은 도면에 도시된 일실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to one embodiment shown in the drawings, this is merely exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. . Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
10 : MP4
100 : 입력된 메타데이터 102: 미디어 데이터
104 : 화면 데이터
20 : 메타데이터 재가공부
200 : 메타데이터 분석부 202 : 화면 정보 재가공부
204 : 메타데이터 생성부
22 : 1단계 비트율 제어부
220 : 비트율 제어 설정부
222 : 화면간 비트율 제어부
2220 : 화면 종류 예측부 2222: 최대 압축율 예측부
2226 : 초당 화면 비트율 제어부
2224 : 평균 비트율 버퍼 제어부
2228 : 최종 압축율 결정부
224 : 화면 정보 저장부
24 : 복호화부
26 : 부호화부
28 : 2 단계 비트율 제어부
280 : 비트율 제어 설정부 282 : 화면 종류 결정부
284 : 화면 내 비트율 제어부
2840 : 매크록블록 분석부
2842 : 현재 화면 비트율 예측부
2846 : 다음 매크로블록 양자화 레벨 결정부
2848 : 화면 내 평균 양자화 레벨 저장부
2849 : 재부호화 결정부10: MP4
100: input metadata 102: media data
104: screen data
20: Metadata reprocessing department
200: metadata analysis unit 202: screen information reprocessing unit
204: metadata generating unit
22: 1-step bit rate control unit
220: bit rate control setting unit
222: bit rate control between screens
2220: screen type predictor 2222: maximum compression ratio predictor
2226: screen bit rate control per second
2224: average bit rate buffer control unit
2228: final compression rate determination unit
224: screen information storage unit
24: decoder
26: encoder
28: two-step bit rate control unit
280: bit rate control setting unit 282: screen type determination unit
284: bit rate control in the screen
2840: macroblock analysis unit
2842: current screen bit rate prediction unit
2846: next macroblock quantization level determiner
2848: On-screen average quantization level storage
2849: re-encoding decision unit
Claims (6)
입력된 메타데이터를 원하는 압축율로 재가공하기 위한 메타데이터 재가공부;
상기 메타데이터 재가공부에 화면 간 상관관계를 이용하여, 올바른 메타데이터 생성과 적합한 화면 간 비트율을 제공하는 1단계 비트율 제어부;
메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식 데이터의 미디어데이터로부터 화면 데이터를 받아 일부 혹은 전부를 복호화하는 복호화부;
복호화기로 부터 복호화된 일부 혹은 전부를 입력 받아 원하는 코덱으로 부호화하는 부호화부; 및
상기 1 단계 비트율 제어부로부터 현재 화면의 목표 압축율을 제공받아 화면 내 상관관계와 부호화부의 부호화 재시도를 통하여 최적의 비트율을 제공하는 2 단계 비트율 제어부;를 포함하는 것을 특징으로 하는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치.In the real-time transcoding device installed on the server side to enable the progressive download of the multimedia content of the file format in which the metadata and media data is separated from the user terminal,
A metadata reprocessing unit for reprocessing the input metadata at a desired compression ratio;
A step 1 bit rate controller for providing correct metadata generation and an appropriate bit rate between screens by using correlation between screens in the metadata reprocessing unit;
A decoder which receives screen data from the media data of the file format data in which the meta data and the media data are separated, and decodes some or all of the screen data;
An encoder which receives part or all of the decoded data from the decoder and encodes the codec into a desired codec; And
And a second stage bit rate controller that receives the target compression rate of the current screen from the first stage bit rate controller and provides an optimal bit rate through intra-screen correlation and encoding retry of the encoder. Real-time transcoding device for progressive downloading multimedia content in separate file formats.
메타데이터 재가공을 위해 기존의 메타데이터를 분석하여 코덱의 데이터 기술자(Element Stream Descriptor)를 추출하고, 재가공이 요구되는 화면 정보와 재가공이 요구되지 않는 정보를 분류하여 수행 시간을 단축하는 메타데이터 분석부,
재가공이 요구되는 화면 정보에 대해서 상기 1 단계 비트율 제어부를 통하여 제안된 비트율로 화면 정보를 재가공하는 화면 정보 재가공부, 및
비 재가공 정보, 재가공된 화면 정보 와 부호화부로 부터 입력된 새로운 코덱의 데이터 기술자(Element Stream Descriptor)를 조합하여 새로운 메타데이터를 생성하는 메타데이터 생성부로 구성되는 것을 특징으로 하는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치.The method of claim 1, wherein the metadata reprocessing unit,
Metadata analysis unit that extracts the codec data descriptor (Element Stream Descriptor) by analyzing existing metadata for metadata reprocessing, and classifies screen information that needs to be reprocessed and information that does not require reprocessing to reduce execution time. ,
A screen information reprocessing unit for reprocessing screen information at a bit rate suggested through the first-level bit rate controller for screen information requiring reprocessing; and
Meta data and media data are separated, comprising: a metadata generator for generating new metadata by combining non-reprocessed information, reprocessed screen information, and a new codec data descriptor (Element Stream Descriptor) input from the encoder. Real-time transcoding device for progressive download of multimedia content in file format.
재가공 전 메타데이터로 부터 초기 정보를 입력받아 1 단계 비트율 제어부를 초기화하는 비트율 제어 설정부,
상기 비트율 제어부의 초기 정보(전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율)와 메타데이터의 샘플 정보로부터 현재 화면에 대한 화면 종류를 결정하고, 적합한 압축율을 제공하는 화면 간 비트율 제어부, 및
상기 비트율 제어부의 초기 정보(전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율)와 화면 간 비트율 제어부의 화면 종류 및 압축율을 저장함으로써, 2 단계 비트율 제어부의 입력이 되는 화면 정보 저장부로 구성되는 것을 특징으로 하는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치.The method of claim 1, wherein the first step bit rate control unit,
A bit rate control setting unit which receives initial information from metadata before reprocessing and initializes a first-level bit rate controller;
A screen type for the current screen is determined from initial information of the bit rate controller (number of full screens, screen size, codec information, screen type, bit rate and frame rate) and sample information of metadata, and provides an appropriate compression ratio. A bit rate controller, and
Screen information that is input by the second-level bit rate controller by storing the initial information (number of full screens, screen size, codec information, screen type, bit rate and frame rate) of the bit rate controller and the screen type and compression ratio of the bit rate controller between screens. A real-time transcoding device for progressive downloading multimedia content in a file format in which metadata and media data are separated from each other.
메타데이터로부터 입력된 샘플 정보(동기화 샘플 정보, DT(Decoding Time)/CT(Composition Time))만으로 화면 종류를 예측 및 결정하는 화면 종류 예측부,
상기 화면 종류 예측부에서 결정된 화면 종류와 트랜스코더 부호화부의 코덱 내 엔트로피 부호화 방식에 따라 현재 화면의 최대 압축율을 예측하여 2 단계 비트율 제어의 오동작을 방지함으로써 올바른 메타데이터를 생성하는 최대 압축율 예측부,
상기 최대 압축율 제어부에서 결정된 최대 압축율과 초당 화면 비트율 제어부에서 제안된 비트율을 기반으로 적합한 최종 압축율을 계산하는 최종 압축율 결정부,
상기 최종 압축율 결정부에서 결정된 압축율에 따라 발생하는 초당 비트율 버퍼의 오버플로우와 언더플로우를 방지하는 초당 화면 비트율 버퍼 제어부, 및
상기 초당 화면 비트율 제어부에서 발생하는 초당 화면 비트율을 누적하여 전체 비트율의 오버플로우와 언더플로우를 방지하고 전체적인 비트율을 안정화하는 평균 비트율 버퍼 제어부로 구성되는 것을 특징으로 하는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치.The bit rate controller of claim 3,
A screen type predictor for predicting and determining a screen type only with sample information inputted from metadata (synchronization sample information, DT (Decoding Time) / CT (Composition Time)),
A maximum compression ratio prediction unit for predicting the maximum compression ratio of the current screen according to the screen type determined by the screen type prediction unit and the entropy encoding scheme in the codec of the transcoder encoder, thereby generating correct metadata by preventing malfunction of two-step bit rate control;
A final compression ratio determination unit for calculating a final final compression ratio based on the maximum compression ratio determined by the maximum compression ratio controller and the bit rate proposed by the screen bit rate controller per second,
A screen bit rate buffer control unit per second for preventing an overflow and an underflow of the bit rate buffer caused by the compression rate determined by the final compression rate determining unit;
Meta data and media data are separated, comprising: an average bit rate buffer control unit for accumulating the screen bit rate per second generated by the screen bit rate control unit per second to prevent overflow and underflow of the entire bit rate and to stabilize the overall bit rate Real-time transcoding device for progressive download of multimedia content in file format.
상기 화면 정보 저장부로부터 초기 정보(전체 화면의 수, 화면 크기, 코덱 정보, 화면 종류, 비트율 및 프레임율)를 입력 받아 2 단계 비트율 제어부를 초기화하는 비트율 제어 설정부,
상기 비트율 설정부의 설정값과 복호화부에서 실제 화면 정보 및 제 4항의 화면 종류 예측부에서 결정된 화면 정보를 사용하여 적합한 화면 종류를 최종 결정하는 화면 종류 결정부, 및
상기 화면 종류 결정부의 화면 종류와 목표 압축율을 입력으로 현재 화면에 대한 적합한 비트율을 제공하는 화면 내 비트율 제어부로 구성되는 것을 특징으로 하는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치.The method of claim 1, wherein the second step bit rate control unit
A bit rate control setting unit which receives initial information (number of full screens, screen size, codec information, screen type, bit rate and frame rate) from the screen information storage unit and initializes a two-level bit rate control unit;
A screen type determiner which finally determines a suitable screen type by using the setting value of the bit rate setting unit and the screen information determined by the screen type predictor of claim 4 in the decoder;
A multimedia content in a file format in which metadata and media data are separated, comprising: a screen bit rate controller configured to provide an appropriate bit rate for the current screen by inputting a screen type and a target compression ratio of the screen type determiner. Real-time transcoding device for sieve download.
상기 복호화부로부터 매크로블록 종류, 모션 벡터의 크기, 계수 및 발생 비트량를 포함하는 트랜스코딩 전 매크로블록 정보를 사용하여 화면 내 현재 매크로블록의 중요도를 계산하고 비트율 할당에 있어 가중치를 두어 화면 화질을 개선하는 매크로블록 분석부,
상기 부호화부로부터 트랜스코딩 후 매크로블록의 발생 비트량을 누적하고, 다음 매크로블록 양자화 레벨 결정부에서 제안된 양자화 레벨을 고려하여 현재 화면에서 발생될 비트율을 예측하는 현재 화면 비트율 예측부,
상기 매크로블록 분석부의 가중치, 기준 양자화 레벨 저장부의 기준 양자화 레벨, 화면 내 평균 양자화 레벨 저장부의 평균 양자화 레벨을 입력받아 상기 현재 화면 비트율 예측부 간의 검증을 통해 다음 매크로블록의 양자화 레벨을 결정하는 다음 매크로블록 양자화 레벨 결정부,
상기 매크로블록 양자화 레벨 결정부에서 결정된 양자화 레벨을 누적/평균하여 다음 매크로블록에 이를 반영함으로써 화면 내 급격한 화질 변화를 방지하기 위한 화면 내 평균 양자화 레벨 저장부,
상기 현재 화면 비트율 예측부에서 예측된 비트율이 목표 압축율에 적합하지 않을 경우, 이에 대한 재부호화 여부를 결정하는 재부호화 결정부, 및
상기 재부호화 결정부에서 재부호화 결정에 따라 전체 화면에 대한 기준 양자화 레벨을 저장 및 조정하여, 화면 간 급격한 화질 변화 및 화면 내 무리한 양자화 레벨 제어를 방지하기 위한 기준 양자화 레벨 저장부를 포함하는 것을 특징으로 하는 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치.
The method of claim 5, wherein the on-screen bit rate control unit,
The decoder decodes the importance of the current macroblock in the picture using the pre-coding macroblock information including the macroblock type, the size of the motion vector, the coefficient, and the generated bit amount, and weights the bit rate to improve the picture quality. Macroblock analysis unit,
A current screen bit rate predictor for accumulating the generated bit amount of the macroblock after transcoding from the encoder and predicting a bit rate to be generated in the current screen in consideration of the quantization level proposed by the next macroblock quantization level determiner;
Next macro for determining the quantization level of the next macroblock through verification between the current screen bit rate prediction unit by receiving the weight of the macroblock analyzer, the reference quantization level storage unit, and the average quantization level of the intra-screen average quantization level storage unit. Block quantization level determiner,
An on-screen average quantization level storage unit for accumulating / averaging the quantization level determined by the macroblock quantization level determination unit and reflecting it to the next macroblock to prevent a sudden change in image quality in the screen;
A re-encoding determination unit for determining whether to re-encode the bit rate predicted by the current screen bit rate prediction unit when it is not suitable for a target compression rate, and
And a reference quantization level storage unit configured to store and adjust the reference quantization level for the entire screen according to the re-encoding determination, to prevent a sudden change in image quality and control of excessive quantization levels in the screen. A real-time transcoding device for progressive downloading multimedia content in a file format in which metadata and media data are separated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110066979A KR101285654B1 (en) | 2011-07-06 | 2011-07-06 | Realtime transcoding device for progressive downloading of which meta data and media data saperated |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110066979A KR101285654B1 (en) | 2011-07-06 | 2011-07-06 | Realtime transcoding device for progressive downloading of which meta data and media data saperated |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130005527A true KR20130005527A (en) | 2013-01-16 |
KR101285654B1 KR101285654B1 (en) | 2013-08-14 |
Family
ID=47836778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110066979A KR101285654B1 (en) | 2011-07-06 | 2011-07-06 | Realtime transcoding device for progressive downloading of which meta data and media data saperated |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101285654B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150021007A (en) * | 2013-08-19 | 2015-02-27 | 경희대학교 산학협력단 | A Method And Apparatus For Enhancing Quality Of Multimedia Service By Using Cloud Computing |
CN109120966A (en) * | 2018-08-30 | 2019-01-01 | 广州珠江数码集团股份有限公司 | A kind of method and device and system of 4K program request intelligent decision identification code rate |
CN109195012A (en) * | 2018-11-07 | 2019-01-11 | 成都索贝数码科技股份有限公司 | A method of MP4 file is combined into based on object storage fragment transcoding/synthesis sudden strain of a muscle |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210083007A (en) | 2019-12-26 | 2021-07-06 | 강릉원주대학교산학협력단 | Cloud storage system and method of generating contents metadata in the cloud storage system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20011871A (en) * | 2001-09-24 | 2003-03-25 | Nokia Corp | Processing of multimedia data |
JP4619353B2 (en) * | 2003-02-26 | 2011-01-26 | エヌエックスピー ビー ヴィ | System for distributing multimedia content |
US20050102371A1 (en) * | 2003-11-07 | 2005-05-12 | Emre Aksu | Streaming from a server to a client |
US20070091928A1 (en) * | 2005-10-21 | 2007-04-26 | Wee Susie J | Serial and parallel processing of data using information about the data and information about a streaming network |
-
2011
- 2011-07-06 KR KR1020110066979A patent/KR101285654B1/en not_active IP Right Cessation
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150021007A (en) * | 2013-08-19 | 2015-02-27 | 경희대학교 산학협력단 | A Method And Apparatus For Enhancing Quality Of Multimedia Service By Using Cloud Computing |
CN109120966A (en) * | 2018-08-30 | 2019-01-01 | 广州珠江数码集团股份有限公司 | A kind of method and device and system of 4K program request intelligent decision identification code rate |
CN109120966B (en) * | 2018-08-30 | 2020-10-09 | 广州珠江数码集团股份有限公司 | Method, device and system for intelligently judging and identifying code rate of 4K video-on-demand |
CN109195012A (en) * | 2018-11-07 | 2019-01-11 | 成都索贝数码科技股份有限公司 | A method of MP4 file is combined into based on object storage fragment transcoding/synthesis sudden strain of a muscle |
Also Published As
Publication number | Publication date |
---|---|
KR101285654B1 (en) | 2013-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6703150B2 (en) | A distributed architecture for encoding and delivering video content | |
US20200322619A1 (en) | Systems and Methods of Encoding Multiple Video Streams for Adaptive Bitrate Streaming | |
US8477844B2 (en) | Method and apparatus for transmitting video | |
US9800883B2 (en) | Parallel video transcoding | |
US9571827B2 (en) | Techniques for adaptive video streaming | |
US9288251B2 (en) | Adaptive bitrate management on progressive download with indexed media files | |
CA2185704C (en) | Method, rate controller, and system for preventing overflow and underflow of a decoder buffer | |
KR102144557B1 (en) | Systems and methods for the reuse of encoding information in encoding alternative streams of video data | |
JP4358215B2 (en) | Video encoding apparatus and method | |
US20110292995A1 (en) | Moving image encoding apparatus, moving image encoding method, and moving image encoding computer program | |
JP2016526336A (en) | System and method for encoding multiple video streams using adaptive quantization for adaptive bitrate streaming | |
US9560356B2 (en) | Image processing apparatus, image processing method, and image processing system | |
KR101285654B1 (en) | Realtime transcoding device for progressive downloading of which meta data and media data saperated | |
US11196795B2 (en) | Method and apparatus for predicting video decoding time | |
US20230283825A1 (en) | Method for dynamic computational resource management and apparatus for implementing the same | |
JP2016192658A (en) | Communication system, communication device, communication method and communication control method | |
US8862758B1 (en) | System and method for controlling one or more media stream characteristics | |
Zhang et al. | Rate control optimization for live streaming using fixed-time playback buffer | |
Ortega et al. | Mechanisms for adapting compressed multimedia to varying bandwidth conditions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |