WO2011105867A2 - 부호화 장치, 이의 구동 방법 및 부호화 방법 - Google Patents

부호화 장치, 이의 구동 방법 및 부호화 방법 Download PDF

Info

Publication number
WO2011105867A2
WO2011105867A2 PCT/KR2011/001379 KR2011001379W WO2011105867A2 WO 2011105867 A2 WO2011105867 A2 WO 2011105867A2 KR 2011001379 W KR2011001379 W KR 2011001379W WO 2011105867 A2 WO2011105867 A2 WO 2011105867A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
encoding
bit rate
image
bit stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2011/001379
Other languages
English (en)
French (fr)
Other versions
WO2011105867A3 (ko
Inventor
임정연
김수년
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Publication of WO2011105867A2 publication Critical patent/WO2011105867A2/ko
Publication of WO2011105867A3 publication Critical patent/WO2011105867A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer

Definitions

  • An embodiment of the present invention relates to an encoding apparatus, a driving method thereof, and an encoding method. More specifically, by using image analysis technology and adaptive control method of bit rate for a specific section within a given buffering time, it is possible to use bit rate efficiently and maintain stable and optimal image quality.
  • the present invention relates to an encoding device, a driving method thereof, and an encoding method capable of improving subjective picture quality.
  • Digital television is becoming more and more popular due to the integration of various functions with the realization of high definition. These features include pay-per-view, electronic program guides, video on demand (VOD), weather and stock information, internet hyperlinks, and entertainment. do.
  • VOD video on demand
  • data is delivered to the user via a satellite or cable television network or through a computer network.
  • television data is transmitted in the form of a compressed bit stream while the bit rate is adjusted while being encoded and multiplexed for transmission.
  • the purpose of this bit rate adjustment is to overcome the constraints on the overall bit rate of the multiplexed stream while maintaining satisfactory video quality for each program.
  • Such a multiplexer can allocate a lot of bits to a video channel with varying video, for example a fast moving scene, while assigning a few bits to a channel with less changing video, such as a still or slow moving scene. Can be assigned.
  • Such a multiplexing system must use a number of individual encoders that encode data provided on a plurality of channels per channel. Such systems dynamically allocate bits to individual encoders for encoding video data. In addition, the system must distinguish between encoding bit rate assignments and transmission bit rate assignments.
  • the system must assign a transmission bit rate to each video channel to prevent mismatch between the input and output bits of the decoder buffer.
  • the system will check for overflow or underflow conditions on the input data to set minimum and maximum limits on the transmission bit rate.
  • the minimum and maximum limits should be set based on whether a new transmission bit rate can be realized before the Decoding Time Stamp (DTS) of the current or next frame.
  • DTS indicates information on a decoding execution time.
  • Such a system should also be suitable for application to various types of video data, including high definition (HD) and standard definition (SD) televisions.
  • HD high definition
  • SD standard definition
  • FIG. 1 is a diagram illustrating an encoding apparatus according to the prior art.
  • the encoding apparatus includes a buffer / request parameter calculating unit 102, 104, 106, a speed control processor 125, an encoder 112, 114, 116, and a multiplexer (MUX) 120. ), A transmission packet buffer 130 and a transmitter 135.
  • a buffer / request parameter calculating unit 102 includes a buffer / request parameter calculating unit 102, 104, 106, a speed control processor 125, an encoder 112, 114, 116, and a multiplexer (MUX) 120.
  • MUX multiplexer
  • the buffer / request parameter calculators 102, 104 and 106 receive different uncompressed source video and supply the request parameter data to the speed control processor 125.
  • the speed control processor 125 alternately supplies allocation information of encoding bit rates to each of the encoders 112, 114, and 116, and receives a fullness signal from the transmission packet buffer 130.
  • the encoders 112, 114, and 116 perform encoding on the input source video, and supply feedback information indicating the encoding bit rate to the speed control processor 125.
  • the multiplexer 120 receives encoded data from the encoders 112, 114, and 116 and outputs a multiplexed bit stream.
  • the transport packet buffer 130 supplies the multiplexed bit stream to the transmitter 135.
  • the transmitter 135 transmits information about the multiplexed bit stream.
  • the decoder 180 includes a receiver 182, a decoder buffer 184, a demultiplexer (DEMUX) 186, and a decoder 180.
  • DEMUX demultiplexer
  • the decoding unit 180 restores the information transmitted from the transmitter 135 to generate a decoded video signal, which may be displayed on a television, for example.
  • the conventional configuration increases the data processing speed by adjusting the bit rate for each encoder, it does not improve the image quality of the image finally displayed on a television or the like compared to the input image provided to the encoder.
  • An embodiment of the present invention provides a more efficient use of bit rate and more stable and optimal objective and subjective image quality compared to the prior art by applying an image analysis technique, a bit rate control method for an interval within a buffering time, and an adaptive database method to an encoding apparatus. It is an object of the present invention to provide a sustainable encoding apparatus, a driving method thereof, and an encoding method.
  • An encoding apparatus includes an image analyzer for receiving and analyzing an input image and outputting the input image and analysis information; An input image and analysis information buffer unit configured to store the input image and the analysis information and provide the stored input image and the analysis information through different paths; A database unit which receives the output quantity related information and / or the analysis information of the output bit stream and selects and provides the output quantity related information of the bit stream and the encoding related prediction information according to the analysis information; A bit rate controller for generating bit rate allocation information for allocating a bit rate of the input video by using the analysis information, the encoding related prediction information, and output state information of the output bit stream; An encoder which provides information about the output amount of the bit stream and output state information of the bit stream, and encodes and outputs the input image using the encoding related prediction information, the bit rate allocation information, and the output state information of the bit stream. ; And an output state information buffer which receives and stores output state information of the bit stream and provides the output state information to the bit rate controller and
  • the driving method of the encoding apparatus includes the steps of receiving and analyzing an input image and outputting the input image and analysis information; Storing the input image and the analysis information and providing the stored input image and the analysis information in different paths; Receiving the output quantity related information and / or the analysis information of the output bit stream and selecting and providing the output quantity related information of the bit stream and the encoding related prediction information according to the analysis information; Generating bit rate allocation information for allocating a bit rate of the input image by using the analysis information, the encoding related prediction information, and output state information of the output bit stream; Providing the output quantity related information and the output state information, encoding the input image using the encoding related prediction information, the bit rate allocation information, and the output state information, and outputting the encoded bit stream; And receiving and storing the output state information, and providing the output state information when generating the bit rate allocation information and encoding the input image.
  • the encoding method of the encoding apparatus includes the steps of receiving an image; Receiving bit rate allocation information generated by using the analysis information on the image and the prediction information related to encoding associated with the analysis information; Receiving the encoding related prediction information; Encoding the image using the bit rate allocation information and the encoding related prediction information; Receiving corrected bit rate allocation information generated using the encoding related prediction information associated with bit stream information of an encoded image and output bit quantity related information of the bit stream; Receiving the bit stream information; And encoding the image by using the corrected bit rate allocation information and the bit stream information.
  • a plurality of encoders guarantee the target image quality based on image analysis and adaptive database prediction information for each input image while the future bit rate usage of the entire encoding target image sequence within the buffering time interval.
  • each encoder performs encoding to maintain subjective and objective image quality compared to when each encoder operates while independently controlling and controlling the bit rate. Bit rate reduction of ⁇ 40% can be achieved.
  • the bit rate correction method using feedback information in the encoder the bit rate correction method using the database information, and the like, the objective bit rate reduction effect and the subjective picture quality improvement can be obtained.
  • FIG. 1 is a diagram showing a coding apparatus according to the prior art
  • FIG. 2 is a block diagram illustrating a structure of an encoding apparatus according to an embodiment of the present invention
  • FIG. 3 is a diagram illustrating a data structure of analysis information of FIG. 2;
  • FIG. 4 is a diagram illustrating a data structure of an input image and analysis information stored in the input image and analysis information buffer of FIG. 2;
  • FIG. 5 is a flowchart illustrating an operation process of the encoding apparatus illustrated in FIG. 2.
  • FIG. 2 is a block diagram illustrating a structure of an encoding apparatus according to an exemplary embodiment of the present invention
  • FIG. 3 is a diagram illustrating a data structure of analysis information of FIG. 2
  • FIG. 4 is an input image and an analysis information buffer unit of FIG. 2.
  • FIG. 11 is a diagram illustrating a data structure of stored input images and analysis information.
  • the image analysis unit 210 for analyzing the input image to output the analysis information and the input image, and stores and stores the analysis information and the input image
  • the input image and the analysis information buffer unit 220 for providing the analysis information and the input image through different paths, and receive the output quantity related information and / or analysis information of the output bit stream according to the output quantity related information and the analysis information of the bit stream.
  • a bit rate controller configured to generate bit rate allocation information for allocating bit rate of an input image by using the database unit 230 for selecting and providing encoding related prediction information, provided analysis information, encoding related prediction information, and output state information of a bit stream; 240), the information on the output amount of the bit stream and the output status information of the bit stream, encoding prediction information, bit rate
  • An encoder 250 encoding the input image by using the allocation information and the output state information of the bit stream and outputting the encoded bit stream, and receiving and storing the output state information of the bit stream, and storing the output state information in the bit rate controller 240.
  • And / or an output state information buffer 260 provided to the encoder 250.
  • the image input unit 200 is connected to the interface system and the image analyzer 210, and receives the image from the interface system and provides the received image back to the image analyzer 210.
  • the image input unit 200 may include first to N-th image input units 200_1, 200_2,..., 200_N, which is fixed to N encoders constituting the encoder 250 using the same fixed band. This is to allow optimal use of the divided bands.
  • the image analyzer 210 is connected to the image input unit 200, the input image, and the analysis information buffer unit 220, respectively, and corresponds to the first to Nth image input units 200_1, 200_2,..., 200_N, respectively. 1 to N-th image analyzer 210_1, 210_2,..., 210_N.
  • the image analyzer 210 performs image analysis on each of the input images, and provides analysis information about the image to the input image and the analysis information buffer unit 220 together with the image. For example, the N th analysis information is extracted from the N th image input to the N th image analyzer 210_N, and the N th analysis information is provided to the N th input image and the analysis information buffer 220_N together with the N th image. .
  • the analysis information of the image output through the image analyzer 210 is calculated based on the complexity of the image, the data amount of the difference image representing the difference between the current image and the previous image.
  • image analysis information more various information may be used as the characteristic data according to the purpose of use.
  • the input image and analysis information buffer unit 220 is a kind of memory and is connected to the image analyzer 210, the database unit 230, the bit rate controller 240, and the encoder 250, respectively.
  • the input image and analysis information buffer unit 220 analyzes the first to N-th input image and the analysis information for each image provided by the first to Nth image analyzing units 210_1, 210_2,..., 210_N together with the image.
  • the data is temporarily stored in the information buffers 220_1, 220_2, ..., 210_N sequentially. Thereafter, the analysis information is sequentially provided to the database unit 230 and the bit rate controller 240, and the images are sequentially provided to the encoder 250. For example, as shown in FIG.
  • the input image and analysis information buffer unit 220 may include first to Nth analysis information provided from the image analyzer 210 and first to Nth analysis information about the image. And after storing the image in the memory sequentially, the analysis information is provided to the database unit 230 and the bit rate controller 240, respectively, the image is provided to the encoder 250.
  • the database unit 230 is divided into the adaptive information database 231 and the initialization information unit 233, and is connected to the input image and analysis information buffer unit 220, the bit rate controller 240, and the encoding unit 250, respectively.
  • the database unit 230 includes first to N th adaptive information databases 231_1, 231_2,..., 231_N to configure a plurality of encoders.
  • Each adaptive information database 231_1, 231_2,..., 231_N is connected to the first to Nth initialization information units 233_1, 233_2,..., 233_N, respectively.
  • the adaptive information database 231 stores the encoding parameter prediction including the quantization factor value for each coding block, the weight for each region characteristic, the encoding mode prediction value, and the like, and the output bit rate prediction value when using the predicted encoding parameter. do.
  • the database unit 230 provides encoding related prediction information, which is selected according to the analysis information received from the input image and the analysis information buffer unit 220, to the bit rate controller 240 and the encoder 250, for example. From 250, the output bit amount and other information, which are encoding results, are received again to perform adaptive correction on information to be predicted in the future. In this case, the adaptive correction is to correct encoding-related prediction information so as to maintain an optimum image quality with respect to the encoded image.
  • the first to N th initialization information units 233_1, 233_2,..., 233_N may include analysis information and / or initialization information about the video input image, that is, the first to N th adaptive information databases 231_1, 231_2,..., 231_N. Initialize and modify the encoding-related prediction information stored in).
  • the database unit 230 may maintain the optimal image quality with respect to the image information by allowing the bit rate controller 240 and the encoder 250 to optimally select adaptive information according to analysis information and classification characteristics of the image. Make sure
  • the bit rate controller 240 is connected to the input image and analysis information buffer 220, the database 230, the encoder 250, and the output state information buffer 260, respectively.
  • the bit rate controller 240 may include image analysis information and / or buffering time related information from the input image and analysis information buffer unit 220, encoding related prediction information from the database unit 230, and bits that may be included in all images within a given buffering time. Receiving the amount information, and using them to provide the bit rate allocation information for assigning the bit rate for each current input image to the encoder 250.
  • the bit rate allocation for the current frame is performed together with the bit rate control for the video sequence of the entire specific time interval being buffered.
  • the image analysis information for the input video sequence of each encoder for the entire buffered specific time interval is used.
  • bit rate allocation can be controlled to improve image quality.
  • the bit rate controller 240 receives bit stream information on the encoded stream output from the encoder 250, that is, updated output bit rate state information from the output state information buffer 260, and is adaptively corrected during bit rate control. For example, the bit rate controller 240 outputs, via the output status information buffer 260, whether the bit generation amount of all encoders to date has exceeded, used less, or exceeds the target bit rate. By receiving the bit rate information and using it to correct the bit rate allocation information, the bit rate allocation information initially allocated based on the image analysis information and the buffering time information may be adaptively corrected and provided to the encoder 250.
  • the encoder 250 includes first to Nth encoders 250_1, 250_2,..., 250_N to form a plurality of encoders, the input image and the analysis information buffer unit 220, the database unit 230, and the bit rate. It is connected to the controller 240 and the output status information buffer 260, respectively. Accordingly, the encoder 250 is based on the encoding-related prediction information received from the database unit 230 and the bit rate allocation information received from the bit rate controller 240, and the input provided from the input image and analysis information buffer unit 220. An encoding stream is output by encoding an image.
  • the encoder 250 generates or extracts bit stream information from the encoded stream and provides it to the database unit 230 and / or the output state information buffer 260. For example, as described above, the encoder 250 feeds back the output bit amount and other information, which is the encoding result, to the database unit 230 so as to perform adaptive correction on information to be predicted in the future.
  • the encoder 250 receives bit rate allocation information, which is adaptively corrected based on the output state information provided by the output state information buffer 260, from the bit rate controller 240 to encode the encoders 250_1, 250_2,..., 233_N. For each bit amount allocated to each bit, the bit amount actually generated and the image quality according to the bit amount are corrected, and the bit amount is corrected using the output state information fed back from the output state information buffer 260. By doing so, optimum image quality can be maintained.
  • the output state information buffer 260 is connected to the bit rate controller 240 and the encoder 250, respectively, and receives the bit stream information on the encoded stream from the encoder 250 to update the prestored bit stream information. The updated information is provided back to the bit rate controller 240 and the encoder 250.
  • FIG. 5 is a flowchart illustrating an operation process of the encoding apparatus illustrated in FIG. 2.
  • the image input unit 200 receives an input image from the outside and transmits the input image to the image analyzer 210.
  • the image analyzer 210 extracts the analysis information on the received image and outputs the analysis information and the image together (S501).
  • the analysis information includes inter / intra coding cost prediction information, region detection information, boundary detection information, scene change detection information, and the like, which are calculated based on the complexity of the image and the amount of data of the difference image as described above.
  • analysis information and the images output from the image analyzer 210 are provided to the input image and the analysis information buffer 220 to be sequentially stored.
  • the analysis information stored in the input image and the analysis information buffer unit 220 is provided to the database unit 230 and the bit rate controller 240, and the image is provided to the encoder 250 (S502).
  • the database unit 230 stores encoding related prediction information, that is, parameter information, that matches each input analysis information. Pre-stored encoding related prediction information is selected and output according to the input analysis information (S503). The database unit 230 corrects the selected encoding related prediction information according to the output bit quantity related information of the output encoded stream (S503). In this case, the correction of the database unit 230 converts the encoding related prediction information selected and output according to the analysis information of the image into the encoding related prediction information selected according to the output bit quantity related information and outputs the converted encoding information.
  • the bit rate controller 240 provides bit rate allocation information to the encoder 250.
  • the bit rate allocation information is determined based on the encoding related prediction information of the database unit 230 selected according to the analysis information and the analysis information of the image provided by the input image and the analysis information buffer unit 220 (S504).
  • the bit rate controller 240 may use the corrected encoding related prediction information provided by the database unit 230 and / or the corrected bit stream information provided by the output state information buffer 260 selected according to the output bit amount related information.
  • the bit rate allocation information is corrected and provided to the encoder 250 (S504).
  • the correction of the bit rate controller 240 generates bit rate allocation information based on the analysis information of the image and the encoding related prediction information selected according to the analysis information, and then the encoding related prediction information and the bit selected according to the output bit quantity related information. Indicates that conversion is generated based on the stream information.
  • the encoder 250 encodes the input image and the input image provided by the analysis information buffer 220.
  • the encoder 250 encodes an input image by having different bit amounts according to bit rate allocation information provided from the bit rate controller 240, and outputs an encoded bit stream (S505).
  • the encoder 250 extracts the bit stream information from the output bit stream and provides the bit stream information to the database unit 230 and the output state information buffer 260, and receives the corrected bit rate allocation information from the bit rate controller 240 to perform encoding.
  • the encoded bit stream is output.
  • the output state information buffer 260 stores the output state information provided by the encoder 250, and the stored output state information is used when the bit rate controller 240 generates bit rate allocation information and the encoder 250 encodes the output state information. (S506).
  • the encoder 250 may perform encoding based on the image analysis information, the encoding related parameter information, and the output state information, and may output the encoded bit stream to guarantee various types of target picture quality, and are respectively allocated.
  • the target bit rate can be maintained accurately.
  • one encoder of the N encoders may be a master encoder, and the remaining encoders may be configured to be slave encoders.
  • the master encoder may play a role of retaining a bit rate controller and an output state information buffer, collecting information necessary for encoding bit rate allocation, and allocating bit rates for respective encoders.
  • the slave encoder may serve to obtain image information, adaptive database information, and output state information to the master encoder to be assigned a bit rate or to obtain correction information for the current encoding process.
  • Embodiments of the present invention can be applied to an encoding apparatus, a driving method thereof, and an encoding method.
  • a plurality of encoders perform encoding based on image analysis and adaptive database prediction information for each input image while receiving the bit rate information allocated to each encoder, thereby subjective and objective compared to when each encoder operates independently.
  • a bit rate reduction of 30 to 40% can be achieved while maintaining image quality.
  • the objective bit rate reduction effect and the subjective picture quality improvement can be obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 실시예는 부호화 장치, 이의 구동 방법 및 부호화 방법에 관한 것이다. 본 발명의 실시예에 따른 부호화 장치는 입력 영상을 수신하고 분석하여 상기 입력영상 및 분석정보를 출력하는 영상분석부; 상기 입력 영상 및 상기 분석정보를 저장하고, 저장된 상기 입력 영상 및 상기 분석정보를 서로 다른 경로로 제공하는 입력영상 및 분석정보 버퍼부; 출력되는 비트 스트림의 출력량 관련 정보 및/또는 상기 분석정보를 수신하여 상기 비트 스트림의 출력량 관련 정보 및 상기 분석정보에 따른 인코딩 관련 예측정보를 선택하여 제공하는 데이터베이스부; 상기 분석정보, 상기 인코딩 관련 예측정보 및 출력되는 비트 스트림의 출력상태정보를 이용하여 상기 입력 영상의 비트율을 할당하기 위한 비트율 할당 정보를 생성하는 비트율 제어기; 상기 비트 스트림의 출력량 관련 정보 및 상기 비트 스트림의 출력상태정보를 제공하고, 상기 인코딩 관련 예측정보, 상기 비트율 할당 정보 및 상기 비트 스트림의 출력상태정보를 이용하여 상기 입력 영상을 부호화하여 출력하는 부호화부; 및 상기 비트 스트림의 출력상태정보를 수신하여 저장하며, 상기 출력상태정보를 상기 비트율 제어기 및/또는 상기 부호화부에 제공하는 출력상태정보 버퍼를 포함하는 것을 특징으로 한다.

Description

부호화 장치, 이의 구동 방법 및 부호화 방법
본 발명의 실시예는 부호화 장치, 이의 구동 방법 및 부호화 방법에 관한 것이다. 더 상세하게는 영상분석 기술과 주어진 버퍼링 시간 내 특정 구간에 대한 비트율의 적응적 제어 방법을 이용하여 비트율을 효율적으로 사용할 수 있고 안정적이고 최적의 화질을 유지할 수 있도록 하며, 영상 분류에 따른 데이터베이스 기법을 사용하여 주관적 화질의 향상을 얻을 수 있는 부호화 장치, 이의 구동 방법 및 부호화 방법에 관한 것이다.
디지털 텔레비전은 고화질의 실현과 더불어 다양한 기능이 통합됨으로써 점점더 대중화되고 있다. 이러한 다양한 기능은 페이퍼뷰(pay-per-view: 시청한 프로그램의 요금만을 지불하는 방식), 전자식 프로그램 가이드, 주문형 비디오(VOD), 날씨 및 주식 정보, 인터넷 하이퍼링크 등과 같은 정보 및 오락 등을 포함한다.
디지털 텔레비전에서 데이터는 위성 또는 케이블 텔레비전 네트워크를 매개로 하거나 컴퓨터 네트워크를 매개로 하여 사용자에게 전달된다.
그러나, 텔레비전 데이터는 통신 채널의 대역폭 제한으로 인해 압축된 비트 스트림(bit stream) 형태로 전송되는 한편 전송을 위하여 인코딩되고 다중화되면서 비트속도가 조정된다. 이러한 비트속도 조정의 목적은, 각 프로그램에 대해 만족스러운 비디오 화질을 유지하면서도, 다중화된 스트림의 전체적인 비트속도에 대한 제약조건을 극복하는 것이다.
따라서, 인코딩되는 소스 비디오 데이터의 통계적인 정보를 평가하고, 그에 따라 서로 다른 비디오 채널을 부호화하기 위해 비트를 할당하는 각종 형태의 통계적 멀티플렉서가 개발되어 있다. 이러한 멀티플렉서는, 예를 들어, 빠른 이동 장면과 같이 변화가 심한 비디오를 갖는 비디오 채널에는 많은 비트를 할당할 수 있고, 반면에 정지 또는 느린 이동 장면과 같이 변화가 적은 비디오를 갖는 채널에는 적은 비트를 할당할 수 있다.
이러한 다중화 시스템은 다수의 채널로 제공된 데이터를 채널별로 인코딩하는 다수의 개별 인코더를 사용해야 한다. 이러한 시스템은 비디오 데이터를 인코딩하기 위해 개별 인코더에 비트를 동적으로 할당하게 된다. 또한, 시스템은 인코딩 비트속도 할당과 전송 비트속도 할당을 구별해야 한다.
이 시스템은 디코더 버퍼의 입력 및 출력 비트 사이의 오정합(mismatch)을 방지하기 위해 각 비디오 채널에 전송 비트속도를 할당해야 한다. 게다가, 이 시스템은 전송 비트속도에 최소 및 최대 한계를 설정하기 위해 입력된 데이터에 대한 오버플로우 또는 언더플로우 상태를 점검하게 된다. 여기서, 최소 및 최대 한계는 새로운 전송 비트속도가 현재 또는 다음 프레임의 DTS(Decoding Time Stamp: 디코딩 시간 스탬프) 전에 실현될 수 있는지 여부에 기초하여 설정되어야 한다. DTS는 디코딩 수행시각에 대한 정보를 나타낸다.
또한, 이러한 시스템은 고화질(HD) 및 표준화질(SD) 텔레비전을 포함하여 다양한 형태의 비디오 데이터에 대하여 적용하기에 적당해야 한다.
도 1은 종래기술에 따른 부호화 장치를 나타내는 도면이다.
도 1에 도시된 바와 같이, 종래기술에 따른 부호화 장치는 버퍼/요구 파라미터 계산부(102, 104, 106), 속도제어 프로세서(125), 인코더(112, 114, 116), 멀티플렉서(MUX: 120), 전송패킷 버퍼(130) 및 송신기(135)를 포함한다.
여기서, 버퍼/요구 파라미터 계산부(102, 104, 106)는 압축되지 않은 서로 다른 소스 비디오를 수신하며, 속도제어 프로세서(125)로 요구 파라미터 데이터를 공급한다.
속도제어 프로세서(125)는 각각의 인코더(112, 114, 116)에 인코딩 비트속도의 할당 정보를 번갈아 공급하고, 전송패킷 버퍼(130)로부터 충만도 신호(fullness signal)를 수신한다.
인코더(112, 114, 116)는 입력된 소스 비디오에 대한 인코딩을 수행하며, 인코딩 비트속도를 나타내는 피드백(feedback) 정보를 속도제어 프로세서(125)로 공급한다.
멀티플렉서(120)는 인코더(112, 114, 116)로부터 인코딩된 데이터를 수신하여 다중화된 비트 스트림을 출력한다.
전송패킷 버퍼(130)는 다중화된 비트 스트림을 송신기(135)로 공급한다. 송신기(135)는 다중화된 비트 스트림에 대한 정보를 송신하게 된다.
한편, 디코딩부(180)는 수신기(182), 디코더 버퍼(184), 디멀티플렉서(DEMUX: 186) 및 디코더(180)를 포함한다.
이러한 구성에 따라, 디코딩부(180)는 송신기(135)에서 송신된 정보를 복원하여 디코딩된 비디오 신호를 생성하고, 이러한 디코딩된 비디오 신호는 예컨대 텔레비전에 디스플레이될 수 있다.
그런데, 종래 구성은 각각의 인코더에 대한 비트율을 조절함으로써 데이터 처리 속도를 증가시키기는 하지만, 인코더에 제공된 입력 영상에 대비하여 최종적으로 텔레비전 등에 디스플레이되는 영상의 화질을 개선하지 못한다.
더 나아가서, TV 시청시 가령 서로 다른 색감을 선호하는 시청자들의 요구에 따라 출력 영상을 적응적으로 선택하여 조정할 수 있는 욕구를 만족시키기 못한다.
본 발명의 실시예는 영상분석 기술과 버퍼링 시간 내 구간에 대한 비트율 제어 방법 및 적응적 데이터베이스 이용 방법을 부호화 장치에 적용함으로써 종래 기술과 대비하여 보다 효율적인 비트율 사용과 안정적이고 최적의 객관적 및 주관적 화질을 유지할 수 있는 부호화 장치, 이의 구동 방법 및 부호화 방법을 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 부호화 장치는 입력 영상을 수신하고 분석하여 상기 입력영상 및 분석정보를 출력하는 영상분석부; 상기 입력 영상 및 상기 분석정보를 저장하고, 저장된 상기 입력 영상 및 상기 분석정보를 서로 다른 경로로 제공하는 입력영상 및 분석정보 버퍼부; 출력되는 비트 스트림의 출력량 관련 정보 및/또는 상기 분석정보를 수신하여 상기 비트 스트림의 출력량 관련 정보 및 상기 분석정보에 따른 인코딩 관련 예측정보를 선택하여 제공하는 데이터베이스부; 상기 분석정보, 상기 인코딩 관련 예측정보 및 출력되는 비트 스트림의 출력상태정보를 이용하여 상기 입력 영상의 비트율을 할당하기 위한 비트율 할당 정보를 생성하는 비트율 제어기; 상기 비트 스트림의 출력량 관련 정보 및 상기 비트 스트림의 출력상태정보를 제공하고, 상기 인코딩 관련 예측정보, 상기 비트율 할당 정보 및 상기 비트 스트림의 출력상태정보를 이용하여 상기 입력 영상을 부호화하여 출력하는 부호화부; 및 상기 비트 스트림의 출력상태정보를 수신하여 저장하며, 상기 출력상태정보를 상기 비트율 제어기 및/또는 상기 부호화부에 제공하는 출력상태정보 버퍼를 포함하는 것을 특징으로 한다.
또한, 본 발명의 실시예에 따른 부호화 장치의 구동 방법은 입력 영상을 수신하고 분석하여 상기 입력영상 및 분석정보를 출력하는 단계; 상기 입력 영상 및 상기 분석정보를 저장하고, 저장된 상기 입력 영상 및 상기 분석정보를 서로 다른 경로로 제공하는 단계; 출력되는 비트 스트림의 출력량 관련 정보 및/또는 상기 분석정보를 수신하여 상기 비트 스트림의 출력량 관련 정보 및 상기 분석정보에 따른 인코딩 관련 예측정보를 선택하여 제공하는 단계; 상기 분석정보, 상기 인코딩 관련 예측정보 및 출력되는 비트 스트림의 출력상태정보를 이용하여 상기 입력 영상의 비트율을 할당하기 위한 비트율 할당 정보를 생성하는 단계; 상기 출력량 관련 정보 및 상기 출력상태정보를 제공하고, 상기 인코딩 관련 예측정보, 상기 비트율 할당 정보 및 상기 출력상태정보를 이용하여 상기 입력 영상을 부호화하며, 상기 부호화된 비트 스트림을 출력하는 단계; 상기 출력상태정보를 수신하여 저장하며, 상기 출력상태정보를 상기 비트율 할당 정보의 생성 및 상기 입력 영상의 부호화시 제공하는 단계를 포함하는 것을 특징으로 한다.
그리고, 본 발명의 실시예에 따른 부호화 장치의 부호화 방법은 영상을 수신하는 단계; 상기 영상에 대한 분석정보와 상기 분석정보에 연계된 인코딩 관련 예측정보를 이용하여 생성된 비트율 할당 정보를 수신하는 단계; 상기 인코딩 관련 예측정보를 수신하는 단계; 상기 비트율 할당 정보와 상기 인코딩 관련 예측정보를 이용하여 상기 영상을 부호화하는 단계; 부호화한 영상의 비트 스트림 정보와 상기 비트 스트림의 출력 비트량 관련 정보에 연계된 상기 인코딩 관련 예측정보를 이용하여 생성되는 보정된 비트율 할당 정보를 수신하는 단계; 상기 비트 스트림 정보를 수신하는 단계; 및 상기 보정된 비트율 할당 정보와 상기 비트 스트림 정보를 이용하여 상기 영상을 부호화하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 복수의 부호화기가 각각의 입력 영상에 대하여 영상 분석 및 적응형 데이터베이스 예측정보를 기반으로 목표 화질을 보장하면서 버퍼링 시간 구간 내에서의 전체 부호화 대상 영상 시퀀스에 대한 미래 비트율 사용량을 예측하고, 이를 기반으로 현재 부호화 대상 프레임들에 대한 각각의 비트율을 할당하여 각 부호화기가 부호화를 수행함으로써 각각의 부호화기가 독립적으로 비트율을 할당 제어하면서 동작할 때에 비하여 주관적, 객관적 화질을 유지하면서 30 ~ 40% 정도의 비트율 절감 효과를 얻을 수 있다.
또한, 영상 분석정보 사용 방법, 부호화기에서 피드백 정보를 이용한 비트율 보정 방법, 데이터베이스 정보를 이용한 부호화 방법 등에 있어서는 객관적 비트율 절감 효과와 함께 주관적 화질의 향상을 얻을 수 있다.
도 1은 종래기술에 따른 부호화 장치를 나타내는 도면,
도 2는 본 발명의 실시예에 따른 부호화 장치의 구조를 나타내는 블록다이어그램,
도 3은 도 2의 분석정보의 데이터 구조를 나타내는 도면,
도 4는 도 2의 입력영상 및 분석정보 버퍼부에 저장된 입력영상 및 분석정보의 데이터 구조를 나타내는 도면,
도 5는 도 2에 나타낸 부호화 장치의 동작 과정을 나타내는 흐름도이다.
이하, 본 발명의 실시 예에 대한 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시될 수 있으므로 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 2는 본 발명의 실시예에 따른 부호화 장치의 구조를 나타내는 블록다이어그램이고, 도 3은 도 2의 분석정보의 데이터 구조를 나타내는 도면이며, 도 4는 도 2의 입력영상 및 분석정보 버퍼부에 저장된 입력영상 및 분석정보의 데이터 구조를 나타내는 도면이다.
도 2 내지 도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 부호화 장치는 입력 영상을 분석하여 분석정보 및 입력 영상을 출력하는 영상분석부(210), 분석정보와 입력 영상을 저장하고 저장된 분석정보 및 입력 영상을 서로 다른 경로로 제공하는 입력영상 및 분석정보 버퍼부(220), 출력되는 비트 스트림의 출력량 관련 정보 및/또는 분석정보를 제공받아 비트 스트림의 출력량 관련 정보 및 분석정보에 따른 인코딩 관련 예측정보를 선택하여 제공하는 데이터베이스부(230), 제공된 분석정보, 인코딩 관련 예측정보 및 비트 스트림의 출력상태정보를 이용하여 입력 영상의 비트율을 할당하기 위한 비트율 할당 정보를 생성하는 비트율 제어기(240), 비트 스트림의 출력량 관련 정보 및 비트 스트림의 출력상태정보를 제공하고 인코딩 관련 예측정보, 비트율 할당 정보 및 비트 스트림의 출력상태정보를 이용하여 입력 영상을 부호화하며 부호화된 비트 스트림을 출력하는 부호화부(250), 및 비트 스트림의 출력상태정보를 수신하여 저장하며 출력상태정보를 비트율 제어기(240) 및/또는 부호화부(250)에 제공하는 출력상태정보 버퍼(260)를 포함한다.
영상입력부(200)는 인터페이스 시스템 및 영상분석부(210)에 연결되며, 인터페이스 시스템으로부터 영상을 수신하여 수신한 영상을 다시 영상분석부(210)로 제공한다. 영상입력부(200)는 제1 내지 제N 영상입력부(200_1, 200_2, …, 200_N)로 이루어질 수 있는데, 이는 부호화부(250)를 구성하는 N개의 부호화기들이 고정 대역을 동일하게 사용하되, 그 고정된 대역을 각각 최적으로 나누어 사용할 수 있도록 하기 위한 것이다.
영상분석부(210)는 영상입력부(200), 입력영상 및 분석정보 버퍼부(220)에 각각 연결되어 있으며, 제1 내지 제N 영상입력부(200_1, 200_2, …, 200_N)에 각각 대응하는 제1 내지 제N 영상분석부(210_1, 210_2, …, 210_N)로 이루어진다. 영상분석부(210)는 입력된 각각의 영상에 대하여 영상 분석을 수행하게 되며, 영상에 대한 분석정보를 영상과 함께 입력영상 및 분석정보 버퍼부(220)에 제공한다. 예컨대, 제N 영상분석부(210_N)에 입력된 N번째 영상으로부터 N번째 분석정보를 추출하고, N번째 분석정보를 N번째 영상과 함께 제N 입력영상 및 분석정보 버퍼(220_N)에 제공하는 것이다.
여기서, 영상분석부(210)를 통해 출력되는 영상의 분석정보는 도 3에 나타낸 바와 같이, 영상의 복잡도, 이전 영상에 대한 현재 영상의 차이를 나타내는 차 영상의 데이터량 등을 기반으로 계산되는 인터(Inter)/인트라(Intra) 부호화 코스트(cost) 예측정보, 영역검출정보, 경계선 검출정보, 장면 전환 검출 정보 등의 특성을 나타낸다. 이러한 영상 분석정보로는 사용 목적에 따라 더욱 다양한 정보가 특성 데이터로 사용될 수 있다.
입력영상 및 분석정보 버퍼부(220)는 일종의 메모리로서 영상분석부(210), 데이터베이스부(230), 비트율 제어기(240) 및 부호화부(250)에 각각 연결된다. 입력영상 및 분석정보 버퍼부(220)는 제1 내지 제N 영상분석부(210_1, 210_2, …, 210_N)에서 제공된 각각의 영상에 대한 분석정보를 영상과 함께 제1 내지 제N 입력영상 및 분석정보 버퍼(220_1, 220_2, …, 210_N)에 순차적으로 일시 저장한다. 그 후, 분석정보는 데이터베이스부(230) 및 비트율 제어기(240)에 각각 순차적으로 제공되며, 영상들은 부호화부(250)에 순차적으로 제공된다. 예컨대, 도 4에서와 같이 입력영상 및 분석정보 버퍼부(220)는 영상분석부(210)에서 제공된 제1 내지 제N 개의 분석정보 및 영상에 대하여 제1 내지 제(N-1) 개의 분석정보 및 영상을 메모리에 순차적으로 저장한 후, 분석정보는 데이터베이스부(230) 및 비트율 제어기(240)에 각각 제공하고, 영상은 부호화부(250)에 제공한다.
데이터베이스부(230)는 적응형 정보 데이터베이스(231) 및 초기화정보부(233)로 구분되며, 입력영상 및 분석정보 버퍼부(220), 비트율 제어기(240) 및 부호화부(250)와 각각 연결된다. 또한, 데이터베이스부(230)는 복수의 부호화기를 구성하기 위하여 제1 내지 제N 적응형 정보 데이터베이스(231_1, 231_2, …, 231_N)로 이루어진다. 각각의 적응형 정보 데이터베이스(231_1, 231_2, …, 231_N)는 제1 내지 제N 초기화정보부(233_1, 233_2, …, 233_N)에 각각 연결된다. 이러한 적응형 정보 데이터베이스(231)는 부호화 블록별 양자화 인자(factor)값, 영역 특성별 가중치, 부호화 모드 예측 값 등을 포함하는 인코딩 파라미터 예측, 예측된 인코딩 파라미터를 사용할 경우의 출력 비트율 예측값 등을 저장한다.
따라서, 데이터베이스부(230)는 예컨대 입력영상 및 분석정보 버퍼부(220)로부터 수신한 분석정보에 따라 선택되는 인코딩 관련 예측정보를 비트율 제어기(240) 및 부호화부(250)에 제공하며, 부호화부(250)로부터는 부호화 결과인 출력 비트량 및 기타 정보를 다시 수신하여 향후 예측될 정보들에 대한 적응적 보정을 수행하게 된다. 여기서, 적응적 보정이라 함은 부호화되는 영상에 대하여 최적의 영상 화질을 유지할 수 있도록 인코딩 관련 예측정보를 보정하는 것이다. 또한, 제1 내지 제N 초기화정보부(233_1, 233_2, …, 233_N)는 비디오 입력 영상에 대한 분석정보 및/또는 초기화 정보, 즉 제1 내지 제N 적응형 정보 데이터베이스(231_1, 231_2, …, 231_N)에 저장되어 있는 인코딩 관련 예측정보를 초기화하여 수정한다.
결국, 데이터베이스부(230)는 비트율 제어기(240) 및 부호화부(250)가 영상의 분석정보 및 분류 특성에 따른 적응형 정보를 최적으로 선택할 수 있도록 함으로써 영상 정보에 대하여 최적의 영상 화질을 유지할 수 있도록 한다.
비트율 제어기(240)는 입력영상 및 분석정보 버퍼부(220), 데이터베이스부(230), 부호화부(250), 출력상태정보 버퍼(260)와 각각 연결된다. 비트율 제어기(240)는 입력영상 및 분석정보 버퍼부(220)로부터 영상 분석정보 및/또는 버퍼링 시간 관련 정보, 데이터베이스부(230)로부터 인코딩 관련 예측정보 및 주어진 버퍼링 시간 내 전체 영상들이 가질 수 있는 비트량 정보를 수신하고, 이들을 이용하여 각각의 현재 입력 영상에 대한 비트율을 할당하기 위한 비트율 할당 정보를 부호화부(250)에 제공한다.
이때 현재 프레임에 대한 비트율 할당은 버퍼링되고 있는 전체 특정시간 구간의 영상 시퀀스에 대한 비트율 제어와 함께 이루어지며, 특히 버퍼링되는 전체 특정시간 구간에 대한 각각의 부호화기의 입력 영상 시퀀스에 대한 영상 분석 정보를 이용하여 현재 버퍼링되고 있는 모든 영상 시퀀스에 대한 비트율 사용량을 예측하고, 이를 통해 버퍼링 시간에 해당하는 향후 특정시간 구간에 대한 비트율 사용량 정보를 기반으로 현재 입력 영상 프레임에 대한 비트율 분배가 최초 이루어지도록 함으로써 각각의 입력 영상 즉 프레임 단위의 입력 영상에 대한 시간 축 상에서의 특성을 고려한 비트율 분배를 가능하게 한다. 예컨대, 버퍼링 시간에 해당하는 특정시간 구간 내에서의 비트율 사용량이 목표 비트율을 초과할 것으로 예측될 경우 현재의 비트율 할당을 기준 화질을 유지할 수 있는 범위에서 최소화하여 수행하고, 목표 비트율보다 적을 것으로 예측될 경우 화질을 향상시켜 갈 수 있도록 비트율 할당을 제어할 수 있다.
또한, 비트율 제어기(240)는 부호화부(250)에서 출력되는 부호화 스트림에 대한 비트 스트림 정보, 즉 업데이트된 출력 비트율 상태정보를 출력상태정보 버퍼(260)로부터 수신하여 비트율 제어시 적응적으로 보정된 결과를 사용할 수 있다.예컨대, 비트율 제어기(240)는 출력상태정보 버퍼(260)를 통해 현재까지의 전체 부호화기들의 비트 발생량이 목표 비트율을 초과했는지, 보다 적게 사용했는지, 그 초과 및 부족 정보의 출력 비트율 정보를 제공받아 이를 비트율 할당 정보 보정에 사용함으로써 영상 분석정보 및 버퍼링 시간 정보를 기반으로 최초 할당한 비트율 할당 정보를 적응적으로 보정하여 부호화부(250)에 제공할 수 있을 것이다.
부호화부(250)는 복수의 부호화기를 형성하기 위하여 제1 내지 제N 부호화기(250_1, 250_2, …, 250_N)로 이루어지며, 입력영상 및 분석정보 버퍼부(220), 데이터베이스부(230), 비트율 제어기(240) 및 출력상태정보 버퍼(260)와 각각 연결된다. 이에 따라 부호화부(250)는 데이터베이스부(230)로부터 수신한 인코딩 관련 예측정보 및 비트율 제어기(240)로부터 수신한 비트율 할당 정보를 근거로 하여, 입력영상 및 분석정보 버퍼부(220)에서 제공된 입력 영상의 부호화를 수행하여 부호화 스트림을 출력한다.
이와 동시에 부호화부(250)는 부호화 스트림으로부터 비트 스트림 정보를 생성 혹은 추출하여 데이터베이스부(230) 및/또는 출력상태정보 버퍼(260)에 제공한다. 가령, 부호화부(250)는 앞서 언급된 대로 부호화 결과인 출력 비트량 및 기타 정보를 데이터베이스부(230)로 피드백시켜 향후 예측될 정보들에 대한 적응적 보정을 수행하도록 한다.
또한, 부호화부(250)는 출력상태정보 버퍼(260)가 제공한 출력상태정보에 기초하여 적응적으로 보정된 비트율 할당 정보를 비트율 제어기(240)로부터 수신하여 부호화기(250_1, 250_2, …, 233_N) 각각에 할당된 비트량에 대하여 실제 생성되는 비트량 및 그 비트량에 따른 화질을 보정하며, 출력상태정보 버퍼(260)로부터 피드백된 출력상태정보를 이용하여 할당된 비트량에 대한 보정을 수행함으로써 최적의 화질을 유지할 수 있다.
출력상태정보 버퍼(260)는 비트율 제어기(240) 및 부호화부(250)와 각각 연결되며, 부호화부(250)로부터 부호화 스트림에 대한 비트 스트림 정보를 수신하여 기저장된 비트 스트림 정보를 업데이트하게 되고, 업데이트된 정보를 비트율 제어기(240) 및 부호화부(250)에 다시 제공한다.
도 5는 도 2에 나타낸 부호화 장치의 동작 과정을 나타내는 흐름도이다.
도 5를 도 2와 함께 참조하면, 영상입력부(200)는 외부로부터 입력 영상을 수신하여 영상분석부(210)로 전달한다.
영상분석부(210)는 수신한 영상에 대하여 분석정보를 추출하고 분석정보와 영상을 함께 출력하게 된다(S501). 이때, 분석정보는 앞서 언급한 대로 영상의 복잡도, 차 영상의 데이터량 등을 기반으로 계산되는 인터/인트라 부호화 코스트 예측정보, 영역 검출 정보, 경계선 검출 정보, 장면 전환 검출 정보 등을 포함한다.
그리고, 영상분석부(210)에서 출력된 분석정보와 영상들은 입력영상 및 분석정보 버퍼부(220)에 제공되어 순차적으로 저장된다. 입력영상 및 분석정보 버퍼부(220)에 저장되어 있던 분석정보는 데이터베이스부(230) 및 비트율 제어기(240)에 제공되며, 영상은 부호화부(250)에 제공된다(S502).
데이터베이스부(230)는 입력된 분석정보에 각각 매칭되는 인코딩 관련 예측정보, 즉 파라미터 정보를 저장하고 있다. 기저장된 인코딩 관련 예측정보는 입력된 분석정보에 따라 선택되어 출력된다(S503). 데이터베이스부(230)는 출력되는 부호화 스트림의 출력 비트량 관련 정보에 따라 선택된 인코딩 관련 예측정보를 보정하여 출력하게 된다(S503). 여기서, 데이터베이스부(230)의 보정은 영상의 분석정보에 따라 선택되어 출력된 인코딩 관련 예측정보를 출력 비트량 관련 정보에 따라 선택된 인코딩 관련 예측정보로 변환하여 출력하는 것이다.
비트율 제어기(240)는 비트율 할당 정보를 부호화부(250)에 제공한다. 비트율 할당 정보는 입력영상 및 분석정보 버퍼부(220)에서 제공한 영상의 분석정보 및 분석정보에 따라 선택된 데이터베이스부(230)의 인코딩 관련 예측정보에 기초하여 결정한다(S504). 또한, 비트율 제어기(240)는 출력 비트량 관련 정보에 따라 선택되어 데이터베이스부(230)에서 제공되는 보정된 인코딩 관련 예측정보 및/또는 출력상태정보 버퍼(260)에서 제공된 보정된 비트 스트림 정보를 이용해 비트율 할당 정보를 보정하여 부호화부(250)에 제공하게 된다(S504). 여기서, 비트율 제어기(240)의 보정은 비트율 할당 정보를 영상의 분석정보 및 그 분석정보에 따라 선택된 인코딩 관련 예측정보에 기초하여 생성하고, 이어 출력 비트량 관련 정보에 따라 선택된 인코딩 관련 예측정보 및 비트 스트림 정보에 기초하여 변환해 생성하는 것을 나타낸다.
부호화부(250)는 입력영상 및 분석정보 버퍼부(220)에서 제공된 입력 영상에 대하여 부호화를 수행한다. 부호화부(250)는 비트율 제어기(240)에서 제공된 비트율 할당 정보에 따라 서로 다른 비트량을 갖도록 하여 입력 영상을 부호화하고, 부호화된 비트 스트림을 출력하게 된다(S505). 부호화부(250)는 출력되는 비트 스트림으로부터 비트 스트림 정보를 추출하여 데이터베이스부(230) 및 출력상태정보 버퍼(260)에 제공하고, 비트율 제어기(240)로부터 보정된 비트율 할당 정보를 제공받아 부호화를 수행하고, 부호화된 비트 스트림을 출력하게 된다(S505).
출력상태정보 버퍼(260)는 부호화부(250)가 제공한 출력상태정보를 저장하고, 저장된 출력상태정보는 비트율 제어기(240)가 비트율 할당 정보를 생성하고 부호화부(250)가 부호화할 때 이용한다(S506).
결국, 부호화부(250)는 영상 분석정보, 인코딩 관련 파라미터 정보 및 출력 상태 정보를 기반으로 부호화를 수행하고, 부호화된 비트 스트림을 출력함으로써 다양한 형태의 목표 화질을 보장할 수 있고, 또 각각 할당되는 목표 비트율을 정확히 유지할 수 있게 된다.
한편, 도 2에 도시된 본 발명의 실시예에 따른 부호화 장치는, N개의 부호화기 중 하나의 부호화기는 마스터 부호화기가 되고, 나머지 부호화기는 슬레이브 부호화기가 되도록 구성될 수 있다. 이때, 마스터 부호화기가 비트율 제어기, 출력상태정보 버퍼를 보유하고 부호화 비트율 할당에 필요한 정보를 수집하며 각각의 부호화기에 대한 비트율을 할당하는 역할을 수행할 수 있다. 반면, 슬레이브 부호화기는 영상 분석정보, 적응형 데이터베이스 정보, 출력상태정보를 마스터 부호화기에 전달하여 비트율을 할당받거나 현재의 부호화 과정에 대한 보정 정보를 얻는 역할을 수행할 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
그리고, 명세서상에 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 실시예는 부호화 장치, 이의 구동 방법 및 부호화 방법에 적용 가능하다. 복수의 부호화기가 각각의 입력 영상에 대하여 영상 분석 및 적응형 데이터베이스 예측정보를 기반으로 목표 화질을 보장하면서 각각 할당되는 비트율 정보를 받아 부호화를 수행함으로써 각각의 부호화기가 독립적으로 동작할 때에 비하여 주관적, 객관적 화질을 유지하면서 30 ~ 40% 정도의 비트율 절감 효과를 얻을 수 있다. 또한, 영상 분석정보 사용 방법, 부호화기에서 피드백 정보를 이용한 비트율 보정 방법, 데이터베이스 정보를 이용한 부호화 방법 등에 있어서는 객관적 비트율 절감 효과와 함께 주관적 화질의 향상을 얻을 수 있다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2010년 02월 26일 한국에 출원한 특허출원번호 제 10-2010-0017456 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (8)

  1. 입력 영상을 수신하고 분석하여 상기 입력 영상 및 분석정보를 출력하는 영상분석부;
    상기 입력 영상 및 상기 분석정보를 저장하고, 저장된 상기 입력 영상 및 상기 분석정보를 서로 다른 경로로 제공하는 입력영상 및 분석정보 버퍼부;
    출력되는 비트 스트림(bit stream)의 출력량 관련 정보 및/또는 상기 분석정보를 수신하여 상기 비트 스트림의 출력량 관련 정보 및 상기 분석정보에 따른 인코딩 관련 예측정보를 선택하여 제공하는 데이터베이스부;
    상기 분석정보, 상기 인코딩 관련 예측정보 및 출력되는 비트 스트림의 출력상태정보를 이용하여 상기 입력 영상의 비트율을 할당하기 위한 비트율 할당 정보를 생성하는 비트율 제어기;
    상기 비트 스트림의 출력량 관련 정보 및 상기 비트 스트림의 출력상태정보를 제공하고, 상기 인코딩 관련 예측정보, 상기 비트율 할당 정보 및 상기 비트 스트림의 출력상태정보를 이용하여 상기 입력 영상을 부호화하여 출력하는 부호화부; 및
    상기 비트 스트림의 출력상태정보를 수신하여 저장하며, 상기 출력상태정보를 상기 비트율 제어기 및/또는 상기 부호화부에 제공하는 출력상태정보 버퍼를
    포함하는 것을 특징으로 하는 부호화 장치.
  2. 제1항에 있어서,
    상기 데이터베이스부는 상기 분석정보 및 상기 인코딩 관련 예측정보를 초기화하고, 새로운 정보의 입력을 가능하게 하는 초기화정보부를 포함하는 것을 특징으로 하는 부호화 장치.
  3. 제1항에 있어서,
    상기 분석정보는 상기 입력 영상의 복잡도, 이전 영상에 대한 현재 영상의 차이를 나타내는 차 영상의 데이터량을 기반으로 계산되는 인터(Inter)/인트라(Intra) 부호화 코스트(cost) 예측정보, 영역 검출 정보, 경계선 검출 정보, 장면 전환 검출 정보를 적어도 하나 포함하는 것을 특징으로 하는 부호화 장치.
  4. 제1항에 있어서,
    상기 인코딩 관련 예측정보는 부호화 블록별 양자화 인자(factor)값, 영역 특성별 가중치, 부호화 모드 예측 값을 적어도 하나 포함하는 인코딩 파라미터 예측 및/또는 예측된 인코딩 파라미터를 사용할 경우의 출력 비트율 예측 값을 포함하는 것을 특징으로 하는 부호화 장치.
  5. 제1항에 있어서,
    상기 분석정보는 버퍼링 시간 관련 정보를 포함하는 것을 특징으로 하는 부호화 장치.
  6. 입력 영상을 수신하고 분석하여 상기 입력영상 및 분석정보를 출력하는 단계;
    상기 입력 영상 및 상기 분석정보를 저장하고, 저장된 상기 입력 영상 및 상기 분석정보를 서로 다른 경로로 제공하는 단계;
    출력되는 비트 스트림(bit stream)의 출력량 관련 정보 및/또는 상기 분석정보를 수신하여 상기 비트 스트림의 출력량 관련 정보 및 상기 분석정보에 따른 인코딩 관련 예측정보를 선택하여 제공하는 단계;
    상기 분석정보, 상기 인코딩 관련 예측정보 및 출력되는 비트 스트림의 출력상태정보를 이용하여 상기 입력 영상의 비트율을 할당하기 위한 비트율 할당 정보를 생성하는 단계;
    상기 출력량 관련 정보 및 상기 출력상태정보를 제공하고, 상기 인코딩 관련 예측정보, 상기 비트율 할당 정보 및 상기 출력상태정보를 이용하여 상기 입력 영상을 부호화하며, 상기 부호화된 비트 스트림을 출력하는 단계;
    상기 출력상태정보를 수신하여 저장하며, 상기 출력상태정보를 상기 비트율 할당 정보의 생성 및 상기 입력 영상의 부호화시 제공하는 단계를
    포함하는 것을 특징으로 하는 부호화 장치의 구동 방법.
  7. 영상을 수신하는 단계;
    상기 영상에 대한 분석정보와 상기 분석정보에 연계된 인코딩 관련 예측정보를 이용하여 생성된 비트율 할당 정보를 수신하는 단계;
    상기 인코딩 관련 예측정보를 수신하는 단계;
    상기 비트율 할당 정보와 상기 인코딩 관련 예측정보를 이용하여 상기 영상을 부호화하는 단계;
    부호화한 영상의 비트 스트림(bit stream) 정보와 상기 비트 스트림의 출력 비트량 관련 정보에 연계된 상기 인코딩 관련 예측정보를 이용하여 생성되는 보정된 비트율 할당 정보를 수신하는 단계;
    상기 비트 스트림 정보를 수신하는 단계; 및
    상기 보정된 비트율 할당 정보와 상기 비트 스트림 정보를 이용하여 상기 영상을 부호화하는 단계를
    포함하는 것을 특징으로 하는 부호화 장치의 부호화 방법.
  8. 제7항에 있어서,
    상기 비트 스트림 정보는 상기 비트 스트림의 출력상태를 나타내는 출력상태정보인 것을 특징으로 하는 부호화 장치의 부호화 방법.
PCT/KR2011/001379 2010-02-26 2011-02-28 부호화 장치, 이의 구동 방법 및 부호화 방법 Ceased WO2011105867A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100017456A KR101647072B1 (ko) 2010-02-26 2010-02-26 부호화 장치, 이의 구동 방법 및 부호화 방법
KR10-2010-0017456 2010-02-26

Publications (2)

Publication Number Publication Date
WO2011105867A2 true WO2011105867A2 (ko) 2011-09-01
WO2011105867A3 WO2011105867A3 (ko) 2011-12-08

Family

ID=44507471

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/001379 Ceased WO2011105867A2 (ko) 2010-02-26 2011-02-28 부호화 장치, 이의 구동 방법 및 부호화 방법

Country Status (2)

Country Link
KR (1) KR101647072B1 (ko)
WO (1) WO2011105867A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113630619A (zh) 2021-08-12 2021-11-09 三星电子（中国）研发中心 节目录制方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010046145A (ko) * 1999-11-10 2001-06-05 박종섭 동영상 부호화기의 비트율 제어장치 및 그 방법
KR100677128B1 (ko) 2004-08-30 2007-02-02 삼성전자주식회사 동영상 부호화기의 비트율 제어장치 및 방법
KR100708182B1 (ko) 2005-09-26 2007-04-16 삼성전자주식회사 동영상 부호화기의 비트율 제어 장치 및 방법
KR100802180B1 (ko) 2005-12-08 2008-02-12 한국전자통신연구원 엠펙-4 비디오 신호의 비트율을 동적인 통신 용량 변화에따라 제어하는 방법

Also Published As

Publication number Publication date
WO2011105867A3 (ko) 2011-12-08
KR101647072B1 (ko) 2016-08-09
KR20110098037A (ko) 2011-09-01

Similar Documents

Publication Publication Date Title
EP1320996B1 (en) Method and apparatus for determining a transmission bit rate in a statistical multiplexer
US8238332B2 (en) Signal transmitting and receiving devices, systems, and method for multiplexing parallel data in a horizontal auxiliary data space
US7130310B2 (en) Statistical multiplex system, statistical multiplex controller and method of statistical multiplex
KR19990042668A (ko) 다중 비디오 전송을 위한 비디오 부호화 장치 및 방법
WO2011142569A2 (en) Method and apparatus for transmitting and receiving layered coded video
JP2002534921A (ja) 統計処理マルチプレクサにおけるバンド幅オーバーフローを検出し、かつ防ぐための方法および装置
US20090290634A1 (en) Signal transmission apparatus and signal transmission method
US7652993B2 (en) Multi-stream pro-active rate adaptation for robust video transmission
JPH06253277A (ja) 可変ビット・レート・チャネルに対するバッファを制御する方法および装置
JPH09510069A (ja) 結合ビットレート制御を用いるディジタルビデオ信号エンコーダのバッファリング
EP1954057A2 (en) System and method for controlling bitrate of video signal and audio signal
US6084910A (en) Statistical multiplexer for video signals
CN1197386C (zh) 联合比特率转码中的比特率分配
EP1236358A1 (en) Video transmission
WO2011105867A2 (ko) 부호화 장치, 이의 구동 방법 및 부호화 방법
US20100272170A1 (en) Image encoding apparatus, image encoding method and medium on which image encoding program is recorded
EP2643954B1 (en) Method and device for buffering data for multiplexing
US10225211B2 (en) Statistical multiplexer with service priority weighting
US20050105563A1 (en) Multi-channel statistical multiplexing system
KR100630545B1 (ko) 디지털 방송에서의 전송율 제어 방법 및 장치
KR100732323B1 (ko) 지상파 디엠비 방송 시스템에서의 부가데이터 송출을 위한대역제어방법 및 장치
JPH07327229A (ja) 多重符号化装置
KR20150079524A (ko) Cctv 영상 압축 전송장치, cctv 영상관리 단말기, 그리고, cctv 영상 전송 시스템
KR20220090654A (ko) Cctv 영상 압축 전송장치, cctv 영상관리 단말기, 그리고, cctv 영상 전송 시스템
CN1156527A (zh) 异步控制信号发生装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11747757

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 10/12/2012)

122 Ep: pct application non-entry in european phase

Ref document number: 11747757

Country of ref document: EP

Kind code of ref document: A2