KR101307469B1

KR101307469B1 - Video encoder, video decoder, video encoding method, and video decoding method

Info

Publication number: KR101307469B1
Application number: KR1020120056604A
Authority: KR
Inventors: 이상욱; 박상욱
Original assignee: 서울대학교산학협력단
Priority date: 2012-05-29
Filing date: 2012-05-29
Publication date: 2013-09-12

Abstract

PURPOSE: A video encoder, a video decoder, a video encoding method, and a video decoding method perform a video decoding by distinguishing a reliable channel. CONSTITUTION: A first encoding unit (100) outputs a generated syndrome bit by channel-encoding a DC conversion factor of a first frame of a video sequence. The first encoding unit selectively channel-encodes the quantized AC conversion factor of the first frame according to channel information between a video encoder and a video decoder. A second encoding unit (200) intra-encodes the key frame of the video sequence. A frame controller (300) outputs the first frame to the second encoding unit or outputs the first frame to the first encoding unit according to the channel information. [Reference numerals] (100) First encoding unit; (230) Channel coating unit; (240) Rate control unit; (400) First decoding unit; (510) Auxiliary information generating unit; (520) Auxiliary information reforming unit; (610) Distortion measuring unit; (620) Channel determining unit; (630) Channel modeling unit; (700) Channel decoding unit; (AA) Channel information; (BB) Video encoder; (CC) Initial rate information; (DD) AC syndrome; (EE) DC syndrome; (FF) Feedback channel; (GG) Video decoder

Description

Video encoder, video decoder, video encoding method and video decoding method {video encoder, video decoder, video encoding method, and video decoding method}

본 발명은 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법에 관한 것이다. The present invention relates to a video encoder, a video decoder, a video encoding method and a video decoding method.

종래 비디오 코딩 기술은 예측코딩 접근방식을 사용하여, 그 성능이 많이 향상되었다. 코딩 원칙은 복잡도가 적은 디코딩에 효율적이어서 대체로 비디오 온 디메드(video-on-demend)와 방송 등의 다운 링크 커뮤니케이션(downlink communication)에 적용되었다. 이런 경우에 비디오 시퀀스들이 코딩되는 동시에 복호될 수 있고, 복잡한 인코더와 단순한 디코더가 쌍을 이루는 구조가 된다. Conventional video coding techniques use a predictive coding approach, which greatly improves performance. Coding principles are efficient for low complexity decoding and have generally been applied to downlink communications such as video-on-demend and broadcast. In this case, video sequences can be coded and decoded simultaneously, resulting in a structure in which a complex encoder and a simple decoder are paired.

예측 비디오 코딩의 발전에도 불구하고 예측 비디오 코딩, 예를 들어 MPEG-2나 H.264/AVC의 종래의 모션 보상 변환 테크닉은 그 복잡성으로 인해 인코더 측에서 낮은 계산 복잡도를 가지는 장치나 그 어플리케이션에는 적합한 모델이 아니었다. 모바일 비디오 코딩, 감시 카메라, 센서 네트워크 등 제한적 계산 리소스를 포함하는 새 비디오 시스템은 업 링크 커뮤니케이션(uplink communication)이 필요하다. 이러한 요구에 대해 분산 비디오 코딩(distributed video coding; DVC)은 인코더의 계산 부담을 디코더로 옮길 수 있는 방식 중 하나로서 제안되었다. Despite advances in predictive video coding, predictive video coding, such as MPEG-2 or H.264 / AVC's conventional motion-compensated transformation techniques, are suitable for devices or applications with low computational complexity on the encoder side because of their complexity. It was not a model. New video systems that contain limited computational resources, such as mobile video coding, surveillance cameras, and sensor networks, require uplink communication. Distributed video coding (DVC) has been proposed for this need as one of the ways in which the computational burden of an encoder can be shifted to the decoder.

초기 DVC 방식은 H.264 P-프레임 코딩보다 평균 100배 정도 빠른 계산이 가능했다. 그래서 DVC는 제한된 메모리 대역폭 또는 낮은 계산 파워의 제한에 따른 문제를 해결할 수 있는 비디오 코딩 방식 중 하나로 생각되었다. Early DVC methods were able to calculate on average 100 times faster than H.264 P-frame coding. Thus, DVC was considered to be one of the video coding schemes that could solve the problem of limited memory bandwidth or limited computational power.

이와 같이 분산비디오코딩(DVC)은 Slepian-Wolf (SW) 이론과 위너-지프(Wyner-Ziv; WZ) 이론에 기초한다. SW 이론은, 임의적 작은 에러가 디코딩에 허용되고 두 개의 소스가 특정한 통계 특성, 예를 들어 jointly Gaussian과 같은 특성을 가진다면, 그 두 개 소스의 독립적인 인코딩은, 이들을 함께 인코딩할 때와 같은 최소 비트 레잇(minimum rate)으로 할 수 있다는 것이다. WZ 이론은 코딩 프로세스가 lossy(손실)이 있는 경우라도 독립 인코딩 때문에 코딩 효율에 손실이 없다는 것을 나타낸다. As such, distributed video coding (DVC) is based on the Slepian-Wolf (SW) theory and the Wiener-Ziv (WZ) theory. The SW theory states that if arbitrary small errors are allowed for decoding and the two sources have certain statistical characteristics, for example jointly Gaussian, then the independent encoding of the two sources is the same as when encoding them together. You can do it at a bit rate (minimum rate). The WZ theory indicates that even if the coding process is lossy, there is no loss in coding efficiency due to independent encoding.

도 1은 종래의 분산비디오코딩(DVC) 시스템을 예시한 도면이다. 도 1을 참조하여 분산비디오코딩(DVC) 시스템을 설명하면 다음과 같다.1 is a diagram illustrating a conventional distributed video coding (DVC) system. A distributed video coding (DVC) system will be described with reference to FIG. 1.

분산비디오코딩(DVC) 시스템에서 비디오 시퀀스는 위너-지프(Wyner Ziv; WZ) 프레임과 키 프레임(key frame)으로 구분한다. WZ 프레임(X)은 전형적인 채널 코드를 가진 인코더(Siepian-Wolf; SW 인코더)에 의해 픽셀 또는 변환 도메인에서 인코딩된다. 반면, 키 프레임(Y)은 H.264 인트라 코더와 같은 전형적인 인트라 프레임 코더로 인코딩되고, WZ 프레임을 복원하기 위한 보조정보프레임(side information; SI)을 생성하는데 사용된다. In a distributed video coding (DVC) system, a video sequence is divided into a Wyner Ziv (WZ) frame and a key frame. The WZ frame X is encoded in the pixel or transform domain by an encoder with a typical channel code (Siepian-Wolf (SW encoder)). On the other hand, the key frame Y is encoded with a typical intra frame coder such as an H.264 intra coder and used to generate side information (SI) for reconstructing the WZ frame.

움직임 보상된 프레임 인터폴레이션(frame interpolation)에 기초한 보조정보의 생성은 Slepian-Wolf 인코더/디코더의 코딩효율에 영향을 미친다. 비디오 디코더가 생성한 보조정보프레임(

)에서 추정된 에러를 정정하고 WZ 프레임을 재구성하는데 사용되는 신드롬 비트(syndrome bit)를 필요로 한다. 따라서, Slepian-Wolf 인코더/디코더 사이에서 채널 코딩에 관련된 정보를 피드백 채널을 이용하여 전송한다. The generation of auxiliary information based on motion compensated frame interpolation affects the coding efficiency of the Slepian-Wolf encoder / decoder. Secondary information frame (generated by video decoder)

We need a syndrome bit used to correct the error estimated in the < RTI ID = 0.0 >)< / RTI > Accordingly, information related to channel coding is transmitted between Slepian-Wolf encoders / decoders using a feedback channel.

상세히 설명하면, 키프레임(Y)은 종래의 인트라 프레임 인코더에서 인코딩되고, 종래의 인트라 프레임 디코더에서 디코딩(Y')된다. 키프레임들은 보간하여 보조정보프레임(

)을 생성(side information generation)한다.In detail, the keyframe Y is encoded in a conventional intra frame encoder and decoded Y 'in a conventional intra frame decoder. Keyframes are interpolated to provide an auxiliary information frame (

(Side information generation).

반면에 WZ 프레임(X)은 도메인 변환되어 Slepian-Wolf 인코더에서 채널 인코딩되고 채널 인코딩에 따른 신드롬 비트만을 디코더에 전송한다. Slepian-Wolf 디코더는 보조정보프레임과 신드롬 비트를 이용하여 WZ 프레임을 복원(X')하는데, Slepian-Wolf 디코더는 피드 백 채널을 이용하여 채널 디코딩에 필요한 적절한 정보를 Slepian-Wolf 인코더로 전송하여 채널 인코딩/디코딩이 효율적으로 수행될 수 있도록 한다. On the other hand, the WZ frame (X) is domain-converted and channel-encoded in the Slepian-Wolf encoder and transmits only syndrome bits according to the channel encoding to the decoder. The Slepian-Wolf decoder recovers the WZ frame using the auxiliary information frame and the syndrome bits (X '). The Slepian-Wolf decoder transmits the appropriate information necessary for channel decoding to the Slepian-Wolf encoder by using the feedback channel. Encoding / decoding can be performed efficiently.

그러나 이와 같은 분산비디오코딩 시스템에는 한계도 있는데, 분산비디오코딩(DVC)이 성공적으로 수행되기 위해서는 두 개의 핵심적인 문제가 있다. 즉, 비디오 간의 상관 노이즈 채널(correlated noise channel)과 피드백 채널(feedback channel)에 대한 문제가 해결되어야 한다. 첫째, 상관 노이즈 채널(correlated noise channel)은 대체로 분산비디오코딩(DVC)의 율 왜곡 성능(rate-distortion performance; 이하 R-D performance)을 떨어뜨릴 수 있다. However, there are limitations in such a distributed video coding system. There are two key problems for successful distributed video coding (DVC). That is, the problem of the correlated noise channel and the feedback channel between the video should be solved. First, a correlated noise channel can generally degrade the rate-distortion performance (D-D performance) of distributed video coding (DVC).

도 2는 분산비디오코딩(DVC) 시스템과 채널에 대한 예를 나타낸 도면이다. 이 도면에서 (a)는 DVC 시스템의 채널 모델, (b)는 레지듀얼 프레임, (c)는 복원된 프레임, (d)는 신뢰성 있는 채널 오류 특성을 가진 블록, (e)는 중간 채널 오류 특성을 가진 블록, (f)는 신뢰성 없는 채널 오류 특성을 을 가진 블록을 각각 나타낸다. 2 illustrates an example of a distributed video coding (DVC) system and a channel. In this figure, (a) is a channel model of the DVC system, (b) is a residual frame, (c) is a restored frame, (d) is a block with reliable channel error characteristics, and (e) is an intermediate channel error characteristic. (F) denotes blocks with unreliable channel error characteristics.

즉 (d) 블록 경우 비디오 프레임의 모션 움직임이 적기 때문에 신뢰성 있는 채널 오류 특성을 가질 수 있고, (f) 블록의 경우 비디오 프레임의 모션 움직임이 크기 때문에 신뢰성이 없는 채널 오류 특성을 가질 수 있다. That is, the block (d) may have a reliable channel error characteristic because the motion of the video frame is small, and the block (f) may have an unreliable channel error characteristic because the motion of the video frame is large.

이 도면에서 예시한 바와 같이 실제의 WZ 인코더에서 WZ 프레임 X와 보조정보프레임

는 시간적에 따라 불규칙적인(non-stationary) 특성을 가지고 있다. 따라서, 채널 노이즈가 고려된 경우, 화이트 노이즈보다는 상관 노이즈를 가정해야 한다. 상관된 노이즈는 일반적으로 스테이션너리 노이즈(stationary noise)보다 신드롬 비트가 더 필요하기 때문에 R-D 퍼포먼스가 열화된다. As illustrated in this figure, the WZ frame X and the auxiliary information frame in the actual WZ encoder

Has a non-stationary characteristic over time. Therefore, when channel noise is considered, correlation noise should be assumed rather than white noise. RD performance is degraded because correlated noise generally requires more syndrome bits than stationary noise.

둘째, DVC 시스템은 채널 디코딩에서 피드 백 데이터를 요구하고 이로 인해 비디오 디코딩에 롱 레이턴시(long latency)를 초래한다. 인코더가 WZ 프레임 X와 보조정보프레임 X^사이의 상관을 추정할 수 없기 때문인데, 디코더가 디코딩하면서 신드롬 비트를 요청하는 프로세스(decode-and-request process)가 온라인상으로 수행되어야 하고, 이는 많은 어플리케이션에서는 실용적이지 않을 수 있다.Second, DVC systems require feedback data in channel decoding, which results in long latency in video decoding. Because the encoder cannot estimate the correlation between WZ frame X and auxiliary information frame X ^, the decoder-decode-and-request process must be done online while the decoder decodes. It may not be practical in an application.

위와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 위에서 예시한 문제를 해결하고 효율적인 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법을 제공하는 것이다. In order to solve the above problems, an object of the present invention is to solve the problems illustrated above and to provide an efficient video encoder, video decoder, video encoding method and video decoding method.

본 발명의 목적은 분산비디오코딩(DVC)의 율 왜곡 성능을 높일 수 있는 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법을 제공하는 것이다. An object of the present invention is to provide a video encoder, a video decoder, a video encoding method, and a video decoding method that can increase the rate distortion performance of distributed video coding (DVC).

본 발명의 다른 목적은 신뢰성 있는 채널을 식별하여 비디오 디코딩을 수행할 수 있는 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법을 제공하는 것이다. Another object of the present invention is to provide a video encoder, a video decoder, a video encoding method, and a video decoding method capable of identifying a reliable channel and performing video decoding.

본 발명의 또 다른 목적은 비디오 디코딩에 롱 레이턴시(long latency)를 줄일 수 있는 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법을 제공하는 것이다. It is still another object of the present invention to provide a video decoder, a video encoding method, and a video decoding method capable of reducing long latency in video decoding.

본 발명의 또 다른 목적은 분산비디오코딩 시스템에서 보조정보프레임의 정확하게 생성하고 개선할 수 있는 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법을 제공하는 것이다. It is another object of the present invention to provide a video encoder, a video decoder, a video encoding method, and a video decoding method capable of accurately generating and improving auxiliary information frames in a distributed video coding system.

본 발명의 일 실시예는, 비디오 시퀀스를 인코딩하는 비디오 인코더에 있어서, 상기 비디오 시퀀스의 제 1 프레임의 DC 변환 계수를 채널 인코딩하여 생성된 신드롬 비트를 출력하고, 상기 비디오 인코더와 비디오 디코더 사이의 채널 정보에 따라 상기 제 1 프레임의 양자화된 AC 변환 계수를 선택적으로 채널 인코딩하하는 제 1 인코딩부; 상기 비디오 시퀀스의 키프레임(key frame)을 인트라 코딩(intra coding)하는 제 2 인코딩부; 및 상기 채널 정보에 따라 상기 제 1 프레임을 제 2 인코딩부로 출력하거나, 상기 제 1 프레임을 상기 제 1 인코딩부로 출력하는 프레임제어부;를 포함하는 비디오 인코더를 제공한다. According to an embodiment of the present invention, a video encoder for encoding a video sequence includes: outputting a syndrome bit generated by channel encoding a DC transform coefficient of a first frame of the video sequence, and outputting a channel between the video encoder and the video decoder. A first encoder for selectively channel encoding the quantized AC transform coefficients of the first frame according to the information; A second encoding unit for intra coding the key frame of the video sequence; And a frame controller configured to output the first frame to the second encoder or to output the first frame to the first encoder according to the channel information.

상기 제 1 인코딩부는, 상기 제 1 프레임의 DCT(discrete cosine transform) 변환하는 DCT부; 상기 DCT 변환된 제 1 프레임을 양자화하는 양자화부; 및 상기 양자화된 제 1 프레임을 LDPCA (low density parity check accumulate) 인코딩하는 채널인코딩부를 포함할 수 있다. The first encoding unit may include a DCT unit for performing a DCT (discrete cosine transform) of the first frame; A quantizer for quantizing the DCT transformed first frame; And a channel encoding unit encoding LDPCA (low density parity check accumulate) encoding the quantized first frame.

상기 제 1 인코딩부는, 상기 비디오 디코더로부터 상기 채널인코딩부가 상기 제 1 프레임의 AC 변환 계수를 인코딩할 경우 필요한 비트 레잇 정보를 출력하는 레잇제어부를 더 포함할 수 있다. 상기 채널인코딩부는, 상기 비트 레잇 정보를 이용하여 상기 AC 변환 계수를 채널 인코딩할 수 있다.The first encoding unit may further include a rate control unit for outputting bit rate information required when the channel encoding unit encodes the AC conversion coefficient of the first frame from the video decoder. The channel encoding unit may channel encode the AC transform coefficient using the bit rate information.

본 발명의 다른 실시예는, 비디오 시퀀스의 키프레임(key frame)들을 인트라 코딩(intra coding)하는 제 1 디코딩부; 및 상기 키프레임들을 보간하여 보조 정보를 생성하고, 상기 비디오 시퀀스의 제 1 프레임의 DC 변환 계수의 채널 인코딩한 신드롬 비트를 수신하여 채널 디코딩하고, 상기 보조 정보 및 상기 채널 디코딩된 상기 제 1 프레임의 DC 변환 계수를 이용하여 채널 정보를 생성하여 출력하고, 상기 채널 정보가, 제 1 모드인 경우 상기 보조 정보를 이용하여 상기 제 1 프레임으로 복원하고, 제 2 모드인 경우 상기 보조 정보와 상기 제 1 프레임의 AC 변환 계수의 채널 인코딩한 신드롬 비트를 채널 디코딩한 데이터를 이용하여 상기 제 1 프레임을 복원하고, 제 3 모드일 경우 인트라 코딩된 상기 제 1 프레임을 인트라 디코딩하여 상기 제 1 프레임을 복원하는 제 2 디코딩부;를 포함하는 비디오 디코더를 제공한다. Another embodiment of the present invention includes a first decoding unit for intra coding key frames of a video sequence; And generating auxiliary information by interpolating the keyframes, receiving and channel decoding the channel encoded syndrome bits of the DC transform coefficients of the first frame of the video sequence, and decoding the auxiliary information and the channel decoded first frame. Generate and output channel information using a DC conversion coefficient, and restore the channel information to the first frame using the auxiliary information in the first mode, and in the second mode, the auxiliary information and the first. Restoring the first frame using channel-decoded data of channel-encoded syndrome bits of an AC transform coefficient of a frame; and in the third mode, intra-decoding the first frame that is intra-coded to restore the first frame. It provides a video decoder comprising a second decoding unit.

상기 제 2 디코딩부는, 상기 키프레임들을 보간하여 보조 정보를 생성하고, 상기 생성된 보조 정보를 선택적으로 개선하는 보조정보부; 상기 제 1 프레임의 DC 변환 계수에 대한 신드롬 비트 또는 상기 제 1 프레임의 AC 변환 계수에 대한 신드롬 비트를 이용하여 각각 상기 DC 변환 계수 또는 상기 AC 변환 계수를 복원하는 채널디코딩부; 및 상기 보조 정보 및 상기 채널 디코딩된 상기 제 1 프레임의 DC 변환 계수를 이용하여 채널 정보를 출력하는 채널정보결정부를 포함할 수 있다.The second decoding unit may include an auxiliary information unit for generating auxiliary information by interpolating the key frames and selectively improving the generated auxiliary information; A channel decoding unit for restoring the DC conversion coefficient or the AC conversion coefficient by using a syndrome bit for the DC conversion coefficient of the first frame or a syndrome bit for the AC conversion coefficient of the first frame, respectively; And a channel information determiner configured to output channel information by using the auxiliary information and the DC transform coefficient of the channel decoded first frame.

상기 보조정보부는 상기 보조 정보를 생성하는 보조정보생성부; 및 상기 생성된 보조 정보를 개선하는 보조정보개선부를 포함할 수 있다. 상기 보조정보생성부는, 상기 키프레임들에 포함된 블록들로부터 시간적으로 양방향인 대칭 모션 벡터들의 절대값의 합이 최소로 되는 대칭 모션 벡터 및 상기 대칭 모션 벡터를 포함하는 보조 정보를 생성하는 모션추정부를 포함할 수 있다. The auxiliary information unit comprises an auxiliary information generating unit for generating the auxiliary information; And an auxiliary information improving unit for improving the generated auxiliary information. The auxiliary information generator may generate a motion estimation unit for generating auxiliary information including the symmetric motion vector and the symmetric motion vector having a minimum sum of absolute values of symmetric motion vectors that are bidirectional in time from blocks included in the keyframes. It may include wealth.

상기 보조정보생성부는, 상기 대칭 모션 벡터를, 상기 제 1 프레임의 블록 크기에 따라 계층적으로 스무딩한 계층적 모션 벡터를 포함하도록 상기 대칭 모션 벡터를 스무딩하는 모션벡터스무딩부를 더 포함할 수 있다. 상기 보조정보개선부는, 상기 보조 정보를 상기 계층적 모션 벡터를 이용하여 개선한 보조 정보의 DC 계수와 상기 제 1 프레임의 DC 변환 계수에 대한 신드롬 비트를 이용하여 상기 보조 정보를 개선할 수 있다. The auxiliary information generator may further include a motion vector smoothing unit for smoothing the symmetric motion vector to include a hierarchical motion vector obtained by hierarchically smoothing the symmetric motion vector according to the block size of the first frame. The auxiliary information improving unit may improve the auxiliary information by using the DC coefficient of the auxiliary information in which the auxiliary information is improved by using the hierarchical motion vector and the syndrome bits of the DC transform coefficient of the first frame.

상기 채널정보결정부는, 상기 키프레임들과 상기 제 1 프레임의 DC 변환 계수에 대한 신드롬 비트에 기초하여 상기 보조 정보의 각 블록의 왜곡을 추정하는 왜곡추정부; 및 상기 추정된 왜곡에 따라 상기 채널 정보를 상기 제 1 모드, 상기 제 2 모드 및 상기 제 3 모드로 나누는 채널결정부를 포함할 수 있다. 상기 채널정보결정부는, 상기 추정된 왜곡을 이용하여 상기 채널 정보가 상기 제 2 모드인 경우, 상기 AC 변환 계수를 채널 인코딩하기 위해 필요한 비트 정보를 출력할 수 있다. The channel information determination unit includes: a distortion estimator for estimating distortion of each block of the auxiliary information based on syndrome bits of the key frames and the DC transform coefficients of the first frame; And a channel determination unit dividing the channel information into the first mode, the second mode, and the third mode according to the estimated distortion. The channel information determiner may output bit information necessary for channel encoding the AC transform coefficient when the channel information is the second mode by using the estimated distortion.

본 발명의 또 다른 실시예는, 비디오 시퀀스의 키프레임(key frame)을 인트라 코딩하는 단계; 상기 비디오 시퀀스의 제 1 프레임의 DC 변환 계수를 채널 인코딩하여 생성된 신드롬 비트를 출력하는 단계; 및 비디오 디코더로부터 채널 정보를 수신하고, 상기 채널 정보에 따라 선택적으로 상기 제 1 프레임의 양자화된 AC 변환 계수를 채널 인코딩하거나, 상기 제 1 프레임을 인트라 코딩하는 단계를 포함하는 비디오 인코딩 방법을 제공한다. Still another embodiment of the present invention provides a method of performing an image coding method, comprising: intra coding a key frame of a video sequence; Outputting a syndrome bit generated by channel encoding the DC transform coefficients of the first frame of the video sequence; And receiving channel information from a video decoder, and optionally channel encoding the quantized AC transform coefficients of the first frame or intra coding the first frame according to the channel information. .

본 발명의 또 다른 실시예는, 비디오 시퀀스의 키프레임들을 인트라 디코딩하는 단계; 상기 키프레임들을 보간하여 보조 정보를 생성하는 단계; 상기 비디오 시퀀스의 제 1 프레임의 DC 변환 계수의 채널 인코딩한 신드롬 비트를 수신하여 채널 디코딩하는 단계; 상기 보조 정보 및 상기 채널 디코딩된 상기 제 1 프레임의 DC 변환 계수를 이용하여 채널 정보를 생성하여 출력하고, 상기 채널 정보가, 제 1 모드인 경우 상기 보조 정보를 이용하여 상기 제 1 프레임으로 복원하고, 제 2 모드인 경우 상기 보조 정보와 상기 제 1 프레임의 AC 변환 계수의 채널 인코딩한 신드롬 비트를 채널 디코딩한 데이터를 이용하여 상기 제 1 프레임을 복원하고, 제 3 모드일 경우 인트라 코딩된 상기 제 1 프레임을 인트라 디코딩하여 상기 제 1 프레임을 복원하는 단계;를 포함하는 비디오 디코딩 방법을 제공한다. Yet another embodiment of the present invention provides a method of performing a method comprising: intra decoding keyframes of a video sequence; Generating auxiliary information by interpolating the keyframes; Receiving and channel decoding the channel encoded syndrome bits of the DC transform coefficients of the first frame of the video sequence; Generating and outputting channel information by using the auxiliary information and the DC transform coefficient of the first channel decoded by the channel, and reconstructing the first frame by using the auxiliary information when the channel information is in the first mode. And reconstructing the first frame using channel-decoded data of the channel-encoded syndrome bits of the AC conversion coefficient of the first frame in the second mode, and intra-coded in the third mode. And reconstructing the first frame by intra decoding one frame.

본 발명의 실시예에 따르면 분산비디오코딩(DVC)의 율 왜곡 성능을 높일 수 있다. According to an embodiment of the present invention, the rate distortion performance of distributed video coding (DVC) can be improved.

본 발명의 실시예에 따르면 신뢰성 있는 채널을 식별하여 비디오 디코딩을 수행할 수 있다. According to an embodiment of the present invention, video decoding may be performed by identifying a reliable channel.

본 발명의 실시예에 따르면 비디오 디코딩에 롱 레이턴시(long latency)를 줄일 수 있다. According to an embodiment of the present invention, long latency may be reduced in video decoding.

본 발명의 실시예에 따르면 분산비디오코딩 시스템에서 보조정보프레임의 정확하게 생성하고 개선할 수 있다. According to an embodiment of the present invention, it is possible to accurately generate and improve auxiliary information frames in a distributed video coding system.

도 1은 종래의 분산비디오코딩(DVC) 시스템을 예시한 도면
도 2는 분산비디오코딩(DVC) 시스템과 채널에 대한 예를 나타낸 도면
도 3는 본 발명에 따른 비디오 인코더의 일 실시예와 비디오 디코더의 일 실시예를 예시한 도면
도 4는 본 발명의 일 실시예에 따른 보조정보부의 예를 나타낸 도면
도 5는 본 발명의 실시예에 따라 계층적 모션 추정 스무딩의 예를 예시한 도면
도 6은 본 발명의 일 실시예에 따라 보조정보개선부(520)가 모션 벡터를 개선하는 예를 나타낸 도면
도 7은 채널 i에서 블록 평균 왜곡 지수와 평균 절대 채널 에러의 관계를 예시한 도면
도 8은, 8개의 테스트 시퀀스의 샘플 프레임을 나타낸 도면
도 9는 양자화 스텝 Q4와 Q8 에서 149 개의 제 1 프레임에 대한 평균 PSNR (Peak Signal to Noise Ratio)값을 나타낸 리스트
도 10은 8개의 QCIF 테스트 시퀀스에 대해 양자화 인덱스가 8(Q8)인 경우 각 채널의 비율을 표시한 도면
도 11 내지 도 18은 본 발명의 실시예의 R-D 퍼포먼스를 종래의 DVC 코더와 H.264/AVC 코더와 비교한 결과를 나타낸 도면
도 19는 본 발명에 따른 비디오 인코딩 방법의 일 실시예를 예시한 도면
도 20은 본 발명에 따른 비디오 디코딩 방법의 일 실시예를 예시한 도면1 illustrates a conventional distributed video coding (DVC) system.
2 illustrates an example of a distributed video coding (DVC) system and a channel.
3 illustrates an embodiment of a video encoder and an embodiment of a video decoder according to the present invention.
4 is a diagram illustrating an example of an auxiliary information unit according to an embodiment of the present invention.
5 illustrates an example of hierarchical motion estimation smoothing according to an embodiment of the invention.
6 illustrates an example in which the auxiliary information improving unit 520 improves a motion vector according to an embodiment of the present invention.
7 illustrates a relationship between a block mean distortion index and an average absolute channel error in channel i.
8 shows a sample frame of eight test sequences.
9 is a list showing average peak signal to noise ratio (PSNR) values for 149 first frames in quantization steps Q4 and Q8.
FIG. 10 shows the ratio of each channel when the quantization index is 8 (Q8) for eight QCIF test sequences.
11 to 18 show the results of comparing the RD performance of the embodiment of the present invention with a conventional DVC coder and an H.264 / AVC coder.
19 illustrates an embodiment of a video encoding method according to the present invention.
20 illustrates an embodiment of a video decoding method according to the present invention.

이하 첨부한 도면을 참조하여 본 발명의 일 실시예를 설명한다. 이하에서 제 1 프레임은 일반적으로 WZ(Wyner-Ziv) 프레임을 의미한다. 즉 GOP 구조에서 키프레임이 아닌 인접한 키프레임들을 이용하여 인코딩하는 프레임으로 WZ 인코딩의 대상이 되는 프레임을 의미하지만, 이하의 실시예에서는 채널 상태에 따라 WZ 프레임이 인트라 코딩될 경우에도 해당 WZ 프레임을 제 1 프레임으로 호칭한다. Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings. Hereinafter, the first frame generally refers to a WZ (Wyner-Ziv) frame. That is, a frame to be encoded by using adjacent key frames instead of a key frame in the GOP structure means a frame to be subjected to WZ encoding. However, in the following embodiment, even when a WZ frame is intra coded according to a channel state, Called the first frame.

도 3은 본 발명에 따른 비디오 인코더의 일 실시예와 비디오 디코더의 일 실시예를 예시한 도면이다.3 is a diagram illustrating an embodiment of a video encoder and an embodiment of a video decoder according to the present invention.

본 발명의 비디오 디코더의 일 실시예는, GOP 구조에 따라 이웃한 키프레임을 이용하여 제 1 프레임에 대한 보조정보프레임을 생성하고, 보조정보프레임을 보간하고 이를 이용하여 제 1 프레임을 복원한다. 여기서 계층적 대칭 모션 추정을 사용하는데 이에 대해서는 추후 상술한다. 비디오 디코더는 신뢰하지 못하는 블록들의 모션 벡터를 개선하고 보조정보프레임의 국지 왜곡을 추정하여 개선한다. 모션 벡터를 개선할 경우 먼저 제 1 프레임의 DC 변환 계수를 이용한다. 인코더의 제 1 프레임(X)과 디코더의 개선된 보조정보 프레임(

)의 차이는 인코더와 디코더 사이의 가상 노이즈 채널의 에러로 추정될 수 있다. 채널 에러를 제거하기 위해 비디오 인코더는 DC 변환 계수를 채널 인코딩하여 생성된 신드롬 비트를, 비디오 디코더로 전송한다. According to an embodiment of the video decoder of the present invention, an auxiliary information frame for a first frame is generated using neighboring key frames according to a GOP structure, interpolated and used to reconstruct the first frame. Hierarchical symmetric motion estimation is used here, which will be described later. The video decoder improves the motion vector of unreliable blocks and estimates and improves the local distortion of the auxiliary information frame. When the motion vector is improved, the DC transform coefficient of the first frame is first used. The first frame X of the encoder and the improved auxiliary information frame of the decoder

) Can be estimated as the error of the virtual noise channel between the encoder and the decoder. To remove the channel error, the video encoder sends the syndrome bits generated by channel encoding the DC transform coefficients to the video decoder.

비디오 인코더/디코더 사이의 채널은 보조정보프레임을 예상 블록 왜곡 정보에 따라 3개로 나뉘고 채널을 결정하는 채널 디시젼 맵을 형성할 수 있다. 채널 정보는 비디오 디코더로부터 비디오 인코더로 피드백 채널을 통해 전송된다. 한편 보조정보프레임의 추정된 국지 왜곡은 채널 모델 특성을 결정하고 채널 코딩부가 효율적으로 채널 인코딩할 수 있는 신드롬 비트에 대한 최소 레잇을 제어하는데 사용될 수 있다. A channel between the video encoder / decoder may divide the auxiliary information frame into three according to the expected block distortion information and form a channel decision map for determining the channel. Channel information is sent from the video decoder to the video encoder via a feedback channel. On the other hand, the estimated local distortion of the auxiliary information frame can be used to determine channel model characteristics and to control the minimum rate for syndrome bits that the channel coding unit can efficiently channel encode.

비디오 인코더에서 WZ 프레임 또는 제 1 프레임(X)는 채널 디시전 맵에 따라 3개의 서브 프레임 Xskip, Xwz, Xintra로 구분될 수 있는데, 이에 따라 이 3개의 서브 프레임은 각각 스킵모드(또는 제 1 모드라 한다), WZ 모드(또는 제 2 모드라 한다), 인트라 모드(또는 제 3 모드라 한다)에서 인코딩된다. 이하에서 제 1 프레임이 인코딩되는 예를 설명하면 다음과 같다. In the video encoder, the WZ frame or the first frame X may be divided into three subframes Xskip, Xwz, and Xintra according to the channel decision map. Accordingly, each of the three subframes may be a skip mode (or a first mode). The WZ mode (or second mode) and the intra mode (or third mode). Hereinafter, an example in which the first frame is encoded will be described.

스킵모드(제 1 모드)에 대한 서브프레임(Xskip)은 신뢰있는 채널인 경우 보조정보프레임을 카피하여 WZ 프레임(X'skip)을 복원한다. The subframe Xskip for the skip mode (first mode) restores the WZ frame X'skip by copying the auxiliary information frame when the channel is a reliable channel.

WZ 모드(제 2 모드)에 대한 서브프레임(Xwz)는 신뢰성이 중간 정도인 채널인 경우인데, 이 경우 제 1 프레임이 비트 프레인으로 변환되고 양자화된다. 그리고 채널 디코더로부터 피드백 채널을 통해 전송된 채널 정보로부터 추정된 최소 레잇을 이용하여 양자화된 제 1 프레임의 AC 변환 계수가 채널 노이즈 특성에 따라 LDPCA 인코딩된다.The subframe Xwz for the WZ mode (second mode) is a channel of medium reliability, in which case the first frame is converted to bit plane and quantized. The AC transform coefficient of the first frame quantized using the minimum rate estimated from the channel information transmitted through the feedback channel from the channel decoder is LDPCA encoded according to the channel noise characteristic.

인트라 모드(제 3 모드)인 경우 서브프레임(Xintra)는 신뢰성 없는 채널의 경우로서, 이 경우 채널 코딩에 신드롬 비트가 매우 많이 필요하기 때문에 제 1 프레임은 키프레임처럼 인트라 코딩된다. In the intra mode (third mode), the subframe (Xintra) is an unreliable channel, in which case the first frame is intra coded like a key frame because very many syndrome bits are required for channel coding.

이하에서 본 발명의 실시예에 따른 비디오 인코더와 비디오 디코더 및 그 구성요소의 상세한 동작을 설명하면 다음과 같다. Hereinafter, detailed operations of a video encoder, a video decoder, and components thereof according to an embodiment of the present invention will be described.

비디오 인코더의 실시예는, 제 1 인코딩부(100), 제 2 인코딩부(200) 및 프레임제어부(300)를 포함할 수 있다. An embodiment of the video encoder may include a first encoder 100, a second encoder 200, and a frame controller 300.

제 1 인코딩부(100)는 키프레임(key frame)을 인코딩할 수 있는데 예를 들어 H.264/AVC 인트라 코딩방식에 의해 키프레임을 인코딩하여 출력할 수 있다. The first encoding unit 100 may encode a key frame. For example, the first encoding unit 100 may encode and output a key frame by H.264 / AVC intra coding.

제 2 인코딩부(200)는 키프레임들 사이의 제 1 프레임을 인코딩하여 출력할 수 있다.The second encoder 200 may encode and output a first frame between key frames.

하지만 비디오 인코더의 실시예는 이하의 수행과정에 의해 비디오 인코더/디코더 사이의 채널 정보에 따라 제 1 프레임을 인트라 코딩하도록 결정하여 키프레임처럼 인트라 코딩할 수도 있다. 제 1 프레임을 인코딩하는 예를 설명하면 다음과 같다. However, an embodiment of the video encoder may intra-code like a keyframe by determining to intra-code the first frame according to channel information between the video encoder / decoder by the following procedure. An example of encoding the first frame is as follows.

제 2 인코딩부(200)는 먼저 입력되는 WZ 프레임을 제 1 프레임으로 하여, 그 제 1 프레임을 DC 변환 계수에 대해서만 채널 인코딩하여 출력한다. The second encoding unit 200 sets the first WZ frame as the first frame, and outputs the first frame by channel encoding only the DC transform coefficients.

제 2 인코딩부(200)의 DCT부(210)는 제 1 프레임을, 예를 들어 블록 단위로 DCT(discrete cosine transform) 변환을 수행한다. 양자화부(220)는 DCT 변환된 계수들을 특정 양자화 스텝에 따라 양자화하여 출력한다. The DCT unit 210 of the second encoding unit 200 performs a DCT (discrete cosine transform) transformation on the first frame, for example, in blocks. The quantization unit 220 quantizes the DCT transformed coefficients according to a specific quantization step and outputs them.

예를 들어 제 1 프레임을 4x4 블록 DCT를 사용하여 변환하고 양자화하는데 그런 경우 계수는 16 밴드(0<=b<16)로 구성될 수 있다. 첫 번째 밴드(b=0)은 가장 낮은 프리퀀시 정보를 포함하고 있는 DC 밴드라고 하고, 반면에 나머지 밴드는 AC 밴드라고 한다. 제 1 프레임의 타겟 퀄리티에 따라 각 DCT 밴드 b를 양자화 매트릭스를 사용하여 2^Mb 레벨로 양자화할 수 있다. For example, the first frame is transformed and quantized using a 4x4 block DCT, in which case the coefficient may consist of 16 bands (0 <= b <16). The first band (b = 0) is called the DC band containing the lowest frequency information, while the other band is called the AC band. According to the target quality of the first frame, each DCT band b may be quantized to a 2 ^Mb level using a quantization matrix.

한편, DC 밴드의 다이나믹 레인지가 [0, 2¹⁰) 이라면, 각 AC 밴드의 다이나믹 레인지는 추가 정보로 디코더로 전송될 수도 있다. 이때 AC 밴드와 DC 밴드들에 대한 데드 존에 따라 또는 이 데드 존 없이 각각 유니폼 스칼라 양자화(uniform scalar quantizer)를 적용할 수 있다.On the other hand, if the dynamic range of the DC band is [0, 2 ¹⁰ ), the dynamic range of each AC band may be transmitted to the decoder as additional information. In this case, uniform scalar quantizers may be applied depending on or without dead zones for the AC and DC bands.

채널 코딩부(230)는 양자화된 변환 계수들 중 DC 변환 계수를 채널 코딩하여 출력한다. 이 경우, 채널 코딩부(230)는 비디오 디코더의 채널 디코더(이 예에서는 채널디코딩부(700))로부터 신드롬 비트 출력을 요청받을 수 있다. 여기서는 채널 코딩부(230)가 DC 변환 계수를 LDPCA (low density parity check accumulate) 코딩 방식으로 채널 인코딩하는 예를 개시한다. . The channel coding unit 230 channel-codes the DC transform coefficients among the quantized transform coefficients and outputs them. In this case, the channel coding unit 230 may receive a syndrome bit output request from the channel decoder of the video decoder (in this example, the channel decoding unit 700). Here, an example in which the channel coding unit 230 encodes a DC transform coefficient by using a low density parity check accumulate (LDPCA) coding scheme will be described. .

레잇제어부(240)는 비디오 디코더로부터 피드백 채널을 통해 전송된 초기레잇정보(initial rate information)를 수신하고, 초기레잇정보를 이용하여 채널 코딩부(230)가 채널 코딩에 필요한 비트의 최소 레잇(minimum rate) 정보를 결정하여 이를 채널 코딩부(230)로 출력할 수 있다. The rate controller 240 receives initial rate information transmitted through a feedback channel from a video decoder, and uses the initial rate information to minimize the minimum number of bits required by the channel coding unit 230 for channel coding. Rate information may be determined and output to the channel coding unit 230.

이 실시예에서 채널 코딩은 가변 레잇(rate-compatible)에 따른 LDPCA 코드를 사용할 수 있는 Slepian-Wolf coding (SW coder)방식이 사용될 수 있다. LDPCA 코딩은 여러 통신 분야에서 터보 코딩보다 더 효율적인 것으로 알려져 있다. LDPCA 인코더는 LDPCA 신드롬 포머(syndorom former)와 누산기(accumulator)를 포함할 수 있다. 각 비트 플레인에서 신드롬 비트는 modulo 2로 생성되어 누적될 수 있다. In this embodiment, channel coding may use a Slepian-Wolf coding (SW coder) scheme that may use an LDPCA code according to a variable rate. LDPCA coding is known to be more efficient than turbo coding in many communications applications. The LDPCA encoder may include an LDPCA syndrome former and an accumulator. In each bit plane, syndrome bits can be generated and accumulated with modulo 2.

채널 코딩부(230)가 LDPCA 채널 인코더인 경우, 이 누적된 신드롬 비트를 버퍼에 저장하고 초기에 그 일부만을 전송할 수 있다. 이 초기 청크(chunk)가 이론적인 최소 레잇(Rmin)과 대응되는데, 이것은 2개의 연관된 가우시안 소스에 대한 WZ R-D 바운드(bound) 이론에 기초한다. 이 바운드는 최소 레잇 Rmin을 정의하는데 사용될 수 있으며 여기서 제 1 프레임 X는 주어진 왜곡 D로 재구성되고 이는 수학식 1로 나타낼 수 있다. When the channel coding unit 230 is an LDPCA channel encoder, the accumulated syndrome bits may be stored in a buffer and initially transmitted only a part thereof. This initial chunk corresponds to the theoretical minimum Rmin, which is based on the WZ R-D bound theory for two associated Gaussian sources. This bound can be used to define the minimum rate Rmin, where the first frame X is reconstructed with a given distortion D, which can be represented by equation (1).

여기서 σ²는 제 1 프레임과 보조정보프레임 사이의 픽셀 차의 분산이다. 이와 같은 채널 정보를 사용하여 비디오 인코더는 제 1 프레임을 채널 상태에 따라 3개의 서브 프레임으로 구분할 수 있다. 그때 비디오 인코더는 수신한 초기 레잇 정보를 사용하여 제 1 프레임이 제 2 모드(WZ 모드)로 인코딩될 경우에 신드롬 비트를 적응적으로 할당할 수 있다. 이와 같이 적응적으로 신드롬 비트를 할당하도록 하여 초기 신드롬 비트를 요청하는데 필요한 피드백 레이턴시(feedback latency)를 줄일 수 있다. Σ ² is the variance of the pixel difference between the first frame and the auxiliary information frame. Using such channel information, the video encoder may divide the first frame into three subframes according to channel conditions. In this case, the video encoder may adaptively allocate syndrome bits when the first frame is encoded in the second mode (WZ mode) using the received initial rate information. By adaptively allocating syndrome bits, the feedback latency required for requesting the initial syndrome bits can be reduced.

프레임제어부(300)는 비디오 디코더로부터 비디오 디코더와 비디오 인코더 사이의 채널 정보를 수신하고, 그 채널 정보에 따라 제 1 프레임(Xintra)을 제 1 인코더부(100)로 출력하거나 제 2 인코딩부(200)로 출력하여 제 1 프레임이 키프레임처럼 인트라 코딩되거나 WZ 프레임(Xwz)으로 인코딩되도록 할 수 있다. The frame controller 300 receives channel information between the video decoder and the video encoder from the video decoder, and outputs a first frame (Xintra) to the first encoder unit 100 or the second encoder 200 according to the channel information. ) So that the first frame is intra coded like a key frame or encoded into a WZ frame (Xwz).

따라서, 비디오 인코더의 채널 코딩부(230)는 초기에 제 1 프레임의 DC 신드롬 비트만을 전송했다가, 채널 상태가 제 2 모드(WZ 모드)인 경우, AC 신드롬 비트에 대해서도 적응적으로 채널디코더로 전송할 수 있다.Therefore, the channel coding unit 230 of the video encoder initially transmits only the DC syndrome bits of the first frame, and when the channel state is the second mode (WZ mode), the channel encoder 230 adaptively transmits the AC syndrome bits to the channel decoder. Can transmit

도 3을 이용하여 본 발명에 따른 비디오 디코더의 일 실시예를 개시하면 다음과 같다. 본 발명의 비디오 디코더의 일 실시예는, 제 1 디코딩부(400), 제 2 디코딩부를 포함할 수 있다. 그리고 제 2 디코딩부는, 보조정보부(500), 채널정보결정부(600), 채널디코딩부(700), 프레임복원부(800)를 포함할 수 있다. An embodiment of a video decoder according to the present invention will be described with reference to FIG. 3 as follows. An embodiment of the video decoder of the present invention may include a first decoding unit 400 and a second decoding unit. The second decoding unit may include an auxiliary information unit 500, a channel information determination unit 600, a channel decoding unit 700, and a frame restoration unit 800.

제 1 디코딩부(400)는 채널 인코더가 인트라 코딩하여 출력하는 키프레임을 인트라 디코딩하여 출력(Y')하거나, 채널 인코더가 채널 상태가 인트라 채널 또는 해당 모드가 인트라 모드(제 3 모드)라고 판단한 경우 인트라 코딩하여 출력하는 제 1 프레임을 인트라 디코딩하여 출력(X'_intra)할 수 있다. The first decoding unit 400 intra-decodes and outputs (Y ′) the keyframes intra-coded and output by the channel encoder, or the channel encoder determines that the channel state is an intra channel or the corresponding mode is an intra mode (third mode). In this case, the first frame output by intra coding may be intra decoded and output (X ′ _intra ).

보조정보부(500)는 키프레임을 보간하여 보조정보프레임을 생성하고, 생성한 보조정보프레임을 채널 상태에 따라 더욱 개선할 수도 있다. 보조정보프레임을 개선할 경우, 프레임 내 포함된 모션벡터를 개선하여 이를 이용할 수 있고, 이 경우 제 1 프레임의 DC 신드롬 비트를 이용할 수 있다. The auxiliary information unit 500 may generate an auxiliary information frame by interpolating key frames, and may further improve the generated auxiliary information frame according to the channel state. When the auxiliary information frame is improved, the motion vector included in the frame may be improved and used, and in this case, the DC syndrome bits of the first frame may be used.

채널정보결정부(600)는 보조정보부(500)가 출력하는 보조정보를 이용하여 왜곡이 포함되어 있는지 추정하고 이에 따라 디코더와 인코더사이의 채널 상태를 결정하여 인코더로 전송할 수 있다. 채널정보결정부(600)는 비디오 인코더가 채널 상태에 따라 적응적으로 신드롬 비트를 할당할 수 있도록 레잇비트정보를 비디오 인코더로 전송할 수 있다. 위에서 기술한 바와 같이 비디오 인코더의 채널인코더는 이를 이용하에 제 1 프레임의 AC 신드롬 비트도 비디오 디코더로 전송할 수 있다.The channel information determiner 600 estimates whether distortion is included by using the auxiliary information output from the auxiliary information unit 500, and accordingly determines a channel state between the decoder and the encoder and transmits the distortion to the encoder. The channel information determiner 600 may transmit rate bit information to the video encoder so that the video encoder can allocate syndrome bits adaptively according to channel conditions. As described above, the channel encoder of the video encoder can also use this to transmit the AC syndrome bits of the first frame to the video decoder.

채널디코딩부(700)는 채널상태에 대한 정보, 제 1 프레임의 DC 신드롬 비트 및 보조정보프레임의 개선된 정보를 이용하여 제 2 모드(WZ 모드)일 경우 제 1 프레임을 복원할 수 있다. 이때 추가의 신드롬비트가 필요한 경우, 피드백 채널을 이용하여 신드롬 비트를 요청할 수도 있다. The channel decoding unit 700 may restore the first frame in the second mode (WZ mode) by using the channel state information, the DC syndrome bit of the first frame, and the improved information of the auxiliary information frame. In this case, if additional syndrome bits are required, the syndrome bits may be requested using a feedback channel.

프레임복원부(800)는 제 1 모드인 경우 보조정보부가 생성한 보조정보프레임을 이용하거나, 제 2 모드인 경우 채널 디코딩부가 AC 신드롬 비트로 복원한 정보를 이용하여 보조정보프레임을 복원하거나, 제 3 모드인 경우 인트라 디코딩된 보조정보프레임으로 제 1 프레임을 각각 복원할 수 있다. 이하에서는 본 발명의 실시예에 따른 채널 디코더와 각 구성요소의 동작을 상세히 설명한다. In the first mode, the frame restoring unit 800 restores the auxiliary information frame by using the auxiliary information frame generated by the auxiliary information unit, or by using the information restored by the channel decoding unit by the AC syndrome bit in the second mode. In the mode, each of the first frames may be reconstructed into the intra-decoded auxiliary information frame. Hereinafter, operations of a channel decoder and each component according to an embodiment of the present invention will be described in detail.

보조정보부(500)는 보조정보생성부(510) 및 보조정보개선부(520)를 포함할 수 있다. 보조정보생성부(510)는, GOP 구조에 따른 이웃한 키프레임들을 이용하여 보조정보프레임(side information frame)(

)을 생성하여 출력한다. 보조정보개선부(520)는, 보조정보생성부(510)가 출력하는 보조정보프레임 및 채널정보결정부(600)가 출력하는 채널 정보를 이용하여 신뢰성 없는 블록들에 대한 움직임 벡터를 개선하는데 이에 대해서는 이하에서 더욱 상술한다. The auxiliary information unit 500 may include an auxiliary information generating unit 510 and an auxiliary information improving unit 520. The auxiliary information generation unit 510 may use a side information frame (side information frame) using neighboring key frames according to the GOP structure.

Create and print The auxiliary information improving unit 520 improves a motion vector for unreliable blocks by using the auxiliary information frame output from the auxiliary information generating unit 510 and the channel information output from the channel information determining unit 600. This will be described in more detail below.

채널정보결정부(600)는 왜곡추정부(610), 채널결정부(620) 및 채널모델링부(630)를 포함할 수 있다. The channel information determiner 600 may include a distortion estimator 610, a channel determiner 620, and a channel modeling unit 630.

왜곡추정부(610)는 보정정보부(500)가 출력하는 보조정보프레임을 수신하고 보조정보프레임에 포함된 국지적 왜곡을 추정할 수 있다. 왜곡추정부(610)의 상세한 동작은 역시 이하에서 상술한다. The distortion estimator 610 may receive an auxiliary information frame output from the correction information unit 500 and estimate a local distortion included in the auxiliary information frame. The detailed operation of the distortion estimator 610 is also described in detail below.

채널 결정부(620)는 왜곡추정부(610)로부터 추정된 왜곡의 정도에 따라 비디오 인코더와 비디오 디코더 사이의 채널 정보를 결정하여 비디오 인코더로 출력할 수 있다. The channel determiner 620 may determine channel information between the video encoder and the video decoder based on the degree of distortion estimated from the distortion estimator 610, and output the channel information to the video encoder.

채널모델링부(630)는 왜곡추정부(610)가 추정하는 왜곡 정보에 따라 채널의 초기 레잇 정보를 생성하여 비디오 인코더로 출력한다. The channel modeling unit 630 generates initial rate information of the channel according to the distortion information estimated by the distortion estimator 610 and outputs the initial rate information of the channel to the video encoder.

채널 결정부(620) 및 채널모델링부(630)에 대한 설명은 도 4를 참조하여 상술한다. 채널디코딩부(700)는 비디오 인코더가 채널 인코딩하여 출력하는 제 1 프레임의 DC 변환 계수 또는 AC 변환 계수에 대한 신드롬 비트를 수신하고, 이를 채널 디코딩하여 DC 변환 계수 또는 AC 변환 계수를 복원하여 출력할 수 있다.The channel determiner 620 and the channel modeling unit 630 will be described in detail with reference to FIG. 4. The channel decoding unit 700 receives a syndrome bit for a DC transform coefficient or an AC transform coefficient of a first frame that the video encoder encodes and outputs the channel, and decodes the channel to decode the DC transform coefficient or the AC transform coefficient. Can be.

먼저 보조정보부(500)를 동작 예를 상세히 설명하면 다음과 같다. 보조정보생성부(510)는 예를 들어 보조정보프레임내에 블록 사이즈 16 × 16, 8 × 8 및 4 × 4 들의 블록들에 대해 계층적으로 대칭적 모션 추정을 수행할 수 있다. 보조정보생성부(510)는 가중된 벡터 미디언 필터(weighted vector median filter)를 사용하여 모션 벡터 필드를 스무딩하고 오류 있는 모션 벡터를 정정한다. First, the operation example of the auxiliary information unit 500 will be described in detail as follows. The auxiliary information generation unit 510 may, for example, block sizes 16 × 16, 8 × 8 and 4 × in the auxiliary information frame. Hierarchically symmetric motion estimation may be performed on blocks of four. The auxiliary information generator 510 smoothes the motion vector field using a weighted vector median filter and corrects the faulty motion vector.

보조정보개선부(520)은 채널 디코딩 과정을 통해 제 1 프레임의 DC 변환 계수(

)을 이용하여 보조정보프레임의 모션 벡터를 개선하는데, 이때 보조정보프레임은 프리 신드롬 비트를 사용하여 재구성될 수 있다. 왜곡추정부는(610) 보조정보프레임 프레임 내 각 블록의 왜곡을 추정할 수 있다. Side information improvement unit 520, the DC transform coefficients of the first frame over the channel decoding process (

) For improving the motion vector of the auxiliary information for the frame, wherein the auxiliary information frame can be reconstructed using the pre-bit syndrome. The distortion estimation unit 610 may estimate the distortion of each block in the auxiliary information frame frame.

도 4는 본 발명의 일 실시예에 따른 보조정보부의 예를 나타낸 도면이다. 도 4를 참조하여 보조정보부의 동작을 예시하면 다음과 같다.4 is a diagram illustrating an example of an auxiliary information unit according to an embodiment of the present invention. An operation of the auxiliary information unit will be described with reference to FIG. 4 as follows.

보조정보생성부(510)는 모션추정부(511) 및 모션벡터스무딩부(512)를 포함할 수 있다. The auxiliary information generator 510 may include a motion estimation unit 511 and a motion vector smoothing unit 512.

모션추정부(511)는 보조정보프레임에 이웃한 키프레임들(Yp, Yn)을 수신하고 보조정보프레임 내 대칭적 모션 추정(symmetric motion estimation)을 수행한다. The motion estimation unit 511 receives key frames Yp and Yn adjacent to the auxiliary information frame and performs symmetric motion estimation in the auxiliary information frame.

여기서, X를 제 1 프레임이라고 하고, Yp 및 Yn을 이 제 1 프레임에 인접한 키 프레임들을 나타낸다. Yp 및 Yn을 사용하여 비디오 디코더는 보조정보프레임을 생성하는데, 키프레임들을 보간하여 보조정보프레임을 생성하기 위해 각 블록에 대한 포워드 모션 벡터가 절대 차이의 합(sum of absolute difference; SAD)을 최소화하도록 하여 모션 벡터를 추정된다. 그러나 단방향의 모션 추정은 종종 잘못된 결과를 산출할 수 있어서, 이를 해결하기 위해 각 블록(block Ω)에 대한 대칭적 모션 추정에 따른 모션 벡터 (Vs)를 찾고, 포워드 SAD(Sf)과 백워드 SAD(Sb)의 합을 최소화하는 Vs를 찾는다. 이에 대한 설명은 수학식 2에 표현된다. Here, X is called a first frame, and Yp and Yn represent key frames adjacent to the first frame. Using Yp and Yn, the video decoder generates auxiliary information frames, in which the forward motion vector for each block minimizes the sum of absolute difference (SAD) to interpolate keyframes to produce auxiliary information frames. The motion vector is estimated. However, unidirectional motion estimation can often yield incorrect results, so to solve this problem, find the motion vector (Vs) according to the symmetric motion estimation for each block (block Ω), forward SAD (Sf) and backward SAD. Find Vs that minimizes the sum of (Sb). Description of this is expressed in Equation 2.

여기서 Y (p)는 프레임 Y의 픽셀 p의 값을 나타낸다. 수학식 2에 따르면 포워드 SAD(Sf)과 백워드 SAD(Sb)를 사용하여 대칭적 모션 추정에 따른 모션 벡터(Vs)를 더욱 신뢰도 있게 추정할 수 있다. Where Y (p) represents the value of pixel p of frame Y. According to Equation 2, the forward vector SAD (Sf) and the backward SAD (Sb) may be used to more reliably estimate the motion vector Vs according to the symmetric motion estimation.

모션벡터스무딩부(512)는, 보조정보프레임에 이웃한 키프레임들(Yp, Yn)과 모션추정부(511)가 추정한 대칭적 모션 추정에 따른 모션 벡터(Vs)를 수신하고, 이를 이용하여 계층적 모션 벡터 스무딩을 수행한다. 그리고, 모션벡터스무딩부(512)는, 계층적 모션 벡터 스무딩에 따른 모션 벡터(V_H)와 그에 따라 보조정보프레임을 개선하여 개선된 보조정보프레임(

)를 출력한다. 이에 대해서는 도 5를 참조하여 상세히 설명한다. The motion vector smoothing unit 512 receives the key vectors Yp and Yn adjacent to the auxiliary information frame and the motion vector Vs according to the symmetric motion estimation estimated by the motion estimation unit 511, and uses the same. To perform hierarchical motion vector smoothing. In addition, the motion vector smoothing unit 512 improves the motion vector V _H according to the hierarchical motion vector smoothing and the auxiliary information frame accordingly, thereby improving the auxiliary information frame (

). This will be described in detail with reference to FIG. 5.

보조정보개선부(520)는, 보조정보프레임에 이웃한 키프레임들(Yp, Yn), 보조정보생성부(510)가 출력하는 계층적 모션 벡터 스무딩에 따른 모션 벡터(V_H), 계층적 모션 벡터 스무딩에 따른 모션 벡터(V_H)가 반영된 보조정보프레임(

)을 수신한다. 그리고, 채널디코딩부(700)로부터 디코딩된 제 1 프레임의 DC 변환 계수(

)를 수신하여 디코딩하고, 모션 벡터(V_H)와 보조정보프레임(

)을 개선하여, 개선된 모션벡터(V^*)와 개선된 보조정보프레임(

)를 출력한다. 이에 대해서는 도 6을 참조하여 상세히 설명한다.The auxiliary information improving unit 520 may include key frames Yp and Yn adjacent to the auxiliary information frame, and a motion vector V _H according to the hierarchical motion vector smoothing output from the auxiliary information generating unit 510. Secondary information frame reflecting a motion vector (V _H ) according to motion vector smoothing

. In addition, the DC transform coefficient of the first frame decoded from the channel decoding unit 700 (

) Is received and decoded, and a motion vector (V _H ) and an auxiliary information frame (

), Improved motion vectors (V ^* ) and improved auxiliary information frames (

). This will be described in detail with reference to FIG. 6.

도 5는 본 발명의 실시예에 따라 계층적 모션 추정 스무딩의 예를 예시한 도면이다. 설명한 바와 같이 모션추정부(511)는 계층적 모션 추정 스무딩을 적용하여 모션 벡터를 출력할 수 있다.5 is a diagram illustrating an example of hierarchical motion estimation smoothing according to an embodiment of the present invention. As described above, the motion estimation unit 511 may output a motion vector by applying hierarchical motion estimation smoothing.

블록-매칭 모션 추정(block-matching motion estimation)에 따라, 일반적으로 블록 내에 모든 픽셀들은 같은 모션 벡터를 가진다고 가정할 수 있다. 일반적으로 큰 블록에서 모션 벡터는 더 신뢰도가 있을 수 있지만 정확도는 떨어진다. 그러므로 블록의 옵티멀 블록 사이즈(optimal block size)를, 신뢰도와 정확도 사이의 트래이드 오프를 고려하여 결정할 수 있다. 본 발명의 일 실시예에 따르면 예시된 가변 블록 사이즈를 이용하여 계층적 모션 벡터 스무딩을 수행할 수 있다. According to block-matching motion estimation, it can generally be assumed that all pixels in a block have the same motion vector. In general, motion vectors may be more reliable in larger blocks, but they are less accurate. Therefore, the optimal block size of a block can be determined in consideration of the trade off between reliability and accuracy. According to an embodiment of the present invention, hierarchical motion vector smoothing may be performed using the illustrated variable block size.

예를 들면 생성한 제 1 프레임에 대한 보조정보프레임을 최상위 레벨에서 16 × 16블록들로 나누고, 중간 레벨에서 8×8 블록들, 바닥레벨에서 4×4의 블록들로 각각 나눈다. 본 발명의 실시예에 따른 보조정보생성부(510)의 모션벡터필터부(512)는 계층적 모션 추정(hierarchical mothion vector smoothing)을 다음에 오는 (1) 내지 (4)에 따라 수행할 수 있다. For example, the auxiliary information frame for the generated first frame is divided into 16x16 blocks at the top level, and divided into 8x8 blocks at the middle level and 4x4 blocks at the bottom level. The motion vector filter unit 512 of the auxiliary information generator 510 according to an embodiment of the present invention may perform hierarchical mothion vector smoothing according to the following (1) to (4). .

(1) 제 1 프레임의 보조정보프레임에 대한 대칭적 모션 추정에 따른 모션 벡터를 최상위 레벨에서 얻는다. (1) A motion vector according to symmetric motion estimation for the auxiliary information frame of the first frame is obtained at the highest level.

(2)중간 레벨에서 이를 개선하기 위해, 이 모션 벡터는 최상위 레벨로부터 중간 레벨에서 물려받는데, 이때 중간 레벨의 모션 벡터는 모션 벡터 스무딩 스킴(motion vector smoothing scheme)에 의해 개선된다. 이렇게 각각 개선된 모션 벡터 V_H는 수학식 3에 따라 얻어질 수 있다. (2) To improve this at the intermediate level, this motion vector is inherited from the highest level to the intermediate level, where the motion vector of the intermediate level is improved by a motion vector smoothing scheme. Each of these improved motion vectors V _H can be obtained according to equation (3).

여기서 V₀는 현재 블록들에 대한 모션 벡터들이고, 도 5에서 예시한 바와 같이 V₁,...,V _l 은 이웃한 블록들의 모션 벡터들이다. 모션벡터스무딩부(512)는, V_H가 이웃하는 모션 벡터들로부터 가중값에 따른 거리를 최소화할 수 있도록 선택할 수 있다. 이때 가중값은 수학식 4에 따라 얻어질 수 있다. Where V ₀ is motion vectors for the current blocks, and as illustrated in FIG. 5, V ₁ ,..., V _l are motion vectors of neighboring blocks. The motion vector smoothing unit 512 may select V _H to minimize the distance according to the weighting value from neighboring motion vectors. In this case, the weight value may be obtained according to Equation 4.

수학식 3 및 수학식 4에 따라 모션벡터스무딩부(512)는, 모션추정부(511)가 대칭적 모션 추정에 따른 모션 벡터(Vs)를 필터링하고 스무딩한 모션 벡터(V_H)를 출력할 수 있다. According to Equations 3 and 4, the motion vector smoothing unit 512 may output a motion vector V _{H obtained} by the motion estimation unit 511 filtering and smoothing the motion vector Vs according to the symmetric motion estimation. Can be.

(3)중간 레벨에서 모션벡터가 최상위 레벨에서 대응하는 모션벡터와 다르다면 바닥 레벨에서 (2)와 유사한 방식으로 모션 벡터가 추가적으로 개선될 수 있다. (3) If the motion vector at the middle level is different from the corresponding motion vector at the top level, the motion vector can be further improved in a similar manner to (2) at the bottom level.

(4)그리고 모션 보상된 보간이 수학식 5에 따라 수행될 수 있다. (4) And motion compensated interpolation can be performed according to equation (5).

여기서

는 v가 모션 벡터일 때 보조정보프레임(

) 내의 픽셀 p의 값을 나타낸다. 따라서, 모션벡터스무딩부(512)는 키프레임들(Yp, Yn), 계층적 스무딩을 수행한 모션 벡터(V_H)로부터 보조정보프레임(

)를 생성할 수 있다. here

Is an auxiliary information frame when v is a motion vector

Value of the pixel p). Accordingly, the motion vector smoothing unit 512 may use the auxiliary information frame ( _H ) from the key frames Yp and Yn and the motion vector V _H that performs the hierarchical smoothing.

Can be generated.

도 5에서 가장 좌측은 최상위레벨의 모션 벡터들이 표시된다. 이 최상위 레벨의 모션 벡터가 모션 벡터 스무딩을 위해 계층적으로 하위레벨(여기서는 중간레벨)에서 표시될 수 있다. 도 5의 가장 우측 상단은 상위 레벨의 블록에서 벡터 스무딩에 따라 중간 레벨의 블록으로 내려온 모션 벡터를 나타내고, 그 아래는 수학식 3, 4에 따라 이웃한 블록의 모션 벡터로 상위 레벨로부터 전달된 모션 벡터를 개선한 벡터(굵은 박스 안에 표시)을 나타낸다. In the leftmost part of FIG. 5, the motion vectors of the highest level are displayed. This highest level motion vector may be displayed hierarchically at a lower level (here intermediate level) for motion vector smoothing. The upper rightmost part of FIG. 5 represents a motion vector descending from the upper level block to the middle level block according to vector smoothing, and below the motion transferred from the upper level as the motion vector of the neighboring block according to Equations 3 and 4. Represents a vector with improved vectors (shown in bold box).

도 6은 본 발명의 일 실시예에 따라 보조정보개선부(520)가 모션 벡터를 개선하는 예를 설명하기 위해 예시한 도면으로, 여기서는 양방향 매칭 코스트와 사이드 매칭 코스트를 예시한다. 도 6을 참조하여 보조정보개선부(520)가 보조정보 및 모션 벡터를 개선하는 예를 설명하면 다음과 같다. FIG. 6 is a diagram illustrating an example in which the auxiliary information improving unit 520 improves a motion vector according to an embodiment of the present invention, and illustrates a bidirectional matching cost and a side matching cost. An example in which the auxiliary information improving unit 520 improves the auxiliary information and the motion vector will be described with reference to FIG. 6.

비디오 인코더는 제 1 프레임 내 모든 블록의 DC 변환 계수에 대한 신드롬 비트를 전송한다. 전송된 신드롬 비트들을 사용하여 비디오 디코더는 DC 변환 계수를 디코딩하여 재구성하고,이 재구성된 DC 변환 계수를 이용하여 모션 벡터를 정정할 수 있다. The video encoder transmits syndrome bits for the DC transform coefficients of all blocks in the first frame. Using the transmitted syndrome bits, the video decoder may decode and reconstruct the DC transform coefficients, and correct the motion vector using the reconstructed DC transform coefficients.

를, 블록(block) Ω에서 채널 인코더에서 전송된 DC 변환 계수의 신드롬 비트에서 복원한 DC 변환 계수라고 하고, 계층적으로 모션이 보상된 보조정보프레임(

)내에 이에 해당하는 블록의 DC 변환 계수를

라고 표시한다.

Is a DC transform coefficient reconstructed from the syndrome bits of the DC transform coefficients transmitted from the channel encoder in block Ω, and is a hierarchically compensated auxiliary information frame (

) The DC transform coefficients of the corresponding block

Is displayed.

와

의 차이가 일정 기준값보다 크면 보조정보개선부(520)는 모션 벡터를 수학식 6에 의해 개선한다.

Wow

If the difference is greater than a predetermined reference value, the auxiliary information improving unit 520 improves the motion vector by Equation 6.

수학식 6의 구성요소는 수학식 7, 8와 같이 정의된다. Components of Equation 6 are defined as shown in Equations 7, 8.

여기서

은 픽셀 p로부터 블록 Ω의 이웃한 블록까지 가장 가까운 거리이고,

(dp, V_H)는 수학식 3에 따른 모션 벡터 V_H 를 포함한 보조정보프레임을 나타낸다. here

Is the closest distance from pixel p to the neighboring block of block Ω,

(dp, V _H ) represents an auxiliary information frame including the motion vector V _H according to equation (3).

수학식 7에서 D₁(v)는 양방향 매칭 코스트라고 호칭한다. 도 6에서 예시한 바와 같이 블록 Ω는 이전 프레임(Yp)와 다음 프레임(Yn) 사이의 일정 속도를 유지한다고 하면, 포워드 예측 블록(forward predictive block)과 백워드 예측 블록(backward predictive block)은 서로 유사해야 한다. 즉, 양방향 매칭 코스트는 두 예측 블록 사이의 SAD를 계산하여 모션 벡터의 신뢰도를 나타낼 수 있다. In Equation 7, D ₁ (v) is called a bidirectional matching cost. As illustrated in FIG. 6, if the block Ω maintains a constant speed between the previous frame Yp and the next frame Yn, the forward predictive block and the backward predictive block are mutually different. It should be similar. That is, the bidirectional matching cost may represent the reliability of the motion vector by calculating the SAD between two prediction blocks.

한편 수학식 8의 D₂(v)는 사이드 매칭 코스트라고 호칭한다. 이 값은 도 6에서 예시한 바와 같이 보간된 블록이 이웃한 블록에 얼마나 시각적으로 자연스럽게, 즉 얼마나 스무딩하게 연결되었나를 나타낸다.On the other hand, D ₂ (v) in Equation 8 is called a side matching cost. This value indicates how visually natural, ie, how smoothly the interpolated blocks are connected to neighboring blocks as illustrated in FIG. 6.

이와 같이 보조정보개선부(520)는 수학식 7 및 수학식 8에 따라 양방향 매칭 코스트와 사이드 매칭 코스트를 이용하여 모션 벡터를 정정할 수 있고, 정정된 모션 벡터를 포함한 보조정보프레임(X을 출력할 수 있다.As described above, the auxiliary information improving unit 520 may correct the motion vector using the bidirectional matching cost and the side matching cost according to Equations 7 and 8, and outputs an auxiliary information frame (X) including the corrected motion vector. can do.

위의 실시예에서는, 최상위 레벨(예를 들어 16 × 16 블록레벨)에서 각각 대칭적 모션 벡터(Vs)를 추정하고, 그리고, 중간 레벨(8 × 8 블록레벨) 및/또는 최하위레벨(4 × 4 블록레벨)에서 계층적으로 스무딩하여 개선할 수 있다(V_H). 그리고, 계층적으로 모션 벡터를 스무딩한 벡터(V_H)가 제 1 프레임의 DC 변환 계수에 대한 신드롬 비트에 따른 조건을 만족시키지 않는 경우, 수학식 5에 따른 모션 보상된 보정을 사용하여 각 픽셀

(p, V*)를 보간할 수 있다. 이와 같은 과정에 따라서 보조정보부(500)는 최종 보조정보프레임을 생성하고 개선할 수 있다. In the above embodiment, the symmetric motion vectors Vs are estimated at the highest level (e.g., 16x16 block level), respectively, and the intermediate level (8x8 block level) and / or the lowest level (4x). Can be improved by hierarchically smoothing (V _H ). When the vector V _H , which hierarchically smooths the motion vector, does not satisfy the condition according to the syndrome bit for the DC transform coefficient of the first frame, each pixel using the motion compensated correction according to Equation 5 below.

You can interpolate (p, V *). According to this process, the auxiliary information unit 500 may generate and improve the final auxiliary information frame.

이하에서는 채널정보결정부(600)의 왜곡추정부(610)가 블록에 포함된 왜곡을 추정하는 예를 개시한다. 본 발명의 일 실시예에서는 키프레임에 기초하여 왜곡을 추정하거나 신드롬을 기초로 하여 왜곡을 추정하거나 두 개의 추정을 모두 이용할 수도 있다. 본 발명의 실실시예에 따른 비디오 디코더는 보조정보부(500)가 출력하는 보조정보프레임(

)의 각 블록의 왜곡을 추정하고, 채널 결정시 이 정보를 이용하도록 할 수 있다. 이를 위해, 비디오 디코더는 추정된 왜곡 D를 수학식 9와 같이 정의하여 계산한다. Hereinafter, an example in which the distortion estimator 610 of the channel information determiner 600 estimates the distortion included in the block will be described. In an embodiment of the present invention, the distortion may be estimated based on a keyframe, the distortion may be estimated based on a syndrome, or both estimation may be used. According to an embodiment of the present invention, a video decoder includes an auxiliary information frame output from the auxiliary information unit 500.

Distortion of each block in < RTI ID = 0.0 >)< / RTI > can be used to determine this channel. To this end, the video decoder defines and estimates the estimated distortion D as shown in Equation (9).

여기서 Dk와 Ds는 키프레임에 기초한 왜곡추정과, 신드롬에 기초한 왜곡추정을 각각 나타낸다. 가중치 파라미터 ω는 실험값이 사용될 수 있는데 예를 들어 0.2로 설정될 수 있다. Where Dk and Ds represent a distortion estimation based on a keyframe and a distortion estimation based on a syndrome, respectively. An experimental value may be used for the weight parameter ω, for example, may be set to 0.2.

먼저 키프레임에 기초하여 블록의 왜곡을 추정하는 예를 개시하면 다음과 같다. 키프레임에 기초한 왜곡은 수학식 10의 3개의 항의 합으로 표현될 수 있다. First, an example of estimating the distortion of a block based on a keyframe will be described. The distortion based on the keyframe may be expressed as the sum of three terms of Equation 10.

여기서, v*는 현재 블록의 모션 벡터이고, D₁과 D₂는 각각 수학식 7과 수학식 8에서 예시한 양방향 매칭 코스트와 사이드 매칭 코스트가 될 수 있다. 양방향 코스트의 효과의 절반과, 수학식 11에서 예시된 바와 같이 모션 컨시스턴시 코스트(motion consistency cost) D₃를 더할 수 있다. Here, v * may be a motion vector of the current block, and D ₁ and D ₂ may be a bidirectional matching cost and a side matching cost illustrated in Equations 7 and 8, respectively. Half of the effect of the bidirectional cost and motion consistency cost D ₃ can be added as illustrated in equation (11).

여기서, V₁, ..., V _l 은 이웃한 블록들의 모션 벡터들을 나타낸다. 모션 컨시스턴시 코스트는, 신뢰도 있는 모션 벡터가 그 이웃하는 모션 벡터와 최소한 유사해야 한다는 가정에 기초한 것이다. Here, V ₁ , ..., V ₁ represent motion vectors of neighboring blocks. The motion consistency cost is based on the assumption that a reliable motion vector should be at least similar to its neighboring motion vector.

다음으로 신드롬 비트에 기초하여 블록의 왜곡 추정하는 예를 설명하면 다음과 같다. 수학식 10에서 신드롬에 기초한 왜곡 추정을 구성하는 3개의 항이 모션 필드의 규칙성에 의존할 수 있다. 따라서, 비디오 시퀀스가 불규칙한 모션 필드를 가지고 있을 때, 내부 추정은 불규칙한 정보를 포함할 수 있다. 이 문제를 해결하기 위해, 외부추정도 계산할 수 있고 이를 위해 DC 변환 계수의 신드롬 비트를 이용할 수 있다. 더 상세히 설명하면, 외부의 왜곡 추정은 보간 블록과 복호된 DC 변환 계수 값 사이의 차이로 정의할 수 있는데 수학식 12는 이를 나타낸다. Next, an example of estimating the distortion of a block based on syndrome bits will be described. Three terms constituting the distortion estimation based on the syndrome in Equation 10 may depend on the regularity of the motion field. Thus, when the video sequence has an irregular motion field, the internal estimation may include irregular information. To solve this problem, an external estimate can be calculated and the syndrome bits of the DC conversion coefficients can be used for this purpose. In more detail, the external distortion estimation may be defined as the difference between the interpolation block and the decoded DC transform coefficient value, which is represented by Equation 12.

보간이 신뢰성 있을 때 픽셀 값들,

은 블록의 평균값을 나타내는

근처에 집중된다. 그러므로 D_S는 신뢰성 있는 보간에 대해서는 작은 값을 가질 수 있다. 반대로 보간이 신뢰성 있지 않고 블록이 복잡한 텍스쳐를 포함할 때 D_S는 더 큰 경향을 갖는다고 할 수 있다.Pixel values when interpolation is reliable,

silver Represents the mean value of a block

Are concentrated nearby. Therefore, D _S can have a small value for reliable interpolation. Conversely, when interpolation is not reliable and blocks contain complex textures, D _S tends to be larger.

다음으로 본 발명의 실시예에 따른 채널정보결정부(600)의 채널결정부(620)와 채널모델링부(630)의 실시예를 설명하면 다음과 같다. 분산 비디오 코딩(distributed video coding) 시스템은 수학식 13과 같은 가상 노이지 채널을 가정한다. Next, an embodiment of the channel determiner 620 and the channel modeling unit 630 of the channel information determiner 600 according to an embodiment of the present invention will be described. The distributed video coding system assumes a virtual noisy channel as shown in Equation 13.

여기서 N은 채널의 보간 에러를 표현하는 랜덤 변수를 나타낸다. 분산 비디오 코딩 시스템의 비디오 인코더 측에서 정확한 노이즈 채널 분산을 추정할 수는 없다. 따라서 신드롬 비트는 피드백 채널에 의해 최소 비트 레잇으로 비디오 디코더에 전송된다. 이러한 접근은 먼저 SW 인코딩된 데이터에 대해 요구되는 최소 레잇을 추정하는 방법에 기초한 것이다. 이 채널 추정은, 라플라시안 연관 모델과 그 확률 밀도 함수(probability density function; PDF)만을 사용하여 아래와 같은 수학식 14으로 표현할 수 있다. Where N represents a random variable representing the interpolation error of the channel. Accurate noise channel variance cannot be estimated at the video encoder side of a distributed video coding system. Therefore, the syndrome bits are transmitted by the feedback channel to the video decoder at the minimum bit rate. This approach is based on first estimating the minimum rate required for SW encoded data. This channel estimation can be expressed by the following equation (14) using only the Laplacian correlation model and its probability density function (PDF).

여기서, α는 라플라시안 분포의 스케일 파라미터를 나타낸다. 그때 비디오 디코더는 SW 디코더의 출력에서 계산된 확률, 예를 들어 LR(likelyhood ratio)값으로부터 각 디코딩된 비트 플레인에서 비트 에러 레잇(bit error rate; BER)을 추정할 수 있다. 이를 추정해보면 전체 보조정보프레임의 DC 변환 계수만을 LDPCA 디코딩하는 알고리즘을 적용할 수 있다. 다른 왜곡 추정이 없다면, 채널디코딩부(700)에서 α는 일정한 값 예를 들면 0.4로 DC 변환 계수를 디코딩하고, 추가 신드롬 비트를 얻기 위해 ack 비트 요청(feedback Ack)을 비디오 인코더로 전송할 수도 있다. Where α represents the scale parameter of the Laplacian distribution. The video decoder may then estimate a bit error rate (BER) in each decoded bit plane from a probability calculated at the output of the SW decoder, for example, likelyhood ratio (LR) values. By estimating this, an LDPCA decoding algorithm of only DC transform coefficients of the entire auxiliary information frame can be applied. If there is no other distortion estimation, α in the channel decoding unit 700 may decode the DC transform coefficient to a constant value, for example 0.4, and send an ack bit request (feedback Ack) to the video encoder to obtain additional syndrome bits.

하지만, 보조정보프레임의 나머지 AC 변환 계수를 디코딩할 때 위의 스킴은 개선될 수 있는데 이를 위한 실시예를 설명하면 다음과 같다. 정확한 노이지 채널 분포를 추정한다면, 각각 3개로 구분된 채널에 대해 적응적인 코딩을 수행하여 R-D 퍼포먼스를 증가시킬 수 있다. However, the above scheme can be improved when decoding the remaining AC transform coefficients of the auxiliary information frame. If the accurate noisy channel distribution is estimated, R-D performance can be increased by performing adaptive coding on three separate channels.

개시되는 왜곡 추정은 이하의 도 7에서 보인 바와 같이 디코딩된 DC변환 계수가 가이드 정보로 역할할 수 있어서 매우 신뢰성이 있다. 왜곡 추정과 평균 절대 채널 왜곡 사이 연관 계수는 매우 높은데, 예를 들어 0.92 정도의 값을 가질 수 있다.The disclosed distortion estimation is very reliable as the decoded DC transform coefficients can serve as guide information as shown in FIG. 7 below. The correlation coefficient between the distortion estimation and the average absolute channel distortion is very high, for example, it may have a value of about 0.92.

따라서, 왜곡 추정에 기초하여 보조정보프레임 내에 블록들을

,

개의 서브 블록을 나눌 수 있거나 또는 이에 상응하여 가상 채널을 3 개의 채널들로 나눌 수 있다. 아래의 표 1와 같이 예시된 2개의 기준값(threshold)을 추정 왜곡 D와 비교하여 블록을 3개의 채널 중 하나의 채널로 할당할 수 있다. Thus, blocks within the auxiliary information frame based on the distortion estimate

,

Sub-blocks may be divided or a virtual channel may be divided into three channels correspondingly. A block may be allocated to one of three channels by comparing the two thresholds illustrated in Table 1 below with the estimated distortion D.

표 1에서 스킵 모드에 대한 기준값 θ1과 인트라 모드에 대한 기준값 θ2는 제 1 프레임의 양자화 테이블 인덱스(Q)에 따라 선택될 수 있다. 나뉘어진 3개의 채널에 대한 근거는 다음과 같다. Reference value θ2 of the reference value θ 1 and an intra mode for the skip mode in Table 1 may be selected in accordance with a quantization table index (Q) of the first frame. The basis for the divided three channels is as follows.

먼저, 스캡 채널은 보조정보프레임에서 그 추정 값을 θ1의 값보다 작은 경우 충분히 신뢰성 있는 채널로 어떤 비트로 할당하지 않을 수 있다. 시간적으로 잘 연관된 블록은 매우 높은 신뢰도로 보간될 수 있고, 그 자체적으로 보간 블록이 된다. 이 스킵 채널은 신드롬 비트를 줄이고 복잡성을 상당히 줄임으로써 시스템의 성능을 높일 수 있다. First, if the estimated channel is smaller than the value of θ 1 in the auxiliary information frame, the cap channel may not be allocated to any bit as a sufficiently reliable channel. Blocks that are well correlated in time can be interpolated with very high reliability, and by themselves become interpolated blocks. This skip channel can increase system performance by reducing syndrome bits and significantly reducing complexity.

둘째 WZ 채널은 상대적으로 중간 정도의 에러를 포함한 블록에 관련된 것으로서, 그 추정값은 θ1과 θ2 의 사이가 된다. 이 왜곡 추정을 이용하여 WZ 채널의 노이즈 특성을 분석할 수 있다. 그리고 분석한 노이즈 특성에 따라 적응적인 LDPCA 코딩을 사용하여 보조정보 등을 생성할 수 있다. The second WZ channel is associated with a block containing a relatively moderate error, the estimate being between θ1 and θ2. This distortion estimation can be used to analyze the noise characteristics of the WZ channel. In addition, auxiliary information may be generated using adaptive LDPCA coding according to the analyzed noise characteristic.

마지막으로, 인트라 채널은 H.264 인트라 코딩과 같이 매우 에러가 많은 블록을 복원하기 위해 사용되는데 그 왜곡 추정값은 θ2 이상으로 할 수 있다. 에러의 양이 20%를 넘는 경우 채널 코드의 효율성은 상당히 성능이 감소한다. 따라서, 가장 노이즈가 많은 블록들은 코덱의 다른 부분을 이용하여 독립적으로 인코딩/디코딩되는 것이 바람직하다. Finally, the intra channel is used to recover a very errory block, such as H.264 intra coding, and its distortion estimate can be greater than [theta] 2. If the amount of error exceeds 20%, the efficiency of the channel code decreases considerably. Thus, the most noisy blocks are preferably encoded / decoded independently using other parts of the codec.

WZ 채널에 대해, 신뢰도 있는 왜곡 추정으로 정확한 α 파라미터를 이용하여 코딩 효율을 향상시킬 수 있다. α 파라미터를 사용하면, 피드백 채널을 이용하여 조금 더 신뢰성 있는 최소 레잇을 예측할 수 있다. 피드백 지연은 피드백 요청을 최소화함으로써 최소화시킬 수 있다. 수학식 13에서 WZ 채널의 노이즈 특성(Nwz)은 수학식 14의 라플라시안 분로로 모델링될 수 있다., 파라미터 αwz는 수학식 15와 같은 랜덤변수(Nwz)의 절대값의 평균의 역수이다.For the WZ channel, the coding efficiency can be improved by using accurate α parameters with reliable distortion estimation. Using the α parameter, the feedback channel can be used to predict a more reliable minimum rate. Feedback delay can be minimized by minimizing the feedback request. In Equation 13, the noise characteristic Nwz of the WZ channel may be modeled as a Laplacian shunt in Equation 14. The parameter? Wz is an inverse of the average of the absolute values of the random variable Nwz as shown in Equation 15.

도 7은 채널 i에서 블록 평균 왜곡 지수E[|Di|]와 평균 절대 채널 에러 E[|Ni|]의 관계를 예시한 도면이다. 7 is a diagram illustrating a relationship between a block mean distortion index E [| Di |] and an average absolute channel error E [| Ni |] in channel i.

도 7에서 채널 i 상에서 블록 평균 왜곡 지수E[|Di|]는 평균 절대 채널 에러 E[|Ni|]와 선형적으로 비례하는 것을 보여준다. 따라서, 수학식 16과 같이 WZ 채널에 대한 데이터를 예시한 선형 라인에 일치시킬 수 있다. 7 shows that the block mean distortion index E [| Di |] on the channel i is linearly proportional to the mean absolute channel error E [| Ni |]. Therefore, as shown in Equation 16, data for the WZ channel can be matched to the illustrated linear line.

여기서 γ는 최소 자승법을 이용하여 실험적으로 구할 수 있는데 본 실험결과에서는 -0.81로 셋팅하였다. 그때 수학식 15와 16으로부터, 수학식 17을 얻을 수 있다. Here, γ can be obtained experimentally using the least squares method. In this experiment, it was set to -0.81. At this time, equations (17) can be obtained from equations (15) and (16).

따라서, 수학식 17에서 파라미터 α_wz를 가진 라플라시안 PDF로 WZ 채널 상의 노이즈를 모델링 할 수 있고, 채널 모델은 유효한 LDPCA 코드를 선택하는데 적용될 수 있다. Thus, the Laplacian PDF with parameter α _wz in Equation 17 can model noise on the WZ channel, and the channel model can be applied to select a valid LDPCA code.

위 파라미터 α_wz를 사용하면 WZ 채널 상의 초기 신드롬 비트에 대한 양을 계산할 수 있다. 여기에 reverse water-filling 이론을 적용하여 채널에 대한 초기 레잇을 얻을 수 있는데 이를 수학식 18에서 나타내었다. The above parameter α _wz can be used to calculate the amount of initial syndrome bits on the WZ channel. An initial rate for the channel can be obtained by applying reverse water-filling theory, which is shown in Equation 18.

여기서

이고, here

ego,

Dwz는 수학식 19로 표현할 수 있다. Dwz can be expressed by Equation 19.

따라서, 비디오 디코더는 수학식 18에 따른 레잇 정보와 피드백 채널의 통해 각 블록의 채널 정보를 인코더로 보낼 수 있다. 예를 들어 최소 레잇 추정을 위해 프레임당 4비트 정도의 비트 레잇이 필요하고, 채널 식별을 위해 log 3 bits/블록의 비트 레잇이 필요하다. Accordingly, the video decoder may send channel information of each block to the encoder through the rate information and the feedback channel according to Equation 18. For example, a bit rate of about 4 bits per frame is required for minimum rate estimation, and a bit rate of log 3 bits / block is required for channel identification.

이하에서는 프레임복원부(700)의 동작을 예시한다. Hereinafter, an operation of the frame restoring unit 700 will be described.

제 1 프레임은 X'skip, X'wz, X'intra 3개 채널의 모든 디코딩 서브프레임의 포함하여 복원될 수 있는데 이를 상세하게 설명하면 다음과 같다. The first frame may be reconstructed including all decoding subframes of three channels of X'skip, X'wz and X'intra, which will be described in detail as follows.

스킵 채널에 대해 디코더에서 생성한 제 1 프레임인 X'skip는 수학식 5에서 나타낸 바와 같이 키프레임 Yp 및 Yn의 보조 정보 프레임

부터 얻을 수 있다. X'skip, which is the first frame generated by the decoder for the skip channel, is an auxiliary information frame of key frames Yp and Yn, as shown in Equation 5.

You can get it from

반면에 WZ 채널에 디코더에서 생성한 제 1 프레임인 X'wz는 역양자화 의해 조금 더 보완될 수 있다.

를 보조정보프레임 X^의 i번째 밴드의 DCT 계수라고 하고,

를 신드롬 비트로부터 LDPCA 디코딩된 해당 DCT 계수라고 표시한다. 그러면 수학식 20과 같이 변경된 DCT 계수 X'(i)를 나타낼 수 있다. On the other hand, X'wz, which is the first frame generated by the decoder in the WZ channel, may be slightly supplemented by inverse quantization.

Is the DCT coefficient of the i th band of the auxiliary information frame X ^,

Denotes the corresponding DCT coefficient LDPCA decoded from the syndrome bits. Then, the changed DCT coefficient X '(i) may be represented as shown in Equation 20.

여기서 Δ는 DCT 계수에 대한 양자화 스텝 사이즈를 나타내고, X'wz는 X'wz(i)의 역 DCT 에 의해 얻을 수 있다. X'intra는 예를 들어 H.264 인트라 코더를 사용하여 X intra로부터 코딩될 수 있다. Δ represents the quantization step size with respect to the DCT coefficient, and X'wz can be obtained by the inverse DCT of X'wz (i). X'intra can be coded from X intra using, for example, an H.264 intra coder.

이하에서 본 발명의 실시예에 따른 실험결과를 설명한다. 먼저 테스트 조건을 설명하고, 보조정보 생성 방법의 성능에 대해서 평가하고, 채널 구분 결과와 R-D 성능에 대해 평가한다. 마지막으로 제안된 알고리즘의 코덱 안정성과 복잡도에 대해 설명한다. Hereinafter, the experimental results according to the embodiment of the present invention. First, the test conditions are described, the performance of the auxiliary information generation method is evaluated, and the channel classification results and the R-D performance are evaluated. Finally, we describe the codec stability and complexity of the proposed algorithm.

먼저 테스트 조건을 설명하면 다음과 같다. First, the test conditions are described.

도 8은 8개의 테스트 시퀀스의 샘플 프레임을 나타내는데, 각각 샘플 프레임을 Football (FB), Soccer (SC), Foreman (FM), Costguard (CG), Hall Monitor (HM), Mother & Daughter (MD), News (NS), 및 Akiyo (AK)로 호칭하고 괄호 안의 2개의 대문자로 각각 표시한다. 각 시퀀스는 300개의 프레임을 포함하고, Football은 250개의 프레임을 포함한다. 8 shows sample frames of eight test sequences, each of which is represented by Football (FB), Soccer (SC), Foreman (FM), Costguard (CG), Hall Monitor (HM), Mother & Daughter (MD), It is referred to as News (NS), and Akiyo (AK) and denoted by two capital letters in parentheses, respectively. Each sequence contains 300 frames, and Football contains 250 frames.

2개 타입의 공간 분해능을 적용하였는데, 각각 QCIF(quarter common intermediate format) 및 CIF(common intermediate format)이다. 프레임 레잇은 초당 30프레임(fps)으로 하였고, 보조정보 생성에 대해 제 1 프레임은 가변 사이즈의 블록들(s×s)로 나뉘도록 하였으며 s는 16, 8, 4 등이 될 수 있도록 하였다. Two types of spatial resolution were applied, QQIF (quarter common intermediate format) and CIF (common intermediate format), respectively. The frame rate is 30 frames per second (fps), and the first frame is divided into blocks of variable size (s × s) for generating auxiliary information, and s may be 16, 8, 4, and so on.

각 블록의 모션 벡터는 하프 픽셀(half pixel)의 정확도로 [-16, 16] × [-16, 16] 서치 범위 내에서 찾도록 하였다. 양자화 테이블은 다른 화질로 제 1 프레임을 양자화시키도록 하였는데, 키프레임을 인코딩하는데 양자화 파라미트(QP)는 18과 43 사이에서 제어되도록 하였고, 이것은 제 1 프레임과 키프레임의 왜곡 정도를 같도록 할 수 있다. The motion vector of each block was found within the range of [-16 , 16] × [-16 , 16] search with the accuracy of half pixel. The quantization table allows the first frame to be quantized with different picture quality, and the quantization parameter (QP) is controlled between 18 and 43 to encode the keyframe, which allows the same degree of distortion of the first frame and the keyframe. Can be.

표 2는 양자화 테이블 인덱스와 양자화 파라미터의 관계를 예시한다. Table 2 illustrates the relationship between the quantization table index and the quantization parameter.

실험 결과에 따라 본 발명의 일 실시예에 따른 보조 정보의 신뢰도에 대해 설명하면 다음과 같다. Referring to the reliability of the auxiliary information according to an embodiment of the present invention according to the experimental results as follows.

도 9는 Q4와 Q8 에서 149 개의 제 1 프레임에 대한 평균 PSNR (Peak Signal to Noise Ratio)값을 나타낸 리스트이다. FIG. 9 is a list showing average peak signal to noise ratio (PSNR) values for 149 first frames in Q4 and Q8.

이 실험에서 GOP 사이즈는 2로 설정되었고, 키 프레임은 표 2의 양자화 파라미터에 따라 H.264/AVC인트라 코더에 의해 인코딩하였다. 종래의 직접 예측 알고리즘(Direct로 표시)과 종래의 스무딩 알고리즘(Smoothing으로 표시)에 의해 얻어진 보조 정보 생성 결과를, 본 발명의 실시예에 따른 두 가지 방법 예와 비교할 수 있다. 즉 여기서 두 가지 방법 예는 모모션벡터스무딩부가 수행하는 계층적 모션 벡터 스무딩 방식(Hierarchical MV smoothing)과 보조정보개선부가 수행하는 모션 벡터 정정(MV correcting)으로 나타내었다.In this experiment, the GOP size was set to 2 and key frames were encoded by the H.264 / AVC intra coder according to the quantization parameters of Table 2. The result of generating auxiliary information obtained by the conventional direct prediction algorithm (denoted as Direct) and the conventional smoothing algorithm (denoted by Smoothing) can be compared with the two method examples according to the embodiment of the present invention. In other words, two examples of the method are illustrated as hierarchical MV smoothing performed by the motion vector smoothing unit and MV correcting performed by the auxiliary information improving unit.

본 발명의 일 실시예에 따른 보조정보 생성방법이 빠른 모션을 가진 복잡한 프레임에서 특히 기존의 알고리즘 보다 좋은 성능을 가지고 있다는 것을 보여준다. It is shown that the auxiliary information generating method according to an embodiment of the present invention has better performance than a conventional algorithm, especially in a complex frame with fast motion.

예를 들어, Q8에서 Soccer QCIF 시퀀스에 대해 제안된 알고리즘은 각각 직접 예측 알고리즘 및 스무딩 알고리즘 보다 평균 PSNR 가 3.99 dB 및 3.33 dB 더 높다는 것을 알 수 있다. For example, it can be seen that the proposed algorithm for the Soccer QCIF sequence in Q8 has 3.99 dB and 3.33 dB higher average PSNR than the direct prediction and smoothing algorithms, respectively.

Δ는 계층적 모션 벡터 스무딩된 보조정보프레임과

와 모션 벡터가 정정된 보조정보프레임

사이의 차이를 나타낸다. 본 실시예에 따른 모션 벡터 정정 알고리즘은 Soccer와 Football에서 매우 향상된 성능을 보여주었다. 이는 Soccer와 Football들이 다른 6 개의 시퀀스보다 더 다이나믹한 모션 활동을 포함하기 때문이다. 즉, 보조정보프레임을 더 정확하게 추정함으로써. 본 발명의 실시예는 제 1 프레임에 대한 신드롬 비트의 양을 줄일 수 있고, R-D 성능을 향상시킬 수 있다. Δ is a hierarchical motion vector smoothed auxiliary information frame

Information frame with corrected motion and motion vectors

Indicates a difference between. The motion vector correction algorithm according to the present embodiment showed very improved performance in Soccer and Football. This is because Soccer and Football contain more dynamic motion activity than the other six sequences. That is, by more accurately estimating the auxiliary information frame. The embodiment of the present invention can reduce the amount of syndrome bits for the first frame and can improve the RD performance.

이하에서는 채널 정보를 구분하고 모델링한 결과를 예시한다. Hereinafter, a result of dividing and modeling channel information is illustrated.

도 10은 8개의 QCIF 테스트 시퀀스에 대해 양자화 인덱스가 8(Q8)인 경우 각 채널의 비율을 표시한 도면이다. 녹색은 스킵 모드(채널), 붉은 색은 WZ 모드(채널), 파란색은 인트라 모드(채널)을 각각 나타낸다. Football과 Soccer의 테스트 시퀀스에 대해서는 3개의 채널이 상대적으로 고루 분포한다. FIG. 10 shows the ratio of each channel when the quantization index is 8 (Q8) for eight QCIF test sequences. Green indicates skip mode (channel), red indicates WZ mode (channel), and blue indicates intra mode (channel). The three channels are relatively evenly distributed in the test sequence of Football and Soccer.

하지만, Hall Monitor, Mother & Daughter, News 및 Akiyo 테스트 시퀀스에서는 매우 적은 인트라 모드(채널)들이 분포하고 있는데 이는 대부분 정적 모션을 가지고 있기 때문이다. However, there are very few intra modes (channels) in the Hall Monitor, Mother & Daughter, News, and Akiyo test sequences because most have static motion.

도 11 내지 도 18은 본 발명의 실시예(proposed CDV-DVC로 표시)의 R-D 퍼포먼스를 종래의 DVC 코더와 H.264/AVC 코더와 비교한 결과를 나타낸다. 상세히 설명하면 도 11은 QCIF 타입의 Soccer와 Formam 시퀀스, 도 12는 QCIF 타입의 Football 및 Coastguard 시퀀스를, 도 13은 QCIF 타입의Hall Monitor 및 Akiyo 시퀀스를, 도 14는 QCIF 타입의 Mother & daughter 및 News 시퀀스에 대한 테스트 비교 결과를 나타낸다.11 to 18 show the results of comparing the R-D performance of an embodiment of the present invention (denoted as proposed CDV-DVC) with a conventional DVC coder and an H.264 / AVC coder. In detail, FIG. 11 is a QCIF type Soccer and Formam sequence, FIG. 12 is a QCIF type Football and Coastguard sequence, FIG. 13 is a QCIF type Hall Monitor and Akiyo sequence, and FIG. 14 is a QCIF type Mother & daughter and News. The test comparison result for a sequence is shown.

그리고, 도 15는 CIF 타입의 Soccer와 Formam 시퀀스, 도 16은 CIF 타입의 Football 및 Coastguard 시퀀스, 도 17은 CIF 타입의 Hall Monitor 및 Akiyo 시퀀스, 도 18은 QCIF 타입의 Mother & daughter 및 News 시퀀스에 대한 테스트 비교 결과를 각각 나타낸다. 15 is a CIF type Soccer and Formam sequence, FIG. 16 is a CIF type Football and Coastguard sequence, FIG. 17 is a CIF type Hall Monitor and Akiyo sequence, and FIG. 18 is a QCIF type Mother & daughter and News sequence. Each test comparison result is shown.

테스트 결과의 비교를 위해 모션이 없는 H.264/AVC 인터 프레임 코더는 I-B-I-B의 GOP 구조를 가진 픽쳐들로 테스트하였다. For comparison of the test results, the H.264 / AVC interframe coder without motion was tested with pictures with the GOP structure of I-B-I-B.

도 11 내지 도 18은 DVC 알고리즘에 QCIF 타입에 포함하는 8개의 시퀀스에 적용한 결과를 나타낸다. 종래 DVC 코더와 비교하면 본 발명에 따른 실시예는 Soccer와 Football 테스트 시퀀스에서 QCIF에서 1.5dB까지, CIF 타입에서 3.4dB까지 PSNR을 향상시킨다. 제안된 알고리즘은 이들 시퀀스에서 다이나믹하고 불규칙한 모션 블록들을 비효율적인 채널 디코딩 없이 인트라 모드 채널에 할당한다. 반면 본 발명의 실시예는 4개의 테스트 시퀀스(Monitor, Mother & Daughter, News, 및 Akiyo)에 R-D 성능을 매우 향상시킨다. 11 to 18 show the results of applying the eight sequences included in the QCIF type to the DVC algorithm. Compared with the conventional DVC coder, the embodiment according to the present invention improves PSNR by up to 1.5 dB in QCIF and 3.4 dB in CIF type in the Soccer and Football test sequences. The proposed algorithm assigns dynamic and irregular motion blocks to intra mode channels without inefficient channel decoding in these sequences. In contrast, the embodiment of the present invention greatly improves R-D performance in four test sequences (Monitor, Mother & Daughter, News, and Akiyo).

채널 구분 스킴에 기초하여 정적이고 규칙적임 모션 블록은 스킵 모드에 비트를 할당시키지 않는데, 이것이 비트 레잇을 전체적으로 줄인다. 그러나 Foreman과 Costguard 시퀀스에서 본 발명의 실시예는 상대적으로 적은 코딩 게인을 보이는데 이는 종래 DVC 알고리즘과 비교하여 보조정보의 특성에 따라 적응적으로 비트를 할당시키켜 코딩 게인을 얻는다. Static and regular motion blocks based on channel discrimination schemes do not assign bits to skip mode, which reduces the overall bit rate. However, in the Foreman and Costguard sequences, the embodiment of the present invention shows a relatively small coding gain, which is obtained by adaptively allocating bits according to the characteristics of auxiliary information as compared with the conventional DVC algorithm.

이하에서는 본 발명의 실시예(CDV-DVC로 표시)에 따른 코딩 안정성 및 복잡성 테스트에 대해 설명한다. Hereinafter, coding stability and complexity tests according to an embodiment of the present invention (denoted by CDV-DVC) will be described.

표 3은 복원된 제 1 프레임 (WZ 프레임)과 평균 키프레임 PSNR을 비교한 결과이다. 이들 프레임은 제 2 인코딩부와 제 1 인코딩부를 포함하는 두 개의 다른 압축코덱시스템에 의해 독립적으로 코딩/디코딩될 수 있어서 중요하다. 이 본 발명의 실시예에서 평균 차는 0.33dB보다 적었는데 Hall Monitor 및 Akiyo 시퀀스에서는 약간의 차이가 있을 수 있으나 채널 파라미터를 변경하면 역시 적용 가능한다. Table 3 shows a result of comparing the reconstructed first frame (WZ frame) and the average keyframe PSNR. These frames are important because they can be independently coded / decoded by two different compression codec systems including a second encoding portion and a first encoding portion. In this embodiment of the present invention, the average difference is less than 0.33dB, but there may be a slight difference in the Hall Monitor and Akiyo sequences, but it is also applicable to changing the channel parameters.

도 19는 본 발명에 따른 비디오 인코딩 방법의 일 실시예를 예시한 도면이다. 19 is a diagram illustrating an embodiment of a video encoding method according to the present invention.

먼저, 비디오 시퀀스의 키프레임(key frame)을 인트라 코딩한다(S100). First, a key frame of a video sequence is intra coded (S100).

그리고, 비디오 시퀀스의 제 1 프레임의 DC 변환 계수를 채널 인코딩하여 생성된 신드롬 비트를 출력한다(S200). 본 발명의 실시예에 따르면 제 1 프레임을 DCT 변환하고, DCT 변환된 제 1 프레임을 양자화한다. 그리고, 양자화된 제 1 프레임을 LDPCA 인코딩하여 DC 변환 계수의 신드롬 비트를 출력할 수 있다. In operation S200, syndrome bits generated by channel encoding the DC transform coefficients of the first frame of the video sequence are output. According to an embodiment of the present invention, the first frame is DCT-converted and the DCT-converted first frame is quantized. In addition, LDPCA encoding of the quantized first frame may output syndrome bits of the DC transform coefficients.

비디오 디코더로부터 채널 정보를 수신하고, 채널 정보에 따라 선택적으로 제 1 프레임의 양자화된 AC 변환 계수를 채널 인코딩하거나, 제 1 프레임을 인트라 코딩한다(S300). 이때 비디오 디코더로부터 제 1 프레임의 AC 변환 계수를 인코딩할 경우 필요한 비트 레잇 정보를 이용할 수 있다. Channel information is received from the video decoder, and channel encoding of the quantized AC transform coefficients of the first frame is selectively performed according to the channel information, or intra coding is performed on the first frame (S300). In this case, bit rate information necessary for encoding the AC conversion coefficient of the first frame from the video decoder may be used.

도 20은 본 발명에 따른 비디오 디코딩 방법의 일 실시예를 예시한 도면이다. 20 is a diagram illustrating an embodiment of a video decoding method according to the present invention.

먼저 비디오 시퀀스의 키프레임들을 인트라 디코딩한다(S400).First, key frames of a video sequence are intra decoded (S400).

키프레임들을 보간하여 보조 정보를 생성한다(S500). The auxiliary information is generated by interpolating the key frames (S500).

보조정보 생성시에 키프레임들에 포함된 블록들로부터 시간적으로 양방향인 대칭 모션 벡터들의 절대값의 합이 최소로 되는 대칭 모션 벡터 및 대칭 모션 벡터를 포함하는 보조 정보를 생성할 수 있다. 이 과정은 수학식 2에 개시된다.At the time of generating the auxiliary information, auxiliary information including a symmetric motion vector and a symmetric motion vector in which the sum of absolute values of symmetric motion vectors that are bidirectional in time are minimized may be generated from blocks included in keyframes. This process is disclosed in equation (2).

이때 생성한 보조정보를 위에서 예시한 방법에 따라 개선될 수 있다. 대칭 모션 벡터를, 상기 제 1 프레임의 블록 크기에 따라 계층적으로 스무딩한 계층적 모션 벡터를 포함하도록 모션 벡터를 스무딩할 수 있는데, 이 예는 수학식 3에 예시되었다. In this case, the generated auxiliary information may be improved according to the above-described method. The motion vector may be smoothed to include a symmetric motion vector hierarchically smoothed according to the block size of the first frame, which is illustrated in Equation 3.

또한, 이렇게 스무딩된 보조 정보를 계층적 모션 벡터를 이용하여 개선한 보조 정보의 DC 계수와 제 1 프레임의 DC 변환 계수에 대한 신드롬 비트를 이용하여 개선할 수 있다. 이 예는 수학식 6에 예시되었다. In addition, the smoothed auxiliary information may be improved by using the DC coefficient of the auxiliary information improved using the hierarchical motion vector and the syndrome bits of the DC transform coefficient of the first frame. This example is illustrated in equation (6).

비디오 시퀀스의 제 1 프레임의 DC 변환 계수의 채널 인코딩한 신드롬 비트를 수신하여 채널 디코딩한다(S600).The channel encoded syndrome bits of the DC transform coefficients of the first frame of the video sequence are received and channel decoded (S600).

보조 정보 및 상기 채널 디코딩된 상기 제 1 프레임의 DC 변환 계수를 이용하여 채널 정보를 생성하여 출력한다(S700).Channel information is generated and output using the auxiliary information and the DC transform coefficient of the channel decoded first frame (S700).

채널 정보는, 키프레임들과 제 1 프레임의 DC 변환 계수에 대한 신드롬 비트에 기초하여 상기 보조 정보의 각 블록의 왜곡을 추정할 수 있다. 수학식 9에 예시되었다. 추정된 왜곡에 따라 채널 정보를 제 1 모드, 제 2 모드 및 제 3 모드로 나눌 수 있다. The channel information may estimate distortion of each block of the auxiliary information based on syndrome bits for key frames and DC transform coefficients of the first frame. It is illustrated in equation (9). Channel information may be divided into a first mode, a second mode, and a third mode according to the estimated distortion.

채널 모드를 나누는 예는 표 1를 참조한 설명에 개시하였다. An example of dividing the channel mode is disclosed in the description with reference to Table 1.

채널 정보가, 제 1 모드인 경우 보조 정보를 이용하여 제 1 프레임으로 복원하고, 제 2 모드인 경우 보조 정보와 제 1 프레임의 AC 변환 계수의 채널 인코딩한 신드롬 비트를 채널 디코딩한 데이터를 이용하여 제 1 프레임을 복원하고, 제 3 모드일 경우 인트라 코딩된 제 1 프레임을 인트라 디코딩하여 제 1 프레임을 복원한다(S800). AC 변환 계수의 채널 인코딩한 신드롬 비트를 채널 디코딩하기 위해 인코더에서 필요한 레잇 정보를 생성하는 예는 수학식 18에 예시하였다. In the first mode, the channel information is restored to the first frame using the auxiliary information. In the second mode, the channel information is channel-decoded using the channel-coded syndrome bits of the auxiliary information and the AC conversion coefficient of the first frame. The first frame is restored, and in the third mode, the first frame is reconstructed by intra decoding the first frame that is intra-coded (S800). An example of generating rate information required by an encoder to channel decode channel encoded syndrome bits of an AC transform coefficient is illustrated in Equation 18.

따라서, 본 발명의 실시예에 따르면, 분산비디오코딩(DVC)의 율 왜곡 성능을 높일 수 있고, 신뢰성 있는 채널을 식별하여 비디오 디코딩을 수행할 수 있다. 또한, 본 발명의 실시예에 따르면 비디오 디코딩에 롱 레이턴시(long latency)를 줄일 수 있고, 분산비디오코딩 시스템에서 보조정보프레임의 정확하게 생성하고 개선할 수 있다. Therefore, according to an embodiment of the present invention, rate distortion performance of distributed video coding (DVC) can be improved, and video decoding can be performed by identifying a reliable channel. In addition, according to an embodiment of the present invention, it is possible to reduce long latency in video decoding and to accurately generate and improve auxiliary information frames in a distributed video coding system.

100: 제 1 인코딩부,
200: 제 2 인코딩부
210: DCT 부
230: 채널코딩부
300: 프레임제어부
400: 제 1 디코딩부
500: 보조정보부
510: 보조정보생성부
511: 모션추정부
512: 모션벡터스무딩부
520: 보조정보개선부
600: 채널정보결정부
610: 왜곡추정부
620: 채널결정부
630: 채널모델링부
700: 채널디코딩부
800: 프레임복원부100: a first encoding unit,
200: second encoding unit
210: DCT Department
230: channel coding unit
300: frame control unit
400: first decoding unit
500: auxiliary information
510: auxiliary information generation unit
511: motion estimation
512: motion vector smoothing unit
520: auxiliary information improvement unit
600: channel information determination unit
610: distortion distortion
620: channel determination unit
630: channel modeling unit
700: channel decoding unit
800: frame restoration

Claims

In a video encoder for encoding a video sequence,
Outputs a syndrome bit generated by channel encoding the DC transform coefficients of the first frame of the video sequence, and selectively channel encodes the quantized AC transform coefficients of the first frame according to channel information between the video encoder and the video decoder Haha is a first encoding unit;
A second encoding unit for intra coding the key frame of the video sequence; And
And a frame controller configured to output the first frame to the second encoder or to output the first frame to the first encoder according to the channel information.

The method of claim 1,
The first encoding unit,
A DCT unit for performing DCT (discrete cosine transform) transformation of the first frame;
A quantizer for quantizing the DCT transformed first frame; And
And a channel encoder to encode the first quantized frame to low density parity check accumulate (LDPCA) encoding.

The method of claim 2,
The first encoding unit,
And a rate control unit for outputting bit rate information necessary when the channel encoding unit encodes the AC conversion coefficient of the first frame from the video decoder.

The method of claim 2,
And the channel encoding unit encodes the AC transform coefficients using the bit rate information.

A first decoding unit for intra coding key frames of the video sequence; And
Generating auxiliary information by interpolating the keyframes, receiving and channel decoding the channel encoded syndrome bits of the DC transform coefficients of the first frame of the video sequence, and performing DC decoding of the auxiliary information and the channel decoded first frame. Generate and output channel information using the transform coefficients,
In the first mode, the channel information is restored to the first frame using the auxiliary information. In the second mode, the channel information is encoded by the channel encoded syndrome bits of the auxiliary information and the AC conversion coefficient of the first frame. And a second decoding unit reconstructing the first frame using one data, and intra decoding the first frame that is intra-coded in the third mode to restore the first frame.

6. The method of claim 5,
The second decoding unit,
An auxiliary information unit for generating auxiliary information by interpolating the key frames, and selectively improving the generated auxiliary information;
A channel decoding unit for restoring the DC conversion coefficient or the AC conversion coefficient by using a syndrome bit for the DC conversion coefficient of the first frame or a syndrome bit for the AC conversion coefficient of the first frame, respectively; And
And a channel information determiner configured to output channel information by using the auxiliary information and the DC transform coefficient of the channel decoded first frame.

The method according to claim 6,
The auxiliary information unit comprises an auxiliary information generating unit for generating the auxiliary information; And
And an auxiliary information improving unit for improving the generated auxiliary information.

8. The method of claim 7,
The auxiliary information generating unit,
And a motion estimation unit for generating an auxiliary information including the symmetric motion vector and the symmetric motion vector having a minimum sum of absolute values of symmetric motion vectors that are bidirectional in time from blocks included in the keyframes.

The method of claim 8,
The auxiliary information generating unit,
And a motion vector smoothing unit for smoothing the symmetric motion vector to include a hierarchical motion vector hierarchically smoothed according to the block size of the first frame.

The method of claim 9,
The auxiliary information improving unit,
And improving the auxiliary information by using the DC coefficients of the DC information of the first frame and the DC coefficient of the first frame having the auxiliary information improved by using the hierarchical motion vector.

The method according to claim 6,
The channel information determination unit,
A distortion estimator for estimating a distortion of each block of the auxiliary information based on the syndrome bits for the key frames and the DC transform coefficients of the first frame; And
And a channel determiner for dividing the channel information into the first mode, the second mode, and the third mode according to the estimated distortion.

12. The method of claim 11,
The channel information determination unit,
And outputting bit information necessary for channel encoding the AC transform coefficients when the channel information is in the second mode using the estimated distortion.

Intra coding a key frame of the video sequence;
Outputting a syndrome bit generated by channel encoding the DC transform coefficients of the first frame of the video sequence; And
Receiving channel information from a video decoder, and optionally channel encoding the quantized AC transform coefficients of the first frame or intra coding the first frame according to the channel information.

Intra decoding the keyframes of the video sequence;
Generating auxiliary information by interpolating the keyframes;
Receiving and channel decoding the channel encoded syndrome bits of the DC transform coefficients of the first frame of the video sequence;
Generating and outputting channel information by using the auxiliary information and the DC transform coefficient of the channel-decoded first frame,
In the first mode, the channel information is restored to the first frame using the auxiliary information. In the second mode, the channel information is encoded by the channel encoded syndrome bits of the auxiliary information and the AC conversion coefficient of the first frame. Reconstructing the first frame using one data, and intra decoding the first frame that is intra-coded in a third mode to reconstruct the first frame.