KR100728587B1 - 하이브리드 에러 은닉 방법 - Google Patents

Abstract

본 발명은 하이브리드 에러은닉방법에 관한 것으로, 임의의 인트라 프레임에 대해 움직임 벡터를 "제로"로 가정하고 시방향으로 복원했을 경우의 경계 부분 왜곡 측정치(

)를 산출하는 제 1과정과, 산출된 경계 부분 왜곡 측정치가 기 설정된 낮은 기준치보다 작은 경우 시방향 에러 은닉 방식을 적용하고, 기설정된 높은 기준치보다 높은 경우 공간방향 에러 은닉 방식을 적용하는 제 2과정, 그리고 산출된 경계 부분 왜곡 측정치가 기 설정된 낮은 기준치와 높은 기준치 사이에 있는 경우 하이브리드 에러 은닉을 수행하는 제 3과정으로 이루어진다.

본 발명에 의하면, 기존에 구현되어 있는 H.264의 공간방향 에러 은닉 알고리즘보다 PSNR성능이 향상이 되었는데 움직임이 작고 양자화 계수가 상대적으로 작은 경우 매우 향상된 특성을 얻으며, 시방향 에러 은닉 알고리즘 방법만을 적용했을 때보다 PSNR성능이 더 향상되며, 패킷 손실율이 높고 비트 레이트가 상대적으로 낮은 네트워크 환경에서 실시간 비디오 전송을 위하여 효과적으로 적용된다.

에러 은닉, H.264, 인트라 프레임

Description

하이브리드 에러 은닉 방법{HYBRID ERROR CONCEALMENT METHOD FOR INTRA-FRAME IN H.264}

도 1은 RTP/UDP/IP 환경에서의 H.264 전송과정을 설명하기 위한 예시도,

도 2는 가중 픽셀 평균 방식을 기반으로 한 인트라 프레임의 에러 은닉 알고리즘을 설명하기 위한 예시도,

도 3은 BMA을 기반으로 한 인터 프레임의 에러 은닉 알고리즘을 설명하기 위한 예시도.

본 발명은 에러 은닉 방법에 관한 것으로 특히, 공간방향과 시방향의 에러 은닉 방식의 장점을 같이 결합하기 위해 인트라 프레임에 적용하는 시방향 에러 은닉 알고리즘과 H.264에서 사용되고 있는 공간방향 에러 은닉 알고리즘을 적응적으로 결합함으로써 패킷 손실율이 높은 반면에 비트 레이트가 상대적으로 낮은 네트워크 환경에서 실시간 비디오 전송을 하기 위한 하이브리드 에러 은닉 방법에 관한 것이다.

일반적으로, ADSL, 케이블 등 링크 기술의 발달로 전송 속도가 빨라지면서 VOD, 비디오 스트리밍 등 인터넷 상의 비디오 전송량이 점점 증가하고 있고, 디지털 방송에서 모바일 기기까지 무선 네트워크 쪽으로도 비디오 서비스가 점차 확장하고 있는 추세이다.

그러나 현재 인터넷은 실시간 비디오 전송을 위한 QoS(Quality of Service)를 보장해주지 않고 있고 무선 네트워크 특성상 전송 도중 패킷이 손실되는 불안정한 특성을 가지고 있어 비디오를 코딩하고 전송하는데 있어서 여러 가지 기술이 필요하다.

더욱이 비디오는 대역폭, 신호지연, 손실 측면에서 요구조건이 있는 데 그 조건을 살펴보면, 첫 번째로 비디오는 최소한의 대역폭을 가져야 만이 적당한 화질을 유지 할 수 있다는 것이다. 두 번째로는 신호지연 측면에서 봤을 때 일반 데이터에 비해 스트리밍이나 실시간 비디오 전송은 끊김 없이 계속 재생되어야 하므로 제시간에 오지 못하고 늦게 도착하는 것은 그 자체가 손실과 같다는 것이다. 마지막으로 비트 에러나 패킷 손실로 인해 손실률이 어느 정도 이상 높아지면 화질을 알아볼 수 없게 되므로 비디오를 인코딩과 디코딩하는 과정에서 이를 고려해야 한다는 것이다.

이때 대역폭이나 신호지연의 문제는 데이터 전송경로상의 하드웨어적인 환경에 관한 문제로서 하드웨어를 개선하는 것에 의해 해당 조건을 손쉽게 충족할 수 있으며 예측 가능한 것인 데 반하여, 손실이 발생되는 경우는 그 발생에 대한 예측이 불가능할 뿐만 아니라 손실이 일어나는 경우와 그 정도의 차가 모두 제각각이므로 손실에 따른 대비책이 별도로 마련되어야 하는 실정이다.

따라서 패킷 손실이 있어도 비디오 화질을 최대한 유지할 수 있게 해 주는 FEC(Forward Error Correction), 재전송, 에러 복구, 에러 은닉 등 에러발생에 따른 손실을 보상하기 위한 제어방법이 필요하다.

이중 FEC는 비트 스트림에 여분의 정보를 더하는 방식으로, 비트량이 증가하여 채널 용량을 줄이고 장기간에 집중적으로 패킷이 손실되면 성능이 떨어지는 단점이 있고, ARQ (automatic repeat request) 같은 재 전송 방식은 신호 지연측면에서 실시간 비디오 전송과 스트리밍에 적합하지 않다는 문제점을 갖는다. 또한, 에러 복구 기술은 전송하기 전에 인코더 쪽에서 코딩하고 압축하는 단계에서 패킷 손실을 고려해 패킷 손실이 발생하더라도 손실의 영향을 적게 해 주는 방식이나, 이 역시 문제점을 내포하고 있다.

따라서 근래 들어 주목받고 있는 기술이 에러 은닉(Error Concealment) 기술인데, 이는 비디오 데이터를 전송받은 후 디코더 쪽에서 수행하는 방식으로, 패킷 손실이 일어났을 때 우리 눈에 적당한 화질로의 인식을 위해 정확히 받은 주위의 정보를 가지고 잃어버린 데이터를 복구하는 방식이다.

즉, 비디오 스트림은 저장과 전송을 용이하게 하기 위하여 압축처리(코딩)를 받는데 종종 이렇게 코딩된 비디오 스트림은 채널 에러 및/또는 네트워크 혼잡 때문에 데이터 손실을 경험하거나 전송 중 오염된 상태가 되며, 디코딩시 데이터의 손실/오염 그 자체는 없어진 픽셀값으로서 나타난다.

이러한 결함을 감소시키기 위하여 디코더는 이러한 없어진 픽셀값을 동일한 영상 내의 다른 매크로 블록으로부터 또는 다른 영상으로부터 그 값을 추정함으로 써 보상하는 것이며 이를 "은닉" 혹은 "은폐"라 일컫는다. 이 방식은 인접한 정보와 연관성이 큰 특성을 이용하여 비교적 원래 데이터와 가깝게 복구할 수 있고 특별히 전송량을 증가시키지 않아 네트워크로 보낼 때 전송 부담을 주지 않는 장점이 있다.

따라서 에러 은닉 방식을 적용하면 패킷 손실이 발생하는 환경에서 전송 비용 부담을 늘리지 않고 비디오 화질을 복원하는 것이 가능하고, 상술한 에러 복구 기술과 에러 은닉을 같이 적용하면 더욱 효과적인 에러 복원이 가능해지며, 이러한 사실을 근거로 네트워크에서 손실이 발생할 경우 에러 복구와 에러 은닉의 성능에 따라 비디오 화질의 성능이 크게 좌우될 것임을 추정할 수 있다.

또한, 근래 들어 소비자들의 취향은 콤팩트한 크기의 시스템을 지향하기 때문에 작은 크기를 가지면서 화상의 실시간 처리가 가능하고, 게다가 그 품질이 매우 우수해야 한다는 요건이 충족되어야 한다. 이를 위해 제안되어진 기술이 H.264/MPEG-4 AVC(Advanced Video Coding)(이하 H.264라 한다) 표준안에 따른 인코딩/디코딩 즉, 코덱(CODEC) 기술이라 할 수 있다.

최근 H.264에 채택되어 있는 표준 에러 은닉 알고리즘의 성능을 향상시킨 비교적 신규한 에러 은닉 알고리즘들이 많이 제안되고 있는데, Jung et al. [참조문헌: B. Jung, B. Jeon, M. D. Kim, B. Suh, and S. I Choi, "Selective temporal error concealment algorithm for H.264/AVC," Proc. IEEE International Conference on Multimedia and Expo, vol. 1, pp 411-414, June 200]은 손실된 매크로블록을 배경과 전경으로 구분해 시방향으로 연관성이 높은지 확인하고 전경일 경우 하나의 이전 프레임만으로는 연관성이 떨어지는 것을 고려하여 여러 개의 기준 프레임을 가지고 에러 은닉을 수행하는 것을 제안하고 있다.

또한, Lee et al. [참조문헌: P. J. Lee, H. H. Chen, and L. G. Chen, "A new error concealment algorithm for H.264 Video Transmission," Proc. IEEE Int. Sympo. Intelligent Multimedia, pp 619-622, October 200]은 손실된 매크로 블록의 블록 사이즈를 결정하여 여러 개의 참조 프레임으로부터 움직임 벡터들을 찾아 주변 경계 왜곡 측정치가 가장 작은 움직임 벡터를 선택하는 방법을 제안하고 있다.

또한, Xu et al. [참조문헌: Y. Xu and Y. Zhou, "H.264 video communication based refined error concealment schemes", IEEE Trans. Consumer Electronics, vol.50, no.4, pp 1135-1141, November 200]은 인접한 매크로블록들이 인트라 코딩된 개수가 많거나 같다면 공간방향(spatial) 에러 은닉 알고리즘을, 인터 코딩된 개수가 많다면 시방향(temporal) 에러 은닉 알고리즘을 적용하여 인접한 매크로블록들의 성격에 적응하여 에러 은닉 알고리즘을 적용할 것을 제안한다.

또한, Panos et al. [참조문헌: P. Nasiopoulos, L. Coria-Mendozal, H. Mansour, and A. Golikeri, "An improved error concealment algorithm for intra-frames in H.264/AVC," Proc. IEEE Int. Symp. Circuits and Systems, vol.1, pp 320-323, May 200]은 인트라 프레임이 독립적으로 코딩되어 이전의 프레임과 연관성이 떨어질 수도 있지만 에러가 축적되는 것을 방지하기 위하여 인트라 프레임으로 코딩하는 경우가 많으므로 이 두 가지 경우를 모두 고려하는, 다시 말해 공간방 향 에러 은닉뿐만 아니라 시방향 에러 은닉도 적용할 것을 제안하고 있다.

보다 구체적으로 시방향 에러 은닉을 수행하여 경계값 차이의 절대값의 합이 가장 작은 것을 선택한다. 이 절대값의 합이 일정 기준치보다 크면 추출한 매크로블록 값을 버리고 H.264에서 기존 사용되고 있는 공간방향 에러 은닉 방법을 사용하고, 작거나 같으면 시방향 에러 은닉으로 구한 매크로블록 값으로 대체된다.

이 중 Jung et al.와 Lee et al. 은 시방향 에러 은닉 알고리즘만을 수행한다. 그리고 Xu et al. 과 Panos et al. 은 하이브리드 방식을 채택하고 있지만 시방향 에러 은닉과 공간방향 에러 은닉 중 한 가지 방식만을 선택하여 적용한다.

따라서 앞서 살펴본 기존의 제안 방식으로는 시방향 에러 은닉과 공간방향 에러 은닉 중 어느 하나의 방식에 의해 한정적인 적용만이 가능하기 때문에, 패킷 손실율이 높은 반면에 상대적으로 낮은 네트워크 환경에서 실시간 비디오 전송을 하고자 하는 경우와 같이 요구 스펙은 강한데 반해 제공되는 환경이 다소 열악한 네트워크 기반에서는 요구되는 품질의 서비스가 어렵다는 한계성을 내포하고 있다.

본 발명은 상술한 문제점을 해결하기 위한 창안된 것으로서, 공간방향과 시방향의 에러 은닉 방식의 장점을 같이 결합하기 위해 인트라 프레임에 적용하는 시방향 에러 은닉 알고리즘과 H.264에서 사용되고 있는 공간방향 에러 은닉 알고리즘을 적응적으로 결합함으로써 패킷 손실율이 높은 반면에 비트 레이트가 상대적으로 낮은 네트워크 환경에서 실시간 비디오 전송을 하기 위한 하이브리드(hybrid) 에러 은닉 방법을 제공하는 데 그 특징적인 목적이 있다.

삭제

삭제

삭제

본 발명의 상술한 목적과 여러 가지 장점은 이 기술 분야에 숙련된 사람들에 의해, 첨부된 도면을 참조하여 후술되는 본 발명의 바람직한 실시 예로부터 더욱 명확하게 될 것이다.

우선 본 발명에 적용되는 기술적 사상을 살펴보면, H.264/AVC는 좋은 압축 성능과 함께 다양한 네트워크로의 적응력을 가지고 있다. 이는 두 개의 개념적인 구조인 VCL(video coding layer)와 NAL(network abstraction layer)로 두개의 층으로 구성되어 코딩의 효율성과 네트워크 친화적인 특성으로의 두 가지 목적을 동시에 달성한다.

VCL은 핵심 압축 기술을 포함하고 있으며 네트워크와 독립적이다. 기존의 비디오 표준의 방식을 수용하면서도 프레임 예측과 코딩 효율성, 에러와 패킷 손실로부터의 복구 측면에서 향상된 성능을 제공한다.

NAL은 헤더 정보와 VCL에서 코딩된 데이터를 전송 계층에 따라 전송에 적합한 형태로 지원해 인코딩된 여러 가지 프로토콜의 특성과 구조에 따라 쉽게 통합(integration)을 가능하게 한다[참조문헌: T. Wiegand, G. Sullivan, J. Bjntegaard, and G. A. Luthra, "Overview of the H.264/AVC video coding standard," IEEE Trans. Circuits Syst. Video Technol, vol.13, no.7, pp 560576, July 2003].

H.264의 에러 복구 기술들은 파라미터 셋 (parameter set), 여분의 슬라이스 (RS), 데이터 분할 (Data Partitioning), FMO (Flexible Macroblock Ordering)가 있다. 파라미터 셋은 프레임들이나 슬라이스를 디코딩하기 위해 필요한 중요한 정보를 신뢰적인 전송 프로토콜을 이용하여 미리 'out-out-band'로 전송함으로써 패킷 손실로부터 보호할 수 있다.

RS는 패킷 손실이 많이 발생하는 환경(네트워크 환경)에서의 전송을 위해 코딩되는 슬라이스의 매크로 블록에 여분의 매크로 블록을 인코딩하는 것으로, 패킷 손실로 인해 원래의 슬라이스가 없어졌을 경우 여분의 슬라이스를 통해 디코딩된다. 데이터 분할은 매크로 블록의 헤더, 슬라이스 헤더, 매크로 블록 타입, 양자화 계수 등 디코딩하는 데 가장 중요한 정보를 A구역, 인트라 프레임으로 코딩한 데이터는 B구역, 인터 프레임으로 코딩한 데이터를 C구역으로 슬라이스 당 총 3구역으로 나누어 3개의 NALU로 코딩하여 각각 따로 전송하여 패킷 손실에 대응하는 방식이다.

FMO는 슬라이스 그룹 개념을 도입해 매크로 블록마다 슬라이스 그룹을 지정하여 슬라이스에 매크로 블록을 유연하게 할당하는 방식이다. 그 중 'dispersed' 방식은 그룹들을 흩어지게 할당하는 방식으로, 슬라이스 그룹을 두 개로 해서 첵커보드 타입으로 코딩이 이루어지면 어느 한 그룹에 속하는 패킷이 손실되었을 경우, 다른 그룹에 속하는 패킷의 정보를 이용하여 효과적으로 에러 은닉을 적용시킬 수 있다[참조문헌: T. Sockhammer, M. M. Hannuksela, T. Wiegand, "H.264/AVC in wireless environments," IEEE Trans. Circuits Syst. Video Technol, vol.13, no.7, pp 657673, July 2003].

이러한 방식을 기준으로 하는 비디오 전송 방식에 대해 살펴보면, 실시간 통신을 해야 하는 화상 회의, 화상 전화 등 화상 서비스, 비디오 스트리밍과 미리 코딩되어 있는 비디오 스트림이 인터넷상으로 전송되는 경우 네트워크 계층은 IP(Internet Protocol), 전송 계층은 UDP(User Datagram Protocol), 응용 전송 계층은 RTP(Real-Time transport Protocol)를 사용해 인터넷상으로 전송된다. 이때 IP는 QoS를 보장하지 않고 불안정한 서비스를 제공한다.

UDP는 손실에 대한 재전송이 없어 TCP에 비해 다소 불안정하지만, 추가적인 딜레이(전송 지연)를 발생시키지 않으므로 실시간 비디오 전송에 주로 사용한다. 하지만 UDP/IP를 사용하여 전송하는 경우 패킷의 손실과 순서의 재 정렬이 발생할 수 있으므로 상위 응용 전송 계층인 RTP를 적용하여, 'sequence number'와 'time stamp'를 통해 패킷 손실과 재생의 상대적인 시간을 알려준다[참조문헌:S. Wenger, "H.264/AVC over IP," IEEE Trans. Circuits Syst. Video Technol. Vol. 13,no.7, pp 645656, July 2003].

첨부한 도 1은 인터넷상으로 H.264의 전송 과정을 나타낸 것으로, H.264의 인코더에서 인트라 또는 인터 프레임으로 코딩하고 NALU로 매핑 후, RTP 패킷으로 전송되고, 디코더에서 인트라 프레임 또는 인터 프레임에 따라 디코딩한 후 손실된 부분은 에러 은닉을 통해 복원하는 과정을 나타내고 있다.

이때 에러 은닉 과정을 살펴보면, 에러 은닉은 매크로 블록 단위로 수행되며, 상태 지도에 '손실됨(lost)'로 표시되어 있는 매크로 블록은 인접한 '정확히 받았음(correctly received)'로 표시된 매크로 블록들로 에러 은닉이 수행되어 복 구되고, 정확하게 받은 인접한 매크로 블록들이 하나도 없는 경우에는 '복구됨(concealed)'로 표시된 매크로 블록들로 에러 은닉이 수행된다.

에러 은닉은 인트라 프레임과 인터 프레임에 따라 두 가지 경우로 나누어질 수 있으며, 은닉 방법에 따라서 공간방향 에러 은닉과 시방향 에러 은닉으로 구분된다.

공간방향에러 은닉은 에러가 발생한 프레임의 주변 화소의 정보를 이용하여, 상호 보간(interpolation)을 통하여 에러의 영향을 최소로 하며, 시방향 에러 은닉은 에러가 발생한 블록을 복원하기 위해서 손실된 움직임 정보를 추정한 후, 이전 프레임에서 현재 프레임의 블록을 대체한다.

이러한 은닉방식을 인터 프레임을 위한 공간방향 에러 은닉을 예를 들어 살펴보면, 인트라 프레임(intra-frame) 경우에는 이전의 프레임들이 아닌 현재 프레임에서 먼저 인코딩된 매크로 블록들을 기반으로 코딩되기 때문에 2차원 공간적으로(spatially) 에러 은닉을 수행한다.

첨부한 도 2에 도시되어 시는 바와 같이, 픽셀간의 거리에 반비례하게 웨이트를 계산해 평균을 내는 가중 픽셀 평균 방식(weighted pixel averaging)을 기반으로 수행된다[참조문헌: Y.-K. Wang, M. M. Hannuksela, V. Varsa, A. Hourunranta, and M. Gabbouj, "The error concealment feature in the H.26L test model," Proc. IEEE Int. Conf. Image Processing, pp 729-733, 2002.].

매크로블록의 수직좌표를

, 수평좌표를

, 매크로블록을 구성하는 픽셀의 수직좌표를

, 수평좌표를

, 위쪽, 아래쪽, 왼쪽, 오른쪽에 위치한 인접한 매크로 블록을

라 하면, 에러 은닉에 사용되는 인접 벡터들을 정의하면 아래의 [수학식 1]과 같다.

[수학식 1]

여기에서 공간방향 에러 은닉을 위한 가중치(weight)들은 아래의 [수학식 2]와 같이 구한다.

[수학식 2]

가중 픽셀 평균 방식을 통해 복원한 매크로 블록

은 아래의 [수학식 3]과 같이 구한다.

[수학식 3]

이 방식은 정확히 받은 이웃하는 매크로 블록 개수가 2개 이상 있으면 정확히 받은 매크로 블록들만으로 수행되며, 2개 미만인 경우는 에러 은닉으로 복원한 이웃하는 매크로 블록들로 수행된다. 따라서 정확하게 받아진 이웃하는 매크로 블록의 개수에 따라 에러 은닉 성능이 크게 좌우가 될 것임을 추정할 수 있다.

상술한 인터 프레임을 위한 공간방향 에러 은닉방식과 달리 인터 프레임을 위한 시방향 에러 은닉방법을 살펴보면, 인터 프레임(inter-frame)은 이전의 프레임을 참조하여 코딩되므로 2차원 공간적으로 이웃하거나 시방향으로(temporally) 이웃하는 매크로 블록들의 움직임 정보를 보고 없어진 매크로 블록들의 움직임 벡터(MV)를 추측하여 에러 은닉을 한다.

정확히 받은 슬라이스들의 평균 움직임 벡터가 어느 일정값보다 작으면 기준 프레임의 해당하는 위치에 있는 값으로 대체되고, 크거나 같으면 BMA(Boundary Matching Algorithm)을 기반으로 이루어진다.

이때 움직임 벡터의 최소 단위는 8x8단위로, 인접한 매크로 블록들이 4x8, 8x4, 4x4블록으로 나누어졌을 경우는 평균을 구해 8x8단위의 움직임벡터를 이용한다.

후보 매크로 블록들은 위, 아래, 왼쪽, 오른쪽으로 이웃하는 매크로 블록들의 움직임 벡터들을 가지고 움직임 보상으로 구한 네 개의 매크로 블록들과 움직임 벡터가 0으로 기준 프레임의 해당하는 위치에 있는 매크로 블록을 가지고 인접한 매크로 블록들 간의 경계 부분 왜곡(side match distortion,

)이 가장 작은 매크로 블록으로 복원이 이루어진다.

첨부한 도 3은 BMA를 기반으로 한 인터프레임의 에러 은닉방식을 설명하기 위한 예시도로서, 경계 부분 왜곡을 구하기 위해서는 아래의 [수학식 4]를 기준으로 한다.

[수학식 4]

상기 [수학식 4]에서

은

을 구하는 데 쓰인 총 픽셀의 수이고, 첨부한 도 3에서 보면 IN에 위치한

는 인접한 매크로 블록간에 경계와 맞닿아 있는 움직임 벡터를 가지고 움직임 보상을 통해 얻은 매크로 블록의 픽셀값이고, OUT에 위치한

는 복원하려는 매크로 블록의 경계와 맞닿아 있는 이웃하는 매크로 블록들의 픽셀값을 의미한다.

상술한 과정에 따른 인터 프레임을 위한 시방향과 공간 방향 에러은닉에 대응하여 인트라 프레임을 위한 시방향과 공간 방향 에러은닉에 대해 살펴보면, 우선 인트라 프레임을 위한 시방향 에러 은닉과정은, 기존의 H.264 레퍼런스 소프트웨어에서 인트라 프레임의 경우에는 공간방향 에러 은닉만을 적용한다.

그러나 인트라 프레임도 공간방향 이외에도 이전의 프레임과도 연관성이 있을 수 있어 시방향 에러 은닉의 적용이 가능하므로 인트라 프레임을 위한 시방향 에러 은닉 방식을 제안한다.

움직임이 많은 경우 성능이 좋지 않을 수 있지만, 움직임이 적거나, 움직임이 없는 배경의 경우에는 공간방향 에러 은닉보다 좋을 수 있다. 제안하는 시방향 에러 은닉 알고리즘은 움직임 벡터를 0으로 두고 이전의 프레임에서 해당하는 위치의 매크로블록 값으로 대체하는 방식으로 아래의 [수학식 5]와 같다.

[수학식 5]

상기 [수학식 5]에서

는 현재 프레임에서 시간방향 에러 은닉을 수행해서 얻은 매크로 블록을 의미하며,

는 이전 프레임에서 같은 위치에 있는 매크로 블록을 의미하고,

는 수직과 수평 방향의 매크로 블록 위치 좌표를 나타낸다.

손실된 매크로 블록과 바로 인접한 매크로 블록들의 움직임 벡터들로부터 움직임 보상을 해서 값들을 비교할 필요할 없이 간단히 수행할 수 있으므로 계산하는 복잡성을 현저히 줄일 수 있다.

따라서 본 발명은 인트라 프레임이 현재 프레임의 같은 슬라이스 내에서 인접한 매크로 블록들로 코딩되지만 이전 프레임과도 연관성이 있으므로 손실된 매크로 블록에 대해 공간방향 에러 은닉 알고리즘에 시방향 에러 은닉 알고리즘을 혼용하여 적용한다면 계산성의 복잡성을 줄일 수 있으면서 품질의 향상을 도모할 수 있을 것이라는 데 착안한 것으로써, 인트라 프레임에 적용하는 시방향 에러 은닉 알고리즘과 H.264에서 사용되고 있는 공간방향 에러 은닉 알고리즘을 적응적으로 결합한 것이다.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 본실시예에서는 손실된 매크로블록에 대해 공간방향 에러 은닉만을 적용할 것이 아니라 공간 방향 에러 은닉과 시방향 에러 은닉 방식을 적응적으로 조합시키기 위해, 공간방향 에러 은닉은 H.264에서 사용하는 가중 평균 방식을, 시방향 에러 은닉은 상술한 [수학식 5]를 기준으로 설명하였던 인트라 프레임을 위한 시방향 에러 은닉과정을 혼용한다.

본 발명에 따른 하이브리드 에러 은닉 알고리즘은 아래의 [수학식 6]과 같이 정의할 수 있다.

[수학식 6]

상기 [수학식 6]에서

값은 시방향으로 에러 은닉된 매크로 블록에 대한 가중치를 나타낸다. 또한,

는 각각 수직방향과 수평방향을 나타내는 픽셀 좌표로,

,

로 표현할 수 있고

는 현재 프레임의 (

)좌표에 있는 픽셀값을,

는 이전 프레임에서 해당하는 위치에 있는 픽셀값을 나타낸다.

이때, 상기

값은 H.264에서 시방향 에러 은닉을 적용할 때 측정하는 경계 부분 왜곡 측정치의 합인

에 의해 결정되고,

는 아래의 [수학식 7]과 [수학식 8]과 같이 산출되어 진다.

[수학식 7]

상기 [수학식 7]에서

,

,

,

은 각각 위, 아래, 왼쪽, 오른쪽 경계 방향의 왜곡 측정치를 나타내고,

는 이들의 합으로서 아래의 [수학식 8]과 같이 구한다.

[수학식 8]

의 값이 낮은 기준치(

)보다 작으면 시방향 에러 은닉만 적용하게 되어

는 1이 되고, 높은 기준치(

)보다 크면 공간방향 에러 은닉만 수행하게 되고,

는 0이 된다.

의 값이

과

사이에 위치하면 하이브리드 에러 은닉을 적용한다.

상술한 바와 같이

의 값이

과

사이일 경우,

값은

에 대해 선형적으로 감소하도록 구한다. 이상과 같이

에 의하여 적응적으로 결정되는 가중치

를 수학식으로 정리하여 표현하면 아래의 [수학식 9]와 같다.

[수학식 9]

상기 [수학식 9]에서

과

은 이전 프레임의

값들을 어느 정도 반영하고 현재 프레임의

값을 제일 큰 비중으로 반영하는 'moving average' 방법으로 정한다.

상기

과

는

에 대한 함수로서 실험적으로 정할 수 있는데,

은

의 평균값의 2.8배,

는

의 최대값으로 정하여 시뮬레이션을 수행하였다.

의 평균값과

의 최대값의 'moving average'는 아래의 [수학식 10]과 같이 정의된다.

[수학식 10]

<실험예>

상기 [수학식 10]에서 변수

값을 0.3으로 설정한 후, [수학식 6] 내지 [수학식 10]의 관계식을 이용하여 시뮬레이션을 수행하였다.

실험을 위한 환경은 'Foreman', 'Mobile', 'Mother and Daughter'CIF 비디오 영상에 대해 인터넷상으로 H.264/AVC를 전송하는 데 초점을 맞추어 H.264 JM9.3버전[참조문헌 : H.264/AVC software coordination. http://bs.hhi.de/ suehring/] 코드를 사용하여 출력 파일 형태를 RTP 패킷 모드로 시뮬레이션을 하였다.

여기에 H.264의 에러 복구 기술인 FMO중 dispersed 방식을 적용하고, RTP 패킷으로 구성된 비트스트림에서 임의의 패킷을 버리는 C 코드[참조문헌 :S. Wenger, "Common conditions for wire-line, low delay IP/UDP/RTP packet loss resilient testing," ITU-T SG16 Doc. VCEG-N79r1, 2001.][참조문험 : M. Luttrell, S. Wenger, M. Gallant, "New versions of packet loss environment and pseudomux tools," http://www.stewe.org/contrib.htm, Q15-I-09.zip, 1999.]를 수정하여 RTP 패킷 손실을 시뮬레이션 하였다.

기존의 에러 은닉 알고리즘과 본 발명에 따른 알고리즘의 성능 비교 (Frame 50~59)의 예가 아래의 표 1에 도시되어진 바와 같다.

<표 1>

또한, 에러 은닉 알고리즘과 본 발명에 따른 알고리즘의 성능 비교(Frame 90~99)의 예가 아래의 표 2에 도시되어진 바와 같다.

<표 2>

상기 표 1과 표 2에 나타나 있는 사항을 간략히 살펴보면, 표 1, 표 2는 각각 'Foreman', 'Mother and Daughter', 'Mobile', 'Bus' 영상에 대해 양자화 계수(QP)를 22, 34, 45로 다르게 해서 H.264에서 사용하는 공간방향 에러 은닉(spatial EC), 제안하는 시방향 에러 은닉(temporal EC), 제안하는 하이브리드 에러 은닉 방식(hybrid EC)의 성능을 보여주고 있다.

본 발명에 따른 하이브리드 에러 은닉 방식의 PSNR성능이 가장 좋고 제안하는 시방향 에러 은닉, H.264에서 사용하고 있는 공간방향 에러 은닉방식 순으로 성능을 보여주고 있다.

움직임이 적은 'Foreman', 'Mother and Daughter' 영상은 양자화 계수가 22 일 때, 기존의 공간방향 에러 은닉 방식보다 본 발명에 따른 시방향 에러 은닉 방식이 최대 3.5dB, 움직임이 많은 'Mobile' 영상은 최대 2.5dB 정도 더 좋은 것을 알 수 있다.

제안하는 하이브리드 에러 은닉 방식은 시방향 에러 은닉 방식만을 적용했을 때보다 약 0.5~2dB 정도의 성능 향상을 보이고 있다.

이상에서 설명한 바와 같은 본 발명에 따른 하이브리드(hybrid) 에러 은닉 방법을 제공하면, 기존에 구현되어 있는 H.264의 공간방향 에러 은닉 알고리즘보다 PSNR 성능이 향상이 되었는데 특히 움직임이 작고 양자화 계수가 상대적으로 작은 경우에는 매우 향상된다.

또한, 본 발명에 따른 하이브리드 에러 은닉 알고리즘은 시방향 에러 은닉 알고리즘 방법만을 적용했을 때보다 PSNR성능이 더 향상되며, 패킷 손실율이 높고 비트 레이트가 상대적으로 낮은 네트워크 환경에서 실시간 비디오 전송을 위하여 효과적으로 적용될 수 있다.

이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

Claims (5)

1. 네트워크 환경에서 실시간 비디오 전송을 위한 에러 은닉 방법에 있어서,

   임의의 인트라 프레임에 대해 움직임 벡터를 "제로"로 가정하고 시방향으로 복원했을 경우의 경계 부분 왜곡 측정치--

   

   ,

   

   ,

   

   및

   

   의 합산에 의해 산출됨--를 산출하는 제 1과정;

   상기 산출된 경계 부분 왜곡 측정치가 기 설정된 낮은 기준치보다 작은 경우 시방향 에러 은닉 방식을 적용하고, 기설정된 높은 기준치보다 높은 경우 공간방향 에러 은닉 방식을 적용하는 제 2과정; 및

   상기 산출된 경계 부분 왜곡 측정치가 기 설정된 낮은 기준치와 높은 기준치 사이에 있는 경우 아래의 수학식에 따라 에러 은닉을 수행하는 제 3과정; 을 포함하는 것을 특징으로 하는 하이브리드 에러 은닉 방법.

   [수학식]

   

   여기서,

   

   는 시방향 에러은닉에 의한 매크로 블록,

   

   는 공간방향 에러은닉에 의한 매크로 블록,

   

   는 상기 시방향으로 에러 은닉된 매크로 블록에 대한 가중치,

   

   는 1에서 상기

   

   를 감산한 값.
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images