KR20040097519A - 패킷 전송망에서 영상 데이터의 에러 처리 방법 및 장치 - Google Patents

Abstract

본 발명은 영상에 대하여 디코딩을 수행하면서 블럭단위로 에러가 감지되는지의 여부를 판단하고, 상기 판단결과 에러가 감지되면, 에러 발생 위치를 판단하여 상기 에러 발생 위치가 영상의 제1 영역에 해당하는 경우, 연속적으로 2프레임이상 제2 영역에서 에러가 발생한 경우, 연속적으로 3프레임이상 제3 영역에서 에러가 발생한 경우에 상기 영상을 스킵하는 것으로서, 패킷 전송 환경에서 발생되어진 에러로 인한 화상 단말 시스템의 에러 누적 효과를 최소화하고, 간단한 계산과 판별 조건을 효과적으로 사용할 수 있으므로 부가적인 계산량을 현저하게 감소시킬 수 있다.

Description

패킷 전송망에서 영상 데이터의 에러 처리 방법 및 장치{Apparatus and Method for Processing Error of Image Data in Packet-Network}

본 발명은 Resync Marker가 없는 패킷 전송 환경에서 발생되는 에러로 인한 화상 단말 시스템의 에러 누적 효과를 최소화하기 위해서 에러 발생 위치를 이용하여 에러의 정도를 판단하여 에러를 처리하는 패킷 전송망에서 영상 데이터의 에러 처리 방법 및 장치에 관한 것이다.

무선 화상 통신 중 사용자의 가장 큰 불만 요소는 데이터의 전송 에러에 의한 영상의 깨짐현상이다. 이와 같은 문제를 해결하기 위하여 네트워크단에서 에러를 체크하여 보정하는 것과는 별개로 실제 화면을 재생하는 비디오 코덱단에서도 에러를 보정하여 원화면과 거의 흡사하게 재생하는 방법이 끊임없이 연구되고 있다.

실제 영상 데이터 내에서 가장 많이 발생되는 에러는 데이터의 압축을 위해 사용되어지는 VLC 에러이다. VLC는 코드의 특성상 압축된 데이터의 연속성으로 인하여 이후 데이터까지 에러의 영향이 미칠수 있다는 단점이 있다.

따라서, 에러가 발생된 정확한 위치를 판별할 수 없기 때문에 에러가 발생된 블럭으로부터 에러를 국부화시키는 마커인 resync marker까지 일률적으로 에러 은닉을 수행하는 방법으로서 에러의 발생 정도에 상관없이 에러 은닉을 적용하도록 되어 있다. 따라서 현재 블럭에 국한되어 발생되어진 에러라 할지라도 다음 resyncmarker가 검출되는 블럭까지 일률적으로 에러 은닉이 수행된다.

상기와 같은 에러 은닉에 대하여 도 1을 참조하여 설명하기로 한다.

도 1은 종래의 영상 데이터의 화질을 개선시키기 위한 에러 은닉 방법을 나타낸 도면이다.

도 1을 참조하면, 수신된 영상 데이터에서 에러가 발생된 에러 블럭(Error block)이 감지되면, 비디오 코덱은 에러 블럭으로부터 에러를 국부화시키는 마커인 resync markerek가 검출되는 블록까지 일률적으로 에러 은닉을 수행한다.

상기와 같이 스트림내 RM이 존재한다면 기존에 많이 연구되어온 에러 은닉 방법을 적용하여 영상의 깨짐 현상을 보정하였다. 하지만 패킷 단위로 전송되는 환경하에서는 최소 패킷 단위로 데이터가 전송되므로 스트림 데이터내 별도의 RM을 삽입하지 않는 경우가 많다. 만약, 프로토콜 단에서 패킷 에러가 발생하여 코덱단으로 전송되어진다면 RM이 없기 때문에 제대로된 에러 은닉이 매우 힘들다.

이러한, 경우에는 비효율적이긴 하지만 에러가 존재하지 않는 다음 VOP가 전송될때까지 이전 프레임들은 스킵하는 방식이 사용되어지거나 에러를 포함한 영상을 그대로 디스플레이하는 방법이 적용되었다.

그러나 상기와 같은 종래에는 데이터의 낭비가 심할 뿐만 아니라 영상의 연속성을 떨어 뜨림으로써 영상의 서비스 질을 저하시키는 문제점이 있다.

또한, RM이 없는 스트림인 경우에는 에러의 국부화가 불가능하므로 영상내 발생되어진 에러의 정도를 정량화하여 판단하기는 어려운 문제점이 있다.

또한, 에러 블럭과 상관없는 정상적인 블럭에 대해서도 resync marker가 있는 블럭까지 일률적으로 에러 은닉을 수행하므로, 불필요한 계산과 데이터 손실이 심한 문제점이 있다.

따라서, 본 발명의 목적은 Resync Marker가 없는 패킷 전송 환경에서 발생되는 에러로 인한 화상 단말 시스템의 에러 누적 효과를 최소화하는 패킷 전송망에서 영상 데이터의 에러 처리 방법 및 장치를 제공하는데 있다.

도 1은 종래의 영상 데이터의 화질을 개선시키기 위한 에러 은닉 방법을 나타낸 도면.

도 2는 본 발명의 바람직한 일 실시예에 따른 패킷 전송망에서 영상 데이터의 에러 처리 장치의 구성을 개략적으로 나타낸 블럭도.

도 3은 본 발명의 바람직한 일 실시예에 따른 패킷 전송망에서 영상 데이터의 에러 처리 방법을 나타낸 흐름도.

도 4는 본 발명의 바람직한 일 실시예에 따른 에러 발생 위치에 따라서 에러를 처리하는 방법을 나타낸 흐름도.

도 5는 본 발명의 바람직한 일 실시예에 따른 영상내 에러의 공간적 발생 위치를 나타낸 도면.

<도면의 주요 부분에 대한 부호의 설명>

200 : 에러 감지부 210 : 에러 발생 위치 판단부

220 : 에러 처리부

상기 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, 영상에 대하여 디코딩을 수행하면서 블럭단위로 에러가 감지되는지의 여부를 판단하고, 상기 판단결과 에러가 감지되면, 에러 발생 위치를 판단하여 상기 에러 발생 위치가 영상의 제1 영역에 해당하는 경우, 연속적으로 2프레임이상 제2 영역에서 에러가 발생한 경우, 연속적으로 3프레임이상 제3 영역에서 에러가 발생한 경우에 상기 영상을 스킵하는 것을 특징으로 하는 패킷 전송망에서 영상 데이터의 에러 처리 방법이 제공된다.

상기 제1 영역은 영상내 상위 0%부터 30%범위까지이고, 상기 제2 영역은 영상내 상위 30%에서 65%범위까지, 상기 제3 영역은 영상내 상위 65%이상의 범위를 말한다.

상기 에러 발생 위치가 영상의 제1 영역에 해당하지 않는 경우, 연속적으로2프레임이상 제2 영역에서 에러가 발생하지 않는 경우, 연속적으로 3프레임이상 제3 영역에서 에러가 발생하지 않는 경우의 영상은 이후 디코딩될 영상의 참조영상으로 이용된다.

본 발명의 다른 측면에 따르면, 디코딩되는 영상에 대하여 매크로 블럭 단위로 에러 발생 여부를 감지하여 에러 발생 정보를 발생하는 에러 감지부, 상기 에러 감지부로부터 전송된 에러 발생 정보를 수신한 후, 에러 발생 위치를 판단하여 에러 발생 위치 정보를 발생하는 에러 발생 위치 판단부, 상기 에러 발생 위치 판단부로부터 전송된 에러 발생 위치 정보에 따라서 에러를 처리하는 에러 처리부를 포함하는 것을 특징으로 하는 패킷 전송망에서 영상 데이터의 에러 처리 장치가 제공된다.

상기 에러 발생 위치 판단부는 에러가 해당 영상에 대하여 제1 영역, 제2 영역, 제3 영역중 어느 영역에서 발생되었는지의 여부를 판단한다.

상기 에러 처리부는 에러 발생 위치가 영상의 제1 영역에 해당하는 경우, 연속적으로 2프레임이상 제2 영역에서 에러가 발생한 경우, 연속적으로 3프레임이상 제3 영역에서 에러가 발생한 경우에 상기 영상을 스킵한다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 2는 본 발명의 바람직한 일 실시예에 따른 패킷 전송망에서 영상 데이터의 에러 처리 장치의 구성을 개략적으로 나타낸 블럭도이다.

도 2를 참조하면, 패킷 전송망에서 영상 데이터의 에러 처리 장치는 에러 감지부(200), 에러 발생 위치 판단부(210), 에러 처리부(220)를 포함한다.

상기 에러 감지부(200)는 디코딩되는 영상에 대하여 매크로 블럭 단위로 에러가 발생되었는지의 여부를 감지한다. 디코딩되는 영상에 에러가 감지되면, 상기 에러 감지부(200)는 에러 발생 정보를 에러 발생 위치 판단부(210)에 전송한다.

상기 에러 발생 위치 판단부(210)는 상기 에러 감지부(200)에서 감지된 에러가 어느 위치에서 발생되었는지의 여부를 판단하여 에러 발생 위치 정보를 에러 처리부(220)에 전송한다. 즉, 상기 에러 발생 위치 판단부(210)는 에러가 해당 영상에 대하여 도 5에 도시된 제1 영역, 제2 영역, 제3 영역중 어느 영역에서 발생되었는지의 여부를 판단한다. 상기 제1 영역, 제2 영역, 제3 영역에 대한 상세한 설명은 도 5를 참조한다.

에러가 영상 내 상위블럭에서 발생되어진다면 이후 매크로 블록에 에러가 포함될 확률이 커진다. 따라서, 영상내 스캔방향으로 제1 영역과 제2 영역이내의 블럭에서 에러가 발생되었다면, 에러의 정도가 심한 것으로 판단한다.

상기 에러 처리부(220)는 상기 에러 발생 위치 판단부(210)로부터 전송되 에러 발생 위치 정보에 따라서 에러를 처리한다.

즉, 상기 에러 처리부(220)는 에러 발생 블럭이 영상의 제1 영역에 해당하는 위치라면, 해당 프레임을 즉시 스킵한다. 또한, 에러 발생 블럭이 영상의 제2 영역에 해당하고, 연속적으로 2프레임 이상 발생되었다면, 상기 에러 처리부(220)는 에러의 누적이 심하다고 판단하여 해당 프레임을 스킵한다.

만약, 상기 에러 발생 블럭이 영상의 제2 영역에 해당하고 1프레임에서만 발생되었다면, 상기 에러 처리부(220)는 해당 영상을 이후 디코딩될 영상의 참조 영상으로 사용한다.

또한, 상기 에러 처리부(220)는 에러 발생 블럭이 영상의 제3 영역에 해당하고, 연속적으로 3프레임 이상 발생되었다면, 에러의 누적이 심하다고 판단하여 해당 프레임을 스킵한다.

만약, 상기 에러 발생 블럭이 영상의 제2영역에 해당하고 1프레임에서만 발생되었다면, 상기 에러 처리부(220)는 해당 영상을 이후 디코딩될 영상의 참조 영상으로 사용한다.

도 3은 본 발명의 바람직한 일 실시예에 따른 패킷 전송망에서 영상 데이터의 에러 처리 방법을 나타낸 흐름도이다.

도 3을 참조하면, 코덱부는 수신된 영상에 대하여 매크로 블럭단위로 디코딩을 수행하면서(S300), 에러가 감지되는지의 여부를 판단한다(S302).

단계 302의 판단결과 상기 영상에서 에러가 감지되면, 상기 코덱부는 상기 에러가 발생된 블럭의 위치를 판단한다(S304). 즉, 상기 코덱부는 상기 에러가 발생된 블럭의 위치가 영상내 제1 영역, 제2 영역, 제3 영역 중 어느 위치에 해당하는지의 여부를 판단한다.

단계 304의 수행으로 에러 발생 블럭의 위치가 판단되면, 상기 코덱부는 상기 에러 발생 위치에 따라서 에러를 처리한다(S306).

상기 에러 발생 위치에 따라서 에러를 처리하는 방법에 대해서는 도 4를 참조한다.

만약, 단계 302의 판단결과 상기 영상에서 에러가 감지되지 않으면, 상기 코덱부는 해당 영상을 이후 디코딩될 영상의 참조 영상으로 사용한다(S308).

도 4는 본 발명의 바람직한 일 실시예에 따른 에러 발생 위치에 따라서 에러를 처리하는 방법을 나타낸 흐름도이다.

도 4를 참조하면, 코덱부는 디코딩 영상에 대하여 에러가 감지되면(S400), 에러 발생 위치가 제1 영역에 해당하는지의 여부를 판단한다(S402). 즉, 상기 코덱부는 에러 발생 위치가 해당 영상의 상위 30%내에 존재하는지의 여부를 판단한다.

단계 402의 판단결과 상기 에러 발생 위치가 제1 영역에 해당하면, 상기 코덱부는 해당 영상을 스킵한다(S404). 즉, 상기 에러 발생 위치가 제1 영역에 존재하면, 상기 코덱부는 에러의 발생의 정도가 심하다고 판단하여 해당 영상을 스킵한다. 상기 스킵되어진 영상은 이후 디코딩 될 영상의 참조 영상으로 사용되지 않고 스킵되기 직전 영상을 참조 영상으로 이용한다.

만약, 단계 402의 판단결과 상기 에러 발생 위치가 제1 영역에 해당하지 않으면, 상기 코덱부는 상기 에러 발생 위치가 제2 영역에 해당하는지의 여부를 판단한다(S406). 즉, 상기 코덱부는 상기 에러 발생 위치가 해당 영상의 상위 30%에서 65%범위에 해당하는지의 여부를 판단한다.

단계 406의 판단결과 상기 에러 발생 위치가 제2 영역에 해당하면, 상기 코덱부는 연속적으로 2프레임이상 해당 영역에서 에러가 발생되었는지의 여부를 판단한다(S408).

단계 408의 판단결과 연속적으로 2프레임이상 제2 영역에서 에러가 발생되면, 상기 코덱부는 해당 영상을 스킵한다(S404).

만약, 단계 408의 판단결과 연속적으로 2프레임 이상 제2 영역에서 에러가 발생되지 않으면, 상기 코덱부는 해당 영상을 이후 디코딩 영상의 참조 영상으로 사용한다(S410).

만약, 단계 406의 판단결과 에러 발생 위치가 제2 영역에 해당하지 않으면, 상기 코덱부는 에러 발생 위치가 제3 영역에 해당한다고 판단한다(S412). 즉, 상기 코덱부는 상기 에러 발생 위치가 상위 65%이상 범위에 해당한다고 판단한다.

단계 412의 수행후, 상기 코덱부는 연속적으로 3프레임이상 제3 영역에서 에러가 발생되었는지의 여부를 판단한다(S414).

단계 414의 판단결과 연속적으로 3프레임이상 제3 영역에서 에러가 발생되면, 상기 코덱부는 해당 영상을 스킵한다(S404).

만약, 단계 414의 판단결과 연속적으로 3프레임이상 제3 영역에서 에러가 발생되지 않으면, 상기 코덱부는 해당 영상을 이후 디코딩 영상의 참조 영상으로 사용한다(S410).

도 5는 본 발명의 바람직한 일 실시예에 따른 영상내 에러의 공간적 발생 위치를 나타낸 도면이다.

도 5를 참조하면, 제1 영역(510)은 에러의 발생 위치가 0%-30%범위를 나타낸다. 만약, 이 범위내에서 에러가 발생하면, Resync Marker가 없기 때문에 이후 나머지 블럭들에 대해서도 에러의 누적 효과가 나타난다. 따라서 이와 같은 영상은즉시 스킵하고 참조 영상으로 사용하지 않는다.

제2 영역(520)은 에러의 발생 위치가 영상내 30%-65%범위를 말한다. 이와같은 영역은 제1 영역(510)에 비하여 이후 매크로 블럭들에 대한 에러의 누적 효과가 덜하지만 이후 프레임에서 연속적으로 발생되어진다면 영상의 질을저하시킨다. 따라서 이와같은 영역에서 2프레임이상 에러가 발생되어진다면 영상을 스킵한다.

제3 영역(530)은 에러의 발생 위치가 영상내 65%이상범위를 말한다. 제3 영역(530)은 제1 영역(510)과 제2 영역(520)에 비하여 이후 매크로 블럭들에 대한 에러의 누적 효과가 덜하지만 마찬가지로 이후 프레임에서 연속적으로 나타나면 영상의 질을 저하시킬 수 있으므로 3프레임이상 에러가 발생되어진다면 영상을 스킵한다.

본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.

상술한 바와 같이 본 발명에 따르면, 에러의 발생 정도를 단계별로 간단한 연산과 효율적인 방법으로 판단할 수 있으므로 무분별한 프레임 스킵과 에러 누적을 방지할 수 있는 패킷 전송망에서 영상 데이터의 에러 처리 방법 및 장치를 제공할 수 있다.

또한, 본 발명에 따르면, 상위 위치에서 발생된 에러는 이후 영상에 대하여 영향이 크므로 이후 계산없이 바로 해당 프레임에 대한 스킵이 즉시 이루어질수 있으며 이후 프레임에 대한 에러의 영향 정도가 미미한 위치에서 에러가 발생되어진다면 시간적인 조건과 공간적인 조건을 함께 사용하여 이후 영상들에 대한 에러의 누적을 최소화할 수 있는 패킷 전송망에서 영상 데이터의 에러 처리 방법 및 장치를 제공할 수 있다.

또한, 본 발명에 따르면, 패킷 전송 환경에서 발생되어진 에러로 인한 화상 단말 시스템의 에러 누적 효과를 최소화하고, 간단한 계산과 판별 조건을 효과적으로 사용할 수 있으므로 부가적인 계산량을 현저하게 감소시킬 수 있는 패킷 전송망에서 영상 데이터의 에러 처리 방법 및 장치를 제공할 수 있다.

Claims (8)

1. 영상에 대하여 디코딩을 수행하면서 블럭단위로 에러가 감지되는지의 여부를 판단하는 단계;

   상기 판단결과 에러가 감지되면, 에러 발생 위치를 판단하는 단계;및

   상기 에러 발생 위치가 영상의 제1 영역에 해당하는 경우, 연속적으로 2프레임이상 제2 영역에서 에러가 발생한 경우, 연속적으로 3프레임이상 제3 영역에서 에러가 발생한 경우에 상기 영상을 스킵하는 단계

   를 포함하는 것을 특징으로 하는 패킷 전송망에서 영상 데이터의 에러 처리 방법.
2. 제1항에 있어서,

   상기 제1 영역은 영상내 상위 0%부터 30%범위까지인 것을 특징으로 하는 패킷 전송망에서 영상 데이터의 에러 처리 방법.
3. 제1항에 있어서,

   상기 제2 영역은 영상내 상위 30%에서 65%범위까지인 것을 특징으로 하는 패킷 전송망에서 영상 데이터의 에러 처리 방법.
4. 제1항에 있어서,

   상기 제3 영역은 영상내 상위 65%이상의 범위인 것을 특징으로 하는 패킷 전송망에서 영상 데이터의 에러 처리 방법.
5. 제1항에 있어서,

   상기 에러 발생 위치가 영상의 제1 영역에 해당하지 않는 경우, 연속적으로 2프레임이상 제2 영역에서 에러가 발생하지 않는 경우, 연속적으로 3프레임이상 제3 영역에서 에러가 발생하지 않는 경우의 영상은 이후 디코딩될 영상의 참조영상으로 이용되는 것을 특징으로 하는 패킷 전송망에서 영상 데이터의 에러 처리 방법.
6. 디코딩되는 영상에 대하여 매크로 블럭 단위로 에러 발생 여부를 감지하여 에러 발생 정보를 발생하는 에러 감지부;

   상기 에러 감지부로부터 전송된 에러 발생 정보를 수신한 후, 에러 발생 위치를 판단하여 에러 발생 위치 정보를 발생하는 에러 발생 위치 판단부;및

   상기 에러 발생 위치 판단부로부터 전송된 에러 발생 위치 정보에 따라서 에러를 처리하는 에러 처리부

   를 포함하는 것을 특징으로 하는 패킷 전송망에서 영상 데이터의 에러 처리 장치.
7. 제6항에 있어서,

   상기 에러 발생 위치 판단부는 에러가 해당 영상에 대하여 제1 영역, 제2 영역, 제3 영역중 어느 영역에서 발생되었는지의 여부를 판단하는 것을 특징으로 하는 패킷 전송망에서 영상 데이터의 에러 처리 장치.
8. 제6항에 있어서,

   상기 에러 처리부는 에러 발생 위치가 영상의 제1 영역에 해당하는 경우, 연속적으로 2프레임이상 제2 영역에서 에러가 발생한 경우, 연속적으로 3프레임이상 제3 영역에서 에러가 발생한 경우에 상기 영상을 스킵하는 것을 특징으로 하는 패킷 전송망에서 영상 데이터의 에러 처리 장치.