KR20000067180A - 영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법 - Google Patents

영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법 Download PDF

Info

Publication number
KR20000067180A
KR20000067180A KR1019990014752A KR19990014752A KR20000067180A KR 20000067180 A KR20000067180 A KR 20000067180A KR 1019990014752 A KR1019990014752 A KR 1019990014752A KR 19990014752 A KR19990014752 A KR 19990014752A KR 20000067180 A KR20000067180 A KR 20000067180A
Authority
KR
South Korea
Prior art keywords
slice
error
macroblock
image
current macroblock
Prior art date
Application number
KR1019990014752A
Other languages
English (en)
Other versions
KR100289727B1 (ko
Inventor
유국열
강상욱
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019990014752A priority Critical patent/KR100289727B1/ko
Publication of KR20000067180A publication Critical patent/KR20000067180A/ko
Application granted granted Critical
Publication of KR100289727B1 publication Critical patent/KR100289727B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법에 관한 것으로, 복수의 매크로 블록으로 구성되는 슬라이스, 복수의 슬라이스로 구성되는 픽쳐들을 포함하는 영상 데이터를 수신하여 영상을 복원하는 영상 복원 장치에 있어서, 수신된 픽쳐 데이터의 비트 스트림을 슬라이스 단위로 복호화하는 복호화부; 복호화하는 동안 슬라이스를 구성하는 매크로 블록에 발생된 오류를 검출하는 오류 검출부; 오류가 검출된 현재 매크로 블록을 은닉할 때, 현재 매크로 블록의 특징 정보를 이미 복호화가 이루어진 이웃 매크로 블록들의 특징 정보들을 결합하여 구하되, 이웃 매크로 블록들과의 공간적 상관에 따라 특징 정보들에 대해 소정 가중치를 두어서 결합하여 오류를 은닉하는 가중 오류 은닉부; 및 복호화부에서 복호화된 데이터들 및 가중 오류 은닉부에서 생성된 복호화 데이터들로부터 영상을 복원하는 영상 복원부를 포함함을 특징으로한다.
본 발명에 따르면, 오류가 없는 이웃 MB들의 신택스들을 수평 및 수직 방향의 상관성을 고려하여 결합하고, 결합된 값들을 오류가 발생한 MB의 신택스로 대치하므로, 수평 및 수직 방향으로 발생할 수 있는 불연속 패턴들이 감소될 수 있다.

Description

영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법{Apparatus for picture restoration and error concealment method therefor}
본 발명은 오류에 강인한(error-resilient) 영상 복원 장치 및 이를 위한 오류 은닉 방법에 관한 것으로, 영상 데이터 전송시 발생된 오류에 효과적으로 대처하여 영상을 복원하는 영상 복원 장치 및 이를 위한 오류 은닉 방법에 관한 것이다.
무선 채널과 같이 오류가 발생하기 쉬운 통신망을 통해서 영상신호를 전송할 때, 수신단에서 전송받은 비트열은 전송오류에 의해 일부 비트 및 연속된 비트들의 변형 및 손실을 피할 수 없다. 손실 및 변형된 비트들은 복호화된 영상에 심각한 화질저하 현상을 불러 일으킨다.
따라서, 손실 및 변형된 비트들을 보정하는 작업이 중요하며, 이러한 손실 보정은 IMT(International Mobile Network)-2000과 같은 이동망 및 인터넷 상에서 영상신호 전송시 없어서는 안될 중요 기법이다.
상술한 손실보정 방법중 하나로, 오류 은닉 방법(error concealment method)이 있다. 오류 은닉 방법은 오류가 없이 복호화된 데이터를 이용하여 오류가 발생한 정보를 복원하여 인간의 시각에 거스리지않은 형태로 변형시키는 것이다.
도 1은 종래의 오류 은닉 방법의 데이터 구조를 도시한 것이다. 도 1에 따른 데이터 구조는 전송되어온 슬라이스들 혹은 매크로 블록 그룹(Group Of Macro Bolck)(100, 102, 104, 106), 복호화된 슬라이스 데이터가 저장되는 복수의 슬라이스 메모리(108, 110, 112, 114) 그리고 오류없이 복원된 슬라이스에 대해서 프레임 형태로 재생하도록 슬라이스 메모리들에 저장된 데이터를 저장하는 프레임 메모리(116)로 구성된다.
도 1에 따른 오류 은닉 방법은 다음과 같다. 먼저, 복호화기(미도시)는 전송되어온 비트 스트림으로부터 슬라이스 시작 코드(GBSC)를 감지하여 각 슬라이스(100, 102, 104, 106)별로 복호화한다. 복호화된 슬라이스 데이터는 슬라이스 메모리들(108, 110, 112, 114)에 저장된다. gn은 슬라이스 번호를 나타낸다. 슬라이스 메모리들(108, 110, 112, 114)에 저장된 데이터들은 프레임 메모리(116)의 해당 위치에 저장되어 복원된다. 이때, 제2슬라이스(102)에 오류가 검출되면, 복호화된 제2슬라이스 데이터(110)는 삭제되고, 제1슬라이스 메모리(108)에 저장된 모션 벡터들을 보상(compensation)하여 프레임 메모리(116)의 해당 위치에 저장한다. 만일, 제1슬라이스 데이터를 사용할 수 없다면. 모션벡터를 영 벡터(zero vetor)로 두고 단순히 바로 이전에 복호화된 픽쳐(picture)로부터 복사한다.
그러나, TCON 방법은 연속영상에서 첫번째 픽쳐인 Intra 코딩(Intra-coded) 픽쳐인 경우 이전 픽쳐가 없으므로 이전 MB의 모션 벡터를 이용한 모션 보상이 불가능하다는 문제점이 있다. 따라서, Intra 코딩 픽쳐는 TCON 방법을 사용할 수 없다.
한편, 도 2는 이전 MB가 4개의 모션 벡터를 갖는 INTER4V 모드일 때 모션 벡터를 보상하는 종래 방법을 도시한 것이다. 참조번호 201 및 202는 각각 오류가 없는 슬라이스의 MB들이고, 211 및 212는 오류가 발생한 슬라이스의 MB들이다. 201 및 211은 MB가 주로 물체의 내부 또는 배경과 같이 움직임이 적거나 물체의 경계(boundary)에 있지않은 부분에 대한 정보를 갖고있는 경우로, 하나의 모션 벡터로 특징지워진다. 202 및 212는 MB가 물체의 움직임이 많은 부분 또는 물체의 경계에 대한 정보를 갖고 있는 경우로, 이 경우 MB는 4개의 서브블록(sub-block)에 대해 모션 벡터가 구해진다. 도시된 바에 따르면, 오류가 발생한 MB의 모션 벡터는 오류가 없고 바로 윗부분에 위치한 MB의 모션벡터들을 복사하여 구해진다.
그러나, INTER4V 모드의 MB와 같이 모션 벡터들이 강한 공간 상관(strong spatial correlation)을 갖는 경우, 도 2에 도시된 바와 같이 이전 MB의 모션 벡터를 복사하여 오류가 발생한 MB의 모션벡터를 직접 보상하는 것은 복원된 영상에서 수직 및 수평적 불연속을 일으킨다는 문제점이 있다. 즉, 212의 상부 2개 모션벡터는 202의 상부 2개 모션벡터보다 하부 2개 모션벡터와 유사도가 높은데도 불구하고 상관성이 보다 낮은 상부 2개의 모션벡터로 복원되는 문제점이 있다.
본 발명이 이루고자하는 기술적 과제는 오류가 발생한 MB의 직류값 또는 모션 벡터를 보상하여 영상을 복원할 때, 이미 복호화기 이루어진 이웃 MB들의 서브 블록들의 직류값 또는 모션 벡터들을 각 서브 블록들의 위치에 따라 가중치를 주어서 보상하는 영상 복원 장치 및 이를 위한 오류 은닉 방법을 제공하는데 있다.
도 1은 종래의 오류 은닉 방법의 데이터 구조를 도시한 것이다.
도 2는 이전 매크로 블록이 4개의 모션 벡터를 갖는 INTER4V 모드일 때 모션 벡터를 보상하는 종래 방법을 도시한 것이다.
도 3은 본 발명에 따른 영상 복원 장치에 대한 블록도이다.
도 4a는 본 발명에서 사용되는 하나의 픽쳐를 나타내고, 도 4b는 하나의 매크로 블록을 나타낸다.
도 5는 오류없이 복호화된 슬라이스와 오류가 발생한 슬라이스를 도시한 것이다.
도 6은 오류가 발생한 슬라이스를 포함하는 슬라이스 구조를 도시한 것이다.
도 7a 내지 도 7d는 Intra 코딩 픽쳐에 대한 성능 비교 도면이다.
상기 기술적 과제를 이루기위한, 본 발명은 복수의 매크로 블록으로 구성되는 슬라이스, 복수의 슬라이스로 구성되는 픽쳐들을 포함하는 영상 데이터를 수신하여 영상을 복원하는 영상 복원 장치에 있어서, 수신된 픽쳐 데이터의 비트 스트림을 슬라이스 단위로 복호화하는 복호화부; 복호화하는 동안 슬라이스를 구성하는 매크로 블록에 발생된 오류를 검출하는 오류 검출부; 오류가 검출된 현재 매크로 블록을 은닉할 때, 상기 현재 매크로 블록의 특징 정보를 이미 복호화가 이루어진 이웃 매크로 블록들의 특징 정보들을 결합하여 구하되, 상기 이웃 매크로 블록들과의 공간적 상관에 따라 상기 특징 정보들에 대해 소정 가중치를 두어서 결합하여 오류를 은닉하는 가중 오류 은닉부; 및 상기 복호화부에서 복호화된 데이터들 및 상기 가중 오류 은닉부에서 생성된 복호화 데이터들로부터 영상을 복원하는 영상 복원부를 포함함을 특징으로한다.
상기 기술적 과제를 이루기위한, 본 발명은 복수의 매크로 블록으로 구성되는 슬라이스, 복수의 슬라이스로 구성되는 픽쳐들을 포함하는 영상 데이터를 수신하여 영상을 복원할 때, 수신된 영상신호에 발생된 오류를 은닉하는 방법에 있어서, 수신된 픽쳐 데이터의 비트 스트림을 슬라이스 단위로 복호화하는 단계; 복호화하는 동안 슬라이스를 구성하는 매크로 블록에 발생된 오류를 검출하는 단계; 및 오류가 검출된 현재 매크로 블록을 은닉할 때, 상기 현재 매크로 블록의 특징 정보를 이미 복호화가 이루어진 이웃 매크로 블록들의 특징 정보들을 결합하여 구하되, 상기 이웃 매크로 블록들과의 공간적 상관에 따라 상기 특징 정보들에 대해 소정 가중치를 두어서 결합하여 오류를 은닉하는 단계를 포함함을 특징으로한다.
상기 기술적 과제를 이루기위한 본 발명은 복수의 매크로 블록으로 구성되는 슬라이스, 복수의 슬라이스로 구성되는 픽쳐들을 포함하는 영상 데이터를 수신하여 영상을 복원할 때, 수신된 영상신호에 발생된 오류를 은닉하는 방법에 있어서, 수신된 픽쳐 데이터의 비트 스트림을 슬라이스 단위로 복호화하는 단계; 복호화하는 동안 슬라이스를 구성하는 매크로 블록에 발생된 오류를 검출하는 단계; 오류가 검출된 슬라이스의 다음 번 슬라이스를 복호화하는 단계; 및 오류가 검출된 현재 매크로 블록을 은닉할 때, 상기 현재 매크로 블록의 특징 정보를 이미 복호화가 이루어진 이웃 매크로 블록들의 특징 정보들을 결합하여 구하되, 상기 이웃 매크로 블록들과의 공간적 상관에 따라 상기 특징 정보들에 대해 소정 가중치를 두어서 결합하여 오류를 은닉하는 단계를 포함함을 특징으로한다.
이하에서 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세히 설명하기로 한다.
도 3은 본 발명에 따른 영상 복원 장치에 대한 블록도이다. 도 3에 따른 영상 복원 장치는 복호화부(300), 오류 검출부(302), 가중 오류 은닉부(304) 및 영상 복원부(306)를 포함한다. 도 3에 따른 영상 복원 장치의 동작은 다음과 같다.
복호화부(300)는 수신된 영상신호 비트스트림으로부터 GBSC를 감지하여 슬라이스 단위로 복호화한다.
오류 검출부(302)는 수신된 비트스트림에 발생된 오류를 검출한다. 오류는 다음과 같은 경우일 때, 검출된다.
1) 코드워드(codeword) 오류: 가장 빈번한 경우이다.
2) 하나의 슬라이스를 복호화한 후, 다음 차례의 GBSC와 같은 동기코드(SYNC)가 발견되지않는다.
3) INTER4V 모드와 같은 진보된(advanced) 예측방법이 허용되지않음에도 모션벡터가 픽쳐를 벗어나있다.
4) 가변장 부호화(Variable Length Coding) 계수 테이블이 적응적으로 선택되지않는 모드일 때, 복구된 이산코사인변환(Discrete Cosine Transformation, DCT)계수 포인트의 위치가 63위치를 벗어나있다.
5) 색도 DC값이 정상치를 벗어나 있다.
1),2)의 경우가 가장 중요한 오류 검출 기준이 되며, 상술한 5가지 이외의 경우에서도 오류가 검출될 수 있다.
오류 검출부(302)에서 오류가 검출되면, 가중 오류 은닉부(304)는 이웃 MB들의 중요도에 따라 이웃 MB들의 특징값들에 가중치를 두어서 현재 오류가 발생한 MB의 특징값을 생성함으로써 오류를 은닉한다.
영상 복원부(306)는 복호화부(300)에서 복호화된 슬라이스 데이터 및 가중 오류 은닉부(304)에서 오류가 은닉되어 복호화된 슬라이스 데이터로부터 영상을 복원한다.
한편, 본 발명에 따른 가중 오류 은닉 방법에 대해 보다 상세히 설명하기로 한다. 일반적으로, 재생 영상에 가장 큰 영향을 미치는 정보는 각 MB에서 사용한 부호화 모드를 나타내는 정보이다. 부호화 모드는, 양자화 스텝의 크기가 일정하다고 할 때, 모션 벡터를 사용하지않는 Intra(INTRA) 모드, 모션 벡터를 1개 사용하는 Inter(INTER) 모드, 그리고 모션 벡터를 4개 사용하는 INTER4V 모드가 있다. 이러한 부호화 모드 정보 다음으로 재생영상의 화질에 미치는 영향이 큰 정보는 Intra MB의 경우 DCT 계수의 직류(DC)값 정보이고, Inter MB의 경우에는 모션 벡터 정보이다. Inter MB는 그 성격상 이전 영상내의 정보를 이용하는 것이나, Intra MB의 경우에는 이전 영상이 없으므로 DC 데이터에 대한 높은 오류 강인성을 부여해야 한다. 또한, 이동정보(모션 벡터)의 경우에는 인접한 MB들의 이동정보를 이용하여 복원이 가능하다. 이동정보와 DC 정보를 제외한 DCT 계수중의 AC 정보는 상대적으로 재생영상에 미치는 영향이 작다. 따라서 본 발명에서는 Intra 코딩 픽쳐에서 현재 오류가 발생한 MB의 모든 DCT AC값을 "0"으로 설정한다.
본 발명에 따른 오류 은닉 방법은 먼저, 상술한 바와 같이 Intra 모드에서는 각 MB들의 DC 정보를 추출하고, Inter 및 INTER4V 모드에서는 MB들의 모션 벡터 정보를 추출한다. 도 4a는 본 발명에서 사용되는 하나의 픽쳐를 나타내고, 도 4b는 하나의 MB를 나타낸다.
참조번호 400은 하나의 픽쳐, 402는 하나의 슬라이스, 404는 하나의 MB를 나타낸다. 406은 도 4a의 MB(404)에 대한 서브 블럭을 나타낸다.
도시된 바에 따르면, (i,j)번째 MB는 M(i,j)로 표현된다. M(i,j)는 MB의 휘도 성분을 나타내는 4개의 서브 블럭, bi(i,j)(i=1,2,3,4)와 색도 성분 Cr, Cb를 나타내는 2개의 서브 블럭, bi(i,j)(i=5,6)로 나타낼 수 있으며, 다음 식과 같이 표현된다.
도 5는 본 발명의 설명을 위해 오류없이 복호화된 슬라이스와 오류가 발생한 슬라이스를 도시한 것이다. 510은 오류없이 복호화된 슬라이스 (l-1), 520은 오류가 발생한 슬라이스(l)를 나타내며, 현재 빗금친 부분의 MB(521)를 복원한다고 가정한다.
먼저, Intra 코딩 픽쳐를 고려하기로 한다. 예를 들어, 상위 MB(512)의 DC값이 서브 블록에 따라 DC1(k,l-1)≠DC3(k,l-1) 또는 DC2(k,l-1)≠DC4(k,l-1)인 경우, 현재 MB의 DC값을 DCi(k,l)=DCi(k,l-1)과 같이 복사한다면, 복원된 영상은 해당 부분이 불연속으로 나타날 것이다. 따라서, 본 발명에서는 영상데이터의 수직 상관(vertical correlation)을 고려하여 이웃 MB들(511, 512,513)의 DC값으로부터 현재 MB의 DC값, DCi(k,l)을 다음 식과 같이 구한다.
Intra 코딩 픽쳐에서 오류 은닉의 다른 실시예로서, 현재 MB의 DC값을 구할 때 수평적인 상관(horizontal correlation)을 고려하여 DCi(k,l)을 다음 식과 같이 구할 수 있다.
여기서, w1,w2,w3는 각각 w2＞w1, w3의 특성을 가지는 가중치들이며, m은 정수 절단 오류(integer truncated error)를 보상하기위해 추가되는 값으로, 본 발명에서 사용된 값은 +2이다.
수직 상관성을 고려하여 인덱스 3,4인 서브블록의 DC값은 인덱스가 1,2인 서브블록의 DC값과 동일하게 한다.
Intra 코딩 픽쳐에서 오류 은닉의 또 다른 실시예로서, 인덱스가 1,2인 서브블록의 DC값은 상기 수학식 3과 동일하게 구하고, 인덱스가 3,4인 서브블록의 DC값은 l+1번째 슬라이스의 해당 서브블록들의 DC값을 고려한다. 도 6은 이에 대한 슬라이스 구조를 도시한 것이다. 이 경우, 영상의 복원은 한 개의 슬라이스를 딜레이(delay)시켜서 복원한다. 예를 들어, 도시된 바와 같이 l-1번째 슬라이스(610)를 복호화한 후 l번째 슬라이스(620)를 복호화하고, l번째 슬라이스(620)가 완전히 복호화된 후에 이미 복호화된 l-1번째 슬라이스(610)를 영상으로 복원한다. 그리고 l+1번째 슬라이스(630)를 복호화하고 l+1번째 슬라이스(630)가 완전히 복호화된 후에 l번째 슬라이스(620)를 복원한다. 여기서, l번째 슬라이스(620)를 복호화하는 도중에 l번째 슬라이스(620)(1)에 오류가 있다고 판단되면 l+1번째 슬라이스(630)의 복호화가 진행되고, l+1번째 슬라이스(630)의 복호화가 완료된 후에 l+1번째 슬라이스(630)의 복호화된 데이터와 l-1번째 슬라이스(610)의 복호화된 데이터를 이용해서 l번째 슬라이스(620)의 오류를 은닉한다. 본 실시예에 따른 현재 MB의 DC값은 다음 식과 같이 구할 수 있다.
Inter 코딩 픽쳐의 오류를 은닉하는 경우에는 모션 벡터 복구(Motion Vetor Reconstruction) 단계와 MB 복구(Macro Block Reconstruction) 단계로 구분된다. 각 단계를 도 5에 도시된 슬라이스 구조를 참조하여 설명하기로 한다. 모션 벡터를 복구하는 단계는 다음과 같이 나누어진다.
1) 현재 MB(521)가 INTER 모드이고, 상위 MB(512)가 INTER 모드인 경우: v0(k,l)=vo(k,l-1)
2) 현재 MB(521)가 INTER4V 모드이고, 상위 MB(512)가 INTER 모드인 경우: vi(k,l)=vo(k,l-1), i=1,2,3,4
3) 현재 MB(521)가 INTER4V 모드이고, 상위 MB(512)가 INTER4V 모드인 경우는 수직 상관을 고려하여 다음 식과 같이 결정한다.
이 때, 정수 절단 오류를 보상하기위해 vi=[2 2]T가 사용될 수 있다.
상술한 3)의 경우 수직 및 수평 상관을 고려하여 현재 MB의 모션 벡터는 다음 식과 같이 구할 수 있다.
MB를 복구하는 단계는 다음과 같다. 상위 MB(512)가 INTER 모드인 경우 16x16 블록 모션 보상 방법이 사용되고, 상위 MB(512)가 INTER4V 모드인 경우는 중첩 블록 모션 보상(Overlapped Block Motion Composition, 이하 OBMC라 함)방법이 사용된다. OBMC를 위한 가중치의 예들을 다음의 표에 나타내었다.
현재 서브 블록의 모션 벡터에 적용되는 가중치
4 5 5 5 5 5 5 4
5 5 5 5 5 5 5 5
5 5 6 6 6 6 5 5
5 5 6 6 6 6 5 5
5 5 6 6 6 6 5 5
5 5 6 6 6 6 5 5
5 5 5 5 5 5 5 5
4 5 5 5 5 5 5 4
현재 서브 블록의 상위 또는 하위 서브 블록에 적용되는 가중치
2 2 2 2 2 2 2 2
1 1 2 2 2 2 1 1
1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1
1 1 2 2 2 2 1 1
2 2 2 2 2 2 2 2
현재 서브 블록의 좌측 또는 우측 서브 블록에 적용되는 가중치
2 1 1 1 1 1 1 2
2 2 1 1 1 1 2 2
2 2 1 1 1 1 2 2
2 2 1 1 1 1 2 2
2 2 1 1 1 1 2 2
2 2 1 1 1 1 2 2
2 2 1 1 1 1 2 2
2 1 1 1 1 1 1 2
이 때, 가중치는 오차드와 설리반(M.T.Orchard ＆ G.Sullivan)의 "OBMC:추정 이론적 접근(OBMC:an estimation-theoretic approach, IEEE trans. on image processing, vol.3, No.5, pp693~699, Sept. 1994)"에 개시된 방법에 따라 라그랑제 곱셈(Lagrange multiplier) 방법으로 구할 수도 있다.
다음 표들은 본 발명에 대한 모의실험에 사용된 조건과 그 결과를 나타낸 것이다.
모의실험에 사용한 실험 픽쳐의 특성
테스트 시퀀스 포맷 프레임율(frams/sec) 채널 전송률(kbps) 부호화율(kbps)
Container QCIF 10 64 48
Foreman QCIF 7.5 64 48
Hall QCIF 10 64 48
News QCIF 10 64 48
모의실험에 사용된 채널 오류 패턴들
채널오류패턴 도플러 주파수(Hz) 평균 비트 오류율 평균 버스트 길이(bits)
E1 5.3 1.35x10-5 16
E2 70 1.26x10-3 17
E3 211 9.73x10-4 15
E4 5.3 8.17x10-5 11
E5 70 1.21x10-4 13
E6 211 9.37x10-5 11
여기서, 제1방법은 DCT AC값을 "0"으로 설정한 방법, 제2 및 제3방법은 수학식 3에서 각각 w1=w3=0, w2=1인 경우, w1=w3=1, w2=2인 경우이다.
다음은 Inter 코딩 픽쳐의 오류 은닉 방법에 따른 모의 실험 결과이다. 이 때, Intra 코딩 픽쳐는 상술한 제3방법으로 오류가 은닉되었다.
Inter 코딩 픽쳐에 대한 피크 신호대잡음비(SNR)의 비교
Container Foreman Hall News
오류 종래 본 발명 종래 본 발명 종래 본 발명 종래 본 발명
E1 21.78 21.87 18.00 18.05 23.28 23.31 20.61 20.65
E2 24.57 30.75 16.59 16.63 26.36 26.40 22.41 22.45
E3 23.42 23.50 17.56 17.60 24.26 24.28 22.75 22.78
E4 29.98 30.04 28.56 28.60 34.02 34.04 31.29 31.33
E5 31.63 31.67 29.16 29.19 33.07 33.09 30.30 30.32
E6 30.70 24.69 28.29 28.32 33.89 33.89 29.22 29.22
평균 27.01 27.09 23.03 23.07 29.15 29.17 26.10 26.13
여기서, 본 발명의 방법은 수학식 6에서 w1=w3=0, w2=1인 경우이다.
각 표들에 나타난 바에 따르면, 본 발명의 오류 은닉 방법에 의한 피크 SNR이 종래 방법에 비해 개선되었음을 알 수 있다.
도 7a 내지 도 7d는 Intra 코딩 픽쳐에 대한 성능 비교 도면이다.
데스트 시퀀스는 'Foreman'이고 E3의 오류 패턴이 사용되었다. 도 7a는 오류 은닉이 없이 복원된 결과이다. 도 7b 내지 도7d는 각각 DCT AC값을 "0"으로 설정한 방법, 수학식 3에서 w1=w3=0, w2=1로 설정한 방법, w1=w3=1, w2=2로 설정한 방법 대한 결과이다. 도 7b에 도시된 경우는 오류 은닉이 없이 복원된 도 7a에 비해 검은 띠 부분이 줄었지만, 여전히 수직 및 수평방향으로 불연속적인 블록화 현상이 나타나있다. 도 7b에 도시된 경우는 수직방향의 불연속 패턴은 생성되지않았지만 수평방향의 불연속 패턴은 여전히 남아있다. 도 7d에 도시된 경우는 다른 방법들에 비해 우수한 성능을 보인다.
본 발명에 따르면, 오류가 없는 이웃 MB들의 신택스들을 수평 및 수직 방향의 상관성을 고려하여 결합하고, 결합된 값들을 오류가 발생한 MB의 신택스로 대치하므로, 수평 및 수직 방향으로 발생할 수 있는 불연속 패턴들이 감소될 수 있다.

Claims (12)

  1. 복수의 매크로 블록으로 구성되는 슬라이스, 복수의 슬라이스로 구성되는 픽쳐들을 포함하는 영상 데이터를 수신하여 영상을 복원하는 영상 복원 장치에 있어서,
    수신된 픽쳐 데이터의 비트 스트림을 슬라이스 단위로 복호화하는 복호화부;
    복호화하는 동안 슬라이스를 구성하는 매크로 블록에 발생된 오류를 검출하는 오류 검출부;
    오류가 검출된 현재 매크로 블록을 은닉할 때, 상기 현재 매크로 블록의 특징 정보를 이미 복호화가 이루어진 이웃 매크로 블록들의 특징 정보들을 결합하여 구하되, 상기 이웃 매크로 블록들과의 공간적 상관에 따라 상기 특징 정보들에 대해 소정 가중치를 두어서 결합하여 오류를 은닉하는 가중 오류 은닉부; 및
    상기 복호화부에서 복호화된 데이터들 및 상기 가중 오류 은닉부에서 생성된 복호화 데이터들로부터 영상을 복원하는 영상 복원부를 포함함을 특징으로하는 영상 복원 장치.
  2. 제1항에 있어서, 상기 가중 오류 은닉부는
    각 매크로 블록을 휘도 성분에 따라 4개의 서브 블록으로 분할할 때, 상기 현재 매크로 블록의 각 서브 블록중 상위 서브 블록들의 특징 정보는 각각 상기 이웃 매크로 블록들의 하위 서브 블록들의 특징 정보들을 가중 합하여 결정하고, 상기 현재 매크로 블록의 하위 서브 블록들의 특징 정보는 결정된 상기 현재 매크로 블록의 상위 서브 블록들의 특징 정보로 대치함을 특징으로하는 영상 복원 장치.
  3. 복수의 매크로 블록으로 구성되는 슬라이스, 복수의 슬라이스로 구성되는 픽쳐들을 포함하는 영상 데이터를 수신하여 영상을 복원할 때, 수신된 영상신호에 발생된 오류를 은닉하는 방법에 있어서,
    수신된 픽쳐 데이터의 비트 스트림을 슬라이스 단위로 복호화하는 단계;
    복호화하는 동안 슬라이스를 구성하는 매크로 블록에 발생된 오류를 검출하는 단계; 및
    오류가 검출된 현재 매크로 블록을 은닉할 때, 상기 현재 매크로 블록의 특징 정보를 이미 복호화가 이루어진 이웃 매크로 블록들의 특징 정보들을 결합하여 구하되, 상기 이웃 매크로 블록들과의 공간적 상관에 따라 상기 특징 정보들에 대해 소정 가중치를 두어서 결합하여 오류를 은닉하는 단계를 포함함을 특징으로하는 영상 복원시 오류 은닉 방법.
  4. 제3항에 있어서, 상기 현재 매크로 블록 정보는
    상기 픽쳐가 Intra 코딩된 경우이면, 상기 슬라이스 바로 이전에 복호화된 슬라이스가 좌측상단을 시작으로 l-1번째 슬라이스라 하고, 상기 현재 매크로 블록의 위치가 k번째 매크로 블록이라하며, 각 매크로 블록을 휘도성분에 따라 4개의 서브 블록으로 분할할 때, 상기 현재 매크로 블록에 대한 각 서브블록의 이산여현변화계수의 직류값 DCi(k,l)(i=1,2,3,4)으로 결정되고, 상기 DCi(k,l)는 수직 상관에 따라 다음 식
    (수학식 2)
    과 같이 결정함을 특징으로하는 영상복원시 오류 은닉 방법.
  5. 제3항에 있어서, 상기 현재 매크로 블록 정보는
    상기 픽쳐가 Intra 코딩된 경우이면, 상기 슬라이스 바로 이전에 복호화된 슬라이스가 좌측상단을 시작으로 l-1번째 슬라이스라 하고, 상기 현재 매크로 블록의 위치가 k번째 매크로 블록이라하며, 각 매크로 블록을 휘도성분에 따라 4개의 서브 블록으로 분할할 때, 상기 현재 매크로 블록에 대한 각 서브블록의 이산여현변화계수의 직류값 DCi(k,l)(i=1,2,3,4)으로 결정되고, 상기 DCi(k,l)는 수직 및 수평 상관에 따라 다음 식
    여기서, w1,w2,w3는 각각 w2＞w1, w3의 특성을 갖는 가중치들, m은 정수 절단 오류를 보상하기위해 추가되는 값
    과 같이 결정함을 특징으로하는 영상복원시 오류 은닉 방법.
  6. 제5항에 있어서,
    상기 현재 매크로 블록을 색도성분에 대해 두 블록으로 분할할 때, 상기 두 블록의 직류값 DCi(k,l)(i=5,6)은 다음 식
    과 같이 결정됨을 특징으로하는 영상복원시 오류 은닉 방법.
  7. 제3항에 있어서, 상기 현재 매크로 블록 정보는
    상기 픽쳐가 Inter코딩된 경우면, 상기 슬라이스 바로 이전에 복호화된 슬라이스가 좌측상단을 시작으로 l-1번째 슬라이스라 하고, 상기 현재 매크로 블록의 위치가 k번째 매크로 블록이라하며, 각 매크로 블록을 휘도성분에 따라 4개의 서브 블록으로 분할할 때, 상기 현재 매크로 블록에 대한 각 서브블록의 모션벡터 vi(k,l), i=1,2,3,4로 결정되고,
    상기 현재 매크로 블록이 INTER모드이고, 상기 현재 매크로 블록의 상위 매크로 블록이 INTER 모드이면, 상기 모션벡터는 v0(k,l)=vo(k,l-1)(v0는 매크로 블록이 INTER모드일 때의 모션 벡터를 나타냄)로 결정하는 단계;
    상기 현재 매크로 블록이 INTER4V 모드이고, 상기 현재 매크로 블록의 상위 매크로 블록이 INTER 모드이면, 상기 모션벡터는 vi(k,l)=vo(k,l-1), i=1,2,3,4(v0는 매크로 블록이 INTER모드일 때의 모션 벡터를 나타냄)로 결정하는 단계; 및
    상기 현재 매크로 블록이 INTER4V 모드이고, 상기 현재 매크로 블록의 상위 매크로 블록이 INTER4V 모드인 경우는 수직 상관에 따라 다음 식
    (수학식 5)
    과 같이 결정하는 단계를 구비함을 특징으로하는 영상복원시 오류 은닉 방법.
  8. 제7항에 있어서, 상기 수직 상관에 따라 모션벡터를 결정하는 단계는
    수직 및 수평 상관에 따라 상기 현재 매크로 블록의 모션 벡터를 다음 식
    (수학식 6)
    과 같이 결정하는 단계를 구비함을 특징으로하는 영상복원시 오류 은닉 방법.
  9. 제7항에 있어서, 상기 모션벡터가 결정된 다음, 상기 모션벡터를 이용하여 이동보상할 때,
    상기 상위 매크로 블록이 INTER 모드이면, 16x16 블록 모션 보상 방법으로 보상하는 단계; 및
    상기 상위 매크로 블록이 INTER4V 모드이면, 중첩 블록 모션 보상(OBMC) 방법으로 보상하되, 상기 OBMC보상을 위한 가중치는 상기 현재 매크로 블록과 상기 (k-1,l-1), (k,l) 및 (k+1,l)에 위치한 이웃 매크로 블록과의 수직 또는 수평 상관에 따라 라그랑제 곱셈 방법에 따라 결정하는 단계를 구비함을 특징으로하는 영상복원시 오류 은닉 방법.
  10. 복수의 매크로 블록으로 구성되는 슬라이스, 복수의 슬라이스로 구성되는 픽쳐들을 포함하는 영상 데이터를 수신하여 영상을 복원할 때, 수신된 영상신호에 발생된 오류를 은닉하는 방법에 있어서,
    수신된 픽쳐 데이터의 비트 스트림을 슬라이스 단위로 복호화하는 단계;
    복호화하는 동안 슬라이스를 구성하는 매크로 블록에 발생된 오류를 검출하는 단계;
    오류가 검출된 슬라이스의 다음 번 슬라이스를 복호화하는 단계; 및
    오류가 검출된 현재 매크로 블록을 은닉할 때, 상기 현재 매크로 블록의 특징 정보를 이미 복호화가 이루어진 이웃 매크로 블록들의 특징 정보들을 결합하여 구하되, 상기 이웃 매크로 블록들과의 공간적 상관에 따라 상기 특징 정보들에 대해 소정 가중치를 두어서 결합하여 오류를 은닉하는 단계를 포함함을 특징으로하는 영상 복원시 오류 은닉 방법.
  11. 제10항에 있어서, 상기 현재 매크로 블록의 특징 정보는
    상기 픽쳐가 인트라 코딩된 경우이면, 상기 슬라이스 바로 이전에 복호화된 슬라이스를 좌측상단으로부터 l-1번째 슬라이스, 상기 다음 번 슬라이스를 l+1번째 슬라이스하 하고, 상기 현재 매크로 블록의 위치가 k번째 매크로 블록이라하며, 각 매크로 블록을 휘도성분에 따라 4개의 서브 블록으로 분할할 때, 상기 현재 매크로 블록에 대한 각 서브블록의 이산여현변화계수의 직류값 DCi(k,l)(i=1,2,3,4)으로 결정되고, 상기 DCi(k,l)는 수직 및 수평 상관에 따라 다음 식
    여기서, w1,w2,w3는 각각 w2＞w1, w3의 특성을 가지는 가중치들, m은 정수 절단 오류를 보상하기위해 추가되는 값
    과 같이 결정되는 값임을 특징으로하는 영상복원시 오류은닉 방법.
  12. 제11항에 있어서,
    상기 현재 매크로 블록을 색도성분에 대해 두 블록으로 분할할 때, 상기 두 블록의 직류값 DCi(k,l)(i=5,6)은 다음 식
    과 같이 결정됨을 특징으로하는 영상복원시 오류은닉 방법.
KR1019990014752A 1999-04-24 1999-04-24 영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법 KR100289727B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990014752A KR100289727B1 (ko) 1999-04-24 1999-04-24 영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990014752A KR100289727B1 (ko) 1999-04-24 1999-04-24 영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법

Publications (2)

Publication Number Publication Date
KR20000067180A true KR20000067180A (ko) 2000-11-15
KR100289727B1 KR100289727B1 (ko) 2001-05-15

Family

ID=19582065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990014752A KR100289727B1 (ko) 1999-04-24 1999-04-24 영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법

Country Status (1)

Country Link
KR (1) KR100289727B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100706720B1 (ko) * 2005-09-15 2007-04-12 한양대학교 산학협력단 방향성 보간을 이용한 공간적 에러은닉 방법
KR100774453B1 (ko) * 2001-03-15 2007-11-08 엘지전자 주식회사 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법
KR100805016B1 (ko) * 2006-08-29 2008-02-20 주식회사 대우일렉트로닉스 영상 에러 정정 장치 및 방법
KR100897884B1 (ko) * 2007-07-02 2009-05-18 단암시스템즈 주식회사 영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101209890B1 (ko) * 2010-12-30 2012-12-10 연세대학교 산학협력단 오류 은닉을 위한 디지털 방송 송신 장치 및 방법, 디지털 방송 수신 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100774453B1 (ko) * 2001-03-15 2007-11-08 엘지전자 주식회사 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법
KR100706720B1 (ko) * 2005-09-15 2007-04-12 한양대학교 산학협력단 방향성 보간을 이용한 공간적 에러은닉 방법
KR100805016B1 (ko) * 2006-08-29 2008-02-20 주식회사 대우일렉트로닉스 영상 에러 정정 장치 및 방법
KR100897884B1 (ko) * 2007-07-02 2009-05-18 단암시스템즈 주식회사 영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법

Also Published As

Publication number Publication date
KR100289727B1 (ko) 2001-05-15

Similar Documents

Publication Publication Date Title
KR100587280B1 (ko) 오류 은폐방법
US6744924B1 (en) Error concealment in a video signal
US7215712B2 (en) Systems and methods for decoding of partially corrupted reversible variable length code (RVLC) intra-coded macroblocks and partial block decoding of corrupted macroblocks in a video decoder
US5724369A (en) Method and device for concealment and containment of errors in a macroblock-based video codec
JP4440392B2 (ja) 圧縮ビデオ・データ復号化方法及び装置
PT1486065E (pt) Método para codificação de movimento numa sequência de vídeo
KR20040027982A (ko) 비디오 에러 은닉을 위한 시스템 및 방법
Al-Mualla et al. Motion field interpolation for temporal error concealment
Al-Mualla et al. Error concealment using motion field interpolation
Kim et al. Multiple description motion coding algorithm for robust video transmission
KR100289727B1 (ko) 영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법
KR100585710B1 (ko) 가변길이 동영상 부호화 방법
KR20040041224A (ko) 동영상 에러 보정 방법 및 장치
KR100587274B1 (ko) 엠펙­２ 압축복원시스템에서의 오류 은폐방법
KR100454526B1 (ko) 시공간적 정보를 이용한 인트라 프레임의 에러 은닉방법
Dufaux et al. Motion JPEG 2000 for wireless applications
KR100897884B1 (ko) 영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법
Lu et al. Error resilient transmission of H. 263 coded video over mobile networks
KR100312418B1 (ko) 동영상부호화장치에서인트라모드부호화선택방법
Fang et al. A novel interleaving algorithm for robust video transmission
Choi et al. A feedback channel based error compensation method for mobile video communications using H. 253 standard
Saint Girons et al. The digital simulcast AD-HDTV coding system
Adam Transmission of low-bit-rate MPEG-4 video signals over wireless channels
Chong Simulation of MPEG-4 Video Streams and Design of an Error-Concealment Method via a Noisy Wireless Network
Zhu Image Recovery for DCT Coding and Its Applications to Packet Video

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080130

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee