KR20050087407A - 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법 - Google Patents

이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법 Download PDF

Info

Publication number
KR20050087407A
KR20050087407A KR1020040013185A KR20040013185A KR20050087407A KR 20050087407 A KR20050087407 A KR 20050087407A KR 1020040013185 A KR1020040013185 A KR 1020040013185A KR 20040013185 A KR20040013185 A KR 20040013185A KR 20050087407 A KR20050087407 A KR 20050087407A
Authority
KR
South Korea
Prior art keywords
block
pixel
error
thumb
frame
Prior art date
Application number
KR1020040013185A
Other languages
English (en)
Other versions
KR100531895B1 (ko
Inventor
이성규
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2004-0013185A priority Critical patent/KR100531895B1/ko
Priority to US11/028,683 priority patent/US7773677B2/en
Priority to EP05000330A priority patent/EP1581009A3/en
Priority to JP2005003843A priority patent/JP4462551B2/ja
Priority to CNB2005100528494A priority patent/CN100380987C/zh
Publication of KR20050087407A publication Critical patent/KR20050087407A/ko
Application granted granted Critical
Publication of KR100531895B1 publication Critical patent/KR100531895B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

본 발명은 이동통신 시스템에서의 영상 블록 오류 은닉 방법에 관한 것으로, 이와 같은 본 발명은 오류가 발생된 화소/블록의 경우, 이전 프레임과 다음 프레임을 순차적으로 고속 움직임 추정(fast motion estimation)하여 움직임 벡터를 생성하고, 움직임 보상된 화소/블럭을 이용하여, 상기 오류 발생된 화소/블록을 복원하고, 상기 복원된 화소/블럭과, 수직 방향으로 인접한 화소/블럭들의 평균치와의 차이값에 따라, 적응 가중치 썸과 평균 썸 중 하나를 선택하여 메디안 필터링을 수행하고, 메디안 필터링을 통해 얻어진 값을 이용하여, 상기 복원된 화소/블록을 재보정한다. 따라서 본 발명은 오류가 발생된 화소/블록을 원영상과 가까운 자연스러운 화소/블록으로 복원할 수 있어, 화질을 개선할 수 있다.

Description

이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법{APPARATUS AND METHOD FOR CONCEALING BLOCK ERROR OF IMAGE IN MOBILE COMMUNICATION SYSTEM}
본 발명은 멀티미디어 서비스를 제공하는 이동통신 시스템에 관한 것으로, 특히 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법에 관한 것이다.
현재 이동통신은 새로운 주요 통신 미디어로서 세계적으로 수요가 급속히 신장하고 있다. 이동통신의 발전은 확실히 "통신의 개인화"를 가속시키고 모든 사용자에게 서비스 휴대성을 제공할 수 있는 개인 이동 통신사회의 실현을 현실화한다. 더욱이 통신의 개인화는 음성통신의 영역에 머무르지 않고 데이터, 화상 정보도 통합적으로 취급하는 멀티미디어 무선 액세스 휴대 단말기의 수요를 가속시키고 있다.
따라서 이동통신 단말기를 통해 영화, 음악, 애니메이션, 게임 등과 같은 멀티미디어 컨텐츠의 전송이 가능하게 되어, 이동통신 시스템은 멀티미디어 서비스를 제공하게 된다.
도1은 일반적인 이동통신 시스템에서의 영상 복호 장치의 구성을 보인다.
도1에 도시된 바와 같이 일반적인 이동통신 시스템에서의 영상 복호 장치는, 영상 프레임을 디코딩하는 비디오 코덱 디코더(10)와; 상기 디코딩된 영상 프레임을 디스플레이 포맷으로 변환하는 디스플레이 인터페이스부(20)와; 상기 디스플레이 인터페이스부(20)에서 출력되는 영상 프레임을 디스플레이하는 디스플레이부(30);를 포함하여 구성된다.
상기와 같은 일반적인 이동통신 시스템에서의 영상 복호 장치의 동작을 설명하면, 비디오 코덱 디코더(10)는 영상 프레임을 디코딩하고 디스플레이 인터페이스부(20)는 디코딩된 영상 프레임을 디스플레이 포맷으로 변환하고 디스플레이부(30)는 변환된 영상 프레임을 디스플레이한다. 따라서, 일례로, 이동통신 단말기의 LCD(liquid crystal display)에 영상이 디스플레이된다.
이러한 멀티미디어 서비스시, 영상 프레임의 블럭 오류가 발생되면, 화질의 열화가 발생되고 작은 블럭 에러라도 사용자의 시각이 민감하게 반응하므로 서비스 신뢰성을 약화시키게 된다.
따라서, 이동통신 시스템에 용이하게 적용될 수 있도록 오류 보정 연산 처리량을 줄일 수 있고 실시간 처리를 보장할 수 있으며 화질을 개선할 수 있는 영상 프레임의 블럭 오류 보정 방법이 요구된다.
본 발명은 상기와 같은 요구에 의해 제안된 것으로, 본 발명의 목적은 이동통신 시스템의 영상 프레임의 오류를 은닉하는 동작시 연산 처리량을 줄일 수 있고 실시간 처리가 가능한 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 움직임 추정 및 움직임 보상을 이용하여 오류 은닉 차원을 넘어 영상 프레임의 블럭 오류를 보정하고 오류 보정된 값과 수직 방향으로 이웃하는 값들의 차이값에 따라 가변적으로 적응 웨이트 썸 메디안 필터링을 수행하여 자연스러운 이미지로 만듦으로써 화질을 개선할 수 있는 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 의한 이동통신 시스템에서의 영상 블럭 오류 은닉 장치는, 디코딩된 영상 프레임으로부터 오류가 발생된 화소/블럭을 검출하는 오류 검출부와; 상기 검출된 화소/블럭의 오류 여부를 다시 확인하는 오류 확인부와; 오류 발생된 화소/블럭을, 고속 움직임 추정(fast motion estimation) 방법으로 이전 프레임과 다음 프레임을 순차적으로 검색하여, 오류 보정하는 오류 은닉부와; 상기 오류 은닉부에서 오류 보정된 화소/블록과 수직 방향으로 인접된 화소/블록 들 간에, 인간의 눈에 민감하게 작용할 수 있는 차이가 있으면, 수직 방향으로 적응 가중치 썸 메디안 필터링을 수행하여 상기 오류 보정된 화소/블록을 재보정하는 오류재보정부;를 포함하여 이루어지는 것을 특징으로 한다.
상기의 목적을 달성하기 위한 본 발명에 의한 이동통신 시스템에서의 영상 블럭 오류 은닉 방법은, 오류가 발생된 화소/블록의 경우, 이전 프레임과 다음 프레임을 순차적으로 고속 움직임 추정(fast motion estimation)하여 움직임 벡터를 생성하는 과정과; 움직임 보상된 화소/블럭을 이용하여, 상기 오류 발생된 화소/블록을 복원하는 과정과; 상기 복원된 화소/블럭과, 수직 방향으로 인접한 화소/블럭들의 평균치와의 차이값에 따라, 적응 가중치 썸 메디안 필터링을 수행하여, 상기 복원된 화소/블록을 재보정하는 과정;을 포함하여 이루어지는 것을 특징으로 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명하면 다음과 같다.
도2는 본 발명에 의한 이동통신 시스템에서의 영상 블럭 오류 은닉 장치의 구성을 보인다. 도2에 도시된 바와 같이, 본 발명에 의한 이동통신 시스템에서의 영상 블럭 오류 은닉 장치는, 영상 프레임을 디코딩하는 비디오 코덱 디코더(10)와; 상기 디코딩된 영상 프레임으로부터 오류가 발생된 화소/블럭을 검출하는 오류 검출부(100)와; 상기 검출된 화소/블럭의 오류 여부를 다시 확인하는 오류 확인부(110)와; 상기 확인 정보에 따라, 오류 확인부(110)에서 출력되는 화소/블럭을 오류 보정 경로와 바이패스 경로 중 하나로 출력하는 제1 소프트스위치(120)와; 상기 오류 보정 경로(124)를 통해 전송되는 화소/블럭을, 이전 프레임과 다음 프레임의 순차적 검색을 통한 움직임 추정 및 움직임 보정을 이용하여, 오류 보정하고, 상기 바이패스 경로(122)를 통해 전송되는 화소/블럭과 상기 오류 보정된 화소/블럭으로 프레임을 복원하는 오류 은닉부(130)와; 상기 오류 보정된 화소/블럭과 수직 방향으로 인접한 화소/블럭 간 차이값에 따라 가변적으로 적응 웨이트 썸 메디안 필터링을 수행하여 자연스러운 이미지를 만드는 오류재보정부(140)와; 상기 오류 재보정부(140)에서 출력되는 영상 프레임을 디스플레이 포맷으로 변환하는 디스플레이 인터페이스부(20)와; 상기 변환된 영상 프레임을 디스플레이하는 디스플레이부(30);를 포함하여 구성된다.
상기 오류 은닉부(130)는, 이전 프레임을 저장하기 위한 제1 프레임 지연부(131)와; 다음 프레임을 저장하기 위한 제2 프레임 지연부(132)와; 제1 프레임 지연부(131) 및 제2 프레임 지연부(132)에 대한 움직임 추정을 순차적으로 수행하여, 오류 보정에 이용될 화소/블럭의 움직임 벡터를 생성하는 움직임 추정부(133)와; 상기 움직임 벡터를 통해 움직임 보상된 화소/블럭을 이용하여, 상기 오류 발생된 화소/블럭을 복원하는 화소/블럭 복원부(134)와; 상기 화소/블럭 복원부(134)에서 복원된 화소/블럭과 상기 바이패스 경로(122)를 통해 전송되는 화소/블럭을 이용하여 프레임을 복원하는 제2 소프트스위치(135);를 포함하여 구성된다.
상기와 같이 구성된 본 발명에 의한 이동통신 시스템에서의 영상 블럭 오류 은닉 장치의 동작을 설명하면 다음과 같다.
도3은 본 발명에 의한 이동통신 시스템에서의 영상 블럭 오류 은닉 방법을 보인다. 도3에 도시된 바와 같이, 본 발명에 의한 이동통신 시스템에서의 영상 블럭 오류 은닉 방법은, 디코딩된 영상 프레임으로부터 오류 발생된 화소/블럭을 검출하고(S10), 검출된 화소/블럭의 오류 여부를 다시 확인하며(S20), 오류가 발생된 화소/블럭의 경우, 이전 프레임과 다음 프레임을 순차적으로 3-스텝 움직임 추정하여 움직임 벡터를 생성하고(S30), 움직임 보상된 화소/블럭을 이용하여, 상기 오류 발생된 화소/블럭을 복원하며(S40), 복원된 화소/블럭과, 수직 방향으로 인접한 화소/블럭들의 평균치와의 차이값에 따라, 적응 가중치 썸 메디안 필터링을 수행한다(S50).
일례로, 이동통신 단말기의 영상 프레임의 블럭 오류 은닉 방법을 설명한다.
이동통신 단말기의 오류 검출부(100)는 비디오 코덱 디코더(10)로부터 디코딩된 영상 프레임으로부터 오류 발생된 화소 또는 블럭을 검출한다. 여기서는, 오류 발생된 화소를 복원하는 경우를 설명한다. 일례로, 오류가 발생된 화소는 "255"의 값을 가질 수 있으며 검정색으로 디스플레이된다. 오류 검출부(100)는 "255"의 값을 가지는 화소를 검출한다(S10).
오류 확인부(110)는 검출된 화소가 실제로 오류 발생된 화소인 지를 확인한다(S20).
도4는 상기 검출된 화소의 오류 재확인 방법을 보인다.
오류 확인부(110)는, 상기 검출된 화소(P(x,y))의 인접 화소들의 평균치(Ps(x,y))를 [수학식1]과 같이 계산한다(S21).
Ps(x,y)={P(x-1, y-1)+P(x,y-1)+P(x+1,y-1)}/3 +
{P(x-1,y)+P(x+1,y)}/2 +
{P(x-1,y-1)+P(x,y+1)+P(x+1,y+1)}/3
그런 다음 오류 확인부(110)는, 상기 검출된 화소(P(x,y))와 상기 평균치(Ps(x,y))와의 차이값의 절대값(abs[P(x,y)-Ps(x,y)])을 계산하며, 정상적인 화소임을 판단하기 위한 임계치와 상기 절대값(abs[P(x,y)-Ps(x,y)])을 비교한다(S22).
상기 절대값(abs[P(x,y)-Ps(x,y)])이 상기 임계치보다 작으면(S23), 오류 확인부(110)는, 상기 검출된 화소(P(x,y))의 오른쪽 화소(P(x+1,y))의 값을 체크한다(S24). 상기 오른쪽 화소(P(x+1,y))의 값이 오류 값을 가지면, 오류 확인부(110)는 상기 검출된 화소(P(x,y))가 오류 발생된 화소라고 판단한다(S25).
그러나, 상기 단계 S23에서 상기 절대값(abs[P(x,y)-Ps(x,y)])이 상기 임계치보다 작지 않거나, 상기 단계 S24에서 상기 오른쪽 화소(P(x+1,y))의 값이 오류값이 아니면, 오류 확인부(110)는 상기 검출된 화소(P(x,y))가 정상적인 화소라고 판단한다(S26).
제1 소프트스위치(120)는, 오류 확인부(110)의 확인 정보에 따라, 오류가 발생된 화소를 움직임 추정부(133)로 전송하고, 정상적인 화소를 바이패스한다. 이렇게 정상적인 화소는 오류 보정 경로를 거치지 않고 바이패스함으로써, 본 발명은 오류 보정 성능(throughput)을 향상시킨다.
오류 은닉부(130)의 움직임 추정부(133)는, 먼저, 현재 프레임의 이전 프레임을 저장하고 있는 상기 제1 프레임 지연부(131)를 3-스텝 움직임 추정을 이용하여 검색한다. 전체 검색(full searching)을 이용하면, 연산 처리량도 많아질 뿐만 아니라 실시간 처리가 어려우므로, 움직임 추정부(133)는 3-스텝 또는 5-스텝 움직임 추정을 이용한다. 도5는 3-스텝 움직임 추정 방법을 보인다. 상기 이전 프레임으로부터 상기 현재 프레임의 오류 보정될 블럭과 동일한 블럭이 검색되면, 움직임 추정부(133)는 검색된 블럭(또는 화소)의 움직임 벡터를 생성한다. 그러나, 이전 프레임으로부터 동일한 블럭이 검색되지 않으면, 움직임 추정부(133)는 상기 현재 프레임의 다음 프레임이 저장되어 있는 제2 프레임 지연부(132)의 검색을 시작한다. 그래서 상기 다음 프레임으로부터 상기 오류 보정된 블럭과 동일한 블럭을 검색한다. 이렇게, 제1 프레임 지연부(131) 및 제2 프레임 지연부(132)를 동시에 검색하지 않고, 제1 프레임 지연부(131)를 3-스텝 또는 5-스텝 검색한 후 원하는 블럭의 화소를 검색할 수 없을 때 제2 프레임 지연부(132)를 검색함으로써, 본 발명은 오류 보정을 위한 연산 처리량과 소요 시간을 줄일 수 있으며 실시간 처리를 보장할 수 있다(S30).
움직임 추정부(133)에 의해 움직임 벡터가 생성되면, 화소/블럭 복원부(134)는, 움직임 벡터를 이용하여 움직임 보상된 블럭의 화소값을 구하고 구해진 화소값을 이용하여 상기 오류 화소를 복원한다(S40).
제2 소프트스위치(135)는 복원된 화소와 상기 바이패스 경로(122)를 통해 전송된 정상적인 화소를 이용하여 프레임을 복원한다.
오류 재보정부(140)는 상기 제2 소프트 스위치(135)에서 출력되는 프레임 중 복원된 해당 화소를 적응 가중치 썸 메디안 필터링하여 자연스러운 영상 프레임을 생성한다(S50).
도6은 오류 재보정부(140)의 적응 가중치 썸 메디안 필터링 방법을 보인다.
오류 재보정부(140)는 오류 은닉부(130)에서 오류 보정된 화소(Pcandidate(i,j))에 수직 방향으로 인접한 소정 개수의 화소들의 평균치(Pav(i,j))를 [수학식 2]와 같이 계산한다.
Pav(i,j)={SUM(P(i,j+k)(from k=-n to n, except 0))}1/2n
일례로, 상기 적응 가중치 썸 메디안 필터가 9탭일 경우, 상기 n은 4가 된다. 상기 평균치(Pav(i,j))는 상기 오류 보정된 화소(Pcandidate(i,j))를 제외한 2n개 화소들의 평균치이다.
그런 다음 오류 재보정부(140)는 상기 오류 보정된 화소(Pcandidate(i,j))와 상기 평균치(Pav(i,j))와의 차(Ppixel_diff)를 [수학식3]과 같이 계산한다(S51).
Ppixel_diff=Pcandidate(i,j)-Pav(i,j)
오류 재보정부(140)는, 상기 차(Ppixel_diff)와 상기 평균치(Pav(i,j))를 비교한다(S52). 상기 차(Ppixel_diff)가 상기 평균치(Pav(i,j))보다 작으면, 오류 재보정부(140)는, 상기 오류 보정된 화소(Pcandidate(i,j))의 값을, [수학식4]와 같은 적응 가중치 썸 메디안 필터링을 통해, 증가시킨다.
Ppixel_refine=[{2^(n-1)*P(i,j)} +
{[2^(n-2)*P(i,j-1)]+[2^(n-2)*P(i,j+1)]}+
{[2^(n-3)*P(i,j-2)]+[2^(n-3)*P(i,j+2)]}+
{[2^(n-4)*P(i,j-3)]+[2^(n-4)*P(i,j+3)]}+
...(until n-k=-1)] * 1/(2n+1)
즉, 도7a에 도시된 바와 같이, 오류 재보정부(140)는, 상기 오류 보정된 화소(Pcandidate(i,j))에 가장 큰 가중치를 곱하고 수직 방향으로 바로 인접한 2개 화소(P(i,j-1),P(i,j+1))에 그 다음 큰 가중치를 곱하는 방식으로, 적응 가중치 썸 메디안 필터링을 수행한다. 도7a는 적응 가중치 썸 9탭 메디안 필터(Adaptive Weight Sum 9-tap Median Filter)의 예를 보이며, 이때 상기 [수학식4]의 상기 n은 4가 된다. 오류 재보정부(140)는, 상기 오류 보정된 화소(Pcandidate(i,j))를, 적응 가중치 썸 메디안 필터링을 통해 생성된 화소(Ppixed_refine)의 값을 이용하여 재보정한다(S53).
그러나, 상기 단계 S52에서, 상기 차(Ppixel_diff)가 상기 평균치(Pav(i,j))보다 작지 않으면, 오류 재보정부(140)는, [수학식5]와 같은 평균 썸 메디안 필터링을 통해 상기 오류 보정된 화소(Pcandidate(i,j))를 재보정한다.
Ppixel_refine={SUM(P(i,j+k)(from k=-n to n))}*1/(2n+1)
즉, 도7b에 도시된 바와 같이, 오류 재보정부(140)는, 상기 오류 보정된 화소(Pcandidate(i,j)) 및 수직 방향으로 인접된 화소들에 동일한 가중치를 곱하여 평균 썸 메디안 필터링을 수행한다. 오류 재보정부(140)는, 평균 썸 메디안 필터링을 통해 생성된 화소(Ppixel_refine)의 값을 이용하여, 상기 오류 보정된 화소(Pcandidate(i,j))를 재보정한다(S54).
따라서, 본 발명은, 움직임 추정 및 움직임 보상을 통해 오류 보정된 화소와, 수직 방향으로 인접된 화소들 간에, 인간의 눈에 민감하게 작용할 수 있는 차이가 있으면, 상기 오류 보정된 화소의 수직 방향으로 적응 가중치 썸 메디안 필터링을 수행함으로써, 오류 보정된 화소를 재보정하여 원영상에 가까운 자연스러운 이미지를 복원할 수 있다.
이상에서 살펴본 바와 같이, 본 발명은, 오류가 발생한 화소/블럭을, 움직임 추정 및 움직임 보상을 이용하여 오류 보정할 때, 이전 프레임과 다음 프레임을 동시에 검색(search)하지 않고 이전 프레임을 검색하여 이전 프레임으로부터 원하는 화소/블럭을 찾지 못했을 때 다음 프레임을 검색하며 또한 full searching 방법이 아니라 3-step 또는 5-step 움직임 추정 방법으로 검색함으로써, 연산 처리량을 줄일 수 있고, 실시간 처리가 가능한 효과가 있다.
본 발명은 움직임 추정 및 움직임 보상을 이용함으로써, 화소/블럭의 오류의 은닉을 넘어서서 보정하는 효과가 있다.
본 발명은 오류 보정된 화소/블럭의 값과, 수직 방향으로 이웃하는 화소/블럭들의 값들 사이의 차이값에 따라 가변적으로 적응 웨이트 썸 메디안 필터링을 수행하여, 상기 오류 보정된 화소/블럭을 재보정함으로써, 원영상에 가까운 자연스러운 영상을 복원할 수 있는 효과가 있다.
도 1은 일반적인 이동통신 시스템에서의 영상복호 장치의 구성을 보인 도면.
도 2는 본 발명에 의한 이동통신 시스템에서의 영상 블럭 오류 은닉 장치의 구성을 보인 도면.
도 3은 본 발명에 의한 이동통신 시스템에서의 영상 블럭 오류 은닉 방법을 보인 도면.
도 4는 오류 상태로 검출된 화소의 오류를 재확인 방법을 보인 도면.
도 5는 3-스텝 움직임 추정 방법을 보인 도면.
도 6은 적응 가중치 썸 메디안 필터링을 이용하여, 오류 보정된 화소를 재보정하는 방법을 보인 도면.
도 7a는 웨이트 썸을 이용한 메디안 필터링을 보인 도면.
도 7b는 평균 썸을 이용한 메디안 필터링을 보인 도면
**도면의 주요 부분에 대한 부호의 설명**
10:비디오코덱디코더 20: 디스플레이 인터페이스부
30: 디스플레이부 100: 오류 검출부
110: 오류 확인부 120: 제1 소프트스위치
130: 오류은닉부 140: 오류재보정부

Claims (10)

  1. 디코딩된 영상 프레임으로부터 오류가 발생된 화소/블럭을 검출하는 오류 검출부와;
    상기 검출된 화소/블럭의 오류 여부를 다시 확인하는 오류 확인부와;
    오류 발생된 화소/블럭을, 고속 움직임 추정(fast motion estimation) 방법으로 이전 프레임과 다음 프레임을 순차적으로 검색하여, 오류 보정하는 오류 은닉부와;
    상기 오류 은닉부에서 오류 보정된 화소/블록과 수직 방향으로 인접된 화소/블록 들 간에, 인간의 눈에 민감하게 작용할 수 있는 차이가 있으면, 수직 방향으로 적응 가중치 썸 메디안 필터링을 수행하여 상기 오류 보정된 화소/블록을 재보정하는 오류재보정부;를 포함하여 구성된 것을 특징으로 하는 이동통신 시스템에서의 영상 블럭 오류 은닉 장치.
  2. 제 1 항에 있어서, 상기 오류 은닉부는,
    이전 프레임을 저장하기 위한 제1 프레임 지연부와;
    다음 프레임을 저장하기 위한 제2 프레임 지연부와;
    제1 프레임 지연부 및 제2 프레임 지연부에 대한 고속 움직임 추정을 순차적으로 수행하여, 오류 보정에 이용될 화소/블럭의 움직임 벡터를 생성하는 움직임 추정부와;
    상기 움직임 벡터를 통해 움직임 보상된 화소/블럭을 이용하여, 상기 오류 발생된 화소/블럭을 오류 보정하는 화소/블럭 복원부와;
    상기 화소/블럭 복원부에서 오류 보정된 화소/블록과 바이패스된 정상적인 화소/블럭을 이용하여 프레임을 복원하는 제1 소프트스위치;를 포함하여 구성된 것을 특징으로 하는 이동통신 시스템에서의 영상 블럭 오류 은닉 장치.
  3. 제 2 항에 있어서, 상기 움직임 추정부는,
    상기 제1 프레임 지연부를 3스텝 또는 5스텝 움직임 추정을 이용하여 검색하고, 제1 프레임 지연부로부터 원하는 화소/블록을 검색하지 못한 경우, 상기 제2 프레임 지연부를 3스텝 또는 5 스텝 움직임 추정을 이용하여 검색하는 것을 특징으로 하는 이동통신 시스템에서의 영상 블럭 오류 은닉 장치.
  4. 제 1 항에 있어서, 상기 오류 재보정부는,
    수직 방향으로 인접한 화소/블록들의 제1 평균치와 상기 오류 보정된 화소/블럭과의 차이값이, 상기 오류보정된 화소/블록과 인접한 화소/블록들의 제2 평균치보다 작으면, 적응 가중치 썸 메디안 필터링을 통해 상기 오류보정된 화소/블럭의 재보정을 수행하고,
    상기 차이값이 상기 제2 평균치보다 작지 않으면, 평균 썸 메디안 필터링을 통해, 상기 오류보정된 화소/블럭의 재보정을 수행하는 것을 특징으로 하는 이동통신 시스템에서의 영상 블럭 오류 은닉 장치.
  5. 제 4 항에 있어서,
    상기 적응 가중치 썸 메디안 필터링은, 상기 오류 보정된 화소/블럭에 가장 큰 가중치를 할당하고 각 인접 화소/블럭들에는 인접 정도에 상응한 크기의 가중치를 할당하여 수행되고,
    상기 평균 썸 메디안 필터링은, 상기 오류 보정된 화소/블럭과 각 인접 화소/블럭들에게 모두 동일한 크기의 가중치를 할당하여 수행되는 것을 특징으로 하는 이동통신 시스템에서의 영상 블럭 오류 은닉 장치.
  6. 오류가 발생된 화소/블록의 경우, 이전 프레임과 다음 프레임을 순차적으로 고속 움직임 추정(fast motion estimation)하여 움직임 벡터를 생성하는 과정과;
    움직임 보상된 화소/블럭을 이용하여, 상기 오류 발생된 화소/블록을 복원하는 과정과;
    상기 복원된 화소/블럭과, 수직 방향으로 인접한 화소/블럭들의 평균치와의 차이값에 따라, 적응 가중치 썸 메디안 필터링을 수행하여, 상기 복원된 화소/블록을 재보정하는 과정;을 포함하여 이루어짐을 특징으로 하는 이동통신 시스템에서의 영상 블럭 오류 은닉 방법.
  7. 제 6 항에 있어서,
    디코딩된 영상 프레임으로부터 오류 발생된 화소/블록을 검출하는 과정과;
    검출된 화소/블록이 실제적으로 오류 발생된 화소/블록인 지를 다시 확인하는 과정;을 더 포함하는 것을 특징으로 하는 이동통신 시스템에서의 영상 블럭 오류 은닉 방법.
  8. 제 6 항에 있어서, 상기 움직임 벡터를 생성하는 과정은,
    이전 프레임에 대해 고속 움직임 추정을 수행하는 과정과;
    이전 프레임으로부터 원하는 화소/블록이 검색되지 않으면, 다음 프레임에 대해 고속 움직임 추정을 수행하는 과정;을 포함하는 것을 특징으로 하는 이동통신 시스템에서의 영상 블럭 오류 은닉 방법.
  9. 제 6 항에 있어서, 상기 재보정하는 과정은,
    수직 방향으로 인접한 화소/블록들의 제1 평균치와 상기 복원된 화소/블럭과의 차이값이, 상기 복원된 화소/블록과 인접한 화소/블록들의 제2 평균치보다 작으면, 적응 가중치 썸 메디안 필터링을 수행하는 과정과;
    적응 가중치 썸 메디안 필터링에 의해 얻어진 값을 이용하여, 상기 복원된 화소/블럭의 재보정을 수행하는 과정과;
    상기 차이값이 상기 제2 평균치보다 작지 않으면, 평균 썸 메디안 필터링을 수행하는 과정과;
    상기 평균 썸 메디안 필터링에 의해 얻어진 값을 이용하여, 상기 복원된 화소/블럭의 재보정을 수행하는 과정;을 포함하는 것을 특징으로 하는 이동통신 시스템에서의 영상 블럭 오류 은닉 방법.
  10. 제 9 항에 있어서,
    상기 적응 가중치 썸 메디안 필터링은, 상기 오류 보정된 화소/블럭에 가장 큰 가중치를 할당하고 각 인접 화소/블럭들에는 인접 정도에 상응한 크기의 가중치를 할당하여 수행되고,
    상기 평균 썸 메디안 필터링은, 상기 오류 보정된 화소/블럭과 각 인접 화소/블럭들에게 모두 동일한 크기의 가중치를 할당하여 수행되는 것을 특징으로 하는 이동통신 시스템에서의 영상 블럭 오류 은닉 방법.
KR10-2004-0013185A 2004-02-26 2004-02-26 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법 KR100531895B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-2004-0013185A KR100531895B1 (ko) 2004-02-26 2004-02-26 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법
US11/028,683 US7773677B2 (en) 2004-02-26 2005-01-05 Image block error concealing apparatus and method using weight filtering in mobile communication system
EP05000330A EP1581009A3 (en) 2004-02-26 2005-01-10 Image block error concealing apparatus and method in mobile communication system
JP2005003843A JP4462551B2 (ja) 2004-02-26 2005-01-11 移動通信システムの画像ブロックエラー隠匿装置及びその方法
CNB2005100528494A CN100380987C (zh) 2004-02-26 2005-02-25 移动通信系统中的图像块差错隐蔽装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2004-0013185A KR100531895B1 (ko) 2004-02-26 2004-02-26 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20050087407A true KR20050087407A (ko) 2005-08-31
KR100531895B1 KR100531895B1 (ko) 2005-11-29

Family

ID=34858851

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-0013185A KR100531895B1 (ko) 2004-02-26 2004-02-26 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법

Country Status (5)

Country Link
US (1) US7773677B2 (ko)
EP (1) EP1581009A3 (ko)
JP (1) JP4462551B2 (ko)
KR (1) KR100531895B1 (ko)
CN (1) CN100380987C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180026114A (ko) * 2016-09-02 2018-03-12 현대자동차주식회사 Ａｖｍ 영상 변환 장치 및 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007067271A2 (en) * 2005-12-07 2007-06-14 Thomson Licensing Method and apparatus for video error concealment using reference frame selection rules
JP2007318455A (ja) * 2006-05-25 2007-12-06 Matsushita Electric Ind Co Ltd トランスコーデック装置
JP4369948B2 (ja) * 2006-09-20 2009-11-25 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4303743B2 (ja) * 2006-10-04 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US8509313B2 (en) * 2006-10-10 2013-08-13 Texas Instruments Incorporated Video error concealment
EP2082583A2 (en) 2006-11-08 2009-07-29 THOMSON Licensing Methods and apparatus for in-loop de-artifact filtering
US8811495B1 (en) * 2007-02-06 2014-08-19 Geo Semiconductor Inc. Skipped video data recovery using multiple alternative recovery modes
KR101086435B1 (ko) * 2007-03-29 2011-11-25 삼성전자주식회사 영상 데이터 스트림의 에러 검출 방법 및 그 장치
CN101472054B (zh) * 2007-12-24 2011-05-25 义晶科技股份有限公司 加强数字视频的方法以及使用该方法的装置
US8184705B2 (en) * 2008-06-25 2012-05-22 Aptina Imaging Corporation Method and apparatus for motion compensated filtering of video signals
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
JP5229036B2 (ja) * 2009-03-19 2013-07-03 富士通株式会社 伝送装置評価方法及び評価ユニット
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
CN103369327B (zh) * 2012-03-27 2016-12-07 华为软件技术有限公司 一种错误遮蔽方法和通信设备
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US9872046B2 (en) * 2013-09-06 2018-01-16 Lg Display Co., Ltd. Apparatus and method for recovering spatial motion vector
JP6325264B2 (ja) * 2014-01-31 2018-05-16 ローム株式会社 シリアルデータの送信回路および受信回路、それらを用いた伝送システム、電子機器、シリアルデータの伝送方法
JP6325263B2 (ja) * 2014-01-31 2018-05-16 ローム株式会社 画像データの受信回路およびそれを用いた電子機器、画像データの伝送方法
CN109686286A (zh) * 2018-12-24 2019-04-26 武汉华星光电半导体显示技术有限公司 图像信号处理方法和装置、oled显示器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737022A (en) * 1993-02-26 1998-04-07 Kabushiki Kaisha Toshiba Motion picture error concealment using simplified motion compensation
GB2316570B (en) 1993-04-30 1998-04-08 Samsung Electronics Co Ltd Digital signal processing system
US6134352A (en) 1996-05-21 2000-10-17 Lucent Technologies Inc. Spatial error concealment for image processing
US6078616A (en) 1997-03-13 2000-06-20 Sony Corporation Methods and apparatus for error concealment utilizing temporal domain motion vector estimation
JP4026238B2 (ja) 1998-07-23 2007-12-26 ソニー株式会社 画像復号装置及び画像復号方法
GB2343321B (en) * 1998-11-02 2003-03-26 Nokia Mobile Phones Ltd Error concealment in a video signal
KR100357093B1 (ko) 1999-06-02 2002-10-18 엘지전자 주식회사 동영상 압축 복원시스템에서의 오류 은폐장치 및 방법
KR100296596B1 (ko) * 1999-07-14 2001-07-12 윤종용 4방향 일차원 고역 통과 필터링에 의한 윤곽선 강조 방법
KR100349058B1 (ko) 2000-06-15 2002-08-21 (주)씨앤에스 테크놀로지 영상압축복원장치
CN1134174C (zh) * 2001-06-08 2004-01-07 清华大学 地面数字电视广播中的视频差错隐藏方法
US7116838B2 (en) * 2002-10-25 2006-10-03 Eastman Kodak Company Enhancing the tonal and spatial characteristics of digital images using selective spatial filters
MXPA05007447A (es) * 2003-01-10 2005-09-12 Thomson Licensing Sa Aparato de decodificador y metodo para suavizar artefactos creados durante el ocultamiento de error.
US7043089B2 (en) * 2003-02-27 2006-05-09 Hewlett-Packard Development Company, L.P. Overflow error diffusion
KR100504824B1 (ko) 2003-04-08 2005-07-29 엘지전자 주식회사 이미지 신호 블록오류 보정 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180026114A (ko) * 2016-09-02 2018-03-12 현대자동차주식회사 Ａｖｍ 영상 변환 장치 및 방법

Also Published As

Publication number Publication date
US7773677B2 (en) 2010-08-10
US20050190843A1 (en) 2005-09-01
CN1662070A (zh) 2005-08-31
EP1581009A3 (en) 2005-12-07
EP1581009A2 (en) 2005-09-28
CN100380987C (zh) 2008-04-09
JP2005244943A (ja) 2005-09-08
KR100531895B1 (ko) 2005-11-29
JP4462551B2 (ja) 2010-05-12

Similar Documents

Publication Publication Date Title
KR100531895B1 (ko) 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법
TWI280784B (en) Image processor, image processing method, and image processing program
KR100837410B1 (ko) 주관적인 무손실 이미지 데이터 압축 방법 및 장치
US7724307B2 (en) Method and system for noise reduction in digital video
US8559527B2 (en) Image display apparatus
US8953691B2 (en) Block error compensating apparatus of image frame and method thereof
US20080187048A1 (en) Apparatus and method of up-converting frame rate of decoded frame
CN107369454B (zh) 语音频码流的解码方法及装置
CN104995908A (zh) 图像处理装置、图像处理方法、图像处理程序及记录介质
US9294676B2 (en) Choosing optimal correction in video stabilization
JP2008510410A (ja) シャープネスエンハンサを有するビデオプロセッサ
JP2005017484A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2001186521A (ja) 画像復号化装置及び方法
US20100026904A1 (en) Video signal processing apparatus and video signal processing method
JP2005012641A (ja) ブロックノイズ検出装置及びそれを用いたブロックノイズ除去装置
CN110677728B (zh) 播放视频的方法、装置、设备及存储介质
JPH09130648A (ja) 動画像信号処理装置
US20030223501A1 (en) Video decoding system and method having post-processing to reduce sharpness prediction drift
US7711203B2 (en) Impulsive noise removal using maximum and minimum neighborhood values
JP2004118047A (ja) 画像処理装置
Rani et al. Digital filter for real-time impulse noise suppression in video processing using dynamic partial reconfiguration technique
EP2271113A1 (en) Time-varying image encoding and decoding device
JP2011259333A (ja) 画像処理装置および方法
CN114025168A (zh) 视频图像的处理方法、处理设备、电子设备以及存储介质
JP2001285864A (ja) エラー修整装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121026

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20131024

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20141024

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20151023

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20161024

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20171024

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee