KR20000031053A - 영상신호의 블럭현상 및 링현상 제거방법 - Google Patents

영상신호의 블럭현상 및 링현상 제거방법 Download PDF

Info

Publication number
KR20000031053A
KR20000031053A KR1019980046895A KR19980046895A KR20000031053A KR 20000031053 A KR20000031053 A KR 20000031053A KR 1019980046895 A KR1019980046895 A KR 1019980046895A KR 19980046895 A KR19980046895 A KR 19980046895A KR 20000031053 A KR20000031053 A KR 20000031053A
Authority
KR
South Korea
Prior art keywords
pixel
image
block
reconstructed
reliability
Prior art date
Application number
KR1019980046895A
Other languages
English (en)
Other versions
KR100287529B1 (ko
Inventor
홍민철
최태은
Original Assignee
구자홍
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자 주식회사 filed Critical 구자홍
Priority to KR1019980046895A priority Critical patent/KR100287529B1/ko
Priority to US09/430,747 priority patent/US6535643B1/en
Priority to JP31421799A priority patent/JP3710974B2/ja
Publication of KR20000031053A publication Critical patent/KR20000031053A/ko
Application granted granted Critical
Publication of KR100287529B1 publication Critical patent/KR100287529B1/ko
Priority to US11/081,075 priority patent/USRE42716E1/en
Priority to US11/081,073 priority patent/USRE39541E1/en
Priority to US11/338,905 priority patent/USRE42677E1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상신호의 블럭현상(block effect) 및 링현상(ring effect)을 제거하는 방법에 관한 것이다.
본 발명은 동영상 압축 부호화단에서 이용 가능한 여러 정보(양자화 변수(Qp), 매크로 블럭타입(mtype), 움직임 정보(MV))들을 이용해서 압축영상의 각 화소에 대해 적응적인 부가함수를 설정하고, 실시간 처리가 가능하도록 인접화소와의 관계정도(correlation)를 추정하며, 영상들 사이의 관계정도를 복호화단에서 이용 가능한 움직임 벡터정보로부터 추출하여 각 압축영상에서 불규칙하게 발생되는 블럭현상이나 링현상을 제거할 수 있도록 한 영상신호의 블럭 현상 및 링현상 제거방법을 제공한다.
본 발명은 적응적 부가함수로서; 화소에 대한 좌우측 각 수평방향과 상하측 각 수직방향의 불균일 정도를 의미하는 완화도와, 원영상과 압축영상의 차로부터 원영상에 대한 신뢰도, 화소들의 시간영역의 관계를 설정하는 함수를 부가함수로서 적응적으로 설정하고, 각 부가함수에서 정의된 불균일 정도와 신뢰도의 비율을 나타내는 정규화 매개변수를 계산하며, 투영(projection)기법을 적용하여 최종적으로 복원된 영상을 구함으로써 블럭현상과 링현상을 제거하는 영상신호의 블럭 현상 및 링현상 제거방법을 제공한다.

Description

영상신호의 블럭현상 및 링현상 제거방법
본 발명은 영상신호의 블럭현상(block effect) 및 링현상(ring effect)을 제거하는 방법에 관한 것으로서 특히, 화소단위로 인접화소와의 관계로부터 방향성을 가지고 부가함수를 정의하고, 이 정의된 부가함수로부터 각각의 정규화 매개변수를 적응적으로 구한 다음 투영기법을 적용해서 원화소에 가까운 영상을 복원함으로써 영상신호의 블럭현상과 링현상을 제거하는 방법에 관한 것이다.
알려진 바와같이, 동영상의 압축기법은 하이브리드 움직임 보상 이산코사인변환(Hybrid MC-DCT) 기술을 사용해서 공간적, 시간적 과잉정보(redundancy)를 제거하는데 이때 양자화 과정에서 발생하는 원래 정보의 손실로 인하여 복호화단에서 재구성되는 영상은 블럭현상 및 링현상이라는 문제점을 가지게 된다.
도1은 영상 부호화기의 일예를 나타낸 블럭 구성도이다.
입력 영상신호는 감산기(1)에서 영상 메모리(9)의 움직임 보상된 영상신호와 감산되고, 스위칭부(2)의 스위칭 제어에 따라서 입력 영상신호와 차신호가 DCT부(3)에 입력된다.
DCT부(3)는 입력신호를 이산코사인 변환하고 이 것을 양자화부(4)에서 양자화하여 양자화된 DCT계수(q)를 출력하게 된다.
이때 부호화 제어기(5)에서 스위칭부(2)와 양자화부(4)를 제어하여 영상신호 입력 스위칭과 양자화 스텝 등의 제어를 수행하게 되고 인트라/인터(INTRA/INTER)정보(p=mtype; flag for INTRA/INTER), 전송정보(t; flag for transmitted or not), 양자화 정보(qz=Qp; quantizer indication) 등을 출력한다.
한편, 상기 양자화부(4)의 출력은 다시 역양자화부(6)와 역DCT부(7)를 거치면서 역양자화 및 역DCT처리되어 복원되고 이 것은 스위칭부(10)에 의해서 선택된 신호와 함께 가산기(8)를 거쳐서 영상 메모리(9)에 저장된다.
영상 메모리(9)는 움직임 보상된 영상신호를 출력하여 감산기(1)에 공급하고 움직임 벡터정보(v=MV; motion vector)를 출력한다.
위와같이 하여 입력 영상신호를 부호화하게 되는데, 상기한 바와같이 양자화 과정에서 발생하는 원래 정보의 손실로 인하여 복호화단에서 재구성되는 영상은 블럭 현상 및 링현상이라는 문제점을 가지게 된다.
즉, 정지영상이나 동영상을 부호화하는 시스템에서 DCT기반 부호화 기술의 경우 전체 영상을 작은 부분(예를 들면 8×8블럭)으로 나누어 변환을 수행하는데, 이렇게 작은 부분으로 나누어 DCT를 수행하면 각 블럭사이의 상관관계 정보가 손실되기 때문에 이 부분에서 시각적인 불연속 현상(블럭현상)이 나타난다.
원영상을 DCT변환하면 그 변환된 결과로 원영상에 대하여 의미있는 주요정보는 저주파 성분으로 모이고, 고주파 성분으로 갈수록 그 포함된 정보의 양이 줄어들게 된다. 특히 저주파 성분은 인접블럭과 상관된 정보를 많이 포함하고 있는데, 이 블럭기반의 DCT에서는 블럭 사이의 상관관계를 포함하지 못하게 되고, 블럭별로 저주파 성분을 양자화하게 되면, 인접 블럭 사이에서 그 연속성을 잃어버리고 재구성된 영상에 블럭현상이 나타나게 된다.
또한, DCT로 얻어진 계수들을 양자화함으로써 비트수를 줄이는데, 양자화 간격을 증가시킬수록 부호화해야 할 성분들이 줄어들게 되어 비트수를 줄일수는 있지만 이는 원영상에 포함되어 있던 고주파 성분의 정보를 잃어버리는 것이기 때문에 재구성된 영상에 왜곡을 일으킨다. 이는 양자화 간격을 크게함으로써 나타나는 것으로, 특히 재구성된 영상의 물체 윤곽선 부분에서 심하게 나타나고, 이러한 현상을 링현상이라고 부르며 화면에서는 물체 윤곽선 부분에서 물결무늬로 나타난다.
위와같은 블럭현상이나 링현상의 원인은 원영상에 포함되어 있던 정보의 손실이라고 볼 수 있으며, 비트율이 낮아질수록 정보의 손실이 더욱 심해지므로 블럭현상이나 링현상은 더욱 심해지고, 이러한 블럭현상이나 링현상을 제거하기 위한 많은 방법들이 제안된 바 있으며, 기본적으로는 저역통과 필터링(LPF)을 수행하여 블럭현상과 링현상을 완화시키는 것이다.
즉, 실질적으로 저역통과 필터링의 효과를 가지는 디지탈적 신호처리로서 평균연산이 블럭현상이나 링현상을 제거하며, 이와같이 블럭현상이나 링현상을 제거하는 가장 간단한 방법은 저역통과 필터링이고, 이 저역통과 필터링을 위해서 임의의 1화소 주변의 복수개의 화소를 선택(필터 마스크)하여 화소의 평균값을 구함으로써 평균연산에 의한 블럭현상, 링현상의 제거기술이 제시되고 있다.
이러한 저역통과 기법은 블럭현상을 제거하기 위하여 경험적으로 필터탭(tap)이나 필터계수들을 설정하였으므로 영상의 종류에 따라, 압축비에 따라, 복원된 영상의 화질이 지나치게 완화(smoothing)되는 단점이 있다.
다른 방법으로 정규화 복원기법이 제안되고 있는데, 정규화 복원기법은 영상의 통계적 특성에 따라 적응적으로 블럭현상을 처리할 수 있지만 많은 계산량을 요구하기 때문에 실시간 처리에 어려움이 있다.
즉, 정규화 복원기법에 의하면 블럭의 사방 경계부분과 블럭내에서의 불균일 정도를 모두 계산해야 하고 또 그 계산이 매트릭스(matrix)형태를 가지므로 계산량이 증가한다.
또, 계산된 정규화 계수들이 완화정도를 결정하게 되는데 평균값을 불균일 정도에 관계없이 일괄적으로 적용하기 때문에 블럭 및 링현상이 오히려 더 심해지는 경우가 발생한다. 예를 들면 불균일 정도가 거의 없는 곳에도 일괄적용된 평균값에 의해서 불균일 정도가 오히려 더 심해지는 경우도 있을 수 있고, 혹은 그 반대의 경우도 있을 수 있다.
더구나 이러한 정규화 복원기법은 블럭의 사방 경계부분과 블럭내에서의 불균일 정도를 모두 계산하여 이 계산된 평균값을 일괄적용하므로 적응적이라고 보기도 어려웠다.
본 발명은 인접화소만 고려하여 화소단위로 블럭현상 및 링현상 제거 처리를 수행하므로 계산량이 감소되고 실시간 처리가 가능한 영상신호의 블럭 현상 및 링현상 제거방법을 제공한다.
본 발명은 특히 화소단위로 적응적인 부가함수가 정의되고 또 화소단위로 정규화 매개변수가 계산되어 계산량이 상대적으로 적고 또한 실시간 처리가 가능한 영상신호의 블럭 현상 및 링현상 제거방법을 제공한다.
본 발명은 화소단위로 방향성을 가지고 부가함수를 정의하고, 그 것으로부터 각각의 정규화 매개변수를 적응적으로 찾고, 투영기법을 적용해서 원화소에 가까운 영상을 복원하는 영상신호의 블럭 현상 및 링현상 제거방법을 제공한다.
본 발명은 동영상 압축 부호화단에서 이용 가능한 여러 정보들을 이용해서 압축영상의 각 화소에 대해 적응적인 부가함수를 설정하고, 실시간 처리가 가능하도록 인접화소와의 관계정도(correlation)를 추정하며, 영상들 사이의 관계정도를 복호화단에서 이용 가능한 움직임 벡터정보로부터 추출하여 각 압축영상에서 불규칙하게 발생되는 블럭현상이나 링현상을 제거할 수 있도록 한 영상신호의 블럭 현상 및 링현상 제거방법을 제공한다.
본 발명은 영상들 사이의 관계정도를 복호화단에서 이용가능한 양자화 변수(Qp), 매크로 블럭타입(mtype), 움직임 정보(MV)로부터 예측하여 블럭 및 링현상을 제거하는 실시간 처리 기법을 제공한다.
본 발명은 적응적 부가함수로서; 화소에 대한 좌우측 각 수평방향과 상하측 각 수직방향의 불균일 정도를 의미하는 완화도와, 원영상과 압축영상의 차로부터 원영상에 대한 신뢰도, 화소들의 시간영역의 관계를 설정하는 함수를 부가함수로서 적응적으로 설정하고, 각 부가함수에서 정의된 불균일 정도와 신뢰도의 비율을 나타내는 정규화 매개변수를 계산하며, 투영(projection)기법을 적용하여 최종적으로 복원된 영상을 구함으로써 블럭현상과 링현상을 제거하는 영상신호의 블럭 현상 및 링현상 제거방법을 제공한다.
도1은 영상 부호화기의 일예를 나타낸 블럭 구성도
도2는 본 발명을 설명하기 위한 화소들의 위치를 나타낸 도면
도3은 본 발명을 설명하기 위한 블럭 구성도
도4는 본 발명의 블럭현상 및 링현상 제거필터링 과정의 플로우차트
도2는 본 발명을 설명하기 위한 화소들의 위치를 나타낸 도면으로서 원영상의 화소f(i,j)에 대하여 좌측 수평방향으로 인접한 화소f(i,j-1), 우측 수평방향으로 인접한 화소f(i,j+1), 상측 수직방향으로 인접한 화소f(i-1,j), 하측 수직방향으로 인접한 화소f(i+1,j)를 각각 나타내었다.
도3은 본 발명을 설명하기 위한 블럭 구성도로서, 영상 복호화부(301)에서 복호화되어 출력되는 Y,U,V영상과 양자화 변수, 매크로 블럭타입(mtype), 움직임 벡터(MV)를 블럭 제거필터(302)가 입력받아서 본 발명의 영상신호의 블럭 현상 및 링현상 제거수순을 실행함으로써 영상 출력을 얻는 것을 보이고 있다.
즉, 블럭 제거필터(302)는 도4에 나타낸 플로우차트 같은 수순으로 영상신호처리를 수행함으로써 블럭 현상과 링현상을 제거하며, 이러한 본 발명의 영상신호의 블럭현상 및 링현상 제거방법을 첨부된 도면을 참조하여 상세히 설명한다.
[1]. 부가함수의 정의
원영상f가 압축전송될 때 복호화단에서 재구성된 영상g는 다음과 같이 표현될 수 있다.
g=f+n
상기 식1에서 g,f,n은 스캐닝 순서로 재배열된 MM×1 크기의 압축영상g, 원영상f, 양자화 오차의 열벡터n을 의미한다.
상기 식1을 도2에 나타낸 바와같이 화소단위의 처리를 위하여 각 화소의 관계를 표현하는 식으로 다음과 같이 나타낼 수 있다.
g(i,j)=f(i,j)+n(i,j)
상기 식1 및 식2를 고려하여, 원화소에 대한 신뢰도와 각 화소에 대한 완화(smoothing)정도를 정규화 기법과 같이 이용할 때 다음의 식3과 같은 부가함수를 정의한다.
도2를 참조하여, 상기 식3에서 MHL은 화소f(i,j)에 대한 좌측 수평방향의 화소f(i,j-1)와의 완화정도 및 신뢰도를 나타내는 함수이고, MHR은 화소f(i,j)에 대한 우측 수평방향의 화소f(i,j+1)와의 완화정도 및 신뢰도를 나타내는 함수이고, MVT는 화소f(i,j)에 대한 상측 수직방향의 화소f(i-1,j)와의 완화정도 및 신뢰도를 나타내는 함수이고, MVD는 화소f(i,j)에 대한 하측 수직방향의 화소f(i+1,j)와의 완화정도 및 신뢰도를 나타내는 함수이고, MT는 복호화단에서 움직임 정보(MV)를 갖고있는 매크로 블럭의 화소들이 시간영역의 관계를 설정하는 함수이다.
한편, 상기 각각의 함수들은 다음의 식4와 같이 정의된다.
상기 식4에서 MHL(f(i,j))의 우변 첫번째 항은 화소f(i,j)에 대한 완화정도를 나타내는 것으로서, 화소f(i,j)와 좌측 수평방향의 화소f(i,j-1)와의 차(인접 화소와의 차)로써 계산되고 이 것은 곧 좌측 수평방향의 화소를 고려한 불균일 정도를 계산한 것이 된다. 또 우변 두번째 항은 원화소에 대한 신뢰도를 나타내는 것으로서, 원화소(원영상)f(i,j)와 압축화소g(i,j)의 차로써 계산되고 이 것은 곧 원화소에 대한 신뢰도를 계산한 것이된다. 그리고, αHL은 완화정도와 신뢰도의 비율을 나타내는 일종의 정규화 매개변수를 의미하며 신뢰도에 대한 가중치(weight)로서 이 값이 클수록 신뢰도가 높다.
상기 식4에서 MHR(f(i,j))의 우변 첫번째 항은 화소f(i,j)에 대한 완화정도를 나타내는 것으로서, 화소f(i,j)와 우측 수평방향의 화소f(i,j+1)와의 차(인접 화소와의 차)로써 계산되고 이 것은 곧 우측 수평방향의 화소를 고려한 불균일 정도를 계산한 것이 된다. 또 우변 두번째 항은 원화소에 대한 신뢰도를 나타내는 것으로서, 원화소(원영상)f(i,j)와 압축화소g(i,j)의 차로써 계산되고 이 것은 곧 원화소에 대한 신뢰도를 계산한 것이 된다. 그리고, αHR은 완화정도와 신뢰도의 비율을 나타내는 일종의 정규화 매개변수를 의미하며 신뢰도에 대한 가중치(weight)로서 이 값이 클수록 신뢰도가 높다.
상기 식4에서 MVT(f(i,j))의 우변 첫번째 항은 화소f(i,j)에 대한 완화정도를 나타내는 것으로서, 화소f(i,j)와 상측 수직방향의 화소f(i-1,j)와의 차(인접 화소와의 차)로써 계산되고 이 것은 곧 상측 수직방향의 화소를 고려한 불균일 정도를 계산한 것이 된다. 또 우변 두번째 항은 원화소에 대한 신뢰도를 나타내는 것으로서, 원화소(원영상)f(i,j)와 압축화소g(i,j)의 차로써 계산되고 이 것은 곧 원화소에 대한 신뢰도를 계산한 것이된다. 그리고, αVT는 완화정도와 신뢰도의 비율을 나타내는 일종의 정규화 매개변수를 의미하며 신뢰도에 대한 가중치(weight)로서 이 값이 클수록 신뢰도가 높다.
상기 식4에서 MVD(f(i,j))의 우변 첫번째 항은 화소f(i,j)에 대한 완화정도를 나타내는 것으로서, 화소f(i,j)와 하측 수직방향의 화소f(i+1,j)와의 차(인접 화소와의 차)로써 계산되고 이 것은 곧 하측 수직방향의 화소를 고려한 불균일 정도를 계산한 것이 된다. 또 우변 두번째 항은 원화소에 대한 신뢰도를 나타내는 것으로서, 원화소(원영상)f(i,j)와 압축화소g(i,j)의 차로써 계산되고 이 것은 곧 원화소에 대한 신뢰도를 계산한 것이된다. 그리고, αVD는 완화정도와 신뢰도의 비율을 나타내는 일종의 정규화 매개변수를 의미하며 신뢰도에 대한 가중치(weight)로서 이 값이 클수록 신뢰도가 높다.
상기 식4에서 MT(f(i,j))의 우변 첫번째 항은 화소f(i,j)에 대한 완화정도를 나타내는 것으로서, 화소f(i,j)와 이전 복원 영상으로부터 움직임 보상된 화소fMC(i,j)와의 차로써 계산되고 이 것은 곧 시간축상에서 화소를 고려한 불균일 정도를 계산한 것이 된다. 또 우변 두번째 항은 원화소에 대한 신뢰도를 나타내는 것으로서, 원화소(원영상)f(i,j)와 압축화소g(i,j)의 차로써 계산되고 이 것은 곧 원화소에 대한 신뢰도를 계산한 것이된다. 그리고, αT는 완화정도와 신뢰도의 비율을 나타내는 일종의 정규화 매개변수를 의미하며 신뢰도에 대한 가중치(weight)로서 이 값이 클수록 신뢰도가 높다.
이와같이 식3 및 식4로서 부가함수가 각각의 화소마다 정의된다.
그리고, 블럭현상 및 링현상을 제거한 복원영상을 구하기 위해 우리가 구하고자 하는 영상은 f(i,j)이므로 각 화소마다 정의된 부가함수는 f(i,j)에 대해서 미분되어야 한다.
그러므로 식3 형태의 부가함수에 미분을 취하면 다음의 식5와 같은 결과를 얻게 되고, 식5에 대해서 식4를 고려하면 식5 각각의 미분항은 다음의 식6과 같이 구해진다.
상기 식6에서 인트라 매크로타입(intra mtype) 으로 부호화된 매크로 블럭의 화소들은 움직임 정보가 존재하지 않기 때문에 [∂MT(f(i,j))]/[∂f(i,j)] = 0.
그리고, 상기 식5 및 식6으로부터, 복원될 화소f(i,j)를 다음과 같이 구할 수 있다.
먼저, 인터 매크로 블럭(inter macro block)에 속한 화소는 다음의 식7과 같이 구해지고, 인트라 매크로 블럭(intra macro block)에 속한 화소는 fMC(i,j)가 없으므로 다음의 식8과 같이 구해진다.
위와같이 하여 화소단위로 방향성을 가지고 정규화 매개변수를 포함하는 부가함수를 정의하였으며, 복원될 화소를 구하였다.
[2]. 정규화 매개변수의 계산
상기 식7 및 식8에 의해서 복원될 화소f(i,j)를 구함에 있어서 정규화 매개변수들(αHL, αHR, αVT, αVD, αT,)은 몇가지의 가정과 집합이론(set theoretic)을 적용하여 구한다.
즉, 식7 및 식8에서의 f(i,j-1), f(i,j+1), f(i-1,j), f(i+1,j)값들이 복호화단에서 볼 때는 실제로는 존재하지 않는 값들이므로 현재 처리 화소f(i,j)를 구하기 위해 이용될 수 없고, 또 이와같이 현재 처리 화소f(i,j)를 구하기 위해서 이용될 수 없는 값들로 표현되고 있는 각 정규화 매개변수들을 어떻게 구할 것인가의 문제가 발생하므로 다음과 같은 3개의 가정하에 이 문제를 해결 한다.
첫째; 매크로 블럭 단위로 설정된 양자화 최대오차가 Qp이고, 둘째; 각 DCT계수의 양자화 오차가 균일하게 해당 매크로 블럭내의 각 화소에 할당되어 있다고 가정하며, 셋째; 원 영상의 두 화소 사이의 불균일값들이 압축 영상의 두 화소 사이의 불균일 값들과 통계적으로 비슷하다고 가정한다.
이와같은 가정을 근거로 할 때, 집합이론(set theoretic)을 화소단위의 복원방식에 적용하면 정규화 매개변수들은 각각 다음의 식9와 같이 표현 가능하다.
식9에서는 상기 3가지의 가정하에 정규화 매개변수를 g와 Qp의 함수로 근사화시킨 것이다.
식9에서 Qpl은 f(i,j)가 속한 매크로 블럭의 양자화 매개변수이며, l은 매크로 블럭 넘버이다.
즉, 위와같은 가정을 근거로 해서 식7과 식8의 우변의 분자항 f(i,j-1), f(i,j+1), f(i-1,j), f(i+1,j)값들을 각각에 대응하는, 우리가 이용할 수 있는 값들인 g(i,j-1), g(i,j+1), g(i-1,j), g(i+1,j)값들로 대치한 것이며, 위 방식을 각각의 화소에 적용하여 얻은 결과를 f라고 하면 f는 일종의 적응필터의 결과치라고 할 수 있게 된다.
이와같이 하여 화소단위의 부가함수를 정의하고 또 그 부가함수에서 정규화 매개변수를 우리가 이용할 수 있는 값들을 이용해서 근사적으로 구해내었다.
[3]. 투영기법을 적용한 원영상의 복원
부호화단에서 압축된 영상은 다음의 식10과 같이 DCT영역에서 표현된다.
G=QBf, g=BTQ-1G
상기 식10에서 G는 압축영상의 블럭 DCT된 값을 의미하며, Q는 양자화 과정(양자화 함수)를 의미하고, BT는 블럭 역DCT, Q-1은 역양자화 과정을 의미한다.
한편, 양자화 과정에서 원영상과 압축영상의 DCT계수들 사이에는 다음의 식11과 같은 관계를 가진다.
G(u,v)-Qpl≤F(u,v)≤G(u,v)+Qpl
식11에서 G(u,v)는 압축영상의 2차원 DCT계수들의 (u,v)번째 값들을 의미하며, F(u,v)는 원영상의 2차원 DCT계수들의 (u,v)번째 값들을 각각 의미하며, 식11에서 지정된 각 DCT계수들의 값은 복원된 영상의 DCT계수들의 범위를 설정하는 일종의 서브셋(subsets)에 해당된다. 그러므로 최종적으로 복원된 영상은 다음의 식12와 같이 상기 식11의 서브셋에 투영(projection)시켜야 구할 수 있게 된다.
상기 식12의 의미는 다음과 같다.
F(u,v)가 G(u,v)-Qpl 보다 작은 값이면 투영 복원된 영상P(F(u,v))는 G(u,v)-Qpl로 맵핑(mapping)시키고, F(u,v)가 G(u,v)+Qpl 보다 큰 값이면 투영 복원된 영상 P(F(u,v))은 G(u,v)+Qpl로 맵핑시키고, 다른 경우에는 F(u,v)를 그대로 투영 복원영상 P(F(u,v))에 맵핑시킨다는 것이다.
그러므로, 상기 식7 이나 식8의 복원기법을 K(f)라고 표기하고, 상기 투영기법을 P라고 정의하면 최종적으로 복원된 영상f'은 다음과 같은 식13으로 표현될 수 있다.
f ′=BTPBK(f)
상기 식13에서 BK(f)는 블럭DCT계수, PBK(f)는 투영된 블럭DCT계수, BTPBK(f)는 투영된 블럭DCT계수를 공간영역으로 복원한 것이 된다.
상기 식13과 같이하여 본 발명은 복호화부에서 이용 가능한 정보들을 이용해서 각 화소의 불균일 정도와 범위값(식11)을 설정할 수 있는 적응적인 방법으로 영상신호의 블럭현상 및 링현상을 제거하게 되는 것이다. 그러므로, 주어진 정보로부터 직접 복원영상을 예측하는 블럭 및 링현상을 제거하는 고속처리에 유용하다.
[4]. 영상신호의 블럭현상 및 링현상을 제거하는 복호화 과정
도4는 상기의 전 과정에 의해서 영상신호의 블럭현상과 링현상을 제거하면서 원영상을 복원하는 수순을 나타낸 플로우차트 이다.
이 플로우차트는 도3의 블럭화 제거필터(302)에 의해서 수행되는 것으로 표현하였다.
영상 메모리로부터 Y,U,V의 영상신호가 제공되며, 상기한 바와같이 양자화 변수(Qp), 매크로 블럭 타입(mtype), 움직임 정보(움직임 벡터)(MVs)가 움직임 보상 영상을 구하는데 사용되도록 제공된다.
제 1 단계로는 입력된 처리 화소가 인트라(intra) 매크로 블럭의 화소인가를 판단한다.(즉/또는, 인터 매크로 블럭인가를 판단하는 것이다)
처리할 화소가 인터(inter)매크로 블럭의 화소인 경우에는 식7 및 식9와 같은 계산으로 정규화 매개변수(α)를 계산하고, 처리할 화소가 인트라(intra) 매크로 블럭의 화소인 경우에는 식8 및 식9와 같은 계산으로 정규화 매개변수(α)를 계산한다.
위와같이 정규화 매개변수를 계산한 다음에 상기 식7 또는 식8에 의해서 우리가 복원할 화소f(i,j)를 계산하고 이 것을 DCT변환한 다음 DCT계수를 식12의 맴핑과정을 수행하여 투영한다.
이렇게 투영된 DCT계수들을 역DCT처리함으로써 상기 식13으로 표현되는 전과정이 이루어지게 되고, 복원된 영상은 영상 메모리에 저장/출력한다.
[5]. 반복기법
상기한 식7, 식8, 식13으로부터 블럭현상과 링현상을 제거하게 될 때 이미 설명한 바와같이 3가지의 가정을 전제로 하였다.
즉, 첫째; 매크로 블럭 단위로 설정된 양자화 최대오차가 Qp이고, 둘째; 각 DCT계수의 양자화 오차가 균일하게 해당 매크로 블럭내의 각 화소에 할당되어 있다고 가정하며, 셋째; 원 영상의 두 화소 사이의 불균일값들이 압축 영상의 두 화소 사이의 불균일 값들과 통계적으로 비슷하다고 가정하였으나, 양자화 최대오차Qp가 커서 상기한 가정이 맞지 않을 경우에는 블럭현상이나 링현상의 제거수준이 만족스럽지 못하게 된다.
그러므로 이때에는 반복기법으로 블럭현상 및 링현상을 더욱 제거한다.
반복기법은 도4에 나타낸 수순으로 복원된 영상에 대하여 상기 본 발명의 과정을 k회 반복하는 것이다.
그러나, 이와같이 블럭 및 링현상 제거과정을 반복하게 되면 복원영상의 블럭 및 링현상은 더욱 제거되겠지만 영상의 엣지(edge)영역에서 블러링(blurring)되는 결과에 이르게 되는 점을 감수해야 한다.
그러므로 반복횟수(k)는 블럭 및 링현상의 제거와 엣지영역의 블러링 효과 두가지를 모두 감안하여 적절한 수준으로 실시함으로써 영상의 엣지영역을 살리면서도 블럭 및 링현상을 제거할 수 있도록 한다.
인터 매크로 블럭에 속하는 화소(식7)의 경우를 예로들어 반복기법을 적용하였다면 k회 반복하여 구한 복원영상(반복 해)는 다음의 식14와 같이 될 것이다.
상기 식14에서 각각의 정규화 매개변수들은 반복 영상으로부터 재계산되어 사용되고, 이 것으로부터 상기 투영기법을 적용한 최종 복원영상f'k+1은 다음의 식15와 같이 될 것이다.
f ′k+1=BTPBK(fk+1)
상기 식15에서 BK(fk+1)는 블럭DCT계수, PBK(fk+1)는 투영된 블럭DCT계수, BTPBK(fk+1)는 투영된 블럭DCT계수를 공간영역으로 복원한 것이 된다.
상기 식15와 같이하여 본 발명은 복호화부에서 이용 가능한 정보들을 이용해서 각 화소의 불균일 정도와 범위값(식11)을 설정할 수 있는 적응적인 방법으로 영상신호의 블럭현상 및 링현상을 제거하게 되는 것이다. 그러므로, 주어진 정보로부터 직접 복원영상을 예측하는 블럭 및 링현상을 제거하는 고속처리에 유용하다.
본 발명의 영상신호의 블럭현상 및 링현상 제거방법은 하이브리드 MC-DCT 압축기법이 사용되는 디지탈 영상기기에서 실시간 처리가 가능하도록 제안된 기법이며, 특히 저비트율 또는 고속 처리가 요망되는 압축영상의 화질을 개선할 수 있는 효과가 있다.

Claims (13)

  1. 블럭단위로 압축전송된 영상을 블럭단위로 처리하여 공간영역상에 재배열하고 이 재배열된 영상을 재구성하여 원영상으로 복원하는 복호화 방법에 있어서,
    복원처리할 화소에 대하여, 복원처리할 화소를 기준으로 상기 처리할 화소에 인접한 화소와 처리할 화소 사이의 방향성을 고려하여 영상의 완화정도와 원영상에 대한 신뢰도를 매개로하는 부가함수를 정의하고, 각각의 부가함수에서 원영상에 대한 신뢰도의 가중치(weight)를 주는 정규화 매개변수를 적응적으로 찾고, 처리할 화소의 범위값에 따라 복원화소를 맵핑하는 투영기법으로 원화소를 복원하는 것을 특징으로하는 영상신호의 블럭현상 및 링현상 제거방법.
  2. 제 1 항에 있어서, 상기의 부가함수는 복원처리할 화소와 인접한 화소 사이의 차를 계산하여 그 불균일 정도를 의미하는 완화정도 및, 원영상과 압축영상의 차를 계산하여 구하는 원영상에 대한 신뢰도, 복호화 단계에서 움직임 정보를 가지는 블럭의 화소들의 시간영역의 관계로 정의되는 함수인 것을 특징으로 하는 영상신호의 블럭현상 및 링현상 제거방법.
  3. 제 1 항에 있어서, 상기의 부가함수는 복원처리할 화소에 인접한 화소와의 방향성을 고려하여, 복원처리할 화소에 대해서 상하좌우 4방향에 대하여 고려하고, 인접화소와 복원처리할 화소 사이의 각각의 방향에 대한 부가함수를 정의함을 특징으로 하는 영상신호의 블럭현상 및 링현상 제거방법.
  4. 제 1 항에 있어서, 상기 정규화 매개변수는 복원처리할 화소 및 인접화소 각각에 대응하는 각각의 압축영상과, 블럭단위로 설정된 양자화 변수(Qp)의 함수로 근사화시켜 구하는 것을 특징으로 하는 영상신호의 블럭현상 및 링현상 제거방법.
  5. 제 1 항에 있어서, 압축영상의 블럭단위로 설정된 양자화변수(Qp)와 압축영상의 차와, 원영상과의 대소를 비교하여 그 결과에 따라서 압축영상을 복원영상으로 맵핑시켜 투영된 복원영상을 구하는 것을 특징으로 하는 영상신호의 블럭현상 및 링현상 제거방법.
  6. M×M 크기의 매크로 블럭 단위로 원화소f(i,j)를 DCT변환하고 이 DCT계수들을 양자화하여 움직임 벡터 정보(MV)와 함께 전송하고, 압축전송된 화소g(i,j)를 블럭단위로 역양자화 및 역DCT변환하여 원영상에 가까운 영상을 복원하는 복호화 방법에 있어서,
    복원처리할 화소f(i,j)에 대하여, 복원처리할 화소를 기준으로 상기 처리할 화소에 인접한 화소와 처리할 화소f(i,j) 사이의 방향성을 고려하여 영상의 완화정도와 원영상에 대한 신뢰도를 매개로하는 부가함수M(i,j)를 화소단위로 정의하고, 각각의 부가함수M(i,j)에서 원영상에 대한 신뢰도의 가중치(weight)를 주는 정규화 매개변수(α)를 적응적으로 찾고, 처리할 화소의 범위값에 따라 복원화소를 맵핑하는 투영기법으로 투영된 화소P(F(u,v))를 구하는 것을 특징으로하는 영상신호의 블럭현상 및 링현상 제거방법.
  7. 제 6 항에 있어서, 상기 부가함수M(i,j)는 화소f(i,j)의 좌측 수평방향에 대한 완화정도 및 신뢰도를 나타내는 함수MHLf(i,j)와, 화소f(i,j)의 우측 수평방향에 대한 완화정도 및 신뢰도를 나타내는 함수MHRf(i,j)와, 화소f(i,j)의 상측 수직방향에 대한 완화정도 및 신뢰도를 나타내는 함수MVTf(i,j)와, 화소f(i,j)의 하측 수직방향에 대한 완화정도 및 신뢰도를 나타내는 함수MVDf(i,j)와, 복호화단에서 움직임 벡터(MV)를 갖고 있는 블럭의 화소들의 시간영역의 관계를 설정하는 함수MTf(i,j)의 합으로 정의되는 함수인 것을 특징으로 하는 영상신호의 블럭현상 및 링현상 제거방법.
  8. 제 7 항에 있어서, 상기의 화소f(i,j)에 인접한 화소와의 방향성을 고려하는 각각의 함수는;
    MHL(f(i,j))=[f(i,j)-f(i,j-1)]2+αHL[g(i,j)-f(i,j)]2,
    MHR(f(i,j))=[f(i,j)-f(i,j+1)]2+αHR[g(i,j)-f(i,j)]2,
    MVT(f(i,j))=[f(i,j)-f(i-1,j)]2+αVT[g(i,j)-f(i,j)]2,
    MVD(f(i,j))=[f(i,j)-f(i+1,j)]2+αVD[g(i,j)-f(i,j)]2,
    MT(f(i,j))=[f(i,j)-fMC(i,j)]2+αT[g(i,j)-f(i,j)]2,
    (단, fMC(i,j)는 움직임 보상된 화소, αHL, αHR, αVT, αVD, 는 각각의 방향성에 대한 정규화 매개변수, αT는 시간영역을 고려한 경우의 정규화 매개변수)
    ;로 설정함을 특징으로 하는 영상신호의 블럭현상 및 링현상 제거방법.
  9. 제 8 항에 있어서, 복원될 화소f(i,j)는;
    인터 매크로 블럭에 속한 화소의 경우;
    f(i,j)=[f(i,j-1)+f(i,j+1)+f(i-1,j)+f(i+1,j)+fMC(i,j)+αTOTg(i,j)]
    /[5+αTOT](단,αTOT=αHL+αHR+αVT+αVD+αT) 의 연산으로 구하고,
    인트라 매크로 블럭에 속한 화소의 경우;
    f(i,j)=[f(i,j-1)+f(i,j+1)+f(i-1,j)+f(i+1,j)+αTOTg(i,j)]
    /[4+αTOT](단, αTOT=αHL+αHR+αVT+αVD) 의 연산으로 구하는 것을 특징으로 하는 영상신호의 블럭현상 및 링현상 제거방법.
  10. 제 8 항 또는 제 9 항에 있어서, 상기 정규화 매개변수는 각각;
    αHL= [g(i,j)-g(i,j-1)]2/[Qpl]2
    αHR= [g(i,j)-g(i,j+1)]2/[Qpl]2
    αVT= [g(i,j)-g(i-1,j)]2/[Qpl]2
    αVD= [g(i,j)-g(i+1,j)]2/[Qpl]2
    αT= [g(i,j)-fMC(i,j)]2/[Qpl]2
    로 근사화시켜 구하는 것을 특징으로 하는 영상신호의 블럭현상 및 링현상 제거방법.
  11. 제 6 항에 있어서, 원영상의 2차원 DCT계수들의 (u,v)번째 값 F(u,v)와, 압축영상의 2차원 계수들의 (u,v)번째 값 G(u,v), l번째 블럭의 양자화 변수 Qpl 를 고려할 때; F(u,v)가 G(u,v)-Qpl 보다 작은 값이면 투영 복원된 영상P(F(u,v))는 G(u,v)-Qpl로 맵핑(mapping)시키고, F(u,v)가 G(u,v)+Qpl 보다 큰 값이면 투영 복원된 영상 P(F(u,v))은 G(u,v)+Qpl로 맵핑시키고, 다른 경우에는 F(u,v)를 그대로 투영 복원영상 P(F(u,v))에 맵핑시켜 원영상을 복원하는 것을 특징으로 하는 영상신호의 블럭현상 및 링현상 제거방법.
  12. 제 6 항에 있어서, 상기의 복원처리할 화소f(i,j)에 대하여, 복원처리할 화소를 기준으로 상기 처리할 화소에 인접한 화소와 처리할 화소f(i,j) 사이의 방향성을 고려하여 영상의 완화정도와 원영상에 대한 신뢰도를 매개로하는 부가함수M(i,j)를 화소단위로 정의하고, 각각의 부가함수M(i,j)에서 원영상에 대한 신뢰도의 가중치(weight)를 주는 정규화 매개변수(α)를 적응적으로 찾고, 처리할 화소의 범위값에 따라 복원화소를 맵핑하는 투영기법으로 투영된 화소P(F(u,v))를 구하는 과정을 k회 반복 수행하여 최종 복원영상을 구하는 것을 특징으로 하는 영상신호의 블럭현상 및 링현상 제거방법.
  13. M×M 크기의 매크로 블럭 단위로 원화소f(i,j)를 DCT변환하고 이 DCT계수들을 양자화하여 움직임 벡터 정보(MV)와 함께 전송하고, 압축전송된 화소g(i,j)를 블럭단위로 역양자화 및 역DCT변환하여 원영상에 가까운 영상을 복원하는 복호화 방법에 있어서,
    복원처리할 화소f(i,j)에 대하여, 복원처리할 화소를 기준으로 상기 처리할 화소에 인접한 화소와 처리할 화소f(i,j) 사이의 방향성을 고려하여 영상의 완화정도와 원영상에 대한 신뢰도를 매개로하는 부가함수M(i,j)를 화소단위로 정의하고, 각각의 부가함수M(i,j)에서 원영상에 대한 신뢰도의 가중치(weight)를 주는 정규화 매개변수(α)를 적응적으로 찾아서 블럭DCT 처리하여 블럭 DCT계수를 구하고, 블럭DCT계수들을 처리할 화소의 범위값에 따라 복원화소를 맵핑하는 투영기법으로 투영된 화소P(F(u,v))를 구하여 이 것을 블럭 역DCT처리함으로써 공간영역으로 최종 복원된 영상을 구하는 것을 특징으로하는 영상신호의 블럭현상 및 링현상 제거방법.
KR1019980046895A 1998-11-03 1998-11-03 영상신호의 블럭현상 및 링현상 제거방법 KR100287529B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1019980046895A KR100287529B1 (ko) 1998-11-03 1998-11-03 영상신호의 블럭현상 및 링현상 제거방법
US09/430,747 US6535643B1 (en) 1998-11-03 1999-10-29 Method for recovering compressed motion picture for eliminating blocking artifacts and ring effects and apparatus therefor
JP31421799A JP3710974B2 (ja) 1998-11-03 1999-11-04 ブロック化現象及びリング現象を除去するための圧縮動画像の復元方法及びその装置
US11/081,075 USRE42716E1 (en) 1998-11-03 2005-03-16 Method for filtering an image
US11/081,073 USRE39541E1 (en) 1998-11-03 2005-03-16 Methods and apparatuses for recovering compressed motion picture
US11/338,905 USRE42677E1 (en) 1998-11-03 2006-01-25 Method for filtering an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980046895A KR100287529B1 (ko) 1998-11-03 1998-11-03 영상신호의 블럭현상 및 링현상 제거방법

Publications (2)

Publication Number Publication Date
KR20000031053A true KR20000031053A (ko) 2000-06-05
KR100287529B1 KR100287529B1 (ko) 2001-04-16

Family

ID=19556967

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980046895A KR100287529B1 (ko) 1998-11-03 1998-11-03 영상신호의 블럭현상 및 링현상 제거방법

Country Status (1)

Country Link
KR (1) KR100287529B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100936034B1 (ko) * 2003-08-11 2010-01-11 삼성전자주식회사 블록 단위로 부호화된 디지털 영상의 블로킹 현상을제거하는 방법 및 그 영상재생장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100936034B1 (ko) * 2003-08-11 2010-01-11 삼성전자주식회사 블록 단위로 부호화된 디지털 영상의 블로킹 현상을제거하는 방법 및 그 영상재생장치
US7650043B2 (en) 2003-08-11 2010-01-19 Samsung Electronics Co., Ltd. Method of reducing blocking artifacts from block-coded digital images and image reproducing apparatus using the same

Also Published As

Publication number Publication date
KR100287529B1 (ko) 2001-04-16

Similar Documents

Publication Publication Date Title
KR100213089B1 (ko) 루프필터링 방법 및 루프필터
JP4004089B2 (ja) ビデオ信号復号化システムおよびノイズ抑圧方法
KR100335055B1 (ko) 압축 영상신호의 블럭현상 및 링현상 제거방법
CA1333501C (en) Hierarchical encoding method and apparatus for efficiently communicating image sequences
US5479211A (en) Image-signal decoding apparatus
EP0723375B1 (en) Post-processing device and method for eliminating blocking artifacts from decompressed images
KR100219628B1 (ko) 루프필터링 방법 및 루프필터
USRE41436E1 (en) Method of image filtering based on averaging operation including a shift operation applied to selected successive pixels
JP3678481B2 (ja) 映像データ後処理方法
USRE39541E1 (en) Methods and apparatuses for recovering compressed motion picture
EP0680219B1 (en) Improved post-processing method for use in an image signal decoding system
JPH07131757A (ja) 画像処理装置
JP2009153226A (ja) 復号化方法
KR101345294B1 (ko) 영상의 양자화 장치 및 방법
KR100287529B1 (ko) 영상신호의 블럭현상 및 링현상 제거방법
KR100304897B1 (ko) 압축 영상신호의 고속 실시간 처리를 위한 블럭현상 및 링현상 제거방법
KR100230277B1 (ko) 블럭화 효과 감소를 위한 일차원 신호 적응 필터 및 필터링 방법
JP2926638B2 (ja) ループフィルター及びループフィルタリング方法
KR100207392B1 (ko) 텍스쳐 영역 판단장치 및 이를 이용한 복원 영상의 화질 평가 시스템
KR100516685B1 (ko) 복원된 영상에서 블럭화 현상 제거를 위한 장치 및 방법
KR100712382B1 (ko) 에이치.264 동영상 표준 부호화 방식의 성능 향상을 위한전처리 필터링 방법
JPH10164578A (ja) 画像符号化復号化装置
Cahill et al. Locally adaptive deblocking filter for low bit rate video
KR20060134878A (ko) 이미지 화소 필터링 방법
KR20030027424A (ko) 비디오 코더의 블록화 현상 제거 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20061220

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee