KR19980017213A - 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템 - Google Patents

열화영상에 대한 보상기능을 갖는 영상 복호화 시스템 Download PDF

Info

Publication number
KR19980017213A
KR19980017213A KR1019960036972A KR19960036972A KR19980017213A KR 19980017213 A KR19980017213 A KR 19980017213A KR 1019960036972 A KR1019960036972 A KR 1019960036972A KR 19960036972 A KR19960036972 A KR 19960036972A KR 19980017213 A KR19980017213 A KR 19980017213A
Authority
KR
South Korea
Prior art keywords
signal
image
frame
frequency
bandwidth
Prior art date
Application number
KR1019960036972A
Other languages
English (en)
Other versions
KR100229796B1 (ko
Inventor
김종일
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019960036972A priority Critical patent/KR100229796B1/ko
Priority to US08/924,080 priority patent/US5946421A/en
Priority to IN1599CA1997 priority patent/IN192427B/en
Priority to GB9718396A priority patent/GB2316827B/en
Priority to JP23602897A priority patent/JPH10126780A/ja
Priority to CN97116863A priority patent/CN1124041C/zh
Publication of KR19980017213A publication Critical patent/KR19980017213A/ko
Application granted granted Critical
Publication of KR100229796B1 publication Critical patent/KR100229796B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 각 매크로 블록 단위로 결정되는 양자화 파라메터 정보들에 근거하여 현재 복화하고자 하는 영상의 복잡도를 산출하고, 그 산출결과에 따라 2차원 이산 푸리에 변환을 이용하여 입력 영상신호의 고주파 성분을 선택적으로 제거함으로써, 복화화후의 열화 영상을 적응적으로 보상할 수 있도록 한 열화영상에 대한 보상기능을 갖는 영상 복화화 시스템에 관한 것으로, 이를 위하여 본 발명은, 이전에 복호화된 이전 프레임의 각 매크로 블록들에 대해 각각 발생되는 각 양자화 파라메터값을 평균하여 상기 이전 프레임의 평균 양자와 파라메터값을 산출하는 Qp 평균값 계산부, 상기 산출된 평균 양자화 파라메터값을 현재 복호화하고자 하는 프레임의 복잡도로서 참조하며, 복화화를 위해 입력되는 상기 현재 프레임의 주파수 통과 대역폭을 적응적으로 제한하기 위한 기설정된 복수의 필터계수 결정신호들 중 상기 산출된 양자화 파라메터 평균값에 대응하는 필터계수 결정신호를 발생하는 필터 제어부, 입력 현재 프레임 신호에 대한 공간영역의 영상신호를 2차원 이산 푸리에 변환을 이용하여 M×N 블록 단위의 주파수 영역의 2차원 DFT 변환계수들로 변환하고, 상기 필터 제어부로부터 제공되는 발생된 대역폭 결정신호에 의거하여 상기 변환된 2차원 DFT 변환계수 블록들에 대한 고주파 통과 대역을 결정하며, 상기 변환된 각 2차원 DFT 변환계수 블록의 고주파 통과 대역을 상기 결정된 대역폭으로 제한하고, 상기 대역폭이 제한된 양자화된 각 DFT 블록들 각각에 대한 역이산 푸리에 변환을 수행하여 복호화전의 원신호로 복원하며, 원신호로 복원된 상기 대역폭 제한 프레임 신호를 상기 움직임 추정 , 보상을 위한 현재 프레임 신호로써 상기 복호화 수단에 제공하는 주파수 선택부를 포함함으로써 복호화후 양자화 오차로 인한 화질열화를 효과적으로 감소시킬 수 있다.

Description

열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
제1도는 기존의 영상 복호화 시스템의 블록 구성도
제2도(a)와 (b)는 영상신호의 픽셀, 블록, 매크로블록의 관계를 도시한 도면
제3도는 본 발명의 바람직한 실시예에 따른 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템의 블록구성도
제4도는 본 발명에 따라 일예로서 8×8 픽셀, 블록에 대한 예시도
제5도는 본 발명에 따른 일예로서 8×8 픽셀 블록에 대하여 그 복잡도에 의거하여 결정되는 고주파 성분 제한을 위한 결정 영역을 도시한 도면
*도면의 주요 부분에 대한 부호의 설명*
101: 수신버퍼102: 가변길이 복호화부
103: 역양자화부104: 움직임 보상부
105: 역DCT106: 가산기
107: 프레임 메모리108: D/A 변환기
210: Qp 평균값 계산부220: 필터 제어부
230: 주파수 선택부
본 발명은 영상 복호화 시스템에 관한 것으로, 특히 영상 복호화기에서 영상을 복호화할 때, 각 매크로 블록 단위로 결정되는 양자화 파라메터 정보에 근거하여 예측되는 입력 영상신호의 복잡도를 참조하여 복호화후의 열화 영상을 적응적으로 보상하는 데 적합한 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템에 관한 것이다.
영상신호의 복화화에 대한 일반적인 방법으로 MPEG-1, MPEG-2(이 권고안의 공식명칭은 ITU-T Rec. H222.0 │ ISO/IEC 13818)가 널리 알려져 있다. 이와 같은 권고안은 영상신호의 복호화시, 입력되는 스트림(Stream)이 MPEG에서 규정하는 포맷에 맞으므로 이 포맷대로 복호화하는 장치를 설계하면 된다.
그러나, 이 과정에서는 일반적으로 복호화 방법을 권고하고 있으므로 복호화시 효율적인 복호화기의 구현방법이나 장치 등은 아직 활발히 연구되고 있는 분야이다.
상기한 이유는 동일한 목적을 갖는 복호화기의 설계과정에서 계산량을 단축시키거나, 혹은 최종적으로 재생되는 화질을 개선하기 위한 방법에는 여러 가지의 접근 방법이 있기 때문이다. 이와 같은 일정한 포맷을 맞추어 일반적인 복호화기를 구현하는 과정에서는 설계자의 재량에 따라 다를 수 있다.
제1도는 기존의 영상 복호화 시스템의 블록 구성도이다. 동도면에 도시된 바와 같이, 채널로부터 입력되는 부호화된 영상신호의 비트 스트림은 수신버퍼(101)에 입력되어 저장된다. 그리고 수신버퍼(101)에 있는 비트 스트림은 일정한 시간이 지나면서 가변길이 복호화부(102)로 제공된 후, 가변길이 복호화를 행하게 된다.
여기서 얻어지는 양자화된 스트림과 움직임 벡터(움직임 변위)는 각각 분리됨과 아울러 상기 양자화된 스트림은 역양자화기(103)로 입력되어 역양자화된다. 역양자화된 신호는 역변환과정을 위하여 역DCT(105)로 입력되어 역DCT가 수행된다. 역 변환된 신호는 부호화기에서 움직임이 보상된 신호임으로, 이 신호는 이전 프레임의 영상신호와의 차분신호이다.
따라서, 복화기는 이 차분신호와 후술될 움직임 보상부(104)의 움직임이 보상된 영상신호를 가산기(106)에서 더하여 복호화된 영상을 만들어낸다. 이 복호화된 영상신호는 프레임 메모리(107)에 저장되며, 이 저장되었던 영상신호는 D/A 변환부(108)에 의해서 디지탈신호에서 아날로그신호로 변환되어진 후 모니터를 통해 디스플레이되는 것이다.
이와 동시에, 프레임 메모리(107)에 저장된 복호화된 영상신호는 움직임 보상을 위하여 움직임 보상부(104)로 입력된다.
움직임 보상부(103)는 프레임 메모리(107)에 저장된 이전 프레임과 가변길이 복호화부(102)의 움직임 벡터(또는 변위)에 근거하여 이전 프레임으로부터 현재 프레임의 움직임 보상받고, 이 움직임이 보상된 프레임을 가산기(106)로 제공하게 된다.
가산기(106)는 움직임 보상부(104)로부터의 움직임이 보상된 영상신호와 복호화수단에 의한 현재 복호화에 따른 에러신호를 덧셈한 결과를 상기 프레임 메모리(107)에 이전 프레임으로 저장함과 동시에 상기 프레임는 D/A 변환기(108)에 의해 아날로그로 변환후 모니터로 출력되는 것이다.
여기서, 복호화된 영상신호는 프레임 메모리(107)에 저장되어 재생되거나 혹은, 다음 영상신호에 대한 움직임 보상을 위하여 프레임 메모리(107)에 저장한다.
이와 같은 형태의 일반적인 영상신호 복호화기는 기존의 MPEG-1, MPEG-2 권고안에 잘 언급되어 있다.
그리고, 상기 수신되는 부호화된 비트 스트림은 수신버퍼(101)에 저장되어 복호화 시점이 되면, 복호화를 시작한다. 복호화 시점은 부호화기에서 전송되는 특정한 파라메타를 추출하여 결정되며, 시점은 수신버퍼(101)의 크기와 관계됨으로, 수신버퍼(101)의 오동작(Overflow, Underflow)이 발생되지 않도록 결정하게 된다.
예컨대, 수신되는 비트 스트림에 에러가 없고, 시간적으로 스트림이 동일한 전송율로 입력되는 이상적인 채널이라고 가정한다면, 수신버퍼(101)의 오동작은 발생되지 않는다.
그러나, 각 프레임마다 발생되는 비트양이 차이가 발생됨으로, 상기 부호화기는 비트량이 많이 발생되었다면, 현재의 발생비트양을 줄이고, 반대로 상기 비트량이 적게 발생되었다면, 발생비트양을 늘이는 동작을 수행하는 것이다. 따라서, 부호화기가 정상적으로 동작하였다면, 복호화기에는 문제없이 복호화를 수행할 수 있게 된다.
제2도(a)와 (b)는 영상신호의 픽셀(poxel)과 블록(block) 및 매브로 블록(macro block)의 관계를 도시한 도면이다.
제2도를 참조하면, 한 프레임의 영상신호가 부호화기에 입력되면, 입력된 영상 데이터의 압축을 위하여 시간방향과 공간방향에 관련된 유사성을 이용하게 된다.
시간영역의 유사성을 이용한 것은 움직임 예측과 움직임 보상이다. 즉, 현재의 영상을 기준으로 볼 때 이전의 영상과 이후의 영상이 상호 유사성이 많으므로 현재의 영상신호를 모두 전송하는 것보다는 이전의 영상신호와의 차이를 전송하면서 전송데이터의 양을 줄일 수 있다.
즉, 매크로 블록(제2도의 (b))단위로 현재의 영상신호의 이전의 영상신호의 차이를 비교하여 제일 작은 부분으로 움직임 벡터를 설정하는 방법은, 블록매칭 알고리즘(Block Matching Algorithm: 이하, BMA)인데, 이 방법은 MPEG의 모든 권고안에서 표준으로 정한 방법이다.
상기 블록매칭 알고리즘(BMA)으로 예측된 움직임 벡터는 영상 부호화기의 수신다능로 전송되며, 복호화 과정은 움직임 벡터를 이용하여 이전에 복호화된 프레임에서 움직임 벡터에 해당하는 매크로 블록 영상을 현재의 복호화된 매크로블록 영상에 더함으로서 복호화 과정이 완료된다.
상술된 바와 같이 복호화된 영상과 움직임 벡터를 이용하여 원래의 영상을 보상하는 과정을 움직임 보상이라하며, 움직임 벡터는 매크로 블록 단위로 복호화기에서 수신됨으로, 매크로블록 단위로 움직임 보상을 수행한다.
한편, 공간영역의 유사성을 이용하는 방법은 영상신호의 한 영역을 기준으로 볼때 주변의 영상신호의 유사성이 많으므로 각각의 영역을 보내는 것보다는 일정한 크기의 영역마다 변환하여 전송하면, 전송데이터의 양을 감축할 수 있다. 이와 같은 과정에서 영상신호의 블록단위로 DCT(Discrete Cosine Transform)을 이용하는 방법이 널리 알려져 있다.
제2도에서, 참조부호(·)는 픽셀을, 한 블록의 데이터는 8×8 픽셀로 구성되며, 매크로 블록은 16×16 픽셀로 구성된다.
일반적으로 영상신호를 구현하는데 있어서, 휘도신호(luminance signal)와 색차신호(chrominance signal)로 구성되며, 이 과정에서도 휘도신호의 색차신호의 구성 객수비에 따라 여러 가지가 있을 수 있다.
즉, 4:2:0의 포맷을 예로든 것인데, 색차신호는 무시하고 휘도신호만을 기준으로 설명한다. 이같은 원리를 이용하여 일반적인 칼라 영상신호에 대하여 적용하는 것은 마찬가지로 휘도신호에 해당하는 위치에 있는 색차신호에 대하여 연산을 수행하면 되므로 별도의 설명을 부가하지 않아도 된다.
상술한 바와같이 영상 복호화 시스템에서, 영상 복호화시 소정 프레임에 대한 복잡도가 작은값이면 단순한 영상임으로, 양자화 오차가 적게 발생되어 재생시, 열화 영상이 나타나지 않는다.
그러나 영상신호가 복잡한 영상(복잡도가 큰값)인 경우에는 제한된 전송양으로 영상데이타를 전송하기 때문에 양자화 오차가 크게 발생된다.
이와 같이 재생하고자 하는 영상 프레임에 대하여 양자화 오차가 크다고 하는 것은, 재생시, 실질적으로 인간의 시각에 둔감한 고주파 성분을 심하게 만들어지기 때문에 재생 영상의 심각한 화질 열화가 발생되는 문제점이 있었다.
따라서, 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로, 수신측에 수신되어 현재 복호화고자 하는 영상에 대하여 매크로 블록 단위로 결정되는 양자화기의 파라메타 정보들에 근거하여 현재 복호화하고자 하는 영상의 복잡도를 산출하고, 그 산출결과에 따라 2차원 이산 푸리에 변환을 이용하여 입력 영상신호의 고주파 성분을 선택적으로 제거함으로써, 복호화후의 열화 영상을 적응적으로 보상할 수 있는 열화영상에 대한 보상기능을 하는 영상 복호화 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위하여 본 발명에 따르면, 부호화되어 입력되는 비트 스트림에 대해 가변길이 복호화, 역양자화, 역DCT, 프레임 메모리 및 움직임 보상 등을 포함하는 복호화 수단을 통해 복호화하여 복호화된 데이터를 발생하며, 상기 역양자화는 비트 스트림의 충만상태 정보에 따라 결정되는 양자화 파라메터에 근거하여 복원된 영상신호는 D/A 변환부를 통해 모니터로 출력하는 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템에 있어서, 이전에 복호화된 이전 프레임의 각 매크로 블록들에 대해 각각 발생되는 각 양자화 파라메터값을 평균하여 상기 이전 프레임의 평균 양자화 파라메터값을 산출하는 Qp 평균값 계산부(210); 상기 Qp 평균값 계산부(210)에 의해서 상기 산출된 평균 양자화 파라메터값을 현재 복호화하고자 하는 프레임의 복잡도로서 참조하며, 복호화를 위해 입력되는 상기 현재 프레임의 주파수 통과 대역폭을 적응적으로 제한하기 위한 기설정된 복수의 필터계수 결정신호들 중 상기 산출된 양자화 파라메터 평균값에 대응하는 필터계수 결정신호를 발생하는 필터 제어부(220); 상기 필터 제어부(220)의 필터계수 결정신호에 의거하여 상기 입력되는 현재 프레임을 상기 움직임 추정, 보상을 위한 현재 프레임 신호로써 그대고 상기 프레임 메모리과 D/A 변환부에 제공하거나 상기 입력 현재 프레임 신호에 대한 공간영역의 영상신호를 2차원 이산 푸리에 변환을 이용하여 M×N 블록 단위의 주파수 영역의 2차원 DFT 변환계수들로 변환하고, 상기 변환된 2차원 DFT 변환계수 블록들에 대한 고주파 통과 대역을 결정하며, 상기 변환된 각 2차원 DFT 변환계수 블록의 고주파 통과 대역을 상기 결정된 대역폭으로 제한하고, 상기 대력폭이 제한된 양자화된 각 DFT 블록들 각각에 대해 역이산 푸리에 변환을 수행하여 복호화전의 원신호로 복원하며, 원신호로 복원된 상기 대역폭 제한 프레임 신호를 상기 움직임 추정, 보상 및 디스플레이를 위하여 현재 프레임 신호로써 상기 프레임 메모리과 D/A 변환부에 제공하는 주파수 선택부(230)을 더 포함하는 것을 특징으로 한다.
본 발명의 상기 및 기타 목적과 여러가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
제3도는 본 발명의 바람직한 실시예에 따른 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템에 대한 블럭구성도를 나타낸다.
동도면에 도시된 바와같이, 본 발명의 영상 복호화 시스템은 수신버퍼(101), 가변길이 복호화부(102), 역양자부(103), 움직임 보상부(104), 역DCT(105), 가산기(106), 및 프레임 메모리(107), D/A 변환기(108)외에 Qp 평균값 계산부(210), 필터 제어부(220) 및 주파수 선택부(230)를 포함한다.
제3도를 참조하면, Qp 평균값 계산부(210)는 이전에 복호화된 이전 프레임의 각 매크로 블록들에 대해 각각 발생되는 각 양자화 파라메터값을 평균하고, 상기 이전 프레임의 평균 양자화 파라메터값을 산출하여 후술하는 필터 제어부(220)로 제공하도록 구성된다.
필터 제어부(220)는 Qp 평균값 계산부(210)로부터 제공되는 상기 산출된 평균 양자화 파라메터값을 현재 복호화하고자 하는 프레임의 복잡도로서 참조하며, 상기 산출된 양자화 파라메터값에 의하여 상기 입력되는 현재 프레임의 주파수 통과 대역폭을 제한하기 위한 기설정된 복수의 필터계수 결정신호(제어신호)를 발생하여 주파수 선택부(230)로 제공하도록 구성된다.
주파수 선택부(230)는 필터 제어부(220)로부터 제공되는 제어신호에 의거하여, 상기 입력 현재 프레임 신호에 대한 공간영역의 영상신호를 2차원 이산 푸리에 변환을 이용하여 M×N 블록 단위의 주파수 영역의 2차원 DFT 변환계수들로 변환하고, 상기 변환된 2차원 DFT 변환계수 블록들에 대한 고주파 통과 대역을 결정하며, 상기 변환된 각 2차원 DFT 변환계수 블록의 고주파 통과 대역을 상기 결정된 대역폭으로 제한하고, 상기 대역폭이 제한된 양자화된 각 DFT 블록들 각각에 대해 역이산 푸리에 변환을 수행하여 복호화전의 원신호로 복원하며, 원신호로 복원된 상기 대역폭 제한 프레임 신호를 상기 움직임 추정, 보상 및 디스플레이를 위한 현재 프레임 신호로써 프레임 메모리(107)와 D/A 변환기(108)로 제공하도록 구성된다.
상기의 구성을 참조하여 보다 상세히 설명한다.
제3도를 참조하면, Qp 평균값 계산부(210)는 프레임의 영상 데이터를 복호화(가변길이 복호화, 역양자화 및 역DCT)하고 난 후에 복호화된 해당 프레임의 전체 매크로 블록에 대한 Qp 값을 평균함으로써 AQP 값을 산출한다.
이것은, 시간적으로 서로 인접하는 프레임은 그 변화가 크지 않다는 영상신호의 특성을 이용하여 현재 복호화된 프레임의 AQP 값을 다음 프레임에 대한 복호화 과정에서의 복잡도 산출에 이용한다는 것이다.
결국, 현재 복호화된 영상이 복잡한 영상일 경우, QP 평균값 계산부(210)에서 산출되는 AQP 값은 큰 값을 갖게 될 것이고, 상대적으로 복호화가 용이한 단순한 영상일 경우 산출되는 AQP 값은 작은 값으로 될 것이다.
보다 상세하게, 현재 복호화고자 하는 한 프레임의 영상신호가 M×N 의 크기를 갖고, 각 매크로 블록이 L×L 의 크기를 갖는다면, 이 영상신호의 매크로 블록의 개수는 (ML)×(NL)이 된다. 따라서, 한 프레임의 영상신호가 복호화되고 난 후에 발생된 QP의 개수는 (ML)×(NL)이 된다.
예를들어, 352×288의 입력 영상신호에 대하여 16×16의 매크로 블록을 가정하면, 매크로 블록의 개수가 (352/16)×(288/16)이므로 22×18, 즉 396개에 해당한다. 따라서, 본 발명에서는 이와같은 모든 매크로 블록의 QP를 평균하여 산출한 AQP 값을 복호화를 위해 입력되는 다음 영상신호의 복잡도로서 이용한다.
이때, 산출되는 AQP 값은 영상의 정보량(비트 발생량)에 관련된다고 볼 수 있는 데, 만일 현재 복호화된 영상이 복잡한 경우에는 산출되는 AQP 값이 상대적으로 커질 것이고, 그 반대의 경우에는 산출되는 AQP 값이 작아지게 될 것이다.
그런다음, QP 평균값 계산부(210)에서 산출된 AQP 값은 다음단의 필터 제어부(220)으로 제공된다.
한편, 필터 제어부(220)는 QP 평균값 계산부(210)으로부터 제공되는 AQP 값에 의거하여 입력 영상의 주파수 제한을 위한 필터계수 결정신호 C를 발생하여 주파수 선택부(230)로 제공된다.
여기에서, 발생되어 필터 제어부(220)로 제공되는 필터계수 결정신호 C는 입력 프레임 신호의 주파수 대역을 제한한다. 이때, 필터링을 위한 주파수 영역을 구분하는 데 필요한 필터계수 결정신호 C는 아래와 같이 방법으로 계산되며, 이 필터계수 결정신호 C를 이용하여 본 발명에 따라 제한하고자 하는 입력 영상의 주파수 영역을 설정하는 과정에 대해서는 첨부된 제4도 내지 제6도를 참조하여 하기에 상세하게 기술될 것이다.
보다 상세하게, 필터 제어부(220)에서 2차원 저역통과필터(210)로 출력되는 AQP 값을 이용하여 필터링을 위한 주파수 영역을 구분하는데 필요한 필터 계수 결정신호 C를 출력하는 과정은 다음의 (1)식과 같다.
C = 1 if(AQP≤16)
= 1+ROUND{(AQP-16)/5} if(AQP16)
상기 (1)식에서 ROUND는 반올림하여 정수값을 취하는 연산이다. 따라서, 상기 (1)식의 결과로, QP 값은 1에서 31사이의 정수값을 갖는 기존의 부호화기에서 주파수 영역 구분하는 데 필요한 필터계수 결정신호 C 값은 1에서 4 사이의 정수값을 갖는다. 즉, 산출된 AQP 값이 31인 경우에는 ROUND{(31-16)/5} 가 3이므로, 필터계수 결정신호 C는 4가 된다.
따라서, 이와같이 연산된 C 값에 따라, 제한하고자 하는 주파수 영역이 결정된다.
한편, 주파수 선택부(230)는 필터 제어부(220)로부터의 필터계수 결정신호 C에 의거하여 입력 영상신호의 필터링을 수행하지 않거나 혹은 입력영상신호에 2차원 저역통과 필터링을 적용하여 그 통과 대역을 적응적으로 제한(즉, 고주파 성분의 선택적인 필터링)함으로써, 인간의 시각특성에 비교적 둔감한 고주파 성분을 제거한 영상신호를 발생한다.
즉, 주파수 선택부(230)는 필터 제어신호가 2,3,4 레벨신호일 때 2차원 DFT 변환을 통해 입력 영상에서 고주파 성분을 제거하고, 필터 제어신호가 1레벨신호일 때 입력 영상에서 고주파 성분을 제거하지 않고 그대로 통과시킨다.
다음에, 상기한 바와같은 주파수 선택부(230)에서 입력 영상을 2차원 DFT 변환하고, 또한, 2차원 DFT 변환된 영상 신호의 주파수를 선택하는 과정에 대하여 상세하게 설명한다.
먼저, 주파수 선택부(230)는 입력 영상신호가 갖는 공간영역의 유사성을 이용하는 것으로, 아래의 (2)식에 의거하여 공간영역의 영상신호(픽셀 데이터)를 푸리에 함수를 이용하여 M×N 단위, 예를 들면 8×8 단위의 주파수 영역의 2차원 DFT 변환계수들로 변환된다.
상기 (2)식에서 f(u,v)는 각 픽셀의 값을, u는 수평방향의 위치를, v는 수직 방향으로의 픽셀의 위치를 나타낸다. 따라서, N×M 블록의 각 픽셀에 대한 값은 다음과 같은 값을 갖는다. 즉, N=8인 경우 u 및 v는 0과 7사이의 값을 갖는다. 이때, 각 값들은 0에서 255 사이의 정수값을 갖는다. 또한, 상기 (3)식에서 Z(k,1)은 변환된 신호를 의미하고, k,1은 각각 수평 및 수직 방향으로의 주파수 성분을 의미한다. 따라서 N=8인 경우에는 8×8 DFT 블록, 즉 공간영역의 신호가 주파수 영역의 신호로 변환된다.
보다 상세하게, 주파수 선택부(230)는 상술한 바와같은 과정을 통해 얻어진 DFT 변환계수들에 대하여, 제3도의 필터 제어부(220)로부터 제공되는 제어신호에 의거하여 그 통과되는 주파수 대역을 결정한다. 전술한 바와 같이, 주파수 영역 구분을 위한 대역폭 결정신호 B에 따라 선택되는 주파수는 다음과 같다.
즉, 주파수 선택부(230)는 변환된 주파수 Z(k,1)에서 특정한 주파수를 선택한다. 여기에서, k,1은 0에서 N-1 사이의 정수값이다. 따라서, 주파수 선택부(230)에서 출력되는 값은 특정 주파수 성분(즉, 고주파 성분)이 제거된 신호가 된다. 예를 들어, N=8인 경우에, 일예로서 제4도에 도시된 바와같이, 그 통과 주파수 대역이 결정될 것이다.
제4도에 도시된 바와 같이, 제3도의 필터 제어부(220)로부터 주파수 선택부(230)로 제공되는 주파수 영역 구분을 위한 대역폭 결정신호 B값이 1레벨이면 변환 주파수 Z(k,1)는 모두 선택되고, B값이 2,3,4 레벨인 경우에는 제5도에서와 같이 각각에 해당하는 점선 이하의 주파수는 모드 0으로 하여 선택하지 않는다.
다음에, 상술한 바와같이 영상의 복잡도에 기초하여 결정되는 대역폭 결정신호 B(2,3,4)값에 따라 특정영역의 주파수(고주파 성분)가 제거된 DFT 변환계수들(주파수 영역의 신호)은 아래에 도시된 (3)식을 통해 원래의 공간영역의 신호로 역변환된다.
상기 (3)식에서, f(u.v)는 각 픽셀의 값을 의미하고, u 및 v는 수평 및 수직 방향으로의 픽셀의 위치를 의미하여, Z(k,1)은 변환된 신호를 의미하고, k,1은 각각 수평 및 수직 방향으로의 주파수 성분을 의미한다. 따라서, N=8인 경우에는 주파수 영역의 8×8 DFT 블록들은 공간영역의 신호로 변환된다.
그 결과, 주파수 선택부(230)는 영상의 복잡도에 따라 특정영역의 주파수가 제거된 영상신호, 즉 영상의 복잡도에 근거하여 산출되는 대역폭 결정신호 B에 따라 영상의 고주파 성분이 선택적(또는 적응적)으로 제거된 영상신호(특정영역의 고주파 성분이 1레벨값으로 대체된 영상신호)를 프레임 메모리(107)와 D/A 변환부(108)로 제공하게 된다.
따라서, 제3도의 부호화수단은, 복잡한 영상의 경우, 상술한 바와같이 인간의 시각에 비교적 둔감한 영상의 고주파 성분을 선택적(또는 적응적)으로 제거한 상태에서 복호화를 수행하게 되므로, 시각적으로 중요한 성분인 주파수 신호에 대해 양자화 오차가 적게 생기도록 하면서 복호화할 수 있는 것이다. 만일, 복잡한 영상임에도 불구하고 본 발명에서와 같이 주파수의 저역통과 대역폭을 제한하지 않게 되면, 결과적으로 복호화후에 모든 주파수 대역(고주파에서 저주파 대역)에 대하여 양자화 오차가 많이 발생되고, 그 결가 수신측의 재생 영상에서 양자화로 인한 화질열화가 야기될 것이다.
이상 설명한 바와같이 본 발명에 따르면, 바로 이전에 복호화된 프레임에서 그 양자화시에 각 매크로 블록마다 발생된 QP 값들을 평균하여 얻은 AQP 값을 이용하여 현재 복호화하고자 하는 영상의 복잡도를 계산하고, 그 계산결과에 따라 현재 입력 영상이 복잡한 영상인 경우, 2차원 이산 푸리에 변환을 통해 인간의 시각에 둔감한 영상의 고주파 성분을 일차적으로 제거한 다음 복화를 수행하도록 함으로써, 복호화후 양자화 오차로 인한 화질열화를 효과적으로 감소시킬 수 있다.

Claims (3)

  1. 부호화되어 입력되는 비트 스트림에 대해 가변길이 복호화, 역양자화, 역DCT, 프레임 메모리 및 움직임 보상 등을 포함하는 복호화 수단을 통해 복호화하여 복호화된 데이터를 발생하며, 상기 역양자화하는 비트 스트림의 충만상태 정보에 따라 결정되는 양자화 파라메터에 근거하여 복원된 영상신호는 D/A 변환부를 통해 모니터로 출력하는 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템에 있어서,
    이전에 복호화된 이전 프레임의 각 매크로 블록들에 대해 각각 발생되는 각 양자화 파라메터값을 평균하여 상기 이전 프레임의 평균 양자화 파라메터값을 산출하는 Qp 평균값 계산부(210);
    상기 Qp 평균값 계산부(210)에 의해서 상기 산출된 평균 양자화 파라메터값을 현재 복화하고자 하는 프레임의 복잡도로서 참조하며, 복호화를 위해 입력되는 상기 현재 프레임의 주파수 통과 대역폭을 적응적으로 제한하기 위한 기 설정된 복수의 필터계수 결정신호들 중 상기 산출된 양장화 파라메터 평균값에 대응하는 필터계수 결정신호를 발생하는 필터 제어부(230);
    상기 필터 제어부(220)의 필터계수 결정신호에 의거하여 상기 입력되는 현재 프레임들을 상기 움직임 추정, 보상을 위한 현재 프레임 신호로써 그대고 상기 프레임 메모리과 D/A 변환부에 제공하거나 상기 입력 현재 프레임 신호에 대한 공간영역의 영상신호를 2차원 이산 푸리에 변환을 이용하여 M×N 블록 단위의 주파수 영역의 2차원 DFT 변환계수들로 변환하고, 상기 변환된 2차원 DFT 변환계수 블록들에 대한 고주파 통과 대역을 결정하며, 상기 변환된 각 2차원 DFT 변환 계수 블록의 고주파 통과 대역을 상기 결정된 대역폭으로 제한하고, 상기 대역폭이 제한된 양자화된 각 DFT 블록들 각각에 대해 역이산 푸리에 변환을 수행하여 복호화전의 원신호로 복원하며, 원신호로 복원된 상기 대력폭 제한 프레임 신호를 상기 움직임 추정, 보상 및 디스플레이를 위하여 현재 프레임 신호로써 상기 프레임 메모리과 D/A 변환부에 제공하는 주파수 선택부(230)을 더 포함하는 것을 특징으로 하는 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템.
  2. 제1항에 있어서,
    상기 필터계수 결정신호는, 상기 각 2차원 DFT 변환계수 블록들의 선택적인 대역폭 제한을 위해 각각 다른 정수값을 갖는 4개의 대역폭 결정신호를 포함하는 것을 특징으로 하는 열화영상에 대한 보상기능을 갖는 영상 복화화 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 주파수 선택은, 상기 현재 프레임 신호에 대한 공간영역의 영상신호를 8×8 블록 단위의 2차원 DFT 변환계수들로 변환하는 것을 특징으로 하는 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템.
KR1019960036972A 1996-08-30 1996-08-30 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템 KR100229796B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1019960036972A KR100229796B1 (ko) 1996-08-30 1996-08-30 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
US08/924,080 US5946421A (en) 1996-08-30 1997-08-28 Method and apparatus for compensating quantization errors of a decoded video image by using an adaptive filter
IN1599CA1997 IN192427B (ko) 1996-08-30 1997-08-29
GB9718396A GB2316827B (en) 1996-08-30 1997-08-29 Method and Apparatus for Compensating Quantization Errors of a Decoded Video Image by Using an Adaptive Filter
JP23602897A JPH10126780A (ja) 1996-08-30 1997-09-01 復号化映像補償装置
CN97116863A CN1124041C (zh) 1996-08-30 1997-09-01 对解码视频图象的量化误差进行补偿的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960036972A KR100229796B1 (ko) 1996-08-30 1996-08-30 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템

Publications (2)

Publication Number Publication Date
KR19980017213A true KR19980017213A (ko) 1998-06-05
KR100229796B1 KR100229796B1 (ko) 1999-11-15

Family

ID=19471851

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960036972A KR100229796B1 (ko) 1996-08-30 1996-08-30 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템

Country Status (6)

Country Link
US (1) US5946421A (ko)
JP (1) JPH10126780A (ko)
KR (1) KR100229796B1 (ko)
CN (1) CN1124041C (ko)
GB (1) GB2316827B (ko)
IN (1) IN192427B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100390813B1 (ko) * 2001-05-29 2003-07-12 주식회사 하이닉스반도체 하드웨어의 메모리를 절반으로 줄인 디지탈 텔레비젼비디오 디코딩 장치 및 방법
US8195010B2 (en) 2006-06-21 2012-06-05 Nippon Telegraph And Telephone Corporation Video matching apparatus and video matching method

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100243225B1 (ko) * 1997-07-16 2000-02-01 윤종용 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터
GB2352906B (en) * 1999-07-30 2003-10-29 Sony Uk Ltd Video data compression
GB2352903B (en) * 1999-07-30 2003-10-29 Sony Uk Ltd Video data compression
WO2001082630A1 (en) * 2000-04-21 2001-11-01 Matsushita Electric Industrial Co., Ltd. Pixel calculating device
US6831947B2 (en) 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
ES2754625T3 (es) 2001-11-29 2020-04-20 Godo Kaisha Ip Bridge 1 Método de extracción de distorsión de codificación
US20040062310A1 (en) * 2002-01-17 2004-04-01 Zhong Xue Coding distortion removal method, video encoding method, video decoding method, and apparatus and program for the same
CN101232618B (zh) * 2002-04-23 2013-03-27 诺基亚有限公司 用于在视频编码系统中指示量化器参数的方法与设备
KR100961760B1 (ko) 2002-08-13 2010-06-07 퀄컴 인코포레이티드 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
KR101223780B1 (ko) * 2008-07-30 2013-01-17 히다찌 컨슈머 일렉트로닉스 가부시끼가이샤 압축 화상 노이즈 제거 장치와 재생 장치
NO346137B1 (en) * 2020-06-17 2022-03-14 Pexip AS Method, computer program and system for detecting changes and moving objects in a video view

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454051A (en) * 1991-08-05 1995-09-26 Eastman Kodak Company Method of reducing block artifacts created by block transform compression algorithms
KR970009302B1 (en) * 1993-08-17 1997-06-10 Lg Electronics Inc Block effect reducing apparatus for hdtv
JP2673778B2 (ja) * 1994-02-22 1997-11-05 国際電信電話株式会社 動画像の復号化における雑音低減装置
KR100213014B1 (ko) * 1994-03-15 1999-08-02 윤종용 동화상신호의 고능률 부호화를 위한 레이트 콘트롤 장치
US5777679A (en) * 1996-03-15 1998-07-07 International Business Machines Corporation Video decoder including polyphase fir horizontal filter
US5737451A (en) * 1996-04-10 1998-04-07 Eastman Kodak Company Method and apparatus for suppressing blocking artifacts in block-transform coded images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100390813B1 (ko) * 2001-05-29 2003-07-12 주식회사 하이닉스반도체 하드웨어의 메모리를 절반으로 줄인 디지탈 텔레비젼비디오 디코딩 장치 및 방법
US8195010B2 (en) 2006-06-21 2012-06-05 Nippon Telegraph And Telephone Corporation Video matching apparatus and video matching method

Also Published As

Publication number Publication date
CN1175852A (zh) 1998-03-11
IN192427B (ko) 2004-04-24
JPH10126780A (ja) 1998-05-15
KR100229796B1 (ko) 1999-11-15
GB9718396D0 (en) 1997-11-05
CN1124041C (zh) 2003-10-08
GB2316827A (en) 1998-03-04
GB2316827B (en) 2000-10-18
US5946421A (en) 1999-08-31

Similar Documents

Publication Publication Date Title
US6414992B1 (en) Optimal encoding of motion compensated video
KR100203710B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
EP2141927A1 (en) Filters for video coding
EP1617672A1 (en) Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter
KR0159559B1 (ko) 디지탈 화상의 적응적인 후처리 방법
JP2001145113A (ja) 画像情報変換装置及び方法
EP0680217B1 (en) Video signal decoding apparatus capable of reducing blocking effects
KR100541623B1 (ko) 움직임 보상을 이용한 예측 코딩 방법 및 장치
KR100229796B1 (ko) 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
JPH10191391A (ja) データ処理装置および方法、動画像符号化装置および方法、並びに、動画像復号化装置および方法
KR0178195B1 (ko) 벡터 양자화 방식을 이용한 영상 신호 부호화 장치
US20020191696A1 (en) Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation
US6480544B1 (en) Encoding apparatus and encoding method
US5614953A (en) Image signal decoding apparatus having an encoding error compensation
KR100229795B1 (ko) 개선된 영상 복호화 시스템
KR100203675B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203676B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203663B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203709B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100203659B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100221308B1 (ko) 블록화 현상 제거 장치 및 이를 이용한 동영상 복호화기
KR100203628B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
JPH06217296A (ja) 適応的イントラ／インタモード圧縮を用いた映像信号符号化装置
KR100203685B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100196847B1 (ko) 영상 신호의 대역별 차분 펄스 부호 변조 회로

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130723

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20140722

Year of fee payment: 16

LAPS Lapse due to unpaid annual fee