KR19990036088A - 화상 부호화 장치, 화상 복호화 장치 및 그 방법 및 화상 전송시스템 - Google Patents

화상 부호화 장치, 화상 복호화 장치 및 그 방법 및 화상 전송시스템 Download PDF

Info

Publication number
KR19990036088A
KR19990036088A KR1019980700754A KR19980700754A KR19990036088A KR 19990036088 A KR19990036088 A KR 19990036088A KR 1019980700754 A KR1019980700754 A KR 1019980700754A KR 19980700754 A KR19980700754 A KR 19980700754A KR 19990036088 A KR19990036088 A KR 19990036088A
Authority
KR
South Korea
Prior art keywords
signal
picture
component
normalization coefficient
orthogonal transformation
Prior art date
Application number
KR1019980700754A
Other languages
English (en)
Inventor
신야 카도노
켄지로 츠다
Original Assignee
모리시타 요이찌
마츠시타 덴키 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모리시타 요이찌, 마츠시타 덴키 산교 가부시키가이샤 filed Critical 모리시타 요이찌
Publication of KR19990036088A publication Critical patent/KR19990036088A/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

유효 화소 검출 수단에 의해서, 블럭화된 화소 신호의 유효 화소 범위를 검출한다. 다음에 2차원 직교 변환 수단에 의해 모든 유효 화소를 포함하는 최소 단위로 2차원 직교 변환을 실행한다. 또한 DC 정규화 계수 계산 수단에서는, 유효 화소로부터 해당 블럭이 취할 수 있는 DC 성분의 분포를 계산하고, 상이한 화소수의 블럭 사이에서 DC 성분의 분포가 동일하도록 DC 성분을 정규화한다. 직교 변환된 신호를 양자화 수단에 인가하고, 가중 계수와 양자화 파라미터에 근거하여 양자화를 실행한다.

Description

화상 부호화 장치, 화상 복호화 장치 및 그 방법 및 화상 전송 시스템
자연 화상에 대한 화상 부호화 장치로서는, JPEG이나 MPEG이 부호화 효율이 높은 방법인 것은 잘 알려져 있다. 어느 쪽의 방법도 입력 화상 신호를 복수의 화소로 이루어지는 직사각형 형상의 블럭으로 분할하고, 직교 변환 수단으로 블럭 단위의 직교 변환(이산 코사인 변환)을 하고, 양자화 수단으로 소정의 양자화 단계에 의해 양자화한 후에, 가변 길이 부호화 수단으로 가변 길이 부호화를 하여, 부호화 신호를 출력하도록 하고 있다.
한편, 화상 신호에는, 통상 1장의 화면으로 구성되는 화상 신호 이외에, 인공적으로 복수의 화상을 합성하여 생성된 합성 화상이 있다. 이와 같은 합성 화상에서는, 화상 부호화 장치로 합성 전의 각 화면을 부호화하면, 화상 복호화 장치로 합성 전의 화상과 합성 후의 화상을 임의로 선택하여 복호화하여, 재생 화상을 얻을 수가 있어서, 화상 데이타베이스 등에 이용할 수 있다. 합성 화상에서는 휘도·색차의 컬러 신호 이외에 화상의 합성의 비율을 나타내는 투과도 정보(형상 정보)로 불리는 신호가 필요하다. 이 투과도 정보가 100%인 경우는 그 화상 신호는 투명한 것을 의미하여, 부호화할 필요가 없다. 그래서, 이 투과도 정보가 100%가 아닌 불투명한 화소만 화소값을 부호화하면, 효율이 좋은 부호화를 실행할 수 있다. 이 불투명한 화소의 집합은 일반적으로 직사각형 형상이 아니기 때문에, JPEG이나 MPEG에서 사용되고 있는 이산 코사인 변환을 그대로 사용하는 것이 불가능하다. 그래서, 직사각형 이외의 형상이라도 효율적으로 부호화할 수 있는 형상 적응적인 직교 변환의 실현 방법에 대하여, "Coding of Arbitrarily Shaped Image Segments Based on a generalized Orthogonal Transform", Gilge et.al, Signal Processing: Image Communication vol.1 1989 등에서 검토 결과가 보고되어 있다.
또한, 일본국 특허 출원 평성 제6-271542호의「화상 신호 부호화 방법」에서는, 형상 적응적인 직교 변환보다도 용이한 방법으로, 직사각형 이외의 형상이라도 화소값 삽입에 의해 효율적으로 부호화할 수 있는 방법을 제안하고 있다.
그러나 전술한 화상 부호화 장치에서는, 같은 사이즈의 직사각형 블럭 단위 이외의 직교 변환후의 양자화 수단 등의 최적화에 대해서는 검토되어 있지 않아, 부호화 효율 향상의 관점에서 아직 개선의 여지가 있었다.
또한, Gilge 등의 방법은 직교 변환의 기저 함수의 도출에 복잡한 계산이 필요하여, 실현이 곤란하였다. 그러나 계산이 간단한 화소값 삽입에 의한 부호화 방법으로, 삽입 방법을 개선하는 것에 의해 더욱 화질 향상을 실현할 수 있는 여지가 있다.
발명의 개시
본 발명은, 이러한 종래의 문제점을 감안하여 이루어진 것으로서, 상이한 사이즈의 블럭을 직교 변환한 후의 양자화 수단을, 비트 레이트(bit rate)의 관점에서 최적화한 화상 부호화 장치 및 화상 복호화 장치, 또한 화상 부호화 방법 및 화상 복호화 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해서,
제 1 발명은, 입력 화상 신호와 상기 입력 화상 신호의 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호가 입력되어, 블럭 단위로 디지탈 화상 신호의 부분 화상을 부호화하는 화상 부호화 장치에 있어서, 상기 유효 화소 지시 신호에 의해서 상기 입력 화상 신호의 직교 변환 기저를 생성하는 직교 변환 기저 생성 수단과, 상기 직교 변환 기저 생성 수단에서 생성된 직교 변환 기저로 상기 입력 화상 신호를 직교 변환하는 직교 변환 수단과, 상기 유효 화소 지시 신호로부터 상기 직교 변환 수단의 변환 출력 신호의 DC 성분을 정규화하기 위한 DC 정규화 계수를 도출하는 DC 정규화 계수 계산 수단과, 상기 직교 변환 수단에서 인가된 직교 변환 신호중 DC 성분에 대해서는, 그 양자화 단계를 상기 DC 정규화 계수 계산 수단에서 얻어진 DC 정규화 계수로 승산하고, 상기 직교 변환 수단에서 인가된 직교 변환 신호중 비(非) DC 성분에 대해서는, 표준의 양자화 단계에서 상기 직교 변환 신호를 양자화하는 양자화 수단을 구비하는 것을 특징으로 하는 것이다.
제 2 발명은, 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호에 의해서 입력 화상 신호의 직교 변환한 DC 성분의 양자화 단계를 제어하는 화상 부호화 장치에서 부호화된 부호화 신호와 상기 유효 화소 지시 신호를 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 장치에 있어서, 상기 부호화 신호를 복호화하여 복호화 신호를 출력하는 복호화 수단과, 상기 유효 화소 지시 신호로부터 상기 복호화 수단이 출력하는 복호화 신호중 DC 성분을 정규화하기 위한 DC 정규화 계수를 도출하는 DC 정규화 계수 계산 수단과, 상기 복호화 수단에서 얻어진 복호화 신호중 DC 성분에 대해서는, 그 양자화 단계를 상기 DC 정규화 계수 계산 수단에서 얻어진 DC 정규화 계수로 승산하여 역양자화하고, 상기 복호화 수단에서 얻어진 복호화 신호중 비 DC 성분에 대해서는, 표준 양자화 단계에서 상기 복호화 신호를 역양자화하는 역양자화 수단과, 상기 유효 화소 지시 신호에 의해서 상기 역양자화 수단의 출력 신호의 직교 변환 기저를 생성하는 직교 변환 기저 생성 수단과, 상기 직교 변환 기저로 상기 역양자화 수단의 출력 신호를 직교 변환하여 화상 복호화 신호를 출력하는 직교 변환 수단을 구비하는 것을 특징으로 하는 것이다.
제 3 발명은, 입력 화상 신호와 상기 입력 화상 신호의 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호와 참조 블럭의 DC 성분이 입력되어, 블럭 단위로 디지탈 화상 신호의 부분 화상을 부호화하고, 또한 DC 성분을 블럭 단위로 차분 부호화하는 화상 부호화 장치에 있어서, 상기 유효 화소 지시 신호에 의해서 상기 입력 화상 신호의 직교 변환 기저를 생성하는 직교 변환 기저 생성 수단과, 상기 직교 변환 기저로 상기 입력 화상 신호를 직교 변환하는 직교 변환 수단과, 상기 유효 화소 지시 신호로부터 상기 직교 변환 수단의 변환 출력 신호의 DC 성분을 정규화하기 위한 DC 정규화 계수를 도출하는 DC 정규화 계수 계산 수단과, 상기 참조 블럭의 DC 성분에 상기 DC 정규화 계수 계산 수단에서 계산된 DC 정규화 계수를 승산하여, 얻어진 DC 성분과 상기 참조 블럭의 DC 성분의 차인 DC 차분 성분을 출력하는 DC 예측 부호화 수단과, 상기 DC 예측 부호화 수단 출력의 DC 차분 성분과 상기 직교 변환 수단의 출력 신호의 AC 성분을 양자화하는 양자화 수단을 구비하는 것을 특징으로 하는 것이다.
제 4 발명은, 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호에 의해서 입력 화상 신호의 직교 변환한 DC 성분이 참조하는 블럭의 DC 성분을 보정하는 화상 부호화 장치에서 부호화된 부호화 신호와 상기 유효 화소 지시 신호와 상기 참조 블럭의 DC 성분을 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 장치에 있어서, 상기 부호화 신호를 복호화하여 복호화 신호를 출력하는 복호화 수단과, 상기 복호화 수단의 복호화 신호를 역양자화하는 역양자화 수단과, 상기 유효 화소 지시 신호에 의해서 상기 역양자화 수단의 출력 신호의 직교 변환 기저를 생성하는 직교 변환 기저 생성 수단과, 상기 유효 화소 지시 신호로부터 상기 복호화 수단이 출력하는 복호화 신호중 DC 성분을 정규화하기 위한 DC 정규화 계수를 도출하는 DC 정규화 계수 계산 수단과, 상기 참조 블럭의 DC 성분에 상기 DC 정규화 계수를 승산하여 상기 역양자화 수단 출력의 DC 차분 성분과 가산하여 그 합을 DC 성분으로 하는 DC 복호화 수단과, 상기 직교 변환 기저로 상기 DC 복호화 수단에서 출력되는 DC 성분과 상기 역양자화 수단에서 출력되는 AC 성분을 직교 변환하여 화상 복호화 신호를 출력하는 직교 변환 수단을 구비하는 것을 특징으로 하는 것이다.
제 5 발명에서는, 제 1 발명 및 제 3 발명에 있어서의 상기 DC 정규화 계수 계산 수단은, 블럭의 전(全)화소수에 대한 부호화해야 할 부분 화상의 화소수의 비율의 평방근을 DC 정규화 계수로 하는 것을 특징으로 하는 것이다.
제 6 발명에서는, 제 2 발명 및 제 4 발명에 있어서의 상기 DC 정규화 계수 계산 수단은, 블럭의 전화소수에 대한 부호화해야 할 부분 화상의 화소수의 비율의 평방근을 DC 정규화 계수로 하는 것을 특징으로 하는 것이다.
제 7 발명은, 입력 화상 신호와 상기 입력 화상 신호의 부호화해야 할 부분화상을 나타내는 유효 화소 지시 신호가 입력되어, 블럭 단위로 디지탈 화상 신호의 부분 화상을 부호화하는 화상 부호화 장치에 있어서, 상기 유효 화소 지시 신호에 의해서 상기 입력 화상 신호의 직교 변환 기저를 생성하는 직교 변환 기저 생성 수단과, 상기 직교 변환 기저 생성 수단에서 생성된 직교 변환 기저로 상기 입력 화상 신호를 직교 변환하는 직교 변환 수단과, 상기 유효 화소 지시 신호로부터 상기 직교 변환 수단의 변환 출력 신호의 AC 성분을 정규화하기 위한 AC 정규화 계수를 도출하는 AC 정규화 계수 계산 수단과, 양자화 단계를 상기 AC 정규화 계수배하여 상기 직교 변환 수단의 출력 신호를 양자화하는 양자화 수단을 구비하는 것을 특징으로 하는 것이다.
제 8 발명에서는, 상기 AC 정규화 계수 계산 수단은, 부호화해야 할 부분 화상의 화소수의 역수를 AC 정규화 계수로 하는 것을 특징으로 하는 것이다.
제 9 발명은, 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호에 의해서 입력 화상 신호의 직교 변환한 AC 성분의 양자화 단계를 제어하는 화상 부호화 장치에서 부호화된 부호화 신호와 상기 유효 화소 지시 신호를 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 장치에 있어서, 상기 부호화 신호를 복호화하여 복호화 신호를 출력하는 복호화 수단과, 상기 유효 화소 지시 신호로부터 상기 복호화 수단이 출력하는 복호화 신호중 AC 성분을 정규화하기 위한 AC 정규화 계수를 도출하는 AC 정규화 계수 계산 수단과, 상기 복호화 수단에서 얻어진 복호화 신호중 AC 성분의 양자화 단계를 AC 정규화 계수 계산 수단에서 도출된 AC 정규화 계수로 승산하여 상기 복호화 신호를 역양자화하는 역양자화 수단과, 상기 유효 화소 지시 신호에 의해서 상기 역양자화 수단의 출력 신호의 직교 변환 기저를 생성하는 직교 변환 기저 생성 수단과, 상기 직교 변환 기저로 상기 역양자화 수단의 출력 신호를 직교 변환하여 화상 복호화 신호를 출력하는 직교 변환 수단을 구비하는 것을 특징으로 하는 것이다.
제 10 발명에서는, 상기 AC 정규화 계수 계산 수단은, 부호화해야 할 부분 화상의 화소수의 역수를 AC 정규화 계수로 하는 것을 특징으로 하는 것이다.
제 11 발명은, 입력 화상 신호와 상기 입력 화상 신호의 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호가 입력되어, 블럭 단위로 디지탈 화상 신호의 부분 화상을 부호화하는 화상 부호화 장치에 있어서, 상기 유효 화소 지시 신호에 의해서 상기 입력 화상 신호의 부호화가 불필요한 부분 화상의 화소값에 적어도 2가지의 소정의 규칙에 있어서 생성한 화소값을 대입한 것을 출력하는 복수의 화소값 생성 수단과, 상기 화소값 생성 수단의 각 출력 신호를 직교 변환하는 복수의 직교 변환 수단과, 상기 직교 변환 수단의 각 출력을 비교하여 부호량이 적은 쪽을 선택하는 선택 수단과, 상기 선택 수단의 출력 신호를 양자화하는 양자화 수단을 구비하는 것을 특징으로 하는 것이다.
제 12 발명에서는, 상기 선택 수단은, 직교 변환후의 고주파수 성분이 적은 쪽의 출력 신호를 선택하는 것을 특징으로 하는 것이다.
제 13 발명에서는, 상기 선택 수단은, 직교 변환 후의 성분의 절대값의 합이 적은 쪽의 출력 신호를 선택하는 것을 특징으로 하는 것이다.
제 14 발명은, 입력 화상 신호와 상기 입력 화상 신호를 다른 화상 신호와 합성할 때의 합성비를 나타내는 투과도 신호가 입력되어, 블럭 단위로 디지탈 화상 신호를 부호화하는 화상 부호화 장치에 있어서, 상기 입력 화상 신호를 직교 변환하는 직교 변환 수단과, 상기 투과도 신호로부터 상기 직교 변환 수단의 변환 출력 신호를 정규화하는 정규화 계수를 도출하는 정규화 계수 계산 수단과, 양자화 단계를 상기 정규화 계수로 승산하여 상기 직교 변환 수단의 출력 신호를 양자화하는 양자화 수단을 구비하는 것을 특징으로 하는 것이다.
제 l5 발명에서는, 상기 정규화 계수 계산 수단은, 투과도가 크고, 화상을 합성할 때에 사용되는 비율이 작은 화소를 많이 포함하는 블럭에 대하여, 정규화 계수를 크게 하는 것을 특징으로 하는 것이다.
제 16 발명은, 입력 화상 신호를 다른 화상 신호와 합성할 때의 합성비를 나타내는 투과도 신호에 의해서 입력 화상의 직교 변환 출력 신호를 정규화하여 부호화된 부호화 신호와 상기 투과도 신호를 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 장치에 있어서, 상기 부호화 신호를 복호화하여 복호화 신호를 출력하는 복호화 수단과, 상기 투과도 신호로부터 상기 복호화 신호의 각 성분을 정규화하는 정규화 계수를 도출하는 정규화 계수 계산 수단과, 상기 복호화 신호의 양자화 단계를 상기 정규화 계수 계산 수단에서 도출된 정규화 계수로 승산하여 상기 복호화 신호를 역양자화하는 역양자화 수단과, 상기 역양자화 수단의 출력 신호를 직교 변환하여 화상 복호화 신호를 출력하는 직교 변환 수단을 구비하는 것을 특징으로 하는 것이다.
제 17 발명에서는, 상기 정규화 계수 계산 수단은, 투과도가 크고, 화상을 합성할 때에 사용되는 비율이 작은 화소를 많이 포함하는 블럭에 대하여, 정규화 계수를 크게하는 것을 특징으로 하는 것이다.
제 1 발명 및 제 3 발명의 화상 부호화 장치는, DC 정규화 계수 계산 수단에서 직교 변환후의 DC 성분의 동적 범위(dynamic range)를 계산하여, 다른 직교 변환 기저에 의한 DC 성분의 변동을 없애는 것이다. k 화소의 화소값을 블럭 단위로 부호화하는 것을 생각할 때, k 화소의 블럭의 내부의 유효 화소 영역 w의 N 화소를 직교 변환하면, 영역 w의 DC 성분과 블럭 전체의 DC 성분의 에너지의 크기가 다르다. 즉 영역 w의 화소만을 직교 변환하면, 블럭 전체를 직교 변환하는 경우와 비교하여 DC 성분이 (N/k)1/2배로 된다.
일반적으로 화상 신호를 직교 변환하여 부호화할 때에는, DC 성분은 인접하는 블럭의 DC 성분과의 차분을 부호화하는 방법이 사용된다. 화상 신호에 있어서, 인접하는 블럭의 DC 성분은 상관이 강하기 때문에, 그 차분이 0이 되는 것을 이용하여, 압축 효율의 향상을 도모한다. 그러나, 블럭마다 부호화되는 화소수가 다른 방법을 사용하면, DC 성분이 변동하기 때문에, 그대로는 DC 차분값이 0 근방에 집중하지 않는다.
그래서, 화상 부호화 장치는 직교 변환하는 화소수가 N인 경우에는, 양자화단계를 (N/k)1/2배 하는 것에 의해, 블럭 사이의 DC 성분의 변동을 없앨 수 있다. 이 경우, 가변 길이 부호화 수단의 부호화 효율이 향상한다. 또, 이 가변 길이 부호화 수단에는 DC 성분의 차분 부호화도 포함하는 것으로 한다.
또한, 제 3 발명의 화상 부호화 장치는 인접 블럭의 DC 성분을 N1/2배하여, 다른 직교 변환 기저에 의한 DC 성분의 변동을 없앤다. 이렇게 하면, DC 예측 부호화 수단의 부호화 효율이 높게 된다.
제 2 발명의 화상 복호화 장치와 제 4 발명의 화상 복호화 장치는, 각각 제 l 발명의 화상 부호화 장치와 제 3 발명의 화상 부호화 장치에서 부호화된 신호를, 유효 화소 지시 신호를 이용하여 DC 정규화 계수를 도출하여, 부호화 신호를 정확하게 복호화한다.
제 7 발명의 화상 부호화 장치는, AC 정규화 계수 계산 수단에서 직교 변환 후의 AC 성분의 동적 범위를 계산하여, 다른 직교 변환 기저에 의한 AC 성분의 변동을 없애는 것이다. 화소값 삽입 등을 하여 직교 변환을 한 경우에는, 삽입한 화소값이 다른 화소값과 상관이 있기 때문에, 양자화 오차에도 편차가 발생한다. 이것 때문에 그 양자화 화소의 편차를 제거하면, 다른 블럭보다도 평균 양자화 오차의 에너지를 저감시키는 것이 가능하다. 화소값 삽입을 따르지 않은 블럭(화소수 N)의 평균 양자화 오차를 δ로 하면, 부호화해야 할 화소수가 N 개의 성분밖에 없는(M-N 개의 화소값 삽입을 행한다) 경우의 블럭 단위의 오차는, 양자화 오차를 백색 가우스 잡음(white Gaussian noise)이라고 가정하면, (N2/M)·δ 에 가까운 값이 된다.
따라서, 화소당의 양자화 오차는 (N2/M2)·δ 이기 때문에, 양자화 단계를 M/N 배로 하는 것에 의해, 다른 블럭과 같은 양자화 오차로 된다. M/N은 1 이상의 실수이기 때문에, 화상 부호화 장치에서는 AC 정규화 계수 계산 수단에서 계산한 AC 정규화 계수로 승산하여 양자화 단계에서 양자화하는 것에 의해, 부호화 비트수를 삭감할 수 있다.
제 9 발명의 화상 복호화 장치는 제 7 발명의 화상 부호화 장치에서 부호화된 신호를, 유효 화소 지시 신호를 이용하여 AC 정규화 계수를 도출하여, 부호화 신호를 정확하게 복호화한다.
제 11 발명의 화상 부호화 장치는, 유효 화소 지시 신호의 이용에 의해, 삽입한 화소값의 값이 화상 복호화 장치의 복호화의 순서와 무관계한 것을 이용하여, 복수의 화소값 생성 수단에서 삽입 화소값을 생성한다. 그리고 직교 변환후에 부호화 비트수가 적은 쪽의 화소값 생성 수단에서 삽입한 화소값을 선택하여, 가변 길이 부호화하는 것에 의해 부호화 비트수를 삭감할 수 있다. 화소값 생성 수단으로서는, 화소값의 평균치를 삽입하는 방법이나, LPF에서 화소값을 생성하는 방법이 가능하다.
제 14 발명의 화상 부호화 장치는, 투과도가 크게 화상 합성될 때에 영향이 적은 화소를 포함하는 블럭에 대해서는, 양자화 단계를 개략적으로 하더라도 시각적으로 열화가 눈에 띄지 않은 것을 이용하는 것이다. 투과도가 큰 블럭은 정규화 계수를 크게 하고, 그 결과, 적응적으로 양자화 단계를 개략적으로 함으로써 부호화 비트수를 삭감할 수 있다.
제 16 발명의 화상 복호화 장치는, 제 14 발명의 화상 부호화 장치에서 부호화된 신호를, 투과도 신호를 이용하여 정규화 계수를 도출하여, 부호화 신호를 정확하게 복호화한다.
본 발명은 화상 신호를 기록 또는 전송할 때에, 기록에 필요한 용량이나 전송에 필요한 전송 레이트(transmission rate)를 삭감하는 것을 목적으로 하며, 화상 신호의 데이터량을 삭감하여 부호화하는 화상 부호화 장치와, 그것을 정확하게 복호화하는 화상 복호화 장치에 관한 것이다.
도 1은 본 발명의 제 1 실시예에 있어서의 화상 부호화 장치의 기본 구성을 나타내는 블럭도이다.
도 2는 본 발명의 제 2 실시예에 있어서의 화상 복호화 장치의 기본 구성을 나타내는 블럭도이다.
도 3은 본 발명의 제 3 실시예에 있어서의 화상 부호화 장치의 기본 구성을 나타내는 블럭도이다.
도 4는 본 발명의 제 4 실시예에 있어서의 화상 복호화 장치의 기본 구성을 나타내는 블럭도이다.
도 5는 본 발명의 제 5 실시예에 있어서의 화상 부호화 장치의 기본 구성을 나타내는 블럭도이다.
도 6은 본 발명의 제 6 실시예에 있어서의 화상 복호화 장치의 기본 구성을 나타내는 블럭도이다.
도 7은 본 발명의 제 7 실시예에 있어서의 화상 부호화 장치의 기본 구성을 나타내는 블럭도이다.
도 8은 본 발명의 제 8 실시예에 있어서의 화상 부호화 장치의 기본 구성을 나타내는 블럭도이다.
도 9는 본 발명의 제 9 실시예에 있어서의 화상 복호화 장치의 기본 구성을 나타내는 블럭도이다.
발명을 실시하기 위한 최선의 형태
본 발명의 제 1 실시예의 화상 부호화 장치에 대하여 도면을 참조하면서 설명한다. 도 1은 제 1 실시예인 화상 부호화 장치의 기본 구성을 나타내는 블럭도이다. 이 도면에 있어서, 화상 부호화 장치에 화소 신호에 대응하는 유효 화소 지시 신호(1) 및 블럭화된 화상 신호(2)가 입력된다. 유효 화소 검출 수단(3)은 부호화해야 할 화소인 유효 화소를 유효 화소 지시 신호(1)에 의해 검출하는 수단이다. 유효 화소 검출 수단(3)이 출력하는 유효 화소 정보(4)는 직교 변환 기저 생성 수단(6)에 인가되고, 화소수 신호(5)는 해당 블럭의 유효 화소수를 나타내는 신호로서 DC 정규화 계수 계산 수단(10)에 인가된다.
직교 변환 기저 생성 수단(6)은 직교 변환 기저(7)를 생성하여 2차원 직교 변환 수단(8)에 인가하는 수단이다. 2차원 직교 변환 수단(8)은 화상 신호(2)를 직교 변환 기저(7)로 직교 변환하여 직교 변환 신호(9)를 출력하는 수단이다. DC 정규화 계수 계산 수단(10)은 화소수 신호(5)로부터 DC 정규화 계수(11)를 계산하는 수단이고, 그 계수는 가중 계산 수단(12)에 인가된다. 가중 계산 수단(12)은 양자화할 때의 가중 계수(13)를 계산하여 출력하는 수단이고, 그 값은 양자화 파라미터(14)와 함께 양자화 수단(l5)에 인가된다.
양자화 수단(15)은 양자화 파라미터(14)와 가중 계수(13)로부터 양자화 단계를 계산하여, 직교 변환 신호(9)를 양자화하여 양자화 값(16)을 출력하는 수단이다. 가변 길이 부호화 수단(17)은 양자화 값(16)을 가변 길이 부호화를 하여, 부호화 신호(18)를 출력하는 회로이다.
이상과 같이 구성된 제 1 실시예의 화상 부호화 장치의 동작을 설명한다. 블럭화된 화상 신호중에서, 부호화해야 할 유효 화소 위치가 유효 화소 지시 신호(1)로 표시된다. 직교 변환 기저 생성 수단(6)은, 해당 블럭내의 유효 화소 위치로부터 소정의 직교 변환 기저(7)를 생성한다. 2차원 직교 변환 수단(8)은 화상 신호(2)를 직교 변환 기저(7)를 이용하여 직교 변환하여, 직교 변환 신호(9)를 출력한다.
한편, DC 정규화 계수 계산 수단(10)은 화소수 신호(5)로부터 DC 정규화 계수(11)를 계산한다. 예컨대, 이 DC 정규화 계수(1l)은, 블럭의 유효 화소수나 유효 화소수의 함수이다. 가중 계산 수단(12)은 DC 정규화 계수(11)의 값에 대응하여 DC 성분의 가중 계수(13)를 계산한다. 양자화 수단(15)은 가중 계수(13)와 양자화 파라미터(l4)로부터 양자화 단계를 계산하여, 직교 변환 신호(9)를 양자화하여 양자화 값(16)을 출력한다. 양자화 파라미터(14)는 MPEG에서 압축율을 바꾸기 위해서 이용되는 블럭 단위로 압축율을 바꾸는 파라미터로, 양자화 파라미터가 크면 부호화 왜곡이 커지지만 부호화 비트수는 작아진다.
양자화 단계의 예로서는, 양자화 파라미터(14)와 가중 계수(13)의 곱을 생각할 수 있다. 양자화 수단(l5)에서 생성된 양자화 값(16)은 가변 길이 부호화 수단(17)에서 가변 길이 부호화되어, 부호화 신호(18)로서 출력된다. 또, 가변 길이 부호화 수단(17)에서는, 블럭 단위로 부호화할 뿐만이 아니라, 지연 버퍼 등을 내장하여 과거에 입력된 블럭과의 차분 부호화를 하는 것도 가능하다.
이상의 신호 처리에 대하여 수식을 이용하여 설명한다. 도 1의 DC 정규화 계수 계산 수단(10)은, 직교 변환후의 DC 성분의 동적 범위를 계산하여, 다른 직교 변환 기저에 의한 DC 성분의 변동을 없애기 위해 마련한 것이다. 어떤 블럭 B의 화소수를 k 화소로 한다. 그리고 각 화소값 {Xi; i=1,2 … k}을 블럭 단위로 부호화하는 것을 생각한다. k 화소의 블럭 B의 내부의 유효 화소 영역을 w라고 하면, 유효 화소 영역 w에 존재하는 N 화소를 직교 변환하면, 유효 화소 영역 w의 DC 성분 DCw는 (1)식과 같이 된다.
또 블럭 B 전체로 직교 변환하면, 그 DC 성분 DCBLOCK은 (2)식과 같이 된다.
여기에서, 화소값 Xi의 평균치를 XAV로 하면, 각 DC 성분은 (3)식과 같이 된다.
따라서, 유효 화소 영역 w의 화소만을 직교 변환하면, 블럭 B 전체를 직교 변환하는 경우와 비교하여, DC 성분이 (4)식으로 나타낸 값으로 인가되는 비율만큼 증가한다.
일반적으로 화상 신호를 직교 변환하여 부호화할 때에는, DC 성분은 인접하는 블럭의 DC 성분과의 차분을 부호화하는 방법이 사용된다. 화상 신호에 있어서, 인접하는 블럭의 DC 성분은 상관이 강하기 때문에, 그 차분이 0이 되는 것을 이용하여, 압축 효율의 향상을 도모한다. 그러나 이상과 같이, 블럭마다 부호화되는 화소수가 다른 방법을 사용하면, DC 성분의 DC 차분값이 0이 되지 않는다.
그래서, 제 1 실시예의 화상 부호화 장치에서는, 직교 변환하는 화소수가 N인 경우에는 양자화 단계를 다음에 나타내는 (5)식에서 나타낸 값만큼 증가(승산)시킴으로써, 블럭 사이의 DC 성분의 변동을 없애는 것이다.
이렇게 하면, 가변 길이 부호화 수단(17)에서의 부호화 효율이 향상한다. 또, 이 가변 길이 부호화 수단(17)에서는 DC 성분의 차분 부호화도 포함하는 것으로 한다.
이상과 같이 본 실시예에 의하면, 유효 화소 지시 신호(l)에서 해당 블럭에 적절한 DC 성분의 가중이 행하여지고, 양자화 수단(15)에서 최적의 양자화가 실행되는 것에 의해, 부호화 비트수가 적고, 유효 화소수에 의존하지 않는 효율적인 화상 부호화 장치를 실현할 수 있다.
다음에 본 발명의 제 2 실시예인 화상 복호화 장치에 대하여 도 2를 이용하여 설명한다. 도 2는 제 2 실시예에 있어서의 화상 복호화 장치의 기본 구성을 나타내는 블럭도로서, 제 l 실시예와 동일 신호 및 동일한 기능을 갖는 블럭은 동일한 부호를 붙이고, 상세한 설명은 생략한다. 본 실시예의 화상 복호화 장치는, 도 1의 화상 부호화 장치에서 부호화된 부호화 신호(18)를, 유효 화소 지시 신호를 이용하여 DC 정규화 계수를 도출하여, 정확하게 복호화하는 것이다.
도 2에 있어서, 유효 화소 지시 신호(1)는 화소 신호에 대응하는 유효 화소를 지시하는 신호이다. 부호화 신호(18)는 화상 부호화 장치에서 부호화된 신호이다. 유효 화소 검출 수단(3)은 유효 화소 지시 신호(1)로부터 부호화해야 할 화소인 유효 화소를 검출하는 수단으로써, 유효 화소 정보(4)와 해당 블럭의 유효 화소수를 나타내는 화소수 신호(5)를 출력한다. 직교 변환 기저 생성 수단(6)은 직교 변환 기저(7)를 생성하는 수단이다.
DC 정규화 계수 계산 수단(10)은 화소수 신호(5)로부터 DC 정규화 계수(11)를 계산하여 가중 계산 수단(12)에 인가하는 수단이다. 가중 계산 수단(12)은 양자화할 때의 가중 계수(13)를 계산하는 수단이다. 가변 길이 복호화 수단(20)은 부호화 신호(18)를 복호화하여 복호화 신호(21)를 출력하는 수단이다. 역양자화 수단(22)은 양자화 파라미터(14)와 가중 계수(13)로부터 양자화 단계를 계산하여 역양자화 값(23)을 출력하는 수단이다. 2차원 직교 변환 수단(24)은 역양자화 값(23)을 직교 변환 기저(7)로 직교 변환하여 화상 복호화 신호(25)를 출력하는 수단이다.
이와 같이 구성된 제 2 실시예의 화상 복호화 장치에 대하여, 그 동작을 설명한다. 또, 도 2의 (1)∼(7)로 나타내는 블럭과 신호, 및 (10)∼(14)로 나타내는 블럭의 동작과 각 신호의 의미는 제 1 실시예의 경우와 동일하기 때문에 설명을 생략한다. 그런데 부호화 신호(18)는 가변 길이 복호화 수단(20)에 있어서, 도 1의 가변 길이 부호화 수단(17)의 부호화와 반대의 복호화가 실행되어, 복호화 신호(21)로 변환된다. 역양자화 수단(22)은 복호화 신호(21)에 대하여, 가중 계수(13)와 양자화 파라미터(l4)로부터 양자화 단계를 계산하고, 역양자화하여 역양자화 값(23)을 출력한다. 또한, 이 양자화 단계는 제 1 실시예의 양자화 수단(15)에서의 양자화 단계와 동일하다.
2차원 직교 변환 수단(24)은 역양자화 값(23)을 직교 변환하여 화상 복호화 신호(25)로 한다. 여기서 실행되는 직교 변환은 제 1 실시예의 2차원 직교 변환 수단(8)에서의 변환과 역변환이다.
이와 같이 본 실시예에 의하면, 유효 화소 지시 신호(1)로부터 해당 블럭에 적절한 DC 성분의 가중이 행하여져, 역양자화 수단(22)에서 화상 부호화 장치와 같은 양자화 단계에서 역양자화가 실행된다. 이 때문에, 제 1 실시예에서 생성된 부호화 신호(18)를 정확하게 복호화할 수 있다.
다음에 본 발명의 제 3 실시예의 화상 부호화 장치에 대하여 도면을 참조하면서 설명한다. 도 3은 제 3 실시예의 화상 부호화 장치의 기본 구성을 나타내는 블럭도이다. 이 도면에 있어서, (1)∼(18)의 각 블럭과 각 신호는 제 1 실시예의 것과 같기 때문에, 그들의 구성의 설명은 생략한다. 본 실시예의 화상 부호화 장치는 인접 블럭의 DC 성분을 (5)식으로 나타내는 값만큼 승산하여, 다른 직교 변환 기저에 의한 DC 성분의 변동을 없애는 것에 의해서, DC 예측 부호화 수단의 부호화 효율을 높이는 것이다.
승산 수단(31)은 가중 계수(13)와 참조 블럭의 DC 성분(30)을 승산하여, 곱 신호(32)를 출력하는 수단이다. DC 예측 부호화 수단(33)은, 곱 신호(32)와 2차원직교 변환 수단(8)이 출력하는 직교 변환 신호(9)를 입력하여, DC 차분 신호(34)를 계산하여 출력하는 수단이다. 합성 수단(35)은 직교 변환 신호(9)의 DC 성분을 DC 차분 신호(34)로 치환하여, 직교 변환 신호(36)를 출력하는 수단이다.
이와 같이 구성된 제 3 실시예인 화상 부호화 장치의 동작에 대하여, 제 1 실시예의 화상 부호화 장치와 다른 부분만을 설명한다. 승산 수단(31)은 가중 계수(13)에 대하여 참조 블럭의 DC 성분(30)을 승산한다. 가중 계수(13)는 해당 블럭의 DC 성분의 유효 화소수에 기인하는 변동 성분을 나타내는 것이기 때문에, 곱 신호(32)는 유효 화소수에 기인하는 변동 성분이 정규화된 신호이고, DC 예측 부호화 수단(33)의 예측 효율이 유효 화소수에 관계하지 않고 높게 된다.
합성 수단(35)은 직교 변환 신호(9)의 DC 성분만을, 유효 화소수로 정규화된 DC 성분에 상당하는 예측 부호화 수단(33)의 출력으로 치환한다. 그리고 가변 길이 부호화 수단(17)은 유효 화소수에 의존하지 않은 범용적인 가변 길이 부호화를 하는 것에 의해, 부호화 효율을 높게 할 수 있다.
이와 같이 본 실시예에 의하면, 승산 수단(31)에서 참조 블럭의 DC 성분(30)을 가중 계수(13)로 정규화하여 DC 예측 부호화를 하는 것에 의해, 제 1 실시예와 마찬가지로 유효 화소수에 의존하지 않는 효율적인 화상 부호화 장치를 실현할 수 있다.
다음에 본 발명의 제 4 실시예인 화상 복호화 장치에 대하여 도 4를 이용하여 설명한다. 도 4는 제 4 실시예에 있어서의 화상 복호화 장치의 기본 구성을 나타내는 블럭도로서, 제 3 실시예와 동일 신호 및 동일한 기능을 갖는 블럭은 동일한 부호를 붙여, 상세한 설명은 생략한다. 본 실시예의 화상 복호화 장치는 도 3의 화상 부호화 장치에서 부호화한 부호화 신호(18)를 복호화하는 장치이다.
도 4에 있어서, (1)∼(21)로 나타내는 블럭 및 신호명, (24)∼(25)의 블럭 및 신호명은 제 2 실시예의 것과 동일하다. DC 예측 복호화 수단은 승산 수단(3l)의 곱 신호(32)를 입력하여, 역양자화 값(23)의 DC 성분을 복호화하여 DC 복호화 신호(41)를 출력하는 수단이다. 합성 수단(42)은 DC 성분과 AC 성분을 합성한 합성 신호(43)를 출력하는 수단이다.
이와 같이 구성된 제 4 실시예의 화상 복호화 장치의 동작에 대하여 설명한다. 유효 화소 지시 신호(l)에서 곱 신호(32)와 직교 변환 기저(7)를 출력하기까지의 처리는, 제 2 실시예의 화상 복호화 장치의 경우와 동일하다. 부호화 신호(18)는 가변 길이 복호화 수단(20)에 있어서 도 3의 가변 길이 부호화 수단(17)의 부호화와 반대의 복호화를 하여, 복호화 신호(21)를 출력한다.
역양자화 수단(22)은 복호화 신호(21)에 대하여 양자화 파라미터(14)를 이용하여 양자화 단계를 계산하고, 역양자화하여 역양자화 값(23)를 출력한다. 역양자화 값(23)의 DC 성분은 예측 부호화되어 있기 때문에, DC 예측 복호화 수단(40)은 참조 블럭의 DC 성분에 곱 신호(32)를 승산한 것을 역양자화 값(23)의 DC 성분에 가산하여 DC 복호화 신호(41)를 생성한다.
또한, 참조 블럭의 DC 성분은, 동작 설명을 간단히 하기 위해서 DC 예측 복호화 수단(40)의 내부에 기억되어 있는 것으로 하고, 해당 블럭의 DC 성분은 또한 후속 블럭의 DC 성분 복호화에 사용되는 것으로 한다. 합성 수단(42)은 역양자화 값(23)의 DC 성분을 DC 복호화 신호(41)로 치환하여 합성 신호(43)로서 출력한다. 2차원 직교 변환 수단(24)은 합성 신호(43)를 직교 변환하여 화상 복호화 신호(25)를 출력한다.
이와 같이 본 실시예에 의하면, 승산 수단(31)에서 참조 블럭의 DC 성분(30)을 가중 계수(13)로 정규화하여, DC 예측 부호화를 한 부호화 신호(18)를 정확하게 복호할 수 있다.
다음에 본 발명의 제 5 실시예의 화상 부호화 장치에 대하여 도면을 참조하면서 설명한다. 도 5는 제 5 실시예의 화상 부호화 장치의 기본 구성을 나타내는 블럭도이다. 이 도면에 있어서, (l)∼(18)의 각 블럭과 각 신호는 제 1 실시예의 것과 같기 때문에, 그들의 설명은 생략한다.
AC 정규화 계수 계산 수단(50)은 유효 화소 검출 수단(3)이 출력하는 화소수 신호(5)로부터 AC 정규화 계수(5l)를 계산하는 수단이다. 가중 계산 수단(52)은 양자화할 때의 가중 계수(53)를 계산하는 수단이다.
본 실시예의 화상 부호화 장치는, AC 정규화 계수 계산 수단(50)에서, 직교 변환후의 AC 성분의 동적 범위를 계산하고, 다른 직교 변환 기저에 의한 AC 성분의 변동을 없애는 것이다. 화소값의 삽입 등을 하여 직교 변환을 한 경우에는, 삽입한 화소값이 다른 화소값과 상관이 있기 때문에, 양자화 오차에도 편차가 발생한다. 이 때문에, 그 양자화 화소의 편차를 제거하면, 다른 블럭보다도 평균 양자화 오차의 에너지를 저감시키는 것이 가능하다.
화소값의 삽입을 수반하지 않은 블럭(화소수 N)의 양자화 오차의 편차를 δ로 하면, 부호화해야 할 화소수가 N 개의 성분밖에 없다. 즉 M-N 개의 화소값 삽입을 하는 경우의 블럭 단위의 오차는, 양자화 오차를 백색 가우스 잡음이라고 가정하면 (6)식으로 나타난 값에 가깝게 된다.
따라서, 화소당의 양자화 오차는 (7)식에서 나타낸 값이 된다.
양자화 단계를 다음에 나타낸 (8)식에서 나타낸 값
만큼 승산하는 것에 의해, 양자화 오차는 다른 블럭과 같게 된다.
(8)식의 값은 l 이상의 실수이기 때문에, AC 정규화 계수 계산 수단(50)에서 계산한 AC 정규화 계수의 값만큼 승산한 양자화 단계에서 양자화하는 것에 의해, 부호화 비트수를 삭감할 수 있다.
이렇게 하여 AC 정규화 계수 계산 수단(50)은 화소수 신호(5)로부터 직교 변환된 AC 정규화 계수(51)를 계산한다. 또한, 이 AC 정규화 계수(51)에 DC 성분을 포함하고 있더라도 이하의 동작은 마찬가지로 실현할 수 있다. 예컨대 이 AC 정규화 계수(51)는 블럭의 유효 화소수의 역수가 고려된다. 가중 계산 수단(52)은 AC 정규화 계수(51)의 값에 대응하여 각 계수 성분의 가중 계수(53)를 계산한다.
양자화 수단(l5)은 가중 계수(53)와 양자화 파라미터(14)로부터 양자화 단계를 계산하여, 양자화 값(16)을 출력한다. 이 양자화 단계는, 유효화 소수에 의존하는 양자화 오차의 편차를 평균화하는 효과가 있기 때문에, 비트수를 적절히 분배하는 것에 의해 부호화 효율을 향상할 수 있다. 양자화 단계의 예로서는, 양자화 파라미터(14)와 가중 계수(weighting coefficient)(53)의 곱이 고려된다.
이와 같이 본 실시예에 의하면, 유효 화소 지시 신호(1)로부터 해당 블럭에 적절한 AC 성분의 가중이 행하여져, 양자화 수단(15)에서 최적의 양자화가 실행되는 것에 의해, 부호화 비트수가 적게 유효 화소수에 의존하지 않는 효율적인 화상 부호화 장치가 실현할 수 있다.
다음에 본 발명의 제 6 실시예인 화상 복호화 장치에 대하여 도 6을 이용하여 설명한다. 도 6은 제 6 실시예에 있어서의 화상 복호화 장치의 기본 구성을 나타내는 블럭도로서, 제 2 실시예와 동일 신호 및 동일 기능을 갖는 블럭은 동일한 부호를 붙이고, 상세한 설명은 생략한다. 본 실시예의 화상 복호화 장치는 도 5의 화상 부호화 장치에서 부호화한 부호화 신호(18)를 복호화하는 장치이다.
이와 같이 구성된 제 6 실시예의 화상 복호화 장치의 동작에 대하여, 제 2 실시예의 화상 부호화 장치와 다른 부분에 관하여 설명한다. 역양자화 수단(22)은 복호화 신호(21)를 입력하여, 가중 계수(53)와 양자화 파라미터(14)로부터 양자화 단계를 계산하고, 역양자화하여 역양자화 값(23)을 출력한다. 가중 계수(53)는 제 5 실시예의 가중 계수(53)와 동일하다. 따라서 이 양자화 단계는, 제 5 실시예의 양자화 수단(15)의 양자화 단계와 동일하다. 제 2 실시예의 화상 복호화 장치는 DC 성분에 대하여 가중을 실행하였지만, 본 실시예에서는 부호화된 모든 직교 변환 성분에 가중을 실행하는 점이 다르다.
이와 같이 본 실시예에 의하면, 유효 화소 지시 신호(1)로부터 해당 블럭에 적절한 AC 성분의 가중이 실행되고, 역양자화 수단(22)에서 화상 부호화 장치와 동일한 양자화 단계에서 역양자화가 실행되는 것에 의해, 제 5 실시예의 부호화 신호(l8)를 정확하게 복호화할 수 있다.
다음에 본 발명의 제 7 실시예의 화상 부호화 장치에 대하여 도면을 참조하면서 설명한다. 도 7은 제 7 실시예의 화상 부호화 장치의 기본 구성을 나타내는 블럭도이다. 이 도면에 있어서, 화상 부호화 장치에 화소 신호에 대응하는 유효 화소 지시 신호(1) 및 블럭화된 화상 신호(2)가 입력된다. 화소값 생성 수단(60a), (60b)은, 유효 화소 지시 신호(1)에 의해, 유효 화소 이외의 화소값에 소정값을 삽입한 화상 신호(61a), (61b)를 생성하여, 그들을 출력하는 수단이다.
2차원 직교 변환 수단(8a)은 화상 신호(61a)를 직교 변환하여 직교 변환 신호(9a)를 출력하는 수단이다. 마찬가지로 하여 2차원 직교 변환 수단(8b)은 화상 신호(61b)를 직교 변환하여 직교 변환 신호(9b)를 출력하는 수단이다. 선택 수단(62)은 직교 변환 신호(9a), (9b)에서 한쪽을 선택하여 직교 변환 신호(63)를 출력하는 수단이다. 양자화 수단(15)은 양자화 파라미터(14)를 이용하여 양자화 단계를 계산하여, 양자화 값(16)을 출력하는 수단이다. 가변 길이 부호화 수단(l7)은 양자화 값(16)을 가변 길이의 부호화 신호(18)로 변환하는 수단이다.
이와 같이 구성된 제 7 실시예의 화상 부호화 장치의 동작을 설명한다. 블럭화된 화소 위치중에서, 부호화해야 할 유효 화소 위치가 유효 화소 지시 신호(1)로 표시된다. 화소값 생성 수단(60a), (60b)은 해당 블럭내의 유효 화소 이외의 화소값에, 화상 신호(2)로부터 각 소정 규칙(예를 들면, 고주파수 성분이 작아지도록 화소값을 생성하는 방법이나 블럭내 평균치등)으로 화소값을 생성하여, 화상 신호(61a), (61b)를 각각 출력한다. 각 화상 신호(6la), (61b)는 2차원 직교 변환 수단(8a), (8b)에서 직교 변환되어, 직교 변환 신호(9a), (9b)로 된다.
선택 수단(62)은 직교 변환 신호(9a), (9b)를 비교하여, 소정의 규칙, 예컨대 부호화 비트수가 작은 쪽을 선택하는 것에 의해서 한쪽을 선택하고, 직교 변환 신호(63)를 출력한다. 그 결과, 각 블럭마다 유효 화소 위치 이외의 화소값이 삽입된 블럭을 적절히 선택할 수 있어, 부호화 효율을 높일 수 있다.
또, 블럭의 모든 화소가 유효 화소인 경우에는, 직교 변환 신호(9a), (9b)는 같은 값이기 때문에, 2차원 직교 변환 수단(8a), (8b)의 한쪽의 계산을 생략하더라도 상관없다. 양자화 수단(15)은 양자화 파라미터(14)로부터 양자화 단계를 계산하여, 양자화 값(16)을 출력한다. 양자화 값(16)은 가변 길이 부호화 수단(17)에서 가변 길이 부호화되어, 부호화 신호(18)로서 출력된다.
이와 같이 본 실시예에 의하면, 유효 화소 지시 신호의 이용에 의해, 삽입한 화소값의 값이 화상 복호화 장치의 복호화의 순서와 무관계한 것을 이용하여, 복수의 화소값 생성 수단(60a), (60b)에서 삽입 화소값을 생성하고, 직교 변환후에 부호화 비트수가 적은 쪽의 화소값 생성 수단에서 삽입한 화소값을 선택하여 가변 길이 부호화하는 것에 의해, 부호화 비트수를 삭감할 수 있다. 화소값 생성 수단(60a), (60b)으로서는, 예컨대 화소값의 평균치를 삽입하는 방법이나, LPF에서 화소값을 생성하는 방법이 가능하다.
다음에 본 발명의 제 8 실시예의 화상 부호화 장치에 대하여 도면을 참조하면서 설명한다. 도 8은 제 8 실시예의 화상 부호화 장치의 기본 구성을 나타내는 블럭도이다. 이 도면에 있어서, 화상 부호화 장치에 화소 신호에 대응하는 투과도 신호(70) 및 블럭화된 화상 신호(2)가 입력된다. 투과도 계산 수단(71)은 블럭마다의 투과도(72)를 계산하는 수단이다. 정규화 계수 계산 수단(73)은 투과도(72)로부터 해당 블럭의 정규화 계수(74)를 계산하는 수단이다.
가중 계산 수단(75)은 양자화할 때의 가중 계수(76)를 계산하는 수단이다. 2차원 직교 변환 수단(8)은 화상 신호(2)를 직교 변환하여 직교 변환 신호(9)를 출력하는 수단이다. 양자화 수단(15)은 양자화 파라미터(14)와 가중 계수(76)로부터 양자화 단계를 계산하여, 양자화 값(16)을 출력하는 수단이다. 가변 길이 부호화 수단(17)은 양자화 값(16)을 가변 길이 부호화하여, 부호화 신호(18)를 출력하는 수단이다.
이와 같이 구성된 제 8 실시예의 화상 부호화 장치의 동작을 설명한다. 블럭화된 화상 신호에 대응하는 각 화소의 투과도 정보가 투과도 신호(70)로 표시된다. 2차원 직교 변환 수단(8)은 화상 신호(2)를 직교 변환하여 직교 변환 신호(9)로 한다. 한편, 투과도 계산 수단(71)은 투과도 신호(70)로부터 해당 블럭의 투과도(예컨대, 해당 블럭의 평균 투과도나 최소 투과도등)을 계산하여, 투과도(72)로서 출력한다.
투과도(72)의 값이 큰 경우는, 해당 화소가 투명하기 때문에 시각적으로 영향을 주기 어려운 것을 의미한다. 이 경우, 정규화 계수 계산 수단(73)은 양자화 단계가 개략적으로 되는 정규화 계수(74)를 출력한다. 양자화 수단(15)은 가중 계수(76)와 양자화 파라미터(14)로부터 양자화 단계를 계산하여, 양자화 값(16)을 출력한다. 이 양자화 단계는 투과도에 의존하는 시각적 영향을 제거하는 효과가 있기 때문에, 큰 화질 열화를 방지하면서, 부호화 효율을 높일 수 있다.
양자화 값(16)은 가변 길이 부호화 수단(17)에서 가변 길이 부호화되어, 부호화 신호(18)로서 출력된다. 또, 가변 길이 부호화 수단(17)은 블럭 단위로 부호화할 뿐만이 아니고, 지연 버퍼 등을 내장하여, 과거에 입력된 블럭과의 차분 부호화를 하는 것도 가능하다.
이와 같이 본 실시예에 의하면, 투과도 신호(70)로부터 해당 블럭에 적절한 직교 변환 계수의 가중이 행하여지고, 양자화 수단(15)에서 최적의 양자화가 실행되는 것에 의해, 부호화 비트수가 적고, 투과도에 의존하여, 화질 열화를 없앤 효율적인 화상 부호화 장치를 실현할 수 있다.
다음에 본 발명의 제 9 실시예의 화상 복호화 장치에 대하여 도 9를 이용하여 설명한다. 도 9는 제 9 실시예에 있어서의 화상 복호화 장치의 기본 구성을 나타내는 블럭도로서, 도 8의 화상 부호화 장치에서 부호화한 부호화 신호(18)를 복호화하는 것이다.
도 9에 있어서, (70)∼(76)으로 나타내는 각 블럭 및 신호명은 도 8의 제 8 실시예의 것과 동일하여, 그들의 설명은 생략한다. 가변 길이 복호화 수단(20)은 부호화 신호(l8)를 복호화하여 복호화 신호(2l)를 출력하는 수단이다. 역양자화 수단(22)은 양자화 파라미터(14)와 가중 계수(76)로부터 양자화 단계를 계산하여, 역양자화 값(23)을 출력하는 수단이다. 2차원 직교 변환 수단(24)은 역양자화 값(23)을 직교 변환하여, 화상 복호화 신호(25)를 출력하는 수단이다.
이와 같이 구성된 제 9 실시예의 화상 복호화 장치의 동작을 설명한다. 또한, (70)∼(76)으로 나타내는 블럭의 동작과 각 신호의 의미는, 제 8 실시예의 것과 같기 때문에 동작 설명을 생략한다. 가변 길이 복호화 수단(20)에 있어서, 부호화 신호(18)는 제 8 실시예의 가변 길이 부호화 수단(17)의 부호화와 반대의 복호화가 행하여져, 복호화 신호(2l)로 변환된다.
역양자화 수단(22)은 복호화 신호(21)를 가중 계수(76)와 양자화 파라미터(14)를 이용하여 양자화 단계를 계산하고, 역양자화하여 역양자화 값(23)을 출력한다. 또, 이 양자화 단계는 제 8 실시예의 양자화 수단(l5)에 있어서의 양자화 단계와 동일하다. 역양자화 값(23)은 2차원 직교 변환 수단(24)에서 직교 변환되어, 화상 복호화 신호(25)로 된다. 이 2차원 직교 변환 수단(24)에서 실행되는 직교 변환은, 제 1 실시예의 직교 변환 수단(8)의 역변환과 동일하다.
이와 같이 본 실시예에 의하면, 투과도 신호(70)로부터 해당 블럭의 직교 변환 계수에 적절한 가중이 행하여지고, 역양자화 수단(22)에서 화상 부호화 장치와 동일한 양자화 단계에서 역양자화가 실행되는 것으로 된다. 이것 때문에 제 8 실시예의 부호화 신호(18)를 정확하게 복호화할 수 있다.
또한, 이상의 실시예에 있어서 그 구성 요소가 거의 동일하기 때문에, 조합하여 사용하더라도 좋다. 또한 투과도 신호에 있어서 투과도 100% 이외의 경우에는, 유효 화소를 나타내는 것으로 되기 때문에, 투과도 신호로부터 유효 화소 지시 신호를 생성하더라도 좋다.
또한, 본 발명에 의한 화상 부호화 장치와 화상 복호화 장치를 무선 또는 유선의 통신 수단에서 접속한 시스템으로서 구성하는 것도 가능하다. 그때, 화상 부호화 장치에서 부호화된 부호화 신호의 데이터를 일시적으로 서버에 저장하여, 필요할 때에 화상 복호화 장치에 보내는 구성으로 하는 것도 가능하다.
이상 상세히 설명한 바와 같이, 본 발명에 의하면 상이한 사이즈의 블럭을 직교 변환한 후의 양자화를 하는 양자화 수단에 있어서, 비트 레이트의 관점에서 최적화한 화상 부호화 장치와 화상 복호화 장치를 실현할 수 있다.
또한, 본 발명에서는 화소값 삽입이 효율적인 방법도 채용하여, 보다 부호화 효율이 높은 화상 부호화 장치와 화상 복호화 장치를 제공할 수 있다.
또한, 본 발명에서는 투과도 정보를 이용하여 양자화 수단을 최적화하여, 보다 효율이 좋은 화상 부호화 장치와 화상 복호화 장치를 실현할 수 있다.
어느쪽의 발명에 의해서도, 1 프레임의 디지탈 화상에 반투명의 부분 디지탈 화상을 삽입할 때, 피삽입 화상과 삽입 화상의 DC 계수 및 AC 계수의 에너지 분포가 균일하게 되어, 양자화 후의 부호화 효율이 향상한다.
또한, 본 발명에 의한 화상 부호화 장치와 화상 복호화 장치를 통신 수단에서 접속한 시스템을 구성하는 것에 의해, 전송 효율이 좋은 시스템을 실현할 수 있다.
도면의 참조 부호의 일람표
1 : 유효 화소 지시 신호
2 : 화상 신호
3 : 유효 화소 검출 수단
4 : 유효 화소 정보
5 : 화소수 신호
6 : 직교 변환 기저 생성 수단
7 : 직교 변환 기저
8, 8a, 8b : 2차원 직교 변환 수단
9, 9a, 9b : 직교 변환 신호
10 : DC 정규화 계수 계산 수단
1l : DC 정규화 계수
12 : 가중 계산 수단
13 : 가중 계수
14 : 양자화 파라미터
15 : 양자화 수단
16 : 양자화 값
17 : 가변 길이 부호화 수단
18 : 부호화 신호
20 : 가변 길이 복호화 수단
21 : 복호화 신호
22 : 역양자화 수단
23 : 역양자화 값
24 : 2차원 직교 변환 수단
25 : 화상 복호화 신호
30 : 참조 블럭의 DC 성분
31 : 승산 수단
32 : 곱 신호
33 : DC 예측 부호화 수단
34 : DC 차분 신호
35, 42 : 합성 수단
36 : 직교 변환 신호
40 : DC 예측 복호화 수단
41 : DC 복호화 신호
43 : 합성 신호
50 : AC 정규화 계수 계산 수단
51 : AC 정규화 계수
52 : 가중 계산 수단
53 : 가중 계수
60a, 60b : 화소값 생성 수단
61a, 61b : 화상 신호
62 : 선택 수단
63 : 직교 변환 신호
70 : 투과도 신호
71 : 투과도 계산 수단
72 : 투과도
73 : 정규화 계수 계산 수단
74 : 정규화 계수
75 : 가중 계산 수단
76 : 가중 계수

Claims (30)

  1. 입력 화상 신호와 상기 입력 화상 신호의 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호가 입력되어, 블럭 단위로 디지탈 화상 신호의 부분 화상을 부호화하는 화상 부호화 장치에 있어서,
    상기 유효 화소 지시 신호에 의해서 상기 입력 화상 신호의 직교 변환 기저를 생성하는 직교 변환 기저 생성 수단과,
    상기 직교 변환 기저 생성 수단에서 생성된 직교 변환 기저로 상기 입력 화상 신호를 직교 변환하는 직교 변환 수단과,
    상기 유효 화소 지시 신호로부터 상기 직교 변환 수단의 변환 출력 신호의 DC 성분을 정규화하기 위한 DC 정규화 계수를 도출하는 DC 정규화 계수 계산 수단과,
    상기 직교 변환 수단으로부터 인가된 직교 변환 신호중 DC 성분에 대해서는, 그 양자화 단계를 상기 DC 정규화 계수 계산 수단에서 얻어진 DC 정규화 계수로 승산하고, 상기 직교 변환 수단으로부터 인가된 직교 변환 신호중 비 DC 성분에 대해서는, 표준의 양자화 단계에서 상기 직교 변환 신호를 양자화하는 양자화 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
  2. 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호에 의해서 입력 화상 신호의 직교 변환한 DC 성분의 양자화 단계를 제어하는 화상 부호화 장치에서 부호화된 부호화 신호와 상기 유효 화소 지시 신호를 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 장치에 있어서,
    상기 부호화 신호를 복호화하여 복호화 신호를 출력하는 복호화 수단과,
    상기 유효 화소 지시 신호로부터 상기 복호화 수단이 출력하는 복호화 신호중 DC 성분을 정규화하기 위한 DC 정규화 계수를 도출하는 DC 정규화 계수 계산 수단과,
    상기 복호화 수단에서 얻어진 복호화 신호중 DC 성분에 대해서는, 그 양자화단계를 상기 DC 정규화 계수 계산 수단에서 얻어진 DC 정규화 계수로 승산하여 역양자화하고, 상기 복호화 수단에서 얻어진 복호화 신호중 비 DC 성분에 대해서는, 표준 양자화 단계에서 상기 복호화 신호를 역양자화하는 역양자화 수단과,
    상기 유효 화소 지시 신호에 의해서 상기 역양자화 수단의 출력 신호의 직교 변환 기저를 생성하는 직교 변환 기저 생성 수단과,
    상기 직교 변환 기저로 상기 역양자화 수단의 출력 신호를 직교 변환하여 화상 복호화 신호를 출력하는 직교 변환 수단을 구비하는 것을 특징으로 하는 화상 복호화 장치.
  3. 입력 화상 신호와 상기 입력 화상 신호의 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호와 참조 블럭의 DC 성분이 입력되어, 블럭 단위로 디지탈 화상 신호의 부분 화상을 부호화하고, 또한 DC 성분을 블럭 단위로 차분 부호화하는 화상 부호화 장치에 있어서,
    상기 유효 화소 지시 신호에 의해서 상기 입력 화상 신호의 직교 변환 기저를 생성하는 직교 변환 기저 생성 수단과,
    상기 직교 변환 기저로 상기 입력 화상 신호를 직교 변환하는 직교 변환 수단과,
    상기 유효 화소 지시 신호로부터 상기 직교 변환 수단의 변환 출력 신호의 DC 성분을 정규화하기 위한 DC 정규화 계수를 도출하는 DC 정규화 계수 계산 수단과,
    상기 참조 블럭의 DC 성분에 상기 DC 정규화 계수 계산 수단에서 계산된 DC 정규화 계수를 승산하여, 얻어진 DC 성분과 상기 참조 블럭의 DC 성분의 차인 DC 차분 성분을 출력하는 DC 예측 부호화 수단과,
    상기 DC 예측 부호화 수단 출력의 DC 차분 성분과 상기 직교 변환 수단의 출력 신호의 AC 성분을 양자화하는 양자화 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
  4. 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호에 의해서 입력 화상 신호의 직교 변환한 DC 성분이 참조하는 블럭의 DC 성분을 보정하는 화상 부호화 장치에서 부호화된 부호화 신호와 상기 유효 화소 지시 신호와 상기 참조 블럭의 DC 성분을 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 장치에 있어서,
    상기 부호화 신호를 복호화하여 복호화 신호를 출력하는 복호화 수단과,
    상기 복호화 수단의 복호화 신호를 역양자화하는 역양자화 수단과,
    상기 유효 화소 지시 신호에 의해서 상기 역양자화 수단의 출력 신호의 직교 변환 기저를 생성하는 직교 변환 기저 생성 수단과,
    상기 유효 화소 지시 신호로부터 상기 복호화 수단이 출력하는 복호화 신호중 DC 성분을 정규화하기 위한 DC 정규화 계수를 도출하는 DC 정규화 계수 계산 수단과,
    상기 참조 블럭의 DC 성분에 상기 DC 정규화 계수를 승산하여 상기 역양자화 수단 출력의 DC 차분 성분과 가산하여 그 합을 DC 성분으로 하는 DC 예측 복호화 수단과,
    상기 직교 변환 기저로 상기 DC 복호화 수단으로부터 출력되는 DC 성분과 상기 역양자화 수단으로부터 출력되는 AC 성분을 직교 변환하여 화상 복호화 신호를 출력하는 직교 변환 수단을 구비하는 것을 특징으로 하는 화상 복호화 장치.
  5. 제 1 항 또는 제 3 항에 있어서,
    상기 DC 정규화 계수 계산 수단은,
    블럭의 전(全)화소수에 대한 부호화해야 할 부분 화상의 화소수의 비율의 평방근을 DC 정규화 계수로 하는 것을 특징으로 하는 화상 부호화 장치.
  6. 제 2 항 또는 제 4 항에 있어서,
    상기 DC 정규화 계수 계산 수단은,
    블럭의 전(全)화소수에 대한 부호화해야 할 부분 화상의 화소수의 비율의 평방근을 DC 정규화 계수로 하는 것을 특징으로 하는 화상 복호화 장치.
  7. 입력 화상 신호와 상기 입력 화상 신호의 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호가 입력되어, 블럭 단위로 디지탈 화상 신호의 부분 화상을 부호화하는 화상 부호화 장치에 있어서,
    상기 유효 화소 지시 신호에 의해서 상기 입력 화상 신호의 직교 변환 기저를 생성하는 직교 변환 기저 생성 수단과,
    상기 직교 변환 기저 생성 수단에서 생성된 직교 변환 기저로 상기 입력 화상 신호를 직교 변환하는 직교 변환 수단과,
    상기 유효 화소 지시 신호로부터 상기 직교 변환 수단의 변환 출력 신호의 AC 성분을 정규화하기 위한 AC 정규화 계수를 도출하는 AC 정규화 계수 계산 수단과,
    양자화 단계를 상기 AC 정규화 계수배를 하여 상기 직교 변환 수단의 출력 신호를 양자화하는 양자화 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
  8. 제 7 항에 있어서,
    상기 AC 정규화 계수 계산 수단은,
    부호화해야 할 부분 화상의 화소수의 역수를 AC 정규화 계수로 하는 것을 특징으로 하는 화상 부호화 장치.
  9. 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호에 의해서 입력 화상 신호의 직교 변환한 AC 성분의 양자화 단계를 제어하는 화상 부호화 장치에서 부호화된 부호화 신호와 상기 유효 화소 지시 신호를 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 장치에 있어서,
    상기 부호화 신호를 복호화하여 복호화 신호를 출력하는 복호화 수단과,
    상기 유효 화소 지시 신호로부터 상기 복호화 수단이 출력하는 복호화 신호중 AC 성분을 정규화하기 위한 AC 정규화 계수를 도출하는 AC 정규화 계수 계산 수단과,
    상기 복호화 수단에서 얻어진 복호화 신호중 AC 성분의 양자화 단계를 AC 정규화 계수 계산 수단에서 도출된 AC 정규화 계수로 승산하여 상기 복호화 신호를 역양자화하는 역양자화 수단과,
    상기 유효 화소 지시 신호에 의해서 상기 역양자화 수단의 출력 신호의 직교 변환 기저를 생성하는 직교 변환 기저 생성 수단과,
    상기 직교 변환 기저로 상기 역양자화 수단의 출력 신호를 직교 변환하여 화상 복호화 신호를 출력하는 직교 변환 수단을 구비하는 것을 특징으로 하는 화상 복호화 장치.
  10. 제 9 항에 있어서,
    상기 AC 정규화 계수 계산 수단은,
    부호화해야 할 부분 화상의 화소수의 역수를 AC 정규화 계수로 하는 것을 특징으로 하는 화상 복호화 장치.
  11. 입력 화상 신호와 상기 입력 화상 신호의 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호가 입력되어, 블럭 단위로 디지탈 화상 신호의 부분 화상을 부호화하는 화상 부호화 장치에 있어서,
    상기 유효 화소 지시 신호에 의해서 상기 입력 화상 신호의 부호화가 불필요한 부분 화상의 화소값에 적어도 2가지의 소정의 규칙에 의해 생성한 화소값을 대입한 것을 출력하는 복수의 화소값 생성 수단과,
    상기 화소값 생성 수단의 각 출력 신호를 직교 변환하는 복수의 직교 변환 수단과,
    상기 직교 변환 수단의 각 출력을 비교하여 부호량이 적은 쪽을 선택하는 선택 수단과,
    상기 선택 수단의 출력 신호를 양자화하는 양자화 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
  12. 제 11 항에 있어서,
    상기 선택 수단은,
    직교 변환후의 고주파수 성분이 적은 쪽의 출력 신호를 선택하는 것을 특징으로 하는 화상 부호화 장치.
  13. 제 11 항에 있어서,
    상기 선택 수단은,
    직교 변환 후의 성분의 절대값의 합이 적은 쪽의 출력 신호를 선택하는 것을 특징으로 하는 화상 부호화 장치.
  14. 입력 화상 신호와 상기 입력 화상 신호를 다른 화상 신호와 합성할 때의 합성비를 나타내는 투과도 신호가 입력되어, 블럭 단위로 디지탈 화상 신호를 부호화하는 화상 부호화 장치에 있어서,
    상기 입력 화상 신호를 직교 변환하는 직교 변환 수단과,
    상기 투과도 신호로부터 상기 직교 변환 수단의 변환 출력 신호를 정규화하는 정규화 계수를 도출하는 정규화 계수 계산 수단과,
    양자화 단계를 상기 정규화 계수로 승산하여 상기 직교 변환 수단의 출력 신호를 양자화하는 양자화 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
  15. 제 14 항에 있어서,
    상기 정규화 계수 계산 수단은,
    투과도가 크고, 화상을 합성할 때에 사용되는 비율이 작은 화소를 많이 포함하는 블럭에 대하여, 정규화 계수를 크게 하는 것을 특징으로 하는 화상 부호화 장치.
  16. 입력 화상 신호를 다른 화상 신호와 합성할 때의 합성비를 나타내는 투과도 신호에 의해서 입력 화상의 직교 변환 출력 신호를 정규화하여 부호화된 부호화 신호와 상기 투과도 신호를 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 장치에 있어서,
    상기 부호화 신호를 복호화하여 복호화 신호를 출력하는 복호화 수단과,
    상기 투과도 신호로부터 상기 복호화 신호의 각 성분을 정규화하는 정규화 계수를 도출하는 정규화 계수 계산 수단과,
    상기 복호화 신호의 양자화 단계를 상기 정규화 계수 계산 수단에서 도출된 정규화 계수로 승산하고 상기 복호화 신호를 역양자화하는 역양자화 수단과,
    상기 역양자화 수단의 출력 신호를 직교 변환하여 화상 복호화 신호를 출력하는 직교 변환 수단을 구비하는 것을 특징으로 하는 화상 복호화 장치.
  17. 제 16 항에 있어서,
    상기 정규화 계수 계산 수단은,
    투과도가 크고, 화상을 합성할 때에 사용되는 비율이 작은 화소를 많이 포함하는 블럭에 대하여, 정규화 계수를 크게하는 것을 특징으로 하는 화상 복호화 장치.
  18. 입력 화상 신호와 상기 입력 화상 신호의 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호가 입력되어, 블럭 단위로 디지탈 화상 신호의 부분 화상을 부호화하는 화상 부호화 방법에 있어서,
    상기 유효 화소 지시 신호에 의해서 상기 입력 화상 신호의 직교 변환 기저를 생성하는 공정과,
    상기 직교 변환 기저로 상기 입력 화상 신호를 직교 변환하여 직교 변환 신호를 출력하는 공정과,
    상기 유효 화소 지시 신호로부터 상기 직교 변환 신호의 DC 성분을 정규화하기 위한 DC 정규화 계수를 도출하는 공정과,
    상기 직교 변환 신호중 DC 성분에 대해서는, 그 양자화 단계를 상기 DC 정규화 계수로 승산하고, 상기 직교 변환 신호중 비 DC 성분에 대해서는, 표준의 양자화 단계에서 상기 직교 변환 신호를 양자화하는 공정을 포함하는 것을 특징으로 하는 화상 부호화 방법.
  19. 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호에 의해서 입력 화상 신호의 직교 변환한 DC 성분의 양자화 단계를 제어하는 화상 부호화 장치에서 부호화된 부호화 신호와 상기 유효 화소 지시 신호를 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 방법에 있어서,
    상기 부호화 신호를 복호화하여 복호화 신호를 출력하는 공정과,
    상기 유효 화소 지시 신호로부터 상기 복호화 신호중 DC 성분을 정규화하기 위한 DC 정규화 계수를 도출하는 공정과,
    상기 복호화 신호중 DC 성분에 대해서는, 그 양자화 단계를 상기 DC 정규화계수로 승산하여 역양자화하고, 상기 복호화 신호중 비 DC 성분에 대해서는, 표준양자화 단계에서 상기 복호화 신호를 역양자화하여 역양자화 값을 출력하는 공정과,
    상기 유효 화소 지시 신호에 의해서 상기 역양자화 값의 직교 변환 기저를 생성하는 공정과,
    상기 직교 변환 기저로 상기 역양자화 값을 직교 변환하여 화상 복호화 신호를 출력하는 공정을 포함하는 것을 특징으로 하는 화상 복호화 방법.
  20. 입력 화상 신호와 상기 입력 화상 신호의 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호와 참조 블럭의 DC 성분이 입력되어, 블럭 단위로 디지탈 화상 신호의 부분 화상을 부호화하여, 또한 DC 성분을 블럭 단위로 차분 부호화하는 화상 부호화 방법에 있어서,
    상기 유효 화소 지시 신호에 의해서 상기 입력 화상 신호의 직교 변환 기저를 생성하는 공정과,
    상기 직교 변환 기저로 상기 입력 화상 신호를 직교 변환하여 직교 변환 신호를 출력하는 공정과,
    상기 유효 화소 지시 신호로부터 상기 직교 변환 신호의 DC 성분을 정규화하기 위한 DC 정규화 계수를 도출하는 공정과,
    상기 참조 블럭의 DC 성분에 상기 DC 정규화 계수를 승산하여, 얻어진 DC 성분과 상기 참조 블럭의 DC 성분의 차인 DC 차분 성분을 출력하는 공정과,
    상기 DC 차분 성분과 상기 직교 변환 신호의 AC 성분을 양자화하는 공정을 포함하는 것을 특징으로 하는 화상 부호화 방법.
  21. 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호에 의해서 입력 화상 신호의 직교 변환한 DC 성분이 참조하는 블럭의 DC 성분을 보정하는 화상 부호화 장치에서 부호화된 부호화 신호와 상기 유효 화소 지시 신호와 상기 참조 블럭의 DC 성분을 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 방법에 있어서,
    상기 부호화 신호를 복호화하여 복호화 신호를 출력하는 공정과,
    상기 복호화 신호를 역양자화하여 DC 차분 성분과 AC 성분으로 이루어지는 역양자화 값을 출력하는 공정과,
    상기 유효 화소 지시 신호에 의해서 상기 역양자화 값의 직교 변환 기저를 생성하는 공정과,
    상기 유효 화소 지시 신호로부터 상기 복호화 신호중 DC 성분을 정규화하기 위한 DC 정규화 계수를 도출하는 공정과,
    상기 참조 블럭의 DC 성분에 상기 DC 정규화 계수를 승산하여 상기 DC 차분 성분과 가산하여 그 합을 DC 성분으로 하는 공정과,
    상기 직교 변환 기저로 상기 DC 성분과 상기 AC 성분을 직교 변환하여 화상 복호화 신호를 출력하는 공정을 포함하는 것을 특징으로 하는 화상 복호화 방법.
  22. 입력 화상 신호와 상기 입력 화상 신호의 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호가 입력되어, 블럭 단위로 디지탈 화상 신호의 부분 화상을 부호화하는 화상 부호화 방법에 있어서,
    상기 유효 화소 지시 신호에 의해서 상기 입력 화상 신호의 직교 변환 기저를 생성하는 공정과,
    상기 직교 변환 기저로 상기 입력 화상 신호를 직교 변환하여 직교 변환 신호를 출력하는 공정과,
    상기 유효 화소 지시 신호로부터 상기 직교 변환 신호의 AC 성분을 정규화하기 위한 AC 정규화 계수를 도출하는 공정과,
    양자화 단계를 상기 AC 정규화 계수배를 하여 상기 직교 변환 신호를 양자화하는 공정을 포함하는 것을 특징으로 하는 화상 부호화 방법.
  23. 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호에 의해서 입력 화상 신호의 직교 변환한 AC 성분의 양자화 단계를 제어하는 화상 부호화 장치에서 부호화된 부호화 신호와 상기 유효 화소 지시 신호를 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 방법에 있어서,
    상기 부호화 신호를 복호화하여 복호화 신호를 출력하는 공정과,
    상기 유효 화소 지시 신호로부터 상기 복호화 신호중 AC 성분을 정규화하기 위한 AC 정규화 계수를 도출하는 공정과,
    상기 복호화 신호중 AC 성분의 양자화 단계를 상기 AC 정규화 계수로 승산하고 상기 복호화 신호를 역양자화하여 역양자화 값을 출력하는 공정과,
    상기 유효 화소 지시 신호에 의해서 상기 역양자화 값의 직교 변환 기저를 생성하는 공정과,
    상기 직교 변환 기저로 상기 역양자화 값을 직교 변환하여 화상 복호화 신호를 출력하는 공정을 포함하는 것을 특징으로 하는 화상 복호화 방법.
  24. 입력 화상 신호와 상기 입력 화상 신호의 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호가 입력되어, 블럭 단위로 디지탈 화상 신호의 부분 화상을 부호화하는 화상 부호화 방법에 있어서,
    상기 유효 화소 지시 신호에 의해서 상기 입력 화상 신호의 부호화가 불필요한 부분 화상의 화소값에 적어도 2가지의 소정의 규칙으로 생성한 화소값을 대입한 것을 출력하는 복수의 화소값 생성공정과,
    상기 화소값 생성 공정의 각 출력 신호를 직교 변환하여 직교 변환 신호를 출력하는 복수의 공정과,
    상기 각 직교 변환 신호를 비교하여 부호량이 적은 쪽을 선택하는 선택 공정과,
    상기 선택 공정에서 선택된 직교 변환 신호를 양자화하는 공정을 포함하는 것을 특징으로 하는 화상 부호화 방법.
  25. 입력 화상 신호와 상기 입력 화상 신호를 다른 화상 신호와 합성할 때의 합성비를 나타내는 투과도 신호가 입력되어, 블럭 단위로 디지탈 화상 신호를 부호화하는 화상 부호화 방법에 있어서,
    상기 입력 화상 신호를 직교 변환하여 직교 변환 신호를 출력하는 공정과,
    상기 투과도 신호로부터 상기 직교 변환 신호를 정규화하는 정규화 계수를 도출하는 공정과,
    양자화 단계를 상기 정규화 계수로 승산하여 상기 직교 변환 신호를 양자화하는 공정을 포함하는 것을 특징으로 하는 화상 부호화 방법.
  26. 입력 화상 신호를 다른 화상 신호와 합성할 때의 합성비를 나타내는 투과도 신호에 의해서 입력 화상의 직교 변환 출력 신호를 정규화하고 부호화된 부호화 신호와 상기 투과도 신호를 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 방법에 있어서,
    상기 부호화 신호를 복호화하여 복호화 신호를 출력하는 공정과,
    상기 투과도 신호로부터 상기 복호화 신호의 각 성분을 정규화하는 정규화 계수를 도출하는 공정과,
    상기 복호화 신호의 양자화 단계를 상기 정규화 계수로 승산하여 상기 복호화 신호를 역양자화하여 역양자화 값을 출력하는 공정과,
    상기 역양자화 값을 직교 변환하여 화상 복호화 신호를 출력하는 공정을 포함하는 것을 특징으로 하는 화상 복호화 방법.
  27. 입력 화상 신호를 직교 변환하여 얻어진 직교 변환 신호중, DC 성분에 대해서는 그 양자화 단계를 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호로부터 도출한 DC 정규화 계수로 승산하고, 비 DC 성분에 대해서는 표준의 양자화 단계에서 양자화하도록 구성한 화상 부호화 장치와,
    상기 화상 부호화 장치에서 부호화된 부호화 신호와 상기 유효 화소 지시 신호를 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 장치와,
    상기 화상 부호화 장치와 상기 화상 복호화 장치를 접속하는 무선 또는 유선의 통신 수단으로 이루어지는 화상 전송 시스템.
  28. 입력 화상 신호를 직교 변환하여 얻어진 직교 변환 신호의 DC 성분과 참조하는 블럭의 DC 성분에 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호로부터 도출한 DC 정규화 계수를 승산하여 얻어진 DC 성분과의 차인 DC 차분 성분과, 상기 직교 변환 신호의 AC 성분을 양자화하도록 구성한 화상 부호화 장치와,
    상기 화상 부호화 장치에서 부호화된 부호화 신호와 상기 유효 화소 지시 신호와 상기 참조 블럭의 DC 성분을 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 장치와,
    상기 화상 부호화 장치와 상기 화상 복호화 장치를 접속하는 무선 또는 유선의 통신 수단으로 이루어지는 화상 전송 시스템.
  29. 입력 화상 신호를 직교 변환하여 얻어진 직교 변환 신호의 AC 성분에 대하여, 그 양자화 단계를 부호화해야 할 부분 화상을 나타내는 유효 화소 지시 신호로부터 도출한 AC 정규화 계수로 승산하여 양자화하도록 구성한 화상 부호화 장치와,
    상기 화상 부호화 장치에서 부호화된 부호화 신호와 상기 유효 화소 지시 신호를 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 장치와,
    상기 화상 부호화 장치와 상기 화상 복호화 장치를 접속하는 무선 또는 유선의 통신 수단으로 이루어지는 화상 전송 시스템.
  30. 입력 화상 신호를 직교 변환하여 얻어진 직교 변환 신호에 대하여, 그 양자화 단계를 상기 입력 화상 신호를 다른 화상 신호와 합성할 때의 합성비를 나타내는 투과도 신호로부터 도출한 정규화 계수로 승산하여 양자화하도록 구성한 화상 부호화 장치와,
    상기 화상 부호화 장치에서 부호화된 부호화 신호와 상기 투과도 신호를 입력으로 하여, 상기 부호화 신호를 복호화하는 화상 복호화 장치와,
    상기 화상 부호화 장치와 상기 화상 복호화 장치를 접속하는 무선 또는 유선의 통신 수단으로 이루어지는 화상 전송 시스템.
KR1019980700754A 1995-08-03 1996-08-02 화상 부호화 장치, 화상 복호화 장치 및 그 방법 및 화상 전송시스템 KR19990036088A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP7219751A JPH0951504A (ja) 1995-08-03 1995-08-03 画像符号化装置及び画像復号化装置
JP95-219751 1995-08-03

Publications (1)

Publication Number Publication Date
KR19990036088A true KR19990036088A (ko) 1999-05-25

Family

ID=16740434

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980700754A KR19990036088A (ko) 1995-08-03 1996-08-02 화상 부호화 장치, 화상 복호화 장치 및 그 방법 및 화상 전송시스템

Country Status (6)

Country Link
EP (1) EP0843481A4 (ko)
JP (1) JPH0951504A (ko)
KR (1) KR19990036088A (ko)
CN (1) CN1195449A (ko)
AU (1) AU6630196A (ko)
WO (1) WO1997006641A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100741553B1 (ko) * 2000-05-15 2007-07-20 허드슨 소프트 가부시끼가이샤 화상부호/복호방법 및 그 장치 및 그 프로그램을 기록한기록매체

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4617644B2 (ja) 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
JP5166435B2 (ja) 2006-12-11 2013-03-21 トムソン ライセンシング 画像符号化方法及び係る方法を実現する装置
JP5375938B2 (ja) * 2011-12-14 2013-12-25 ソニー株式会社 復号装置及び方法
JP5375937B2 (ja) * 2011-12-14 2013-12-25 ソニー株式会社 符号化装置及び方法
EP2670140A1 (en) * 2012-06-01 2013-12-04 Alcatel Lucent Method and apparatus for encoding a video stream
JP6301932B2 (ja) * 2012-10-01 2018-03-28 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層の中の変換係数ブロックの副ブロックに基づいた符号化を使用するスケーラブルビデオ符号化
JP6341598B2 (ja) * 2014-02-26 2018-06-13 日本放送協会 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6606660B2 (ja) * 2016-12-20 2019-11-20 株式会社アクセル 画像データ符号化装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2560873B2 (ja) * 1990-02-28 1996-12-04 日本ビクター株式会社 直交変換符号化復号化方法
EP0479510B1 (en) * 1990-09-29 2000-06-28 Victor Company Of Japan, Ltd. Image signal coding/decoding system using adaptive quantization
JP2642545B2 (ja) * 1991-10-09 1997-08-20 沖電気工業株式会社 視覚特性のブロック直交変換領域への変換方法
JP2642546B2 (ja) * 1991-10-15 1997-08-20 沖電気工業株式会社 視覚特性の算出方法
US5227878A (en) * 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100741553B1 (ko) * 2000-05-15 2007-07-20 허드슨 소프트 가부시끼가이샤 화상부호/복호방법 및 그 장치 및 그 프로그램을 기록한기록매체

Also Published As

Publication number Publication date
WO1997006641A1 (en) 1997-02-20
EP0843481A1 (en) 1998-05-20
JPH0951504A (ja) 1997-02-18
EP0843481A4 (en) 1999-08-11
CN1195449A (zh) 1998-10-07
AU6630196A (en) 1997-03-05

Similar Documents

Publication Publication Date Title
US7050642B2 (en) Method and apparatus for video compression using microwavelets
Fränti et al. Compression of digital images by block truncation coding: a survey
US6526174B1 (en) Method and apparatus for video compression using block and wavelet techniques
CA2996825C (en) An image decoding apparatus for obtaining a decoded image by decoding an encoded data
US7010035B2 (en) Quantization matrix for still and moving picture coding
US20060088098A1 (en) Method and arrangement for reducing the volume or rate of an encoded digital video bitstream
US20020006229A1 (en) System and method for image compression and decompression
US20070071335A1 (en) Quality based image compression
JP3868014B2 (ja) ビデオ信号符号化方法及び装置
US20030128884A1 (en) Method and apparatus for encoding and decoding key value data of coordinate interpolator
WO2011099080A1 (ja) 画像符号化装置及び画像復号装置
US20070053429A1 (en) Color video codec method and system
US20070140569A1 (en) Image compression apparatus
JP2001136526A (ja) 画像処理方法及びその装置及び記憶媒体
US8331454B2 (en) Integer transform function for video compression systems
Wei An introduction to image compression
JP3087835B2 (ja) 画像符号化方法および装置ならびに画像復号方法および装置
US20020191695A1 (en) Interframe encoding method and apparatus
KR19990036088A (ko) 화상 부호화 장치, 화상 복호화 장치 및 그 방법 및 화상 전송시스템
JP2003188733A (ja) 符号化方法及び装置
US20040136600A1 (en) Visually lossless still image compression for RGB, YUV, YIQ, YCrCb, K1K2K3 formats
JP4241517B2 (ja) 画像符号化装置及び画像復号装置
Singh et al. A brief introduction on image compression techniques and standards
Mitchell et al. The standardization of color photographic image data compression
JP3216741B2 (ja) 画像符号化方式

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid