KR20070052057A - 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치 - Google Patents

인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치 Download PDF

Info

Publication number
KR20070052057A
KR20070052057A KR1020050109632A KR20050109632A KR20070052057A KR 20070052057 A KR20070052057 A KR 20070052057A KR 1020050109632 A KR1020050109632 A KR 1020050109632A KR 20050109632 A KR20050109632 A KR 20050109632A KR 20070052057 A KR20070052057 A KR 20070052057A
Authority
KR
South Korea
Prior art keywords
transform
block
minimum threshold
residual block
coefficient
Prior art date
Application number
KR1020050109632A
Other languages
English (en)
Other versions
KR100750138B1 (ko
Inventor
한우진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050109632A priority Critical patent/KR100750138B1/ko
Priority to US11/590,784 priority patent/US7680346B2/en
Priority to EP06123624A priority patent/EP1788820A2/en
Priority to CNA2006101470620A priority patent/CN1968419A/zh
Publication of KR20070052057A publication Critical patent/KR20070052057A/ko
Application granted granted Critical
Publication of KR100750138B1 publication Critical patent/KR100750138B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 인간의 심리시각적(psychovisual) 특성을 이용하여 영상의 압축 효율을 향상시키는 영상의 부호화 방법 및 장치에 관한 것으로, 본 발명에 따른 영상 부호화 방법 및 장치는 인간의 시각 시스템이 갖는 마스킹 효과를 이용하여 영상 특성에 따라 인간이 시각적으로 인지할 수 있는 영상의 최소인지한계인 JND(Just Noticeable Distortion) 이하에 존재하는 영상 신호 성분은 부호화하지 않음으로써 영상의 주관적인 화질의 큰 열화없이 압축율을 향상시키는데 특징이 있다.

Description

인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및 장치{Method and apparatus for image encoding and decoding considering the characteristic of human visual system}
도 1은 종래 기술에 따른 예측 기반 영상 부호화 방법의 일 예를 나타낸 도면이다.
도 2a 및 2b는 본 발명에 이용되는 인간의 시각 시스템이 갖는 마스킹 효과를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 인간의 시각적 특성을 이용한 영상 부호화 방법의 개념을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 방법에서 각 단계별 생성되는 블록을 나타낸 도면이다.
도 7은 본 발명의 다른 실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 8은 본 발명의 다른 실시예에 따른 영상 부호화 방법을 나타낸 플로우 차 트이다.
도 9는 본 발명의 다른 실시예에 따른 영상 부호화 방법에서 각 단계별 생성되는 블록을 나타낸 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 11은 본 발명의 또 다른 실시예에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.
도 12는 본 발명의 또 다른 실시예에 따른 영상 부호화 방법에서 각 단계별 생성되는 블록을 나타낸 도면이다.
도 13은 본 발명의 바람직한 실시예에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.
도 14는 본 발명의 바람직한 실시예에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
본 발명은 영상의 부호화에 관한 것으로, 보다 구체적으로는 인간의 심리시각적(psychovisual) 특성을 이용하여 영상의 압축 효율을 향상시키는 영상의 부호화 방법 및 장치에 관한 것이다.
도 1은 종래 기술에 따른 예측 기반 영상 부호화 방법의 일 예를 나타낸 도 면이다.
도 1을 참조하면, MPEG-1, MPEG-2, MPEG-4 Visual, H.261, H.263 및 H.264 등의 주요 비디오 압축 표준안에서는 하나의 프레임을 복수 개의 매크로블록들로 분할한 다음, 매크로블록 단위로 예측(prediction process)을 수행하여 현재 블록(current block)에 대응되는 예측 블록(predicted block)을 구하고, 현재 블록(O)과 예측 블록(P)의 차이인 레지듀얼 블록(residual block)를 변환(transform) 및 양자화(quantization)하여 변환 계수의 값의 범위를 줄인 다음 엔트로피 코딩을 수행한다.
종래 기술에 따른 예측 기반 영상 부호화 방법은 영상이 갖는 시공간적 상관관계(spatio-temporal correlation)를 최대한 활용하여 현재 블록과 가장 유사한 예측 블록을 예측하는데 기반을 두고 있다. 즉, 종래 기술에 따른 예측 기반 영상 부호화 방법은 현재 블록과 예측 블록 사이의 차분값인 레지듀얼 신호를 코딩함으로써 압축 효율을 높인다. 결국 종래 기술에 따른 영상 부호화 방법에서는 현재 블록과 예측 블록이 얼마나 유사한지에 따라서 압축 효율이 결정된다.
그러나, 종래 기술에 따르면 영상 부호화를 위해 인간의 시각 시스템이 갖는 특징을 잘 활용하고 있지 못하고 있다. 즉, 종래 기술에 따르면 인간이 시각적으로 잘 인지하지 못하는 부분을 포함하여 레지듀얼 블록 또는 변환 블록 전체를 그대로 부호화하고 있다. 제한된 전송 대역폭의 한계를 극복하고, 고화질의 영상을 사용자에게 제공하기 위해서 더욱 향상된 압축 효율을 갖는 영상의 부호화 방법이 요구되고 있다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 인간의 시각 시스템이 갖는 마스킹 효과(masking effect)를 반영한 심리시각적 모델을 예측 기반 부호화 방법에 적용하여 영상의 압축 효율을 향상시키는 영상의 부호화 방법 및 장치를 제공하는 데에 목적이 있다.
상기와 같은 기술적 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 영상 부호화 방법은 부호화할 소정 크기의 현재 블록에 대응되는 예측 블록을 생성하는 단계; 상기 현재 블록과 상기 예측 블록의 차이를 계산하여 레지듀얼 블록을 생성하는 단계; 상기 레지듀얼 블록 및 예측 블록을 각각 변환하여 변환 레지듀얼 블록 및 변환 예측 블록을 생성하는 단계; 상기 변환 예측 블록을 구성하는 각 계수들이 시각적으로 인지될 수 있는 최소 임계 변환 계수값을 구하고, 상기 최소 임계 변환 계수값들로 구성된 최소 임계 블록을 생성하는 단계; 및 상기 변환 레지듀얼 블록의 각 계수별로, 양자화 스텝에 따른 최대 양자화 에러가 상기 최소 임계 변환 계수값 미만이 되도록 하는 최적 양자화 스텝을 결정하고, 상기 결정된 최적 양자화 스텝에 따라 상기 변환 레지듀얼 블록의 각 계수를 양자화하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 영상 부호화 방법은, 부호화할 소정 크기의 현재 블록에 대응되는 예측 블록을 생성하는 단계; 상기 현재 블록과 상기 예측 블록의 차이를 계산하여 레지듀얼 블록을 생성하는 단계; 상기 레지듀얼 블록 및 상 기 예측 블록을 각각 변환하여 변환 레지듀얼 블록 및 변환 예측 블록을 생성하는 단계; 상기 변환 예측 블록의 각 변환 계수들이 시각적으로 인지될 수 있는 최소 임계 변환 계수값을 구하고, 상기 최소 임계 변환 계수값들로 구성된 최소 임계 블록을 형성하는 단계; 및 상기 변환 레지듀얼 블록의 계수와 대응되는 상기 최소 임계 변환 계수값을 비교하여 상기 변환 레지듀얼 블록의 계수들 중에서 부호화할 변환 레지듀얼 블록 계수를 선택하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따른 영상 부호화 방법은, 부호화할 소정 크기의 현재 블록에 대응되는 예측 블록을 생성하는 단계; 상기 현재 블록과 상기 예측 블록의 차이를 계산하여 레지듀얼 블록을 생성하는 단계; 상기 예측 블록을 구성하는 각 화소들의 시각적으로 인지될 수 있는 최소 임계값을 구하고, 상기 최소 임계값들로 구성된 최소 임계 블록을 생성하는 단계; 및 상기 레지듀얼 블록과 상기 최소 임계 블록의 각 화소별 차이값을 계산하여 차분 레지듀얼 블록을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 영상 부호화 장치는, 부호화할 소정 크기의 현재 블록에 대응되는 예측 블록을 생성하는 예측부; 상기 현재 블록과 상기 예측 블록의 차이를 계산하여 레지듀얼 블록을 생성하는 감산부; 상기 레지듀얼 블록을 변환하여 변환 레지듀얼 블록을 생성하는 제 1 변환부; 상기 예측 블록을 변환하여 변환 예측 블록을 생성하는 제 2 변환부; 상기 변환 예측 블록을 구성하는 각 계수들이 시각적으로 인지될 수 있는 최소 임계 변환 계수값을 구하고, 상기 최소 임계 변환 계수값들로 구성된 최소 임계 블록을 생성하는 최소 임계 블록 생성부; 및 상 기 변환 레지듀얼 블록의 각 계수별로, 양자화 스텝에 따른 최대 양자화 에러가 상기 최소 임계 변환 계수값 미만이 되도록 하는 최적 양자화 스텝을 결정하고, 상기 결정된 최적 양자화 스텝에 따라 상기 변환 레지듀얼 블록의 각 계수를 양자화하는 양자화부를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 영상 부호화 장치는, 부호화할 소정 크기의 현재 블록에 대응되는 예측 블록을 생성하는 예측부; 상기 현재 블록과 상기 예측 블록의 차이를 계산하여 레지듀얼 블록을 생성하는 감산부; 상기 레지듀얼 블록을 변환하여 변환 레지듀얼 블록을 생성하는 제 1 변환부; 상기 예측 블록을 변환하여 변환 예측 블록을 생성하는 제 2 변환부; 상기 변환 예측 블록의 각 변환 계수들이 시각적으로 인지될 수 있는 최소 임계 변환 계수값을 구하고, 상기 최소 임계 변환 계수값들로 구성된 최소 임계 블록을 형성하는 최소 임계 블록 생성부; 및 상기 변환 레지듀얼 블록의 계수와 대응되는 상기 최소 임계 변환 계수값을 비교하여 상기 변환 레지듀얼 블록의 계수들 중에서 부호화할 변환 레지듀얼 블록 계수를 선택하는 선택부를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따른 영상 부호화 장치는, 부호화할 소정 크기의 현재 블록에 대응되는 예측 블록을 생성하는 예측부; 상기 현재 블록과 상기 예측 블록의 차이를 계산하여 레지듀얼 블록을 생성하는 제 1 감산부; 상기 예측 블록을 구성하는 각 화소들의 시각적으로 인지될 수 있는 최소 임계값을 구하고, 상기 최소 임계값들로 구성된 최소 임계 블록을 생성하는 최소 임계 블록 생성부; 및 상기 레지듀얼 블록과 상기 최소 임계 블록의 각 화소별 차이값을 계산하여 차분 레지듀얼 블록을 생성하는 제 2 감산부를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 복호화 방법은, 수신된 비트스트림으로부터, 변환 레지듀얼 블록의 각 계수별로 양자화 스텝에 따른 최대 양자화 에러가 상기 최소 임계 변환 계수값 미만이 되도록 결정된 최적 양자화 스텝 정보 및 상기 변환 레지듀얼 블록 계수 정보를 추출하는 단계; 상기 추출된 최적 양자화 스텝에 따라 양자화된 변환 레지듀얼 블록 계수를 역양자화하는 단계; 및 복호화할 현재 블록에 대한 예측 블록과 역변환된 상기 변환 레지듀얼 블록을 가산하여 영상을 복원하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상 복호화 장치는, 수신된 비트스트림으로부터, 변환 레지듀얼 블록의 각 계수별로 양자화 스텝에 따른 최대 양자화 에러가 상기 최소 임계 변환 계수값 미만이 되도록 결정된 최적 양자화 스텝 정보 및 상기 변환 레지듀얼 블록 계수 정보를 추출하는 엔트로피 복호화부; 상기 추출된 최적 양자화 스텝에 따라 양자화된 변환 레지듀얼 블록 계수를 역양자화하는 역양자화부; 및 상기 역양자화된 변환 레지듀얼 블록 계수를 역변환하여 레지듀얼 블록을 출력하는 역변환부; 복호화할 현재 블록에 대한 예측 블록을 생성하는 예측부; 및 상기 역변환된 상기 레지듀얼 블록과 상기 예측 블록을 가산하여 영상을 복원하는 가산부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들에 대하여 상세히 설명한다.
먼저 인간의 시각 시스템이 갖는 특성에 대하여 살펴본다. 인간의 시각 시 스템(Human Visual System:HVS)은 인간의 청각 시스템과 마찬가지로 마스킹 효과(masking effect)를 갖는다. 영상에 있어서 마스킹 효과란 영상 신호의 특정 주파수에 소정 크기 이상의 큰 성분이 존재하는 경우, 상기 특정 주파수 주변의 주파수 대역에 존재하는 소정 크기 이하의 작은 성분의 신호를 인간이 인지하지 못하거나 영상 특성에 따라 소정 크기 이하의 영상 신호를 인지하지 못하는 것을 말한다.
도 2a 및 2b는 본 발명에 이용되는 인간의 시각 시스템이 갖는 마스킹 효과를 설명하기 위한 도면이다. 도 2a에서 위쪽에 위치한 영상(21,22)은 8비트로 양자화된 영상이고, 아래쪽에 위치한 영상(23,24)은 4비트로 양자화된 영상이다.
도 2에서 거친 표면을 나타내고 있는 두 영상(22,24)을 비교해보면, 8비트로 양자화되거나 4비트로 양자화된 영상의 차이를 시각적으로 인지하기 힘들다. 한편 부드러운 표면을 나타낸 두 영상(21, 23)을 비교해보면, 8비트로 양자화된 영상(21)에 비하여 4비트로 양자화된 영상에서 밴딩(banding) 효과가 더 뚜렷해지는 것을 알 수 있다. 이와 같이, 영상 특성에 따라서 양자화 계수를 조절함으로써 인간이 시각적으로 느끼지 못하는 부분을 부호화하지 않음으로써 부호화된 영상의 압축율을 향상시킬 수 있다.
한편, 도 2b의 첫 번째 영상(25)은, 연속적인 톤(tone)의 링컨 영상을 픽처당 10싸이클(cycle/picture)로 저대역 필터(low-pass filtered) 처리한 후 샘플링한 영상이다. 또한, 도 2b의 두 번째 영상(26)은 상기 첫 번째 영상(25)을 다시 저대역 필터 처리한 영상이고, 세 번째 영상(27)은 상기 첫 번째 영상(25)에서 40 싸이클 이상의 고주파수 대역 성분을 제거한 영상이며, 네 번째 영상(28)은 상기 첫 번째 영상의 12~40 싸이클 대역의 주파수 성분을 제거한 영상을 나타낸 것이다.
도 2b의 첫 번째 영상(25) 및 두 번째 영상(26)을 비교해보면, 고주파수 대역 성분을 갖는 블록 에지 부분의 불연속성을 저대역 필터 처리를 통해 제거하는 경우 시각적 인지도가 증가한다. 그러나, 인간의 시각적 인지에 있어서 반드시 영상의 고주파수 성분만이 영향을 미치는 것은 아니다. 도 2b의 세 번째 영상(27) 및 네 번째 영상(28)을 참조하면, 40싸이클 이상의 고주파수 대역 성분을 제거한 세 번째 영상(27)에 비하여 12~40 싸이클 대역의 특정 주파수 대역 성분만을 제거한 네 번째 영상(28)의 시각적 인지도가 증가되는 것을 알 수 있다. 이와 같이, 마스킹 효과는 제한된 주파수 대역 성분의 상호 작용에 의해 발생하며, 영상 특성에 따른 특정 주파수 대역 성분만을 제거함으로써 시각적 인지도의 큰 차이 없이 영상을 압축할 수 있다.
본 발명은 이와 같은 인간의 시각 시스템이 갖는 마스킹 효과를 이용하여 영상 특성에 따라 인간이 시각적으로 인지할 수 있는 영상의 최소인지한계인 JND(Just Noticeable Distortion) 이하에 존재하는 영상 신호 성분은 부호화하지 않음으로써 영상의 주관적인 화질의 큰 열화없이 압축율을 향상시키는데 특징이 있다.
도 3은 본 발명에 따른 인간의 시각적 특성을 이용한 영상 부호화 방법의 개념을 설명하기 위한 도면이다.
원영상 신호를 인트라 예측 또는 인터 예측을 통해 예측한 예측 신호를 P(31), 상기 예측 신호 P의 최소인지한계(JND)를 J(33), 원영상 신호와 예측 신호 의 차이인 레지듀얼 신호를 R(32)이라고 한다. 도 3을 참조하면, 본 발명에 따른 영상 부호화 방법은 예측 신호(P)로부터 인간이 상기 예측 신호를 인지할 수 있는 최소 인지한계인 JND(J)를 산출하고, 상기 JND 이하의 레지듀얼 신호(R)는 부호화하지 않음으로써 효율적인 압축을 가능하게 한다. 즉, JND보다 큰 값을 갖는 레지듀얼 신호 부분(30)과 상기 최소 인지한계인 JND와의 차이(MAX(0,R-J))만을 부호화함으로써 영상의 압축 효율을 향상시킨다.
이를 위해, 본 발명에 따른 영상 부호화 방법 및 장치는 양자화 단계, 변환 단계, 레지듀얼 신호를 처리하는 단계 각각에서 상기 JND 특성을 고려하여 부호화할 데이터를 결정한다. 이하에서는 상기 각 단계별에 따라 본 발명의 바람직한 실시예들에 따른 영상 부호화 방법 및 장치에 대하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 영상 부호화 장치를 나타낸 블록도이고, 도 5는 본 발명의 일 실시예에 따른 영상 부호화 방법을 나타낸 플로우 차트이며, 도 6은 본 발명의 일 실시예에 따른 영상 부호화 방법에서 각 단계별 생성되는 블록을 나타낸 도면이다. 도 4 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 영상 부호화 방법 및 장치의 동작에 대하여 설명하면 다음과 같다.
본 발명의 일 실시예에 따른 영상 부호화 방법 및 장치는 양자화 단계에서 발생하는 양자화 에러값이 시각적으로 인지될 수 있는 소정의 임계 계수값, 즉 JND 이하가 되도록 양자화 스텝을 조절하는 것이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 영상 부호화 장치(400)는 예측부(410), 감산부(420), 제 1변환부(430), 제 2변환부(440), 최소임계블록 생성부 (450), 양자화부(460) 및 엔트로피 부호화부(470)를 포함한다.
단계 510에서, 상기 예측부(410)는 소정 크기의 블록 단위로 입력되는 부호화할 현재 블록(C1)에 대하여 인트라 예측 또는 인터 예측을 수행하여 현재 블록(C1)에 대응되는 예측 블록(P1)을 생성한다.
단계 520에서, 상기 감산부(420)는 현재 블록(C1)으로부터 예측 블록(P1)을 감산하여 레지듀얼 블록(R1)을 생성한다. 도 6을 참조하면, 레지듀얼 블록(R1)의 (x,y)에 위치한 화소 Rxy는 현재 블록 내부의 화소(Cxy)와 대응되는 예측 블록의 화소(Pxy)를 감산한 값을 갖는다. 즉, Rxy=Cxy-Pxy이다.
단계 530에서, 상기 제 1변환부(430) 및 제 2변환부(440)는 DCT 변환 또는 웨이블릿 변환 등의 주파수 변환을 수행하여 상기 레지듀얼 블록(R1)과 예측 블록(P1)으로부터 각각 변환 레지듀얼 블록(Rc1), 변환 예측 블록(Pc1)을 생성한다.
단계 540에서, 상기 최소 임계 블록 생성부(450)는 상기 변환 예측 블록(Pc1)을 구성하는 각 계수들이 시각적으로 인지될 수 있는 최소 임계 변환 계수값을 구하고, 상기 최소 임계 변환 계수값들로 구성된 최소 임계 블록(Jc1)을 생성한다.
단계 550에서, 상기 양자화부(460)는 상기 변환 레지듀얼 블록(Rc1)의 각 레지듀얼 변환 계수(R')를 양자화하는데 이용되는 최적 양자화 스텝을 결정한다. 상기 최적 양자화 스텝은 다음의 수학식 1에 의해 계산될 수 있다.
Figure 112005065895215-PAT00001
수학식 1에서, Ri는 i번째 변환 레지듀얼 블록의 계수, Ji는 i번째 최소 임계 블록의 최소 임계 변환 계수값, Qstep i 는 상기 변환 레지듀얼 블록(Rc1)의 i번째 변환 레지듀얼 계수를 양자화하는데 이용되는 최적 양자화 스텝을 나타낸다. 또한,
Figure 112005065895215-PAT00002
는 상기 변환 레지듀얼 블록(Rc1)과 상기 최소 임계 블록(Jc1)의 차분값을 최적 양자화 스텝(Qstep i)에 따라 양자화한 값을 나타낸다.
수학식 1을 참조하면, 상기 양자화부(460)는 양자화 오차값
Figure 112005065895215-PAT00003
의 절대값이 상기 예측 블록(P1)으로부터 생성된 최소 임계 변환 계수값(Ji) 이하가 되도록 하는 양자화 스텝값 중 최대값을 최적 양자화 스텝으로 결정할 수 있다. 그러나, 상기 수학식 1에 의하여 양자화 스텝을 결정하는 경우 복호화단에서 상기 변환 레지듀얼 블록의 계수값(Ri)를 바로 이용할 수 없으므로, 다음의 수학식 2와 같이 최적 양자화 스텝을 결정하는 것이 바람직하다.
Figure 112005065895215-PAT00004
수학식 2에서 MaxE(Qstep i)은 양자화 스텝 Qstep i에 따른 최대 양자화 에러값을 나타낸다. 예를 들어, 양자화 스텝 Qstep i값을 a라고 하면, 반올림 또는 반내림에 의하여 발생되는 최대 양자화 에러값은 a/2가 된다. 상기 양자화부(460)는 상기 최대 양자화 에러 MaxE(Qstep i)가 상기 최소 임계 변환 계수값(Ji) 이하가 되도록 하는 양자화 스텝값 중 최대값을 최적 양자화 스텝으로 결정한 다음, 결정된 최적 양자화 스텝에 따라 상기 변환 레지듀얼 블록(Rc1)을 양자화하여 양자화된 변환 레지듀얼 블록(QRC1)을 생성한다. 상기 최적 양자화 스텝(Qstep i) 정보를 부호화된 비트스트림에 포함시켜 전송하면 복호화단에서는 전송된 최적 양자화 스텝 정보를 이용하여 양자화된 변환 레지듀얼 블록의 계수들에 대한 역양자화를 수행할 수 있다.
한편, 대역 전송폭의 한계로 인해 매우 높은 압축률이 요구되는 경우, 즉 할당할 수 있는 비트가 제한된 경우에 있어서 상기 수학식 2를 통해 결정된 양자화 스텝으로 부호화를 수행한 경우 원하는 비트율에 도달할 수 없는 경우가 있다. 이러한 경우, 적응적으로 상기 방법을 적용하기 위하여 상기 수학식 2를 통해 결정되는 최적 양자화 스텝이 상기 변환 레지듀얼 블록 계수에 대하여 미리 정해진 소정의 양자화 스텝보다 큰 경우에만 적용되도록 할 수 있다. 또한, 상기 수학식 2에서 결정된 각 변환 레지듀얼 블록 계수별 양자화 스텝의 상대적 비율을 유지하면서 상기 최적 양자화 스텝의 평균값을 변화시킴으로써 대역폭의 변화에 따라 적응적으 로 비트를 재할당할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 영상 부호화 방법 및 장치는 양자화 잡음이 인간의 시각 시스템이 인지할 수 있는 최소 임계값(JND) 이하가 되도록 양자화 스텝을 조절함으로써 영상의 압축 효율을 증가시킨다.
도 7은 본 발명의 다른 실시예에 따른 영상 부호화 장치를 나타낸 블록도이고, 도 8은 본 발명의 다른 실시예에 따른 영상 부호화 방법을 나타낸 플로우 차트이며, 도 9는 본 발명의 다른 실시예에 따른 영상 부호화 방법에서 각 단계별 생성되는 블록을 나타낸 도면이다. 이하, 도 7 내지 도 9를 참조하여 본 발명의 다른 실시예에 따른 영상 부호화 방법 및 장치의 동작에 대하여 설명한다.
본 발명의 다른 실시예에 따른 영상 부호화 방법은 양자화 단계 이전의 변환 단계에서 변환 계수들이 시각적으로 인지될 수 있는 최소 임계 변환 계수값을 구하고, 상기 최소 임계 변환 계수값보다 큰 값을 갖는 변환 레지듀얼 블록 부분의 계수만을 부호화하는 것이다.
도 7을 참조하면, 본 발명의 다른 실시예에 따른 영상 부호화 장치(700)는 예측부(710), 감산부(720), 제 1 변환부(730), 제 2변환부(740), 최소 임계 블록 형성부(750), 선택부(760), 양자화부(770) 및 엔트로피 부호화부(780)를 포함한다.
단계 810에서, 상기 예측부(710)는 소정 크기의 블록 단위로 입력되는 부호화할 현재 블록(C2)에 대하여 인트라 예측 또는 인터 예측을 수행하여 현재 블록(C2)에 대응되는 예측 블록(P2)을 생성한다.
단계 820에서, 상기 감산부(720)는 현재 블록(C2)과 예측 블록(P2)을 감산하여 레지듀얼 블록(R2)을 생성한다.
단계 830에서, 상기 제 1변환부(730) 및 제 2변환부(740)는 각각 상기 레지듀얼 블록(R2)과 예측 블록(P2)에 대한 변환을 수행하여 변환 레지듀얼 블록(Rc2), 변환 예측 블록(Pc2)을 생성한다.
단계 840에서, 상기 최소 임계 블록 생성부(750)는 상기 변환 예측 블록(Pc2)을 구성하는 각 계수들이 시각적으로 인지될 수 있는 최소 임계 변환 계수값(J)을 구하고, 상기 최소 임계 변환 계수값(J)들로 구성된 최소 임계 블록(Jc2)을 생성한다.
단계 850에서, 상기 선택부(760)는 상기 변환 레지듀얼 블록(Rc2)의 각 변환 레지듀얼 계수(R')와 상기 최소 임계 변환 계수값(J)을 비교하여 상기 변환 레지듀얼 블록(Rc2)의 계수들 중에서 부호화할 계수를 결정한다.
구체적으로 도 9를 참조하면, 상기 선택부(760)는 상기 변환 레지듀얼 블록(Rc2)의 변환 레지듀얼 계수의 절대값 ABS(Rc2)와 최소 임계 블록(Jc2)의 계수의 절대값 ABS(Jc2)의 차이를 계산하고 그 차이가 0보다 큰 값을 갖는 부분만을 부호화한다. DCT 등의 변환을 수행한 경우 변환 계수값이 음수일 수 있기 때문에 상기 변환 레지듀얼 계수값과 최소 임계 변환 계수값의 크기를 비교하기 위하여 절대값을 이용한다. 상기 변환 레지듀얼 블록(Rc2)의 (x,y)에 위치한 변환 레지듀얼 계수값을 Rxy' , 대응되는 최소 임계 블록의 계수값을 Jxy라고 하면, 상기 선택부(760)는
Figure 112005065895215-PAT00005
을 만족하는 경우 변환 레지듀얼 계수값을 부호화하고,
Figure 112005065895215-PAT00006
인 경우에는 해당되는 변환 레지듀얼 계수값을 0으로 설정한다. 즉, 상기 선택부(760)는 최소 임계 변환 계수값(Jxy)보다 큰 값을 갖는 변환 레지듀얼 계수들(Rxy')만을 선택하여 상기 최소 임계 변환 계수값과의 차이를 부호화한다. 또한, 상기 차분 변환 레지듀얼 계수가 음수인 경우, 즉 최소 임계 변환 계수값이 차분 변환 레지듀얼 계수값보다 큰 경우에는 상기 차분 변환 레지듀얼 계수를 0으로 설정하여 부호화할 정보량을 감소시킨다.
단계 860에서, 상기 선택부(780)에서 선택된 변환 레지듀얼 블록 계수와 최소 임계 변환 계수값과의 차이인 차분 변환 레지듀얼 계수값은 다시 양자화부(770) 및 엔트로피 부호화부(780)를 거쳐 양자화 및 엔트로피 부호화되어 비트스트림으로 출력된다.
도 10은 본 발명의 또 다른 실시예에 따른 영상 부호화 장치를 나타낸 블록도이고, 도 11은 본 발명의 또 다른 실시예에 따른 영상 부호화 방법을 나타낸 플로우 차트이며, 도 12는 본 발명의 또 다른 실시예에 따른 영상 부호화 방법에서 각 단계별 생성되는 블록을 나타낸 도면이다. 이하, 도 10 내지 도 12를 참조하여 본 발명의 또 다른 실시예에 따른 영상 부호화 방법 및 장치의 동작에 대하여 설명 한다.
본 발명의 또 다른 실시예에 따른 영상 부호화 방법은 변환 단계 이전에, 예측 블록을 구성하는 각 화소들의 시각적으로 인지될 수 있는 최소 임계값(JND)을 구하고, 레지듀얼 값과 상기 최소 임계값과의 차이를 부호화하는 것이다.
도 10을 참조하면, 본 발명의 또 다른 실시예에 따른 영상 부호화 장치(1000)는 예측부(1010), 제 1감산부(1020), 최소 임계 블록 형성부(1030), 제 2 감산부(1040), 변환부(1050), 양자화부(1060) 및 엔트로피 부호화부(1070)를 포함한다.
단계 1110에서, 상기 예측부(1010)는 소정 크기의 블록 단위로 입력되는 부호화할 현재 블록(C3)에 대하여 인트라 예측 또는 인터 예측을 수행하여 현재 블록(C3)에 대응되는 예측 블록(P3)을 생성한다.
단계 1120에서, 상기 제 1감산부(1020)는 현재 블록(C3)으로부터 예측 블록(P3)을 감산하여 레지듀얼 블록(R3)을 생성한다.
단계 1130에서, 상기 최소 임계 블록 형성부(1030)는 상기 예측 블록(P3)을 구성하는 각 화소들이 시각적으로 인지될 수 있는 최소 임계값을 구하고, 상기 최소 임계값들로 구성된 최소 임계 블록(J3)을 생성한다.
단계 1140에서, 상기 제 2감산부(1040)는 상기 레지듀얼 블록(R3)과 상기 최소 임계 블록(J3 )과 차이를 계산하여 차분 레지듀얼 블록(DR3)을 생성한다. 만약 상기 레지듀얼 블록(R3)과 상기 최소 임계 블록(J3)과의 차이가 음수인 경우에는 차분 레지듀얼 블록(DR3)의 화소값은 0으로 설정된다. 즉, 상기 차분 레지듀얼 블록(DR3)의 각 화소는 max(0, R-J) 값을 갖는다.
단계 1150에서, 상기 차분 레지듀얼 블록을 구성하는 상기 레지듀얼 블록(R3)과 상기 최소 임계 블록(J3)과의 차이는 변환, 양자화 및 엔트로피 부호화 과정을 거쳐서 부호화된다.
도 13은 본 발명의 바람직한 실시예에 따른 영상 복호화 장치의 구성을 나타낸 블록도이고, 도 14는 본 발명의 바람직한 실시예에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
도 13을 참조하면, 본 발명에 따른 영상 복호화 장치는 엔트로피 디코더(1310), 역양자화부(1320), 역변환부(1330), 예측부(1340) 및 가산부(1350)를 포함한다.
단계 1410에서, 상기 엔트로피 디코더(1310)는 수신된 비트스트림을 엔트로피 복호화하여 상기 비트스트림에 포함된 최적 양자화 스텝 및 양자화된 변환 계수 등의 부호화 정보를 추출한다.
단계 1420에서, 상기 역양자화부(1320)는 상기 추출된 최적 양자화 스텝을 이용하여 추출된 변환 계수를 역양자화하여 변환 계수를 출력한다.
단계 1430에서, 상기 예측부(1340)는 수신된 비트스트림에 포함된 부호화 모드 정보로부터 현재 복호화할 블록에 대한 인터 예측 또는 인트라 예측을 수행하여 예측 블록을 생성한다. 상기 가산부(1350)는 상기 예측 블록과 상기 역변환부(1330)로부터 출력되는 레지듀얼 값을 더하여 복원된 영상을 출력한다.
한편, 전술한 영상 부호화 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 동영상 부호화 및 복호화 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 바와 같은 본 발명에 따르면, 인간의 시각 시스템이 갖는 마스킹 효과를 이용하여 시각적으로 인지될 수 있는 부분만을 압축하여 부호화함으로써 주관적인 화질에 큰 열화없이 영상의 압축 효율을 증가시킬 수 있다.

Claims (27)

  1. 영상 부호화 방법에 있어서,
    부호화할 소정 크기의 현재 블록에 대응되는 예측 블록을 생성하는 단계;
    상기 현재 블록과 상기 예측 블록의 차이를 계산하여 레지듀얼 블록을 생성하는 단계;
    상기 레지듀얼 블록 및 예측 블록을 각각 변환하여 변환 레지듀얼 블록 및 변환 예측 블록을 생성하는 단계;
    상기 변환 예측 블록을 구성하는 각 계수들이 시각적으로 인지될 수 있는 최소 임계 변환 계수값을 구하고, 상기 최소 임계 변환 계수값들로 구성된 최소 임계 블록을 생성하는 단계; 및
    상기 변환 레지듀얼 블록의 각 계수별로, 양자화 스텝에 따른 최대 양자화 에러가 상기 최소 임계 변환 계수값 미만이 되도록 하는 최적 양자화 스텝을 결정하고, 상기 결정된 최적 양자화 스텝에 따라 상기 변환 레지듀얼 블록의 각 계수를 양자화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1항에 있어서,
    상기 최소 임계 변환 계수값은 상기 변환 예측 블록으로부터 계산된 JND(Just Noticeable Distortion)인 것을 특징으로 하는 영상 부호화 방법.
  3. 제 1항에 있어서,
    i번째 변환 레지듀얼 블록 계수의 양자화 스텝을
    Figure 112005065895215-PAT00007
    , 상기 양자화 스텝에 따른 최대 양자화 에러를
    Figure 112005065895215-PAT00008
    , 상기 i번째 변환 레지듀얼 블록 계수에 대응되는 상기 최소 임계 변환 계수값을
    Figure 112005065895215-PAT00009
    라고 할 때, 상기 i번째 변환 레지듀얼 블록 계수의 최적 양자화 스텝은
    Figure 112005065895215-PAT00010
    을 만족하는
    Figure 112005065895215-PAT00011
    중 최대값을 갖는 양자화 스텝으로 결정되는 것을 특징으로 하는 영상 부호화 방법.
  4. 제 1항에 있어서,
    상기 최적 양자화 스텝은 상기 변환 레지듀얼 블록 계수에 대하여 미리 정해진 소정의 양자화 스텝보다 큰 경우에만 상기 변환 레지듀얼 블록 계수의 양자화 스텝으로 결정되는 것을 특징으로 하는 영상 부호화 방법.
  5. 제 1항에 있어서,
    상기 결정된 변환 레지듀얼 블록 계수별 양자화 스텝의 상대적 비율을 유지하면서 상기 양자화 스텝의 평균값을 변화시키는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  6. 영상 부호화 방법에 있어서,
    부호화할 소정 크기의 현재 블록에 대응되는 예측 블록을 생성하는 단계;
    상기 현재 블록과 상기 예측 블록의 차이를 계산하여 레지듀얼 블록을 생성하는 단계;
    상기 레지듀얼 블록 및 상기 예측 블록을 각각 변환하여 변환 레지듀얼 블록 및 변환 예측 블록을 생성하는 단계;
    상기 변환 예측 블록의 각 변환 계수들이 시각적으로 인지될 수 있는 최소 임계 변환 계수값을 구하고, 상기 최소 임계 변환 계수값들로 구성된 최소 임계 블록을 형성하는 단계; 및
    상기 변환 레지듀얼 블록의 계수와 대응되는 상기 최소 임계 변환 계수값을 비교하여 상기 변환 레지듀얼 블록의 계수들 중에서 부호화할 변환 레지듀얼 블록 계수를 선택하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  7. 제 6항에 있어서,
    상기 선택된 변환 레지듀얼 블록 계수와 상기 최소 임계 변환 계수값과의 차이를 양자화 및 엔트로피 부호화하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  8. 제 6항에 있어서,
    상기 최소 임계 변환 계수값은 상기 변환 예측 블록으로부터 계산된 JND(Just Noticeable Distortion)인 것을 특징으로 하는 영상 부호화 방법.
  9. 제 6항에 있어서,
    상기 선택된 변환 레지듀얼 블록 계수의 절대값은 대응되는 상기 최소 임계 변환 계수값의 절대값보다 큰 것을 특징으로 하는 영상 부호화 방법.
  10. 영상 부호화 방법에 있어서,
    부호화할 소정 크기의 현재 블록에 대응되는 예측 블록을 생성하는 단계;
    상기 현재 블록과 상기 예측 블록의 차이를 계산하여 레지듀얼 블록을 생성하는 단계;
    상기 예측 블록을 구성하는 각 화소들의 시각적으로 인지될 수 있는 최소 임계값을 구하고, 상기 최소 임계값들로 구성된 최소 임계 블록을 생성하는 단계; 및
    상기 레지듀얼 블록과 상기 최소 임계 블록의 각 화소별 차이값을 계산하여 차분 레지듀얼 블록을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  11. 제 10항에 있어서,
    상기 최소 임계값은 상기 예측 블록으로부터 계산된 JND(Just Noticeable Distortion)인 것을 특징으로 하는 영상 부호화 방법.
  12. 제 10항에 있어서,
    상기 차분 레지듀얼 블록의 화소들 중 음수인 화소값을 갖는 화소는 0으로 설정하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  13. 영상 부호화 장치에 있어서,
    부호화할 소정 크기의 현재 블록에 대응되는 예측 블록을 생성하는 예측부;
    상기 현재 블록과 상기 예측 블록의 차이를 계산하여 레지듀얼 블록을 생성하는 감산부;
    상기 레지듀얼 블록을 변환하여 변환 레지듀얼 블록을 생성하는 제 1 변환부;
    상기 예측 블록을 변환하여 변환 예측 블록을 생성하는 제 2 변환부;
    상기 변환 예측 블록을 구성하는 각 계수들이 시각적으로 인지될 수 있는 최소 임계 변환 계수값을 구하고, 상기 최소 임계 변환 계수값들로 구성된 최소 임계 블록을 생성하는 최소 임계 블록 생성부; 및
    상기 변환 레지듀얼 블록의 각 계수별로, 양자화 스텝에 따른 최대 양자화 에러가 상기 최소 임계 변환 계수값 미만이 되도록 하는 최적 양자화 스텝을 결정하고, 상기 결정된 최적 양자화 스텝에 따라 상기 변환 레지듀얼 블록의 각 계수를 양자화하는 양자화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  14. 제 13항에 있어서,
    상기 최소 임계 변환 계수값은 상기 변환 예측 블록으로부터 계산된 JND(Just Noticeable Distortion)인 것을 특징으로 하는 영상 부호화 장치.
  15. 제 13항에 있어서,
    i번째 변환 레지듀얼 블록 계수의 양자화 스텝을
    Figure 112005065895215-PAT00012
    , 상기 양자화 스텝에 따른 최대 양자화 에러를
    Figure 112005065895215-PAT00013
    , 상기 i번째 변환 레지듀얼 블록 계수에 대응되는 상기 최소 임계 변환 계수값을
    Figure 112005065895215-PAT00014
    라고 할 때, 상기 양자화부는 상기 i번째 변환 레지듀얼 블록 계수의 최적 양자화 스텝을
    Figure 112005065895215-PAT00015
    을 만족하는
    Figure 112005065895215-PAT00016
    중 최대값으로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  16. 제 13항에 있어서,
    상기 양자화부는, 상기 최적 양자화 스텝이 상기 변환 레지듀얼 블록 계수에 대하여 미리 정해진 소정의 양자화 스텝보다 큰 경우에만 상기 변환 레지듀얼 블록 계수의 양자화 스텝으로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  17. 제 13항에 있어서,
    상기 양자화부는, 상기 결정된 변환 레지듀얼 블록 계수별 양자화 스텝의 상대적 비율을 유지하면서 상기 양자화 스텝의 평균값을 변화시키는 것을 특징으로 하는 영상 부호화 장치.
  18. 영상 부호화 장치에 있어서,
    부호화할 소정 크기의 현재 블록에 대응되는 예측 블록을 생성하는 예측부;
    상기 현재 블록과 상기 예측 블록의 차이를 계산하여 레지듀얼 블록을 생성하는 감산부;
    상기 레지듀얼 블록을 변환하여 변환 레지듀얼 블록을 생성하는 제 1 변환부;
    상기 예측 블록을 변환하여 변환 예측 블록을 생성하는 제 2 변환부;
    상기 변환 예측 블록의 각 변환 계수들이 시각적으로 인지될 수 있는 최소 임계 변환 계수값을 구하고, 상기 최소 임계 변환 계수값들로 구성된 최소 임계 블록을 형성하는 최소 임계 블록 생성부; 및
    상기 변환 레지듀얼 블록의 계수와 대응되는 상기 최소 임계 변환 계수값을 비교하여 상기 변환 레지듀얼 블록의 계수들 중에서 부호화할 변환 레지듀얼 블록 계수를 선택하는 선택부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  19. 제 18항에 있어서,
    상기 최소 임계 변환 계수값은 상기 변환 예측 블록으로부터 계산된 JND(Just Noticeable Distortion)인 것을 특징으로 하는 영상 부호화 장치.
  20. 제 18항에 있어서,
    상기 선택부는, 상기 변환 레지듀얼 블록 계수 중 그 절대값이 대응되는 상기 최소 임계 변환 계수값의 절대값보다 큰 것을 부호화할 변환 레지듀얼 블록 계수로 선택하는 것을 특징으로 하는 영상 부호화 장치.
  21. 영상 부호화 장치에 있어서,
    부호화할 소정 크기의 현재 블록에 대응되는 예측 블록을 생성하는 예측부;
    상기 현재 블록과 상기 예측 블록의 차이를 계산하여 레지듀얼 블록을 생성하는 제 1 감산부;
    상기 예측 블록을 구성하는 각 화소들의 시각적으로 인지될 수 있는 최소 임계값을 구하고, 상기 최소 임계값들로 구성된 최소 임계 블록을 생성하는 최소 임계 블록 생성부; 및
    상기 레지듀얼 블록과 상기 최소 임계 블록의 각 화소별 차이값을 계산하여 차분 레지듀얼 블록을 생성하는 제 2 감산부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  22. 제 21항에 있어서,
    상기 최소 임계값은 상기 예측 블록으로부터 계산된 JND(Just Noticeable Distortion)인 것을 특징으로 하는 영상 부호화 장치.
  23. 제 21항에 있어서,
    상기 차분 레지듀얼 블록의 화소들 중 음수인 화소값을 갖는 화소는 0으로 설정하여 양자화를 수행하는 양자화부를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  24. 영상 복호화 방법에 있어서,
    수신된 비트스트림으로부터, 변환 레지듀얼 블록의 각 계수별로 양자화 스텝에 따른 최대 양자화 에러가 상기 최소 임계 변환 계수값 미만이 되도록 결정된 최적 양자화 스텝 정보 및 상기 변환 레지듀얼 블록 계수 정보를 추출하는 단계;
    상기 추출된 최적 양자화 스텝에 따라 양자화된 변환 레지듀얼 블록 계수를 역양자화하는 단계; 및
    복호화할 현재 블록에 대한 예측 블록과 역변환된 상기 변환 레지듀얼 블록을 가산하여 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  25. 제 24항에 있어서,
    상기 최소 임계 변환 계수값은 상기 변환 예측 블록으로부터 계산된 JND(Just Noticeable Distortion)인 것을 특징으로 하는 영상 복호화 방법.
  26. 영상 복호화 장치에 있어서,
    수신된 비트스트림으로부터, 변환 레지듀얼 블록의 각 계수별로 양자화 스텝에 따른 최대 양자화 에러가 상기 최소 임계 변환 계수값 미만이 되도록 결정된 최적 양자화 스텝 정보 및 상기 변환 레지듀얼 블록 계수 정보를 추출하는 엔트로피 복호화부;
    상기 추출된 최적 양자화 스텝에 따라 양자화된 변환 레지듀얼 블록 계수를 역양자화하는 역양자화부; 및
    상기 역양자화된 변환 레지듀얼 블록 계수를 역변환하여 레지듀얼 블록을 출력하는 역변환부;
    복호화할 현재 블록에 대한 예측 블록을 생성하는 예측부; 및
    상기 역변환된 상기 레지듀얼 블록과 상기 예측 블록을 가산하여 영상을 복원하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  27. 제 26항에 있어서,
    상기 최소 임계 변환 계수값은 상기 변환 예측 블록으로부터 계산된 JND(Just Noticeable Distortion)인 것을 특징으로 하는 영상 복호화 장치.
KR1020050109632A 2005-11-16 2005-11-16 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치 KR100750138B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020050109632A KR100750138B1 (ko) 2005-11-16 2005-11-16 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치
US11/590,784 US7680346B2 (en) 2005-11-16 2006-11-01 Method and apparatus for encoding image and method and apparatus for decoding image using human visual characteristics
EP06123624A EP1788820A2 (en) 2005-11-16 2006-11-07 Image encoding method and apparatus and image decoding method and apparatus using characteristics of the human visual system
CNA2006101470620A CN1968419A (zh) 2005-11-16 2006-11-14 利用人类视觉特性对图像进行编码及解码的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050109632A KR100750138B1 (ko) 2005-11-16 2005-11-16 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치

Publications (2)

Publication Number Publication Date
KR20070052057A true KR20070052057A (ko) 2007-05-21
KR100750138B1 KR100750138B1 (ko) 2007-08-21

Family

ID=37762339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050109632A KR100750138B1 (ko) 2005-11-16 2005-11-16 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치

Country Status (4)

Country Link
US (1) US7680346B2 (ko)
EP (1) EP1788820A2 (ko)
KR (1) KR100750138B1 (ko)
CN (1) CN1968419A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9374602B2 (en) 2007-06-14 2016-06-21 Samsung Electronics Co., Ltd. Method and apparatus for entropy-coding/entropy-decoding video data using different binarization methods
KR20180070329A (ko) * 2016-12-16 2018-06-26 삼성전자주식회사 데드존에 기초하여 양자화를 수행하는 인코더 및 이를 포함하는 비디오 처리 시스템
WO2022211490A1 (ko) * 2021-04-02 2022-10-06 현대자동차주식회사 전처리 및 후처리를 이용하는 비디오 코딩방법 및 장치

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8756482B2 (en) * 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
KR101394151B1 (ko) * 2007-10-04 2014-05-14 삼성전자주식회사 시감 특성을 이용한 영상 부호화 장치 및 방법
KR101511082B1 (ko) * 2008-05-09 2015-04-13 삼성전자주식회사 최하위 비트를 이용한 엔트로피 부호화 방법과 그 장치 및엔트로피 복호화 방법과 그 장치
WO2010057170A1 (en) * 2008-11-17 2010-05-20 Cernium Corporation Analytics-modulated coding of surveillance video
US8249150B2 (en) * 2008-12-24 2012-08-21 Sony Corporation SIMD-processor-friendly MPEG-2 inter-quantizer
US8249151B2 (en) * 2008-12-24 2012-08-21 Sony Corporation SIMD-processor-friendly MPEG-2 intra-quantizer
KR101675116B1 (ko) * 2009-08-06 2016-11-10 삼성전자 주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN101710995B (zh) * 2009-12-10 2011-02-16 武汉大学 基于视觉特性的视频编码系统
US8625709B2 (en) * 2010-01-19 2014-01-07 Amimon Ltd. Device method and system for communicating data
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
JP5908848B2 (ja) * 2010-03-10 2016-04-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 変換選択を有するビデオ符号化および復号のための制約付きの変換を行う方法および装置
US8559511B2 (en) * 2010-03-30 2013-10-15 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for video coding by ABT-based just noticeable difference model
WO2011145819A2 (ko) * 2010-05-19 2011-11-24 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
CN101854555B (zh) * 2010-06-18 2011-07-27 上海交通大学 基于预测残差自适应调整的视频编码系统
US20130107956A1 (en) * 2010-07-06 2013-05-02 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
WO2012042646A1 (ja) * 2010-09-30 2012-04-05 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
US8655092B2 (en) * 2010-12-16 2014-02-18 Beihang University Wavelet coefficient quantization method using human visual model in image compression
US8891894B2 (en) 2011-09-30 2014-11-18 Apple Inc. Psychovisual image compression
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9407915B2 (en) * 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
CN103124347B (zh) * 2012-10-22 2016-04-27 上海大学 利用视觉感知特性指导多视点视频编码量化过程的方法
CN103051829B (zh) * 2012-12-10 2016-12-21 天津天地伟业数码科技有限公司 基于fpga平台的原始图像数据降噪系统及降噪方法
CN103297773B (zh) * 2013-05-07 2016-05-04 福州大学 基于jnd模型的图像编码方法
CN103391437B (zh) * 2013-07-16 2016-12-07 上海富瀚微电子股份有限公司 一种高动态图像视觉无损压缩的方法及装置
CN103475881B (zh) * 2013-09-12 2016-11-23 同济大学 Dct域内基于视觉注意力机制的图像jnd阈值计算方法
CN103716623B (zh) * 2013-12-17 2017-02-15 北京大学深圳研究生院 基于加权量化的视频压缩编解码方法及编解码器
CN105791849B (zh) * 2014-12-25 2019-08-06 中兴通讯股份有限公司 图片压缩方法及装置
WO2016123001A1 (en) * 2015-01-27 2016-08-04 Dolby International Ab Predictive image encoding and decoding with pixel group based quantization
WO2016140954A1 (en) 2015-03-02 2016-09-09 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images
CN105141967B (zh) * 2015-07-08 2019-02-01 上海大学 基于恰可觉察失真模型的快速自适应环路滤波方法
CN105635743A (zh) * 2015-12-30 2016-06-01 福建师范大学 基于显著性检测和全变分的最小可察觉失真方法及系统
WO2018133043A1 (zh) * 2017-01-20 2018-07-26 华为技术有限公司 量化器与量化方法
CN110062234B (zh) * 2019-04-29 2023-03-28 同济大学 一种基于区域恰可察觉失真的感知视频编码方法
CN113115034B (zh) * 2021-03-25 2022-11-08 北京金山云网络技术有限公司 一种视频处理方法、装置、电子设备及存储介质
WO2023165599A1 (en) * 2022-03-03 2023-09-07 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for visual data processing

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6414994B1 (en) * 1996-12-18 2002-07-02 Intel Corporation Method and apparatus for generating smooth residuals in block motion compensated transform-based video coders
US6023296A (en) 1997-07-10 2000-02-08 Sarnoff Corporation Apparatus and method for object based rate control in a coding system
GB2370437A (en) 2000-12-20 2002-06-26 Motorola Inc Method for watermarking a digital image
US6822675B2 (en) 2001-07-03 2004-11-23 Koninklijke Philips Electronics N.V. Method of measuring digital video quality
EP1430726A2 (en) * 2001-09-18 2004-06-23 Koninklijke Philips Electronics N.V. Video coding and decoding method, and corresponding signal
KR100624404B1 (ko) * 2002-01-05 2006-09-18 삼성전자주식회사 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치
WO2004019336A1 (en) 2002-08-21 2004-03-04 Thomson Licensing S.A. Watermarking digital data at a user device
KR100647297B1 (ko) * 2003-11-26 2006-11-23 삼성전자주식회사 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치
KR100888962B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9374602B2 (en) 2007-06-14 2016-06-21 Samsung Electronics Co., Ltd. Method and apparatus for entropy-coding/entropy-decoding video data using different binarization methods
US9485523B2 (en) 2007-06-14 2016-11-01 Samsung Electronics Co., Ltd. Method and apparatus for entropy-coding/entropy-decoding video data using different binarization methods
KR20180070329A (ko) * 2016-12-16 2018-06-26 삼성전자주식회사 데드존에 기초하여 양자화를 수행하는 인코더 및 이를 포함하는 비디오 처리 시스템
WO2022211490A1 (ko) * 2021-04-02 2022-10-06 현대자동차주식회사 전처리 및 후처리를 이용하는 비디오 코딩방법 및 장치

Also Published As

Publication number Publication date
US7680346B2 (en) 2010-03-16
KR100750138B1 (ko) 2007-08-21
US20070110327A1 (en) 2007-05-17
EP1788820A2 (en) 2007-05-23
CN1968419A (zh) 2007-05-23

Similar Documents

Publication Publication Date Title
KR100750138B1 (ko) 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치
US8189933B2 (en) Classifying and controlling encoding quality for textured, dark smooth and smooth video content
JP4704374B2 (ja) ビデオトランスコーディング方法及び装置
KR101138393B1 (ko) 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치
KR101261526B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US8331438B2 (en) Adaptive selection of picture-level quantization parameters for predicted video pictures
KR100654436B1 (ko) 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더
KR101353301B1 (ko) 인트라 예측 모드 결정 방법 및 그 장치와 이를 이용한영상 부호화/복호화 방법 및 그 장치
KR101127221B1 (ko) 주파수 공간에서 컬러 성분간 예측을 이용한 컬러영상부호화/복호화 방법 및 장치
KR101354151B1 (ko) 영상 변환 방법 및 장치, 역변환 방법 및 장치
JPWO2008084745A1 (ja) 画像符号化装置および画像復号化装置
KR20090097688A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 장치
KR20070096726A (ko) 비트스트림의 비트율 조절을 위한 우선권 할당 방법,비트스트림의 비트율 조절 방법, 비디오 디코딩 방법 및 그방법을 이용한 장치
JP2009533938A (ja) 多階層基盤のビデオエンコーディング方法および装置
JP5166435B2 (ja) 画像符号化方法及び係る方法を実現する装置
JP2004032718A (ja) フェーディング推定／補償によりビデオフレームを処理するシステムおよび方法
KR20080082143A (ko) 영상 부호화 방법 및 장치, 복호화 방법 및 장치
KR100843080B1 (ko) 비디오 트랜스코딩 방법 및 장치
JPH05219385A (ja) 画像圧縮・伸張方法および装置
JP2007503151A (ja) プリデコーダを利用するスケーラブルビデオのコーディング方法及び装置
KR101426271B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR20090090152A (ko) 영상의 부호화, 복호화 방법 및 장치
KR101539045B1 (ko) 양자화 계수 결정 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR100438856B1 (ko) 능동적인 테이블 생성에의한 양자화/역양자화 방법 및 장치
KR100813001B1 (ko) 차분신호의 크기와 부호의 분리를 이용한 동영상부호화/복호화 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140730

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee