KR101432777B1 - 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체 - Google Patents

참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체 Download PDF

Info

Publication number
KR101432777B1
KR101432777B1 KR1020090083174A KR20090083174A KR101432777B1 KR 101432777 B1 KR101432777 B1 KR 101432777B1 KR 1020090083174 A KR1020090083174 A KR 1020090083174A KR 20090083174 A KR20090083174 A KR 20090083174A KR 101432777 B1 KR101432777 B1 KR 101432777B1
Authority
KR
South Korea
Prior art keywords
prediction error
signal
error signal
block
prediction
Prior art date
Application number
KR1020090083174A
Other languages
English (en)
Other versions
KR20110024974A (ko
Inventor
김수년
임정연
최영호
최윤식
김용구
조영훈
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020090083174A priority Critical patent/KR101432777B1/ko
Priority to PCT/KR2010/005978 priority patent/WO2011028046A2/ko
Priority to US13/394,226 priority patent/US20120219056A1/en
Publication of KR20110024974A publication Critical patent/KR20110024974A/ko
Application granted granted Critical
Publication of KR101432777B1 publication Critical patent/KR101432777B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 실시예는 참조 이미지를 기반으로 2차 예측을 수행하여 예측 오차를 줄이는, 참조 이미지 기반 2차 예측을 통한 동영상(적응적 예측 에러) 부호화 방법, 장치 및 기록 매체에 관한 것으로서, 그방법의 일 예는 입력 신호 및 예측 신호를 기반으로 1차 예측 에러 신호를 생성하는 단계 현재 블록의 1차 예측 에러 신호 및 참조 블록의 1차 예측 에러 신호를 기반으로 2차 예측 에러 신호를 생성하는 단계 상기 1차 예측 에러 신호 또는 상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 양자화하는 단계 양자화된 상기 1차 예측 에러 신호 또는 양자화된 상기 2차 예측 에러 신호를 적응적으로 선택하는 단계 상기 적응적으로 선택된 신호를 부호화하는 단계를 포함할 수 있다.
영상, 압축, 부호화, 2차 예측, 예측 에러, 참조 블록

Description

참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체{Video coding Method and Apparatus using second prediction based on reference image, and Recording Medium therefor}
본 발명의 실시예는 영상 데이터 압축 기술에 관한 것으로서, 보다 상세하게는 참조 이미지를 기반으로 2차 예측을 수행하여 예측 오차를 줄이는, 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체에 관한 것이다.
일반적으로, 비디오 압축 기술의 발달은 영상 매체를 보다 효율적으로 사용할 수 있는 방법의 기반을 마련하였다. 특히 H.264/AVC 동영상 부호화 기술은 이전 표준에 비해 2배 정도의 압축 성능이 향상 되었다. 이 기술은 복합형 부호화 기술에 기초하여 시간 및 공간 영역에서의 부호화 단계를 제공한다. 시간적 영역에서의 부호화 단계는 참조 프레임의 이미지로부터의 움직임 보상 예측(Motion Compensated prediction)을 통해 중복성(temporal redundancy)이 감소된다. 움직임 보상 예측은 참조 프레임의 블록과 현재 부호화 하고자 하는 이미지의 블록의 상관관계, 즉 움직임 벡터에 의해 결정되고 이를 통해 블록단위로 예측 이미지를 얻는다. 예측 이미지와 원본 이미지의 차로서 얻어진 예측 에러는 블록 단위로 정렬되 고 주파수 영역으로 변환된 후 양자화되어, DC 값을 나타내는 계수에서부터 시작하여 지그재그 스캐닝 방식으로 스캔 된다. 지그재그 스캐닝은 계수 어레이를 생성하게 되고 후속 부호화 단계는 CABAC 이나 CAVLC를 통해 최적화 될 수 있다. 하지만 블록 내의 예측 에러들이 서로 상관관계를 가질 때만, 즉 낮은 주파수 대역에 존재할 경우에만 주파수 영역으로 변환하는 DCT 변환에 의해 부호화 효율이 높다. 반면 공간 영역에서 약간만 상관되어 있는 경우 효율이 낮다.
[문헌 1] Matthias Narroschke, Hans Georg Musmann "Adaptive prediction error coding in spatial and frequency domain for H.264/AVC" VCEG- AB06, 16-20 January, 2006
이러한 문제를 해결하기 위해 [문헌 1]은 기존의 주파수 영역에서 예측 에러(prediction error)를 부호화하는 방법에 DCT 변환을 하지 않고 공간적 영역에서 예측 에러(prediction error)를 부호화하는 방법을 추가하여, 예측 에러 신호를 주파수 영역으로 변환할 것인지, 또는 부호화를 위해 예측 에러 신호를 공간 영역에서 유지할 것인지를 적응적으로 판단하여 사용하는 방법을 제안하였다.
도 1은 [문헌 1]에서 적응적으로 예측 에러(prediction error)를 부호화하는 방법을 나타내는 흐름도이다.
먼저, 움직임 보상 예측을 통해 부호화 하고자 하는 이미지의 예측 에러 신호를 얻는다(S101).
단계 S101에서 얻어진 예측 에러(prediction error)에 대하여, DCT 변환을 수행하고, 양자화를 한 후, 다시 역으로 양자화와 DCT 변환을 수행하여 왜 곡(distortion)과 요구비율(rate)을 바탕으로 주파수 영역에서의 비용(cost)를 구한다(S102).
단계 S101에서 얻어진 예측 에러(prediction error)에 대하여, 양자화를 수행한 후, 역으로 양자화를 수행하여 왜곡(distortion)과 요구비율(rate)을 바탕으로 공간적 영역에서의 비용(cost)를 구한다(S103).
마지막으로, 단계 S102 및 S103에서 각각 구해진 주파수 영역에서의 비용과 공간적 영역에서의 비용을 비교하여, 비용이 더 낮은 부호화 방법을 선택하여 예측 에러 신호를 부호화한다(S104).
도 1의 방법에서는 DCT 변환을 수행하지 않을 때, DCT 변환을 할 경우보다 오히려 더 효과적인 경우가 존재한다는 것을 전제로 한다.
도 1의 방법으로 예측 에러(prediction error) 신호를 부호화 하는 기술은, H.264/AVC 동영상 부호화 기술과 비교해 더 높은 부호화 성능을 제공하였다. 그러나 블록 내 예측 에러 샘플이 공간 영역에서 상관성이 낮을 뿐만 아니라 큰 에러와 작은 에러들이 불규칙 적으로 산재되어 있는 경우, 상기 방법 또한 효율성이 떨어진다.
본 발명의 실시예는 상술된 종래의 문제점을 해결하기 위한 것으로, 그 목적은 기존의 기술(문헌 1)에 부가하여, 참조 이미지를 기반으로 2차 예측을 수행하여 예측 오차를 줄이기 위한, 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체를 제공하는 것이다.
전술한 목적을 달성하기 위하여 본 발명의 일 측면에 따른 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법은, 입력 신호 및 예측 신호를 기반으로 1차 예측 에러 신호를 생성하는 단계 현재 블록의 1차 예측 에러 신호 및 참조 블록의 1차 예측 에러 신호를 기반으로 2차 예측 에러 신호를 생성하는 단계 상기 1차 예측 에러 신호 또는 상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 양자화하는 단계 및 상기 양자화된 신호를 부호화하는 단계를 포함할 수 있고, 양자화된 상기 1차 예측 에러 신호 또는 양자화된 상기 2차 예측 에러 신호를 적응적으로 선택하고, 상기 적응적으로 선택된 신호를 부호화하는 단계를 포함할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따른 참조 이미지 기반 2차 예측을 통한 동영상 부호화 장치는, 입력 신호 및 예측 신호를 기반으로 1차 예측 에러 신호를 생성하는 제 1 예측 에러 신호 생성부 현재 블록의 1차 예측 에러 신호 및 참조 블록의 1차 예측 에러 신호를 기반으로 2차 예측 에러 신호를 생성하는 제 2 예측 에러 신호 생성부 상기 제 1 예측 에러 신호 생성부의 상기 1차 예측 에러 신호 또는 상기 제 2 예측 에러 신호 생성부의 상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 양자화하는 적응적 DCT 변환 및 양자화부 상기 양자화된 신호를 부호화하는 부호화부를 포함할 수 있고, 상기 양자화된 제 1 예측 에러 신호 및 양자화된 제 2차 예측 에러 신호 중 하나를 비용(cost)에 근거하여 적응적으로 선택하는 적응적 선택부를 포함할 수 있으며, 상기 적응적 DCT 변환 및 양자화부의 출력 신호를 역으로 양자화하고 적응적으로 DCT 변환하는 역 양자화 및 적응적 DCT 변환부 상기 역 양자화 및 적응적 DCT 변환부의 출력 신호를 근거로 상기 예측 신호를 생성하는 예측 신호 생성부 및 상기 역 양자화 및 적응적 DCT 변환부의 출력 신호를 근거로 상기 참조 블록을 생성하는 참조 블록 생성부를 포함할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따른 참조 이미지 기반 2차 예측을 통한 동영상 부호화 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체는, 입력 신호 및 예측 신호를 기반으로 1차 예측 에러 신호를 생성하는 기능 현재 블록의 1차 예측 에러 신호 및 참조 블록의 1차 예측 에러 신호를 기반으로 2차 예측 에러 신호를 생성하는 기능 상기 1차 예측 에러 신호 또는 상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 양자화하는 기능 및 상기 양자화된 신호를 부호화하는 기능을 포함할 수 있고, 상기 양자화된 제 1 예측 에러 신호 및 양자화된 제 2차 예측 에러 신호를 적응적으로 선택하는 기능을 포함할 수 있다.
전술한 본 발명의 다양한 측면에 따른 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체에서, 상기 참조 블록은, 일 예로 상기 현재 블록의 주변 블록이거나, 다른 예로 상기 현재 블록에 대응하는 이전 프레임의 블록일 수 있으나, 이에 한정되지는 않는다. 또한, 상기 참조 블록 및 상기 예측 신호는 상기 양자화된 신호를 역양자화하고 적응적으로 역 DCT 변환한 신호를 기반으로 이루어질 수 있다. 또한, 상기 적응적인 DCT 변환 과정은, 상기 1차 예측 에러 신호 또는 상기 2차 예측 에러 신호를, DCT 변환하고 양자화한 후 다시 역으로 양 자화와 DCT 변환을 수행한 신호 및 DCT 변환은 하지 않고 양자화한 후 다시 역으로 양자화한 신호 각각에 대하여, 왜곡(distortion)과 요구비율(rate)을 바탕으로 상기 1차 예측 에러신호에 대한 주파수 영역에서의 비용과 공간적 영역에서의 비용 및 상기 2차 예측 에러신호에 대한 주파수 영역에서의 비용과 공간적 영역에서의 비용을 각각 산출하고 그 산출된 비용에 근거하여 DCT 변환 여부 및 2차 예측 수행 여부를 선택적으로 수행할 수 있다.
본 발명의 실시예에 따르면, 예측 에러 신호를 주파수 영역으로 변환하여 부호화 할 것인지, 공간 영역에서 부호화 할 것인지, 주변 블록 또는 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 통해 상기 예측 에러 신호에 대하여 추가적인 2차 예측을 한 후 주파수 영역으로 변환하여 부호화 할 것인지, 공간 영역에서 부호화 할 것인지를 결정하는 적응적 DCT 변환 및 양자화 과정을 포함할 수 있다.
본 발명의 실시예에 따르면, 2차 예측을 위해 주변 블록 및 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 저장하는 메모리부, 주변 블록 및 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 통해 2차 예측을 수행한 예측 에러 샘플을 주파수 영역으로 변환하기 위한DCT 변환부 주파수 영역에서의 양자화부 공간 영역에서의 양자화부 주파수 영역의 양자화 역 변환부 공간 영역의 양자화 역 변환부 역 DCT 변환부 주변 블록 및 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 바탕으로 한 2차 예측의 수행 여부, 그에 따른 각각의 주파수 영역과 공간 영역 사이의 전환을 위한 적응적 제어부를 포함할 수 있다.
본 발명의 실시예에 따르면, 예측 에러 신호를 그대로 유지하여 부호화 할 것인지, 혹은 예측 에러에 대하여 주변 블록 또는 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 기반으로 2차 예측을 한 후 부호화 할 것인지를 결정할 수 있다. 본 발명의 실시예에 따르면 예측 에러를 그대로 유지하여 부호화 할 것인지, 주변 블록 또는 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 통해 2차 예측을 한 후 부호화 할 것인지를 결정할 수 있다. 주변 블록 예측 에러 또는 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 통한 2차 예측은 예측 에러 신호가 클수록 이미지에 대한 정보가 많이 남아 있다는 특성을 바탕으로 한다.
본 실시예에 따르면 이러한 예측 에러 신호에 대한 추가적인 2차 예측을 위해 주변 블록 예측 에러 또는 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 저장하는 메모리부를 가진 참조 블록 생성부를 제공한다. 주변 블록 예측 에러 및 움직임 벡터 기반 이전 프레임 블록의 예측 에러가 현재 부호화 하고자 하는 예측 에러와 높은 상관도를 갖는다면, 본 발명이 실시예에 따른 부호화 기술은 기존의 부호화 기술에 비해 데이터 비율이 감소할 것이다. 따라서, 본 발명의 실시예에 따르면 예측 에러 신호의 관점에서, 주변 블록 예측 에러 또는 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 통한 추가적인 2차 예측을 수행할 수 있다.
본 발명의 실시예에 따르면, 결정 단계는 라그랑주(Lagrange) 파라미터에 의해 가중되는 왜곡(distortion)과 요구 비율(rate)에 의해 비용(cost)이 계산된다. 여기서 비용(cost)은 주변 블록 예측 에러 및 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 바탕으로 2차 예측을 한 신호의 계산과 기존 기술과 같이 움직임 보상 예측 에러에 대한 계산이 모두 수행된다. 모든 계산을 마친 후 비용이 더 낮 도록 2차 예측의 사용 여부가 결정할 수 있다.
본 발명의 실시예에 따르면, 시영역 중복성이 블록 기반 움직임 보상 예측에 의해 감소되고, 예측 에러 신호의 샘플이 공간 영역의 예측 에러 블록에서 제공 되거나 주변 블록 예측 에러 또는 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 통한 2차 예측 후 제공된다.
본 발명의 실시예에 따르면, CABAC 등과 같은 부호화 메커니즘에 대한 특정 코드는 주파수 영역의 계수 또는 공간 영역의 샘플에 대해 별도로 결정된 확률에 기반할 수 있다.
본 발명의 실시예에 따르면, 공간 영역의 예측 에러 샘플을 양자화하는 단계를 포함하는 예측 에러 신호를 부호화하는 방법이 제공될 수 있다. 즉, 본 발명의 실시예에 따르면 예측 에러에 대한 참조 블록의 예측 에러 즉, 주변 블록 예측 에러 또는 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 통한 2차 예측 후 주파수 영역에서의 부호화뿐만 아니라 공간 영역에서의 부호화도 가능할 것이다.
본 발명의 실시예에 따르면, 입력 데이터에 대해 1차 예측 및/또는 2차 예측을 수행한 예측 에러 신호를 생성할 수 있고, 해당 1차 및/또는 2차 예측 에러 신호에 대해 주파수 영역에서 부호화하거나 공간 영역에서 부호화할 수있으므로, 비용이 가장 낮은 과정 즉, 예측 오차가 가장 작은 과정으로 최종 부호화를 수행할 수 있다.
이상과 같은 본 발명의 다양한 측면에 의하면, 참조 이미지를 기반으로 2차 예측을 수행하고 적응적으로 DCT 변환을 수행(즉, 공간 영역 또는 주파수 영역에서 적응적으로 양자화를 수행)하여 예측 오차를 현저히 줄일 수 있는 효과가 있다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 2는 본 발명의 일 실시예에 따른 참조 이미지 기반 2차 예측을 통한 동영상 부호화 장치의 블록도로서, 동 도면에 도시된 바와 같이, 제 1 예측 에러 신호 생성부(210), 제 2 예측 에러 신호 생성부(220), 적응적 DCT 변환 및 양자화부(230), 부호화부(240), 역 양자화 및 적응적 DCT 변환부(250), 예측 신호 생성 부(260), 및 참조 블록 생성부(270)를 포함한다.
상기 제 1 예측 에러 신호 생성부(210)는 입력 신호 및 상기 예측 신호 생성부(260)로부터 출력된 예측 신호를 기반으로 1차 예측 에러 신호를 생성한다.
상기 제 2 예측 에러 신호 생성부(220)는 상기 제 1 예측 에러 신호 생성부(210)로부터 출력된 현재 블록의 1차 예측 에러 신호 및 상기 참조 블록 생성부(270)로부터 출력된 참조 블록의 1차 예측 에러 신호를 기반으로 2차 예측 에러 신호를 생성한다.
상기 적응적 DCT 변환 및 양자화부(230)는 상기 제 1 예측 에러 신호 생성부(210)의 상기 1차 예측 에러 신호 및/또는 상기 제 2 예측 에러 신호 생성부(220)의 상기 2차 예측 에러 신호를 적응적으로 DCT 변환하는 적응적 DCT 변환부(미도시) 및 그 적응적 DCT 변환부의 출력 신호를 주파수 영역 또는 공간적 영역에서 양자화하는 양자화부(미도시)를 포함할 수 있다. 예컨대, 상기 적응적 DCT 변환 및 양자화부(230)의 상기 적응적 DCT 변환부는, 상기 1차 예측 에러 신호 또는 상기 2차 예측 에러 신호를, DCT 변환하고 양자화한 후 다시 역으로 양자화와 DCT 변환을 수행한 신호 및 DCT 변환은 하지 않고 양자화한 후 다시 역으로 양자화한 신호에 대하여, 왜곡(distortion)과 요구비율(rate)을 바탕으로 구해진 주파수 영역에서의 비용과 공간적 영역에서의 비용에 근거하여 DCT 변환 여부를 선택적으로 수행하도록 한다.
상기 부호화부(240)는 상기 적응적 DCT 변환 및 양자화부(230)로부터 출력된 신호를 부호화한다.
상기 역 양자화 및 적응적 DCT 변환부(250)는 상기 적응적 DCT 변환 및 양자화부(230)의 출력 신호를 역으로 양자화하는 역 양자화부(미도시) 및 그 역 양자화부의 출력 신호를 적응적으로 역 DCT 변환하는 적응적 역 DCT 변환부(미도시)를 포함할 수 있다. 예컨대, 상기 역 양자화 및 적응적 DCT 변환부(250)의 상기 적응적 역 DCT 변환부는 상기 적응적 DCT 변환 및 양자화부(230)의 상기 적응적 DCT 변환부의 동작에 대응하여 역 DCT 변환 여부를 선택적으로 수행하도록 한다.
상기 예측 신호 생성부(260)는 상기 역 양자화 및 적응적 DCT 변환부(250)의 출력 신호를 근거로 상기 예측 신호를 생성하는 것으로, 적어도 시영역의 중복성을 감소시키기 위한 움직임 보상 예측부(미도시)를 포함할 수 있다.
상기 참조 블록 생성부(270)는 상기 역 양자화 및 적응적 DCT 변환부(250)의 출력 신호를 근거로 상기 참조 블록을 생성하는 것으로, 상기 참조 블록은 일 예로 현재 블록의 주변 블록이거나, 다른 예로 현재 블록에 대응하는 이전 프레임의 블록일 수 있으나, 이에 한정되지는 않는다.
도 3은 본 발명의 일 실시예에 따른 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법의 흐름도로서, 도 2의 장치에 적용될 수 있으므로 그 동작과 병행하여 설명한다.
먼저, 제 1 예측 에러 신호 생성부(210)에서 입력 신호 및 예측 신호를 기반으로 1차 예측 에러 신호를 생성하고(S310), 제 2 예측 에러 신호 생성부(220)에서 현재 블록의 1차 예측 에러 신호 및 참조 블록의 1차 예측 에러 신호를 기반으로 2차 예측 에러 신호를 생성한다(S320).
다음, 적응적 DCT 변환 및 양자화부(230)에서 상기 1차 예측 에러 신호 및/또는 상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 양자화하고(S330), 부호화부(240)에서 상기 양자화된 신호를 부호화하여 출력한다(S340).
한편, 상기 단계 S330에서 상기 양자화된 신호는 역 양자화부 및 적응적 DCT 변환부(250)를 통해 역 양자화된 후 적응적으로 역 DCT 변환된다(S350).
이어, 예측 신호 생성부(260)는 상기 단계 S350에서 역 양자화부 및 적응적 DCT 변환부(250)를 통해 출력된 신호(즉, 복원된 예측 에러 신호)를 근거로 시영역 중복성을 감소시키기 위한 움직임 보상 예측 등을 수행하여 상기 예측 신호를 생성한 후 그 생성된 예측 신호를 제 1 예측 에러 신호 생성부(210)에 제공하여 상기 단계 S310에서 제 1 예측 에러 신호를 생성할 수 있도록 한다(S360).
또한, 참조 블록 생성부(270)는 상기 단계 S350에서 역 양자화부 및 적응적 DCT 변환부(250)를 통해 출력된 신호(즉, 복원된 예측 에러 신호)를 근거로 상기 단계 S320에서 2차 예측을 위해 필요한 상기 참조 블록을 생성하여 제 2 예측 에러 신호 생성부(220)로 제공하는데, 상기 참조 블록은 일 예로 현재 블록의 주변 블록이거나 또는 다른 예로 현재 블록에 대응하는 이전 프레임의 블록일 수 있으나, 이에 한정되지 않는다.
상기 단계 S330에서 상기 적응적인 DCT 변환은, 상기 1차 예측 에러 신호 또는 상기 2차 예측 에러 신호를, DCT 변환하고 양자화한 후 다시 역으로 양자화와 DCT 변환을 수행한 신호 및 DCT 변환은 하지 않고 양자화한 후 다시 역으로 양자화한 신호에 대하여, 왜곡(distortion)과 요구비율(rate)을 바탕으로 구해진 주파수 영역에서의 비용과 공간적 영역에서의 비용에 근거하여 DCT 변환 여부를 선택적으로 수행하는 것을 나타내며, 상기 단계 S350에서의 상기 적응적인 역 DCT 변환은 상기 단계 S330에서의 상기 적응적인 DCT 변환에 대응하여 역 변환 과정이다.
도 4는 도 2의 장치의 구체적인 일 실시예를 나타내는 블록도로서, 본 실시예는 H.264/AVC 기술을 기본으로 하나, 기존 기술과 결합하여 수행될 수도 있다.
도 4의 실시예에서, 참조 번호 210은 입력 신호(401)에서 예측 신호 생성부(260)로부터 출력된 예측 신호를 감산하여 1차 예측 에러 신호(405)를 생성하는 제 1 예측 에러 신호 생성부(210)를 나타내고, 참조 번호 220은 1차 예측 에러 신호(405)에서 참조 블록 생성부(270)로부터 출력된 참조 블록의 예측 에러 신호(435)를 감산하여 2차 예측 에러 신호를 생성하는 제 2 예측 에러 신호 생성부(220)를 나타낸다.
도 4의 실시예에서 적응적 DCT 변환 및 양자화부(230)는, 1차 예측 에러 신호(405)를 DCT 변환하여 주파수 영역에서의 예측 에러 신호(408)로 출력하는 DCT 변환부(406), 주파수 영역에서의 예측 에러 신호(408)를 양자화하여 주파수 영역에서 양자화된 예측 에러 신호(420)로 출력하는 양자화부(407), 1차 예측 에러 신호(405)를 공간 영역에서 양자화하여 공간 영역에서 양자화된 예측 에러 신호(424)로 출력하는 양자화부(409), 제 2 예측 에러 신호 생성부(220)로부터 출력된 2차 예측 에러 신호를 DCT 변환하여 주파수 영역에서의 예측 에러 신호(431)로 출력하는 DCT 변환부(432), 주파수 영역에서의 예측 에러 신호(432)를 양자화하여 주파수 영역에서 양자화된 예측 에러 신호(429)로 출력하는 양자화부(433), 2차 예측 에러 신호를 공간 영역에서 양자화하여 공간 영역에서 양자화된 예측 에러 신호(430)로 출력하는 양자화부(434), 및 상기 출력 신호들(420, 424, 429, 430) 중 하나를 선택하는 적응적 제어부(415)를 포함한다.
도 4의 실시예에서, 부호화부(240)는 엔트로피 부호화기(413)로 구성되어 상기 출력 신호들(420, 424, 429, 430) 중 하나를 부호화하여 외부 출력신호(416)로 출력하고, 참조 번호 414는 스캔 제어부를 나타낸다.
다시 도 4의 실시예에서 역 양자화부 및 적응적 DCT 변환부(250)는, 상기 출력 신호(420)에 대하여 역 양자화하고 역 DCT 변환하는 역 양자화부(410)와 역 DCT 변환부(411), 상기 출력 신호(424)에 대하여 역 양자화하는 역 양자화부(412), 상기 출력 신호(429)에 대하여 역 양자화하고 역 DCT 변환하는 역 양자화부(426)와 역 DCT 변환부(428), 상기 출력 신호(430)에 대하여 역 양자화하는 역 양자화부(427), 및 상기 출력 신호들 A, B, C, D 중 하나를 선택하는 적응적 제어부(415)를 포함한다.
적응적 제어부(415)는 주변 블록 예측 에러 및 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 바탕으로 한 2차 예측의 수행 여부와 그에 따른 각각의 주파수 영역과 공간 영역 사이의 전환을 위한 것으로, 예를 들어, 상기 구성(411,412,428,427)의 출력 신호에 대해 각각 왜곡(distortion)과 요구비율(rate)을 바탕으로 주파수 영역에서의 비용과 공간적 영역에서의 비용을 구하고 그 결과로 A, D, C, D 중에 해당 비용이 가장 낮은 하나의 경로가 선택되어 부호화되도록 제어한다.
도 4의 실시예에서, 예측 신호 생성부(260)는 움직임 추정을 위해 이전 이미지들을 저장하는 메모리부(422), 입력 신호(401)와 메모리부(422)의 출력을 근거로 움직임을 추정하는 움직임 추정부(402), 및 움직임 추정부(402)의 출력과 메모리부(422)의 출력을 근거로 움직임 보상 예측하여 예측 신호(404)를 생성하는 움직임 보상 예측부(403)를 포함할 수 있다.
다시 도 4의 실시예에서, 참조 블록 생성부(270)는 현재 블록의 주변 블록 및/또는 현재 블록에 대응하는 이전 프레임의 해당 블록에 대한 예측 에러 신호를 저장하는 메모리부(425)를 포함하고, 참조 블록의 예측 에러 신호(435)를 생성하여 제 2 예측 에러 신호 생성부(220)로 제공한다.
이어, 도 4의 실시예에 대한 동작을 설명한다.
입력신호(401)는 움직임 추정을 거치며 예측 신호(404)를 제공하기 위해 움직임 추정부(402)의 움직임 추정에 기반하여 움직임 보상 예측부(403)에서 움직임 보상 예측이 수행되고, 제 1 예측 에러 신호 생성부(210)는 예측 신호(404)를 입력 신호(401)로부터 차감한다. 이로부터 생성되는 예측 에러 신호(405)를 주파수 영역(406)으로 변환하며 양자화부(407)를 통해 양자화 한다. 상기 양자화부(407)의출력 신호(420)는 부호화부(240)의 엔트로피 부호화기(413)로 전달된다. 역 양자화부(410)와역 DCT 변환부(411)를 통해 예측 에러 신호(420)는 움직임 보상 예측부(403)에서 다음 예측 단계를 위해 이용된다. 양자화 역변환되고 역 DCT 변환된 예측 에러 신호는 2차 예측을 위해 현재 부호화 하고자 하는 블록의 주변 블록 또는 움직임 벡터에 기반한 이전 프레임의 이미지 예측 에러를 저장하는 메모리부(425)에전달된다. 또한 예측 에러 신호는 예측 신호에 부가되어, 움직임 보상 예측부(403)와 움직임 추정부(402)를 위해 이전 이미지들을 저장하는 프레임 메모리부(422)로 전달된다. 예측 에러 신호(405)를 변환하기 위한 주파수 영역과 공간 영역 사이의 전환을 위해 적응적으로 제어한다.
본 실시예에서, 2차 예측 에러 신호 생성부(220)는 공간적 이미지의 예측 에러 즉, 참조 블록으로서의 주변 블록 예측 에러 신호(435)인 현재 부호화 하고자 하는 블록의 왼쪽 블록과 위쪽 블록의 평균치를 예측 에러 신호(405)에서 차감하여 2차 예측 에러 신호를 생성한다. 주변 블록 예측 에러(435)는 참조 블록 생성부(270)의 메모리(425)로부터 해당 블록 이미지의 예측 에러를 가져온다. 경우에 따라 참조 블록으로서 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 이용할 수 있으며, 시간적 측면에서 보면, 움직임 벡터를 기반한 현재 블록과 가장 흡사한 이전 프레임의 해당 블록의 예측 에러를 이용해 2차 예측을 할 수 있다. 예측 에러 신호(405)에 주변 블록 예측 에러 또는 움직임 벡터 기반 이전 프레임 블록의 예측 에러(435)를 차감한 신호는 주파수 영역과 공간 영역에서 양자화 된다. 상기 적응 제어부(415)는 주파수 영역과 공간 영역 사이의 적응 전환을 제어하기 위해 신호와 파라미터를 생성한다. 따라서, 적응 제어 정보 신호(421)는 위치 A, 위치 B, 위치 C, 그리고 위치 D 사이에서 전환하는 네 개의 스위치에 대응된다. 본 실시예에 따른 2차 예측을 하지 않는 경우 주파수 영역에서 변환이 수행되면, 상기 네 개의 스위치는 위치 A에 있게 된다. 공간 영역이 이용되면, 상기 스위치는 위치 B로 전환된다. 반면에 주변 블록 예측 에러 및 움직임 벡터 기반 이전 프레임 블록의 예측 에러를 통해 2차 예측을 수행하는 경우 주파수 영역에서 변환이 수행되면 상기 스위치는 위치 C에 있게 되고 공간 영역이 이용되면 상기 스위치는 위치 D로 전환된다. 또한, 사이드 정보 신호(side information signal; 121), 즉 화상(picture)의 부호화 절차를 위해 사용되었던 상기 영역의 사이드 정보 신호(421) 또한 엔트로피 부호화기(413)로 전달된다.
도 3을 참조하여 설명된 본 발명의 실시예에 따른 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 기록 매체로 구현될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체는 본 발명의 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 기록 매체는 프로그램 명령, 로컬 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나 지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상 설명한 바와 같이, 본 발명의 실시예는 영상 데이터 압축 기술 분야에 적용되어, 참조 이미지를 기반으로 2차 예측을 수행하고 적응적으로 DCT 변환을 수행(즉, 공간 영역 또는 주파수 영역에서 적응적으로 양자화를 수행)하여 예측 오차를 현저히 줄일 수 있는 매우 유용한 발명이다.
도 1은 종래 기술에 따라 적응적으로 예측 에러(prediction error)를 부호화하는 방법을 나타내는 흐름도
도 2는 본 발명의 실시예에 따른 참조 이미지 기반 2차 예측을 통한 동영상 부호화 장치의 블록도,
도 3은 본 발명의 실시예에 따른 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법의 흐름도,
도 4는 도 2의 장치의 구체적인 일 실시예를 나타내는 블록도.
< 도면의 주요 부분에 대한 부호의 설명 >
210: 제 1 예측 에러 신호 생성부
220: 제 2 예측 에러 신호 생성부
230: 적응적 DCT 변환 및 양자화부
240: 부호화부
250: 역 양자화 및 적응적 DCT 변환부
260: 예측 신호 생성부
270: 참조 블록 생성부

Claims (15)

  1. 현재블록 입력 신호 및 상기 입력 신호의 예측 신호를 기반으로 현재 블록의 예측 에러 신호인 1차 예측 에러 신호를 생성하는 단계;
    상기 현재 블록의 1차 예측 에러 신호 및 참조 블록의 1차 예측 에러 신호를 기반으로 2차 예측 에러 신호를 생성하는 단계;
    상기 현재 블록의 1차 예측 에러 신호 또는 상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 양자화하는 단계; 및
    상기 양자화된 신호를 부호화하는 단계;
    를 포함하고,
    상기 참조 블록 및 상기 예측 신호는 이전 프레임의 블록 또는 주변블록의 상기 양자화된 신호를 역양자화하고 적응적으로 역 DCT 변환한 신호를 기반으로 생성되는 것을 특징으로 하는 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법.
  2. 제 1 항에 있어서,
    상기 참조 블록은 상기 현재 블록의 주변 블록인 것을 특징으로 하는 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법.
  3. 제 1 항에 있어서,
    상기 참조 블록은 상기 현재 블록에 대응하는 이전 프레임의 블록인 것을 특징으로 하는 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 적응적인 DCT 변환은, 상기 현재 블록의 1차 예측 에러 신호 또는 상기 2차 예측 에러 신호에 대하여, DCT 변환하고 양자화한 후 다시 역으로 양자화와 DCT 변환을 수행한 신호 및 DCT 변환은 하지 않고 양자화한 후 다시 역으로 양자화한 신호에 대한 왜곡(distortion)과 요구비율(rate)을 바탕으로 구해진 비용에 근거하여 DCT 변환 여부를 선택적으로 수행하는 것을 특징으로 하는 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법.
  6. 현재블록 입력 신호 및 상기 입력 신호의 예측 신호를 기반으로 현재 블록의 예측 에러 신호인 1차 예측 에러 신호를 생성하는 제 1 예측 에러 신호 생성부;
    상기 현재 블록의 1차 예측 에러 신호 및 참조 블록의 1차 예측 에러 신호를 기반으로 2차 예측 에러 신호를 생성하는 제 2 예측 에러 신호 생성부;
    상기 현재 블록의 1차 예측 에러 신호 또는 상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 양자화하는 적응적 DCT 변환 및 양자화부; 및
    상기 양자화된 신호를 부호화하는 부호화부;
    를 포함하고,
    상기 참조 블록 및 상기 예측 신호는 이전 프레임의 블록 또는 주변블록의 상기 양자화된 신호를 역양자화하고 적응적으로 역 DCT 변환한 신호를 기반으로 생성되는 것을 특징으로 하는 참조 이미지 기반 2차 예측을 통한 동영상 부호화 장치.
  7. 제 6 항에 있어서,
    상기 적응적 DCT 변환 및 양자화부의 출력 신호를 역으로 양자화하고 적응적으로 DCT 변환하는 역 양자화 및 적응적 DCT 변환부;
    상기 역 양자화 및 적응적 DCT 변환부의 출력 신호를 근거로 상기 예측 신호를 생성하는 예측 신호 생성부; 및
    상기 역 양자화 및 적응적 DCT 변환부의 출력 신호를 근거로 상기 참조 블록을 생성하는 참조 블록 생성부를 더 포함하는 것을 특징으로 하는 참조 이미지 기반 2차 예측을 통한 동영상 부호화 장치.
  8. 제 7 항에 있어서,
    상기 참조 블록은 상기 현재 블록의 주변 블록인 것을 특징으로 하는 참조 이미지 기반 2차 예측을 통한 동영상 부호화 장치.
  9. 제 7 항에 있어서,
    상기 참조 블록은 상기 현재 블록에 대응하는 이전 프레임의 블록인 것을 특징으로 하는 참조 이미지 기반 2차 예측을 통한 동영상 부호화 장치.
  10. 제 7 항에 있어서,
    상기 적응적 DCT 변환 및 양자화부는,
    상기 현재 블록의 1차 예측 에러 신호 또는 상기 2차 예측 에러 신호에 대하여, DCT 변환하고 양자화한 후 다시 역으로 양자화와 DCT 변환을 수행한 신호 및 DCT 변환은 하지 않고 양자화한 후 다시 역으로 양자화한 신호에 대한 왜곡(distortion)과 요구비율(rate)을 바탕으로 구해진 비용에 근거하여 DCT 변환 여부를 선택적으로 수행하는 것을 특징으로 하는 참조 이미지 기반 2차 예측을 통한 동영상 부호화 장치.
  11. 현재블록 입력 신호 및 상기 입력 신호의 예측 신호를 기반으로 현재 블록의 예측 에러 신호인 1차 예측 에러 신호를 생성하는 기능;
    상기 현재 블록의 1차 예측 에러 신호 및 참조 블록의 1차 예측 에러 신호를 기반으로 2차 예측 에러 신호를 생성하는 기능;
    상기 현재 블록의 1차 예측 에러 신호 또는 상기 2차 예측 에러 신호를 적응적으로 DCT 변환한 후 양자화하는 기능; 및
    상기 양자화된 신호를 부호화하는 기능;
    을 포함하고,
    상기 참조 블록 및 상기 예측 신호는 이전 프레임의 블록 또는 주변블록의 상기 양자화된 신호를 역양자화하고 적응적으로 역 DCT 변환한 신호를 기반으로 생성되는 것을 특징으로 하는 참조 이미지 기반 2차 예측을 통한 동영상 부호화 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  12. 제 11 항에 있어서,
    상기 참조 블록은 상기 현재 블록의 주변 블록인 것을 특징으로 하는 참조 이미지 기반 2차 예측을 통한 동영상 부호화 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  13. 제 11 항에 있어서,
    상기 참조 블록은 상기 현재 블록에 대응하는 이전 프레임의 블록인 것을 특징으로 하는 참조 이미지 기반 2차 예측을 통한 동영상 부호화 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  14. 삭제
  15. 제 11 항에 있어서,
    상기 적응적인 DCT 변환은, 상기 현재 블록의 1차 예측 에러 신호 또는 상기 2차 예측 에러 신호에 대하여, DCT 변환하고 양자화한 후 다시 역으로 양자화와 DCT 변환을 수행한 신호 및 DCT 변환은 하지 않고 양자화한 후 다시 역으로 양자화한 신호에 대한 왜곡(distortion)과 요구비율(rate)을 바탕으로 구해진 비용에 근거하여 DCT 변환 여부를 선택적으로 수행하는 것을 특징으로 하는 참조 이미지 기반 2차 예측을 통한 동영상 부호화 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020090083174A 2009-09-03 2009-09-03 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체 KR101432777B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090083174A KR101432777B1 (ko) 2009-09-03 2009-09-03 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체
PCT/KR2010/005978 WO2011028046A2 (ko) 2009-09-03 2010-09-02 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체
US13/394,226 US20120219056A1 (en) 2009-09-03 2010-09-02 Method, apparatus, and recording medium for encoding motion pictures through second prediction based on reference images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090083174A KR101432777B1 (ko) 2009-09-03 2009-09-03 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20110024974A KR20110024974A (ko) 2011-03-09
KR101432777B1 true KR101432777B1 (ko) 2014-08-22

Family

ID=43649797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090083174A KR101432777B1 (ko) 2009-09-03 2009-09-03 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체

Country Status (3)

Country Link
US (1) US20120219056A1 (ko)
KR (1) KR101432777B1 (ko)
WO (1) WO2011028046A2 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060057785A (ko) * 2004-11-24 2006-05-29 주식회사 네빌소프트 영상 인코딩 방법 및 그 장치 그리고 영상 디코딩 방법및 그 장치
KR20060060350A (ko) * 2004-11-30 2006-06-05 주식회사 휴맥스 조명 변화에 대한 적응적 움직임 예측 장치 및 방법
KR100703772B1 (ko) 2005-04-13 2007-04-06 삼성전자주식회사 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치
JP2009531941A (ja) 2006-03-27 2009-09-03 サムスン エレクトロニクス カンパニー リミテッド ビットストリームのビット率の調節のための優先権の割当て方法、ビットストリームのビット率の調節方法、ビデオデコーディング方法およびその方法を用いた装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08256341A (ja) * 1995-03-17 1996-10-01 Sony Corp 画像信号符号化方法、画像信号符号化装置、画像信号記録媒体、及び画像信号復号化装置
KR20030083703A (ko) * 2001-01-30 2003-10-30 가부시키가이샤 오피스 노아 동화상 정보의 압축 방법 및 그 시스템
KR100725407B1 (ko) * 2005-07-21 2007-06-07 삼성전자주식회사 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
US8494052B2 (en) * 2006-04-07 2013-07-23 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges
US8687699B1 (en) * 2006-05-16 2014-04-01 Geo Semiconductor Inc Method and/or apparatus for optimized video coding
US8457200B2 (en) * 2006-07-07 2013-06-04 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
KR101228109B1 (ko) * 2006-07-24 2013-01-31 삼성전자주식회사 움직임 예측장치 및 방법과 이를 채용하는 영상 부호화장치및 방법
JP2010500818A (ja) * 2006-08-08 2010-01-07 デジタル メディア カートリッジ，リミティド 漫画アニメーション圧縮のためのシステムおよび方法
EP2381580A1 (en) * 2007-04-13 2011-10-26 Global IP Solutions (GIPS) AB Adaptive, scalable packet loss recovery
JP2010528555A (ja) * 2007-05-29 2010-08-19 エルジー エレクトロニクス インコーポレイティド ビデオ信号の処理方法および装置
KR101362757B1 (ko) * 2007-06-11 2014-02-14 삼성전자주식회사 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
CN101159875B (zh) * 2007-10-15 2011-10-05 浙江大学 二重预测视频编解码方法和装置
US9008171B2 (en) * 2008-01-08 2015-04-14 Qualcomm Incorporated Two pass quantization for CABAC coders
KR20090095317A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 부호화 및 복호화 방법 및 장치
KR20100027384A (ko) * 2008-09-02 2010-03-11 삼성전자주식회사 예측 모드 결정 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060057785A (ko) * 2004-11-24 2006-05-29 주식회사 네빌소프트 영상 인코딩 방법 및 그 장치 그리고 영상 디코딩 방법및 그 장치
KR20060060350A (ko) * 2004-11-30 2006-06-05 주식회사 휴맥스 조명 변화에 대한 적응적 움직임 예측 장치 및 방법
KR100703772B1 (ko) 2005-04-13 2007-04-06 삼성전자주식회사 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치
JP2009531941A (ja) 2006-03-27 2009-09-03 サムスン エレクトロニクス カンパニー リミテッド ビットストリームのビット率の調節のための優先権の割当て方法、ビットストリームのビット率の調節方法、ビデオデコーディング方法およびその方法を用いた装置

Also Published As

Publication number Publication date
WO2011028046A2 (ko) 2011-03-10
US20120219056A1 (en) 2012-08-30
WO2011028046A3 (ko) 2011-06-16
KR20110024974A (ko) 2011-03-09

Similar Documents

Publication Publication Date Title
KR101365567B1 (ko) 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101444675B1 (ko) 영상 부호화 및 복호화 방법과 장치
JP5684823B2 (ja) ハイブリッド映像符号化
KR101608426B1 (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
US9288495B2 (en) Adaptive secondary prediction-based image encoding/decoding method, device and recording medium
KR101108681B1 (ko) 동영상 코덱에서의 주파수 변환 계수 예측 방법 및 장치,이를 구비한 부호화 및 복호화 장치와 방법
KR101717510B1 (ko) 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법
KR20090099234A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20110017302A (ko) 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치
KR101543298B1 (ko) 동영상 부호화/복호화 장치 및 그를 위한 가변 단위의 적응적 중첩 블록 움직임 보상 장치 및 방법
KR101379190B1 (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
KR20110033511A (ko) 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20110042705A (ko) 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP2011166592A (ja) 画像符号化装置及び画像復号装置
KR20110065116A (ko) 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법
US9319710B2 (en) Video encoding and decoding apparatus and method
KR20100019088A (ko) 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법
KR101512643B1 (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
KR101432777B1 (ko) 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체
KR101543301B1 (ko) 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치
JP5812011B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP5358485B2 (ja) 画像符号化装置
JP4697802B2 (ja) 動画像予測符号化方法および装置
KR101614767B1 (ko) 벡터 양자화 기반 2차 예측을 통한 동영상 부호화/복호화 장치, 방법 및 기록 매체
KR101527150B1 (ko) 동영상 부호화/복호화 장치 및 그를 위한 화소 기반 적응중첩 블록 움직임 보상 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170808

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 6