KR101041038B1 - 움직임 추정방법 및 움직임 추정장치, 이를 이용한 부호화 방법 및 비디오 인코더, 이를 이용한 복호화 방법 및 비디오 디코더 - Google Patents

움직임 추정방법 및 움직임 추정장치, 이를 이용한 부호화 방법 및 비디오 인코더, 이를 이용한 복호화 방법 및 비디오 디코더 Download PDF

Info

Publication number
KR101041038B1
KR101041038B1 KR1020090081322A KR20090081322A KR101041038B1 KR 101041038 B1 KR101041038 B1 KR 101041038B1 KR 1020090081322 A KR1020090081322 A KR 1020090081322A KR 20090081322 A KR20090081322 A KR 20090081322A KR 101041038 B1 KR101041038 B1 KR 101041038B1
Authority
KR
South Korea
Prior art keywords
block
current image
image block
frequency component
high frequency
Prior art date
Application number
KR1020090081322A
Other languages
English (en)
Other versions
KR20110023430A (ko
Inventor
박현욱
이지홍
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020090081322A priority Critical patent/KR101041038B1/ko
Publication of KR20110023430A publication Critical patent/KR20110023430A/ko
Application granted granted Critical
Publication of KR101041038B1 publication Critical patent/KR101041038B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 움직임 추정방법 및 움직임 추정장치, 이를 이용한 부호화 방법 및 비디오 인코더, 이를 이용한 복호화 방법 및 비디오 디코더에 관한 것이다.
본 발명에 따른 움직임 추정방법은, 현재 영상 블록의 고주파 및 저주파 성분을 추정하는 방법에 있어서, (a) 현재 영상 블록과 현재 영상 블록의 레퍼런스 후보 블록들의 픽셀값에 현재 영상 블록과 현재 영상 블록의 레퍼런스 블록들의 평균값을 뺀 값을 이용하여 유사도를 분석하여, 현재 영상 블록과 고주파 성분 유사도가 가장 높은 레퍼런스 블록을 선택하고, 선택된 레퍼런스 블록의 고주파 성분을 현재 영상 블록의 고주파 성분으로 추정하는 단계, (b) 현재 영상 블록의 인접한 이웃 픽셀들과 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 이용하여, 현재 영상 블록의 저주파 성분을 추정하는 단계, (c) 추정된 저주파 성분을 선택된 레퍼런스 블록에 적용하여 움직임 보상된 현재 영상 블록의 예측 블록을 생성하는 단계를 포함한다.
움직임 추정, 고주파 성분, 저주파 성분, 레퍼런스 블록

Description

움직임 추정방법 및 움직임 추정장치, 이를 이용한 부호화 방법 및 비디오 인코더, 이를 이용한 복호화 방법 및 비디오 디코더{MOTION ESTIMATING METOD AND MOTION ESTIMATING APPARATUS, ENCORDING METHOD AND VIDEO ENDORDER FOR USING THEREOF, DECORDING METHOD AND VIDEO DECORDER FOR USING THEREOF}
본 발명은 움직임 추정방법 및 움직임 추정장치, 이를 이용한 부호화 방법 및 비디오 인코더, 이를 이용한 복호화 방법 및 비디오 디코더에 관한 것이다.
일반적으로 사용되는 움직임 추정 방법은, 우선 일반적인 영상에 대해 잔차 신호의 고주파 성분과 저주파 성분을 동시에 최소화하고자 하는 방법을 사용한다. 또한, 움직임 보상 방법은, 움직임 추정 방법에 의해 얻어진 레퍼런스 블록과 현재 영상 블록의 잔차 신호를 얻는 방법이 있다.
움직임 보상 방법으로 일반적으로 사용되는 현재 영상 블록의 고주파 성분과 저주파 성분을 동시에 최소화하는 레퍼런스 블록을 구하기 위한 계산 방법으로 SAD(Sum of Absolute Difference)를 이용하는 수식 [1]은 아래와 같다.
Figure 112009053473814-pat00001
여기서, C(i,j)는 현재 영상 블록의 픽셀값, R(i,j)는 레퍼런스 블록의 픽셀값을 각각 의미하고, i와 j는 각각 블록에서의 가로, 세로의 위치, N은 블록의 크기를 의미한다. 이것을 통해 블록간 잔차 신호를 얻어 비디오 코딩을 수행한다.
다음으로, 특별히 조명의 변화가 큰 영상에 대한 움직임 추정 방법에 있어서, 잔차 신호의 고주파 성분만을 추정하는데 있어 발생되는 인접한 이웃 픽셀값을 사용할 수 없는 문제점과 계산량의 증가를 피하기 위해, 현재 영상 블록과 레퍼런스 블록의 인접하지 않은 이웃 픽셀들의 평균값을 활용하여 현재 영상 블록의 부정확한 고주파 성분을 예측한다. 그런 다음, 움직임 보상 방법에서 현재 영상 블록과 레퍼런스 블록의 인접하지 않은 이웃 픽셀을 활용하여 현재 영상 블록의 부정확한 저주파 성분을 예측하는 방법이 영상의 특성에 따라 선택적으로 활용되는 기술이 제안되었다. 이때, 움직임 보상 방법에서 사용되는 수식 [2] 및 수식 [3]은 아래와 같다.
Figure 112009053473814-pat00002
여기서, mC와 mR은 현재 영상 블록과 레퍼런스 블록의 평균값, mCn과 mRn은 현재 영상 블록과 레퍼런스 블록의 이웃 픽셀의 평균을 의미한다. 이렇게 얻은 각 블록의 평균값의 근사치를 각 블록의 픽셀값에 빼줌으로써, 현재 영상 블록의 고주파 성분과 가장 유사한 블록을 레퍼런스 후보 블록들로부터 찾는다.
이와 같은 구현을 위해 사용되는 레퍼런스 블록의 이웃픽셀(Neighboring pixels of the reference block)과 현재 영상 블록의 이웃 픽셀(Neighboring pixels of the current block), 즉 mCn과 mRn을 구하기 위해 사용되는 픽셀들의 조합은 도 1과 같은 종래 기술에 의한 이웃 픽셀을 선택하는 방법을 이용하여 설계되었다 (참고, P. Yin, A.M. Tourapis, and J. Boyce, “Localized weighted prediction for video coding,” IEEE International Symposium on Circuits and Systems 2004, Vol. 5, pp. 4365-4368, May 2005).
또한, 다른 방법으로서 현재 영상 블록과 레퍼런스 블록간의 고주파 성분만을 추정하고, 저주파 성분의 추정 및 보상은 배제되어 있는 기술이 제안되었다 (참고, D.S. Turaga and T. Chen, “Estimation and mode decision for spatially correlated motion sequences,” IEEE Transactions on Circuits and Systems for Video Technology, Vol. 11, No. 10, pp. 1098-1107, October 2001). 여기서, 현재 영상 블록의 평균과 레퍼런스 블록의 평균의 근사치가 사용된 방법과는 다르게, 현재 영상 블록과 레퍼런스 블록의 실제 평균값을 사용하여 고주파 성분 예측의 정확도를 높였다. 이를 위한 수식 [4]은 아래와 같다.
Figure 112009053473814-pat00003
하지만, 상기와 같은 방법들은 영상에 특성에 관계없이 움직임 추정 방법에서 현재 영상 블록의 평균값을 활용하여 현재 영상 블록의 고주파 성분을 추정하고, 움직임 보상 방법에서 인접한 이웃 픽셀을 활용하여 보다 정확하게 현재 영상 블록의 저주파 성분을 보상하는 독립적인 추정 기능이 구비되어 있지 않았다. 또한, 성능이득에 있어 일반적인 영상에 대해 압축 성능이 향상되지 않거나(참고, P. Yin, A.M. Tourapis, and J. Boyce, “Localized weighted prediction for video coding,” IEEE International Symposium on Circuits and Systems 2004, Vol. 5, pp. 4365-4368, May 2005), 조명변화가 없는 영상에 대해서는 오히려 압축 성능이 떨어지는 문제점(참고, D.S. Turaga and T. Chen, “Estimation and mode decision for spatially correlated motion sequences,” IEEE Transactions on Circuits and Systems for Video Technology, Vol. 11, No. 10, pp. 1098-1107, October 2001)이 있었다.
상기와 같은 종래의 방법에 있어서는, 압축하고자 하는 영상의 특성에 따라 압축의 성능이 개선되지 않을 가능성이 있고, 부정확한 정보를 활용함에 따라 현재 영상 블록의 고주파와 저주파 성분의 예측이 정확하게 이루어지지 않는 문제점이 있으며, 움직임 추정에서 사용되는 인접하지 않은 이웃 픽셀들의 평균값이 블록의 크기에 따라 계속 변하기 때문에 계산량이 크게 증가되는 문제점이 있다(참고, P. Yin, A.M. Tourapis, and J. Boyce, “Localized weighted prediction for video coding,” IEEE International Symposium on Circuits and Systems 2004, Vol. 5, pp. 4365-4368, May 2005).
따라서, 상기와 같은 문제점을 해결하기 위하여, 본 발명은 현재 영상에 대해 움직임 추정단계에서 현재 영상 블록과 레퍼런스 블록의 평균값을 이용하여 현재 영상 블록의 고주파 성분을 추정하고, 움직임 보상 단계에서 현재 영상 블록과 레퍼런스 블록의 인접 펙셀들을 이용하여 현재 영상 블록의 저주파 성분을 독립적으로 추정하는 것에 의하여, 움직임 추정을 정확하게 추정할 수 있는 움직임 추정방법 및 움직임 추정장치, 이를 이용한 부호화 방법 및 비디오 인코더, 이를 이용한 복호화 방법 및 비디오 디코더를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 저주파 성분을 추정한 결과값을 선택적으로 이용하는 것에 의하여, 잔차 신호를 최소화하여 압축 성능을 향상시킬 수 있는 움직임 추정방법 및 움직임 추정장치, 이를 이용한 부호화 방법 및 비디오 인코더, 이를 이용한 복호화 방법 및 비디오 디코더를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 움직임 추정단계에서 영상 블록의 크기에 따라 상대적으로 더 작은 영상 블록 크기의 정보를 활용하는 것에 의하여, 인접 픽셀을 사용시 발생하는 계산량을 줄여줄 수 있는 움직임 추정방법 및 움직임 추정장치, 이를 이용한 부호화 방법 및 비디오 인코더, 이를 이용한 복호화 방법 및 비디오 디코더를 제공하는 것을 그 목적으로 한다.
청구항 1에 관한 발명인 움직임 추정방법은, 현재 영상 블록의 고주파 및 저주파 성분을 추정하여 현재 영상 블록의 움직임을 보상하는 움직임 추정방법에 있어서, (a) 현재 영상 블록과 현재 영상 블록의 레퍼런스 후보 블록들의 픽셀값에 현재 영상 블록과 현재 영상 블록의 레퍼런스 블록들의 평균값을 뺀 값을 이용하여 유사도를 분석하여, 현재 영상 블록과 고주파 성분 유사도가 가장 높은 레퍼런스 블록을 선택하고, 선택된 레퍼런스 블록의 고주파 성분을 현재 영상 블록의 고주파 성분으로 추정하는 단계와, (b) 현재 영상 블록의 인접한 이웃 픽셀들과 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 이용하여, 현재 영상 블록의 저주파 성분을 추정하는 단계와, (c) 추정된 저주파 성분을 선택된 레퍼런스 블록에 적용하여 움직임 보상된 현재 영상 블록의 예측 블록을 생성하는 단계를 포함한다.
청구항 2에 관한 발명인 움직임 추정방법은, 청구항 1에 관한 발명인 움직임 추정방법에 있어서, (a) 단계에서, 현재 영상 블록보다 상대적으로 큰 블록의 고주파 성분을 추정할 경우에는, 현재 영상 블록에 대하여 추정된 고주파 성분을 합한 값을 이용한다.
청구항 3에 관한 발명인 움직임 추정방법은, 청구항 1에 관한 발명인 움직임 추정방법에 있어서, (a) 단계 및 (b) 단계에서, 현재 영상 블록의 크기는 트랜스폼의 크기에 따라 결정된다.
청구항 4에 관한 발명인 움직임 추정방법은, 청구항 1에 관한 발명인 움직임 추정방법에 있어서, (c) 단계는, 현재 영상 블록의 인접한 이웃 픽셀들과 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 선택된 레퍼런스 블록의 픽셀값에 더해주어, 현재 영상 블록의 움직임을 보상한다.
청구항 5에 관한 발명인 움직임 추정방법은, 청구항 1에 관한 발명인 움직임 추정방법에 있어서, (c) 단계는, (a) 단계와 (b) 단계에서 추정된 결과의 율 왜곡값과 (a) 단계에서 추정된 고주파 성분의 추정된 결과의 율 왜곡값을 비교하여, 추정된 저주파 성분을 선택된 레퍼런스 블록에 적용한다.
청구항 6에 관한 발명인 움직임 추정장치는, 현재 영상 블록의 고주파 및 저주파 성분을 추정하여 현재 영상 블록의 움직임을 보상하는 움직임 추정장치에 있어서, 현재 영상 블록과 현재 영상 블록의 레퍼런스 후보 블록들의 픽셀값에 현재 영상 블록과 현재 영상 블록의 레퍼런스 블록들의 평균값을 뺀 값을 이용하여 유사도를 분석하여, 현재 영상 블록과 고주파 성분 유사도가 가장 높은 레퍼런스 블록을 선택하고, 선택된 레퍼런스 블록의 고주파 성분을 현재 영상 블록의 고주파 성분으로 추정하는 고주파 추정부, 현재 영상 블록의 인접한 이웃 픽셀들과 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 이용하여, 현재 영상 블록의 저주파 성분을 추정하는 저주파 추정부, 추정된 저주파 성분을 선택된 레퍼런스 블록에 적용하여 움직임 보상된 현재 영상 블록의 예측 블록을 생성하는 움직임 보상부를 포함한다.
청구항 7에 관한 발명인 비디오 인코더는, 비디오 인코더에 있어서, 현재 영상 블록과 현재 영상 블록의 레퍼런스 후보 블록들의 픽셀값에 현재 영상 블록과 현재 영상 블록의 레퍼런스 블록들의 평균값을 뺀 값을 이용하여, 현재 영상 블록과 고주파 성분 유사도가 가장 높은 레퍼런스 블록을 선택하고, 선택된 레퍼런스 블록의 고주파 성분을 현재 영상 블록의 고주파 성분으로 추정하는 고주파 추정부, 현재 영상 블록의 인접한 이웃 픽셀들과 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 이용하여, 현재 영상 블록의 저주파 성분을 추정하는 저주파 추정부, 추정된 저주파 성분을 선택된 레퍼런스 블록에 적용하여 움직임 보상된 현재 영상 블록의 예측 블록을 생성하는 움직임 보상부, 현재 영상블록으로부터 움직임 보상된 예측 블록을 감산하여 잔차 블록을 생성하고, 잔차 블록의 정보들을 주파수 영역의 정보들로 주파수 변환한 후, 양자화하는 변환부, 양자화된 잔차 블록의 정보들 및 현재 영상 블록의 움직임을 재생하기 위한 재생정보를 부호화하는 엔트로피 부호화부를 포함한다.
청구항 8에 관한 발명인 비디오 인코더는, 청구항 7에 관한 발명인 비디오 인코더에 있어서, 움직임 보상부는, 현재 영상 블록의 인접한 이웃 픽셀들과 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 선택된 레퍼런스 블록의 픽셀값에 더해주어, 현재 영상 블록의 움직임을 보상한다.
청구항 9에 관한 발명인 비디오 인코더는, 청구항 7에 관한 발명인 비디오 인코더에 있어서, 현재 영상 블록의 움직임을 재생하기 위한 재생정보는, 고주파 추정부에 의하여 추정된 고주파 성분 및 레퍼런스 인덱스 데이터를 포함한다.
청구항 10에 관한 발명인 비디오 인코더는, 청구항 7에 관한 발명인 비디오 인코더에 있어서, 현재 영상 블록의 움직임을 재생하기 위한 재생정보는, 저주파 추정부에 의하여 추정된 저주파 성분 추정 결과에 의한 플래그 비트를 포함한다.
청구항 11에 관한 발명인 비디오 인코더는, 청구항 7에 관한 발명인 비디오 인코더에 있어서, 움직임 보상부는, 고주파 추정부와 저주파 추정부에서 추정된 결 과의 율 왜곡값이 고주파 추정부에서 추정된 고주파 성분의 추정된 결과의 율 왜곡값에 비하여 작은 경우에, 추정된 저주파 성분을 선택된 레퍼런스 블록에 적용한다.
청구항 12에 관한 발명인 부호화 방법은, 부호화 방법에 있어서, 현재 영상 블록과 현재 영상 블록의 레퍼런스 후보 블록들의 픽셀값에 현재 영상 블록과 현재 영상 블록의 레퍼런스 블록들의 평균값을 뺀 값을 이용하여, 현재 영상 블록과 고주파 성분 유사도가 가장 높은 레퍼런스 블록을 선택하고, 선택된 레퍼런스 블록의 고주파 성분을 현재 영상 블록의 고주파 성분으로 추정하는 제1 단계, 현재 영상 블록의 인접한 이웃 픽셀들과 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 이용하여, 현재 영상 블록의 저주파 성분을 추정하는 제2 단계, 추정된 저주파 성분을 상기 선택된 레퍼런스 블록에 적용하여 움직임 보상된 현재 영상 블록의 예측 블록을 생성하는 제3 단계, 현재 영상블록으로부터 움직임 보상된 예측 블록을 감산하여 잔차 블록을 생성하고, 잔차 블록의 정보들을 주파수 영역의 정보들로 주파수 변환한 후, 양자화하는 제4 단계, 양자화된 잔차 블록의 정보들 및 현재 영상 블록의 움직임을 재생하기 위한 재생정보를 부호화하는 제5 단계를 포함한다.
청구항 13에 관한 발명인 비디오 디코더는, 비디오 디코더에 있어서, 부호화된 비트스트림으로부터 잔차 블록, 현재 영상 블록의 고주파 성분 및 레퍼런스 인덱스 데이터, 저주파 성분 추정 결과에 의한 플래그 비트를 엔트로피 복호화하는 엔트로피 복호화부, 복호화된 현재 영상 블록의 고주파 성분 및 레퍼런스 인덱스 데이터를 이용하여 현재 영상 블록의 고주파 성분으로 추정된 결과값을 획득하는 고주파 추정부, 복호화된 저주파 성분 추정 결과에 의한 플래그 비트를 이용하여, 현재 영상 블록의 저주파 성분으로 추정된 결과값을 획득하는 저주파 추정부, 저주파 성분으로 추정된 결과값을 고주파 성분으로 추정된 결과값에 적용하여 움직임 보상된 현재 영상 블록의 예측블록을 생성하는 움직임 보상부, 현재 영상 블록의 예측블록에, 부호화된 잔차블록이 역양자화된 후 역주파수변환된 정보들을 가산하여 현재 영상 블록을 복원하는 복원부를 포함한다.
청구항 14에 관한 발명인 비디오 디코더는, 청구항 13에 관한 발명인 비디오 디코더에 있어서, 움직임 보상부는, 저주파 성분으로 추정된 결과값을 고주파 성분으로 추정된 결과값에 적용한다.
청구항 15에 관한 발명인 복호화 방법은, 복호화방법에 있어서, 부호화된 비트스트림으로부터 잔차 블록, 현재 영상 블록의 고주파 성분 및 레퍼런스 인덱스 데이터, 플래그 비트를 엔트로피 복호화하는 제1 단계, 복호화된 현재 영상 블록의 고주파 성분 및 레퍼런스 인덱스 데이터를 이용하여 현재 영상 블록의 고주파 성분으로 추정된 결과값을 획득하는 제2 단계, 복호화된 플래그 비트를 이용하여, 현재 영상 블록의 저주파 성분으로 추정된 결과값을 획득하는 제3 단계, 저주파 성분으로 추정된 결과값을 고주파 성분으로 추정된 결과값에 적용하여 움직임 보상된 현재 영상 블록의 예측블록을 생성하는 제4 단계, 현재 영상 블록의 예측블록에, 부호화된 잔차블록이 역양자화된 후 역주파수변환된 정보들을 가산하여 현재 영상 블록을 복원하는 제5 단계를 포함한다.
본 발명에 의하면, 현재 영상에 대해 움직임 추정단계에서 현재 영상 블록과 레퍼런스 블록의 평균값을 이용하여 현재 영상 블록의 고주파 성분을 추정하고, 움직임 보상 단계에서 현재 영상 블록과 레퍼런스 블록의 인접 펙셀들을 이용하여 현재 영상 블록의 저주파 성분을 독립적으로 추정하고 있기 때문에, 움직임 추정을 정확하게 추정할 수 있다.
또한, 본 발명에 의하면, 저주파 성분을 추정한 결과값을 선택적으로 이용하고 있기 때문에, 잔차 신호를 최소화하여 압축 성능을 향상시킬 수 있다.
또한, 본 발명에 의하면, 움직임 추정단계에서 영상 블록의 크기에 따라 상대적으로 더 작은 영상 블록 크기의 정보를 활용하고 있기 때문에, 인접한 이웃 픽셀을 사용시 발생하는 계산량을 줄여줄 수 있다.
이상과 같은 본 발명에 대한 해결하고자 하는 과제, 과제 해결 수단, 효과 외의 구체적인 사항들은 다음에 기재할 실시예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. 다만, 첨부된 도면은 본 발명의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정되는 것이 아님은 이 기술분야의 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.
도 2는 본 발명의 제1 실시예에 따른 움직임 추정방법을 나타내는 순서도이고, 도 3은 본 발명의 제1 실시예에 따른 움직임 추정방법을 구현하는 움직임 추정장치를 나타내는 블록도이며, 도 4는 본 발명의 제1 실시예에 따른 움직임 추정방법에서 저주파 성분을 추정하기 위하여 사용되는 레퍼런스 이웃 픽셀 및 현재 영상 블록의 이웃 픽셀에 관한 예를 나타내는 도면이며, 도 5는 본 발명의 제1 실시예에 따른 움직임 추정방법에서 저주파 성분을 추정한 결과에 의한 플래그 비트 값을 결정하는 방법을 나타내는 도면이다.
도 2에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 움직임 추정방법은, 고주파 성분 추정단계(S100), 저주파 성분 추정단계(S200), 움직임 보상 단계(S300)를 포함한다. 도 2에 도시된 움직임 추정방법은, 현재 영상 블록의 고주파 및 저주파 성분을 추정하여 현재 영상 블록의 움직임을 보상하는 방법에 관한 것이다.
고주파 성분 추정단계(S100)는, 현재 영상 블록과 현재 영상 블록의 레퍼런스 후보 블록들의 픽셀값에 현재 영상 블록과 현재 영상 블록의 레퍼런스 블록들의 평균값을 뺀 값을 이용하여 유사도를 분석한다. 그런 다음, 현재 영상 블록과 고주파 성분 유사도가 가장 높은 레퍼런스 블록을 선택하고, 선택된 레퍼런스 블록의 고주파 성분을 현재 영상 블록의 고주파 성분으로 추정한다.
보다 구체적으로 설명하자면, 고주파 성분 추정단계(S100)는 레퍼런스 프레임으로부터 현재 영상 블록과의 유사도가 가장 높은 레퍼런스 블록을 가져올 때, 현재 영상 블록의 고주파 성분과 가장 유사도가 높은 블록을 가져오는 단계이다. 여기서, 고주파 성분의 유사도를 측정하기 위하여, 4×4 블록단위로 현재 영상 블록과 레퍼런스 후보 블록들의 픽셀값에 현재 영상 블록과 레퍼런스 블록의 평균값을 뺀 값들 사이의 유사도를 분석하여, 가장 유사도가 높은 레퍼런스 블록을 선택하게 된다. 여기서, 가장 유사도가 높은 레퍼런스 블록이란 MRSAD값이 최소화된 블록을 의미한다. 이를 위한 수식 [5] 및 수식 [6]은 아래와 같다.
Figure 112009053473814-pat00004
여기서, 수식 [5]의 p, q는 매크로 블록내의 4×4 블록의 가로, 세로 인덱스를 나타내고, x는 R(i,j)+(mc-mr) 부분을 의미한다. 나머지 값들은 앞서 설명한 수식 [1]부터 [3]에서와 같다. 이때, 수식 [5]에 쓰인 clip 함수는, 수식 [6]에서 쓰인 바와 같이, 잔차 신호의 크기 범위를 -255부터 255까지 제한하는 역할을 수행한다. 한편, 레퍼런스 후보 블록이란, 서치 범위(search range)안에 있는 모든 레퍼런스 후보 블록들을 의미하는 것이다. 예를 들면, -32부터 +32까지의 움직임 추정을 수행시, 움직임 벡터는 (-32, -32)부터 (+32,+32)까지의 움직임 벡터를 가질 수 있는 것이다. 이와 같이, 본 발명에서 사용되는 고주파 성분 추정단계는, 현재 영상 블록과 레퍼런스 블록의 실제 평균값을 사용하기 때문에 고주파 성분 예측의 정 확도를 높일 수 있다.
한편, 더 큰 블록의 움직임 추정을 위해서는, 계산된 4×4블록 단위의 블록간 유사도를 측정한 결과값(수식 [5])을 활용하여 추가적인 계산없이 블록간의 고주파 성분의 유사도를 측정한다. 4×4블록보다 큰 블록을 위한 고주파 성분 추정은 아래와 같은 수식 [7] 내지 수식 [12]를 이용하여 얻는다.
Figure 112009053473814-pat00005
이와 같이 더 큰 블록을 위한 블록간 고주파 성분 차이값의 계산은, 작은 블록들의 합을 통해 쉽게 얻어낼 수 있으므로 움직임 추정에서 발생되는 최대 복잡도를 감소시킬 수 있다.
저주파 성분 추정단계(S200)는, 현재 영상 블록의 인접한 이웃 픽셀들과 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 이용하여, 현재 영상 블록의 저주파 성분을 추정한다.
움직임 보상 단계(S300)는, 추정된 저주파 성분을 선택된 레퍼런스 블록에 적용하여 움직임 보상된 현재 영상 블록의 예측 블록을 생성한다. 움직임 보상 단계는, 매크로블록 내부에서의 블록의 위치와 관계없이 움직임 추정을 통해 얻어진 레퍼런스 블록의 인접한 이웃 픽셀들과 현재 영상 블록의 인접한 이웃 픽셀들의 값 사이의 변화량을 활용하여 현재 영상 블록의 저주파 성분을 보상한다. 현재 영상 블록의 평균값을 보상하기 위해 사용되는 최소 블록의 크기 단위는, 사용된 트랜스폼의 크기에 의해 결정되고, 레퍼런스 블록의 이웃 픽셀들의 조합은, 현재 영상 블록의 이웃 픽셀들의 존재 여부에 따라 결정된다.
도 3에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 움직임 추정방법을 구현하는 움직임 추정장치는, 고주파 추정부(100), 저주파 추정부(200), 움직임 보상부(300)를 포함한다. 도 3에서의 고주파 추정부(100), 저주파 추정부(200), 움직임 보상부(300)는, 도 2의 고주파 추정단계(S100), 저주파 추정단계(S200), 움직임 보상단계(S300)에 대응되는 역할을 수행한다.
도 4에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 움직임 추정방법에서 저주파 성분을 추정하기 위하여 사용되는 방법에 대하여, 8×8 트랜스폼과 4×4단위의 움직임 벡터를 가지는 경우의 레퍼런스 이웃 픽셀(R1, R2, R3) 및 현재 영상 블록의 이웃 픽셀(C)을 예로 하여 설명한다.
여기서, 현재 영상 블록의 평균과 레퍼런스 블록의 평균의 차이값을 의미하는 오프 셋 b(offset b) 값, 즉 b = mc-mR은 아래와 같은 수식 [13] 내지 수식 [15]로써 정의한다. 수식 [13]은 C(i,-1) 과 C(-1,j)이 모두 존재하는 경우이고, 수식 [14]는 오직 C(i,-1)만이 존재하는 경우이며, 수식 [15]는 오직 C(-1,j)만이 존재하는 경우를 나타낸다. C(i,-1) 과 C(-1,j)이 모두 존재하지 않을 때에는, b는 0의 값을 가진다.
Figure 112009053473814-pat00006
여기서 최종적으로 계산된 b값이 고주파 성분 추정된 레퍼런스 블록의 픽셀에 각각 더해져서 수식 [6]에서 명시한 대로 clip 함수를 거쳐 최종적으로 현재 영상 블록간의 잔차 신호를 만들어낸다. 이를 위한 수식은 다음과 같다.
Figure 112009053473814-pat00007
여기서, RES는 잔차 신호를, C와 R은 각각 현재 영상 블록과 레퍼런스 블록의 픽셀값을 각각 의미한다.
따라서, 도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 저주파 성분을 추정하는 방법은, 인접한 레퍼런스 픽셀들(R1, R2, R3)의 평균값을 활용할 수 있기 때문에, 보다 정확히 현재 영상 블록의 평균값을 추정할 수 있다. 또한, 본 발명의 실시예에 따른 저주파 성분을 추정하는 방법은, 고주파 성분과 저주파 성분의 추정이 모두 이루어지기 때문에, 고주파 성분만을 정확히 추정하고 저주파 성분의 보상이 이루어지지 않는 종래의 기술에 비해 압축 효율을 향상시킬 수 있다.
도 5에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 움직임 추정방법에서 저주파 성분을 추정한 결과에 의한 플래그 비트 값을 결정하기 위하여, 추정된 저주파 성분의 보상치가 움직임 추정단계에서 얻은 고주파 추정에 최적화된 레퍼런스 블록에 반영된다.
이때, 추정된 저주파 성분의 보상치, 즉 offset b값을 현재 영상 블록의 예측값으로서 활용하는 기준은, 고주파와 저주파 추정된 결과의 율-왜곡 값과 고주파 추정된 결과의 율-왜곡 값(R-D cost)을 비교하여 결정되고, 여기서 저주파 추정(DC-component estimation, 이하 DE라 한다.)의 사용 여부에 관한 플래그 비트가 추가된다.
이를 위하여, 우선 율 왜곡값을 계산하고(S110), 고주파와 저주파 추정된 결 과의 율-왜곡 값과 고주파 추정된 결과의 율-왜곡 값(R-D cost)을 비교한다(S120). 이때, 고주파 추정된 결과와 저주파 추정된 결과의 율 왜곡값이 고주파 추정된 결과의 율 왜곡값에 비하여 작은 경우에, 추정된 저주파 성분을 선택된 레퍼런스 블록에 적용(S130)하고, 큰 경우에는 추정된 저주파 성분을 선택된 레퍼런스 블록에 적용하지 않는다(S125).
여기서, Jused와 Jnotused는 각각 DE가 사용되었을 때와 그렇지 않을 때의 율-왜곡 값을 의미하고, DEflag는 저주파 성분 추정 결과에 의한 플래그 비트를 의미한다.
도 6은 본 발명의 실시예에 따른 움직임 추정방법이 적용된 비디오 인코더 및 비디오 디코더를 나타내는 도면이다. 한편, 도 6에 도시된 본 발명의 실시예에 따른 움직임 추정방법이 적용된 비디오 인코더 및 비디오 디코더는 움직임 추정방법을 제외한 다른 구성요소가 H.264/AVC 비디오 코딩 표준의 구조를 이용한 구조를 가진다.
도 6에 도시된 바와 같이, 본 발명에 의한 고주파와 저주파 성분의 독립적인 추정 기술이 적용된 비디오 인코더(2)는, 입력 비디오 신호(3)의 고주파 성분을 추정하기 위해 레퍼런스 버퍼(1E) 안의 레퍼런스 프레임의 블록들을 통해 고주파 성분 추정(2A)(AC-component estimation, 이하 AE로 한다.)이 수행된다. 그런 다음, 저주파 성분 추정(1A)(DE)을 거치게 되며, 이 DE의 사용여부에 관한 플래그 비트(1C)가 비트스트림에 추가된다. 그런 다음, AE와 DE에 의해 얻어진 현재 영상 블록의 예측 블록이 DE의 사용여부에 따라 움직임 보상(1B) 과정에서 만들어진다. 마 지막으로, 잔차신호가 트랜스폼/스캐일링/양자화(2D) 과정과 엔트로피 코딩(2C)을 거쳐 인코딩 신호가 만들어진다.
본 발명에 의한 고주파와 저주파 성분의 독립적인 추정 기술이 적용된 비디오 디코더(1)는, 전송된 비트스트림에서 움직임 벡터와 레퍼런스 인덱스 데이터(2B)에 의해 얻어진 레퍼런스 블록, 즉 고주파 성분 추정된 결과와 플래그 비트(1C)를 활용하여 저주파 성분 추정 결과를 얻는다. 이렇게 만들어진 현재 영상 블록의 예측 블록이 움직임 보상(1B) 과정에서 만들어지며, 이 블록과 스캐일링/역트랜스폼(1G)을 통해 얻은 잔차 신호가 최종적으로 더해진다. 여기서, 고주파 성분 추정(AE)과 저주파 성분 추정(DE), 그리고 그것에 관련된 플래그 비트(1C)에 관한 설명은 도 2 내지 도 5의 설명과 중복되므로 이를 피하기 위하여 생략하기로 한다.
코더 컨트롤(2G)은 양자화계수나 움직임 추정시 양방향 추정 데이터 등을 전송하고, 컨트롤 데이터(2F)는 코더 컨트롤에 적용된 데이터를 전송하는 신호이다. 디블록킹 필터(1F)는 블록간의 아티팩터(artifact)를 제거하는 필터이고, 인트라 프레임 예측(1D)은 인트라 프레임에서 사용되는 예측 방법을 의미한다. 또한, 인트라/인터(1H)는 인트라 혹은 인터에서 생성된 예측블록을 선택하는 것이고, 움직임 벡터&레퍼런스 인덱스 데이터(2B)는 움직임 추정에서 얻어진 움직임 벡터와 레퍼런스 프레임의 인덱스를 전송하는 것을 의미한다.
이하, 도 6에 도시된 본 발명에 따른 움직임 추정방법이 적용된 비디오 인코더 및 비디오 디코더의 구조에 관하여 도 7 내지 도 11을 참조하여 설명하기로 한다.
도 7은 본 발명의 제2 실시예에 따른 움직임 추정방법이 적용된 비디오 인코더의 구조를 나타내는 도면이고, 도 8은 도 7의 동작 순서를 나타내는 순서도이다.
도 7에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 움직임 추정방법이 적용된 비디오 인코더는, 고주파 추정부(110), 저주파 추정부(120), 움직임 보상부(130), 변환부(140), 엔트로피 부호화부(150)를 포함한다. 도 7에 도시된 고주파 추정부(110), 저주파 추정부(120), 움직임 보상부(130)는 도 2 및 도 3의 고주파 추정부, 저주파 추정부, 움직임 보상부에 관한 설명과 중복을 피하기 위하여 생략하기로 한다.
변환부(140)는, 우선 감산부(135)에 의하여 현재 영상블록으로부터 움직임 보상된 예측 블록을 감산하여 잔차 블록을 생성하고, 생성된 잔차 블록의 정보들을 주파수 영역의 정보들로 주파수 변환한 후, 양자화한다.
엔트로피 부호화부(150)는, 양자화된 잔차 블록의 정보들 및 현재 영상 블록의 움직임을 재생하기 위한 재생정보를 부호화한다. 여기서, 현재 영상 블록의 움직임을 재생하기 위한 재생정보는, 고주파 추정부(110)에 의하여 추정된 고주파 성분 및 레퍼런스 인덱스 데이터와, 저주파 추정부(120)에 의하여 추정된 저주파 성분 추정 결과에 의한 플래그 비트(flag bit)를 포함한다.
한편, 움직임 보상부(130)는, 고주파 추정부(110)와 저주파 추정부(120)에서 추정된 결과의 율 왜곡값(R-D cost)이 고주파 추정부(110)에서 추정된 고주파 성분의 추정된 결과의 율 왜곡값에 비하여 작은 경우에, 추정된 저주파 성분을 선택된 레퍼런스 블록에 적용한다. 이때, 율-왜곡값은 비디오 코팅 표준에 사용되는 R-D 코스트(Rate-Distortion cost)를 의미하는 것으로서, Rate는 실제 해당 모드와 잔차 신호 등을 통틀어 발생하는 비트량을 의미하고, Distortion은 복원된 블록과 오리지널 블록의 SSD(Sum of Squared Differences)를 의미한다. 이때, 율 왜곡값을 얻는 방법은, 아래의 수식 [17]과 같다.
수식 [17]
R-D cost = D + (λ x R)
여기서, λ는 라그랑지안 계수(lagrangian multiplier)로서 양자화 계수에 의해 결정되는 값을 의미한다.
도 8에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 움직임 추정방법이 적용된 부호화 방법은, 현재 영상 블록과 현재 영상 블록의 레퍼런스 후보 블록들의 픽셀값에 현재 영상 블록과 현재 영상 블록의 레퍼런스 블록들의 평균값을 뺀 값을 이용하여, 현재 영상 블록과 고주파 성분 유사도가 가장 높은 레퍼런스 블록을 선택하고, 선택된 레퍼런스 블록의 고주파 성분을 현재 영상 블록의 고주파 성분으로 추정하는 고주파 성분 추정단계(S100'), 현재 영상 블록의 인접한 이웃 픽셀들과 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 이용하여, 현재 영상 블록의 저주파 성분을 추정하는 저주파 성분 추정단계(S200'), 추정된 저주파 성분을 상기 선택된 레퍼런스 블록에 적용하여 움직임 보상된 현재 영상 블록의 예측 블록을 생성하는 예측 블록 생성단계(S300'), 현재 영상블록으로부터 움직임 보상된 예측 블록을 감산하여 잔차 블록을 생성하고, 잔차 블록의 정보들을 주파수 영역의 정보들로 주파수 변환한 후, 양자화하는 주파수 변환 및 양자화 단계(S400'), 양자화된 잔차 블록의 정보들 및 현재 영상 블록의 움직임을 재생하기 위한 재생정보를 부호화하는 부호화단계(S500')를 포함한다.
도 9는 본 발명의 제3 실시예에 따른 움직임 추정방법이 적용된 비디오 디코더의 구조를 나타내는 도면이고, 도 10은 도 7의 동작 순서를 나타내는 순서도이며, 도 11은 도 7의 비디오 디코더에서의 저주파 성분을 추정하는 방법의 예를 나타내는 도면이다.
도 9에 도시된 바와 같이, 본 발명의 제3 실시예에 따른 움직임 추정방법이 적용된 비디오 디코더는, 엔트로피 복호화부(210), 고주파 추정부(220), 저주파 추정부(230), 움직임 보상부(240), 역변환부(250), 복원부(255)를 포함한다.
엔트로피 복호화부(210)는, 부호화된 비트스트림으로부터 잔차 블록, 현재 영상 블록의 고주파 성분 및 레퍼런스 인덱스 데이터, 플래그 비트를 엔트로피 복호화한다.
고주파 추정부(220)는, 복호화된 현재 영상 블록의 고주파 성분 및 레퍼런스 인덱스 데이터를 이용하여 현재 영상 블록의 고주파 성분으로 추정된 결과값을 획득한다.
저주파 추정부(230)는, 복호화된 플래그 비트를 이용하여, 현재 영상 블록의 저주파 성분으로 추정된 결과값을 획득한다.
움직임 보상부(240)는, 저주파 성분으로 추정된 결과값을 고주파 성분으로 추정된 결과값에 적용하여 움직임 보상된 현재 영상 블록의 예측블록을 생성한다. 또한, 움직임 보상부(240)는, 저주파 성분으로 추정된 결과값을 고주파 성분으로 추정된 결과값에 적용한다
역변환부(250)는, 복호화된 잔차 블록을 역양자화한 후 역주파수변환시킨 정보를 복원부에 전달한다.
복원부(255)는, 현재 영상 블록의 예측블록에, 부호화된 잔차블록이 역양자화된 후 역주파수변환된 정보들을 가산하여 현재 영상 블록을 복원한다.
도 10에 도시된 바와 같이, 본 발명의 제3 실시예에 따른 움직임 추정방법이 적용된 복호화 방법은, 부호화된 비트스트림으로부터 잔차 블록, 현재 영상 블록의 고주파 성분 및 레퍼런스 인덱스 데이터, 플래그 비트를 엔트로피 복호화하는 엔트로피 복호화 단계(S100"), 복호화된 현재 영상 블록의 고주파 성분 및 레퍼런스 인덱스 데이터를 이용하여 현재 영상 블록의 고주파 성분으로 추정된 결과값을 획득하는 고주파 성분 추정 결과값 획득단계(S200"), 복호화된 플래그 비트를 이용하여, 현재 영상 블록의 저주파 성분으로 추정된 결과값을 획득하는 저주파 성분 추정 결과값 획득단계(S300"), 저주파 성분으로 추정된 결과값을 고주파 성분으로 추정된 결과값에 적용하여 움직임 보상된 현재 영상 블록의 예측블록을 생성하는 예측 블록 생성단계(S400"), 현재 영상 블록의 예측블록에, 부호화된 잔차블록이 역양자화된 후 역주파수변환된 정보들을 가산하여 현재 영상 블록을 복원하는 복원단계(S500")를 포함한다.
도 11에 도시된 바와 같이, 도 7의 비디오 디코더에서의 저주파 성분을 추정시, 우선 부호화된 비트스트림으로부터 DEflag를 분석한다(S210). 그런 다음, DEflag 의 값에 따라 고주파 추정된 레퍼런스 블록에 저주파 추정의 결과값의 사용 여부를 결정(S220)하고, 사용될 경우 인코더와 같은 방법으로 오프셋 b값을 연산하여 저주파 추정 장치를 통해 보상치를 계산한 후(S230), 레퍼런스 블록에 반영한다(S240). 이때, 사용되지 않을 경우에는, 오프 셋 b값을 불가산하게 된다. 이를 위한 절차는, 도 11에서와 같이 8×8 트랜스폼이 사용되었을 때를 그 예로 들 수 있다.
이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 종래 기술에 의한 이웃 픽셀을 선택하는 방법을 나타내는 도면.
도 2는 본 발명의 제1 실시예에 따른 움직임 추정방법을 나타내는 순서도.
도 3은 본 발명의 제1 실시예에 따른 움직임 추정방법을 구현하는 움직임 추정장치를 나타내는 블록도.
도 4는 본 발명의 제1 실시예에 따른 움직임 추정방법에서 저주파 성분을 추정하기 위하여 사용되는 레퍼런스 이웃 픽셀 및 현재 영상 블록의 이웃 픽셀에 관한 예를 나타내는 도면.
도 5는 본 발명의 제1 실시예에 따른 움직임 추정방법에서 저주파 성분을 추정한 결과에 의한 플래그 비트 값을 결정하는 방법을 나타내는 도면.
도 6은 본 발명의 실시예에 따른 움직임 추정방법이 적용된 비디오 인코더 및 비디오 디코더를 나타내는 도면.
도 7은 본 발명의 제2 실시예에 따른 움직임 추정방법이 적용된 비디오 인코더의 구조를 나타내는 도면.
도 8은 도 7의 동작 순서를 나타내는 순서도.
도 9는 본 발명의 제3 실시예에 따른 움직임 추정방법이 적용된 비디오 디코더의 구조를 나타내는 도면.
도 10은 도 7의 동작 순서를 나타내는 순서도.
도 11은 도 7의 비디오 디코더에서의 저주파 성분을 추정하는 방법의 예를 나타내는 도면.

Claims (15)

  1. 현재 영상 블록의 고주파 및 저주파 성분을 추정하여 상기 현재 영상 블록의 움직임을 보상하는 움직임 추정방법에 있어서,
    (a) 상기 현재 영상 블록과 상기 현재 영상 블록의 레퍼런스 후보 블록들의 픽셀값에 상기 현재 영상 블록과 상기 현재 영상 블록의 레퍼런스 블록들의 평균값을 뺀 값을 이용하여 유사도를 분석하여, 상기 현재 영상 블록과 고주파 성분 유사도가 가장 높은 레퍼런스 블록을 선택하고, 상기 선택된 레퍼런스 블록의 고주파 성분을 상기 현재 영상 블록의 고주파 성분으로 추정하는 단계;
    (b) 상기 현재 영상 블록의 인접한 이웃 픽셀들과 상기 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 이용하여, 상기 현재 영상 블록의 저주파 성분을 추정하는 단계; 및
    (c) 상기 추정된 저주파 성분을 상기 선택된 레퍼런스 블록에 적용하여 움직임 보상된 상기 현재 영상 블록의 예측 블록을 생성하는 단계;
    를 포함하는 움직임 추정방법.
  2. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 현재 영상 블록보다 상대적으로 큰 블록의 고주파 성분을 추정할 경우에는, 상기 현재 영상 블록에 대하여 추정된 고주파 성분을 합한 값을 이용하는,
    를 포함하는 움직임 추정방법.
  3. 제1항에 있어서,
    상기 (a) 단계 및 (b) 단계에서,
    상기 현재 영상 블록의 크기는 트랜스폼의 크기에 따라 결정되는,
    를 포함하는 움직임 추정방법.
  4. 제1항에 있어서,
    상기 (c) 단계는, 상기 현재 영상 블록의 인접한 이웃 픽셀들과 상기 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 상기 선택된 레퍼런스 블록의 픽셀값에 더해주어, 상기 현재 영상 블록의 움직임을 보상하는,
    움직임 추정방법.
  5. 제1항에 있어서,
    상기 (c) 단계는, 상기 (a) 단계와 상기 (b) 단계에서 추정된 결과의 율 왜곡값과 상기 (a) 단계에서 추정된 고주파 성분의 추정된 결과의 율 왜곡값을 비교하여, 상기 추정된 저주파 성분을 상기 선택된 레퍼런스 블록에 적용하는,
    움직임 추정방법.
  6. 현재 영상 블록의 고주파 및 저주파 성분을 추정하여 상기 현재 영상 블록의 움직임을 보상하는 움직임 추정장치에 있어서,
    상기 현재 영상 블록과 상기 현재 영상 블록의 레퍼런스 후보 블록들의 픽셀값에 상기 현재 영상 블록과 상기 현재 영상 블록의 레퍼런스 블록들의 평균값을 뺀 값을 이용하여 유사도를 분석하여, 상기 현재 영상 블록과 고주파 성분 유사도가 가장 높은 레퍼런스 블록을 선택하고, 상기 선택된 레퍼런스 블록의 고주파 성분을 상기 현재 영상 블록의 고주파 성분으로 추정하는 고주파 추정부;
    상기 현재 영상 블록의 인접한 이웃 픽셀들과 상기 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 이용하여, 상기 현재 영상 블록의 저주파 성분을 추정하는 저주파 추정부; 및
    상기 추정된 저주파 성분을 상기 선택된 레퍼런스 블록에 적용하여 움직임 보상된 상기 현재 영상 블록의 예측 블록을 생성하는 움직임 보상부;
    를 포함하는 움직임 추정장치.
  7. 비디오 인코더에 있어서,
    현재 영상 블록과 상기 현재 영상 블록의 레퍼런스 후보 블록들의 픽셀값에 상기 현재 영상 블록과 상기 현재 영상 블록의 레퍼런스 블록들의 평균값을 뺀 값을 이용하여, 상기 현재 영상 블록과 고주파 성분 유사도가 가장 높은 레퍼런스 블록을 선택하고, 상기 선택된 레퍼런스 블록의 고주파 성분을 상기 현재 영상 블록의 고주파 성분으로 추정하는 고주파 추정부;
    상기 현재 영상 블록의 인접한 이웃 픽셀들과 상기 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 이용하여, 상기 현재 영상 블록의 저주파 성분을 추정하는 저주파 추정부;
    상기 추정된 저주파 성분을 상기 선택된 레퍼런스 블록에 적용하여 움직임 보상된 상기 현재 영상 블록의 예측 블록을 생성하는 움직임 보상부;
    상기 현재 영상블록으로부터 상기 움직임 보상된 예측 블록을 감산하여 잔차 블록을 생성하고, 상기 잔차 블록의 정보들을 주파수 영역의 정보들로 주파수 변환한 후, 양자화하는 변환부; 및
    상기 양자화된 상기 잔차 블록의 정보들 및 상기 현재 영상 블록의 움직임을 재생하기 위한 재생정보를 부호화하는 엔트로피 부호화부;
    를 포함하는, 비디오 인코더.
  8. 제7항에 있어서,
    상기 움직임 보상부는, 상기 현재 영상 블록의 인접한 이웃 픽셀들과 상기 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 상기 선택된 레퍼런스 블록의 픽셀값에 더해주어, 상기 현재 영상 블록의 움직임을 보상하는,
    비디오 인코더.
  9. 제7항에 있어서,
    상기 현재 영상 블록의 움직임을 재생하기 위한 재생정보는, 상기 고주파 추정부에 의하여 추정된 고주파 성분 및 레퍼런스 인덱스 데이터를 포함하는,
    비디오 인코더.
  10. 제7항에 있어서,
    상기 현재 영상 블록의 움직임을 재생하기 위한 재생정보는, 상기 저주파 추정부에 의하여 추정된 저주파 성분 추정 결과에 의한 플래그 비트를 포함하는,
    비디오 인코더.
  11. 제7항에 있어서,
    상기 움직임 보상부는, 상기 고주파 추정부와 상기 저주파 추정부에서 추정된 결과의 율 왜곡값이 상기 고주파 추정부에서 추정된 고주파 성분의 추정된 결과의 율 왜곡값에 비하여 작은 경우에, 상기 추정된 저주파 성분을 상기 선택된 레퍼런스 블록에 적용하는,
    비디오 인코더.
  12. 부호화 방법에 있어서,
    현재 영상 블록과 상기 현재 영상 블록의 레퍼런스 후보 블록들의 픽셀값에 상기 현재 영상 블록과 상기 현재 영상 블록의 레퍼런스 블록들의 평균값을 뺀 값을 이용하여, 상기 현재 영상 블록과 고주파 성분 유사도가 가장 높은 레퍼런스 블록을 선택하고, 상기 선택된 레퍼런스 블록의 고주파 성분을 상기 현재 영상 블록의 고주파 성분으로 추정하는 제1 단계;
    상기 현재 영상 블록의 인접한 이웃 픽셀들과 상기 선택된 레퍼런스 블록의 인접한 이웃 픽셀들의 평균값을 뺀 값을 이용하여, 상기 현재 영상 블록의 저주파 성분을 추정하는 제2 단계;
    상기 추정된 저주파 성분을 상기 선택된 레퍼런스 블록에 적용하여 움직임 보상된 상기 현재 영상 블록의 예측 블록을 생성하는 제3 단계;
    상기 현재 영상블록으로부터 상기 움직임 보상된 예측 블록을 감산하여 잔차 블록을 생성하고, 상기 잔차 블록의 정보들을 주파수 영역의 정보들로 주파수 변환한 후, 양자화하는 제4 단계; 및
    상기 양자화된 상기 잔차 블록의 정보들 및 상기 현재 영상 블록의 움직임을 재생하기 위한 재생정보를 부호화하는 제5 단계;
    를 포함하는, 부호화 방법.
  13. 비디오 디코더에 있어서,
    부호화된 비트스트림으로부터 잔차 블록, 현재 영상 블록의 고주파 성분 및 레퍼런스 인덱스 데이터, 저주파 성분 추정 결과에 의한 플래그 비트를 엔트로피 복호화하는 엔트로피 복호화부;
    상기 복호화된 현재 영상 블록의 고주파 성분 및 레퍼런스 인덱스 데이터를 이용하여 상기 현재 영상 블록의 고주파 성분으로 추정된 결과값을 획득하는 고주파 추정부;
    상기 복호화된 저주파 성분 추정 결과에 의한 플래그 비트를 이용하여, 현재 영상 블록의 저주파 성분으로 추정된 결과값을 획득하는 저주파 추정부;
    상기 저주파 성분으로 추정된 결과값을 상기 고주파 성분으로 추정된 결과값에 적용하여 움직임 보상된 상기 현재 영상 블록의 예측블록을 생성하는 움직임 보상부; 및
    상기 현재 영상 블록의 예측블록에, 상기 부호화된 잔차블록이 역양자화된 후 역주파수변환된 정보들을 가산하여 상기 현재 영상 블록을 복원하는 복원부;
    를 포함하는, 비디오 디코더.
  14. 제13항에 있어서,
    상기 움직임 보상부는, 상기 저주파 성분으로 추정된 결과값을 상기 고주파 성분으로 추정된 결과값에 적용하는,
    비디오 디코더.
  15. 복호화방법에 있어서,
    부호화된 비트스트림으로부터 잔차 블록, 현재 영상 블록의 고주파 성분 및 레퍼런스 인덱스 데이터, 플래그 비트를 엔트로피 복호화하는 제1 단계;
    상기 복호화된 현재 영상 블록의 고주파 성분 및 레퍼런스 인덱스 데이터를 이용하여 상기 현재 영상 블록의 고주파 성분으로 추정된 결과값을 획득하는 제2 단계;
    상기 복호화된 플래그 비트를 이용하여, 현재 영상 블록의 저주파 성분으로 추정된 결과값을 획득하는 제3 단계;
    상기 저주파 성분으로 추정된 결과값을 상기 고주파 성분으로 추정된 결과값에 적용하여 움직임 보상된 상기 현재 영상 블록의 예측블록을 생성하는 제4 단계; 및
    상기 현재 영상 블록의 예측블록에, 상기 부호화된 잔차블록이 역양자화된 후 역주파수변환된 정보들을 가산하여 상기 현재 영상 블록을 복원하는 제5 단계
    를 포함하는, 복호화 방법.
KR1020090081322A 2009-08-31 2009-08-31 움직임 추정방법 및 움직임 추정장치, 이를 이용한 부호화 방법 및 비디오 인코더, 이를 이용한 복호화 방법 및 비디오 디코더 KR101041038B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090081322A KR101041038B1 (ko) 2009-08-31 2009-08-31 움직임 추정방법 및 움직임 추정장치, 이를 이용한 부호화 방법 및 비디오 인코더, 이를 이용한 복호화 방법 및 비디오 디코더

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090081322A KR101041038B1 (ko) 2009-08-31 2009-08-31 움직임 추정방법 및 움직임 추정장치, 이를 이용한 부호화 방법 및 비디오 인코더, 이를 이용한 복호화 방법 및 비디오 디코더

Publications (2)

Publication Number Publication Date
KR20110023430A KR20110023430A (ko) 2011-03-08
KR101041038B1 true KR101041038B1 (ko) 2011-06-14

Family

ID=43931549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090081322A KR101041038B1 (ko) 2009-08-31 2009-08-31 움직임 추정방법 및 움직임 추정장치, 이를 이용한 부호화 방법 및 비디오 인코더, 이를 이용한 복호화 방법 및 비디오 디코더

Country Status (1)

Country Link
KR (1) KR101041038B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060084483A (ko) * 2005-01-19 2006-07-24 삼성전자주식회사 동영상 코덱에서의 주파수 변환 계수 예측 방법 및 장치,이를 구비한 부호화 및 복호화 장치와 방법
KR20060098951A (ko) * 2005-03-09 2006-09-19 삼성전자주식회사 계층형 움직임 예측기 및 움직임벡터 예측방법
US20080225957A1 (en) 2003-11-25 2008-09-18 Ram Prabhakar Dynamic packet size control for MPEG-4 data partition mode

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080225957A1 (en) 2003-11-25 2008-09-18 Ram Prabhakar Dynamic packet size control for MPEG-4 data partition mode
KR20060084483A (ko) * 2005-01-19 2006-07-24 삼성전자주식회사 동영상 코덱에서의 주파수 변환 계수 예측 방법 및 장치,이를 구비한 부호화 및 복호화 장치와 방법
KR20060098951A (ko) * 2005-03-09 2006-09-19 삼성전자주식회사 계층형 움직임 예측기 및 움직임벡터 예측방법

Also Published As

Publication number Publication date
KR20110023430A (ko) 2011-03-08

Similar Documents

Publication Publication Date Title
US20200120355A1 (en) Sub-block transform coding of prediction residuals
US8249145B2 (en) Estimating sample-domain distortion in the transform domain with rounding compensation
KR101365575B1 (ko) 인터 예측 부호화, 복호화 방법 및 장치
KR101311403B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US9571851B2 (en) Inter prediction method and apparatus using adjacent pixels, and image encoding/decoding method and apparatus using same
KR101098739B1 (ko) 비디오 신호의 부호화/복호화 장치 및 방법
KR20080064355A (ko) 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20130115186A (ko) 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를 추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법
US20110150074A1 (en) Two-pass encoder
KR20090099234A (ko) 영상의 부호화, 복호화 방법 및 장치
US10432961B2 (en) Video encoding optimization of extended spaces including last stage processes
WO2011121894A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
WO2011124157A1 (zh) 一种局部亮度补偿的视频编解码方法及装置
KR20050119422A (ko) 움직임 보상에 기반한 입력 영상의 노이즈 예측 및 그장치와, 이를 사용한 노이즈 제거 및 동영상 부호화 방법,이를 수행하기 위한 프로그램이 기록된 기록 매체
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
CN101313581B (zh) 视频图像编码方法及设备
JP4494803B2 (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
KR20090090152A (ko) 영상의 부호화, 복호화 방법 및 장치
KR100856392B1 (ko) 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법
KR20090095011A (ko) 영상의 부호화, 복호화 방법 및 장치
KR101364532B1 (ko) 인접 파티션의 크기를 고려한 움직임 벡터 예측 방법,장치, 인코더, 디코더 및 복호화 방법
KR101187580B1 (ko) 조도 보상 방법 및 그 장치와 이를 이용한 동영상 부호화방법 및 그 장치
Suzuki et al. Block-based reduced resolution inter frame coding with template matching prediction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140521

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150526

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190603

Year of fee payment: 9