KR20150066636A - 레퍼런스 프레임 선택 방법 및 그 장치 - Google Patents

레퍼런스 프레임 선택 방법 및 그 장치 Download PDF

Info

Publication number
KR20150066636A
KR20150066636A KR1020130151518A KR20130151518A KR20150066636A KR 20150066636 A KR20150066636 A KR 20150066636A KR 1020130151518 A KR1020130151518 A KR 1020130151518A KR 20130151518 A KR20130151518 A KR 20130151518A KR 20150066636 A KR20150066636 A KR 20150066636A
Authority
KR
South Korea
Prior art keywords
reference frame
block
sub
motion estimation
block size
Prior art date
Application number
KR1020130151518A
Other languages
English (en)
Inventor
유성욱
김형욱
임소정
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020130151518A priority Critical patent/KR20150066636A/ko
Publication of KR20150066636A publication Critical patent/KR20150066636A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

레퍼런스 프레임 선택 방법 및 그 장치가 개시된다. 레퍼런스 프레임 선택 방법은 현재 블록의 제1 인터 모드에 대해 움직임 추정을 수행하여 제1 레퍼런스 프레임을 결정하고, 결정된 제1 레퍼런스 프레임까지 참조 대상 범위 내에서 현재 블록의 제2 인터 모드에 대해 움직임 추정을 수행하여 제2 레퍼런스 프레임을 결정할 수 있다.

Description

레퍼런스 프레임 선택 방법 및 그 장치{Reference frame selection method and apparatus}
본 발명은 움직임 추정시 인터 모드간 레퍼런스 프레임 정보를 활용하여 상대적으로 높은 상관성을 갖는 레퍼런스 프레임에서만 움직임 추정을 수행하도록 할 수 있는 레퍼런스 프레임 선택 방법 및 장치에 관한 것이다.
기술 발전으로, 비디오 성능은 나날이 발전하고 있으며, 디바이스들은 비디오 정보를 더 효율적으로 송신 및 수신하고, 보다 고화질의 비디오 정보를 효율적으로 처리하도록 발전하고 있으며, 최근에는 새로운 비디오 압축 표준으로 HEVC(high efficiency video coding)가 확정되었다.
비디오 압축 기술은 공간적 예측 및 시간적 예측을 수행하여 비디오 프레임 내에 내재된 중복을 감소시키거나 제거하고 있다. 비디오 압축 기술이 발전함에 따라 움직임 추정을 위해 더 많은 인터 모드들이 지원되고 있으며 결과적으로 연산이 더욱 복잡해지고 수행 시간 또한 기하급수적으로 증가하고 있는 실정이다.
본 발명은 움직임 추정시 인터 모드간 레퍼런스 프레임 정보를 활용하여 상대적으로 높은 상관성을 갖는 레퍼런스 프레임에서만 움직임 추정을 수행하도록 할 수 있는 레퍼런스 프레임 선택 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 움직임 추정시 인터 모드간 레퍼런스 프레임 정보를 활용하여 상대적으로 높은 상관성을 갖는 레퍼런스 프레임에서만 움직임 추정을 수행하도록 할 수 있는 레퍼런스 프레임 선택 방법이 제공된다.
본 발명의 일 실시예에 따르면, 현재 블록의 제1 인터 모드에 대해 움직임 추정을 수행하여 제1 레퍼런스 프레임을 결정하는 단계; 상기 결정된 제1 레퍼런스 프레임까지 참조 대상 범위를 설정하는 단계; 및 상기 현재 블록의 제2 인터 모드에 대해 상기 설정된 참조 대상 범위에서 움직임 추정을 수행하여 제2 레퍼런스 프레임을 결정하는 단계를 포함하는 레퍼런스 프레임 선택 방법이 제공될 수 있다.
상기 제1 및 상기 제2 인터 모드 각각에 대해 결정된 상기 제1 및 제2 레퍼런스 프레임에 대한 비트율 왜곡(RD: rate distortion)을 각각 계산하는 단계; 상기 비트율 왜곡 계산 결과 코스트가 최소인 인터 모드를 상기 현재 블록의 최적 인터 모드로 결정하는 단계; 및 상기 최적 인터 모드의 레퍼런스 프레임을 상기 현재 블록에 대한 최적 레퍼런스 프레임으로 결정하는 단계를 포함할 수 있다.
상기 제1 인터 모드는 상기 제2 인터 모드보다 블록의 크기가 더 크되,
상기 제1 인터 모드는 비디오 코딩에서 제공되는 상기 현재 블록의 처리 단위 중 가장 큰 사이즈의 블록 크기이고, 상기 제2 인터 모드는 상기 현재 블록의 크기를 세분화한 블록 크기이다.
상기 참조 대상 범위는 상기 현재 블록의 현재 프레임에 시간적으로 가장 인접한 이전 프레임부터 시간적으로 가장 멀리 떨어진 상기 제1 레퍼런스 프레임내에 포함된 모든 레퍼런스 프레임을 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 현재 블록에서 현재 서브 블록 크기에 대한 움직임 추정 수행시, 상위 서브 블록 크기가 존재하면, 상기 상위 서브 블록 크기의 움직임 추정에 따라 결정된 레퍼런스 프레임 범위까지 움직임 추정을 수행하여 레퍼런스 프레임을 결정하는 단계; 및 상기 서브 블록 크기에 대해 결정된 상기 레퍼런스 프레임에 대한 비트율 왜곡을 계산하여 코스트가 최저인 블록 크기를 상기 현재 블록의 최적 인터 모드로 결정하는 단계를 포함하는 레퍼런스 프레임 선택 방법이 제공될 수 있다.
상기 움직임 추정은 상기 현재 블록의 서브 블록 크기들 중 크기가 가장 큰 서브 블록 크기부터 크기가 작은 서브 블록 크기 순으로 순차적으로 수행될 수 있다.
상기 상위 서브 블록 크기는 상기 현재 블록의 서브 블록 크기들 중 상기 현재 서브 블록 크기보다 큰 서브 블록 크기들 중에서 상기 현재 서브 블록 크기와 차이가 가장 작은 서브 블록 크기이다.
본 발명의 다른 측면에 따르면, 움직임 추정시 인터 모드간 레퍼런스 프레임 정보를 활용하여 상대적으로 높은 상관성을 갖는 레퍼런스 프레임에서만 움직임 추정을 수행하도록 할 수 있는 장치가 제공된다.
본 발명의 일 실시예에 따르면, 현재 블록의 제1 인터 모드에 대한 움직임 추정을 수행하여 제1 레퍼런스 프레임을 결정하는 후보 결정부; 및 상기 결정된 제1 레퍼런스 프레임까지로 참조 대상 범위를 결정하는 범위 설정부를 포함하되, 상기 후보 결정부는 상기 현재 블록의 제2 인터 모드에 대해 상기 참조 대상 범위에 포함된 프레임들을 대상으로 움직임 추정을 수행하여 제2 레퍼런스 프레임을 결정하는 것을 특징으로 하는 레퍼런스 프레임 선택 장치가 제공될 수 있다.
상기 제1 및 상기 제2 인터 모드에 대해 결정된 상기 제1 및 제2 레퍼런스 프레임에 대한 비트율 왜곡을 계산하는 계산부; 및 상기 비트율 왜곡의 계산 결과 코스트가 최저인 인터 모드를 상기 현재 블록의 최적 인터 모드로 결정하는 모드 결정부를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 현재 블록에서 서브 블록 크기에 대한 움직임 추정 수행시, 상위 블록 크기가 존재하면, 상기 상위 블록 크기의 움직임 추정에 따라 결정된 레퍼런스 프레임 범위까지 움직임 추정을 수행하여 레퍼런스 프레임을 결정하는 후보 결정부; 상기 서브 블록 크기에 대해 결정된 레퍼런스 프레임 각각에 대한 비트율 왜곡을 계산하는 계산부; 및 상기 비트율 왜곡 계산 결과에 따른 코스트가 최저인 서브 블록 크기를 상기 현재 블록의 최적 인터 모드로 결정하는 모드 결정부를 포함하는 레퍼런스 프레임 선택 장치가 제공될 수 있다.
본 발명의 일 실시예에 따른 레퍼런스 프레임 선택 방법 및 그 장치를 제공함으로써, 움직임 추정시 인터 모드간 레퍼런스 프레임 정보를 활용하여 상대적으로 높은 상관성을 갖는 레퍼런스 프레임에서만 움직임 추정을 수행하도록 할 수 있다.
또한, 본 발명은 기본 인터 모드에 대해서만 모든 프레임에 대한 움직임 추정을 수행하여 최적 레퍼런스 프레임을 선택한 후 나머지 인터 모드들에 대해서는 기본 인터 모드의 움직임 추정 결과를 이용하여 다른 인터 모드에 대한 레퍼런스 프레임의 범위를 제한하여 고속으로 움직임 추정이 가능케 할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 레퍼런스 프레임을 선택하는 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 참조 대상 범위를 설명하기 위해 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 각 인터 모드별 레퍼런스 프레임 선택 방법을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 레퍼런스 프레임 선택 장치의 내부 구성을 개략적으로 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 참조 대상 범위에서 제2 인터 모드의 레퍼런스 프레임이 결정될 확률을 계산한 표.
도 6은 본 발명의 일 실시예에 따른 레퍼런스 영상에 대한 제1 인터 모드(예를 들어, P16 X16)에서 결정된 레퍼런스 프레임의 평균 인덱스를 정리한 표.
도 7은 본 발명의 일 실시예에 따른 레퍼런스 영상에 대한 움직임 추정에 따른 인터 모드별 적률율을 계산한 표.
도 8은 종래와 본 발명의 일 실시예에 따른 레퍼런스 영상에 대한 비교 결과를 나타낸 표.
도 9는 레퍼런스 영상(Coastquard)에 대해 종래와 본 발명의 일 실시예에 따른 RD 곡선을 나타낸 그래프.
도 10은 본 발명의 다른 실시예에 따른 레퍼런스 프레임 선택 방법을 나타낸 순서도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 동영상 코딩에서 현재 블록에 대한 움직임 추정시 인터 모드들간의 레퍼런스 프레임에 대한 정보를 활용하여 상관도가 높은 레퍼런스 프레임에 대해서만 움직임 추정을 수행하도록 하여 연산량을 현저하게 줄일 수 있다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 레퍼런스 프레임을 선택하는 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따른 참조 대상 범위를 설명하기 위해 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 각 인터 모드별 레퍼런스 프레임 선택 방법을 설명하기 위해 도시한 도면이다.
단계 110에서 레퍼런스 프레임 선택 장치(100)는 현재 블록의 제1 인터 모드에 대해 전체 프레임(전체 이전 프레임)을 대상으로 움직임 추정을 수행하여 움직임 추정 결과 가장 유사한 프레임을 제1 레퍼런스 프레임으로 결정한다. 여기서, 현재 블록은 매크로블록 단위일 수 있다.
동영상 코딩에서 매크로블록에 대한 움직임 추정을 수행하는 방법 자체는 이미 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.
본 발명의 일 실시예에 따르면, 제1 인터 모드는 현재 블록에 대한 처리 단위 중 가장 큰 블록 크기를 나타낸다. 예를 들어, H.264/AVC를 가정하면, 매크로블록은 16 X 16크기일 수 있다. 이때, 제1 인터 모드는 매크로블록에 대한 가장 큰 처리 단위, 즉, 16 X 16 크기의 처리 단위를 나타낸다.
다른 예를 들어, 비디오 코딩이 HEVC라고 가정하면, 타겟 블록은 64 X64가 가장 큰 크기일 수 있으며, 이때, 제1 인터 모드는 64 X 64 크기의 처리 단위를 나타낼 수 있다.
단계 115에서 레퍼런스 프레임 선택 장치(100)는 제1 인터 모드에 대해 결정된 제1 레퍼런스 프레임까지 참조 대상 범위를 설정한다. 여기서, 참조 대상 범위는 현재 블록의 현재 프레임에 시간적으로 가장 인접한 이전 프레임부터 시간적으로 가장 멀리 떨어진 제1 레퍼런스 프레임내에 포함된 모든 프레임을 참조 대상 범위로 설정할 수 있다.
예를 들어, 제1 인터 모드에 상응하여 결정된 제1 레퍼런스 프레임이 도 2에 도시된 바와 같이 Ref2 프레임라고 가정하자. 이때, 참조 대상 범위는 Ref0, Ref1 및 Ref2를 포함할 수 있다.
단계 120에서 레퍼런스 프레임 선택 장치(100)는 현재 블록에 대한 제2 인터 모드에 대해 해당 참조 대상 범위에 포함된 프레임들을 대상으로 움직임 추정을 수행하여 제2 레퍼런스 프레임을 결정한다.
여기서, 제2 인터 모드는 매크로블록을 세분화한 블록 크기로, 예를 들어, H.264/AVC인 경우, 16 X8, 8 X16, 8 X8 등일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 제2 인터 모드는 제1 인터 모드를 제외한 나머지 인터 모드를 모두 지칭하는 것으로 확장 해석되어야 할 것이다.
즉, 레퍼런스 프레임 선택 장치(100)는 제1 인터 모드에 의해 결정된 참조 대상 범위까지 나머지 인터 모드들 각각에 대해 움직임 추정을 수행하여 각각의 레퍼런스 프레임을 결정할 수 있다.
도 3을 참조하여 비디오 코딩이 H.264/AVC인 경우를 가정하여 설명하면, 도 3의 310에 도시된 바와 같이, 레퍼런스 프레임 선택 장치(100)는 현재 블록의 P16 X16 블록 크기에 대해서는 이용 가능한 전체 이전 프레임들을 대상으로 움직임 추정을 수행하여 제1 레퍼런스 프레임을 결정할 수 있다.
이어, 도 3의 315에 도시된 바와 같이, P16 X 8과 8 X 16 블록 크기에 대해 참조 대상 범위(즉, 시간적으로 가정 인접한 이전 프레임부터 제1 레퍼런스 프레임까지) 움직임 추정을 수행하여 레퍼런스 프레임을 결정할 수 있다.
그리고, 도 3의 320에 도시된 바와 같이, 8 X 8 블록 크기 각각에 대해 참조 대상 범위내의 프레임들을 대상으로 움직임 추정을 수행하여 레퍼런스 프레임을 각각 결정할 수 있다.
단계 125에서 레퍼런스 프레임 선택 장치(100)는 제1 인터 모드 및 제2 인터 모드에 대해 결정된 제1 레퍼런스 프레임 및 제2 레퍼런스 프레임에 대한 비트율 왜곡(RD: rate distortion) 계산을 수행한다.
이어, 단계 130에서 레퍼런스 프레임 선택 장치(100)는 비트율 왜곡 계산 결과 코스트가 최저인 인터 모드를 해당 현재 블록의 최적 인터 모드로 결정한다. 물론, 레퍼런스 프레임 선택 장치(100)는 최적 인터 모드에 대응하는 레퍼런스 프레임을 최적 레퍼런스 프레임으로 선택할 수 있다.
도 4는 본 발명의 일 실시예에 따른 레퍼런스 프레임 선택 장치의 내부 구성을 개략적으로 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 참조 대상 범위에서 제2 인터 모드의 레퍼런스 프레임이 결정될 확률을 계산한 표이고, 도 6은 본 발명의 일 실시예에 따른 레퍼런스 영상에 대한 제1 인터 모드(예를 들어, P16 X16)에서 결정된 레퍼런스 프레임의 평균 인덱스를 정리한 표이고, 도 7은 본 발명의 일 실시예에 따른 레퍼런스 영상에 대한 움직임 추정에 따른 인터 모드별 적률율을 계산한 표이며, 도 8은 종래와 본 발명의 일 실시예에 따른 레퍼런스 영상에 대한 비교 결과를 나타낸 표이고, 도 9는 레퍼런스 영상(Coastquard)에 대해 종래와 본 발명의 일 실시예에 따른 RD 곡선을 나타낸 그래프이다.
도 4에 도시된 레퍼런스 프레임 선택 장치(100)는 동영상 코덱의 움직임 예측(추정)부의 일 구성 요소로 포함될 수 있다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 레퍼런스 프레임 선택 장치(100)는 후보 결정부(410), 범위 선택부(415), 계산부(420) 및 모드 결정부(425)를 포함하여 구성된다.
후보 결정부(410)는 현재 블록에서 각 인터 모드에 대한 움직임 추정을 수행하여 각 인터 모드에 대한 레퍼런스 프레임을 결정하기 위한 수단이다.
본 발명의 일 실시예에 따르면, 후보 결정부(410)는 현재 블록의 제1 인터 모드에 대해 이용 가능한 전체 이전 프레임을 대상으로 움직임 추정을 수행하여 제1 레퍼런스 프레임을 결정할 수 있다.
이어, 후보 결정부(410)는 범위 선택부(415)에 의해 선택된 참조 대상 범위내에 포함된 프레임들을 대상으로 제2 인터 모드에 대한 움직임 추정을 수행하여 제2 레퍼런스 프레임을 결정할 수 있다. 여기서, 제2 인터 모드는 제1 인터 모드를 제외한 나머지 인터 모드를 모두 지칭하는 것으로, 이미 전술한 바와 같이, 제1 인터 모드는 현재 블록에 대해 처리 가능한 가장 큰 블록 크기일 수 있으며, 제2 인터 모드는 나머지 세부 블록 크기를 모두 지칭하는 것으로 이해되어야 할 것이다.
본 발명의 다른 실시예에 따르면, 현재 블록에서 처리 가능한 상위 블록 크기에 대한 움직임 추정을 수행하여 레퍼런스 프레임을 결정하고, 상기 상위 블록 크기에 대해 결정된 레퍼런스 프레임 범위까지 하위 블록 크기에 대한 움직임 추정을 수행하여 레퍼런스 프레임을 결정할 수도 있다. 즉, 현재 블록의 하위 블록 크기에 대한 움직임 추정을 위한 참조 대상 범위는 상위 블록 크기에 대해 결정된 레퍼런스 프레임까지로 제한될 수도 있다.
도 5를 참조하면, 제1 인터 모드의 레퍼런스 프레임이 Refn으로 결정되는 경우, 다른 인터 모드(즉, 제2 인터 모드들)의 레퍼런스 프레임 결정될 확률이 Refn 내에서 결정될 확률을 계산한 표이다.
예를 들어, 제1 인터 모드(즉, P16 X 16)의 레퍼런스 프레임이 Ref4로 결정되는 경우, P16 X 8의 레퍼런스 프레임이 Ref0 내지 Ref3에서 결정될 확률은 93.8%이고, Ref4에서 결정될 확률이 100%가 된다.
이에, 본 발명의 일 실시예서는 제1 인터 모드에 대해 레퍼런스 프레임을 결정한 후 제1 인터 모드에 대해 결정된 레퍼런스 프레임 범위까지 나머지 인터 모드에 대한 움직임 추정을 수행하도록 범위를 제한하여 연산량을 현저하게 줄일 수 있는 이점이 있다.
범위 선택부(415)는 제1 인터 모드에 의해 결정된 제1 레퍼런스 프레임을 이용하여 현재 블록에 시간적으로 가정 인접한 이전 프레임부터 제1 레퍼런스 프레임까지 포함된 모든 프레임을 참조 대상 범위로 설정하기 위한 수단이다.
계산부(420)는 제1 인터 모드 및 제2 인터 모드에 대해 결정된 제1 레퍼런스 프레임 및 제2 레퍼런스 프레임에 대한 비트율 왜곡을 계산하기 위한 수단이다.
본 발명의 다른 실시예에 따르면, 계산부(420)는 현재 블록의 상위 블록 크기 및 하위 블록 크기 각각에 대해 결정된 레퍼런스 프레임에 대해 비트율 왜곡을 계산할 수도 있다.
비트율 왜곡을 계산하는 방법 자체는 이미 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.
모드 결정부(425)는 계산부(420)에 의해 계산된 비트율 왜곡에 따른 코스트가 최저인 인터 모드(또는 블록 크기)를 현재 블록의 최적 인터 모드로 결정하고, 해당 최적 인터 모드에 대한 레퍼런스 프레임을 현재 블록의 최적 레퍼런스 프레임으로 결정한다.
도 6은 본 발명의 일 실시예에 따른 레퍼런스 영상에 대한 제1 인터 모드(예를 들어, P16 X16)에서 결정된 레퍼런스 프레임의 평균 인덱스를 정리한 표이고, 도 7은 본 발명의 일 실시예에 따른 레퍼런스 영상에 대한 움직임 추정에 따른 인터 모드별 적중율을 계산한 표이다.
도 6 및 도 7을 참조하면, P16 X 16에 대해 결정된 레퍼런스 프레임의 인덱스는 P16 X 8, P8 X 16 그리고 P8 X 8 모드에 대해 검사할 프레임들의 수를 결정한다. 이는 움직임 추정에 따른 비디오 코딩의 성능과 연산의 복잡도에 직접적인 영향을 미치기 때문에 매우 중요하다. 도 6에서 보여지는 바와 같이, P16 X 16 모드에 대해 결정된 레퍼런스 프레임의 인덱스는 평균 0.329 이기 때문에, 다른 inter모드(P16 X 8, P8 X 16, P8 X 8)에서 검사 대상 프레임의 수는 1.329(1+0.329)가 된다. 이로 인해, 각 인터 모드에 대한 움직임 추정을 수행할 프레임 수가 감소하여 연산이 크게 감소한 것을 알 수 잇다.
도 7에서 보여지는 바와 같이, P16 X16 모드에서는 이용 가능한 모든 이전 프레임들을 대상으로 움직임 추정을 수행하므로 100%의 적중률을 갖는다. 도 7의 최하단은 P16 X 16, P16 X 8, P8 X 16 그리고 P8 X 8 모드들 중 최소 비트율 왜곡 코스트를 최적 인터 모드의 적중률을 나타낸다. 즉, 이는 어떤 MB에서 P16 X 8 모드가 최소 비트율 왜곡 코스트를 나타내, 최적 인터 모드로 선택되었다면, 이 결과만 최적 인터 모드의 적중률로 반영한 결과이다. 그렇기 때문에 마지막 줄의 결과는 다른 수치들 보다 성능에 직접적으로 영향을 미치는 중요한 결과임을 알 수 있다. 도 7에서 보여지는 바와 같이, 최적 인터 모드의 적중률은 95.9%로 매우 높은 것을 알 수 있다.
도 8은 종래와 본 발명의 일 실시예에 따른 레퍼런스 영상에 대한 비교 결과를 나타낸 표이다. 도 8에서 보여지는 바와 같이, 본 발명의 일 실시예에 따르면 제2 인터 모드(즉, P16 X 8, P8 X 16 그리고 P8 X 8 모드)에서 최소한의 프레임을 대상으로 움직임 추정을 수행한다. 이로 인해서 평균 62.8%의 수행 시간이 감소되었다.
도 9는 레퍼런스 영상(Coastquard)에 대해 종래와 봉 발명의 일 실시예에 따른 RD 곡선을 나타낸 것으로, 본 발명이 종래에 비해 더 좋은 성능을 보이는 것을 알 수 있다.
도 10은 본 발명의 다른 실시예에 따른 레퍼런스 프레임 선택 방법을 나타낸 순서도이다.
단계 1010에서 레퍼런스 프레임 선택 장치(100)는 현재 블록의 서브 블록 크기 중 움직임 추정을 수행할 서브 블록 크기에 대한 상위 블록 크기가 존재하는지 여부를 판단한다.
여기서, 상위 블록 크기는 현재 블록의 서브 블록 크기 중 움직임 추정을 수행할 서브 블록 크기보다 블록 크기가 큰 서브 블록 크기를 나타난다. 만일 상위 블록 크기가 복수인 경우, 움직임 추정을 수행할 서브 블록 크기와 블록 크기가 가장 작은 상위 블록 크기가 그 대상일 수 있다.
예를 들어, 움직임 추정을 수행할 서브 블록 크기가 예를 들어, P16 X 8이라고 가정하자. 상위 블록 크기는 P16 X 16일 수 있다. 반면, 움직임 추정을 수행할 서브 블록 크기가 예를 들어, P8 X 8이라고 가정하자. 상위 블록 크기는 P16 X 8 또는 P8 X 16일 수 있다.
이때, 현재 서브 블록 크기의 상위 블록 크기에 대해 결정된 레퍼런스 프레임이 복수인 경우, 시간적으로 가장 인접한 레퍼런스 프레임 또는 시간적으로 가장 멀리 떨어진 레퍼런스 프레임 범위까지로 움직임 추정 범위를 제한할 수도 있다.
만일 상위 블록 크기가 존재하는 경우, 단계 1015에서 레퍼런스 프레임 선택 장치(100)는 상위 블록 크기에 대해 결정된 레퍼런스 프레임 범위까지 서브 블록 크기에 대한 움직임 추정을 수행하여 레퍼런스 프레임을 결정한다.
즉, 레퍼런스 프레임 선택 장치(100)은 현재 블록의 서브 블록 크기들 중 크기가 가장 큰 서브 블록 크기부터 크기가 작은 서브 블록 크기 순으로 순차적으로 수행할 수 있다. 이에 따라 레퍼런스 프레임 선택 장치(100)는 현재 블록의 서브 블록 크기들 중 움직임 추정을 수행할 현재 서브 블록 크기의 상위 블록 크기가 존재하면, 해당 상위 블록 크기에 대해 결정된 레퍼런스 프레임 범위까지 참조할 프레임의 범위를 제한하여 움직임 추정에 따른 연산량을 줄일 수 있는 이점이 있다.
그러나 만일 상위 블록 크기가 존재하지 않는 경우, 단계 1020에서 레퍼런스 프레임 선택 장치(100)는 현재 블록의 서브 블록 크기들에 대한 최초 움직임 추정을 수행하는 것으로 인식하여 현재 블록의 현재 프레임 이전 프레임들을 대상으로 움직임 추정을 수행하여 레퍼런스 프레임을 결정한다.
이어, 단계 1025에서 레퍼런스 프레임 선택 장치(100)는 모든 서브 블록 크기에 대해 움직임 추정이 완료되었는지 여부를 판단한다.
만일 서브 블록 크기 중 움직임 추정이 수행되지 않은 서브 블록 크기가 존재하면, 단계 1010으로 진행한다.
그러나 만일 모든 서브 블록 크기에 대한 움직임 추정이 완료되었다면, 단계 1030에서 레퍼런스 프레임 선택 장치(100)는 서브 블록 크기 각각에 대해 결정된 레퍼런스 프레임 각각에 대한 비트율 왜곡을 계산한다.
단계 1035에서 레퍼런스 프레임 선택 장치(100)는 비트율 왜곡 계산에 따른 코스트가 최저인 서브 블록 크기를 현재 블록의 최적 인터 모드로 결정하고, 결정된 최적 인터 모드에 따른 블록 크기의 레퍼런스 프레임을 해당 최적 인터 모드의 최적 레퍼런스 프레임으로 결정한다.
한편, 본 발명의 실시예에 따른 레퍼런스 프레임 선택 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
410: 후보 결정부
415: 범위 선택부
420: 계산부
425: 모드 결정부

Claims (12)

  1. 현재 블록의 제1 인터 모드에 대해 움직임 추정을 수행하여 제1 레퍼런스 프레임을 결정하는 단계;
    상기 결정된 제1 레퍼런스 프레임까지 참조 대상 범위를 설정하는 단계; 및
    상기 현재 블록의 제2 인터 모드에 대해 상기 설정된 참조 대상 범위에서 움직임 추정을 수행하여 제2 레퍼런스 프레임을 결정하는 단계를 포함하는 레퍼런스 프레임 선택 방법.

  2. 제1 항에 있어서,
    상기 제1 및 상기 제2 인터 모드 각각에 대해 결정된 상기 제1 및 제2 레퍼런스 프레임에 대한 비트율 왜곡(RD: rate distortion)을 각각 계산하는 단계;
    상기 비트율 왜곡 계산 결과 코스트가 최소인 인터 모드를 상기 현재 블록의 최적 인터 모드로 결정하는 단계; 및
    상기 최적 인터 모드의 레퍼런스 프레임을 상기 현재 블록에 대한 최적 레퍼런스 프레임으로 결정하는 단계를 포함하는 레퍼런스 프레임 선택 방법.

  3. 제1 항에 있어서,
    상기 제1 인터 모드는 상기 제2 인터 모드보다 블록의 크기가 더 큰 것을 특징으로 하는 레퍼런스 프레임 선택 방법.
  4. 제1 항에 있어서,
    상기 제1 인터 모드는 비디오 코딩에서 제공되는 상기 현재 블록의 처리 단위 중 가장 큰 사이즈의 블록 크기이고,
    상기 제2 인터 모드는 상기 현재 블록의 크기를 세분화한 블록 크기인 것을 특징으로 하는 레퍼런스 프레임 선택 방법.
  5. 제1 항에 있어서,
    상기 참조 대상 범위는 상기 현재 블록의 현재 프레임에 시간적으로 가장 인접한 이전 프레임부터 시간적으로 가장 멀리 떨어진 상기 제1 레퍼런스 프레임내에 포함된 모든 레퍼런스 프레임을 포함하는 것을 특징으로 하는 레퍼런스 프레임 선택 방법.
  6. 제1 항 내지 제5 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 기록매체 제품.
  7. 현재 블록의 제1 인터 모드에 대한 움직임 추정을 수행하여 제1 레퍼런스 프레임을 결정하는 후보 결정부; 및
    상기 결정된 제1 레퍼런스 프레임까지로 참조 대상 범위를 결정하는 범위 설정부를 포함하되,
    상기 후보 결정부는 상기 현재 블록의 제2 인터 모드에 대해 상기 참조 대상 범위에 포함된 프레임들을 대상으로 움직임 추정을 수행하여 제2 레퍼런스 프레임을 결정하는 것을 특징으로 하는 레퍼런스 프레임 선택 장치.
  8. 제7 항에 있어서,
    상기 제1 및 상기 제2 인터 모드에 대해 결정된 상기 제1 및 제2 레퍼런스 프레임에 대한 비트율 왜곡을 계산하는 계산부; 및
    상기 비트율 왜곡의 계산 결과 코스트가 최저인 인터 모드를 상기 현재 블록의 최적 인터 모드로 결정하는 모드 결정부를 포함하는 레퍼런스 프레임 선택 장치.
  9. 현재 블록에서 현재 서브 블록 크기에 대한 움직임 추정 수행시, 상위 서브 블록 크기가 존재하면, 상기 상위 서브 블록 크기의 움직임 추정에 따라 결정된 레퍼런스 프레임 범위까지 움직임 추정을 수행하여 레퍼런스 프레임을 결정하는 단계; 및
    상기 서브 블록 크기에 대해 결정된 상기 레퍼런스 프레임에 대한 비트율 왜곡을 계산하여 코스트가 최저인 블록 크기를 상기 현재 블록의 최적 인터 모드로 결정하는 단계를 포함하는 레퍼런스 프레임 선택 방법.
  10. 제9 항에 있어서,
    상기 움직임 추정은 상기 현재 블록의 서브 블록 크기들 중 크기가 가장 큰 서브 블록 크기부터 크기가 작은 서브 블록 크기 순으로 순차적으로 수행되는 것을 특징으로 하는 레퍼런스 프레임 선택 방법.
  11. 제9 항에 있어서,
    상기 상위 서브 블록 크기는 상기 현재 블록의 서브 블록 크기들 중 상기 현재 서브 블록 크기보다 큰 서브 블록 크기들 중에서 상기 현재 서브 블록 크기와 차이가 가장 작은 서브 블록 크기인 것을 특징으로 하는 레퍼런스 프레임 선택 방법.
  12. 현재 블록에서 서브 블록 크기에 대한 움직임 추정 수행시, 상위 블록 크기가 존재하면, 상기 상위 블록 크기의 움직임 추정에 따라 결정된 레퍼런스 프레임 범위까지 움직임 추정을 수행하여 레퍼런스 프레임을 결정하는 후보 결정부;
    상기 서브 블록 크기에 대해 결정된 레퍼런스 프레임 각각에 대한 비트율 왜곡을 계산하는 계산부; 및
    상기 비트율 왜곡 계산 결과에 따른 코스트가 최저인 서브 블록 크기를 상기 현재 블록의 최적 인터 모드로 결정하는 모드 결정부를 포함하는 레퍼런스 프레임 선택 장치.
KR1020130151518A 2013-12-06 2013-12-06 레퍼런스 프레임 선택 방법 및 그 장치 KR20150066636A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130151518A KR20150066636A (ko) 2013-12-06 2013-12-06 레퍼런스 프레임 선택 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130151518A KR20150066636A (ko) 2013-12-06 2013-12-06 레퍼런스 프레임 선택 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20150066636A true KR20150066636A (ko) 2015-06-17

Family

ID=53514887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130151518A KR20150066636A (ko) 2013-12-06 2013-12-06 레퍼런스 프레임 선택 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20150066636A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018066791A1 (ko) * 2016-10-05 2018-04-12 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018066791A1 (ko) * 2016-10-05 2018-04-12 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US10742971B2 (en) 2016-10-05 2020-08-11 Lg Electronics Inc. Inter prediction method and device that performs prediction by applying weights to motion information of a current block

Similar Documents

Publication Publication Date Title
KR101208863B1 (ko) 비디오 데이터의 인코딩을 위한 인코딩 유형 및 예측 모드 선택
US8229233B2 (en) Method and apparatus for estimating and compensating spatiotemporal motion of image
JP2007202150A (ja) 可変ブロックサイズ動き予測のための符号化モードの決定方法及び装置
US20110013695A1 (en) Moving image encoding apparatus and moving image encoding method
JP6605581B2 (ja) ビデオ符号化のための適応検索ウィンドウの配置
CN108989799B (zh) 一种编码单元参考帧的选择方法、装置及电子设备
JP2007189276A (ja) 画像圧縮装置及び画像圧縮プログラム
KR20190013908A (ko) 인터 프레임 예측 코딩 방법 및 장치
JP2024508193A (ja) 復号方法、符号化方法、装置、デバイスおよび記憶媒体
CN111901590B (zh) 一种用于帧间预测的细化运动矢量存储方法及装置
KR20150066636A (ko) 레퍼런스 프레임 선택 방법 및 그 장치
JP2006020217A (ja) 画像符号化装置
CN113747166B (zh) 一种编解码方法、装置及其设备
CN114666579A (zh) 视频编码方法、装置、电子设备及存储介质
JP2007174202A (ja) 動きベクトル検出装置およびその方法
KR101624422B1 (ko) 레퍼런스 프레임과 인터-모드 선택 방법 및 그 장치
CN112073734B (zh) 一种编解码方法、装置及其设备
JP5649539B2 (ja) 動画像符号化装置及びそのプログラム
KR102232047B1 (ko) Hevc 화면 내 예측 모드 결정 장치 및 방법
CN113709486B (zh) 一种编解码方法、装置及其设备
JP5286573B2 (ja) 動きベクトル検出装置、動きベクトル検出方法およびプログラム
KR101223754B1 (ko) 움직임 추정 장치 및 방법
CN105306953A (zh) 图像编码方法和装置
CN113852811A (zh) 基于cu相关性的帧间预测快速方法、系统及存储介质
KR101600714B1 (ko) 고속 인트라 모드 결정 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application