KR20150124127A - 동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법 및 블록의 분할 정보를 이용한 동영상 부호화 방법 - Google Patents

동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법 및 블록의 분할 정보를 이용한 동영상 부호화 방법 Download PDF

Info

Publication number
KR20150124127A
KR20150124127A KR1020140050542A KR20140050542A KR20150124127A KR 20150124127 A KR20150124127 A KR 20150124127A KR 1020140050542 A KR1020140050542 A KR 1020140050542A KR 20140050542 A KR20140050542 A KR 20140050542A KR 20150124127 A KR20150124127 A KR 20150124127A
Authority
KR
South Korea
Prior art keywords
block
bit rate
information
encoding
previous frame
Prior art date
Application number
KR1020140050542A
Other languages
English (en)
Inventor
강제원
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020140050542A priority Critical patent/KR20150124127A/ko
Publication of KR20150124127A publication Critical patent/KR20150124127A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

블록의 분할 정보를 이용한 동영상 부호화 방법은 부호장치가 이전 프레임에 대한 부호화를 수행하는 단계, 상기 부호장치가 상기 이전 프레임 또는 현재 프레임에서 이미 부호화가 완료된 참조 블록 중 적어도 하나의 분할 구조 정보를 이용하여 상기 현재 프레임의 타겟 블록에 대한 비트율을 추정하는 단계 및 상기 부호장치가 상기 타겟 블록에 대한 비트율을 이용하여 상기 타겟 블록에 대한 부호화를 수행하는 단계를 포함한다.

Description

동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법 및 블록의 분할 정보를 이용한 동영상 부호화 방법{BIT RATE ESTIMATION METHOD USING PARTITIONING INFORMATION OF BLOCK IN VIDEO ENCODING AND VIDEO ENCODING METHOD USING PARTITIONING INFORMATION OF BLOCK}
이하 설명하는 기술은 동영상 부호화에서 블록에 대한 비트율을 추정하는 방법 및 동영상 부호화 방법에 관한 것이다.
최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.
H.264, HEVC 등의 동영상 표준은 높은 압축 효율과 높은 화질을 동시에 얻기 위하여 블록 단위로 부호화를 수행하는 방법은 제안한다.
한국공개특허 제10-2012-0084923호 한국공개특허 제10-2012-0071455호
이하 설명하는 기술은 블록 단위로 부호화를 수행하는 동영상 부호화에서 부호화 대상인 타겟 블록에 대한 시간 또는 공간상으로 주변에 위치한 블록의 분할 구조를 활용하여 비트율을 추정하는 기법을 제공하고자 한다. 나아가 이하 설명하는 기술은 추정한 비트율을 기반으로 타겟 블록에 대한 비트율 제어, 비트율 왜곡 최적화 등을 수행하는 기법을 제공하고자 한다.
이하 설명하는 기술의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법은 참조 블록에 대한 부호화를 수행하는 단계 및 참조 블록에 대한 분할 구조 정보를 이용하여 참조 블록과 연관된 타겟 블록에 대한 비트율을 추정하는 단계를 포함한다.
참조 블록은 타겟 블록이 속한 프레임의 이전 프레임에서 타겟 블록과 동일한 위치에 있는 블록, 이전 프레임에서 타겟 블록과 동일한 위치의 블록에 인접한 블록 중 어느 하나 또는 현재 프레임에서 타겟 블록에 인접한 블록 중 어느 하나 중 적어도 하나일 수 있다.
이전 프레임은 비트율을 추정하는 장치의 버퍼에 저장되며, 이전 프레임은 시간적으로 현재 프레임의 부호화 전에 위치한 프레임 중 적어도 하나에 해당한다.
분할 구조 정보는 확률 정보로서 참조 블록의 부호화에 사용했던 블록의 크기 정보 및 분할 구조 정보를 포함한다.
블록의 분할 정보를 이용한 동영상 부호화 방법은 부호장치가 이전 프레임에 대한 부호화를 수행하는 단계, 부호장치가 이전 프레임 또는 현재 프레임에서 이미 부호화가 완료된 참조 블록 중 적어도 하나의 분할 구조 정보를 이용하여 현재 프레임의 타겟 블록에 대한 비트율을 추정하는 단계 및 부호장치가 타겟 블록에 대한 비트율을 이용하여 타겟 블록에 대한 부호화를 수행하는 단계를 포함한다.
부호화를 수행하는 단계에서 부호장치가 타겟 블록에 대하여 D + (λ × R)으로 연산되는 비용을 최소화하는 비트율 왜곡 최적화를 수행하는데, 여기서 곱셈 상수인 λ는 분할 구조 정보에 따라 변경될 수 있다.
부호화를 수행하는 단계에서 부호장치가 타겟 블록에 대하여 추정한 비트율을 이용하여 비트율 제어를 수행할 수 있다.
부호화를 수행하는 단계에서 부호장치가 추정한 비트율을 이용하여 고속 움직임 추정 알고리즘을 수행할 수 있다.
이하 설명하는 기술은 타겟 블록에 대한 비트율을 시간 또는 공간상으로 주변에 위치한 블록의 분할 구조를 활용하여 빠르게 획득하여 대용량의 영상 데이터 부호화에 효과적이다.
따라서 이하 설명하는 기술은 동영상 부호화 과정이 필요한 TV, IPTV, 인터넷 방송, VOD 서비스, 동영상 스트리밍 서비스 등을 빠르고 효과적으로 제공하게 한다.
이하 설명하는 기술의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 다양한 구조의 블록 단위로 부호화되는 동영상의 예이다.
도 2는 비트율 추정을 위한 참조 블록에 대한 예이다.
도 3은 블록의 분할 정보를 이용한 동영상 부호화 방법에 대한 순서도의 예이다.
도 4는 동영상 부호기에 대한 구조를 도시한 블록도의 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이며, 이러한 이유로 이하 설명하는 기술의 블록의 분할 정보를 이용한 동영상 부호화 방법(500)에 따른 구성부들의 구성은 이하 설명하는 기술의 목적을 달성할 수 있는 한도 내에서 대응하는 도면과는 상이해질 수 있음을 명확히 밝혀둔다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하에서는 도면을 참조하면서 동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법 및 블록의 분할 정보를 이용한 동영상 부호화 방법(100, 200)에 관하여 구체적으로 설명하겠다. 동영상 부호화에 대한 일반적인 내용은 간략하게 설명하거나 생략한다.
동영상 압축 표준은 동영상 프레임을 N x M (N,M = 4, 8, 16, 32, 64 등)의 다양한 블록 크기로 구역을 나누고 각각의 블록에 대하여 예측-변환-양자화를 통해 압축을 수행한다. 동영상 압축 표준에 따라 사용하는 블록의 개수 및 크기 등은 다양하다. 이때 압축 성능을 증대하기 위하여 부호기에서 수행하는 비트율-왜곡 최적화 또는 비트율-제어 알고리즘은 기존의 Laplacian pdf에서 유도한 파라메터를 이용하여 수행한다.
동영상 압축 표준이 더 진보함에 따라 블록 구조 (N x M) 은 더욱 정교한 형태를 이용하게 되고 이에 따라 기존의 모델을 이용하여 비트율을 예측하는 것은 더욱 어렵게 되었다.
이하 설명하는 기술은 이미 부호화가 완료된 주변 블록의 분할 정보에 대한 확률 모델을 이용하여 특정 블록에 대한 파라미터로 사용하는 것이 특징이다. 주변 블록은 부호화 대상인 타겟 블록에서 공간적으로 또한 시간적으로 주변에 위치한 블록을 의미한다. 타겟 블록은 부호화 대상인 블록을 의미한다. 타겟 블록은 주변 블록의 분할 구조 정보를 이용하여 비트율을 예측하여 부호화 과정에 사용한다. 이를 통해 보다 정확한 확률 파라미터를 획득할 수 있고, 부호기의 성능을 향상시킬 수 있다. 타겟 블록의 주변에 위치한 블록을 참조 블록이라고 명명한다.
도 1은 다양한 구조의 블록 단위로 부호화되는 동영상의 예이다. HEVC를 예로 들면 도 1에 도시된 예에서 가장 큰 사각형 블록은 CTU(Coding tree unit)에 해당하고, CTU는 하나 이상의 CU(Coding unit)으로 분할될 수 있고, 각 CU는 TU(Transform unit)으로 분할될 수 있다. CTU는 종래 다른 표준에서 마크로 블록(macro block)에 해당하는 것이다. HEVC(High Efficiency Video Coding) 경우 트랜스폼 유닛(transform unit)이 고정된 크기를 갖지 않고, 4 × 4, 8 × 8 , 16 × 16 또는 32 × 32의 크기(픽셀 단위)를 갖는다. HEVC의 CU는 CTU를 쿼드트리 구조로 분할 영역을 나누며 TU는 CU를 쿼드트리 구조로 분할 영역을 트랜스폼한다.
부호화는 분할한 블록 단위로 수행된다. 큰 크기를 갖는 블록 경우 복잡한 배경 내지 객체가 위치하지 않는 경우이고 중복성이 크기 때문에 비교적 단순하게 부호화가 가능하고, 작은 크기를 갖는 블록 경우 복잡한 배경 내기 객체가 위치하여 보다 정교한 부호화가 요구된다. 결국 블록의 크기 내지 분할 정보는 부호화 과정과 일정한 상관관계를 갖는다. 타겟 블록은 시간적으로 또는 공간적으로 인접한 블록인 참조 블록과 유사 내지 동일한 블록 구조를 가질 확률이 높다. 이하 설명하는 기술은 이와 같은 가정하에서 타겟 블록의 부호화 과정에 참조 블록의 분할 구조 정보(블록 크기의 확률 정보)를 활용하고자 하는 것이다.
이하 설명하는 기술은 사실 블록 단위로 부호화를 수행하는 다양한 동영상 표준에 적용할 수 있다. 예컨대, H.264, HEVC, H.263, MPEG2, MPEG4, VP8 또는 VP9 등과 같은 영상 표준에 적용할 수 있다.
도 2는 비트율 추정을 위한 참조 블록에 대한 예이다. 도 2에서 타겟 블록(T)은 현재 프레임이 위치한다. 도 2에서 직선이나 사선으로 표시한 블록은 이미 부호화가 완료된 블록을 의미한다.
도 2(a)는 현재 프레임의 이전 프레임에 위치한 참조 블록을 도시한 예이다. 즉, 도 2(a)는 시간적으로 타겟 블록의 주변에 위치한 참조 블록의 예이다. 도 2(a)를 살펴보면 참조 블록은 현재 프레임에서 타겟 블록(T)과 동일한 위치에 있는 블록(A), A블록에서 공간적으로 주변에 위치한 블록(B) 또는 이전 프레임에 있는 전체 블록 중 적어도 하나의 블록일 수 있다. 한편 이전 프레임에서 참조 블록을 선택하는 경우 타겟 블록의 움직임 벡터를 이용하여 현재 프레임의 타겟 블록에 대응되는 참조 블록을 결정할 수 있다.
타겟 블록의 부호화를 위한 이전 프레임은 부호기의 복호화 프레임 버퍼에 저장이 되며 복수이다. 이전 프레임의 선택은 복호화 프레임 버퍼 내 어떠한 프레임도 가능하며 이전 프레임의 선택이 완료되면 도 2(a)와 같이 해당 프레임에 위치한 시간적 주변 블록을 선택한다.
도 2(b)는 현재 프레임에 위치한 참조 블록을 도시한 예이다. 도 2(b)를 살펴보면, 참조 블록은 타겟 블록(T)에 직접 인접한 주변 블록이다.
도 2(c)는 이전 프레임에서 타겟 블록(T)과 동일한 위치에 있는 블록(A)와 현재 프레임에서 타겟 블록(T)에 인접한 블록을 참조 블록으로 이용한 예이다.
도 3은 블록의 분할 정보를 이용한 동영상 부호화 방법에 대한 순서도의 예이다.
도 3(a)를 살펴보면, 블록의 분할 정보를 이용한 동영상 부호화 방법(100)은
부호장치가 이전 프레임에 대한 부호화를 수행하는 단계(110), 부호장치가 이전 프레임 이미 부호화가 완료된 참조 블록 중 적어도 하나의 분할 구조 정보를 이용하여 현재 프레임의 타겟 블록에 대한 비트율을 추정하는 단계(120) 및 부호장치가 타겟 블록에 대한 비트율을 이용하여 타겟 블록에 대한 부호화를 수행하는 단계(130)를 포함한다. 도 3(a)는 이전 프레임에 위치한 참조 블록을 사용한 예이다.
도 3(b)를 살펴보면, 블록의 분할 정보를 이용한 동영상 부호화 방법(200)은 부호장치가 이전 프레임에 대한 부호화를 수행하는 단계(210), 부호장치가 현재 프레임 중 일부 블록에 대한 부호화를 수행하는 단계(220), 부호장치가 이전 프레임 또는/및 현재 프레임에서 이미 부호화가 완료된 참조 블록 중 적어도 하나의 분할 구조 정보를 이용하여 현재 프레임의 타겟 블록에 대한 비트율을 추정하는 단계(230) 및 부호장치가 타겟 블록에 대한 비트율을 이용하여 타겟 블록에 대한 부호화를 수행하는 단계(240)를 포함한다. 도 3(b)는 현재 프레임에 위치한 참조 블록을 사용하거나, 현재 프레임 및 이전 프레임에 위치한 참조 블록을 사용한 예이다.
한편 이전 프레임에 대한 부호화(110, 210) 및 현재 프레임 중 일부 블록에 대한 부호화(220)도 타겟 블록에 대해 이미 부호화가 완료된 참조 블록이 있다면, 참조 블록의 분할 구조 정보를 이용하여 수행될 수 있다.
전술한 바와 같이, 참조 블록은 타겟 블록이 속한 프레임의 이전 프레임에서 타겟 블록과 동일한 위치에 있는 블록, 이전 프레임에서 타겟 블록과 동일한 위치의 블록에 인접한 블록 중 어느 하나 또는 현재 프레임에서 타겟 블록에 인접한 블록 중 어느 하나 중 적어도 하나일 수 있다.
분할 구조 정보는 확률 정보로서 참조 블록의 부호화에 사용했던 블록의 크기 정보 및 분할 구조 정보를 포함한다.
블록 크기의 확률 정보(P(i|(zj))는 이전 부호화에서 사용하였던 참조 블록의 크기 정보 및 분할 구조를 취합하여 연산한다. 수식에서 i (i=0..N) 는 블록 크기를 표현하는 지수이고 zj는 복수의 참조 블록 중 j 번째 참조 블록에 대한 변환 계수이다.
추정하는 단계(120, 230)에서 비트율(R)은 α는 확률 모델 파라미터 벡터이고, κ는 가중치 벡터이고, q는 양자화 단계 크기에 대한 함수(R(α, κ, q))로 결정된다. 여기서 α 및 κ는 참조 블록의 블록 크기 정보 및 참조 블록의 파라미터를 통해 결정될 수 있다.
예컨대, α 및 κ는 각각 아래의 수학식 1 및 수학식 2로 연산될 수 있다.
Figure pat00001
Figure pat00002
여기서, N은 참조 블록의 개수, i는 블록 크기 지수, j는 참조 블록에 대한 서수, zj는 참조 블록 j의 샘플 변환 계수, P(i|zj)는 참조 블록 j의 확률 정보, θold는 참조 블록의 트랜스폼 유닛들에 대한 파라미터 {α, κ}의 세트이다.
한편 동영상의 부호화에서 상기 추정한 비트율을 사용하거나 영향을 미치는 과정들이 있다.
(1) 먼저 비트율-왜곡 최적화 과정이다. 비트율-왜곡 최적화는 COST = D + λ x R로 연산되는 비용(COST)를 최소화하는 방향으로 수행된다. 현재 블록을 부호화하기 위한 제반 파라메터 또는 블록 구조는 비용(COST)를 최소화 하는 방향으로 비트율-왜곡 최적화를 수행한다. 이때 D는 왜곡, R은 비트율, λ은 곱셈 상수로 Laplacian pdf로 유도한다. 일반적으로 양자화 상수와 픽쳐 타입 (I, P, B 픽쳐)으로 결정한다.
이 과정에서 추정하는 단계(120, 230)에서 추정한 비트율(R)을 사용할 수 있다. 나아가 종래 비트율-왜곡 최적화에 사용하는 곱셈 상수 λ 는 기존에 픽쳐의 타입과 양자화 계수에 따라 고정되었다. 그러나 명세서에서 설명하는 기술은 λ가 참조 블록의 유닛 크기 및 분할 구조에 따라 적응적으로 변할 수 있다.
다만 지나친 가변 값은 주관적 화질에 영향을 주므로 이전 프레임에서 사용한 곱셈상수를 사용하여 점진적으로 값을 적용한다. 일례로 새로운 곱셈 상수 λ를 아래의 수학식 3과 같이 유도할 수 있다.
Figure pat00003
여기서 λold는 이전 곱셈 상수, w는 상수로 λold 에 대한 가중치, α는 확률 모델 파라미터 벡터, κ는 가중치 벡터, q는 양자화 단계 크기이다. α 및 κ는 전술한 수학식 1 및 수학식 2에 따라 연산될 수 있다.
(2) 또한 추정한 비트율은 비트율 제어에 사용될 수 있다. 동영상 화질이 균일하지 않을 경우 깜박임 등 시각적으로 바람직하지 않은 효과를 낳을 수 있다. 비트율 제어는 되도록 균일한 화질을 제공하기 위하여 픽쳐의 복잡한 영역에는 많은 비트를, 부호화가 쉬운 영역에는 적은 비트를 할당하는 것이다. 이 과정에서 할당할 비트를 정확하게 예측하기 위한 확률 모델이 필요하다.
결국 명세서에서 설명하는 기술을 적용하면 비트율 제어에서 사용하는 타겟 블록에 대한 비트율은 타겟 블록의 크기 및 분할 구조에 따라 결정될 수 있는 것이다.
(3) 나아가 고속 움직임 추정 알고리즘 등과 같이 비트율이 관여하는 과정에도 120 또는 230 단계에서 추정한 비트율을 사용할 수 있다.
도 4는 동영상 부호기(300)에 대한 구조를 도시한 블록도의 예이다. 도 4에서 전술한 내용과 관련 없는 구성(예측 블록을 생성하는 구성 등)은 생략하였다.
도 4에서 도시하지 않았지만 블록 단위로 프레임을 분할하는 구성이 필요하다. 이 과정에서 CU 또는 TU 단위로 분할하여 부호화를 수행할 수 있을 것이다. 예컨대, 부호화 단위를 분할하기 위해서는 쿼드 트리 구조(Quad Tree Structure)와 같은 재귀적인 트리 구조를 사용할 수 있다.
현재 블록은 부호화를 위한 블록을 의미하고, 예측 블록은 이전 프레임 또는 현재 프레임에서 움직임 벡터 등을 통해 예측되는 정보를 의미한다.
계수 변환부(310)는 양자화를 위한 계수를 생성하는 구성이다. 계수 변환부(310)는 전술한 비트율-왜곡 최적화 과정에서 곱셈 상수 λ를 결정하는 구성에 해당한다. 비트율 제어부(330)도 비트를 제어하기 위한 것이므로 양자화를 위한 계수를 생성하는 구성이라고 할 수 있다.
계수 변환부(310) 및 비트율 제어부(330)는 전술한 바와 같이 일률적으로 설정되는 값이 아니고, 현재 부호화 대상인 타겟 블록에 대한 참조 블록의 블록 크기 및 분할 구조에 따라 결정되는 것이다.
양자화부(320)는 정해진 계수에 따라 양자화를 수행하는 구성이고, 엔트로피 부호화부(130)는 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 다양한 부호화 방법을 사용할 수 있다.
본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
300 : 동영상 부호기 310 : 계수 변환부
320 : 양자화부 330 : 비트율 제어부
340 : 엔트로피 부호화부

Claims (16)

  1. 참조 블록에 대한 부호화를 수행하는 단계; 및
    상기 참조 블록에 대한 분할 구조 정보를 이용하여 상기 참조 블록과 연관된 타겟 블록에 대한 비트율을 추정하는 단계를 포함하는 동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법.
  2. 제1항에 있어서,
    상기 참조 블록은 상기 타겟 블록이 속한 프레임의 이전 프레임에서 상기 타겟 블록과 동일한 위치에 있는 블록, 상기 이전 프레임에서 상기 타겟 블록과 동일한 위치의 블록에 인접한 블록 중 어느 하나 또는 상기 현재 프레임에서 상기 타겟 블록에 인접한 블록 중 어느 하나 중 적어도 하나인 동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법.
  3. 제2항에 있어서,
    상기 이전 프레임은 비트율을 추정하는 장치의 버퍼에 저장되며, 상기 이전 프레임은 시간적으로 상기 현재 프레임의 부호화 전에 위치한 프레임 중 적어도 하나인 동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법.
  4. 제1항에 있어서,
    상기 분할 구조 정보는
    확률 정보로서 상기 참조 블록의 부호화에 사용했던 블록의 크기 정보 및 분할 구조 정보를 포함하는 영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법.
  5. 제1항에 있어서,
    상기 추정하는 단계에서
    상기 비트율(R)은 α는 확률 모델 파라미터 벡터이고, κ는 가중치 벡터이고, q는 양자화 단계 크기인 R(α, κ, q)의 함수로 결정되고, 상기 α 및 상기 κ는 상기 참조 블록의 블록 크기 정보 및 상기 참조 블록의 파라미터를 통해 결정되는 영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법.
  6. 제1항에 있어서,
    상기 추정하는 단계에서
    상기 비트율(R)은 α는 확률 모델 파라미터 벡터이고, κ는 가중치 벡터이고, q는 양자화 단계 크기인 R(α, κ, q)의 함수로 결정되는 영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법.
    (
    Figure pat00004
    ,
    Figure pat00005
    , N은 참조 블록의 개수, i는 블록 크기 지수, j는 참조 블록에 대한 서수, zj는 참조 블록 j의 샘플 변환 계수, P(i|zj)는 참조 블록 j의 확률 정보, θold는 참조 블록의 트랜스폼 유닛들에 대한 파라미터 {α, κ}의 세트임)
  7. 제1항에 있어서,
    상기 동영상은 H.264, HEVC, H.263, MPEG2, MPEG4, VP8 또는 VP9 중 하나의 표준에 따른 동영상인 동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법.
  8. 부호장치가 이전 프레임에 대한 부호화를 수행하는 단계;
    상기 부호장치가 상기 이전 프레임 또는 현재 프레임에서 이미 부호화가 완료된 참조 블록 중 적어도 하나의 분할 구조 정보를 이용하여 상기 현재 프레임의 타겟 블록에 대한 비트율을 추정하는 단계; 및
    상기 부호장치가 상기 타겟 블록에 대한 비트율을 이용하여 상기 타겟 블록에 대한 부호화를 수행하는 단계를 포함하는 블록의 분할 정보를 이용한 동영상 부호화 방법.
  9. 제8항에 있어서,
    상기 참조 블록은 상기 타겟 블록이 속한 프레임의 이전 프레임에서 상기 타겟 블록과 동일한 위치에 있는 블록, 상기 이전 프레임에서 상기 타겟 블록과 동일한 위치의 블록에 인접한 블록 중 어느 하나 또는 상기 현재 프레임에서 상기 타겟 블록에 인접한 블록 중 어느 하나 중 적어도 하나인 블록의 분할 정보를 이용한 동영상 부호화 방법.
  10. 제9항에 있어서,
    상기 이전 프레임은 상기 부호장치의 버퍼에 저장되며, 상기 이전 프레임은 시간적으로 상기 현재 프레임의 부호화 전에 위치한 프레임 중 적어도 하나인 블록의 분할 정보를 이용한 동영상 부호화 방법.
  11. 제8항에 있어서,
    상기 분할 구조 정보는
    확률 정보로서 상기 참조 블록의 부호화에 사용했던 블록의 크기 정보 및 분할 구조 정보를 포함하는 블록의 분할 정보를 이용한 동영상 부호화 방법.
  12. 제8항에 있어서,
    상기 추정하는 단계에서
    상기 비트율(R)은 α는 확률 모델 파라미터 벡터이고, κ는 가중치 벡터이고, q는 양자화 단계 크기인 R(α, κ, q)의 함수로 결정되고, 상기 α 및 상기 κ는 상기 참조 블록의 블록 크기 정보 및 상기 참조 블록의 파라미터를 통해 결정되는 영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법.
  13. 제8항에 있어서,
    상기 부호화를 수행하는 단계에서
    상기 부호장치가 상기 타겟 블록에 대하여 D + (λ × R)으로 연산되는 비용을 최소화하는 비트율 왜곡 최적화를 수행하는데, 여기서 곱셈 상수인 λ는 상기 분할 구조 정보에 따라 변경되는 블록의 분할 정보를 이용한 동영상 부호화 방법.
    (여기서, D는 왜곡값, R은 상기 추정한 비트율임)
  14. 제13항에 있어서,
    상기 곱셈 상수 λ는 아래의 수식으로 연산되는 블록의 분할 정보를 이용한 동영상 부호화 방법.
    Figure pat00006

    (λold는 이전 곱셈 상수, w는 상수로 λold 에 대한 가중치, α는 확률 모델 파라미터 벡터, κ는 가중치 벡터, q는 양자화 단계 크기임)
  15. 제8항에 있어서,
    상기 부호화를 수행하는 단계에서
    상기 부호장치가 상기 타겟 블록에 대하여 상기 추정한 비트율을 이용하여 비트율 제어를 수행하는 블록의 분할 정보를 이용한 동영상 부호화 방법.
  16. 제8항에 있어서,
    상기 부호화를 수행하는 단계에서
    상기 부호장치가 상기 추정한 비트율을 이용하여 고속 움직임 추정 알고리즘을 수행하는 블록의 분할 정보를 이용한 동영상 부호화 방법.
KR1020140050542A 2014-04-28 2014-04-28 동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법 및 블록의 분할 정보를 이용한 동영상 부호화 방법 KR20150124127A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140050542A KR20150124127A (ko) 2014-04-28 2014-04-28 동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법 및 블록의 분할 정보를 이용한 동영상 부호화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140050542A KR20150124127A (ko) 2014-04-28 2014-04-28 동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법 및 블록의 분할 정보를 이용한 동영상 부호화 방법

Publications (1)

Publication Number Publication Date
KR20150124127A true KR20150124127A (ko) 2015-11-05

Family

ID=54600393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140050542A KR20150124127A (ko) 2014-04-28 2014-04-28 동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법 및 블록의 분할 정보를 이용한 동영상 부호화 방법

Country Status (1)

Country Link
KR (1) KR20150124127A (ko)

Similar Documents

Publication Publication Date Title
JP6931690B2 (ja) コンテンツをエンコードする方法及び計算装置
KR102288286B1 (ko) 인트라 예측 방법 및 그 장치
KR102032268B1 (ko) 다중 참조를 허용하는 비디오 코덱에서 모션 벡터를 예측하는 방법, 및 그 방법을 이용한 모션 벡터 부호화/복호화 장치
JP6443869B2 (ja) デジタル画像を処理するためのシステムおよび方法
KR20200125687A (ko) 디코더 측 mv 도출 및 리파인먼트를 위한 개선
CN110324623B (zh) 一种双向帧间预测方法及装置
KR20180113515A (ko) 최적화된 컴팩트 다중 패스 변환을 사용한 효율적인 변환 코딩
KR102093802B1 (ko) 디지털 이미지의 블록의 마스크 기반 처리를 위한 시스템 및 방법
KR101973571B1 (ko) 영상 변환 부호화/복호화 방법 및 장치
KR20220092477A (ko) 인트라 예측 방법 및 그 장치
CN110199522A (zh) 处理用于图像块帧内预测的参考样本
JP2017513329A (ja) 非自然ビデオデータの動き推定のための方法
KR102012906B1 (ko) 디지털 이미지의 블록을 처리하는 시스템 및 방법
KR20190128224A (ko) 파라미터화된 확률 추정 유한 상태 머신들을 이용한 이진 산술 코딩
JP6224851B2 (ja) 低複雑度符号化および背景検出のためのシステムおよび方法
KR20130053645A (ko) 적응적 루프 필터를 이용한 비디오 부호화/복호화 방법 및 장치
KR102105323B1 (ko) 객체 기반 적응적 밝기 보상 방법 및 장치
KR101718969B1 (ko) Hevc 인트라 예측의 속도 향상을 위한 블록 사이즈 후보 조기 결정 방법
US10742979B2 (en) Nonlinear local activity for adaptive quantization
KR20150124127A (ko) 동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법 및 블록의 분할 정보를 이용한 동영상 부호화 방법
US9277214B2 (en) Sub-picture hierarchical QP coding
US12015780B2 (en) Inter prediction method and apparatus, video encoder, and video decoder
KR101543200B1 (ko) 다중 참조를 허용하는 비디오 코덱에서 모션 벡터를 예측하는 방법, 및 그 방법을 이용한 모션 벡터 부호화/복호화 장치
KR20170125724A (ko) 인트라 예측 부호화 및 복호화 방법과 상기 방법을 수행하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment