KR102036565B1 - 계산-율-왜곡을 최적화하는 방법 및 장치, 그리고 이를 이용해 영상 프레임을 부호화하는 방법 및 장치 - Google Patents

계산-율-왜곡을 최적화하는 방법 및 장치, 그리고 이를 이용해 영상 프레임을 부호화하는 방법 및 장치 Download PDF

Info

Publication number
KR102036565B1
KR102036565B1 KR1020160141199A KR20160141199A KR102036565B1 KR 102036565 B1 KR102036565 B1 KR 102036565B1 KR 1020160141199 A KR1020160141199 A KR 1020160141199A KR 20160141199 A KR20160141199 A KR 20160141199A KR 102036565 B1 KR102036565 B1 KR 102036565B1
Authority
KR
South Korea
Prior art keywords
size
ctu
encoding
image quality
region
Prior art date
Application number
KR1020160141199A
Other languages
English (en)
Other versions
KR20180046217A (ko
Inventor
한기훈
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020160141199A priority Critical patent/KR102036565B1/ko
Publication of KR20180046217A publication Critical patent/KR20180046217A/ko
Application granted granted Critical
Publication of KR102036565B1 publication Critical patent/KR102036565B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 압축기가 영상 프레임을 부호화하는 방법이 제공된다. 상기 영상 압축기는, 상기 영상 프레임에 포함되는 제1 CTU(coding tree unit) 영역을, 제1 크기의 CU(coding unit)로 부호화한다. 상기 영상 압축기는, 상기 제1 크기의 CU로 부호화된 제1 CTU 영역의 제1 화질을 측정한다. 그리고 상기 영상 압축기는, 상기 제1 화질에 기초해, 상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제1 크기 보다 작은 제2 크기의 CU로 재부호화한다.

Description

계산-율-왜곡을 최적화하는 방법 및 장치, 그리고 이를 이용해 영상 프레임을 부호화하는 방법 및 장치{METHOD AND APPARATUS FOR OPTIMIZING COMPUTATION-RATE-DISTORTION, AND METHOD AND APPARATUS FOR ENCODING IMAGE FRAME BY USING THE SAME}
본 발명은 계산-율-왜곡을 최적화하는 방법 및 장치, 그리고 이를 이용해 영상 프레임을 부호화하는 방법 및 장치에 관한 것이다.
HEVC(high efficiency video codec) 표준은 ITU-T(international telecommunications union telecommunication standardization sector) VCEG(video coding experts group)과 ISO/IEC (international organization for standardization/international electrotechnical commission) MPEG(moving picture experts group)의 협력팀인 JCT-VC(joint collaborative team on video coding)에 의해 만들어졌다. HEVC 표준은 기존 압축 기술인 H.264 표준에 비해, 약 40%~60% 정도의 우수한 압축 효율을 제공한다. 또한 HEVC 표준은 4K~8K크기의 UHD(ultra high definition)급 초고해상도 영상 부호화를 지원하여, 기존 시장에서 널리 사용되던 H.264 표준을 대체할 것으로 기대된다.
HEVC는 압축 효율 향상을 위해, 다양한 부호화 모드를 도입하였다. HEVC는 율-왜곡 최적화(rate-distortion optimization) 과정을 통해, 압축 영상에 가장 적합한 부호화 모드를 결정한다.
그러나 압축 효율의 향상을 위해 도입된 다양한 부호화 모드는, 율-왜곡 최적화 과정에서 매우 많은 계산량을 요구하므로, 부호화기의 복잡도를 심화시킨다. 결국, 이는 실시간 어플리케이션에 HEVC를 도입하는 것에 대한 걸림돌이 된다.
본 발명이 해결하고자 하는 과제는, 기존의 율-왜곡 최적화 방법을 대신하는 계산-율-왜곡 최적화(computation-rate-distortion optimization) 방법 및 장치를 제공하는 것이다.
본 발명의 실시예에 따르면, 영상 압축기가 영상 프레임을 부호화하는 방법이 제공된다. 상기 영상 압축기의 부호화 방법은, 상기 영상 프레임에 포함되는 제1 CTU(coding tree unit) 영역을, 제1 크기의 CU(coding unit)로 부호화하는 단계; 상기 제1 크기의 CU로 부호화된 제1 CTU 영역의 제1 화질을 측정하는 단계; 및 상기 제1 화질에 기초해, 상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제1 크기 보다 작은 제2 크기의 CU로 재부호화하는 단계를 포함한다.
상기 영상 압축기의 부호화 방법은, 상기 영상 프레임에 할당된 기준 부호화 시간이 경과되었는지를 판단하는 단계; 상기 기준 부호화 시간이 경과되지 않은 경우에, 상기 제2 크기의 CU로 재부호화된 제1 CTU 영역의 제2 화질을 측정하는 단계; 및 상기 제2 화질에 기초해, 상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제2 크기 보다 작은 제3 크기의 CU로 재부호화하는 단계를 더 포함할 수 있다.
상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제2 크기의 CU로 재부호화하는 단계는, 상기 제1 화질이 상기 영상 프레임에 포함되는 다수의 CTU 영역의 화질들에 대한 기준 퍼센티지에 해당하는 지를 판단하는 단계; 및 상기 제1 화질이 상기 기준 퍼센티지에 해당하는 경우에, 상기 제1 크기의 CU로 부호화된 제1 CTU 영역이 적어도 1개의 유효 계수(significant coefficient)를 가지는지를 판단하는 단계를 포함할 수 있다.
상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제2 크기의 CU로 재부호화하는 단계는, 상기 제1 크기의 CU로 부호화된 제1 CTU 영역이 적어도 1개의 유효 계수를 가지는 경우에, 상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제2 크기의 CU로 재부호화하는 단계를 더 포함할 수 있다.
상기 기준 퍼센티지는 하위 10%일 수 있다.
상기 영상 압축기의 부호화 방법은, 상기 기준 부호화 시간이 경과되지 않은 경우에, 상기 제3 크기의 CU로 재부호화된 제1 CTU 영역의 제3 화질을 측정하는 단계; 및 상기 제3 화질에 기초해, 상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제3 크기 보다 작은 제4 크기의 CU로 재부호화하는 단계를 더 포함할 수 있다.
상기 제1 크기의 CU는 64x64 크기의 CU이고, 상기 제2 크기의 CU는 32x32 크기의 CU이고, 상기 제3 크기의 CU는 16x16 크기의 CU이고, 상기 제4 크기의 CU는 8x8 크기의 CU일 수 있다.
또한 본 발명의 다른 실시예에 따르면, 영상 압축기가 제공된다. 상기 영상 압축기는, 영상 프레임에 포함되는 제1 CTU 영역(coding tree unit)을 제1 크기의 CU(coding unit)로 부호화하고, 상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제1 크기의 CU로 부호화된 제1 CTU 영역의 제1 화질에 기초해 상기 제1 크기 보다 작은 제2 크기의 CU로 재부호화하고, 제1 시간 경과 정보에 기초해 상기 영상 프레임에 대한 프레임 부호화를 종료하는 부호화부; 상기 제1 화질을 측정하는 화질 측정부; 및 상기 영상 프레임을 위해 사용된 부호화 시간을 측정하고, 상기 측정된 부호화 시간이 상기 영상 프레임에 할당된 기준 부호화 시간을 초과하는 경우에 상기 제1 시간 경과 정보를 생성하는 부호화 시간 계산부를 포함한다.
본 발명의 실시예에 따르면, 부호화기에서 주어진 계산 시간 내에 최적의 부호화 모드(또는 압축 방법, 최적의 율-왜곡 방법)를 결정함으로써, 기존의 율-왜곡 최적화 방법의 프레임별 부호화 시간 편차에 의한 영상 지연 문제를 해결할 수 있다.
본 발명의 실시예에 따르면, 저화질 영역 재부호화를 통해 화질이 낮은 영역을 우선적으로 재부호화함으로써, 화질을 개선시킬 수 있다.
또한 본 발명의 실시예에 따르면, 부호화 비트율이 적게 소요되는 큰 크기의 CU(coding unit)부터 부호화 비트율이 많이 소요되는 작은 크기의 CU로의 순서로 부호화를 수행함으로써, 화질 개선 기대치가 높은 CTU(coding tree unit) 영역에 비트율을 우선적으로 할당할 수 있다.
또한 본 발명의 실시예에 따르면, 주어진 부호화 시간 내에 화질 개선이 기대되는 저화질 영역부터 우선적으로 재부호화함으로써, 전체 프레임의 계산량과 비트율 그리고 화질을 최적화할 수 있다. 이를 통해, 계산-율-왜곡 최적화 방법은 부호화 시간이 제한되는 실시간 어플리케이션을 위해 매우 유용하게 사용될 수 있다.
도 1은 HEVC 표준의 CU(coding unit), PU(prediction unit), 및 TU(transform unit) 타입을 나타내는 도면이다.
도 2는 율-왜곡 최적화 방법의 프레임별 부호화 시간을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른, 계산-율-왜곡을 최적화하는 영상 압축기를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른, 계산-율-왜곡을 최적화하는 방법을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른, 64x64 CTU(coding tree unit)를 부호화하는 순서를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른, 저화질 영역에 대한 재부호화를 통해 화질이 개선되는 경우를 나타내는 도면이다.
도 7은 변환(transform) 및 양자화(quantization) 연산 이후의 계수(coefficient) 정보를 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른, 영상 압축기를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
도 1은 HEVC 표준의 코딩 단위(CU: coding unit), 예측 단위(PU: prediction unit), 및 변환 단위(TU: transform unit) 타입을 나타내는 도면이다.
HEVC 표준은 화면(예, 영상 프레임)을 64x64 크기의 CTU(coding tree unit) 단위로 나누어 부호화한다. 각 CTU는 도 1에 예시된 바와 같이, 다양한 형태의 CU, PU, 및 TU의 조합으로 부호화 될 수 있다.
CU는 가변 크기를 가질 수 있다. 구체적으로, CU는 64x64 크기, 32x32 크기, 16x16 크기, 또는 8x8 크기를 가질 수 있다. 예를 들어, 64x64 크기의 CTU가 64x64 크기의 CU로 부호화되는 경우에는, 하나의 CTU가 그대로 하나의 CU로 부호화될 수 있다. 다른 예를 들어, 64x64 크기의 CTU가 32x32 크기의 CU로 부호화되는 경우에는, 하나의 CTU가 4개의 CU로 분할되어 부호화될 수 있다.
PU는 2N x 2N 단위(PU1a), 2N x N 단위(PU1b), N x 2N 단위(PU1c), 2N x nU 단위(PU1d), 2N x nD 단위(PU1e), nL x 2N 단위(PU1f), 또는 nR x 2N 단위(PU1g)을 가질 수 있다.
TU는 가변 크기를 가질 수 있다. 예를 들어, TU는 32x32 크기, 16x16 크기, 8x8 크기, 또는 4x4 크기를 가질 수 있다.
HEVC 부호화기(또는 압축기)의 율-왜곡 최적화 방법은, 도 1에 예시된 다양한 크기의 CU, PU, 및 TU를 조합한 다양한 부호화 모드들 중에서 율-왜곡 측면에서 가장 최적의 부호화 모드(방법)를 결정한다. 이를 통해, 압축 효율이 향상된다.
HEVC 부호화기의 율-왜곡 최적화 방법은, 다양한 부호화 방법(모드) 중 최적의 압축 효율을 제공하는 방법(모드)을 찾는다. 구체적으로, HEVC 부호화기(또는 압축기)의 율-왜곡 최적화 방법은, 각 부호화 방법의 율-왜곡값(RDCost)을 계산하고, 부호화 방법들 중 최소 값의 율-왜곡값(RDCost)을 가지는 부호화 방법을 찾을 수 있다.
각 부호화 방법의 율-왜곡값(RDCost)을 계산하는 방법은 아래의 수학식 1에 예시된 바와 같다.
Figure 112016104864475-pat00001
수학식 1에서, Distortion은 원본 영상의 화소값과 압축 후 복원되는 화소값 간의 왜곡값을 의미한다. 수학식 1에서, Rates는 해당 부호화 방법을 통해 부호화가 수행되는 경우에, 필요한 비트량을 의미한다. 수학식 1에서, λ는 라그랑주(Lagrangian) 파라미터를 의미한다.
한편, HEVC 부호화기의 율-왜곡 최적화 방법은, 율-왜곡 최적화를 통해 다수의 부호화 방법(모드) 중 최적의 부호화 방법(모드)을 결정하여 압축 효율을 향상시키지만, 압축 영상에 가장 적합한 부호화 방법(모드)을 결정하는 과정에서 매우 많은 계산량을 요구하여 부호화기의 복잡도를 심화시킨다.
도 2는 율-왜곡 최적화 방법의 프레임별 부호화 시간을 나타내는 도면이다.
구체적으로 도 2에는, 율-왜곡 최적화 방법을 통해 부호화가 수행되는 경우에, 각 영상 프레임의 부호화 시간이 예시되어 있다. 이하에서는 영상 프레임을 프레임이라 한다.
도 2에 예시된 바와 같이, 각 프레임의 부호화 시간에는 많은 편차가 존재한다. 이는 각 프레임의 화면 내 복잡도, 현재 프레임과 이전(previous) 프레임 간의 화면 차이, 급격한 장면 전환 등으로 인해, 각 프레임에서 부호화될 정보량(프레임 비트율)이 달라지기 때문이다.
비디오 감시 시스템 등과 같은 실시간 어플리케이션에서는, 지연 없이 매초 30 프레임의 영상을 부호화하여 전송하는 것이 매우 중요하다. 프레임 부호화 시간의 지연(예, R1a)은 곧 전송 지연을 유발하고, 이는 사용자가 받는 서비스의 지연을 유발한다.
상술한 바와 같이, 기존의 율-왜곡 최적화 방법은 압축 효율 측면에서 최적의 부호화 방법을 결정하지만, 이와 동시에 부호화기의 복잡도를 심화시킨다. 또한 기존의 율-왜곡 최적화 방법은 부호화 시간을 조정하는 기능을 가지고 있지 않기 때문에, 실시간 어플리케이션의 적용에 부적합하다.
실시간 어플리케이션에 HEVC의 적용을 촉진하기 위해서는, 압축 효율만을 최적화하는 율-왜곡 최적화 방법 이외에 영상 부호화(영상 압축) 시간을 최적화할 수 있는 방법이 필요하다. 즉, 계산-율-왜곡 최적화 방법(computation-rate-distortion optimization)이 필요하다.
이하에서는, 기존의 율-왜곡 최적화 방법을 대신하는 계산-율-왜곡 최적화 방법에 대하여 설명한다. 계산-율-왜곡 최적화 방법은, 부호화기에서 주어진 계산 시간 내에 율-왜곡 최적화를 수행함(최적의 압축 효율을 얻음)으로써, 기존의 율-왜곡 최적화 방법의 프레임별 부호화 시간 편차에 의한 영상 지연 문제를 해결할 수 있다.
도 3은 본 발명의 실시예에 따른, 계산-율-왜곡을 최적화하는 영상 압축기를 나타내는 도면이다.
영상 압축기(100)는 부호화 시간 계산부(110), 부호화부(120), 및 화질 측정부(130)를 포함한다.
부호화 시간 계산부(110)는 현재 프레임의 부호화 시간을 측정하고, 측정된 부호화 시간이 사전에 할당된 부호화 시간(이하 '기준 부호화 시간')을 초과하면 부호화부(120)에 이를 알려준다. 예를 들어, 부호화 시간 계산부(110)는 측정된 부호화 시간이 기준 부호화 시간을 초과하였음을 나타내는 시간 경과 정보를 부호화부(120)에 전송할 수 있다.
부호화부(120)는 현재 프레임의 전반적인 부호화를 수행한다. 부호화부(120)는 부호화 시간 계산부(110)로부터 시간 경과 정보를 수신하는 경우에, 시간 경과 정보에 해당하는 프레임의 부호화를 종료하고, 다음 프레임에 대한 부호화 수행을 착수한다.
또한 부호화부(120)는 화질 측정부(130)로부터 프레임 영역별 화질 정보를 수신하는 경우에, 프레임 내의 영역들 중 화질이 낮은 영역을 우선적으로 재부호화한다.
화질 측정부(130)는 전체 프레임(예, 현재 프레임)에 포함되는 다수의 CTU 영역 각각의 화질을 측정한다.
구체적으로 화질 측정부(130)는, 아래의 수학식 2에 예시된 바와 같이, 각 CTU 영역의 원본 영상과 각 CTU 영역의 압축 영상 간의 오차 제곱합(SSE: sum of squares error)을 계산하여, 각 CTU 영역의 화질을 측정할 수 있다.
Figure 112016104864475-pat00002
수학식 2에는 각 CTU 영역이 p x p(예, 64x64) 크기를 가지는 경우가 예시되어 있다. 수학식 2에서, (y, x)는 각 CTU 영역에 포함되는(속하는) 화소의 좌표를 나타낸다. 수학식 2에서, orig(y,x)는 원본 영상 내 화소의 값을 의미하고 recon(y,x)는 압축 후 복원된 영상(이하 '압축 후 복원 영상') 내 화소의 값을 의미한다. 여기서, 원본 영상은 압축(예, 부호화)되기 이전의 CTU 영역을 포함할 수 있고, 압축 후 복원 영상은 압축(예, 부호화)된 CTU 영역이 복원(예, 복호화)되는 경우에 복원(예, 복호화)된 CTU 영역을 포함할 수 있다.
원본 영상과 압축 후 복원 영상이 완전히 동일한 경우에, SSE 값은 0이 된다. 원본 영상과 압축 후 복원 영상 간의 왜곡이 심할수록, SSE 값은 커진다. 그러므로 화질 측정부(130)는, SSE 값이 클수록 해당 CTU 영역을 저화질 영역으로 판단할 수 있고, SSE 값이 작을수록 해당 CTU 영역을 고화질 영역으로 판단할 수 있다.
도 4는 본 발명의 실시예에 따른, 계산-율-왜곡을 최적화하는 방법을 나타내는 도면이다.
먼저, 부호화부(120)는 전체 프레임(예, 현재 프레임) 내의 CTU 영역 각각을 64x64 CU 로 부호화 한다(S100).
화질 측정부(130)는 전체 프레임(예, 현재 프레임) 내의 각 CTU 영역의 화질을 측정하고(S110), 부호화부(120)는 측정된 CTU 영역들 중 저화질 영역의 CTU 영역을 재부호화 한다(S120).
부호화 시간 계산부(110)와 부호화부(120)는 저화질의 CTU 영역을 재부호화 한 후, 해당 프레임(현재 프레임)에게 할당된 기준 부호화 시간이 경과하였는지를 판단한다(S130). 구체적으로, 부호화부(120)와 화질 측정부(130)는 해당 프레임(현재 프레임)을 위해 사용된 부호화 시간이 해당 프레임(현재 프레임)에게 할당된 기준 부호화 시간을 초과하지 않은 경우(즉, 현재 프레임을 위해 사용된 부호화 시간이 현재 프레임에게 할당된 기준 부호화 시간 보다 작은 경우)에는, 해당 프레임(현재 프레임)을 위해, 화질 측정 과정(S110)과 저화질 영역에 대한 재부호화 과정(S120)을 반복적으로 다시 수행한다.
해당 프레임(현재 프레임)에게 할당된 기준 부호화 시간이 경과(종료)된 경우(즉, 해당 프레임(현재 프레임)을 위해 사용된 부호화 시간이 해당 프레임(현재 프레임)에게 할당된 기준 부호화 시간을 초과한 경우)에는, 부호화부(120)는 해당 프레임(현재 프레임)에 대한 프레임 부호화를 종료한다.
한편, CTU 영역을 CU로 부호화하는 과정(S100 과정)에서, PU 및 TU의 크기는 기존의 율-왜곡 최적화 방법에 의해 결정될 수 있다.
한편, 해당 프레임(현재 프레임)에게 할당되는 기준 부호화 시간은, msec 단위로, 아래의 수학식 3에 예시된 바와 같이, 부호화를 위한 초당 프레임 수(FPS: frames per second)에 기초해 결정될 수 있다.
Figure 112016104864475-pat00003
한편, CTU 영역에 대한 재부호화 여부(예, S120 과정)는 아래의 제1 조건에 기초해 결정될 수 있다.
- 전체 프레임에서 해당 CTU 영역의 화질이 하위 10%에 포함
- 해당 CTU 영역이 적어도 1개의 유효 계수(significant coefficient)를 가짐
구체적으로 영상 압축기(100)는, 해당 CTU 영역의 화질이 전체 프레임(예, 현재 프레임) 내 CTU 영역들의 화질들에 대한 기준 퍼센티지(예, 하위 10%)에 해당하며 해당 CTU 영역이 적어도 하나의 유효 계수를 가지고 있는지(제1 조건)를 판단한다. 영상 압축기(100)는 제1 조건을 만족하는 CTU 영역에 대한 재부호화를 수행한다.
구체적으로, 화질 측정부(130)는 전체 프레임(예, 현재 프레임) 내 각 CTU 영역의 화질을 수학식 2를 이용하여 계산한 후, 상대적으로 큰 SSE 값을 가지는 CTU 영역(예, 하위 10%의 저화질 CTU 영역)을 선별할 수 있다. 그리고 부호화부(120)는 전체 프레임(예, 현재 프레임) 내 CTU 영역들 중 하위 10%(예, 화질 순위를 기준으로 하위 10%)에 해당하는 저화질 CTU 영역이 유효 계수를 가지고 있는지를 판단한다. 그리고 부호화부(120)는 유효 계수를 가지고 있는 저화질 CTU 영역을 재부호화 대상으로 분류하여, 해당 CTU 영역에 대한 재부호화를 수행할 수 있다.
CTU 영역이 유효 계수를 가지는 것이 제1 조건에 포함되는 이유는, CTU 영역의 움직임 추정(motion estimation)이 정확하게 수행되었는지 여부를 판단하기 위함이다.
움직임 추정 방법은 영상 부호화 시 시간적으로 연속되는 영상 간의 중복성을 제거하는 방법이며, 압축 효율에 매우 큰 영향을 미친다. 만약 해당 CTU 영역에 유효 계수가 존재하지 않은 경우에, 움직임 추정이 효율적으로 이루어졌고 SSE가 양자화 잡음 이하로 떨어졌기 때문에, 재부호화에 의한 화질 개선을 기대하는 것은 어렵다. 따라서 이 경우에는, 많은 계산량을 필요로 하는 재부호화 과정이 생략된다.
반대로 해당 CTU 영역이 유효 계수를 가지고 있는 경우에는, 움직임 추정의 정확성이 높지 않으므로, 만약 좀 더 세분화된 부호화 크기로 해당 CTU 영역이 재부호화되면, 정확한 움직임 추정에 의한 화질 개선이 기대될 수 있다. 따라서 이 경우에는, 재부호화 과정이 실행된다.
CTU 영역을 부호화하는 과정에 대해서, 도 5를 참고하여 자세히 설명한다.
도 5는 본 발명의 실시예에 따른, 64x64 CTU(coding tree unit)를 부호화하는 순서를 나타내는 도면이다. 도 5에는 부호화 과정(S200)과 재부호화 과정(S210, S220, S230)이 예시되어 있다.
부호화부(120)는 전체 프레임(예, 현재 프레임) 내의 각 CTU 영역을 64x64 CU로 부호화한 후(S200), 제1 조건을 참조하여 저화질 CTU 영역들을 선별하여 32x32 CU로 재부호화 한다(S210).
저화질 CTU 영역들에 대한 32x32 CU 재부호화가 종료된 이후(S210)에, 현재 프레임에 할당된 기준 부호화 시간이 경과되지 않은 경우에, 현재 프레임을 위해, 화질 측정 과정(S110) 및 저화질 CTU 영역에 대한 재부호화 과정(S120)이 반복적으로 수행된다.
저화질 CTU 영역에 대한 재부호화 과정(S120)이 반복적으로 수행되는 경우에, 해당 CTU 영역은 이전의 부호화를 위해 사용된 CU(예, 64x64 CU) 보다 더 세분화 된 크기의 CU(예, 32x32 CU, 16x16 CU, 8x8 CU)로 재부호화 된다(S210, S220, S230).
예를 들어, 영상 압축기(100)는 현재 프레임에 포함되는 다수의 CTU 영역을 64x64 CU로 부호화한다(S200). 이하에서는, 64x64 CU로 부호화되기 전의 CTU 영역을 원본 영상의 CTU 영역이라 한다. 즉, S200 과정에서, 영상 압축기(100)는 원본 영상의 CTU 영역들을 64x64 CU로 부호화한다. 영상 압축기(100)는 64x64 CU로 부호화된 CTU 영역들의 화질을 측정한 후, 부호화된 CTU 영역들 중 제1 조건을 만족하는 CTU 영역을 판단한다. 부호화된 CTU 영역들 중 부호화된 제1 CTU 영역이 제1 조건을 만족한다고 가정하자. 영상 압축기(100)는 64x64 CU로 부호화되기 전의 제1 CTU 영역(즉, 원본 영상의 제1 CTU 영역)을 32x32 CU로 재부호화한다(S210).
현재 프레임에 할당된 기준 부호화 시간이 경과되지 않은 경우에, 영상 압축기(100)는 현재 프레임 내 각 CTU 영역의 화질(예, 부호화 또는 재부호화된 CTU 영역의 화질)을 다시 측정한 후, 부호화 또는 재부호화된 CTU 영역들 중 제1 조건을 만족하는 CTU 영역을 다시 판단한다. 재부호화된 제1 CTU 영역이 제1 조건을 만족한다고 가정하자. 영상 압축기(100)는 부호화되기 전의 제1 CTU 영역(즉, 원본 영상의 제1 CTU 영역)을 32x32 CU 보다 작은 16x16 CU로 재부호화할 수 있다(S220).
만약 현재 프레임에 할당된 기준 부호화 시간이 경과되지 않은 경우에, 영상 압축기(100)는 현재 프레임 내 각 CTU 영역의 화질(예, 부호화 또는 재부호화된 CTU 영역의 화질)을 또 다시 측정한 후, 부호화 또는 재부호화된 CTU 영역들 중 제1 조건을 만족하는 CTU 영역을 또 다시 판단한다. 16x16 CU로 재부호화된 제1 CTU 영역이 제1 조건을 만족한다고 가정하자. 영상 압축기(100)는 부호화되기 전의 제1 CTU 영역(즉, 원본 영상의 제1 CTU 영역)을 16x16 CU 보다 작은 8x8 CU로 재부호화할 수 있다(S230).
한편, 상술한 바와 같이, CTU 영역을 CU로 부호화(또는 재부호화)하는 과정에서, PU 및 TU의 크기는 기존의 율-왜곡 최적화 방법에 의해 결정될 수 있다.
한편, 현재 프레임에 할당된 기준 부호화 시간이 경과된 경우에, 현재 프레임에 대한 프레임 부호화를 종료한다.
도 6은 본 발명의 실시예에 따른, 저화질 영역에 대한 재부호화를 통해 화질이 개선되는 경우를 나타내는 도면이다.
구체적으로 도 6의 (a)에는 재부호화(예, S210, S220, S230)가 수행되기 이전의 각 CTU 영역의 SSE 값이 예시되어 있고, 도 6의 (b)에는 재부호화(예, S210, S220, S230)가 수행된 이후의 각 CTU 영역의 SSE 값이 예시되어 있다.
도 6의 (a)에는, 재부호화(예, S210, S220, S230)가 수행되기 이전에, 4개의 CTU 영역(CTU1a, CTU1b, CTU1c, CTU1d)의 SSE 값이 각각 100, 200, 250, 300으로 계산되는 경우가 예시되어 있다. 즉, 화질 순위는, CTU 영역(CTU1a), CTU 영역(CTU1b), CTU 영역(CTU1c), CTU 영역(CTU1d) 순이다.
도 6의 (b)에는, 4개의 CTU 영역(CTU1a, CTU1b, CTU1c, CTU1d) 중에서 화질이 제일 낮은 CTU 영역(CTU1d)이 재부호화(예, S210, S220, S230)되어, CTU 영역(CTU1a, CTU1b, CTU1c, CTU1d)의 SSE 값이 각각 100, 200, 250, 80으로 계산되는 경우가 예시되어 있다. 즉, CTU 영역(CTU1d)의 화질이 매우 개선되어, 화질 순위가 CTU 영역(CTU1d), CTU 영역(CTU1a), CTU 영역(CTU1b), CTU 영역(CTU1c) 순으로 변경된다.
저화질 CTU 영역에 대한 재부호화를 통해 화질이 낮은 CTU 영역이 우선적으로 재부호화되어, 화질이 개선될 수 있다.
또한 부호화 비트율이 적게 소요되는 큰 크기의 CU부터 부호화 비트율이 많이 소요되는 작은 크기의 CU로의 순서(예, 64x64 CU -> 32x32 CU -> 16x16 CU -> 8x8 CU )로 부호화(또는 재부호화)가 수행됨으로써, 화질 개선 기대치가 높은 CTU 영역에 부호화 비트율이 우선적으로 할당될 수 있다.
또한 영상 압축기(100)의 계산-율-왜곡 최적화 방법은 주어진 부호화 시간 내에 화질 개선이 기대되는 저화질 영역부터 우선적으로 재부호화함으로써, 전체 프레임의 계산량과 비트율 그리고 화질을 최적화할 수 있다. 이를 통해, 계산-율-왜곡 최적화 방법은 부호화 시간이 제한되는 실시간 어플리케이션을 위해 매우 유용하게 사용될 수 있다.
도 7은 변환(transform) 및 양자화(quantization) 연산 이후의 계수(coefficient) 정보를 나타내는 도면이다. 도 7에는 4개의 4x4 블록(B(0,0), B(0,1), B(1,0), B(1,1))으로 구성된 8x8 프레임(F100)이 예시되어 있다.
프레임(F100)이 도 7에 예시된 계수 분포를 가지는 경우에, 블록(B(0,0), B(0,1), B(1,0))은 유효 계수(0이 아닌 값)를 가지지만, 블록(B(1,1))은 유효 계수를 가지지 않는다.
도 8은 본 발명의 실시예에 따른, 영상 압축기를 나타내는 도면이다.
도 8의 실시예에서, 영상 압축기(100)는 적어도 하나의 프로세서(TN110), 네트워크와 연결되어 통신을 수행하는 송수신 장치(TN120), 및 메모리(TN130)를 더 포함할 수 있다. 또한, 영상 압축기(100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 영상 압축기(100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법들을 구현하도록 구성될 수 있다. 프로세서(TN110)는 영상 압축기(100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 당업자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

  1. 영상 압축기가 영상 프레임을 부호화하는 방법으로서,
    상기 영상 프레임에 포함되는 제1 CTU(coding tree unit) 영역을, 제1 크기의 CU(coding unit)로 부호화하는 단계;
    상기 부호화된 제1 CTU 영역의 화질을 측정하는 단계;
    상기 화질을 이용하여 재부호화를 수행하기 위한 설정 조건의 만족 여부를 판단하는 단계; 및
    상기 설정 조건이 만족되는 경우에 상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제1 크기보다 작은 제2 크기의 CU로 재부호화하는 단계
    를 포함하고,
    상기 화질을 측정하는 단계, 상기 설정 조건의 만족 여부를 판단하는 단계 그리고 상기 재부호화하는 단계가 상기 영상 프레임에 할당된 기준 부호화 시간 내에서 반복 수행되며, 상기 기준 부호화 시간은 부호화를 위한 초당 프레임 수에 기반하여 설정되고,
    상기 설정 조건은 해당 CTU 영역의 화질이 상기 영상 프레임에 포함되는 다수의 CTU 영역의 화질들에 대한 기준 퍼센티지에 해당하는 저화질에 해당하는 경우 및 해당 CTU 영역이 적어도 1개의 유효 계수(significant coefficient) - 상기 유효 계수는 해당 CTU 영역에 대한 움직임 추정이 기준에 맞게 수행되지 않았음을 나타냄 - 를 가지는 경우를 포함하는, 영상 압축기의 부호화 방법.
  2. 제1항에 있어서,
    상기 영상 프레임에 할당된 기준 부호화 시간이 경과되었는지를 판단하는 단계를 더 포함하고,
    상기 기준 부호화 시간이 경과되지 않은 경우에,
    상기 부호화된 제1 CTU 영역의 화질을 측정하는 단계는, 상기 제2 크기의 CU로 재부호화된 제1 CTU 영역의 화질을 측정하는 단계를 포함하고,
    상기 설정 조건의 만족 여부를 판단하는 단계는 상기 제2 크기의 CU로 재부호화된 제1 CTU 영역의 화질을 이용하여 상기 설정 조건의 만족 여부를 판단하는 단계를 포함하며, 그리고
    상기 재부호화하는 단계는, 상기 제2 크기의 CU로 재부호화된 제1 CTU 영역의 화질을 이용하여 상기 설정 조건이 만족되는 경우에, 상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제2 크기보다 작은 제3 크기의 CU로 재부호화하는 단계를 포함하는, 영상 압축기의 부호화 방법.
  3. 제2항에 있어서,
    상기 기준 부호화 시간은 아래의 수학식에 기초해 결정되는
    영상 압축기의 부호화 방법.
    [수학식]
    Figure 112016104864475-pat00004

    (FPS: 부호화를 위한 초당 프레임 수)
  4. 제1항에 있어서,
    상기 부호화된 제1 CTU 영역의 화질을 측정하는 단계는,
    아래의 수학식에 기초해 상기 화질을 측정하는 단계를 포함하는
    영상 압축기의 부호화 방법.
    [수학식]
    Figure 112019084193199-pat00005

    (SSE: 상기 화질을 나타내는 오차 제곱합(sum of squares error), orig(y,x): 상기 제1 크기의 CU로 부호화되기 이전에 p x p 크기를 가지는 제1 CTU 영역 내 화소 (y,x)의 값, recon(y,x): 상기 제1 크기의 CU로 부호화된 제1 CTU 영역이 복호화되는 경우에 상기 복호화된 제1 CTU 영역 내 화소 (y,x)의 값)
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 기준 퍼센티지는 하위 10%인
    영상 압축기의 부호화 방법.
  8. 제2항에 있어서,
    기준 부호화 시간이 경과되지 않은 경우에,
    상기 부호화된 제1 CTU 영역의 화질을 측정하는 단계는 상기 제3 크기의 CU로 재부호화된 제1 CTU 영역의 제3 화질을 측정하는 단계를 포함하고,
    상기 설정 조건의 만족 여부를 판단하는 단계는, 상기 제3 크기의 CU로 재부호화된 제1 CTU 영역의 화질을 이용하여 상기 설정 조건의 만족 여부를 판단하는 단계를 포함하며, 그리고,
    상기 재부호화하는 단계는, 상기 제3 크기의 CU로 재부호화된 제1 CTU 영역의 화질을 이용하여 상기 설정 조건이 만족되는 경우에, 상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제3 크기보다 작은 제4 크기의 CU로 재부호화하는 단계를 포함하는, 영상 압축기의 부호화 방법.
  9. 제8항에 있어서,
    상기 제1 크기의 CU는 64x64 크기의 CU이고,
    상기 제2 크기의 CU는 32x32 크기의 CU이고,
    상기 제3 크기의 CU는 16x16 크기의 CU이고,
    상기 제4 크기의 CU는 8x8 크기의 CU인
    영상 압축기의 부호화 방법.
  10. 영상 프레임에 포함되는 제1 CTU 영역(coding tree unit)을 제1 크기의 CU(coding unit)로 부호화하고, 설정 조건이 만족되는 경우에, 상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제1 크기보다 작은 제2 크기의 CU로 재부호화하고, 제1 시간 경과 정보가 입력되면 상기 영상 프레임에 대한 프레임 부호화를 종료하는 부호화부;
    상기 부호화된 CTU 영역의 화질을 측정하는 화질 측정부; 및
    상기 영상 프레임을 위해 사용된 부호화 시간을 측정하고, 상기 측정된 부호화 시간이 상기 영상 프레임에 할당된 기준 부호화 시간 - 상기 기준 부호화 시간은 부호화를 위한 초당 프레임 수에 기반하여 설정됨 - 을 초과하는 경우에 상기 제1 시간 경과 정보를 생성하여 상기 부호화부로 전달하는 부호화 시간 계산부
    를 포함하며,
    상기 기준 부호화 시간 내에서 상기 화질 측정부의 화질 측정, 상기 부호화부의 상기 설정 조건 만족시의 재부호화가 반복적으로 수행되며,
    상기 설정 조건은 해당 CTU 영역의 화질이 상기 영상 프레임에 포함되는 다수의 CTU 영역의 화질들에 대한 기준 퍼센티지에 해당하는 저화질에 해당하는 경우 및 해당 CTU 영역이 적어도 1개의 유효 계수(significant coefficient) - 상기 유효 계수는 해당 CTU 영역에 대한 움직임 추정이 기준에 맞게 수행되지 않았음을 나타냄 -를 가지는 경우를 포함하는, 영상 압축기.
  11. 삭제
  12. 제10항에 있어서,
    상기 화질 측정부는 추가로,
    상기 측정된 부호화 시간이 상기 기준 부호화 시간 보다 작은 경우에, 상기 제2 크기의 CU로 재부호화된 제1 CTU 영역의 제2 화질을 측정하고,
    상기 부호화부는 추가로,
    상기 제2 화질을 이용하여 상기 설정 조건이 만족되는 경우에, 상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제2 크기 보다 작은 제3 크기의 CU로 재부호화하는
    영상 압축기.
  13. 삭제
  14. 제12항에 있어서,
    상기 부호화 시간 계산부는 추가로, 상기 영상 프레임을 위해 사용된 부호화 시간을 재측정하고,
    상기 화질 측정부는 추가로, 상기 재측정된 부호화 시간이 상기 기준 부호화 시간 보다 작은 경우에, 상기 제3 크기의 CU로 재부호화된 제1 CTU 영역의 제3 화질을 측정하고,
    상기 부호화부는,
    상기 제3 화질을 이용하여 상기 설정 조건이 만족되는 경우에, 상기 제1 크기의 CU로 부호화되기 전의 제1 CTU 영역을 상기 제3 크기 보다 작은 제4 크기의 CU로 재부호화하며,
    상기 제1 크기의 CU는 64x64 크기의 CU이고,
    상기 제2 크기의 CU는 32x32 크기의 CU이고,
    상기 제3 크기의 CU는 16x16 크기의 CU이고,
    상기 제4 크기의 CU는 8x8 크기의 CU인, 영상 압축기.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 제10항에 있어서,
    상기 기준 부호화 시간은 아래의 수학식에 기초해 결정되는
    영상 압축기.
    [수학식]
    Figure 112016104864475-pat00006

    (FPS: 부호화를 위한 초당 프레임 수)
  19. 제10항에 있어서,
    상기 화질 측정부는,
    상기 부호화되기 전의 제1 CTU 영역 내 화소값과, 상기 부호화된 제1 CTU 영역이 복호화될 때의 상기 복호화된 제1 CTU 영역 내 화소값을 이용해, 상기 부호화된 제1 CTU 영역의 화질을 측정하며, 상기 부호화된 제1 CTU 영역의 화질은 하기의 수학식을 만족하는, 영상 압축기.
    [수학식]
    Figure 112019084193199-pat00007

    (SSE: 상기 화질을 나타내는 오차 제곱합(sum of squares error), orig(y,x): 상기 제1 크기의 CU로 부호화되기 이전에 p x p 크기를 가지는 제1 CTU 영역 내 화소 (y,x)의 값, recon(y,x): 상기 제1 크기의 CU로 부호화된 제1 CTU 영역이 복호화되는 경우에 상기 복호화된 제1 CTU 영역 내 화소 (y,x)의 값)
  20. 삭제
KR1020160141199A 2016-10-27 2016-10-27 계산-율-왜곡을 최적화하는 방법 및 장치, 그리고 이를 이용해 영상 프레임을 부호화하는 방법 및 장치 KR102036565B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160141199A KR102036565B1 (ko) 2016-10-27 2016-10-27 계산-율-왜곡을 최적화하는 방법 및 장치, 그리고 이를 이용해 영상 프레임을 부호화하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160141199A KR102036565B1 (ko) 2016-10-27 2016-10-27 계산-율-왜곡을 최적화하는 방법 및 장치, 그리고 이를 이용해 영상 프레임을 부호화하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180046217A KR20180046217A (ko) 2018-05-08
KR102036565B1 true KR102036565B1 (ko) 2019-10-25

Family

ID=62187574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160141199A KR102036565B1 (ko) 2016-10-27 2016-10-27 계산-율-왜곡을 최적화하는 방법 및 장치, 그리고 이를 이용해 영상 프레임을 부호화하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102036565B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006083614A2 (en) * 2005-01-28 2006-08-10 Thomson Licensing Method and apparatus for real-time frame encoding
KR101373934B1 (ko) * 2006-07-10 2014-03-12 톰슨 라이센싱 멀티 패스 비디오 인코더에서 성능 향상을 위한 방법 및 장치
KR101457418B1 (ko) * 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치

Also Published As

Publication number Publication date
KR20180046217A (ko) 2018-05-08

Similar Documents

Publication Publication Date Title
KR101621330B1 (ko) 복잡도가 감소된 변환 단위 파티션의 방법 및 장치
EP3075154B1 (en) Selection of motion vector precision
KR102323427B1 (ko) 영상 부호화 방법 및 장치
US20060133479A1 (en) Method and apparatus for generating a quantisation matrix that can be used for encoding an image or a picture sequence
Correa et al. Coding tree depth estimation for complexity reduction of HEVC
EP2965512A1 (en) Video transcoding
KR20100133007A (ko) 컨텍스트-적응형 가변 길이 코딩 (ｃａｖｌｃ) 을 위한 레이트-왜곡 양자화
US20160234496A1 (en) Near visually lossless video recompression
KR20180061027A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US8582898B2 (en) Method and apparatus for encoding and decoding image based on code table selection adapted to residual value distribution
KR20190107944A (ko) 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법
US20200053368A1 (en) Method and apparatus for encoding a video
KR101959490B1 (ko) 비디오 비트율 제어 방법 및 그 장치
KR20130103140A (ko) 영상압축 전에 행해지는 전처리 방법, 영상 압축률 개선을 위한 적응성 움직임 추정방법 및 영상 타입별 영상 데이터 제공방법
Sun et al. Rate distortion modeling and adaptive rate control scheme for high efficiency video coding (HEVC)
JP6069128B2 (ja) 変換量子化方法、変換量子化装置及び変換量子化プログラム
Correa et al. Complexity control of HEVC through quadtree depth estimation
KR102036565B1 (ko) 계산-율-왜곡을 최적화하는 방법 및 장치, 그리고 이를 이용해 영상 프레임을 부호화하는 방법 및 장치
JP2008503919A (ja) ビデオ符号化を最適化する方法および装置
KR101924959B1 (ko) 영상 부호화 방법 및 장치
JP5937926B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
KR101247024B1 (ko) 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법
US10523945B2 (en) Method for encoding and decoding video signal
Ibrahim et al. Improved Video Coding Technique for Next Generation Communication System.
KR101668851B1 (ko) Hevc 고속 부호화 모드 결정을 위한 적응적 부호화 모드 순서 정렬 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant