KR101902700B1 - Hevc 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법 - Google Patents

Hevc 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법 Download PDF

Info

Publication number
KR101902700B1
KR101902700B1 KR1020170060104A KR20170060104A KR101902700B1 KR 101902700 B1 KR101902700 B1 KR 101902700B1 KR 1020170060104 A KR1020170060104 A KR 1020170060104A KR 20170060104 A KR20170060104 A KR 20170060104A KR 101902700 B1 KR101902700 B1 KR 101902700B1
Authority
KR
South Korea
Prior art keywords
current
rate
value
distortion cost
image frame
Prior art date
Application number
KR1020170060104A
Other languages
English (en)
Inventor
박상주
Original Assignee
홍익대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍익대학교 산학협력단 filed Critical 홍익대학교 산학협력단
Priority to KR1020170060104A priority Critical patent/KR101902700B1/ko
Application granted granted Critical
Publication of KR101902700B1 publication Critical patent/KR101902700B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 HEVC 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법 에 관한 것이다.
본 발명에 따르면, HEVC 부호화 장치를 이용한 화면 내 예측 부호화 처리 방법에 있어서, 화면 내 예측 부호화 처리 방법은 현재 영상 프레임의 현재 코딩 유닛(CU)에 대한 율-왜곡 비용을 연산하는 단계, 상기 현재 CU을 포함하는 코딩 트리 유닛(CTU)과 동일한 영역에 위치하는 이전 영상 프레임의 CTU에 대한 율-왜곡 비용 및 상기 현재 CU에 대한 깊이 값을 이용하여 임계값을 연산하는 단계, 상기 현재 CU에 대한 율-왜곡 비용과 상기 임계값을 비교하는 단계, 그리고 상기 비교 결과에 대응하여 상기 현재 CU에 대한 분할 종료 여부를 결정하는 단계를 포함한다.
이와 같이 본 발명에 따르면, CU 깊이 범위에 포함된 모든 경우에 대한 CU 분할을 수행하지 않으므로, HEVC 부호화를 고속으로 수행할 수 있다. 뿐만 아니라, 상호관련성이 높은 CTU의 율-왜곡 비용 정보를 이용하여 CU 깊이 범위를 예측하므로 고속 압축에도 불구하고 영상 압축시 성능의 열화가 거의 발생하지 않는 장점이 있다.

Description

HEVC 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법{APPARATUS FOR HEVC CODING AND METHOD FOR PROCESS OF CODING IN INTRA PREDICTION USING THE SAME}
본 발명은 HEVC 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법에 관한 것으로서, 더욱 상세하게는 HEVC 영상 압축시 압축 성능의 열화가 적은 반면 압축 속도를 향상시킬 수 있는 HEVC 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법에 관한 것이다.
최근 스마트폰, 태블릿 등 모바일 기기들이 HD 1080p과 같은 고화질 영상을 지원하고 있을 뿐만 아니라, QHD(Quad High Definition)나 UHD(Ultra High Definition)와 같은 초고해상도를 지원하는 디스플레이 장치들이 속속 등장하고 있다. 더불어, 3D 고화질 영상 서비스나 다시점 영상 서비스 등의 제공이 증가하고 있다.
이러한 고화질 영상이나 입체 영상의 경우 필연적으로 영상 데이터의 고용량화를 수반하며, 고용량의 영상 데이터를 전송하기 위한 문제가 발생하고 있다. 이에 따라, 화질의 열화는 최소화하되 종래의 영상 압축 기법보다 압축 효율이 비약적으로 높은 새로운 영상 압축기법에 대한 요구가 높다.
고효율 영상 압축 기법(High Efficiency Video Coding, HEVC)은 종래 영상 압축 기법인 H.264/AVC 대비 50%의 비트 레이트(bit rate)로 부호화하여 2배의 압축 성능을 제공하는 새로운 영상 압축 표준화 기술이다.
도 1은 HEVC 기법의 블록 단위를 설명하기 위한 도면이다.
도 1에 나타난 바와 같이, HEVC는 쿼드트리(quad-tree) 기반의 블록을 이용하고 있으며, CTU(Coding tree Unit), CU(Coding Unit), PU(Prediction Unit), TU(Transform Unit)와 같은 블록 단위를 사용한다. 구체적으로 CTU는 H.264/AVC의 매크로블록에 대응하는 개념으로서, 각각의 CTU는 도 1의 (a)에서와 같이 복수개의 CU로 분할된다. PU는 화면 내 예측 또는 화면 간 예측에 따라 압축 성능을 향상시키기 위하여 CU로부터 분할된 블록으로서, 도 1의 (b)와 같이 나타난다. 도 1의 (c)에 나타난 TU는 2차원 변환이 적용되는 분할 영역을 의미한다. 이와 같이, 쿼드트리 기반의 HEVC는 CTU, CU, PU, TU의 크기를 유연하게 결정할 수 있어 기존의 압축 표준에 비해 압축률이 크게 향상되었다.
이와 같이, HEVC는 종래의 표준 영상 압축 기술보다 뛰어난 압축 효율을 보여주나, 부호화의 복잡도가 크게 증가하여 상용화에 어려움을 겪고 있다. 그러므로 HEVC가 상용화되기 위해서는 화질의 열화가 적은 반면 빠른 압축 속도를 제공하는 고속 부호화 알고리즘을 필요로 한다.
본 발명의 배경이 되는 기술은 한국등록특허 제10-1620755호(2016.05.12.공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 HEVC 영상 압축시 압축 성능의 열화가 적은 반면 압축 속도를 향상시킬 수 있는 HEVC 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면 HEVC 부호화 장치를 이용한 화면 내 예측 부호화 처리 방법에 있어서, 화면 내 예측 부호화 처리 방법은 현재 영상 프레임의 현재 코딩 유닛(CU)에 대한 율-왜곡 비용을 연산하는 단계, 상기 현재 CU을 포함하는 코딩 트리 유닛(CTU)과 동일한 영역에 위치하는 이전 영상 프레임의 CTU에 대한 율-왜곡 비용 및 상기 현재 CU에 대한 깊이 값을 이용하여 임계값을 연산하는 단계, 상기 현재 CU에 대한 율-왜곡 비용과 상기 임계값을 비교하는 단계, 그리고 상기 비교 결과에 대응하여 상기 현재 CU에 대한 분할 종료 여부를 결정하는 단계를 포함한다.
상기 현재 CU에 대한 분할 종료 여부를 결정하는 단계는, 상기 현재 CU에 대한 율-왜곡 비용이 상기 임계값보다 크거나 같으면, 상기 현재 CU에 대한 깊이 값을 증가시켜 상기 현재 CU에 대한 분할을 진행하고, 상기 현재 영상 프레임의 CU에 대한 율-왜곡 비용이 상기 임계값보다 작으면, 상기 현재 CU에 대한 분할을 종료할 수 있다.
상기 임계값을 연산하는 단계는, 아래의 수학식을 이용하여 상기 임계값(
Figure 112017046030577-pat00001
)을 연산할 수 있다.
Figure 112017046030577-pat00002
여기서, α는 계수를 의미하고,
Figure 112017046030577-pat00003
는 상기 이전 영상 프레임(n-1)에서 k번째 코딩 트리 유닛(CTU)에 대한 율-왜곡 비용을 의미하고, d는 상기 현재 영상 프레임의 CU에 대한 깊이 값을 의미하고,
Figure 112017046030577-pat00004
는 상기 이전 영상 프레임(n-1)에서 k번째 CTU의 최대 CU 깊이에서 부호화된 샘플수에 대한 k번째 CTU의 모든 샘플수의 비율을 의미한다.
상기 임계값을 연산하는 단계는, 상기 현재 영상 프레임의 CU에 대한 깊이 값에 따라 상기 계수를 선택할 수 있다.
상기 계수(α)는, 0보다 크고 0.8보다 작거나 같은 값을 가질 수 있다.
상기 율-왜곡 비용을 연산하는 단계는, 아래의 수학식을 이용하여 현재 CU에 대한 율-왜곡 비용(JSATD)을 연산할 수 있다.
Figure 112017046030577-pat00005
여기서, SATD는 현재 CU 에 대한 원 화소값과 복원 화소값 사이의 하다마드 변환 왜곡값을 의미하고, λpred는 라그랑주 승수를 의미하고, Bpred는 상기 현재 CU의 부호화에 필요한 비트수를 의미한다.
본 발명의 다른 실시예에 따른 HEVC 부호화 장치는 현재 영상 프레임의 현재 코딩 유닛(CU)에 대한 율-왜곡 비용을 연산하는 비용 연산부, 상기 현재 CU을 포함하는 코딩 트리 유닛(CTU)과 동일한 영역에 위치하는 이전 영상 프레임의 CTU에 대한 율-왜곡 비용 및 상기 현재 CU에 대한 깊이 값을 이용하여 임계값을 연산하는 임계값 연산부, 상기 현재 CU에 대한 율-왜곡 비용과 상기 임계값을 비교하는 비교부, 그리고 상기 비교 결과에 대응하여 상기 현재 CU에 대한 분할 종료 여부를 결정하는 제어부를 포함한다.
이와 같이 본 발명에 따르면, CU 깊이 범위에 포함된 모든 경우에 대한 CU 분할을 수행하지 않으므로, HEVC 부호화를 고속으로 수행할 수 있다. 뿐만 아니라, 상호관련성이 높은 CTU의 율-왜곡 비용 정보를 이용하여 CU 깊이 범위를 예측하므로 고속 압축에도 불구하고 영상 압축시 성능의 열화가 거의 발생하지 않는 장점이 있다.
도 1은 HEVC 기법의 블록 단위를 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 HEVC 부호화 장치의 구성도이다.
도 3은 본 발명의 실시예에 따른 화면 내 예측 부호화 처리 방법의 순서도이다.
도 4는 본 발명의 실시예에 따른 현재 CU에 대한 깊이 값을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 화면 내 예측 부호화 처리 방법의 일 실시예를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 하나의 영상 프레임에 대한 CU 분할 구조를 적용한 예시도이다.
도 7은 하나의 영상 프레임에 포함된 CTU간 율-왜곡 비용을 나타낸 그래프이다.
도 8은 영상 내 동일 영역에 위치하는 CTU간 율-왜곡 비용을 나타낸 그래프이다.
도 9는 본 발명의 실시예에 따른 시뮬레이션 결과를 나타낸 그래프이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
우선, 도 2를 통해 본 발명의 실시예에 따른 HEVC 부호화 장치의 구성에 대해 살펴보도록 한다.
도 2는 본 발명의 실시예에 따른 HEVC 부호화 장치의 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 HEVC 부호화 장치(100)는 비용 연산부(110), 임계값 연산부(120), 비교부(130) 및 제어부(140)를 포함한다.
먼저, 비용 연산부(110)는 현재 영상 프레임의 현재 코딩 유닛(Coding Unit, 이하 CU라 한다)에 대한 율-왜곡 비용을 연산한다.
다음으로, 임계값 연산부(120)는 현재 CU을 포함하는 코딩 트리 유닛(Coding Tree Unit, 이하 CTU라 한다)과 동일한 영역에 위치하는 이전 영상 프레임의 CTU에 대한 율-왜곡 비용 및 현재 CU에 대한 깊이 값을 이용하여 임계값을 연산한다.
이때, 이전 영상 프레임의 CTU에 대한 율-왜곡 비용은 본 발명의 실시예에 따른 HEVC 부호화 장치(100)에 기 저장되거나, 기타 장치로부터 입력받을 수 있다.
다음으로, 비교부(130)는 현재 CU에 대한 율-왜곡 비용과 임계값을 비교한다.
다음으로, 제어부(140)는 비교 결과에 대응하여 현재 CU에 대한 분할 종료 여부를 결정한다.
구체적으로, 제어부(140)는 현재 CU에 대한 율-왜곡 비용이 임계값보다 크거나 같으면, 현재 CU에 대한 깊이 값을 증가시켜 현재 CU에 대한 분할을 진행한다. 반면, 제어부(140)는 현재 영상 프레임의 CU에 대한 율-왜곡 비용이 임계값보다 작으면, 현재 CU에 대한 분할을 종료한다.
한편, 현재 CU에 대한 깊이 값은 0에서 3까지의 정수값 중 어느 하나를 가진다.
다음으로 도 3 내지 도 5를 통해 본 발명의 실시예에 따른 HEVC 부호화 장치를 이용한 화면 내 예측 부호화 처리 방법에 대해 살펴보도록 한다.
도 3은 본 발명의 실시예에 따른 화면 내 예측 부호화 처리 방법의 순서도이다.
우선, 비용 연산부(110)는 현재 영상 프레임의 현재 CU에 대한 율-왜곡 비용을 연산한다(S210).
이때, 비용 연산부(110)는 아래의 수학식 1을 통해 현재 CU에 대한 율-왜곡 비용(JSATD)을 연산할 수 있다.
Figure 112017046030577-pat00006
여기서, SATD는 현재 CU 에 대한 원 화소값과 복원 화소값 사이의 하다마드 변환 왜곡값(Sum of Absolute Transformed Differences)을 의미하고, λpred는 라그랑주 승수(Lagrangian multiplier)를 의미하고, Bpred는 현재 CU의 부호화에 필요한 비트수를 의미한다.
그러면, 임계값 연산부(120)는 현재 CU을 포함하는 CTU와 동일한 영역에 위치하는 이전 영상 프레임의 CTU에 대한 율-왜곡 비용 및 현재 CU에 대한 깊이 값을 이용하여 현재 CU에 대응하는 임계값을 연산한다(S220).
구체적으로, 임계값 연산부(120)는 아래의 수학식 2를 이용하여 임계값(
Figure 112017046030577-pat00007
)을 연산한다.
Figure 112017046030577-pat00008
여기서, α는 계수를 의미하고,
Figure 112017046030577-pat00009
는 이전 영상 프레임(n-1)에서 k번째 CTU에 대한 율-왜곡 비용을 의미하고, d는 현재 영상 프레임의 CTU에서 현재 CU에 대한 깊이 값을 의미하고,
Figure 112017046030577-pat00010
는 이전 영상 프레임(n-1)에서 k번째 CTU의 최대 CU 깊이에서 부호화된 샘플수에 대한 k번째 CTU의 모든 샘플수의 비율을 의미한다.
구체적으로, 계수(α)는 0보다 크고 0.8보다 작거나 같은 값을 가진다. 본 발명의 실시예에 따르면, 계수를 0보다 크고 0.8보다 작거나 같은 값으로 설정함으로써 CU 분할의 조기 종료에 따른 부호화 품질의 열화를 방지할 수 있다.
한편, 임계값 연산부(120)는 현재 영상 프레임의 CTU에서 현재 CU에 대한 깊이 값에 따라 계수(α)를 선택할 수 있다. 예를 들어, 임계값 연산부(120)는 현재 CU에 대한 깊이 값이 작을수록 0에 가까운 계수 값을 선택하고, 현재 CU에 대한 깊이 값이 클수록 0.8에 가까운 계수 값을 선택할 수 있다.
그리고, 전 영상 프레임(n-1)에서 k번째 CTU에 대한 율-왜곡 비용(
Figure 112017046030577-pat00011
) 및 이전 영상 프레임(n-1)에서 k번째 CTU의 최대 CU 깊이에서 부호화된 샘플수에 대한 k번째 CTU의 샘플수의 비율(
Figure 112017046030577-pat00012
)은 본 발명의 실시예에 따른 HEVC 부호화 장치(100)에 기 저장되어 있거나, 외부 장치로부터 입력받을 수 있다.
도 4는 본 발명의 실시예에 따른 현재 CU에 대한 깊이 값을 설명하기 위한 도면이다.
도 4에서 음영으로 표시된 부분은 현재 CU를 나타내며, 도 4에 도시된 바와 같이, 현재 영상 프레임의 CTU에서 현재 CU에 대한 깊이 값은 현재 CU 분할 단계에 따라 달라진다.
예를 들어, 도 4의 (a)의 경우 64X64 크기의 현재 CU에 대한 분할 여부를 결정하고 있으므로 현재 CU에 대한 깊이 값은 0이다. 도 4의 (b)의 경우 32X32 크기의 현재 CU에 대한 분할 여부를 결정하고 있으므로 현재 CU에 대한 깊이 값은 1이다. 도 4의 (c)의 경우 16X16 크기의 현재 CU에 대한 분할 여부를 결정하고 있으므로 현재 CU에 대한 깊이 값은 2이다. 도 4의 (d)의 경우 8X8 크기의 현재 CU에 대한 분할 여부를 결정하고 있으므로 현재 CU에 대한 깊이 값은 3이다.
이때, 4X4 크기의 CU는 더 이상 분할되지 않으므로, 수학식 2에서 깊이 값은 4를 포함하지 않는다.
즉, 도 3의 (a) 내지 (d)에 나타난 것처럼, 64X64 크기의 CTU에서 수학식 2의 깊이 값 d는 0부터 3까지의 범위를 가진다.
그러므로, 본 발명의 실시예에 따르면, 임계값 연산부(120)는 64X64 크기의 CTU에서 총 4개의 임계값을 연산할 수 있다.
다음으로, 비교부(130)는 현재 CU에 대한 율-왜곡 비용과 임계값을 비교한다(S230).
S230 단계의 비교 결과, 현재 CU에 대한 율-왜곡 비용이 임계값보다 크거나 같으면, 제어부(140)는 현재 CU에 대한 깊이 값을 증가시켜 현재 CU에 대한 분할을 진행한다(S240).
반면, 현재 영상 프레임의 CU에 대한 율-왜곡 비용이 임계값보다 작으면, 제어부(140)는 현재 CU에 대한 분할을 종료한다(S250).
도 5는 본 발명의 실시예에 따른 화면 내 예측 부호화 처리 방법의 일 실시예를 설명하기 위한 도면이다.
도 5는 영상의 205번째 프레임의 23번째 CTU에 대한 분할이 종료된 후, 205번째 프레임의 24번째 CTU에 대한 분할을 수행하는 과정을 나타낸다.
도 5에 나타난 바와 같이, 본 발명의 실시예에 따른 HEVC 부호화 장치(100)는 (a)부터 시작하여 23번째 CTU에 대한 CU 최적 구조가 형성되는 (f)까지 S210 내지 S250 단계를 반복하여 수행한다.
우선, 도 5의 (a)에서, 비용 연산부(110)는 64X64 크기의 현재 CU에 대한 율-왜곡 비용을 연산하고, 임계값 연산부(120)는 깊이 0에서의 임계값을 연산한다. 그 결과, 64X64 크기의 현재 CU에 대한 율-왜곡 비용(RD cost)이 280, 깊이 0에서의 임계값(Thr(0))이 256이 산출되었다면, 율-왜곡 비용이 임계값보다 크므로, 깊이 값을 1 증가시켜 64X64 크기의 현재 CU를 쿼드 트리 분할한다.
다음으로, 도 5의 (b)에서, 비용 연산부(110)는 32X32 크기의 현재 CU에 대한 율-왜곡 비용을 연산하고, 임계값 연산부(120)는 깊이 1에서의 임계값을 연산한다. 그 결과, 32X32 크기의 현재 CU에 대한 율-왜곡 비용(RD cost)이 59, 깊이 1에서의 임계값(Thr(1))이 64이 산출되었다면, 율-왜곡 비용이 임계값보다 작으므로, 현재 CU에 대한 분할을 종료한다.
다음으로, 도 5의 (c)에서, 비용 연산부(110)는 32X32 크기의 현재 CU에 대한 율-왜곡 비용을 연산하고, 임계값 연산부(120)는 깊이 1에서의 임계값을 연산한다. 그 결과, 32X32 크기의 현재 CU에 대한 율-왜곡 비용(RD cost)이 72, 깊이 1에서의 임계값(Thr(1))이 64이 산출되었다면, 율-왜곡 비용이 임계값보다 크므로, 깊이 값을 1 증가시켜 64X64 크기의 현재 CU를 쿼드 트리 분할한다. 이때, 임계값은 (b)에서 연산한 임계값과 동일하므로, 별도의 연산 과정 없이 (b)에서의 임계값을 이용할 수 있다.
다음으로, 도 5의 (d)에서, 비용 연산부(110)는 16X16 크기의 현재 CU에 대한 율-왜곡 비용을 연산하고, 임계값 연산부(120)는 깊이 2에서의 임계값을 연산한다. 그 결과, 16X16 크기의 현재 CU에 대한 율-왜곡 비용(RD cost)이 14, 깊이 2에서의 임계값(Thr(2))이 16이 산출되었다면, 율-왜곡 비용이 임계값보다 작으므로, 현재 CU에 대한 분할을 종료한다.
그리고, 도 5의 (e)에서, 비용 연산부(110)는 32X32 크기의 현재 CU에 대한 율-왜곡 비용을 연산하고, 임계값 연산부(120)는 깊이 1에서의 임계값을 연산한다. 그 결과, 32X32 크기의 현재 CU에 대한 율-왜곡 비용(RD cost)이 17, 깊이 1에서의 임계값(Thr(1))이 64이 산출되었다면, 율-왜곡 비용이 임계값보다 작으므로, 현재 CU에 대한 분할을 종료한다.
도 5의 (e)와 같이 마지막 CU에 대한 분할이 종료되면, 도 5의 (f)와 같은 구조의 CU 구조가 생성된다.
이와 같은 과정을 통해 205번째 프레임의 24번째 CTU에 대한 CU 분할이 종료되면, 본 발명의 실시예에 따른 HEVC 부호화 장치(100)는 205번째 프레임의 25번째 CTU에 대한 CU 분할을 수행한다.
도 6은 본 발명의 실시예에 따른 하나의 영상 프레임에 대한 CU 분할 구조를 적용한 예시도이다.
도 6의 (a)는 하나의 영상 프레임 전체가 최적의 구조로 CU 분할된 것을 나타내며, 도 6의 (b)는 최적의 구조로 CU 분할된 일부 CTU들을 나타낸다.
도 6에 나타난 바와 같이, 본 발명의 실시예에 따른 HEVC 부호화 장치(100)는 S210 내지 S250 단계를 반복하여 각 영상 프레임에 대한 CU 최적 구조를 생성한다.
도 7은 하나의 영상 프레임에 포함된 CTU간 율-왜곡 비용을 나타낸 그래프이고, 도 8은 영상 내 동일 영역에 위치하는 CTU간 율-왜곡 비용을 나타낸 그래프이다.
도 7에 나타난 바와 같이, 하나의 프레임에 포함된 CTU들의 율-왜곡 비용은 특정한 패턴이 없이, 넓고 다양한 범위의 값을 가진다는 것을 알 수 있다. 따라서, 프레임내 인접한 CTU간의 율-왜곡 비용을 이용하여 고속 부호화 수행 시 압축 효율이 크게 개선되지 않을 수 있다.
반면, 도 8에 나타난 바와 같이, 하나의 영상에서 각 프레임별 동일 영역에 위치하는 CTU들의 율-왜곡 비용은 매우 강한 상관관계를 가짐을 알 수 있다.
도 8에서 가로축은 현재 영상 프레임의 CTU에 대한 율-왜곡 비용과 이전 영상 프레임의 CTU에 대한 율-왜곡 비용의 비율을 의미하는데, 인접한 영상 프레임간 동일한 넘버의 CTU에 대한 율-왜곡 비용의 비율은 평균값인 1을 중심으로 밀집 분포되는 형태를 보여준다.
이를 통해, 각 영상 프레임의 동일 영역에 위치하는 CTU들에 대한 율-왜곡 비용을 이용하여 HEVC 고속 부호화를 수행하는 것이 영상 효율을 크게 개선시킨다는 것을 알 수 있다.
도 9는 본 발명의 실시예에 따른 시뮬레이션 결과를 나타낸 그래프이고, 표 1은 도 9의 시뮬레이션 결과를 나타낸 표이다.
Figure 112017046030577-pat00013
도 9 및 표 1은 HM14 참조 코드를 이용한 부호화 장치에 대비한 본 발명의 실시예에 따른 HEVC 부호화 장치 및 최근 제안된 기타 부호화 장치([1] 내지 [4])의 성능을 나타낸다. 여기서, BDR은 압축 효율을 의미하고, ATS는 시간 감축율을 의미한다.
그리고, [1]은 S. Cho, M. Kim, Fast CU splitting and pruning for suboptimal CU partitioning in HEVC intra coding, IEEETrans. Circuits Syst. Video Technol.23 (9) (2013) 1555-1564에 나타난 부호화 장치를 의미한다.
다음으로, [2]는 L. Shen, Z. Zhang, P. An, Fast CU size decision and mode decision algorithm for HEVC intra coding, IEEE Trans. Consum. Electron. 59 (1) (2013) 207-213에 나타난 부호화 장치를 의미한다.
그리고, [3]은 H. Zhang, Z. Ma, Fast intra mode decision for high efficiency video coding (HEVC), IEEE Trans. Circuits Syst. Video Technol. 24 (4) (2014) 660-668에 나타난 부호화 장치를 의미한다.
그리고 [4]는 B. Min, R. C. C. Cheung, A fast CU size decision algorithm for the HEVC intra encoder, IEEE Trans. Circuits Syst. Video Technol. 25 (5) (2015) 892-896에 나타난 부호화 장치를 의미한다.
도 9 및 표 1에 나타난 바와 같이, 최근 제안된 부호화 장치([1] 내지 [4])들에 비해 본 발명의 실시예에 따른 HEVC 부호화 장치가 압축 효율 및 시간 감축율 모두에서 높은 성능을 보여줌을 알 수 있다.
본 발명의 실시예에 따르면, CU 깊이 범위에 포함된 모든 경우에 대한 CU 분할을 수행하지 않으므로, HEVC 부호화를 고속으로 수행할 수 있다. 뿐만 아니라, 상호관련성이 높은 CTU의 율-왜곡 비용 정보를 이용하여 CU 깊이 범위를 예측하므로 고속 압축에도 불구하고 영상 압축시 성능의 열화가 거의 발생하지 않는 장점이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : HEVC 부호화 장치 110 : 비용 연산부
120 : 임계값 연산부 130 : 비교부
140 : 제어부

Claims (12)

  1. HEVC 부호화 장치를 이용한 화면 내 예측 부호화 처리 방법에 있어서,
    현재 영상 프레임의 현재 코딩 유닛(CU)에 대한 율-왜곡 비용을 연산하는 단계,
    상기 현재 CU을 포함하는 코딩 트리 유닛(CTU)과 동일한 영역에 위치하는 이전 영상 프레임의 CTU에 대한 율-왜곡 비용 및 상기 현재 CU에 대한 깊이 값을 이용하여 임계값을 연산하는 단계,
    상기 현재 CU에 대한 율-왜곡 비용과 상기 임계값을 비교하는 단계, 그리고
    상기 비교 결과에 대응하여 상기 현재 CU에 대한 분할 종료 여부를 결정하는 단계를 포함하며,
    상기 임계값을 연산하는 단계는,
    아래의 수학식을 이용하여 상기 임계값(
    Figure 112018037159187-pat00033
    )을 연산하며,
    Figure 112018037159187-pat00034

    여기서, α는 계수를 의미하고,
    Figure 112018037159187-pat00035
    는 상기 이전 영상 프레임(n-1)에서 k번째 코딩 트리 유닛(CTU)에 대한 율-왜곡 비용을 의미하고, d는 상기 현재 영상 프레임의 CU에 대한 깊이 값을 의미하고,
    Figure 112018037159187-pat00036
    는 상기 이전 영상 프레임(n-1)에서 k번째 CTU의 최대 CU 깊이에서 부호화된 샘플수에 대한 k번째 CTU의 모든 샘플수의 비율을 의미하고,
    상기 계수(α)는 0보다 크고 0.8보다 작거나 같은 값을 가지며,
    상기 현재 영상 프레임의 CU에 대한 깊이 값에 따라 상기 계수를 선택하되, 상기 현재 영상 프레임의 CU에 대한 깊이 값이 작을수록 0에 가까운 계수 값을 선택하고, 깊이 값이 클수록 0.8에 가까운 계수 값을 선택하는 화면 내 예측 부호화 처리 방법.
  2. 제1항에 있어서,
    상기 현재 CU에 대한 분할 종료 여부를 결정하는 단계는,
    상기 현재 CU에 대한 율-왜곡 비용이 상기 임계값보다 크거나 같으면, 상기 현재 CU에 대한 깊이 값을 증가시켜 상기 현재 CU에 대한 분할을 진행하고,
    상기 현재 영상 프레임의 CU에 대한 율-왜곡 비용이 상기 임계값보다 작으면, 상기 현재 CU에 대한 분할을 종료하는 화면 내 예측 부호화 처리 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 율-왜곡 비용을 연산하는 단계는,
    아래의 수학식을 이용하여 현재 CU에 대한 율-왜곡 비용(JSATD)을 연산하는 화면 내 예측 부호화 처리 방법:
    Figure 112017046030577-pat00018

    여기서, SATD는 현재 CU 에 대한 원 화소값과 복원 화소값 사이의 하다마드 변환 왜곡값을 의미하고, λpred는 라그랑주 승수를 의미하고, Bpred는 상기 현재 CU의 부호화에 필요한 비트수를 의미한다.
  7. 현재 영상 프레임의 현재 코딩 유닛(CU)에 대한 율-왜곡 비용을 연산하는 비용 연산부,
    상기 현재 CU을 포함하는 코딩 트리 유닛(CTU)과 동일한 영역에 위치하는 이전 영상 프레임의 CTU에 대한 율-왜곡 비용 및 상기 현재 CU에 대한 깊이 값을 이용하여 임계값을 연산하는 임계값 연산부,
    상기 현재 CU에 대한 율-왜곡 비용과 상기 임계값을 비교하는 비교부, 그리고
    상기 비교 결과에 대응하여 상기 현재 CU에 대한 분할 종료 여부를 결정하는 제어부를 포함하며,
    상기 임계값 연산부는,
    아래의 수학식을 이용하여 상기 임계값(
    Figure 112018037159187-pat00037
    )을 연산하며,
    Figure 112018037159187-pat00038

    여기서, α는 계수를 의미하고,
    Figure 112018037159187-pat00039
    는 상기 이전 영상 프레임(n-1)에서 k번째 코딩 트리 유닛(CTU)에 대한 율-왜곡 비용을 의미하고, d는 상기 현재 영상 프레임의 CU에 대한 깊이 값을 의미하고,
    Figure 112018037159187-pat00040
    는 상기 이전 영상 프레임(n-1)에서 k번째 CTU의 최대 CU 깊이에서 부호화된 샘플수에 대한 k번째 CTU의 모든 샘플수의 비율을 의미하고,
    상기 계수(α)는 0보다 크고 0.8보다 작거나 같은 값을 가지며,
    상기 현재 영상 프레임의 CU에 대한 깊이 값에 따라 상기 계수를 선택하되, 상기 현재 영상 프레임의 CU에 대한 깊이 값이 작을수록 0에 가까운 계수 값을 선택하고, 깊이 값이 클수록 0.8에 가까운 계수 값을 선택하는 HEVC 부호화 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 현재 CU에 대한 율-왜곡 비용이 상기 임계값보다 크거나 같으면, 상기 현재 CU에 대한 깊이 값을 증가시켜 상기 현재 CU에 대한 분할을 진행하고,
    상기 현재 영상 프레임의 CU에 대한 율-왜곡 비용이 상기 임계값보다 작으면, 상기 현재 CU에 대한 분할을 종료하는 HEVC 부호화 장치.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제7항에 있어서,
    상기 비용 연산부는,
    아래의 수학식을 이용하여 현재 CU에 대한 율-왜곡 비용(JSATD)을 연산하는 HEVC 부호화 장치:
    Figure 112017046030577-pat00023

    여기서, SATD는 현재 CU 에 대한 원 화소값과 복원 화소값 사이의 하다마드 변환 왜곡값을 의미하고, λpred는 라그랑주 승수를 의미하고, Bpred는 상기 현재 CU의 부호화에 필요한 비트수를 의미한다.
KR1020170060104A 2017-05-15 2017-05-15 Hevc 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법 KR101902700B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170060104A KR101902700B1 (ko) 2017-05-15 2017-05-15 Hevc 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170060104A KR101902700B1 (ko) 2017-05-15 2017-05-15 Hevc 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법

Publications (1)

Publication Number Publication Date
KR101902700B1 true KR101902700B1 (ko) 2018-09-28

Family

ID=63721306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170060104A KR101902700B1 (ko) 2017-05-15 2017-05-15 Hevc 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법

Country Status (1)

Country Link
KR (1) KR101902700B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381312A (zh) * 2019-07-19 2019-10-25 广东工业大学 一种基于hevc的预测深度划分范围的方法和装置
CN113242429A (zh) * 2021-05-11 2021-08-10 杭州朗和科技有限公司 视频编码模式决策方法、装置、设备及存储介质
CN113382245A (zh) * 2021-07-02 2021-09-10 中国科学技术大学 图像划分方法和装置
CN115118977A (zh) * 2022-08-29 2022-09-27 华中科技大学 针对360度视频的帧内预测编码方法、系统及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Park, Sang Ju. "CU encoding depth prediction, early CU splitting termination and fast mode decision for fast HEVC intra-coding." Signal Processing Image Communication 42 pp. 79-89 (2016.03.31.)*

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381312A (zh) * 2019-07-19 2019-10-25 广东工业大学 一种基于hevc的预测深度划分范围的方法和装置
CN110381312B (zh) * 2019-07-19 2022-06-24 广东工业大学 一种基于hevc的预测深度划分范围的方法和装置
CN113242429A (zh) * 2021-05-11 2021-08-10 杭州朗和科技有限公司 视频编码模式决策方法、装置、设备及存储介质
CN113242429B (zh) * 2021-05-11 2023-12-05 杭州网易智企科技有限公司 视频编码模式决策方法、装置、设备及存储介质
CN113382245A (zh) * 2021-07-02 2021-09-10 中国科学技术大学 图像划分方法和装置
CN115118977A (zh) * 2022-08-29 2022-09-27 华中科技大学 针对360度视频的帧内预测编码方法、系统及介质
CN115118977B (zh) * 2022-08-29 2022-11-04 华中科技大学 针对360度视频的帧内预测编码方法、系统及介质

Similar Documents

Publication Publication Date Title
KR102442270B1 (ko) 인트라 예측 방법 및 그 장치
CN109804626B (zh) 用于对图像进行编码和解码的方法和设备以及用于存储比特流的记录介质
KR20220004781A (ko) 영상 부호화/복호화 방법 및 장치
KR20170058866A (ko) 영상 부호화/복호화 방법 및 장치
CN111919447A (zh) 用于对图像进行编码/解码的方法和装置以及存储有比特流的记录介质
KR101902700B1 (ko) Hevc 부호화 장치 및 그것을 이용한 화면 내 예측 부호화 처리 방법
CN106254870B (zh) 采用自适性色彩转换的视频编码方法、系统和计算机可读取记录介质
US20190028732A1 (en) Moving image encoding device, moving image encoding method, and recording medium for recording moving image encoding program
KR20130112374A (ko) 고속 인트라 예측을 위한 영상 부호화 방법 및 장치
EP3741116A1 (en) Quantization group for video coding
KR102558803B1 (ko) 잔차 신호에 대한 예측 방법 및 장치
Ting et al. Gradient-based PU size selection for HEVC intra prediction
CN114339218A (zh) 图像编码方法、图像编码装置、电子设备和可读存储介质
JP2024501929A (ja) 動画予測符号化の方法および装置
KR20220114548A (ko) 비디오 코딩에서 제로-아웃이 감소된 저주파수 비-분리형 변환 (lfnst)
KR101928185B1 (ko) Hevc 부호화 장치 및 그것을 이용한 코딩 유닛 깊이 범위 예측 방법
KR20160106348A (ko) 비디오 부호화 방법 및 그 장치
KR102472462B1 (ko) 영상 복잡도에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치
CA3198095A1 (en) Multi-pass decoder-side motion vector refinement
KR102183366B1 (ko) 부호화 모드 결정 방법 및 그 장치
CN113841404A (zh) 视频编码/解码方法和设备以及存储比特流的记录介质
KR20150135803A (ko) 영상의 부호화 방법 및 이를 이용하는 장치
KR20150124127A (ko) 동영상 부호화에서 블록의 분할 정보를 이용한 비트율 추정 방법 및 블록의 분할 정보를 이용한 동영상 부호화 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant