KR20210037198A - 신호 성분간 연관성을 이용한 변환 계수 부호화 및 복호화 방법과 장치 - Google Patents

Abstract

본 발명은 신호 성분간 연관성을 이용한 변환 계수 부호화 및 복호화 방법과 장치를 제공한다.

Description

신호 성분간 연관성을 이용한 변환 계수 부호화 및 복호화 방법과 장치{.}

본 발명은 영상 부호화/복호화 방법 및 장치에 관한 것으로, 보다 상세하게는 블록의 분할 트리 구조에 따라서 현재 블록의 양자화된 변환 계수를 부호화 및 복호화하는 방법에 관한 것이다.

최근, 인터넷에서는 동영상과 같은 멀티미디어 데이터의 수요가 급격히 증가하고 있다. 하지만 채널(Channel)의 대역폭(Bandwidth)이 발전하는 속도는 급격히 증가하고 있는 멀티미디어 데이터의 양을 따라가기 힘든 상황이다. 이에 따라, 국제 표준화 기구인 ITU-T의 VCEG(Video Coding Expert Group)과 ISO/IEC의 MPEG(Moving Picture Expert Group)은 2014년 2월, 동영상 압축 표준인 HEVC(High Efficiency Video Coding) 버전1을 제정하였다.

HEVC에서는 화면 내 예측(또는 인트라 예측), 화면 간 예측(또는 인터 예측), 변환, 양자화, 엔트로피 부호화 및 인-루프 필터 등의 기술을 정의하고 있다.

본 발명은 비디오 신호의 코딩 효율을 향상시키고자 함에 있다.

상기 과제를 해결하기 위하여 본 발명은 신호 성분간 연관성을 이용한 변환 계수 부호화 및 복호화 방법과 장치를 제공한다.

본 발명은 영상의 휘도, 색차 성분의 양자화된 변환 계수를 부호화/복호화 할 때, 다른 예측 모드가 적용된 블록들의 양자화된 변환 계수를 부호화/복호화할 때와 비교하여 코딩 정보 전송의 일관성을 유지시키는 방법을 제안하고 있다.

도 1은 영상 부호화 장치를 나타낸 흐름도이다.
도 2는 영상 복호화 장치는 나타낸 흐름도이다.
도 3은 현재 블록의 cu_cbf 정보를 coding_unit 단에서 부호화/복호화하는 방법을 나타낸 수도 코드이다.
도 4는 현재 블록의 tu_cbf_luma 정보를 transform_unit 단에서 부호화/복호화하는 방법을 나타낸 수도 코드이다.
도 5는 문맥 적응적 이진화 산술 부호화 방법의 일 실시예를 설명하기 위한 도면이다.
도 6은 문맥 적응적 이진화 산술 복호화 방법의 일 실시예를 설명하기 위한 도면이다.
도 7은 본 실시예에 따른 현재 블록의 cu_cbf 정보를 coding_unit 단에서 부호화/복호화하는 방법을 나타낸 수도 코드이다.
도 8은 본 실시예에 따른 현재 블록의 tu_cbf_luma 정보를 transform_unit 단에서 부호화/복호화하는 방법을 나타낸 수도 코드이다.
도 9는 본 실시예에 따른 싱글 트리 구조에서 cu_cbf, tu_cbf_luma, tu_cbf_cb, tu_cbf_cr 정보를 결정하는 방법을 나타낸 표이다.
도 10은 본 실시예에 따른 색차 듀얼 트리 구조에서 cu_cbf, tu_cbf_luma, tu_cbf_cb, tu_cbf_cr 정보를 결정하는 방법을 나타낸 표이다.

도 1은 영상 부호화 장치의 구성을 간략하게 나타낸 블록 흐름도이다. 영상 부호화 장치는 영상을 부호화하는 장치로써 크게 블록 분할부, 예측부, 변환부, 양자화부, 엔트로피 부호화부, 역 양자화부, 역 변환부, 가산부, 인루프 필터부, 메모리부, 감산부를 포함할 수 있다.

블록 분할부(101)는 최대 크기의 부호화 하고자 하는 블록(이하, 최대 부호화 블록이라 칭함)으로부터 최소 크기의 부호화 하고자 하는 블록(이하, 최소 부호화 블록이라 칭함)까지 분할해 나간다. 블록 분할 방법에는 다양한 방법이 있다. 쿼드-트리 분할(이하, QT(Quad-Tree) 분할이라 칭함)은 현재 부호화 블록을 정확히 사분하는 분할이다. 이진-트리 분할(이하, BT(Binary-Tree) 분할이라 칭함)은 부호화 블록을 가로 방향 혹은 세로 방향으로 정확히 이분하는 분할이다. 삼진-트리 분할(이하, TT(Ternary-Tree) 분할이라 칭함)은 부호화 블록을 가로 방향 혹은 세로 방향으로 1:2:1의 비율로 삼분하는 분할이다. BT 분할과 TT 분할을 통칭 MTT(Multi-Type Tree) 분할이라 칭할 수도 있다. 이 외에 다양한 분할 방법이 있을 수 있다. 이러한 여러 분할 방법들을 동시에 고려하여 분할해 나가는 방법도 가능하다. 또한, 블록 분할부에서 휘도 성분과 색차 성분의 블록 분할이 독립적으로 수행되는 경우를 듀얼 트리, 휘도 성분과 색차 성분의 블록 분할이 동일하게 수행되는 경우를 싱글 트리라고 지칭하고, 전술한 두 분할 방법은 최대 블록 혹은 픽쳐 혹은 슬라이스 등 다양한 단위에서 그 분할 타입을 결정하여 각 성분의 블록 분할을 수행해 나갈 수 있다. 듀얼 트리인 경우, 휘도 성분을 위한 트리 타입은 휘도 듀얼 트리, 색차 성분을 위한 트리 타입은 색차 듀얼 트리라 지칭한다.

예측부(102)는 현재 원본 블록에서 현재 예측 하고자 하는 블록(이하, 예측 블록이라 칭함)의 주변 화소나 이전에 이미 부호화/복호화가 끝난 참조 픽쳐 내 화소들을 이용하여 예측 블록을 생성한다. 예측 블록은 부호화 블록 내에서 1개 혹은 그 이상의 예측 블록들이 생성될 수 있다. 부호화 블록 내 예측 블록이 1개일 경우, 예측 블록은 부호화 블록과 동일한 형태이다. 동영상 신호의 예측 기술에는 크게 화면 내 예측, 화면 내 블록 카피 예측과 화면 간 예측으로 구성 되어 있는데, 화면 내 예측은 현재 블록의 주변의 복원 화소들을 이용하여 예측 블록을 생성하는 방식이고, 화면 내 블록 카피 예측은 현재 픽쳐의 복원 영역에서 현재 블록과 가장 유사한 블록을 찾아서 예측 블록을 생성하는 방식이다. 화면 간 예측은 이전에 이미 부호화/복호화가 끝난 참조 픽쳐에서 현재 블록과 가장 유사한 블록을 찾아서 예측 블록을 생성하는 방식이다. 그 후, 원본 블록과 예측 블록을 뺀 잔차 블록을 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 등 다양한 기법을 이용하여 예측 블록의 최적 예측 모드를 결정한다. RDO 비용 계산식은 수학식 1과 같다.

D, R, J는 각각 양자화에 의한 열화, 압축 스트림의 레이트, RD 비용이고, Φ는 부호화 모드, λ는 라그랑지안 승수(Lagrangian multiplier)로 에러의 양과 비트량 간의 단위를 일치시키기 위한 스케일 보정용 계수로 사용한다. 부호화 과정에서 최적의 부호화 모드로 선택되기 위해서는 해당 모드를 적용했을 때의 J 즉, RD-비용값이 다른 모드를 적용했을 때보다 작아야 하는데, RD-비용값을 구하는 식에는 비트율과 에러를 동시에 고려하여 계산한다.

전술한 화면 내 예측부에서는 ISP 모드가 적용될 수 있다. ISP 모드는 현재 블록을 N 개의 서브 블록으로 나누고, 서브 블록 별로 부호화/복호화를 진행한다. 먼저 복원된 서브 블록은 다음 서브 블록의 참조 정보로써 사용될 수 있다. 이때, 각각의 서브 블록은 동일한 화면 내 예측 모드를 이용한다. 또한, BDPCM 모드를 포함할 수도 있다. BDPCM 모드는 수직 혹은 수평 방향의 화면 내 예측 모드에만 적용되는 모드로써, 본 특허에서 상세한 설명은 생략한다.

변환부(103)는 원본 블록과 예측 블록의 차이인 잔차 블록을 변환하여 변환 블록을 생성한다. 변환 블록은 변환 및 양자화 과정을 위해 사용되는 가장 작은 단위이다. 변환부는 잔차 신호를 주파수 영역으로 변환하여 변환 계수를 가지는 변환 블록을 생성한다. 여기서 잔차 신호를 주파수 영역으로 변환하는 방법으로는 이산 코사인 변환(DCT: Discrete Cosine Transform)기반 변환, 이산 사인 변환(DST: Discrete Sine Transform), KLT(Karhunen Loeve Transform) 등 다양한 변환 기법을 이용할 수 있으며, 이를 이용하여 잔차 신호가 주파수 영역으로 변환되어 변환 계수가 생성 된다. 변환 기법을 편하게 사용하기 위해 기저벡터(basis vector)를 이용하여 행렬 연산을 하게 되는데 예측 블록이 어떤 예측 모드로 부호화 되었는지에 따라서 행렬 연산 시 변환 기법들을 다양하게 섞어 사용할 수 있다. 예를 들어, 화면 내 예측 시 예측 모드에 따라 가로 방향으로는 이산 코사인 변환을 사용하고 세로 방향으로는 이산 사인 변환을 사용 할 수도 있다.

양자화부(104)는 변환 블록을 양자화 하여 양자화된 변환 블록을 생성한다. 즉, 양자화부는 변환부(103)로부터 생성되는 변환 블록의 변환 계수들을 양자화 하여 양자화된 변환 계수를 가지는 양자화된 변환 블록(Quantized Transform Coefficient)을 생성한다. 양자화 방법으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization) 또는 양자화 가중치 행렬 (Quantization Weighted Matrix) 등이 이용될 수 있지만, 이를 개량한 양자화 등 다양한 양자화 방법이 이용될 수 있다.

한편, 이상에서는 영상 부호화 장치가 변환부 및 양자화부를 포함하는 것을 도시하고 설명 했지만, 변환부 및 양자화부는 선택적으로 포함될 수 있다. 즉, 영상 부호화 장치는 잔차 블록을 변환하여 변환 블록을 생성하고 양자화 과정은 수행하지 않을 수 있으며, 잔차 블록을 주파수 계수로 변환하지 않고 양자화 과정만을 수행할 수 있을 뿐만 아니라, 심지어는 변환과 양자화 과정을 모두 수행하지 않을 수 있다. 영상 부호화 장치에서 변환부와 양자화부 중 일부 과정이 수행되지 않거나, 모든 과정이 수행 되지 않더라도 엔트로피 부호화부의 입력으로 들어가는 블록을 통상적으로 '양자화된 변환 블록'이라 일컫는다.

엔트로피 부호화부(105)는 양자화된 변환 블록을 부호화하여 비트스트림을 출력한다. 즉, 엔트로피 부호화부는 양자화부로부터 출력되는 양자화된 변환 블록의 계수들을 엔트로피 부호화(Entropy Encoding) 등 다양한 부호화 기법을 이용하여 부호화하고, 후술하는 영상 복호화 장치에서 해당 블록을 복호화 하는데 필요한 부가적인 정보들(예를 들면, 예측 모드에 대한 정보(예측 모드에 대한 정보란 예측부에서 결정된 움직임정보 혹은 화면 내 예측 모드 정보 등이 포함될 수 있음), 양자화 계수 등)을 포함하는 비트스트림을 생성하고 출력한다.

도 5는 엔트로피 부호화부에서 문맥 적응적 이진화 산술 부호화 방법의 일 실시예를 설명하기 위한 도면이다. 문맥 적응적 이진화 산술 과정이란 블록 내의 부호화된 정보를 심볼화하고 상황에 따라 확률 정보를 이용하여 심볼의 발생 확률을 다르게 적용하여 부호화하는 과정을 말한다. 여기서, 확률 정보란 이진화된 정보에서 0과 1의 발생 확률을 말한다. 두 정보의 발생 확률은 이전 복원된 정보와 동일하게 할 수도 있고, 다르게 할 수도 있다. 또는, 이전 복원된 정보에 따라 M개의 확률 정보를 가질 수도 있다. 이때 M개의 확률 정보는 확률 테이블의 형태로 표현될 수도 있다. 먼저, 확률 초기화가 수행된다(S501). 확률 초기화란 이진화된 정보들을 확률 정보에 설정되어 있는 확률로 확률 구간을 나누는 과정이다. 단, 어떤 확률 정보를 사용할 것인지는 부호화 장치 또는 복호화 장치에서 임의로 기 설정된 규칙에 의해 동일한 조건을 사용할 수도 있고, 별도로 확률 정보가 부호화될 수도 있다. 초기 확률 구간은 기 설정된 규칙에 의해 부호화/복호화 과정에서 동일하게 결정될 수도 있다. 혹은 초기 확률 구간을 새로 부호화하여 사용할 수도 있다. 혹은 확률 초기화를 안하고 이전에 사용한 코딩 파라미터의 확률 구간과 확률 정보를 가져올 수도 있다. 부호화할 현재 코딩 파라미터의 이진 정보가 결정되면(S502), 현재 코딩 파라미터의 이진화된 정보는 동일 코딩 파라미터의 이전 확률 정보를 이용하여 부호화된다(S503). 그리고, 이후에 부호화될 이진 정보들을 위해 확률 정보와 확률 구간이 업데이트(S504)될 수 있다. 그리고, 다음 부호화될 코딩 파라미터 정보가 존재하는 경우(S505), 다음 코딩 파라미터 정보로 이동하여(S506), 전술한 과정을 반복한다. 만약 다음 부호화될 코딩 파라미터 정보가 존재하지 않는다면 본 흐름도는 종료된다. 각 코딩 파라미터 별로 기 설정된 M개의 확률 정보들 중, 최적 확률 정보를 선택적으로 사용하여 부호화 또는 복호화가 진행될 수 있다.

역 양자화부(106)는 양자화된 변환 블록에 대하여 양자화 시에 사용한 양자화 기법을 역으로 수행하여 역 양자화 변환 블록을 복원한다.

역 변환부(107)는 변환 시에 사용한 방법과 동일한 방법을 이용하여 역 양자화 변환 블록을 역 변환하여 잔차 블록을 복원하는데, 변환부에서 이용한 변환 기법을 역으로 수행하여 역 변환한다.

한편, 이상에서는 역 양자화부와 역 변환부는 양자화부와 변환부에서 사용한 양자화 방식과 변환 방식을 역으로 사용하여 역 양자화 및 역 변환 할 수 있다. 또한 변환부와 양자화부에서 양자화만을 수행하고 변환을 수행하지 않은 경우에는 역 양자화만을 수행하고 역 변환을 수행하지 않을 수 있다. 만약, 변환 및 양자화를 모두 수행하지 않은 경우, 역 양자화부와 역 변환부도 역 변환 및 역 양자화를 모두 수행하지 않거나 영상 부호화 장치에 포함되지 않고 생략 될 수 있다.

가산부(108)는 역 변환부에서 생성된 잔차 신호와, 예측을 통하여 생성된 예측 블록을 가산하여 현재 블록을 복원한다.

필터부(109)는 현재 픽쳐 내 모든 블록들이 복원된 이후, 픽쳐 전체에 걸쳐서 추가적으로 필터링 해주는 과정으로 디블로킹 필터링, SAO(Sample Adaptive Offset) 등이 있다. 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, SAO(Sample Adaptive Offset)란 복원 화소에 특정 값을 감산하거나 가산함으로써, 복원 영상과 원본 영상간 차이를 최소화시키는 작업을 말한다.

메모리(110)는 역 변환부에서 생성된 잔차 신호와, 예측을 통하여 생성된 예측 블록을 가산한 후, 인루프 필터부에서 추가적인 필터링을 거친 복원된 현재 블록을 저장하며, 다음 블록 또는 다음 사진 등을 예측하는데 활용 될 수 있다.

감산부(111)는 현재 원본 블록에서 예측 블록을 감산하여 잔차 블록을 생성한다.

도 2은 영상 복호화 장치의 구성을 간략하게 나타낸 블록 흐름도이다. 영상 복호화 장치는 영상을 복호화하는 장치로써, 크게 블록 엔트로피 복호화부, 역 양자화부, 역 변환부, 예측부, 가산부, 인루프 필터부, 메모리부를 포함할 수 있다. 영상 부호화 장치에서 부호화 블록은 영상 복호화 장치에서 복호화 블록이라 칭한다.

엔트로피 복호화부(201)는 영상 부호화 장치로부터 전송받은 비트스트림을 해석하여 해당 블록을 복호화 하는데 필요한 여러 정보들과 양자화된 변환 계수를 읽어 들인다.

도 6은 엔트로피 복호화부에서 문맥 적응적 이진화 산술 복호화 방법의 일 실시예를 설명하기 위한 도면이다. 부호화 장치와 달리, 복호화 장치에서는 확률 정보 및 구간을 이용하여 코딩 파라미터의 이진 정보를 복호화(S602)한 후, 현재 코딩 파라미터의 정보를 결정(S603)한다. 이 외 도 10의 복호화 방법은 도 3의 부호화 방법에 대응되므로 상세한 설명은 생략한다. 각 코딩 파라미터 별로 주변에 이미 복원된 정보(또는 코딩 파라미터)들을 이용하여 기 설정된 M개의 확률 정보들 중, 최적 확률 정보를 선택적으로 사용하여 부호화 또는 복호화가 진행될 수 있다.

역 양자화부(202)는 엔트로피 복호화부에서 복호화한 양자화 계수에 대하여 양자화 시에 사용한 양자화 기법을 역으로 수행하여 역 양자화된 계수를 가지는 역 양자화되 블록을 복원한다.

역 변환부(203)는 변환 시에 사용한 방법과 동일한 방법을 이용하여 역 양자화 변환 블록을 역 변환하여 차분 신호를 가지는 잔차 블록을 복원하는데, 변환부에서 이용한 변환 기법을 역으로 수행하여 역 변환한다.

예측부(204)는 엔트로피 복호화부에서 복호화한 예측 모드 정보를 이용하여 예측 블록을 생성하는데, 이는 영상 부호화 장치의 예측부에서 수행했던 예측 방식과 동일한 방식을 이용한다.

필터부(206)는 현재 픽쳐 내 모든 블록을 복원한 이후, 픽쳐 전체에 걸쳐서 추가적인 필터링은 하는 과정으로 디블로킹 필터링, SAO(Sample Adaptive Offset) 등이 있으며, 상세한 내용은 기 전술한 영상 부호화 장치의 인루프 필터부에서 설명한 바와 동일하다.

메모리(207)는 역 변환부에서 생성된 잔차 신호와, 예측을 통하여 생성된 예측 블록을 가산한 후, 인루프 필터부에서 추가적인 필터링을 거친 복원된 현재 블록을 저장하며, 다음 블록 또는 다음 사진 등을 예측하는데 활용 될 수 있다.

도 3은 휘도 성분 블록의 잔차 신호 정보를 부호화/복호화 하는 방법을 나타낸 것이다. 본 수도코드에서 x0, y0는 현재 블록의 좌표를 의미하고, cbWidth, cbHeight는 현재 블록의 가로, 세로 길이를 의미하고, treeType, modeType은 분할 타입, 현재 블록의 예측 모드를 의미한다. pred_mode_plt_flag는 현재 블록의 예측 모드가 팔레트 모드인지 아닌지를 알려주는 정보로써, 팔레트 모드에 대한 상세한 설명은 본 특허에서 생략한다. General_merge_flag는 현재 블록이 화면 간 예측 모드 혹은 화면 내 블록 카피 예측 모드일 경우, 복원된 움직임 정보를 이용하여 현재 블록의 최적 움직임 정보로써 그대로 적용할지 말지를 알려주는 정보이다. cu_cbf는 휘도, 색차 성분의 모든 양자화된 변환 계수들 중에서 1개라도 0이 아닌 계수가 존재하는지를 알려주는 정보이다. cu_cbf 정보는 coding_unit단에서 해당 정보가 부호화/복호화되며, 해당 정보가 참일 경우에는 transform_unit단에서 각 성분 별로 양자화된 변환 계수가 1개라도 0이 아닌지를 독립적으로 부호화/복호화한다. cu_cbf가 전송되지 않을 경우, 하기 설명하는 방법으로 영상 부호화 장치와 영상 복호화 장치에서 암시된다. 만약 현재 블록이 skip 모드이거나 팔레트 모드인 경우에는 cu_cbf는 0으로 암시된다. 그렇지 않을 경우에는 cu_cbf는 1로 암시된다.

전술한 바대로, transform_unit단에서는 각 성분 별로 양자화된 변환 계수가 1개라도 0이 아닌지를 알려주는 정보를 부호화/복호화한다. transform_unit단은 cu_cbf 정보가 1인 경우에만 수행된다. 현재 코딩하고자 하는 성분이 휘도 성분인 경우에는 이를 tu_cbf_luma라는 정보로 부호화/복호화한다. 도 4에서는 해당 정보를 부호화/복호화하는 방법에 대해서 설명할 것이다.

도 4의 수도코드에서 x0, y0는 현재 블록의 좌표를 의미하고, tbWidth, tbHeight는 현재 변환 블록의 가로, 세로 길이를 의미하고, treeType은 블록 분할 타입을 의미한다. subTuIndex, chType은 현재 블록에서 현재 코딩하고자 하는 변환 블록의 색인 정보, 현재 treeType이 색차 듀얼 트리인지 아닌지를 의미한다. tu_cbf_luma 정보는 현재 블록 분할 타입이 싱글 트리 혹은 휘도 듀얼 트리일 경우에만 부호화/복호화된다. cu_sbt_flag, cu_sbt_pos_flag 정보는 현재 블록의 일부 영역에서만 변환을 수행할지 말지를 알려주는 정보 및 변환 수행 영역 위치를 알려주는 정보이다. tu_cbf_cb, tu_cbf_cr은 색차 성분인 Cb, Cr 성분 블록에서 양자화된 변환 계수가 1개라도 0이 아닌지를 알려주는 정보로써, 싱글 트리에서는 tu_cbf_luma를 부호화/복호화 하기 전에 기 부호화/복호화된다. MaxTbSizeY는 변환이 수행될 수 있는 가장 큰 사이즈 정보로써 상위헤더에서 전송된다. CuPredMode는 현재 블록의 예측 모드를 의미한다. IntraSubPartitionSplitType은 현재 블록이 ISP 모드의 여러 서브 모드들 중, 어떤 서브 모드를 이용하여 코딩했는지를 알려주는 정보이고, ISP_NO_SPLIT은 ISP 모드가 off 되었음을 알려주는 정보이다. NumIntraSubPartition은 현재 블록이 ISP 모드로 코딩된 경우, 몇 개의 변환 블록으로 현재 블록이 나뉘었는지를 알려주는 정보이다. InferTuCbLuma 정보는 최초 참으로 초기값이 설정된다.

전술한 설명을 바탕으로, tu_cbf_luma 정보를 도 4의 수도코드에서 서술된 여러 조건들의 조합으로 부호화/복호화한다. tu_cbf_luma가 전송되지 않을 경우, 하기 설명하는 방법으로 영상 부호화 장치와 영상 복호화 장치에서 암시된다. 만약 cu_sbt_flag가 참이되어서, 현재 블록이 복수개의 서브 변환 블록으로 분할 되고 일부 서브 변환 블록만 변환을 수행하는 경우, 현재 코딩하고자 하는 서브 변환 블록의 위치가 변환이 수행되지 않은 서브 변환 블록이라면 tu_cbf_luma를 부호화/복호화하지 않고 0으로 암시한다. 그렇지 아니한 경우에는 tu_cbf_luma를 모두 1로 암시한다.

엔트로피 부호화부, 복호화부에서 tu_cbf_luma의 문맥 적응적 이진 산술 부호화, 복호화를 수행하기 위해서는 tu_cbf_luma의 초기 확률 정보가 필요하다. 초기 확률 정보는 1개 이상이 있을 수 있고, 각 초기 확률 정보에는 0과 1의 초기 확률 정보를 포함하고 있다. 현재 예측 모드가 BDPCM 모드인 경우, tu_cbf_luma를 1번 초기 확률 정보에 기초하여 0과 1의 확률 정보를 업데이트 해나갈 수 있다. 그렇지 않고, 현재 예측 모드에 ISP가 수행되지 않는 경우, tu_cbf_luma를 0번 초기 확률 정보에 기초하여 0과 1의 확률 정보를 업데이트 해나갈 수 있다. 그렇지 않고, 현재 예측 모드에 ISP가 수행되면서 현재 서브 블록이 블록의 첫 번째 서브 블록이거나 현재 서브 블록의 이전 서브 블록에 대한 tu_cbf_luma가 거짓인 경우, tu_cbf_luma를 2번 초기 확률 정보에 기초하여 0과 1의 확률 정보를 업데이트 해나갈 수 있다. 그렇지 않고, 현재 예측 모드에 ISP가 수행되면서 현재 서브 블록의 이전 서브 블록에 대한 tu_cbf_luma가 참인 경우, tu_cbf_luma를 3번 초기 확률 정보에 기초하여 0과 1의 확률 정보를 업데이트 해나갈 수 있다. 여기서 확률 정보 업데이트는 도 5, 6의 S504, S604 단계에서 수행될 수 있다.

색차 성분의 양자화된 변환 계수를 부호화할 때, 색차 성분의 두가지 성분인, cb, cr 성분의 양자화된 변환 계수를 각각 전송하지 않고, cb, cr 성분의 합작 양자화된 변환 계수를 생성하고 이를 전송할 수 있다. 또한, 이를 블록 단위로 플래그 1비트(이하, 'tu_joint_cbcr_residual_flag'라 칭함) 전송을 통해 합작 양자화된 변환 계수를 이용하여 cb, cr 성분의 양자화된 변환 계수를 전송할지 말지를 결정할 수 있다. cb, cr 성분의 실제 양자화된 변환 계수는 영상 부호화 장치와 영상 복호화 장치에서 합작 양자화된 변환 계수를 통해 동일하게 유도할 수도 있다. 수학식 2, 3은 cb, cr 성분의 합작 양자화된 변환 계수를 생성하는 방법이다.

resJointC는 cb, cr 성분의 합작 양자화된 변환 계수이고, cb_residual은 cb 성분의 실제 양자화된 변환 계수이고, cr_residual은 cr 성분의 실제 양자화된 변환 계수이다. α, β는 각각 cb_residual, cr_residual에 적용되는 가중치이다. cSign은 -1 혹은 1의 값을 갖는 부호 정보로써, 상위 헤더에서 기 전송될 수도 있고, 블록 단위로 전송될 수도 있다. 합작 양자화된 변환 계수를 만드는 두가지 방법 중, 블록 단위로 어떤 방법을 사용 하였는지는 실제 양자화된 변환 계수의 tu_cbf_cb, tu_cbf_cr의 상태에 따라서 영상 부호화 장치와 영상 복호화 장치에서 동일하게 결정한다. tu_cbf_cr 정보만 1인 경우에는 수학식 3을 이용하여 합작 양자화된 변환 계수를 만들고, 그 외에는 수학식 2를 이용하여 합작 양자화된 변환 계수를 만든다. 실제 양자화된 변환 계수의 tu_cbf_cb, tu_cbf_cr 정보가 모두 0이었다면, 합작 양자화된 변환 계수를 만들지 않고, 종래의 방법으로 양자화된 변환 계수를 전송한다.

수학식 4, 5는 각각 수학식 2, 3을 통해 생성된 합작 양자화된 변환 계수 정보를 이용하여 cb 성분의 양자화된 변환 계수(resCb), cr 성분의 양자화된 변환 계수(resCr)를 만드는 방법을 설명하기 위한 것이다.

수학식 4, 5에서

는 resJointC 정보가 직접적으로 가리키지 성분의 반대 성분 resJointC 정보의 가중치이다. 여기서 γ는 α, β, cSign의 값에 따라서 결정된다.

(실시예 1)

본 실시예에서는 전술한 cu_cbf, tu_cbf_luma 정보를 부호화하는 방법에 대해서 설명할 것이다.

전술한 설명에 따르면 cu_cbf는 휘도, 색차 성분의 양자화된 변환 계수가 1개라도 0이 아닌 계수가 존재하는지를 알려주는 정보이다. 그러나, 듀얼 트리 구조에서는 이러한 정보를 부호화/복호화할 필요가 없다. 듀얼 트리에서는 각 성분 별로 cu_cbf의 부호화/복호화 없이 transform_unit단에서 tu_cbf_luma, tu_cbf_cb, tu_cbf_cr 정보를 이용하여 각 성분 별로 해당 성분 블록들이 양자화된 변환 계수가 1개라도 0이 아닌 계수가 존재하는지를 알려주면 된다. 따라서, 도 7의 수도 코드처럼 현재 treeType이 싱글 트리인 경우에만 cu_cbf를 부호화/복호화 할 수 있다. 해당 조건이 붙지 않는 도 3의 수도 코드에서는 휘도 듀얼 트리 구조에서 현재 블록이 화면 내 블록 카피 예측 모드가 적용될 경우, cu_cbf 정보가 부호화/복호화되고, 도 4의 tu_cbf_luma 정보는 기 전송된 cu_cbf 정보의 값으로 암시된다. 이러한 부호화/복호화 방법은 코드의 직관성을 저해하고, 다른 조건에서의 tu_cbf_luma 정보를 부호화/복호화하는 방법과 일관성을 떨어뜨리게 한다. 이러한 문제점을 해결하기 위해 cu_cbf 정보는 싱글 트리에서만 부호화/복호화하고, 휘도 듀얼 트리, 색차 듀얼 트리 구조에서는 transform_unit단에서 각 성분 별로 tu_cbf_luma, tu_cbf_cb, tu_cbf_cr 정보를 부호화/복호화하여 각 성분 별 블록 단위로 양자화된 변환 계수가 1개라도 0이 아닌 계수가 존재하는지 여부를 알려주게 할 수 있다.

도 8은 본 실시예에 따른 transform_unit단에서 tu_cbf_luma 정보를 전송하는 방법을 나타내는 수도코드이다. 도 8의 수도 코드는 도 4의 수도 코드와 비교하여 tu_cbf_luma 정보를 전송하기 위한 조건문이 추가되었다. 해당 조건문은 밑줄 친 부분이다.

전술한 도 7, 8의 수도 코드처럼 조건문을 수정할 경우, 휘도 듀얼 트리 구조에서 현재 블록이 화면 내 블록 카피 예측이 적용되었을 경우 cu_cbf 정보로 휘도 성분의 양자화된 변환 계수가 1개라도 0이 아닌 것이 존재하는지 여부를 부호화/복호화하는 것이 아니라, tu_cbf_luma 정보로 부호화/복호화할 수 있다.

엔트로피 부호화부, 복호화부에서 tu_cbf_luma의 문맥 적응적 이진 산술 부호화, 복호화를 수행하기 위해 tu_cbf_luma의 초기 확률 정보를 하기 후술하는 방법을 통해 결정할 수도 있다.

현재 예측 모드가 BDPCM 모드인 경우, tu_cbf_luma를 1번 초기 확률 정보에 기초하여 0과 1의 확률 정보를 업데이트 해나갈 수 있다. 그렇지 않고, 현재 예측 모드가 화면 내 블록 카피 예측인 경우, tu_cbf_luma를 2번 초기 확률 정보에 기초하여 0과 1의 확률 정보를 업데이트 해나갈 수 있다. 그렇지 않고, 현재 예측 모드에 ISP가 수행되지 않는 경우, tu_cbf_luma를 0번 초기 확률 정보에 기초하여 0과 1의 확률 정보를 업데이트 해나갈 수 있다. 그렇지 않고, 현재 예측 모드에 ISP가 수행되면서 현재 서브 블록이 블록의 첫 번째 서브 블록이거나 현재 서브 블록 이전의 서브 블록에 대한 tu_cbf_luma가 거짓인 경우, tu_cbf_luma를 3번 초기 확률 정보에 기초하여 0과 1의 확률 정보를 업데이트 해나갈 수 있다. 그렇지 않고, 현재 예측 모드에 ISP가 수행되면서 현재 서브 블록의 이전 서브 블록에 대한 tu_cbf_luma가 참인 경우, tu_cbf_luma를 4번 초기 확률 정보에 기초하여 0과 1의 확률 정보를 업데이트 해나갈 수 있다. 여기서 각 초기 확률 정보에는 서로 다른 0과 1의 초기 확률 정보가 있을 수도 있고. 일부 같은 초기 확률 정보가 있을 수도 있는 등 다양한 방법으로 확률 정보를 설정할 수 있다.

tu_cbf_luma의 초기 확률 정보 결정 방법은 기 설정된 방법에 의해 부호화/복호화 장치에서 동일하게 이용하거나, 상위 헤더에서 여러 방법들 중에서 특정 방법을 지칭한 정보를 전송하여 이용할 수도 있다.

(실시예 2)

본 실시예에서는 블록 분할 트리 구조에 따라서 cu_cbf, tu_cbf_luma, tu_cbf_cb, tu_cbf_cr 정보를 이용하여 휘도 성분과 색차 성분의 양자화된 변환 계수 정보를 부호화/복호화하는 방법에 대해서 설명할 것이다.

싱글 트리 구조에서 cu_cbf 정보의 의미를 휘도, 색차 성분의 양자화된 변환 계수가 1개라도 0이 아닌 계수가 존재하는지를 알려주는 정보가 아니라, 다양한 의미로 변형시킬 수 있다. 도 9는 싱글 트리 구조에서 cu_cbf 정보의 의미에 따라서 tu_cbf_luma, tu_cbf_cb, tu_cbf_cr 정보를 해석하는 방법에 대해서 5가지 예시를 통해 설명할 것이다. 단, cu_cbf 정보는 tu_cbf_luma, tu_cbf_cb, tu_cbf_cr 정보에 앞서 기 전송된다.

cbf 정보 암시 방법 A는 cu_cbf 정보에 tu_cbf_luma 정보는 무조건 내포시키고, tu_cbf_cb, tu_cbf_cr 정보를 부분적으로 내포시키는 것이다. cu_cbf 정보가 0, 2인 경우에는 모든 cbf 정보가 암시 받고, cu_cbf 정보가 1, 3인 경우에는 tu_cbf_cb, tu_cbf_cr 정보를 알 수 없으므로, 이를 전송하여 tu_cbf_cb, tu_cbf_cr 정보를 결정할 수 있다. 이 때, tu_cbf_cb, tu_cbf_cr 정보는 모두 0일 수는 없으므로, 3가지 가능한 조합이 나올 수 있다. (0, 1), (1, 0), (1, 1) 중 어떤 조합으로 tu_cbf_cb, tu_cbf_cr 정보가 결정 되었는지를 전송하여 tu_cbf_cb, tu_cbf_cr 정보를 결정할 수 있다.

cbf 정보 암시 방법 B는 cu_cbf 정보에 tu_cbf_cb, tu_cbf_cr 정보는 무조건 내포시키고, tu_cbf_luma 정보는 부분적으로 내포시키는 것이다. cu_cbf 정보가 0, 1일 경우에는 모든 cbf 정보를 암시 받고, cu_cbf 정보가 2, 3, 4인 경우에는 tu_cbf_luma 정보를 알 수 없으므로, 이를 전송하여 tu_cbf_luma 정보를 결정할 수 있다.

cbf 정보 암시 방법 C는 cu_cbf 정보에 tu_cbf_cb, tu_cbf_cr 정보가 같지 않을 경우에만 tu_cbf_luma 정보를 내포시키지 않는 것이다. cu_cbf 정보가 0, 1, 2, 3일 경우에는 모든 cbf 정보를 암시 받고, cu_cbf 정보가 4, 5인 경우에는 tu_cbf_luma 정보를 알 수 없으므로, 이를 전송하여 tu_cbf_luma 정보를 결정할 수 있다.

cbf 정보 암시 방법 D는 cu_cbf 정보에 tu_cbf_cb, tu_cbf_cr 정보가 같지 않을 경우에만 tu_cbf_cb, tu_cbf_cr 정보를 내포시키지 않는 것이다. cu_cbf 정보가 0, 1, 2, 3일 경우에는 모든 cbf 정보를 암시 받고, cu_cbf 정보가 4, 5인 경우에는 tu_cbf_cb, tu_cbf_cr 정보를 알 수 없으므로, 이를 전송하여 tu_cbf_cb, tu_cbf_cr 정보를 결정할 수 있다. 이 때, tu_cbf_cb, tu_cbf_cr 정보는 모두 같아야 하므로 2가지 가능한 조합이 있다. (0, 0) 혹은 (1, 1) 조합 중, 어떤 조합으로 tu_cbf_cb, tu_cbf_cr 정보가 결정 되었는지를 전송하여 tu_cbf_cb, tu_cbf_cr 정보를 결정할 수 있다.

도 9에는 도시되지 않았지만 cbf 정보 암시 방법 E는 cu_cbf 정보에 tu_cbf_luma, tu_cbf_cb, tu_cbf_cr 모든 정보를 내포시키는 것이다. 즉 cu_cbf 정보가 0~7까지 8개의 색인 정보가 있을 수 있고, 각 색인 정보 별로 tu_cbf_luma, tu_cbf_cb, tu_cbf_cr 정보가 각각 (0, 0, 0), (0, 0, 1), (0, 1, 0), (1, 0, 0), (0, 1, 1), (1, 0, 1), (1, 1, 0), (1, 1, 1)로 할당될 수 있는 것이다. 색인 정보 8개 중, 하나를 전송하여, 현재 블록의 tu_cbf_luma, tu_cbf_cb, tu_cbf_cr 정보의 값을 암시 받을 수 있으므로, tu_cbf_luma, tu_cbf_cb, tu_cbf_cr 정보는 전송하지 않는다.

이외에도 다양한 조합으로 싱글 트리 구조에서 cu_cbf 정보를 이용하여 tu_cbf_luma, tu_cbf_cb, tu_cbf_cr 정보를 효율적으로 결정할 수 있다.

휘도 듀얼 트리 구조에서는 현재 블록의 휘도 성분에 대한 양자화된 변환 계수가 모두 0인지 아닌지를 알려주는 정보를 tu_cbf_luma 정보 대신하여 cu_cbf 정보를 전송할 수도 있고, cu_cbf 정보를 전송하지 않고 tu_cbf_luma 정보로 전송할 수도 있다.

색차 듀얼 트리 구조에서 cu_cbf 정보의 의미를 색차 성분의 양자화된 변환 계수가 1개라도 0이 아닌 계수가 존재하는지를 알려주는 정보가 아니라, 다양한 의미로 변형시킬 수 있다. 도 10은 싱글 트리 구조에서 cu_cbf 정보의 의미에 따라서 tu_cbf_cb, tu_cbf_cr 정보를 해석하는 방법에 대해서 2가지 예시를 통해 설명할 것이다. 단, cu_cbf 정보는 tu_cbf_cb, tu_cbf_cr 정보에 앞서 기 전송된다.

cbf 정보 암시 방법 A는 cu_cbf 정보에 tu_cbf_cb, tu_cbf_cr 정보를 무조건 내포시키는 것이다. cu_cbf 정보에 따라서 tu_cbf_cb, tu_cbf_cr 정보가 영상 부호화 장치와 영상 복호화 장치에서 동일하게 암시된다.

cbf 정보 암시 방법 B는 cu_cbf 정보에 tu_cbf_cb 정보만을 내포시키는 것이다. cu_cbf 정보가 0이면 tu_cbf_cb 정보는 0이고 tu_cbf_cr 정보는 결정되지 않았으므로, 이를 전송하여 tu_cbf_cr 정보를 결정한다. cu_cbf 정보가 1이면 tu_cbf_cb 정보는 1이고 tu_cbf_cr 정보는 결정되지 않았으므로, 이를 전송하여 tu_cbf_cr 정보를 결정한다.

이외에도 다양한 조합으로 싱글 트리 구조에서 cu_cbf 정보를 이용하여 tu_cbf_luma, tu_cbf_cb, tu_cbf_cr 정보를 효율적으로 결정할 수 있다.

(실시예 3)

본 실시예에서는 cb, cr 성분의 양자화된 변환 계수 정보를 합작 양자화된 변환 계수 정보를 이용하여 부호화, 복호화 하는 방법에 대해서 설명할 것이다.

전술한 바에 따르면, 현재 블록에 합작 양자화된 변환 계수 정보를 이용하여 양자화된 변환 계수 정보를 전송할 지 말지를 결정하는 플래그 정보인 tu_joint_cbcr_residual_flag가 블록 단위로 전송된다. 현재 블록에 해당 기술이 적용될 경우, 영상 부호화 장치에서 합작 양자화된 변환 계수를 tu_cbf_cb, tu_cbf_cr 정보를 이용하여 수학식 2 혹은 수학식 3으로 유도하고 이를 영상 복호화 장치로 전송한다. 영상 부호화 장치와 영상 복호화 장치에서는 합작 양자화된 변환 계수를 이용하여 cb, cr 성분의 양자화된 변환 계수를 수학식 4, 5를 이용하여 동일하게 유도한다.

이 때, 수학식 2와 3에서 cb, cr 성분의 실제 양자화된 변환 계수에 적용되는 가중치 정보 α, β는 영상 부호화 장치에서 최적 가중치 정보를 결정하여 이를 전송할 수도 있고, 영상 부호화 장치와 영상 복호화 장치에서 동일하게 유도할 수도 있다.

최적 가중치 정보를 전송할 경우, 기 설정된 가중치 세트 중에서 최적 가중치 세트에 해당하는 색인 정보를 전송할 수도 있고, 각 α, β의 가중치 값을 직접 전송할 수도 있다.

최적 가중치 정보를 영상 부호화 장치와 영상 복호화 장치에서 동일하게 유도하는 방법에는 여러가지가 있을 수 있다. 현재 블록 주변의 복원된 블록의 양자화된 변환 계수를 이용할 수 있다. 예를 들어, 현재 블록의 좌측에 인접한 복원 블록에서 cb, cr 성분의 양자화된 변환 계수 에너지 비율이 3:1이고, 상단에 인접한 복원 블록에서 cb, cr 성분의 양자화된 변환 계수 에너지 비율이 5:2인 경우, cb 성분의 양자화된 변환 계수에 적용되는 가중치 α는 (3/4 + 5/7) / 2의 값인 0.7을 할당하고, β는 1-0.7인 0.3에 가중치를 할당할 수 있다. 즉, 주변 복원 영역 내 cb, cr 성분의 양자화된 변환 계수의 에너지 비율에 따라서 α, β를 결정할 수 있다. 혹은 tu_cbf_cb, tu_cbf_cr 정보에 따라서 기설정된 디폴트 가중치 정보를 이용할 수도 있다.

전술한 설명은 tu_joint_cbcr_residual_flag 정보가 tu_cbf_cb, tu_cbf_cr 정보보다 나중에 전송 됐을 경우를 전제하여 설명한 것이다. 그러나 tu_joint_cbcr_residual_flag 정보가 tu_cbf_cb, tu_cbf_cr 정보보다 먼저 기 전송 될 수도 있다. 이럴 경우에는 tu_cbf_cb, tu_cbf_cr 정보를 이용하여 영상 부호화 장치와 영상 복호화 장치에서 tu_cbf_cb, tu_cbf_cr 정보를 이용한 합작 양자화된 변환 계수를 생성하는 방법을 이용할 수 없다. 다만, tu_joint_cbcr_residual_flag 정보가 참일 경우에는 tu_cbf_cb, tu_cbf_cr가 최소 하나라도 1이어야 하므로, tu_joint_cbcr_residual_flag 정보가 참으로 전송되고, tu_cbf_cb 정보가 0으로 전송된 경우, tu_cbf_cr 정보를 전송하지 않고 1로 암시할 수 있다. 혹은 tu_cbf_cr 정보가 먼저 0으로 전송된 경우라면 tu_cbf_cr 정보를 전송하지 않고 1로 암시할 수도 있다.

Claims (1)

1. 신호 성분간 연관성을 이용한 변환 계수 부호화 방법.

Images