KR101711896B1 - 상위깊이 및 현재깊이의 부호화 정보를 이용한 영상 부호화 방법 및 장치 - Google Patents

상위깊이 및 현재깊이의 부호화 정보를 이용한 영상 부호화 방법 및 장치 Download PDF

Info

Publication number
KR101711896B1
KR101711896B1 KR1020150063403A KR20150063403A KR101711896B1 KR 101711896 B1 KR101711896 B1 KR 101711896B1 KR 1020150063403 A KR1020150063403 A KR 1020150063403A KR 20150063403 A KR20150063403 A KR 20150063403A KR 101711896 B1 KR101711896 B1 KR 101711896B1
Authority
KR
South Korea
Prior art keywords
encoding
encoding unit
current
unit
intra
Prior art date
Application number
KR1020150063403A
Other languages
English (en)
Other versions
KR20160131337A (ko
Inventor
김재곤
장재규
최호열
양안나
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020150063403A priority Critical patent/KR101711896B1/ko
Publication of KR20160131337A publication Critical patent/KR20160131337A/ko
Application granted granted Critical
Publication of KR101711896B1 publication Critical patent/KR101711896B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

상위깊이의 부호화 정보 및 현재깊이의 부호화 정보 중 적어도 어느 하나를 이용하여 영상 부호화 장치의 복잡도를 감소시키고 영상 부호화를 고속으로 구현할 수 있는 영상 부호화 방법이 개시되며, 영상 부호화 방법은 (a) 현재 부호화 유닛에 대응하는 상위 서브(sub) 부호화 유닛의 부호화 정보를 수집하는 단계, (b) 상기 현재 부호화 유닛에 대해 인트라(Intra) 예측 모드로 부호화하는 단계, (c) 상기 현재 부호화 유닛에 대한 인트라 부호화 정보를 수집하는 단계, 및 (d) 상기 상위 서브 부호화 유닛의 부호화 정보 및 상기 현재 부호화 유닛의 인트라 부호화 정보 중 적어도 어느 하나에 기초하여, 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하기로 결정하는 단계를 포함할 수 있다.

Description

상위깊이 및 현재깊이의 부호화 정보를 이용한 영상 부호화 방법 및 장치{METHOD AND APPARATUS FOR ENCODING VIDEO USING CODING INFORMATION IN UPPER DEPTH AND CURRENT DEPTH}
본원은 영상 부호화의 복잡도를 감소시킬 수 있는 고속 영상 부호화 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 가지는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.
영상 압축 기술의 표준안 중 하나인 HEVC(High Efficiency Video Coding)는 기본 부호화 단위로 CTB (Coding Tree Block)를 사용하며, CTB는 다양한 크기의 정사각형 모양으로 정의될 수 있다. CTB는 주로 부호화 유닛/단위(Coding Unit)라고 부른다. 부호화 유닛(CU)은 쿼드트리(Quad Tree)의 구조를 가질 수 있으며, 크기가 64×64인 가장 큰 부호화 유닛(Largest Coding Unit)일 때 깊이(depth)를 0으로 하여 깊이가 3이 될 때까지, 즉, 8×8크기의 부호화 유닛(CU)까지 반복적(Recursive)으로 부호화가 수행된다. 또한, 하나의 부호화 유닛(CU)은 다수개의 블록으로 분할되어 예측에 사용될 수 있으며, 예측의 기본 단위는 예측 유닛(Prediction Unit)으로 정의될 수 있다.
영상 압축 기술로서 시간적으로 이전 및/또는 이후의 영상으로부터 현재 영상에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 영상 내의 화소 정보를 이용하여 현재 영상에 포함된 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.
한편, 통상적인 영상 부호화 방법에 따르면, 여러 후보의 부호화 유닛(CU), 예측 유닛(PU)에 대하여 율-왜곡 값(RD cost)을 계산하고, 계산된 율-왜곡 값에 기초하여 최적의 유닛 및 부호화 기법을 결정한다. 이러한 통상적인 영상 부호화 방법에 따르면, 최적의 부호화 유닛을 결정할 수 있어 높은 부호화 효율을 얻을 수 있으나, 부호화 복잡도가 증가하고 그에 따라 부호화 속도를 향상시키는데 있어서 한계가 있었다. 본원의 배경이 되는 기술은 대한민국 공개특허공보 제 10-2013-0003718호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 현재 깊이의 부호화 유닛에 대응하는 상위 깊이의 서브 부호화 유닛의 부호화 정보 및 현재 깊이의 부호화 유닛의 부호화 정보를 이용하여 현재 깊이의 부호화 유닛에 대한 최적의 예측 부호화 모드를 조기에 결정하고, 하위 깊이의 부호화 유닛에 대한 일부 예측 부호화 과정을 생략할 수 있는 영상 부호화 방법 및 장치를 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 영상 부호화 장치에서의 영상 부호화 방법은 (a) 현재 부호화 유닛에 대응하는 상위 서브(sub) 부호화 유닛의 부호화 정보를 수집하는 단계, (b) 상기 현재 부호화 유닛에 대해 인트라(Intra) 예측 모드로 부호화하는 단계, (c) 상기 현재 부호화 유닛에 대한 인트라 부호화 정보를 수집하는 단계, 및 (d) 상기 상위 서브 부호화 유닛의 부호화 정보 및 상기 현재 부호화 유닛의 인트라 부호화 정보 중 적어도 어느 하나에 기초하여, 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하기로 결정하는 단계를 포함할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 영상 부호화 장치는 현재 부호화 유닛에 대응하고, 상기 현재 부호화 유닛의 크기와 동일한 크기를 가지는 상위 서브 부호화 유닛의 부호화 정보를 수집하는 상위 정보 수집부, 상기 현재 부호화 유닛에 대해 인트라(Intra) 예측 모드로 부호화하는 부호화부, 상기 현재 부호화 유닛에 대한 인트라 부호화 정보를 수집하는 현재 정보 수집부, 및 상기 상위 서브 부호화 유닛의 부호화 정보 및 상기 현재 부호화 유닛의 인트라 부호화 정보 중 적어도 어느 하나에 기초하여, 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하기로 결정하는 모드 결정부를 포함할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, (a) 현재 부호화 유닛에 대응하는 상위 서브(sub) 부호화 유닛의 부호화 정보를 수집하는 단계, (b) 상기 현재 부호화 유닛에 대해 인트라(Intra) 예측 모드로 부호화하는 단계, (c) 상기 현재 부호화 유닛에 대한 인트라 부호화 정보를 수집하는 단계, 및 (d) 상기 상위 서브 부호화 유닛의 부호화 정보 및 상기 현재 부호화 유닛의 인트라 부호화 정보 중 적어도 어느 하나에 기초하여, 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하기로 결정하는 단계를 포함하는 영상 부호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 현재 깊이의 부호화 유닛에 대응하는 상위 깊이의 서브 부호화 유닛의 부호화 정보 및 및 현재 깊이의 부호화 유닛의 부호화 정보를 이용하여 현재 깊이의 부호화 유닛에 대한 최적의 예측 부호화 모드를 조기에 결정하고, 하위 깊이의 부호화 유닛에 대한 일부 예측 부호화 과정을 생략함으로써, 부호화 복잡도를 낮추고 부호화 속도 및 효율을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 방법의 대상이 되는 부호화 유닛의 구조를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화 방법의 흐름도이다.
도 4는 본 발명의 다른 일 실시예에 따른 영상 부호화 방법의 흐름도이다.
도 5는 본 발명의 또 다른 일 실시예에 따른 영상 부호화 방법의 흐름도이다.
도 6은 본 발명의 또 다른 일 실시예에 따른 영상 부호화 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 블록도이다. 또한, 도 2는 본 발명의 일 실시예에 따른 영상 부호화 방법의 대상이 되는 부호화 유닛의 구조를 나타내는 도면이다. 이하에서는 도 1 및 도 2를 참조하여, 본 발명의 일 실시예에 따른 영상 부호화 장치에 대하여 설명한다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 상위 정보 수집부(110), 현재 정보 수집부(120), 부호화부(130) 및 모드 결정부(140)를 포함할 수 있다. 영상 부호화 장치(100)는 입력받은 영상 데이터를 부호/복호화 할 수 있는 서버, 장치 또는 디바이스를 포함한다.
부호화 유닛(Coding Unit: CU)은 영상 이미지의 부호화/복호화가 수행되는 단위를 의미할 수 있다. 부호화 대상 영상 이미지 내의 하나의 코딩 블록은 쿼드 트리 구조(Quad Tree Structure)를 기반으로 깊이(Depth)를 가지며 반복적으로 분할될 수 있다. 이 때, 더 이상 분할되지 않는 코딩 블록이 부호화 유닛에 해당될 수 있으며, 부호화 유닛은, 예를 들어, 64x64, 32x32, 16x16, 8x8 등의 여러 크기를 가질 수 있다. 또한, 하나의 부호화 유닛(CU)내에서 예측 유닛(Prediction Unit)별로 부호화가 수행된다.
도 2에 도시된 바와 같이, 상위 깊이의 부호화 유닛(210)은 2N x 2N의 크기를 가진다. 또한, 상위 깊이의 부호화 유닛(210)은 4개의 서브 부호화 유닛(211, 212, 213, 214)으로 나눠질 수 있다. 각각의 서브 부호화 유닛(211, 212, 213, 214)은 N x N의 크기를 가진다.
쿼드 트리 구조의 상위 깊이의 부호화 유닛(210)은 그 하위 깊이(예를 들어, 현재 깊이)의 부호화 유닛(221, 222, 223, 224)으로 분할될 수 있다. 현재 깊이의 부호화 유닛(221, 222, 223, 224)은 각각 상위 깊이의 부호화 유닛(210)의 크기의 절반인 N x N의 크기를 가질 수 있다. 이와 같이, 현재 부호화 유닛(221, 222, 223, 224)은 각각 상위 깊이의 서브 부호화 유닛(211, 212, 213, 214)에 대응한다. 예를 들어, 제1현재 부호화 유닛(221)은 제1상위 서브 부호화 유닛(211)과 대응하고, 제2현재 부호화 유닛(222)은 제2상위 서브 부호화 유닛(212)과 대응하고, 제3현재 부호화 유닛(223)은 제3상위 서브 부호화 유닛(213)과 대응하고, 제4현재 부호화 유닛(224)은 제4상위 서브 부호화 유닛(214)과 대응한다. 또한, 각각의 현재 부호화 유닛(221, 222, 223, 224)의 크기는 대응하는 각각의 상위 깊이의 서브 부호화 유닛(211, 212, 213, 214)의 크기와 동일하다. 또한, 현재 깊이의 부호화 유닛(221, 222, 223, 224)의 각각은 4개의 서브 부호화 유닛으로 나눠질 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 현재 깊이의 부호화 유닛(224)은 크기가 동일한 4개의 서브 부호화 유닛(231, 232, 233, 234)으로 나눠질 수 있다.
다시, 도 1을 참조하여, 상위 정보 수집부(110)는 현재 부호화 유닛에 대응하는 상위 서브(sub) 부호화 유닛의 부호화 정보를 수집할 수 있다. 상위 서브 부호화 유닛의 부호화 정보는 상위 깊이의 각각의 서브 부호화 유닛(211, 212, 213, 214)에 대하여 부호화를 수행하고 나서 생성되는 부호화 정보로서, 본 발명의 일 실시예에 따르면, 상위 정보 수집부(110)는 부호화의 대상이 되는 현재 부호화 유닛(221, 222, 223, 224)에 대응하는 상위 서브 부호화 유닛(211, 212, 213, 214)의 상위 sub-CBF(Coded Block Flag)값을 수집할 수 있다. CBF는 부호화해야할 예측오차 신호의 변환 계수가 0인지를 나타내는 플래그로, 상위깊이 sub-CBF는 상위 깊이의 4개의 서브 부호화 유닛(211, 212, 213, 214)에 대한 각각의 CBF를 말한다. CBF 가 0인 경우, 해당 부호화 유닛에 대하여 부호화가 잘 되었음을 나타낸다. 또한, 상위 정보 수집부(110)는 상위 서브 부호화 유닛(211, 212, 213, 214)에 대한 인트라 스킵 플래그(Intra Skip flag) 값을 수집할 수 있다. 상위 서브 부호화 유닛(211, 212, 213, 214)의 인트라 스킵 플래그는 상위 서브 부호화 유닛에 대한 최적의 예측 부호화 모드가 인트라 스킵 모드인지 여부를 나타내는 정보이다.
또한, 본 발명의 다른 일 실시예에 따르면, 상위 정보 수집부(110)는 부호화의 대상이 되는 현재 부호화 유닛(221, 222, 223, 224)에 대응하는 상위 서브 부호화 유닛(211, 212, 213, 214)의 인트라 플래그(Intra Flag) 값을 더 수집할 수 있다. 상위 서브 부호화 유닛(211, 212, 213, 214)의 인트라 플래그는 상위 서브 부호화 유닛에 대한 최적의 예측 부호화 모드가 인트라 예측 모드인지 여부를 나타내는 정보이다.
또한, 본 발명의 다른 일 실시예에 따르면, 상위 정보 수집부(110)는 부호화의 대상이 되는 현재 부호화 유닛(221, 222, 223, 224)에 대응하는 상위 서브 부호화 유닛(211, 212, 213, 214)의 서브 부호화 비용을 더 수집할 수 있다. 본 발명의 일 실시예에 따르면, 상기 서브 부호화 비용은 상위 서브 부호화 유닛(211, 212, 213, 214)의 각각에 대하여 인트라(Intra) 예측 모드로 부호화를 수행하였을 때의 부호화 비용이다. 예를 들어, 상기 서브 부호화 비용은 SAD(Sum of Absolute Difference) 값, SSD(Sum of Squared Difference) 값 및 SATD(Sum of Absolute Transformed Difference) 값 중 적어도 어느 하나를 포함하는 율-왜곡 비용(R-D cost)일 수 있다.
현재 정보 수집부(120)는 현재 부호화 유닛(221, 222, 223, 224)에 대한 부호화 정보를 수집한다. 본 발명의 일 실시예에 따르면, 현재 정보 수집부(120)는 현재 부호화 유닛(221, 222, 223, 224)에 대한 인트라 부호화 정보를 수집할 수 있다. 현재 부호화 유닛(221, 222, 223, 224)에 대한 인트라 부호화 정보는 현재 부호화 유닛(221, 222, 223, 224)에 대해 인트라 예측 부호화를 수행했을 때의 현재 CBF 값을 포함할 수 있다. 또한, 현재 부호화 유닛(221, 222, 223, 224)의 인트라 부호화 정보는 현재 부호화 유닛의 복수의 sub-CBF 값을 포함할 수 있다. 예를 들어, 현재 부호화 유닛(224)의 인트라 부호화 정보는, 도 2에 도시된 바와 같이, 서브 부호화 유닛(231, 232, 233, 234) 각각에 대해 인트라 예측 부호화를 수행했을 때의 4개의 sub-CBF 값을 포함할 수 있다.
또한, 본 발명의 다른 일 실시예에 따르면, 현재 정보 수집부(120)는 현재 부호화 유닛(221, 222, 223, 224)의 부호화 비용을 계산할 수 있다. 현재 정보 수집부(120)는 현재 부호화 유닛(221, 222, 223, 224)이 인터 예측 모드로 부호화되었을 때의 인터 부호화 비용을 계산할 수 있다. 예를 들어, 현재 정보 수집부(120)는 현재 부호화 유닛(221, 222, 223, 224)에 대하여 인터 2N x 2N 예측 모드, 인터 Sym 예측 모드, 인터 aSym 예측 모드로 부호화했을 때의 비용을 계산하고, 그 중 최소 값을 가지는 부호화 비용을 결정하여 메모리에 저장할 수 있다. 머지 스킵 모드, 인터 2N x 2N 예측 모드는 부호화 유닛을 전체 크기인 2N x 2N 하나의 블록으로 하여 부호화하는 모드이고, 인터 Sym 예측 모드는 부호화 유닛을 2개의 대칭 예측 유닛(Prediction Unit)으로 나누어 부호화하는 모드이고, 인터 aSym 예측 모드는 부호화 유닛을 2개의 비대칭 예측 유닛으로 부호화하는 모드이다
부호화부(130)는 상위 부호화 유닛(211, 212, 213, 214), 현재 부호화 유닛(221, 222, 223, 224) 및 하위 깊이의 부호화 유닛(미도시)에 대해 후술하는 모드 결정부(140)의 결정에 기초하여 인터 예측 모드 부호화 또는 인트라 예측 모드 부호화를 수행할 수 있다.
모드 결정부(140)는 상위 정보 수집부(110)가 수집한 상위 서브 부호화 유닛의 부호화 정보 및 현재 정보 수집부(120)가 수집한 현재 부호화 유닛의 인트라 부호화 정보 중 적어도 어느 하나에 기초하여, 하위 깊이의 부호화 유닛에 대한 예측 부호화 모드를 결정할 수 있다. 또한, 모드 결정부(140)는 상위 서브 부호화 유닛의 부호화 정보에 기초하여, 상위 서브 부호화 유닛의 각각에 대응하는 현재 부호화 유닛에 대한 예측 부호화 모드를 결정할 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따르면, 모드 결정부(140)는 부호화 대상이 되는 현재 부호화 유닛(221, 222, 223, 224)에 대응하는 상위 서브 부호화 유닛(211, 212, 213, 214)의 인트라 스킵 플래그 값이 참(true)으로 설정되어 있는지 여부를 판단한다. 상위 서브 부호화 유닛(211, 212, 213, 214)의 인트라 스킵 플래그 값이 참(true)으로 설정되어 있는 경우, 모드 결정부(140)는 현재 깊이 부호화 유닛 및 하위 깊이 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하기로 결정한다. 상위 서브 부호화 유닛(211, 212, 213, 214)의 인트라 스킵 플래그 값이 참(true)으로 설정되어 있는 경우, 모드 결정부(140)는 인트라 부호화에 있어서는 상위 깊이 부호화 유닛의 인트라 부호화 성능이 충분히 좋고, 상위 깊이 부호화 유닛이 최적이라고 판단한다.
또한, 모드 결정부(140)는 현재 부호화 유닛(221, 222, 223, 224)의 인트라 부호화 정보 및 대응하는 상위 서브 부호화 유닛(211, 212, 213, 214)의 부호화 정보 중 적어도 어느 하나에 기초하여, 현재 부호화 유닛(221, 222, 223, 224)에 대한 인트라 스킵 플래그(Intra Skip Flag) 값을 참(true)으로 설정한다. 또한, 모드 결정부(140)는 상기 참(true)으로 설정된 현재 부호화 유닛에 대한 인트라 스킵 플래그 값에 기초하여, 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하기로 결정할 수 있다. 즉, 모드 결정부(140)는 현재 부호화 유닛에 대한 인트라 스킵 플래그 값이 참으로 설정되어 있는 경우, 인트라 부호화에 있어서는 현재 부호화 유닛이 최적이라고 판단하고, 부호화부(130)는 하위 깊이의 부호화 유닛에 대해서는 인터 예측 부호화 과정을 수행하고, 더 이상 분할을 진행하지 않고 인트라 예측 부호화 과정은 생략할 수 있다.
본 발명의 일 실시예에 따르면, 상위 서브 부호화 유닛(211, 212, 213, 214)의 인트라 스킵 플래그 값이 참(true)으로 설정되어 있지 않은 경우, 모드 결정부(140)는 부호화 대상이 되는 현재 부호화 유닛(221, 222, 223, 224)을 인트라 예측 모드로 부호화 하였을 때의 현재 CBF값이 0인지 판단한다. 현재 CBF 값이 0인 경우, 모드 결정부(140)는 부호화 대상이 되는 현재 부호화 유닛(221, 222, 223, 224)에 대한 인트라 스킵 플래그(Intra Skip Flag) 값을 참(true)으로 설정할 수 있다.
한편, 현재 CBF 값이 0이 아닌 경우, 모드 결정부(140)는 부호화 대상이 되는 현재 부호화 유닛(221, 222, 223, 224)에 대응하는 상위 서브 부호화 유닛(211, 212, 213, 214)의 sub-CBF 값이 0이고, 부호화 대상이 되는 현재 부호화 유닛(221, 222, 223, 224)의 복수의 sub-CBF 값(예를 들어, 서브 부호화 유닛(231, 232, 233, 234)의 모든 sub-CBF 값)이 모두 0인지를 판단할 수 있다. 상기 상위 sub-CBF 값이 0이고 상기 현재 부호화 유닛의 복수의 sub-CBF 값이 모두 0인 경우, 모드 결정부(140)는 부호화 대상이 되는 현재 부호화 유닛(221, 222, 223, 224)에 대한 인트라 스킵 플래그(Intra Skip Flag) 값을 참(true)으로 설정할 수 있다.
또한, 참으로 설정된 인트라 스킵 플래그는 하위 깊이로 전달되고, 모드 결정부(140)는 상위 깊이(예를 들어, 현재 깊이)의 부호화 유닛에 대한 인트라 스킵 플래그 값이 참으로 설정되어 있으므로, 인트라 부호화에 있어서는 현재 부호화 유닛이 최적이라고 판단하고, 하위 깊이로의 분할을 제한하고, 하위 깊이의 부호화 유닛에 대해서는 더 이상 인트라 예측 부호화 과정을 수행하지 않는다.
한편, 인트라 부호화에 있어서, 현재 CBF 값이 0이 아니고, 상위 sub-CBF 값이 0이 아니고, 현재 부호화 유닛의 복수의 sub-CBF 값이 0이 아니어서 인트라 스킵 플래그 값이 참으로 설정되어 있지 않은 경우, 부호화부(130)는 하위 깊이의 부호화 유닛에 대한 인터 예측 부호화 과정과 인트라 예측 부호화 과정을 수행할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 모드 결정부(140)는 현재 부호화 유닛(221, 222, 223, 224)에 대응하는 상위 서브 부호화 유닛(211, 212, 213, 214)의 인트라 플래그에 기초하여, 상위 서브 부호화 유닛(211, 212, 213, 214)이 인터 예측 모드로 부호화되었는지 여부를 판단할 수 있다. 또한, 모드 결정부(140)는 상위 정보 수집부(110)가 수집한 상위 서브 부호화 유닛(211, 212, 213, 214)의 상위 sub-CBF값이 0인지 여부를 판단할 수 있다. 상기 판단의 결과, 상위 서브 부호화 유닛(211, 212, 213, 214)의 인트라 플래그가 false 값으로 판정되고, 상위 서브 부호화 유닛(211, 212, 213, 214)의 상위 sub-CBF값이 0인 경우에, 모드 결정부(140)는 현재 부호화 유닛(221, 222, 223, 224)에 대한 예측 부호화 모드를 인터 예측 모드로 결정하고, 앞서 설명한 현재 부호화 유닛(221, 222, 223, 224)에 대한 인트라 부호화 과정을 생략할 수 있다. 예를 들어, 모드 결정부(140)는 현재 부호화 유닛(221, 222, 223, 224)에 대한 예측 부호화 모드를 머지 스킵(Merge Skip) 모드, 인터 2N x 2N 예측 모드로 결정할 수 있다. 또한, 모드 결정부(140)는 현재 부호화 유닛(221, 222, 223, 224)에 대하여 인터 예측 모드의 다음에 예정되어 있는 나머지 예측 부호화 과정을 생략할 수 있다. 예를 들어, 모드 결정부(140)는 현재 부호화 유닛에 대해 인터 2N x 2N 예측 모드 다음의 인터 Sym 예측 모드, 인터 aSym 예측 모드, 인트라 예측 모드의 탐색 과정을 생략할 수 있다.
또한, 본 발명의 다른 일 실시예에 따르면, 모드 결정부(140)는 상위 정보 수집부(110)가 수집한 상위 서브 부호화 유닛(211, 212, 213, 214)의 서브 부호화 비용과 현재 정보 수집부(120)가 수집한 현재 부호화 유닛(221, 222, 223, 224)의 부호화 비용을 비교할 수 있다. 또한, 모드 결정부(140)는 현재 부호화 유닛(221, 222, 223, 224)의 부호화 비용과 현재 부호화 유닛(221, 222, 223, 224)에 대응하는 상위 서브 부호화 유닛(211, 212, 213, 214)의 서브 부호화 비용의 비교 결과에 기초하여 현재 부호화 유닛(221, 222, 223, 224)에 대한 일부 예측 부호화 과정을 생략할 수 있다. 예를 들어, 인트라 예측 모드로 부호화된 상위 서브 부호화 유닛(211, 212, 213, 214)의 부호화 비용보다 인터 예측 모드로 부호화된 현재 부호화 유닛(221, 222, 223, 224)의 부호화 비용이 더 작은 경우, 모드 결정부(140)는 현재 부호화 유닛(221, 222, 223, 224)에 대하여 앞서 설명한 인트라 예측 모드의 부호화 과정을 수행할 필요가 없다고 결정할 수 있다. 예를 들어, 상기 현재 부호화 유닛(221, 222, 223, 224)의 부호화 비용은 인터 2N x 2N 예측 모드, 인터 Sym 예측 모드 및 인터 aSym 예측 모드 중 적어도 어느 하나로 현재 부호화 유닛(221, 222, 223, 224)을 부호화 했을 때의 최소 부호화 비용일 수 있다. 또한, 모드 결정부(140)는 인터 2N x 2N 예측 모드, 인터 Sym 예측 모드 및 인터 aSym 예측 모드 중 최소 부호화 비용을 가지는 예측 모드를 현재 부호화 유닛(221, 222, 223, 224)의 최적의 인터 예측 모드로 결정할 수 있다.
이와 같이, 모드 결정부(140)는 상위 서브 부호화 유닛(211, 212, 213, 214)의 상위 sub-CBF값이 0이고, 최적의 부호화 모드가 인터 예측 모드라고 판단된 경우, 상위 서브 부호화 유닛(211, 212, 213, 214)에 대응하는 현재 부호화 유닛(221, 222, 223, 224)도 인터 예측 모드로 효율적으로 부호화될 수 있다고 결정하고, 나머지 예측 부호화 과정을 생략한다. 또한, 모드 결정부(140)는 현재 부호화 유닛(221, 222, 223, 224)에 대응하는 상위 서브 부호화 유닛(211, 212, 213, 214)의 서브 부호화 비용(예를 들어, 서브 인트라 부호화 비용)이 현재 부호화 유닛(221, 222, 223, 224)을 인트라 예측 모드로 부호화 했을 때의 부호화 비용과 동일 또는 유사하다는 가정하에, 현재 부호화 유닛(221, 222, 223, 224)을 인터 예측 모드로 부호화 했을 때의 부호화 비용(예를 들어, 인터 부호화 비용)보다 상위 서브 부호화 유닛(211, 212, 213, 214)의 서브 인트라 부호화 비용이 더 크다면, 현재 부호화 유닛(221, 222, 223, 224)에 대해서 인트라 예측 모드로 부호화할 필요가 없다고 판단할 수 있다.
이와 같이, 본 발명에 따른 영상 부호화 장치에 따르면, 부호화 대상이 되는 현재 부호화 유닛(221, 222, 223, 224)에 대응하고, 상위 깊이의 부호화 유닛 전체 크기의 일부(예를 들어, 1/4 크기)를 가지는 상위 서브 부호화 유닛(211, 212, 213, 214)에 대한 부호화 정보를 이용하여(예를 들어, 상위 sub-CBF값, 상위 서브 인트라 플래그, 상위 서브 부호화 비용) 현재 부호화 유닛(221, 222, 223, 224)에 대한 최적의 예측 부호화 모드를 결정함으로써, 부호화의 복잡도를 낮추고 부호화 속도 및 효율을 향상시킬 수 있다. 또한, 현재 깊이의 부호화 유닛에 대응하는 상위 깊이의 서브 부호화 유닛의 부호화 정보(예를 들어, 상위 sub-CBF 값, 상위 인트라 스킵 플래그) 및 현재 깊이의 부호화 유닛의 부호화 정보(예를 들어, 현재 CBF값, 현재 sub-CBF값)를 이용하여 현재 깊이의 부호화 유닛에 대한 최적의 예측 부호화 모드를 조기에 결정하고, 하위 깊이의 부호화 유닛에 대한 일부 예측 부호화 과정을 생략함으로써, 부호화 속도 및 효율을 향상시킬 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화 방법의 흐름도이다. 도 3에 도시된 영상 부호화 방법은 앞서 도 1을 통해 설명된 영상 부호화 장치에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 도 1을 통해 영상 부호화 장치에 대하여 설명된 내용은 도 3에도 적용될 수 있다.
단계 S310에서, 본 발명의 일 실시예에 따른 영상 부호화 장치는 현재 부호화 유닛에 대응하는 상위 서브 부호화 유닛의 부호화 정보를 수집할 수 있다. 예를 들어, 상위 깊이의 상위 부호화 유닛은 2N x 2N의 크기를 가지며, N x N의 크기를 가지는 4개의 서브 부호화 유닛으로 나눠질 수 있다. 또한, 4개의 서브 부호화 유닛은 각각 현재 깊이의 현재 부호화 유닛에 대응한다. 따라서, 현재 부호화 유닛의 크기는 대응하는 상위 서브 부호화 유닛의 크기와 동일하다(N x N의 크기).
본 발명의 일 실시예에 따르면, 단계 S310에서, 영상 부호화 장치는 상위 서브 부호화 유닛의 상위 sub-CBF값, 인트라 스킵 플래그 정보, 인트라 플래그 정보, 율-왜곡 비용을 포함하는 서브 부호화 비용 정보 등을 포함하는 상위 서브 부호화 유닛의 부호화 정보를 수집한다.
단계 S320에서, 영상 부호화 장치는 현재 부호화 유닛에 대해 인트라 예측 모드로 부호화를 할 수 있다.
단계 S330에서, 영상 부호화 장치는 상기 단계 S320에서 수행된 현재 부호화 유닛에 대한 인트라 예측 부호화 결과로서 현재 부호화 유닛에 대한 인트라 부호화 정보를 수집할 수 있다. 예를 들어, 상기 현재 부호화 유닛에 대한 인트라 부호화 정보는 현재 부호화 유닛의 인트라 현재 CBF 값, 현재 부호화 유닛의 복수의 인트라 sub-CBF 값을 포함할 수 있다.
단계 S340에서, 영상 부호화 장치는 상기 단계 S310에서 수집한 상위 서브 부호화 유닛의 부호화 정보 및 상기 단계 S330에서 수집한 현재 부호화 유닛의 인트라 부호화 정보 중 적어도 어느 하나에 기초하여 하위 깊이로의 분할을 제한하고, 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략할 수 있다.
따라서, 본 발명의 일 실시예에 따르면, 부호화 대상인 현재 부호화 유닛의 상위 깊이의 블록 전체에 대한 부호화 정보가 아니라, 현재 부호화 유닛에 대응하고, 현재 부호화 유닛과 동일한 크기를 가지는 상위 깊이의 상위 서브 부호화 유닛의 부호화 정보 및 현재 부호화 유닛의 인트라 부호화 정보에 기초하여, 하위 깊이에서의 인트라 예측 부호화 과정을 생략함으로써 부호화의 복잡도를 낮추고 부호화 효율을 향상시킬 수 있다.
도 4는 본 발명의 다른 일 실시예에 따른 영상 부호화 방법의 흐름도이다. 도 4에 도시된 영상 부호화 방법은 앞서 도 1을 통해 설명된 영상 부호화 장치에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 도 1을 통해 영상 부호화 장치에 대하여 설명된 내용은 도 4에도 적용될 수 있다.
단계 S402에서, 본 발명의 일 실시예에 따른 영상 부호화 장치는 부호화 하고자 하는 현재 부호화 유닛에 대응하는 상위 서브 부호화 유닛의 상위 sub-CBF 값 및 인트라 스킵 플래그 정보를 수집한다. 단계 S404에서, 영상 부호화 장치는 상기 단계 S402에서 수집한 상위 서브 부호화 유닛에 대한 인트라 스킵 플래그 정보가 참(true)으로 설정되어 있는지 여부를 판단한다. 상위 서브 부호화 유닛에 대한 인트라 스킵 플래그 정보가 참으로 설정되어 있는 경우, 영상 부호화 장치는 현재 깊이의 부호화 유닛에 대한 후술하는 인트라 예측 부호화 과정(후술하는 단계 S406 내지 S414)을 생략하고, 하위 깊이 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하고 인터 예측 부호화 과정을 수행할 수 있다(후술하는 단계 S420).
한편, 상위 서브 부호화 유닛에 대한 인트라 스킵 플래그 정보가 참으로 설정되어 있지 않은 경우, 단계 S406에서, 영상 부호화 장치는 현재 부호화 유닛에 대해 인트라 예측 모드로 부호화를 수행할 수 있다. 또한, 단계 S408에서, 영상 부호화 장치는 상기 단계 S406에서 수행된 현재 부호화 유닛에 대한 인트라 예측 부호화 결과로서 현재 부호화 유닛에 대한 인트라 현재 CBF 값을 수집할 수 있다. 단계 S410에서, 영상 부호화 장치는 상기 단계 S408에서 수집한 현재 부호화 유닛에 대한 현재 CBF 값이 0인지 판단한다. 판단 결과, 현재 CBF 값이 0이 아닌 경우, 단계 S412에서, 영상 부호화 장치는 현재 부호화 유닛의 복수의 sub-CBF 값을 수집할 수 있다. 예를 들어, 영상 부호화 장치는 현재 부호화 유닛을 동일한 크기를 가지는 4개의 서브 부호화 유닛으로 나누고, 각각의 서브 부호화 유닛에 대한 인트라 sub-CBF 값을 수집할 수 있다.
단계 S414에서, 영상 부호화 장치는 상기 단계 S402에서 수집한 상위 sub-CBF 값이 0이고, 상기 단계 S412에서 수집한 현재 부호화 유닛의 모든 복수의 sub-CBF 값이 0인지 여부를 판단할 수 있다. 판단 결과, 상위 sub-CBF 값이 0이고 모든 현재 sub-CBF 값이 0이라는 조건이 만족되지 않은 경우, 단계 S416에서, 영상 부호화 장치는 하위 깊이 부호화 유닛에 대한 인터 예측 부호화 및 인트라 예측 부호화를 수행할 수 있다.
한편, 단계 S410에서 판단 결과 현재 CBF 값이 0이 거나, 단계 S414에서 판단 결과 상위 sub-CBF 값이 0이고 현재 부호화 유닛의 모든 복수의 sub-CBF 값이 0인 경우, 단계 S418에서 영상 부호화 장치는 현재 부호화 유닛에 대한 인트라 스킵 플래그 값을 참(true)으로 설정할 수 있다. 또한, 단계 S420에서, 영상 부호화 장치는 상기 단계 S418에서 참으로 설정된 현재 부호화 유닛에 대한 인트라 스킵 플래그 값에 기초하여, 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하기로 결정하고, 인터 예측 부호화 과정을 수행할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 영상 부호화 방법에 따르면, 하위 깊이 부터는 참(true) 값의 인트라 스킵 플래그를 상위 깊이 또는 현재 깊이로부터 전달받기 때문에 하위 깊이의 모든 부호화 유닛에 대해 인트라 예측 모드 탐색을 생략하고, 인터 예측 모드 탐색을 수행한다. 따라서, 하위 깊이의 인트라 예측 모드 탐색이 생략되므로 현재 깊이로 최적의 부호화 유닛이 조기 결정되어 하위 깊이로의 부호화 유닛 분할을 조기에 종료할 수 있다.
도 5는 본 발명의 또 다른 일 실시예에 따른 영상 부호화 방법의 흐름도이다. 도 5에 도시된 영상 부호화 방법은 앞서 도 1을 통해 설명된 영상 부호화 장치에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 도 1을 통해 영상 부호화 장치에 대하여 설명된 내용은 도 5에도 적용될 수 있다.
단계 S502에서, 영상 부호화 장치는 현재 부호화 유닛에 대응하는 상위 서브 부호화 유닛으로부터 인트라 스킵 플래그 값, 상위 sub-CBF값 및 인트라 플래그 값을 수집할 수 있다. 단계 S504에서, 영상 부호화 장치는 상기 단계 S502에서 수집한 상위 서브 부호화 유닛의 부호화 정보에 기초하여 현재 부호화 유닛에 대응하는 상위 서브 부호화 유닛의 부호화 모드 및 적격 여부를 판단할 수 있다. 보다 구체적으로, 단계 S504에서, 영상 부호화 장치는 상기 상위 서브 부호화 유닛의 인트라 플래그에 기초하여, 상위 서브 부호화 유닛이 인터(inter) 예측 모드로 부호화 되었는지를 판단할 수 있다. 예를 들어, 영상 부호화 장치는 상기 상위 서브 부호화 유닛의 인트라 플래그가 false값인지를 판단한다. 또한, 단계 S504에서, 영상 부호화 장치는 상기 상위 서브 부호화 유닛의 상위 sub-CBF값이 0인지를 판단한다.
상기 단계 S504에서 판단 결과, 상위 서브 부호화 유닛의 인트라 플래그가 false이고, 상위 서브 부호화 유닛의 상위 sub-CBF값이 0인 경우, 단계 S506에서 영상 부호화 장치는 현재 부호화 유닛에 대한 예측 부호화 모드를 인터 예측 모드로 결정할 수 있다. 예를 들어, 단계 S506에서, 영상 부호화 장치는 현재 부호화 유닛에 대한 예측 부호화 모드를 인터 2N x 2N 예측 모드로 결정할 수 있다.
또한, 단계 S508에서, 영상 부호화 장치는 현재 부호화 유닛에 대한 나머지 예측 부호화 과정을 생략하고, 하위 깊이의 부호화 유닛에 대한 예측 모드 탐색을 진행할 수 있다(단계 S522로 진행). 예를 들어, 단계 S508에서, 영상 부호화 장치는 현재 부호화 유닛에 대해 인터 Sym 예측 모드, 인터 aSym 예측 모드, 인트라 예측 모드의 탐색 과정을 생략할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 영상 부호화 방법에 따르면, 상위 서브 부호화 유닛의 상위 sub-CBF값이 0이고, 최적의 부호화 모드가 인터 예측 모드라고 판단된 경우, 상위 서브 부호화 유닛에 대응하는 현재 부호화 유닛도 인터 예측 모드로 효율적으로 부호화될 수 있다고 결정하고, 나머지 예측 부호화 과정을 생략한다.
한편, 상기 단계 S504에서 판단 결과, 상위 서브 부호화 유닛의 인트라 플래그가 false이고, 상위 서브 부호화 유닛의 상위 sub-CBF값이 0인 조건이 만족되지 않은 경우, 단계 S510에서, 영상 부호화 장치는 상기 단계 S502에서 상위 서브 부호화 유닛으로부터 수집한 인트라 스킵 플래그 정보가 참(true)으로 설정되어 있는지 여부를 판단한다. 상위 서브 부호화 유닛에 대한 인트라 스킵 플래그 정보가 참으로 설정되어 있는 경우, 영상 부호화 장치는 현재 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하고, 하위 깊이 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하고, 인터 예측 부호화 과정을 수행할 수 있다.
한편, 단계 S510에서의 판단 결과, 상위 서브 부호화 유닛에 대한 인트라 스킵 플래그 정보가 참으로 설정되어 있지 않은 경우, 단계 S512에서, 영상 부호화 장치는 현재 부호화 유닛에 대해 인트라 예측 모드로 부호화를 수행할 수 있다. 또한, 단계 S514에서, 영상 부호화 장치는 현재 부호화 유닛에 대한 인트라 현재 CBF 값을 수집할 수 있다. 단계 S516에서, 영상 부호화 장치는 상기 단계 S514에서 수집한 현재 부호화 유닛에 대한 현재 CBF 값이 0인지 판단한다. 판단 결과, 현재 CBF 값이 0이 아닌 경우, 단계 S518에서, 영상 부호화 장치는 현재 부호화 유닛의 복수의 sub-CBF 값을 수집할 수 있다.
단계 S520에서, 영상 부호화 장치는 상기 단계 S502에서 수집한 상위 sub-CBF 값이 0이고, 상기 단계 S518에서 수집한 현재 부호화 유닛의 모든 복수의 sub-CBF 값이 0인지 여부를 판단할 수 있다. 판단 결과, 상위 sub-CBF 값이 0이고 모든 현재 sub-CBF 값이 0이라는 조건이 만족되지 않은 경우, 단계 S522에서, 영상 부호화 장치는 하위 깊이 부호화 유닛에 대한 인터 예측 부호화 및 인트라 예측 부호화를 수행할 수 있다.
한편, 단계 S516에서 판단 결과 현재 CBF 값이 0이거나, 단계 S520에서 판단 결과 상위 sub-CBF 값이 0이고 현재 부호화 유닛의 모든 복수의 sub-CBF 값이 0인 경우, 단계 S524에서 영상 부호화 장치는 현재 부호화 유닛에 대한 인트라 스킵 플래그 값을 참(true)으로 설정할 수 있다. 또한, 단계 S526에서, 영상 부호화 장치는 상기 단계 S524에서 참으로 설정된 현재 부호화 유닛에 대한 인트라 스킵 플래그 값에 기초하여, 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하기로 결정하고, 인터 예측 부호화 과정을 수행할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 영상 부호화 방법에 따르면, 하위 깊이 부터는 참(true) 값의 인트라 스킵 플래그를 상위 깊이 또는 현재 깊이로부터 전달받기 때문에 모든 부호화 유닛에 대해 인트라 예측 모드 탐색을 생략하고, 인터 예측 모드 탐색을 수행한다. 따라서, 하위 깊이의 인트라 예측 모드 탐색이 생략되므로 현재 깊이로 최적의 부호화 유닛이 조기 결정되어 하위 깊이로의 부호화 유닛 분할을 조기에 종료할 수 있다. 또한, 상위 깊이의 서브 부호화 유닛에 대한 sub-CBF와 현재 부호화 유닛의 sub-CBF를 이용하여 하위 깊이에서의 인트라 예측 부호화를 모두 생략함으로써, 부호화 효율을 높일 수 있다.
도 6은 본 발명의 또 다른 일 실시예에 따른 영상 부호화 방법의 흐름도이다. 도 6에 도시된 영상 부호화 방법은 앞서 도 1을 통해 설명된 영상 부호화 장치에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 도 1을 통해 영상 부호화 장치에 대하여 설명된 내용은 도 6에도 적용될 수 있다.
단계 S602에서, 영상 부호화 장치는 현재 부호화 유닛에 대응하는 상위 서브 부호화 유닛으로부터 인트라 스킵 플래그 값, 상위 sub-CBF값 및 상위 서브 부호화 유닛의 서브 인트라 부호화 비용을 수집할 수 있다. 단계 S604에서, 영상 부호화 장치는 현재 부호화 유닛에 대하여 인터 예측 모드로 부호화를 수행하고, 인터 예측 모드로 부호화된 현재 부호화 유닛의 부호화 비용을 계산할 수 있다. 예를 들어, 영상 부호화 장치는 현재 부호화 유닛에 대하여 인터 2N x 2N 예측 모드, 인터 Sym 예측 모드, 인터 aSym 예측 모드의 순서대로 현재 부호화 유닛에 대하여 부호화를 진행하고, 그 중 최소 값을 가지는 부호화 비용을 결정할 수 있다
단계 S606에서, 영상 부호화 장치는 상기 단계 S602에서 수집된 상위 서브 부호화 유닛의 서브 인트라 부호화 비용과 상기 단계 S604에서 계산된 현재 부호화 유닛의 인터 부호화 비용을 비교할 수 있다.
단계 S606에서의 비교 결과, 현재 부호화 유닛의 인터 부호화 비용이 상위 서브 부호화 유닛의 서브 인트라 부호화 비용이 보다 작은 경우, 단계 S608에서, 영상 부호화 장치는 현재 부호화 유닛에 대한 예측 부호화 모드를 인터 예측 모드로 결정할 수 있다.
또한, 단계 S610에서, 영상 부호화 장치는 현재 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하고, 하위 깊이의 부호화 유닛에 대한 예측 모드 탐색을 진행할 수 있다(단계 S624로 진행). 이와 같이, 본 발명의 다른 일 실시예에 따른 영상 부호화 방법에 따르면, 현재 부호화 유닛에 대응하는 상위 서브 부호화 유닛의 서브 인트라 부호화 비용이 현재 부호화 유닛을 인트라 예측 모드로 부호화 했을 때의 부호화 비용과 동일 또는 유사하다는 가정하에, 현재 부호화 유닛을 인터 예측 모드로 부호화 했을 때의 인터 부호화 비용보다 상위 서브 부호화 유닛의 서브 인트라 부호화 비용이 더 크다면, 현재 부호화 유닛에 대해서는 인트라 예측 모드로 부호화할 필요가 없다고 판단할 수 있다.
한편, 상기 단계 S606에서 판단 결과, 상위 서브 부호화 유닛의 서브 인트라 부호화 비용이 현재 부호화 유닛을 인트라 예측 모드로 부호화 했을 때의 부호화 비용보다 같거나 작은 경우, 단계 S612에서, 영상 부호화 장치는 상기 단계 S602에서 상위 서브 부호화 유닛으로부터 수집한 인트라 스킵 플래그 정보가 참(true)으로 설정되어 있는지 여부를 판단한다. 상위 서브 부호화 유닛에 대한 인트라 스킵 플래그 정보가 참으로 설정되어 있는 경우, 영상 부호화 장치는 현재 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하고, 하위 깊이 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하고, 인터 예측 부호화 과정을 수행할 수 있다.
한편, 단계 S612에서의 판단 결과, 상위 서브 부호화 유닛에 대한 인트라 스킵 플래그 정보가 참으로 설정되어 있지 않은 경우, 단계 S614에서, 영상 부호화 장치는 현재 부호화 유닛에 대해 인트라 예측 모드로 부호화를 수행할 수 있다. 또한, 단계 S616에서, 영상 부호화 장치는 현재 부호화 유닛에 대한 인트라 현재 CBF 값을 수집할 수 있다. 단계 S618에서, 영상 부호화 장치는 상기 단계 S616에서 수집한 현재 부호화 유닛에 대한 현재 CBF 값이 0인지 판단한다. 판단 결과, 현재 CBF 값이 0이 아닌 경우, 단계 S620에서, 영상 부호화 장치는 현재 부호화 유닛의 복수의 sub-CBF 값을 수집할 수 있다.
단계 S622에서, 영상 부호화 장치는 상기 단계 S602에서 수집한 상위 sub-CBF 값이 0이고, 상기 단계 S620에서 수집한 현재 부호화 유닛의 모든 복수의 sub-CBF 값이 0인지 여부를 판단할 수 있다. 판단 결과, 상위 sub-CBF 값이 0이고 모든 현재 sub-CBF 값이 0이라는 조건이 만족되지 않은 경우, 단계 S624에서, 영상 부호화 장치는 하위 깊이 부호화 유닛에 대한 인터 예측 부호화 및 인트라 예측 부호화를 수행할 수 있다.
한편, 단계 S618에서 판단 결과 현재 CBF 값이 0이거나, 단계 S622에서 판단 결과 상위 sub-CBF 값이 0이고 현재 부호화 유닛의 모든 복수의 sub-CBF 값이 0인 경우, 단계 S626에서 영상 부호화 장치는 현재 부호화 유닛에 대한 인트라 스킵 플래그 값을 참(true)으로 설정할 수 있다. 또한, 단계 S628에서, 영상 부호화 장치는 상기 단계 S626에서 참으로 설정된 현재 부호화 유닛에 대한 인트라 스킵 플래그 값에 기초하여, 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하기로 결정하고, 인터 예측 부호화 과정을 수행할 수 있다.
전술한 영상 부호화 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 전술한 영상 부호화 방법은 기록 매체에 저장되는 컴퓨터 프로그램의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 영상 부호화 장치 110: 상위 정보 수집부
120: 하위 정보 수집부 130: 부호화부
140: 모드 결정부
210: 상위 부호화 유닛
211, 212, 213, 214: 상위 서브 부호화 유닛
221, 222, 223, 224: 현재 부호화 유닛
231, 232, 233, 234: 현재 서브 부호화 유닛

Claims (23)

  1. 영상 부호화 장치에서의 영상 부호화 방법에 있어서,
    (a) 현재 부호화 유닛에 대응하는 상위 서브(sub) 부호화 유닛의 부호화 정보를 수집하는 단계;
    (b) 상기 현재 부호화 유닛에 대해 인트라(Intra) 예측 모드로 부호화하는 단계;
    (c) 현재 CBF(Coded Block Flag) 값을 포함하는 상기 현재 부호화 유닛에 대한 인트라 부호화 정보를 수집하는 단계; 및
    (d) 상위 sub-CBF값 및 상기 상위 서브 부호화 유닛에 대한 인트라 스킵 플래그 값을 포함하는 상기 상위 서브 부호화 유닛의 부호화 정보 및 상기 현재 부호화 유닛의 인트라 부호화 정보 중 적어도 어느 하나에 기초하여, 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하기로 결정하는 단계,
    를 포함하되,
    상기 (d) 단계에서, 상기 상위 서브 부호화 유닛에 대한 인트라 스킵 플래그 값이 참(true)으로 설정되어 있는지 여부를 판단하고, 상기 상위 서브 부호화 유닛에 대한 인트라 스킵 플래그 값이 참(true)으로 설정되어 있는 경우, 상기 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하기로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1 항에 있어서,
    상기 현재 부호화 유닛의 크기는 상기 상위 서브 부호화 유닛의 크기와 동일한 것을 특징으로 하는 영상 부호화 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    (e) 상기 상위 서브 부호화 유닛의 부호화 정보 및 상기 현재 부호화 유닛의 인트라 부호화 정보 중 적어도 어느 하나에 기초하여, 상기 현재 부호화 유닛에 대한 인트라 스킵 플래그(Intra Skip Flag) 값을 참(true)으로 설정하는 단계,
    를 더 포함하고,
    상기 (d) 단계는 상기 참(true)으로 설정된 현재 부호화 유닛에 대한 인트라 스킵 플래그 값에 기초하여 수행되는 것을 특징으로 하는 영상 부호화 방법.
  5. 제 4 항에 있어서,
    상기 (d) 단계는,
    (d1) 상기 현재 CBF 값이 0인지 판단하는 단계를 포함하고,
    상기 현재 CBF 값이 0인 경우, 상기 (e) 단계에서 상기 현재 부호화 유닛에 대한 인트라 스킵 플래그 값을 참(true)으로 설정하는 것을 특징으로 하는 영상 부호화 방법.
  6. 제 5 항에 있어서,
    상기 현재 부호화 유닛에 대한 인트라 부호화 정보는 상기 현재 부호화 유닛의 복수의 sub-CBF 값을 더 포함하고,
    상기 (d) 단계는,
    (d2) 상기 현재 CBF 값이 0이 아닌 경우, 상기 상위 sub-CBF 값이 0이고, 상기 현재 부호화 유닛의 복수의 sub-CBF 값이 모두 0인지 판단하는 단계를 더 포함하고,
    상기 상위 sub-CBF 값이 0이고 상기 현재 부호화 유닛의 복수의 sub-CBF 값이 모두 0인 경우, 상기 (e) 단계에서 상기 현재 부호화 유닛에 대한 인트라 스킵 플래그 값을 참(true)으로 설정하는 것을 특징으로 하는 영상 부호화 방법.
  7. 삭제
  8. 제 4 항에 있어서,
    (f) 상기 하위 깊이의 부호화 유닛에 대해 인터(inter) 예측 부호화 과정을 수행하는 단계,
    를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  9. 제 1 항에 있어서,
    상기 (b) 단계 이전에,
    (g) 상기 현재 부호화 유닛에 대해 인터 예측 부호화 과정을 수행하는 단계,
    를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제 1 항에 있어서,
    상기 (b) 단계 이전에,
    (h) 상기 상위 서브 부호화 유닛이 인터(inter) 예측 모드로 부호화 되었는지를 판단하는 단계; 및
    (i) 상기 상위 sub-CBF값이 0인지를 판단하는 단계,
    를 더 포함하고,
    상기 상위 서브 부호화 유닛이 인터 예측 모드로 부호화되었고, 상기 상위 sub-CBF값이 0인 경우, 상기 현재 부호화 유닛에 대한 예측 부호화 모드를 인터 예측 모드로 결정하고 상기 현재 부호화 유닛에 대해 상기 (b) 단계, 상기 (c) 단계 및 상기 (d) 단계를 생략하는 것을 특징으로 하는 영상 부호화 방법.
  11. 제 1 항에 있어서,
    상기 상위 서브 부호화 유닛의 부호화 정보는 상기 상위 서브 부호화 유닛의 서브 부호화 비용을 더 포함하고,
    상기 서브 부호화 비용은 SAD(Sum of Absolute Difference) 값, SSD(Sum of Squared Difference) 값 및 SATD(Sum of Absolute Transformed Difference) 값 중 적어도 어느 하나를 포함하는 율-왜곡 비용인 것을 특징으로 하는 영상 부호화 방법.
  12. 제 11 항에 있어서,
    상기 서브 부호화 비용은 인트라(intra) 예측 모드로 부호화된 상기 상위 서브 부호화 유닛의 부호화 비용인 것을 특징으로 하는 영상 부호화 방법.
  13. 제 12 항에 있어서,
    상기 (b) 단계 이전에,
    (j) 상기 현재 부호화 유닛의 부호화 비용을 계산하는 단계; 및
    (k) 상기 상위 서브 부호화 유닛의 서브 부호화 비용과 상기 현재 부호화 유닛의 부호화 비용을 비교하는 단계,
    를 더 포함하고,
    상기 상위 서브 부호화 유닛의 서브 부호화 비용보다 상기 현재 부호화 유닛의 부호화 비용이 더 작은 경우, 상기 현재 부호화 유닛에 대한 예측 부호화 모드를 인터 예측 모드로 결정하고 상기 현재 부호화 유닛에 대해 상기 (b) 단계, 상기 (c) 단계 및 상기 (d) 단계를 생략하고,
    상기 현재 부호화 유닛의 부호화 비용은 인터 예측 모드로 부호화된 부호화 비용인 것을 특징으로 하는 영상 부호화 방법.
  14. 삭제
  15. 제 13 항에 있어서,
    상기 현재 부호화 유닛의 부호화 비용은 인터 2N x 2N 예측 모드, 인터 Sym 예측 모드 및 인터 aSym 예측 모드 중 적어도 어느 하나로 상기 현재 부호화 유닛을 부호화 했을 때의 최소 부호화 비용인 것을 특징으로 하는 영상 부호화 방법.
  16. 영상 부호화 장치에 있어서,
    현재 부호화 유닛에 대응하고, 상기 현재 부호화 유닛의 크기와 동일한 크기를 가지는 상위 서브 부호화 유닛의 부호화 정보를 수집하는 상위 정보 수집부;
    상기 현재 부호화 유닛에 대해 인트라(Intra) 예측 모드로 부호화하는 부호화부;
    현재 CBF(Coded Block Flag) 값을 포함하는 상기 현재 부호화 유닛에 대한 인트라 부호화 정보를 수집하는 현재 정보 수집부; 및
    상위 sub-CBF 값 및 상기 상위 서브 부호화 유닛에 대한 인트라 스킵 플래그 값을 포함하는 상기 상위 서브 부호화 유닛의 부호화 정보 및 상기 현재 부호화 유닛의 인트라 부호화 정보 중 적어도 어느 하나에 기초하여, 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하기로 결정하는 모드 결정부,
    를 포함하되,
    상기 모드 결정부는, 상기 상위 서브 부호화 유닛에 대한 인트라 스킵 플래그 값이 참(true)으로 설정되어 있는지 여부를 판단하고, 상기 상위 서브 부호화 유닛에 대한 인트라 스킵 플래그 값이 참(true)으로 설정되어 있는 경우, 상기 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하기로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  17. 삭제
  18. 제 16 항에 있어서,
    상기 모드 결정부는 상기 상위 서브 부호화 유닛의 부호화 정보 및 상기 현재 부호화 유닛의 인트라 부호화 정보 중 적어도 어느 하나에 기초하여, 상기 현재 부호화 유닛에 대한 인트라 스킵 플래그(Intra Skip Flag) 값을 참(true)으로 설정하고, 상기 참(true)으로 설정된 현재 부호화 유닛에 대한 인트라 스킵 플래그 값에 기초하여 상기 하위 깊이의 부호화 유닛에 대한 인트라 예측 부호화 과정을 생략하는 것을 특징으로 하는 영상 부호화 장치.
  19. 제 18 항에 있어서,
    상기 모드 결정부는,
    상기 현재 CBF 값이 0인지 판단하고,
    상기 현재 CBF 값이 0인 경우, 상기 현재 부호화 유닛에 대한 인트라 스킵 플래그 값을 참(true)으로 설정하는 것을 특징으로 하는 영상 부호화 장치.
  20. 제 19 항에 있어서,
    상기 현재 부호화 유닛에 대한 인트라 부호화 정보는 상기 현재 부호화 유닛의 복수의 sub-CBF 값을 더 포함하고,
    상기 모드 결정부는,
    상기 현재 CBF 값이 0이 아닌 경우, 상기 상위 sub-CBF 값이 0이고, 상기 현재 부호화 유닛의 복수의 sub-CBF 값이 모두 0인지 판단하고,
    상기 상위 sub-CBF 값이 0이고 상기 현재 부호화 유닛의 복수의 sub-CBF 값이 모두 0인 경우, 상기 현재 부호화 유닛에 대한 인트라 스킵 플래그 값을 참(true)으로 설정하는 것을 특징으로 하는 영상 부호화 장치.
  21. 삭제
  22. 제 18 항에 있어서,
    상기 부호화부는,
    상기 하위 깊이의 부호화 유닛에 대해 인터(inter) 예측 모드로 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  23. 제 1 항 내지 제 2 항, 제 4 항 내지 제 6 항, 제 8 항 내지 제 13 항, 제 15 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150063403A 2015-05-06 2015-05-06 상위깊이 및 현재깊이의 부호화 정보를 이용한 영상 부호화 방법 및 장치 KR101711896B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150063403A KR101711896B1 (ko) 2015-05-06 2015-05-06 상위깊이 및 현재깊이의 부호화 정보를 이용한 영상 부호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150063403A KR101711896B1 (ko) 2015-05-06 2015-05-06 상위깊이 및 현재깊이의 부호화 정보를 이용한 영상 부호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160131337A KR20160131337A (ko) 2016-11-16
KR101711896B1 true KR101711896B1 (ko) 2017-03-03

Family

ID=57540668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150063403A KR101711896B1 (ko) 2015-05-06 2015-05-06 상위깊이 및 현재깊이의 부호화 정보를 이용한 영상 부호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101711896B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637591B (zh) * 2020-12-11 2024-09-13 百果园技术(新加坡)有限公司 一种视频预测编码的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010515305A (ja) 2006-12-22 2010-05-06 クゥアルコム・インコーポレイテッド 他のコーディングモードの情報を使用したコーディングモードの選択

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130055773A (ko) * 2011-11-21 2013-05-29 한국전자통신연구원 부호화 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010515305A (ja) 2006-12-22 2010-05-06 クゥアルコム・インコーポレイテッド 他のコーディングモードの情報を使用したコーディングモードの選択

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김재욱 외 2인, HEVC 고속 부호화를 위한 PU 탐색 조기 종료 기법. 2013년 한국방송공학회 추계학술대회. 2013년 11월, pp.172-173*
장재규 외 2인, 상위깊이의 Sub-CU 부호화 정보를 이용한 HEVC의 고속 PU 결정 기법. 방송공학회논문지. 2015년 3월, 제20권, 제2호, pp.340-347

Also Published As

Publication number Publication date
KR20160131337A (ko) 2016-11-16

Similar Documents

Publication Publication Date Title
US11843795B2 (en) Method and device for determining reference unit
KR20240010468A (ko) 비디오 코딩에서의 도출된 인트라 예측 모드들 및 최고 확률 모드들
KR101711896B1 (ko) 상위깊이 및 현재깊이의 부호화 정보를 이용한 영상 부호화 방법 및 장치
KR101711894B1 (ko) 상위깊이의 부호화 정보를 이용한 영상 부호화 방법 및 장치
KR102719936B1 (ko) 참조 유닛 결정 방법 및 장치
KR20240153545A (ko) 참조 유닛 결정 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191212

Year of fee payment: 4