KR20140076646A - 블록 분할 방법 및 복호화 장치 - Google Patents

블록 분할 방법 및 복호화 장치 Download PDF

Info

Publication number
KR20140076646A
KR20140076646A KR1020147015063A KR20147015063A KR20140076646A KR 20140076646 A KR20140076646 A KR 20140076646A KR 1020147015063 A KR1020147015063 A KR 1020147015063A KR 20147015063 A KR20147015063 A KR 20147015063A KR 20140076646 A KR20140076646 A KR 20140076646A
Authority
KR
South Korea
Prior art keywords
unit
prediction
intra
information
size
Prior art date
Application number
KR1020147015063A
Other languages
English (en)
Other versions
KR101579392B1 (ko
Inventor
김정선
박승욱
성재원
박준영
전병문
임재현
전용준
최영희
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20140076646A publication Critical patent/KR20140076646A/ko
Application granted granted Critical
Publication of KR101579392B1 publication Critical patent/KR101579392B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명의 일 실시예에 따른 영상 복호화 방법은 화면 내 예측이 수행되는 변환 단위를 특정하는 단계; 및 상기 변환 블록 주변의 참조 픽셀을 이용하여 상기 변환 단위에 대해 상기 화면 내 예측을 수행하는 단계를 포함하고, 상기 상기 변환 블록의 가장 상측 및 가장 좌측의 좌표를 (Tx,Ty), 상기 변환 블록의 높이 및 너비를 N이라 하면, 상기 화면 내 예측을 위한 참조 픽셀은, 상기 변환 단위의 좌측에 존재하며 (Tx-1, Ty) 부터 (Tx-1, Ty+2*N -1)에 위치하는 픽셀, (Tx-1,Ty-1)에 위치하는 픽셀, 상기 변환 단위의 상단에 존재하며 (Tx, Ty-1) 부터 (Tx +2*N -1, Ty-1)에 위치하는 픽셀을 포함할 수 있다.

Description

블록 분할 방법 및 복호화 장치{METHOD FOR PARTITIONING BLOCK AND DECODING DEVICE}
본 발명은 블록 분할 방법 및 복호화 장치에 관한 것으로 더욱 상세하게는 복호화 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.
영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 화면 간 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.
본 발명의 제1 목적은 영상 부호화 효율을 증가시키기 위해 복수의 변환 단위를 기초로 화면 내 예측을 수행하는 영상 복호화 방법을 제공하는 것이다.
또한, 본 발명의 제2 목적은 낮은 복잡도의 복호화를 수행하기 위해 부호화 단위의 크기에 따라 예측을 수행하는 예측 단위를 다르게 설정하는 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 영상 복호화 방법은 화면 내 예측이 수행되는 변환 단위를 특정하는 단계; 및 상기 변환 블록 주변의 참조 픽셀을 이용하여 상기 변환 단위에 대해 상기 화면 내 예측을 수행하는 단계를 포함하고, 상기 상기 변환 블록의 가장 상측 및 가장 좌측의 좌표를 (Tx,Ty), 상기 변환 블록의 높이 및 너비를 N이라 하면, 상기 화면 내 예측을 위한 참조 픽셀은, 상기 변환 단위의 좌측에 존재하며 (Tx-1, Ty) 부터 (Tx-1, Ty+2*N -1)에 위치하는 픽셀, (Tx-1,Ty-1)에 위치하는 픽셀, 상기 변환 단위의 상단에 존재하며 (Tx, Ty-1) 부터 (Tx +2*N -1, Ty-1)에 위치하는 픽셀을 포함할 수 있다.
소정의 화면 내 예측 모드로 화면 내 예측이 수행되는 하나의 예측 단위의 크기가 2Nx2N일 경우, 상기 변환 단위의 크기는 NxN의 크기를 가질 수 있다.
소정의 화면 내 예측 모드로 부호화된 예측 단위에 상기 복수의 변환 단위가 포함되는 경우, 상기 복수의 변환 단위에 대해 화면 내 예측을 수행하는 단계는, 상기 소정의 화면 내 예측 모드를 기초로 제1 변환 단위를 예측한 후 복원하는 단계; 상기 제1 변환 단위를 복원한 결과 및 상기 소정의 화면 내 예측 모드를 기초로 상기 제1 변환 단위의 우측에 인접한 제2 변환 단위를 예측한 후 복원하는 단계; 상기 제1 변환 단위 및 상기 제2 변환 단위를 복원한 결과 및 상기 소정의 화면 내 예측 모드를 기초로 상기 제1 변환 단위의 하측에 인접한 제3 변환 단위를 예측한 후 복원하는 단계; 및 상기 제1 변환 단위, 상기 제2 변환 단위 및 상기 제3 변환 단위를 복원한 결과 및 상기 소정의 화면 내 예측 모드를 기초로 상기 제2 변환 단위의 하측에 인접하고, 상기 제3 변환 단위의 우측에 인접한 제4 변환 단위를 예측한 후 복원하는 단계를 포함할 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 블록 분할 방법 및 복호화 장치 에 따르면, 계수에 대한 엔트로피 부호화를 수행 시 계수의 성질에 따라 엔트로피 부호화 모드를 다르게 하여 엔트로피 부호화하고 새롭게 정의된 엔트로피 부호화 모드를 기초로 엔트로피 복호화를 수행하고, 구문 요소값과 코드 번호를 매핑하는 인덱스 매핑 테이블을 적응적으로 변화시켜 엔트로피 부호화 및 복호화를 수행할 수 있다.
따라서, 영상 부호화에 필요한 비트수가 감소하여 영상 부호화 효율을 높일 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 영상 복호화기를 나타낸 블록도이다.
도 3은 본 발명의 또 다른 실시예에 따른 화면 내 예측을 수행시 사용되는 참조 픽셀을 생성하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 또 다른 실시예에 따른 블록의 분할 구조를 나타낸 개념도이다.
도 5는 본 발명의 또 다른 실시예에 따른 예측 단위에 따른 참조 픽셀을 나타낸 개념도이다.
도 6은 본 발명의 또 다른 실시예에 따른 예측 단위에 따른 참조 픽셀을 나타낸 개념도이다.
도 7은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.
도 8은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.
도 9는 본 발명의 또 다른 실시예에 따른 근거리 화면 내 예측 방법을 이용한 화면 내 예측을 나타낸 개념도이다.
도 10은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타내는 순서도이다.
도 11은 본 발명의 또 다른 실시예에 따른 부호화 단위의 분할 방법을 나타낸 개념도이다.
도 12는 본 발명의 또 다른 실시예에 따른 화면 내 예측 및 화면 간 예측을 수행하기 위한 블록 분할 방법을 나타낸 개념도이다.
도 13은 본 발명의 또 다른 실시예에 따른 예측을 수행하는 블록을 소정의 범주로 구분하는 방법을 설명하기 위한 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 1을 참조하면, 영상 부호화 장치(100)는 픽쳐 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 부호화부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(155)를 포함할 수 있다.
도 1에 나타난 각 구성부들은 영상 부호화 장치에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
픽쳐 분할부(105)는 입력된 픽쳐를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 단위(Prediction Unit)일 수도 있고, 변환 단위(Transform Unit: TU)일 수도 있으며, 부호화 단위(Coding Unit: CU)일 수도 있다. 픽쳐 분할부(105)에서는 하나의 픽쳐에 대해 복수의 부호화 단위, 예측 단위 및 변환 단위의 조합으로 분할하고 소정의 기준(예를 들어, 비용 함수)으로 하나의 부호화 단위, 예측 단위 및 변환 단위 조합을 선택하여 픽쳐를 부호화 할 수 있다.
예를 들어, 하나의 픽쳐는 복수개의 부호화 단위로 분할될 수 있다. 픽쳐에서 부호화 단위를 분할하기 위해서는 쿼드 트리 구조(Quad Tree Structure)와 같은 재귀적인 트리 구조를 사용할 수 있는데 하나의 영상 또는 최대 크기 부호화 단위를 루트로 하여 다른 부호화 단위로 분할되는 부호화 유닛은 분할된 부호화 단위의 개수만큼의 자식 노드를 가지고 분할될 수 있다. 일정한 제한에 따라 더이상 분할되지 않는 부호화 단위는 리프 노드가 된다. 즉, 하나의 코딩 유닛에 대하여 정방형 분할만이 가능하다고 가정하는 경우, 하나의 부호화 단위는 최대 4개의 다른 부호화 단위로 분할될 수 있다.
이하, 본 발명의 실시예에서는 부호화 단위의 의미를 부호화를 하는 단위라는 의미뿐만 아니라 복호화를 하는 단위의 의미로 사용할 수 있다.
예측 단위는 하나의 부호화 단위 내에서 동일한 크기의 적어도 하나의 정사각형 또는 직사각형 등의 형태를 가지고 분할되거나 하나의 부호화 단위 내에서 분할된 예측 단위 중 하나의 예측 단위의 형태가 다른 예측 단위의 형태와 다른 형태를 가지고 분할될 수 있다.
부호화 단위를 기초로 화면 내 예측을 수행하는 예측 단위를 생성시 최소 부호화 단위가 아닌 경우, 복수의 예측 단위(NxN)으로 분할하지 않고 화면 내 예측을 수행할 수 있다.
예측부(110)는 화면 간 예측을 수행하는 화면 간 예측부와 화면 내 예측을 수행하는 화면 내 예측부를 포함할 수 있다. 예측 단위에 대해 화면 간 예측을 사용할 것인지 또는 화면 내 예측을 수행할 것인지를 결정하고, 각 예측 방법에 따른 구체적인 정보(예컨대, 화면 내 예측 모드, 움직임 벡터, 참조 픽쳐 등)를 결정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 예측 단위로 결정되고, 예측의 수행은 변환 단위로 수행될 수도 있다. 생성된 예측 블록과 원본 블록 사이의 잔차값(잔차 블록)은 변환부(115)로 입력될 수 있다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 잔차값과 함께 엔트로피 코딩부(130)에서 부호화되어 복호화기에 전달될 수 있다. 특정한 부호화 모드를 사용할 경우, 예측부(110)를 통해 예측 블록을 생성하지 않고, 원본 블록을 그대로 부호화하여 복호화부에 전송하는 것도 가능하다
화면 간 예측부는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐의 정보를 기초로 예측 단위를 예측할 수 있다. 화면 간 예측부는 참조 픽쳐 보간부, 움직임 예측부, 움직임 보상부가 포함할 수 있다.
참조 픽쳐 보간부에서는 메모리(155)로부터 참조 픽쳐 정보를 제공받고 참조 픽쳐에서 정수 화소 이하의 화소 정보를 생성할 수 있다. 휘도 화소의 경우, 1/4 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 8탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다. 색차 신호의 경우 1/8 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 4탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다.
움직임 예측부는 참조 픽쳐 보간부에 의해 보간된 참조 픽쳐를 기초로 움직임 예측을 수행할 수 있다. 움직임 벡터를 산출하기 위한 방법으로 FBMA(Full search-based Block Matching Algorithm), TSS(Three Step Search), NTS(New Three-Step Search Algorithm) 등 다양한 방법이 사용될 수 있다. 움직임 벡터는 보간된 화소를 기초로 1/2 또는 1/4 화소 단위의 움직임 벡터값을 가질 수 있다. 움직임 예측부에서는 움직임 예측 방법을 다르게 하여 현재 예측 단위를 예측할 수 있다. 움직임 예측 방법으로 스킵(Skip) 방법, 머지(Merge) 방법, AMVP(Advanced Motion Vector Prediction)방법 등 다양한 방법이 사용될 수 있다.
화면 내 예측부는 현재 픽쳐 내의 화소 정보인 현재 블록 주변의 참조 픽셀정보를 기초로 예측 단위를 생성할 수 있다. 현재 예측 단위의 주변 블록이 화면 간 예측을 수행한 블록이어서, 참조 픽셀이 화면 간 예측을 수행한 픽셀일 경우, 면 간 예측을 수행한 블록에 포함되는 참조 픽셀을 주변의 화면 내 예측을 수행한 블록의 참조 픽셀 정보로 대체하여 사용할 수 있다. 즉, 참조 픽셀이 가용하지 않는 경우, 가용하지 않은 참조 픽셀 정보를 가용한 참조 픽셀 중 적어도 하나의 참조 픽셀로 대체하여 사용할 수 있다.
화면 내 예측에서 예측 모드는 참조 픽셀 정보를 예측 방향에 따라 사용하는 방향성 예측 모드와 예측을 수행시 방향성 정보을 사용하지 않는 비 방향성 모드를 가질 수 있다. 휘도 정보를 예측하기 위한 모드와 색차 정보를 예측하기 위한 모드가 상이할 수 있고, 색차 정보를 예측하기 위해 휘도 정보를 예측한 화면 내 예측 모드 정보 또는 예측된 휘도 신호 정보를 활용할 수 있다.
화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 동일할 경우, 예측 단위의 좌측에 존재하는 픽셀, 좌측 상단에 존재하는 픽셀, 상단에 존재하는 픽셀을 기초로 예측 단위에 대한 화면 내 예측을 수행하지만, 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 상이할 경우, 변환 단위를 기초로 한 참조 픽셀을 이용하여 화면 내 예측을 수행할 수 있다. 또한, 최소 부호화 단위에 대해서만 NxN 분할을 사용하는 화면 내 예측을 사용할 수 있다.
화면 내 예측 및 화면 간 예측을 수행시 예측이 수행되는 예측 단위가 아닌부호화 단위를 기준으로 수행될 수 있다. 또한 예측을 수행되는 최대 부호화 단위의 크기를 화면 내 예측을 수행하는 경우와 화면 간 예측을 수행하는 경우에 있어서 다르게 설정하여 예측을 수행할 수 있다. 또한, 화면 간 예측을 수행하는 블록 및 화면 내 예측을 수행하는 조합을 서로 다르게 설정하여 예측을 수행함으로써 분할에 사용되는 예측 단위의 형태를 서로 다르게 할 수 있다.
화면 내 예측 방법은 예측 모드에 따라 참조 화소에 AIS(Adaptive Intra Smoothing) 필터를 적용한 후 예측 블록을 생성할 수 있다. 참조 화소에 적용되는 AIS 필터의 종류는 상이할 수 있다. 화면 내 예측 방법을 수행하기 위해 현재 예측 단위의 화면 내 예측 모드는 현재 예측 단위의 주변에 존재하는 예측 단위의 화면 내 예측 모드로부터 예측할 수 있다. 주변 예측 단위로부터 예측된 모드 정보를 이용하여 현재 예측 단위의 예측 모드를 예측하는 경우, 현재 예측 단위와 주변 예측 단위의 화면 내 예측 모드가 동일할 경우, 소정의 플래그 정보를 이용하여 현재 예측 단위와 주변 예측 단위의 예측 모드가 동일하다는 정보를 전송할 수 있고, 만약, 현재 예측 단위와 주변 예측 단위의 예측 모드가 상이할 경우, 엔트로피 부호화를 수행하여 현재 블록의 예측 모드 정보를 부호화할 수 있다.
또한, 예측부(110)에서 생성된 예측 단위을 기초로 예측을 수행한 예측 단위와 예측 단위의 원본 블록과 차이값인 잔차값(Residual) 정보를 포함하는 잔차 블록이 생성될 수 있다. 생성된 잔차 블록은 변환부(115)로 입력될 수 있다. 변환부(115)에서는 원본 블록과 예측부(110)를 통해 생성된 예측 단위의 잔차값(residual) 정보를 포함한 잔차 블록을 DCT(Discrete Cosine Transform) 또는 DST(Discrete Sine Transform)와 같은 변환 방법을 사용하여 변환시킬 수 있다. 잔차 블록을 변환하기 위해 DCT를 적용할지 DST를 적용할지는 잔차 블록을 생성하기 위해 사용된 예측 단위의 화면 내 예측 모드 정보를 기초로 결정할 수 있다.
변환을 수행시 변환 단위가 아닌 부호화 단위를 기준으로 변환을 수행할 수 있다.
양자화부(120)는 변환부(115)에서 주파수 영역으로 변환된 값들을 양자화할 수 있다. 블록에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공될 수 있다.
재정렬부(125)는 양자화된 잔차값에 대해 계수값의 재정렬을 수행할 수 있다.
재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원의 블록 형태 계수를 1차원의 벡터 형태로 변경할 수 있다. 예를 들어, 재정렬부(125)에서는 지그재그 스캔(Zig-Zag Scan)방법을 이용하여 DC 계수부터 고주파수 영역의 계수까지 스캔하여 1차원 벡터 형태로 변경시킬 수 있다. 변환 단위의 크기 및 화면 내 예측 모드에 따라 지그 재그 스캔 방법이 아닌 2차원의 블록 형태 계수를 열 방향으로 스캔하는 수직 스캔 방법, 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔 방법이 사용될 수 있다. 즉, 변환 단위의 크기 및 화면 내 예측 모드에 따라 지그재그 스캔, 수직 방향 스캔 및 수평 방향 스캔 중 어떠한 스캔 방법이 사용될지 여부를 결정할 수 있다.
엔트로피 부호화부(130)는 재정렬부(125)에 의해 산출된 값들을 기초로 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 다양한 부호화 방법을 사용할 수 있다.
엔트로피 부호화부(130)는 재정렬부(125) 및 예측부(110)로부터 부호화 단위의 잔차값 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, 예측 단위 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 프레임 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
엔트로피 부호화부(130)에서는 재정렬부(125)에서 입력된 부호화 단위의 계수값을 엔트로피 부호화할 수 있다.
엔트로피 부호화부(130)에서는 가변 길이 부호화 테이블(Variable Length Coding Table)과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고 저장된 가변 길이 부호화 테이블을 사용하여 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화를 수행함에 있어서 테이블에 포함된 일부의 코드 워드(Codeword)에 카운터(Counter)를 이용한 방법 또는 직접 변환(Direct Swapping)방법을 사용하여 해당 정보의 코드 번호에 대한 코드 워드 할당을 변화시킬 수 있다. 예를 들어, 코드 번호와 코드 워드를 매핑하는 테이블에서 적은 비트수의 코드 워드가 할당된 상위 몇 개의 코드 번호의 경우, 카운터를 사용해 코드 번호의 합산된 발생 횟수가 가장 많은 코드 번호에 짧은 길이의 코드 워드를 할당할 수 있도록 적응적으로 코드 워드와 코드 번호를 매핑하는 테이블의 매핑 순서를 바꿀 수 있다. 카운터에서 카운팅된 횟수가 소정의 임계값에 이른 경우, 카운터에 기록된 카운팅 횟수를 반으로 나누어 다시 카운팅을 수행할 수 있다.
*카운팅을 수행하지 않는 테이블 내의 코드 번호는 직접 변환(Direct Swapping) 방법을 사용하여 코드 번호에 해당하는 정보가 발생할 경우, 바로 위의 코드 번호와 자리를 변환하는 방법을 통해 해당 코드 번호에 할당되는 비트 수를 적게하여 엔트로피 부호화를 수행할 수 있다.
역양자화부(135) 및 역변환부(140)에서는 양자화부(120)에서 양자화된 값들을 역양자화하고 변환부(115)에서 변환된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 잔차값(Residual)은 예측부(110)에 포함된 움직임 추정부, 움직임 보상부 및 인트라 예측부를 통해서 예측된 예측 단위와 합쳐져 복원 블록(Reconstructed Block)을 생성할 수 있다.
필터부(145)는 디블록킹 필터, 오프셋 보정부, ALF(Adaptive Loop Filter)중 적어도 하나를 포함할 수 있다.
디블록킹 필터(145)는 복원된 픽쳐에서 블록간의 경계로 인해 생긴 블록 왜곡을 제거할 수 있다. 디블록킹을 수행할지 여부를 판단하기 위해 블록에 포함된 몇 개의 열 또는 행에 포함된 픽셀을 기초로 현재 블록에 디블록킹 필터 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용하는 경우 필요한 디블록킹 필터링 강도에 따라 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)를 적용할 수 있다. 또한 디블록킹 필터를 적용함에 있어 수직 필터링 및 수평 필터링을 수행시 수평 방향 필터링 및 수직 방향 필터링이 병행 처리되도록 할 수 있다.
오프셋 보정부는 디블록킹을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋을 보정할 수 있다. 특정 픽쳐에 대한 오프셋 보정을 수행하기 위해 영상에 포함된 픽셀을 일정한 수의 영역으로 구분한 후 오프셋을 수행할 영역을 결정하고 해당 영역에 오프셋을 적용하는 방법 또는 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법을 사용할 수 있다.
ALF (Adaptive Loop Filter)는 필터링한 복원 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 영상에 포함된 픽셀을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. ALF를 적용할지 여부에 관련된 정보는 휘도 신호는 부호화 단위(Coding Unit, CU) 별로 전송될 수 있고, 각각의 블록에 따라 적용될 ALF의 크기 및 계수는 달라질 수 있다. ALF는 다양한 형태를 가질 수 있으며, 필터에 그에 따라 포함되는 계수의 갯수도 달라질 수 있다. 이러한 ALF의 필터링 관련 정보(필터 계수 정보, ALF On/Off 정보, 필터 형태 정보)는 비트스트림에서 소정의 파라메터 셋에 포함되어 전송될 수 있다.
메모리(155)는 필터부(145)를 통해 산출된 복원 블록 또는 픽쳐를 저장할 수 있고, 저장된 복원 블록 또는 픽쳐는 화면 간 예측을 수행 시 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 다른 실시예에 따른 영상 복호화기를 나타낸 블록도이다.
도 2를 참조하면, 영상 복호화기(200)는 엔트로피 복호화부(2110), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235), 메모리(245)가 포함될 수 있다.
영상 부호화기에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 영상 부호화기와 반대의 절차로 복호화될 수 있다.
엔트로피 복호화부(210)는 영상 부호화기의 엔트로피 부호화부에서 엔트로피 부호화를 수행한 것과 반대의 절차로 엔트로피 복호화를 수행할 수 있다. 예를 들어, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 사용된 VLC 테이블은 엔트로피 복호화부에서도 동일한 가변 길이 부호화 테이블로 구현되어 엔트로피 복호화를 수행할 수 있다. 엔트로피 복호화부(210)에서 복호화된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고 엔트로피 복호화부에서 엔트로피 복호화를 수행한 잔차값은 재정렬부(215)로 입력될 수 있다.
엔트로피 복호화부(210)에서도 엔트로피 부호화부와 마찬가지로 카운터(Counter) 또는 직접 변환(Direct Swapping) 방법을 이용해 코드 워드 할당 테이블을 변화시킬 수 있고, 변화된 코드 워드 할당 테이블에 기초하여 엔트로피 복호화를 수행할 수 있다.
부호화기에서 수행된 화면 내 예측 및 화면 간 예측에 관련된 정보를 복호화할 수 있다. 전술한 바와 같이 영상 부호화기에서 화면 내 예측 및 화면 간 예측을 수행시 소정의 제약이 있는 경우, 이러한 제약을 기초로 한 엔트로피 복호화를 수행해 현재 블록에 대한 화면 내 예측 및 화면 간 예측에 관련된 정보를 제공받을 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트스트림을 부호화부에서 재정렬한 방법을 기초로 재정렬을 수행할 수 있다. 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부에서는 부호화부에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 해당 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 부호화기에서 수행한 양자화 결과에 대해 변환부에서 수행한 DCT 및 DST에 대해 역DCT 및 역 DST를 수행할 수 있다. 역변환은 영상 부호화기에서 결정된 전송 단위를 기초로 수행될 수 있다. 영상 부호화기의 변환부에서는 DCT와 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 영상 복호화기의 역변환부(225)에서는 영상 부호화기의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
변환을 수행시 변환 단위가 아닌 부호화 단위를 기준으로 변환을 수행할 수 있다.
예측부(230)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(2145)에서 제공된 이전에 복호화된 블록 또는 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다.
전술한 바와 같이 영상 부호화기에서의 동작과 동일하게 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 동일할 경우, 예측 단위의 좌측에 존재하는 픽셀, 좌측 상단에 존재하는 픽셀, 상단에 존재하는 픽셀을 기초로 예측 단위에 대한 화면 내 예측을 수행하지만, 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 상이할 경우, 변환 단위를 기초로 한 참조 픽셀을 이용하여 화면 내 예측을 수행할 수 있다. 또한, 최소 부호화 단위에 대해서만 NxN 분할을 사용하는 화면 내 예측을 사용할 수 있다.
화면 내 예측 및 화면 간 예측을 수행시 예측이 수행되는 예측 단위가 아닌부호화 단위를 기준으로 수행될 수 있다. 또한 예측을 수행되는 최대 부호화 단위의 크기를 화면 내 예측을 수행하는 경우와 화면 간 예측을 수행하는 경우에 있어서 다르게 설정하여 예측을 수행할 수 있다. 또한, 화면 간 예측을 수행하는 블록 및 화면 내 예측을 수행하는 조합을 서로 다르게 설정하여 예측을 수행함으로써 분할에 사용되는 예측 단위의 형태를 서로 다르게 할 수 있다.
예측부(230)는 예측 단위 판별부, 화면 간 예측부 및 화면 내 예측부를 포함할 수 있다. 예측 단위 판별부는 엔트로피 복호화부에서 입력되는 예측 단위 정보, 화면 내 예측 방법의 예측 모드 정보, 화면 간 예측 방법의 움직임 예측 관련 정보 등 다양한 정보를 입력 받고 현재 부호화 단위에서 예측 단위를 구분하고, 예측 단위가 화면 간 예측을 수행하는지 아니면 화면 내 예측을 수행하는지 여부를 판별할 수 있다. 화면 간 예측부는 영상 부호화기에서 제공된 현재 예측 단위의 화면 간 예측에 필요한 정보를 이용해 현재 예측 단위가 포함된 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐에 포함된 정보를 기초로 현재 예측 단위에 대한 화면 간 예측을 수행할 수 있다.
화면 간 예측을 수행하기 위해 부호화 단위를 기준으로 해당 부호화 단위에 포함된 예측 단위의 움직임 예측 방법이 스킵 모드(Skip Mode), 머지 모드(Merge 모드), AMVP 모드(AMVP Mode) 중 어떠한 방법인지 여부를 판단할 수 있다.
화면 내 예측부는 현재 픽쳐 내의 화소 정보를 기초로 예측 블록을 생성할 수 있다. 예측 단위가 화면 내 예측을 수행한 예측 단위인 경우, 영상 부호화기에서 제공된 예측 단위의 화면 내 예측 모드 정보를 기초로 화면 내 예측을 수행할 수 있다. 화면 내 예측부에는 AIS 필터, 참조 화소 보간부, DC 필터를 포함할 수 있다. AIS 필터는 현재 블록의 참조 화소에 필터링을 수행하는 부분으로써 현재 예측 단위의 예측 모드에 따라 필터의 적용 여부를 결정하여 적용할 수 있다. 영상 부호화기에서 제공된 예측 단위의 예측 모드 및 AIS 필터 정보를 이용하여 현재 블록의 참조 화소에 AIS 필터링을 수행할 수 있다. 현재 블록의 예측 모드가 AIS 필터링을 수행하지 않는 모드일 경우, AIS 필터는 적용되지 않을 수 있다.
참조 화소 보간부는 예측 단위의 예측 모드가 참조 화소를 보간한 화소값을 기초로 화면 내 예측을 수행하는 예측 단위일 경우, 참조 화소를 보간하여 정수값 이하의 화소 단위의 참조 화소을 생성할 수 있다. 현재 예측 단위의 예측 모드가 참조 화소를 보간하지 않고 예측 블록을 생성하는 예측 모드일 경우 참조 화소는 보간되지 않을 수 있다. DC 필터는 현재 블록의 예측 모드가 DC 모드일 경우 필터링을 통해서 예측 블록을 생성할 수 있다.
복원된 블록 또는 픽쳐는 필터부(235)로 제공될 수 있다. 필터부(235)는 디블록킹 필터, 오프셋 보정부, ALF를 포함할 수 있다.
영상 부호화기로부터 해당 블록 또는 픽쳐에 디블록킹 필터를 적용하였는지 여부에 대한 정보 및 디블록킹 필터를 적용하였을 경우, 강한 필터를 적용하였는지 또는 약한 필터를 적용하였는지에 대한 정보를 제공받을 수 있다. 영상 복호화기의 디블록킹 필터에서는 영상 부호화기에서 제공된 디블록킹 필터 관련 정보를 제공받고 영상 복호화기에서 해당 블록에 대한 디블록킹 필터링을 수행할 수 있다. 영상 부호화기에서와 마찬가지로 우선 수직 디블록킹 필터링 및 수평 디블록킹 필터링을 수행하되, 겹치는 부분에 있어서는 수직 디블록킹 및 수평 디블록킹 중 적어도 하나를 수행할 수 있다. 수직 디블록킹 필터링 및 수평 디블록킹 필터링이 겹치는 부분에서 이전에 수행되지 못한 수직 디블록킹 필터링 또는 수평 디블록킹 필터링이 수행될 수 있다. 이러한 디블록킹 필터링 과정을 통해서 디블록킹 필터링의 병행 처리(Parallel Processing)이 가능하다.
오프셋 보정부는 부호화시 영상에 적용된 오프셋 보정의 종류 및 오프셋 값정보 등을 기초로 복원된 영상에 오프셋 보정을 수행할 수 있다.
ALF는 필터링을 수행 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 부호화기로부터 제공된 ALF 적용 여부 정보, ALF 계수 정보 등을 기초로 부호화 단위에 ALF를 적용할 수 있다. 이러한 ALF 정보는 특정한 파라메터 셋에 포함되어 제공될 수 있다.
메모리(245)는 복원된 픽쳐 또는 블록을 저장하여 참조 픽쳐 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽쳐를 출력부로 제공할 수 있다.
이하, 본 발명의 실시예에서는 설명의 편의상 Coding Unit을 부호화 단위라는 용어로 사용하지만, 부호화 뿐만 아니라 복호화를 수행하는 단위가 될 수도 있다.
도 3은 본 발명의 또 다른 실시예에 따른 화면 내 예측을 수행시 사용되는 참조 픽셀을 생성하는 방법을 나타낸 개념도이다.
도 3을 참조하면, 화면 내 예측을 수행시 참조 픽셀은 현재 블록의 좌측 상단 픽셀의 좌표를 (xB, yB) 라고 할 경우, (xB-1, yB-1), (xB-1+x, yB-1), (xB-1, yB-1+y)에 위치한 픽셀이 될 수 있다(여기서, x는 0에서 2nS-1까지의 정수, y는 0에서 2nS-1까지의 정수).
만약 예측 단위가 슬라이스의 경계에 위치하여 참조 픽셀이 존재하지 않는 경우 또는 CIP(Constraint Intra Prediction)을 수행하여 현재 예측 단위의 참조 픽셀을 포함하는 예측 단위의 예측이 화면 간 예측으로 예측된 경우와 같이 화면 내 예측에 참조 픽셀이 가용하지 않은 경우, 해당 참조 픽셀의 값을 다른 참조 픽셀의 값으로 변경하여 화면 내 예측에 가용한 참조 픽셀값으로 사용할 수 있다.
가용하지 않은 참조 픽셀은 주변의 가용한 참조 픽셀의 값 또는 주변의 가용한 참조 픽셀들의 평균값을 통해 산출될 수 있다. 예를 들어, 현재 예측 단위의 상단에 위치한 블록이 화면 간 예측을 수행하여 참조 픽셀이 가용하지 않은 경우, 가용한 좌측 참조 픽셀(300)과 가용한 우측 참조 픽셀(305)을 사용하여 가용한 좌측 참조 픽셀(300)의 화소값과 가용한 우측 참조 픽셀(305)의 화소값의 평균값을 산출하여 가용하지 않은 참조 픽셀의 화소값으로 사용하여 화면 내 예측을 수행할 수 있다.
또 다른 예로, 가용하지 않은 참조 픽셀의 값 주변에 가용한 참조 픽셀(310)이 하나만 존재하는 경우, 가용한 참조 픽셀(310)을 가용하지 않은 참조 픽셀의 픽셀값으로 사용함으로써 화면 내 예측을 수행할 수 있다.
이하, 본 발명의 실시예에서는 설명의 편의상 모든 참조 픽셀의 픽셀값이 가용하다고 가정하나, 본 발명의 권리 범위가 반드시 모든 참조 픽셀이 가용한 경우에 한정되지 않고, 위와 같은 추가적인 참조 픽셀 생성 과정을 거쳐 화면 내 예측에 가용하지 않은 참조 픽셀을 화면 내 예측에 가용한 참조 픽셀로 생성할 수 있다.
도 4는 본 발명의 또 다른 실시예에 따른 블록의 분할 구조를 나타낸 개념도이다.
도 4를 참조하면, 하나의 부호화 단위는 적어도 하나의 부호화 단위, 예측 단위, 변환 단위로 분할될 수 있다. 예를 들어, 제1 부호화 단위(400)은 쿼드 트리 구조를 이용해 복수개의 제2 부호화 단위(410)으로 분할될 수 있다. 분할된 제2 부호화 단위(410)는 복수의 예측 단위(420)로 분할될 수 있고 분할된 복수의 예측 단위(420) 중 하나의 예측 단위는 다시 복수의 변환 단위(430)로 분할될 수 있다.
화면 내 예측 또는 화면 간 예측은 예측 단위에서 수행되는데, 예측 단위에서 화면 내 예측 부호화를 수행하는 경우, 화면 내 예측을 수행하기 위한 참조 픽셀 정보는 예측 단위가 하나의 변환 단위로 분할되었는지 아니면 복수의 변환 단위로 분할되었는지 여부에 따라 변할 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 예측 단위에 따른 참조 픽셀을 나타낸 개념도이다.
도 5를 참조하면, 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 동일할 경우, 예측 단위의 좌측에 존재하는 픽셀, 좌측 상단에 존재하는 픽셀, 상단에 존재하는 픽셀을 기초로 예측 단위에 대한 화면 내 예측을 수행할 수 있다. 도 3에서 전술한 바와 같이 가용하지 않은 참조 픽셀은 가용한 참조 픽셀을 기초로 픽셀값을 생성할 수 있다. 예측 모드에 따라 도 5의 상단과 같은 범위의 참조 픽셀이 사용될 수 있으나, 예측 모드에 따라 도 5의 하단과 같이 예측에 사용되는 참조 픽셀의 범위가 확장될 수 있다. 즉, 참조 픽셀의 범위는 예측 모드에 따라 달라질 수 있고 이하, 본 발명의 실시예에서는 도 5의 하단과 같이 참조 픽셀을 사용하는 것으로 가정하여 설명한다.
도 6은 본 발명의 또 다른 실시예에 따른 예측 단위에 따른 참조 픽셀을 나타낸 개념도이다.
도 6을 참조하면, 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 상이할 경우, 변환 단위를 기초로 한 참조 픽셀을 이용하여 화면 내 예측을 수행할 수 있다.
하나의 예측 단위(600)가 복수개의 변환 단위(605, 610, 615, 620)로 분할되고, 분할된 변환 단위(605, 610, 615, 620)에 따른 참조 픽셀을 기초로 화면 내 예측을 수행할 수 있다. 예를 들어, 변환 단위(620)는 변환 단위(620)의 좌측에 존재하는 참조 픽셀, 좌측 상단에 존재하는 참조 픽셀, 상단에 존재하는 참조 픽셀의 픽셀값을 기초로 변환 단위에 대해 화면 내 예측을 수행할 수 있다.
하나의 예측 단위(600)가 복수개의 변환 단위(605, 610, 615, 620)로 분할된 경우, 예측의 순서는 z-스캔 순서를 사용하여 변환 단위(605), 변환 단위(610), 변환 단위(615), 변환 단위(620)의 순서로 화면 내 예측을 수행할 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.
도 7을 참조하면, 하나의 예측 단위가 화면 내 예측을 수행하고 복수의 변환 단위로 분할되었다고 가정할 수 있고 복수의 변환 단위에 대해서 z-스캔 순서를 기초로 화면 내 예측을 수행할 수 있다. 전술한 바와 같이 각각의 변환 단위는 동일한 예측 모드를 가지고 참조 픽셀의 정보를 달리하여 화면 내 예측을 수행할 수 있다.
제1 변환 단위(700)은 z-스캔 순서상 첫번째인 제1 변환 단위(700)의 좌측에 존재하는 참조 픽셀, 좌측 상단에 존재하는 참조 픽셀, 상단에 존재하는 참조 픽셀의 픽셀값을 기초로 변환 단위에 대해 화면 내 예측을 수행한다. 제1 변환 단위(700)에 대해 화면 내 예측을 수행하여 제1 변환 단위(700)가 복원 되면 제1 변환 단위(700)가 복원된 복원 블록에 포함된 픽셀값을 제2 변환 단위(710)를 화면 내 예측하기 위한 참조 픽셀로 사용하여 제2 변환 단위(710)의 화면 내 예측이 수행될 수 있다. 제1 변환 단위(700)의 화면 내 예측 후, 복원 결과로 생성된 제2 변환 단위(710)의 좌측에 존재하는 참조 픽셀 및 좌측 상단에 존재하는 참조 픽셀, 상단에 존재하는 참조 픽셀의 픽셀값을 기초로 제2 변환 단위(710)에 대해 화면 내 예측을 수행할 수 있다. 동일한 방법으로 제1 변환 단위(700)와 제2 변환 단위(710)의 화면 내 예측을 수행한 결과를 기초로 생성된 복원 블록에 포함된 참조 픽셀을 제3 변환 단위(720)의 참조 픽셀로 하여 제3 변환 단위(720)에 대한 화면 내 예측을 수행할 수 있다. 제4 변환 단위(730)는 z-스캔 순서상 마지막으로 화면 내 예측을 수행하는 변환 단위로써 제1 변환 단위(700), 제2 변환 단위(710) 및 제3 변환 단위(720)의 화면 내 예측을 수행한 결과로 생성된 복원 블록에 포함된 참조 픽셀을 기초로 화면 내 예측을 수행할 수 있다.
본 발명의 실시예에 따른 화면 내 예측 방법에서는 본 발명의 본질에서 벋어나지 않는 한 변환 단위를 스캔하는 스캔 순서는 z-스캔 순서가 아닌 다른 스캔 방법을 사용할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.
*도 8을 참조하면, SDIP(Short Distance Intra Prediction, 이하, 근거리 화면 내 예측이라는 용어도 SDIP와 동일한 의미로 사용함.)를 사용하여 화면 내 예측을 수행하는 경우, 하나의 예측 단위는 하나의 변환 단위(800) 또는 복수개의 변환 단위(810, 820, 830, 840)로 분할될 수 있다.
예를 들어, 4x16, 16x4, 2x8 또는 8x2와 같은 예측 단위를 사용할 경우, 변환을 수행하기 위해서는 하나의 예측 단위(4x16, 16x4, 2x8 또는 8x2)와 동일한 크기를 가진 블록을 변환을 수행하기 위한 변환 단위로 삼거나, 예측 단위의 크기가 4x16, 16x4인 경우는 4x4 크기의 변환 단위, 예측 단위가 2x8 또는 8x2 크기인 경우는 2x2 크기의 복수개의 변환 단위로 분할하여 변환을 수행할 수 있다.
근거리 화면 내 예측을 이용한 화면 내 예측에서 변환을 수행하기 위해서 하나의 예측 단위를 변환 단위로 사용할 경우, 도 3에서 전술한 바와 같이 예측 단위의 주변 참조 픽셀을 이용하여 예측 단위에 대한 인트라 예측을 수행할 수 있다.
근거리 화면 내 예측을 이용한 화면 내 예측에서 변환을 수행하기 위해서 하나의 예측 단위를 변환 단위로 사용할 경우는 변환 단위의 주변 픽셀 정보를 기초로 화면 내 예측을 수행할 수 있다.
도 9는 본 발명의 또 다른 실시예에 따른 근거리 화면 내 예측 방법을 이용한 화면 내 예측을 나타낸 개념도이다.
도 9를 참조하면, 첫번째인 제1 변환 단위(900)의 좌측에 존재하는 참조 픽셀, 좌측 상단에 존재하는 참조 픽셀, 상단에 존재하는 참조 픽셀의 픽셀값을 기초로 변환 단위에 대해 화면 내 예측을 수행한다. 제1 변환 단위(900)의 화면 내 예측을 수행한 결과를 기초로 생성된 복원 블록에 포함된 픽셀 정보를 제2 변환 단위(910)의 상단 참조 픽셀로 활용하여 제2 변환 단위(910)의 화면 내 예측을 수행할 수 있다. 제2 변환 단위(910)의 상단에 존재하는 참조 픽셀, 좌측 상단에 존재하는 참조 픽셀과 제2 변환 단위의 좌측에 존재하는 참조 픽셀의 픽셀값을 기초로 제2 변환 단위(910)에 대해 화면 내 예측을 수행하고, 제2 변환 단위(910)의 화면 내 예측을 수행한 결과를 기초로 생성된 복원 블록을 기초로 제2 변환 단위(910)에 대해 화면 내 예측을 수행한 방법과 동일한 방법으로 제3 변환 단위(920)에 대한 화면 내 예측을 수행할 수 있다. 제4 변환 단위(930)는 제3 변환 단위(920)에서 화면 내 예측을 수행한 결과를 기초로 화면 내 예측을 수행할 수 있다.
도 10은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타내는 순서도이다.
도 10을 참조하면, 화면 내 예측을 수행하기 위해 예측 단위가 복수의 변환 단위로 분할되어 있는지 여부를 판단한다(단계 S1000).
전술한 바와 같이 하나의 예측 단위가 하나의 변환 단위로 분할되었는지 아니면, 복수의 변환 단위로 분할되었는지 여부에 따라 화면 내 예측을 수행하기 위한 참조 픽셀이 달라질 수 있으므로, 현재 예측 단위가 복수의 분할 단위로 분할되어있는지 여부를 나타내는 분할 정보 표시 플래그를 이용하여 현재 예측 단위가 복수의 변환 단위로 분할되었는지 여부를 판단한다.
예측 단위가 더 이상의 변환 단위로 분할될 수 없는 특정한 예측 단위의 크기에서는 예측 단위가 변환 단위로 분할되어 있는지 여부를 판단하는 단계가 생략될 수 있다.
예측 단위가 복수로 분할되지 않은 경우, 예측 단위의 주변 참조 픽셀을 기초로 화면 내 예측을 수행한다(단계 S1010).
도 5와 같이 예측 단위의 크기와 변환 단위의 크기가 동일한 경우, 현재 예측 단위의 주변에 존재하는 참조 픽셀 정보를 기초로 예측 단위에 대한 화면 내 예측을 수행할 수 있다.
예측 단위가 복수의 변환 단위로 분할된 경우, 변환 단위의 주변 참조 픽셀을 기초로 화면 내 예측을 수행한다(단계 S1020).
예측 단위가 복수인 경우, 도 7 또는 도 9에서 전술한 바와 같이 소정의 순서로 변환 단위별로 다른 참조 픽셀 정보를 사용하여 화면 내 예측을 수행할 수 있다. 변환 단위별 화면 내 예측을 수행할 경우, 화면 내 예측을 수행하는 순서상 화면 내 예측을 먼저 수행한 변환 단위의 복원된 화소 정보는 다음 화면 내 예측을 수행하는 변환 단위의 참조 픽셀 정보로 사용될 수 있다.
복호화부에서 화면 내 예측을 수행하기 위해서는 픽쳐에서 예측 단위가 어디에 위치하는지를 지시하는 위치 정보, 예측 단위의 크기 정보, 예측 단위가 복수개의 변환 단위로 분할되었는지 여부에 관련된 정보, 예측 단위의 인트라 예측 모드 정보, 예측 단위의 화면 내 예측이 휘도 정보에 대해 수행된 것인지 아니면 색차 정보에 대해 수행된 것인지에 관한 정보 등 다양한 화면 내 예측과 관련된 정보를 입력 받을 수 있다.
예측 단위가 복수개의 변환 단위로 분할되었는지 여부에 관련된 정보는 변환 단위로의 분할 여부를 판단할 수 있는 변환 단위 분할 플래그 정보(예를 들어, split_transform_flag)와 같은 정보를 기초로 산출될 수 있다.
예를 들어, 변환 단위 분할 플래그 정보가 1인 경우, 하나의 예측 단위는 복수의 변환 단위로 분할되고, 변환 단위의 크기(log2TrafoSize)가 예측 단위의 반으로 줄어 들고 변환 깊이(trafoDepth)는 1이 증가할 수 있다. 분할된 각각의 변환 단위는 동일한 화면 내 예측 모드 정보를 기초로 화면 내 예측을 수행할 수 있다.
도 8에서와 같이 만약 현재 예측 단위가 복수개의 변환 단위로 분할되고 현재 예측 단위가 근거리 화면 내 예측 방법을 사용하는 직사각형 형태인 경우, 변환 단위 분할 플래그 정보를 기초로 각 변환 단위는 복수개의 정사각형으로 분할될 수 있고 각 변환 단위는 동일한 화면 내 예측 모드를 기초로 각각의 변환 단위의 주변 참조 픽셀 정보를 이용해 화면 내 예측을 수행하여 예측 블록을 생성할 수 있다.
변환 단위 분할 플래그 정보는 예측 단위가 복수의 변환 단위로 분할되는지 여부를 나타내는 정보로 본 발명의 본질에서 벋어나지 않는 한 다른 플래그 정보로 예측 단위가 복수의 변환 단위로 분할되어 있는지 여부를 표현하는것도 가능하다.
도 11은 본 발명의 또 다른 실시예에 따른 부호화 단위의 분할 방법을 나타낸 개념도이다.
도 11을 참조하면, 부호화 단위의 크기에 따른 화면 내 예측을 수행시 복수개의 분할 가능성이 생길 수 있다.
도 11의 좌측은 부호화 단위로 분할될 수 있는 조합을 나타내고, 도 11의 우측은 좌측의 부호화 단위가 예측 단위로 분할될 수 있는 조합을 나타낸 것이다. 설명의 편의상 특정 크기의 부호화 단위에 대해서만 간략하게 개시한다.
16x16 크기의 부호화 단위에 대하여 예측 단위를 생성하는 방법으로 첫번째로 부호화 단위와 동일한 크기의예측 단위인 16x16 크기의 예측 단위를 사용하여 화면 내 예측을 하는 방법과 복수의 8x8 크기의 예측 단위로 나누어서 화면 내 예측을 수행하는 방법(1100)이 있다.
다음으로 16x16 크기의 부호화 단위를 4개의 8x8 크기의 부호화 단위로 분할한 블록을 기초로 각각의 부호화 단위의 크기와 동일한 예측 단위을 사용하여 화면 내 예측을 수행하는 방법, 좌측 상단에 위치한 부호화 블록을 복수의 예측 단위로 분할하여 화면 내 예측을 수행하는 방법 등, 화면 내 예측을 수행하기 위한 다양한 방법이 존재할 수 있다.
도 11을 다시 참조하면, 16x16 부호화 단위에 대해 복수의 예측 단위를 사용하여 예측하는 방법(1100)과 16x16 부호화 단위가 복수의 부호화 단위로 분할되고 복수의 부호화 단위에 대해 부호화 단위와 동일한 크기의 예측 단위(2Nx2N)를 이용하여 화면 내 예측을 수행하는 방법(1110)이 동일한 예측 단위를 가진 블록임을 알 수 있다. 즉, 가장 작은 부호화 단위가 아니면 부호화 단위를 NxN의 예측 단위로 분할하여 화면 내 예측을 수행하면 동일한 예측 단위에 대해 두번의 동일한 분할 절차를 사용하게 된다. 이러한 불필요한 동일 절차를 방지하기 위해 화면 내 예측에서는 최소의 부호화 단위 크기일 경우에만 복수의 예측 단위로 분할될 수 있다.
최소 부호화 단위의 크기는 소정의 파라메터 집합에서 정의될 수 있다. 예를 들어, 가장 작은 부호화 단위의 크기 정보를 포함한 플래그 정보와 가장 작은 부호화 단위와 가장 큰 부호화 단위의 차이 정보를 포함한 플래그 정보를 이용하여 가장 작은 부호화 단위의 크기 정보와 가장 큰 부호화 단위의 크기 정보를 알 수 있다. 파라메터 집합에서 제공받은 부호화 단위의 크기 정보를 기초로 화면 내 예측을 수행시 최소 크기를 가진 부호화 단위에서만 NxN 분할을 이용한 예측을 수행알 수 있다. 최소 크기를 가진 부호화 단위에서만 NxN 분할을 이용한 예측을 수행하는 경우, 분할 여부 정보를 제공하는 플래그는 부호화 단위의 크기가 최소 크기일 경우에만 부호화 복호화될 수 있다. 화면 내 예측에 사용되는 부호화 단위의 크기는 이하, 표 12에서 표 16까지와 같이 다양한 구문 요소로 정의되는 것도 가능하다.
표 1은 본 발명의 일실시예에 따른 부호화 단위의 크기에 따른 화면 내 예측 방법을 나타낸 구문(Syntax)이다.
Figure pat00001
표 1을 참조하면, 현재 부호화 단위의 크기 정보를 나타내는 구문요소(currCodingUnitSize, 이하, 현재 부호화 단위 크기 정보라고 함.)와 가장 작은 부호화 단위의 크기 정보를 나타내는 구문 요소(MinCodingUnitSize, 이하, 최소 부호화 단위 크기 정보라고 함.)을 비교할 수 있다. 만약 현재 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일한 경우, 현재 부호화 단위가 화면 내 예측을 수행하기 위한 복수의 예측 단위로 분할되어있는지 여부를 표시하는 정보(intra_spilt_flag)와 분할된 예측 단위의 화면 내 예측 모드 정보를 나타내는 (combined_intra_pred_flag)를 이용하여 현재의 부호화 단위가 최소 부호화 단위의 크기일 경우에만 현재 부호화 단위가 복수의 예측 단위로 분할되어 있는지를 판단할 수 있다. 또한, 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일한 경우와 동일하지 않은 경우를 구분하여, 주변의 예측 단위의 화면 내 예측 모드 정보를 유도할 수 있다.
즉, 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일한 경우와 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일하지 않은 경우를 구분하여, 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일한 경우는 부호화 단위가 복수개의 예측 단위로 분할되었는지 여부 정보를 기초로 하나 또는 복수개의 예측 단위의 화면 내 예측 모드를 산출할 수 있다. 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일하지 않은 경우는 부호화 단위가 분할되었는지 여부를 판단하지 않고 부호화 단위의 예측 모드 정보를 산출할 수 있다.
본 발명의 실시예에 따른 부호화 단위 분할 방법에서는 현재 부호화 단위 크기 정보(currCodingUnitSize)와 최소 부호화 단위 크기 정보(MinCodingUnitSize)를 비교하여 화면 내 예측을 수행시 최소의 부호화 단위가 아니면 복수개의 예측 단위로 분할하지 않는 것은 하나의 예시로써 본 발명의 본질에서 벋어나지 않는 한 다른 신택스 상 구조 및 새로운 구문 요소의 정의를 통해 구현될 수 있다. 또한, 부호화 단위가 복수의 예측 단위로 분할된 경우 사용되는 intra_split_flag 또는 combined_intra_pred_flag는 예시적인 플래그 정보로써 본 발명의 본질에서 벋어나지 않는 한 다른 플래그 정보를 사용하거나 다른 정보와 결합된 형태의 플래그를 사용하는 것도 가능하다.
표 2는 본 발명의 일실시예에 따른 부호화 단위의 크기에 따른 화면 내 예측 수행 방법을 나타낸 구문(Syntax)이다.
Figure pat00002
표 2는 최소 부호화 단위의 크기가 8x8인 경우를 가정한 경우의 구문 구조를 나타낸 것이다.
부호화 단위의 크기가 8x8인지 여부를 판단하여 부호화 단위가 8x8인 현재 부호화 단위가 화면 내 예측을 수행하기 위한 복수의 예측 단위로 분할되어있는지 여부를 표시하는 정보(intra_spilt_flag)와 분할된 예측 단위의 화면 내 예측 모드 정보를 나타내는 (combined_intra_pred_flag)를 얻을 수 있다. 또한, 전술한 바와 마찬가지로, 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일한 경우와 동일하지 않은 경우를 구분하여, 부호화 단위의 화면 내 예측 모드 정보를 유도할 수 있다.
본 발명의 실시예에 따른 부호화 단위 분할 방법에서 현재 부호화 단위 크기 정보 (currCodingUnitSize)와 최소 부호화 단위 크기 정보(8)를 비교하여 화면 내 예측을 수행시 최소의 부호화 단위가 아니면 복수개의 예측 단위로 분할하지 않는 것은 하나의 예시로써 8x8이 최소 부호화 단위의 크기가 아닐 경우 다른 신택스 구조를 사용할 수 있고, 이뿐만 아니라, 본 발명의 본질에서 벋어나지 않는 한 다른 신택스 상 구조 및 새로운 구문 요소의 정의를 통해 최소 부호화 단위의 크기보다 클 경우 복수개의 예측 단위로 분할하지 않는 방법이 구현될 수 있다.
표 3 내지 표 7은 본 발명의 또 다른 실시예에 따른 부호화 단위의 크기에 따른 화면 내 예측 수행 방법을 나타낸 구문이다.
표 3 내지 표 7은 표 1 및 표 2에서 개시한 부호화 단위가 최소 부호화 단위일 경우에만 복수의 예측 단위로 분할하여 화면 내 예측을 수행하기 위한 구문 요소이다.
우선, 표 3 내지 표 5를 참조하면, 코딩 트리 구문에서는 소정의 구문 요소를 사용하여 부호화 단위의 크기가 최소인지를 구분하여 최소의 부호화 단위의 크기가 아닐 경우에만 부호화 단위가 복수의 예측 단위로 분할되었는지 여부에 관련된 정보를 제공받을 수 있다.
Figure pat00003
Figure pat00004
Figure pat00005
즉, 표 3 내지 표 5를 참조하면 CAVLC(Context Adaptive Variable Length Coding)를 사용하여 엔트로피 부호화를 하고, 현재 슬라이스 타입이 I 슬라이스인 경우, cu_split_pred_part_mode를 복호화하여 현재 부호화 단위의 예측 관련 정보를 복호화 할 수 있다.
cu_split_pred_part_mode는 현재 부호화 단위가 분할되는지 여부를 표시하는 플래그 정보(split_coding_unit_flag), 현재 부호화 단위가 스킵 모드를 사용하여 화면 간 예측을 수행하는지를 표시하는 플래그 정보(skip_flag), 현재 부호화 단위가 머지 모드를 사용하여 화면 간 예측을 수행하는지를 표시하는 플래그 정보(merge_flag), 현재 부호화 단위의 예측 모드가 무엇인지를 표시하는 정보(PredMode), 현재 부호화 단위의 분할 타입 정보를 표시하는(PartMode) 정보를 결합한 구문 요소로써 현재 부호화 단위의 크기에 따라 표 4 또는 표 5의 매핑 테이블을 사용하여 현재 부호화 단위의 예측 관련 정보를 표시할 수 있다.
본 발명의 일실시예에 따른 cu_split_pred_part_mode를 사용할 때 부호화 단위가 최소 부호화 단위인지 여부를 판단하여 부호화 단위의 크기가 최소 부호화 단위보다 크면 표 4를 사용하고 부호화 단위의 크기가 최소 부호화 단위이면 표 5를 사용하는 방법을 사용하여 부호화 단위의 크기가 최소 부호화 단위인 경우에만 화면 내 예측을 수행하기 위해 부호화 단위를 복수의 예측 단위로 분할한다. 즉, 상기 부호화 단위의 크기가 최소 부호화 단위보다 큰 경우와 상기 부호화 단위의 크기가 최소 부호화 단위와 동일한 경우에 다른 인덱스 값을 가지고 정의될 수 있다.
표 4를 참조하면, 부호화 단위의 크기(log2CUSize)가 최소 부호화 단위의 크기(Log2MinCUSize)보다 크면 어떠한 cu_split_pred_part_mode에서도 복수의 예측 단위로 분할되어 화면 내 예측을 수행하기 위한 분할 타입 정보(PartMode)로 NxN이 사용되지 않는다.
표 5를 참조하면, 부호화 단위의 크기(log2CUSize)가 최소 부호화 단위의 크기(Log2MinCUSize)와 동일하면 cu_split_pred_part_mode가 5인 경우 분할 타입 정보(PartMode)로 NxN을 사용하여 화면 내 예측을 수행시 복수의 예측 단위로 분할할 수 있다.
표 3 내지 표 5를 사용할 조건이 아닌 경우, 아래의 표 6 및 표 7을 사용하여 부호화 단위의 크기에 따른 화면 내 예측 수행 방법을 나타낸 구문이다.
Figure pat00006
표 6을 참조하면, 이진 부호화 방법으로 CAVLC를 사용하고 슬라이스의 타입이 I 슬라이스이면서 부호화 단위의 크기가 최소 부호화 단위인 경우, intra_part_mode라는 구문 요소를 사용하고, 이진 부호화 방법으로 CABAC(Context-Adaptive Binary Arithmetic Coding)을 사용하고 슬라이스 타입 P 슬라이스 또는 B 슬라이스이거나 부호화 단위의 크기가 최소 부호화 단위 크기인 경우, pred_type이라는 구문 요소를 사용하여 부호화 단위의 크기가 최소 부호화 단위일때만 NxN 분할을 수행하여 하나의 부호화 단위를 복수의 예측 단위로 분할한다.
intra_part_mode는 현재 부호화 단위가 2Nx2N으로 분할되는지 아니면, NxN으로 분할되는지를 나타내는 구문 요소로써 현재 부호화 단위의 크기가 최소일 경우, 부호화 단위를 복수개의 예측 단위로 분할할지 여부를 나타낸다.
아래의 표 7은 pred_type을 나타낸 것으로 구문 요소 pred_type은 슬라이스 종류별로 분할 여부 표시 플래그(IntraSplitFlag), 예측 모드 정보(PredMode), 분할 모드 정보(PartMode)정보를 포함할 수 있다.
Figure pat00007
표 7에서 구문 요소 pred_type은 현재 부호화 단위의 크기가 최소 부호화 단위의 크기보다 큰 경우, pred_type의 값이 3 또는 5를 사용하지 않도록 제한을 둠으로써 현재 부호화 단위의 크기가 최소 부호화 단위 크기일 경우에만, 분할 모드로 NxN 분할을 사용하도록 할 수 있다. 또한, 추가적으로 슬라이스 타입이 I 슬라이스이고 부호화 단위의 크기가 최소 부호화 단위의 크기보다 큰 경우, 현재 예측 모드는 화면 내 예측 모드이고 분할 타입은 2Nx2N이고 분할 표시 정보는 0인 것으로 추정하여 사용할 수 있다.
복수의 예측 단위로 분할되어 화면 내 예측을 수행하기 위한 분할 타입 정보(PartMode)로 NxN이 사용되지 않는다.
즉, 표 3에서 표 7까지 전술한 바와 같이 부호화 단위가 복수의 예측 단위로 분할되어 있는지 여부를 표시하는 소정의 구문 요소를 기초로 부호화 단위의 크기가 최소 부호화 단위인 경우에만, 화면 내 예측을 수행시 NxN 분할을 사용하도록 함으로써 표 1 및 표 2에서 전술한 것과 동일한 예측 단위 분할 절차를 구현할 수 있다. 본 발명의 실시예에 따른 부호화 단위 크기에 따른 화면 내 예측 수행 방법에 있어서, 다양한 구현 방법이 있을 수 있으며, 본 발명의 본질에서 벋어나지 않는 한 이러한 다양한 구현 방법이 본 발명의 권리 범위에 포함된다.
표 8 내지 표 10은 본 발명의 또 다른 실시예에 따른 부호화 단위의 크기에 따른 화면 내 예측 수행 방법을 나타낸 구문(syntax)이다.
화면 내 예측을 수행되는 최소 부호화 단위의 크기를 4x4로 설정할 수 있다. 화면 내 예측을 위한 예측 단위의 최소 크기 및 변환을 위한 변환 단위의 최소 크기가 4x4이므로 화면 내 예측을 수행되는 부호화 단위의 크기가 4x4인 경우에는 하나의 부호화 단위가 복수개의 변환 단위와 예측 단위로 분할되지 않고 부호화 단위의 크기와 변환 단위 및 예측 단위의 크기가 동일하다. 따라서, 화면 내 예측을 수행함에 있어 부호화 단위의 크기가 4x4인 경우, 하나의 부호화 단위를 복수개의 예측 단위로 분할할 것인지에 관련된 예측 단위 분할 정보와 하나의 부호화 단위를 복수개의 변환 단위로 분할할 것인지에 관련된 변환 단위 분할 정보는 불필요한 정보가 되므로 예측 단위 분할 정보와 변환 단위 분할 정보는 화면 내 예측을 수행하는 4x4 크기의 부호화 단위가 아닌 경우에만 확인할 필요가 있다.
Figure pat00008
표 8을 참조하면, 최소 부호화 단위 사이즈(MinCodingUnitSize)를 나타내는 정보에 화면 내 예측을 수행하는 최소 부호화 단위 사이즈(MinCodingUnitSize Intra), 화면 간 예측을 수행하는 최소 부호화 단위 사이즈(MinCodingUnitSize Inter)를 설정할 수 있다. 현재 부호화 단위의 크기가 최소 부호화 단위의 크기보다 큰 경우에만, 부호화 단위가 복수개의 부호화 단위로 분할되어 있는지 여부를 나타내는 정보(split_coding_unit_flag)를 통해 부호화 단위가 복수의 부호화 단위로 분할되는지에 관한 정보를 제공받을 수 있다.
Figure pat00009
표 9을 참조하면, 현재 부호화 단위가 화면 내 예측을 수행하는 최소 단위인 4x4인지 여부를 판단하여 현재 부호화 단위의 크기가 4x4가 아닌 경우에만 하나의 부호화 단위가 화면 내 예측을 수행하기 위한 복수개의 예측 단위로 분할되어 있는지 여부를 나타내는 정보(intra_split_flag)를 사용하여 현재 부호화 단위가 복수개의 예측 단위로 분할되어 있는지 여부에 관련된 정보를 제공받을 수 있다.
Figure pat00010
표 10을 참조하면, 현재 부호화 단위가 화면 내 예측을 수행하는 최소 단위인 4x4인지 여부를 판단하여 현재 블록의 크기가 4x4가 아닌 경우에만 현재 부호화 단위가 복수개의 변환 단위로 분할되어 있는지 여부에 관련된 정보를 제공받을 수 있다.
즉, 화면 내 예측을 수행시 4x4 크기를 부호화 단위의 최소 크기로 제한하는 경우, 4x4 크기의 부호화 단위에서는 하나의 부호화 단위를 복수개의 부호화 단위로 분할할지 여부를 표시하는 정보(split_coding_unit_flag), 하나의 부호화 단위를 복수개의 예측 단위로 분할할지 여부를 표시하는 정보(intra_split_flag), 하나의 부호화 단위를 복수개의 부호화 단위로 분할할지 여부를 표시하는 정보(split_transform_unit_flag)를 얻지 않고 바로 현재 부호화 블록이 예측을 수행하는 예측 단위 및 변환되는 변환 단위 정보를 획득할 수 있다.
본 발명의 실시예에 따른 부호화 단위 크기 결정 방법에서는 부호화 단위를 기초로 화면 간 예측 및 화면 내 예측을 수행할 수 있다. 즉, 픽쳐에서 예측 단위를 따로 생성하지 않고 분할된 부호화 단위를 예측을 수행하는 단위로 사용하여 부호화 단위에서 화면 간 예측 및 화면 내 예측을 수행할 것인지 여부를 결정할 수 있다. 부호화 단위에 기초한 예측 방법을 사용할 경우, 부호화 단위에서 정사각형이 아닌 직사각형 형태의 블록을 기초로 한 예측(SDIP(Short distance Intra Prediction, AMP(Asymetric Motion Partitioning 등)을 수행할 경우, 추가의 분할 정보를 전송하는 방법을 통해서 화면 간 예측 및 화면 내 예측을 수행할 수 있다.
본 발명의 실시예에 따른 부호화 단위에 기초한 예측 방법에서는 부호화 단위의 분할에 기초하여 예측을 수행하는 경우, 화면 내 예측을 수행하는 블록과 화면 간 예측을 수행하는 블록의 크기를 서로 다르게 할 수 있다. 예를 들어, 화면 간 예측을 수행될 수 있는 최소 부호화 단위와 화면 내 예측을 수행할 수 있는 최소 부호화 단위의 크기를 다르게 하는 방법을 통해 전체적인 부호화 효율을 높힐 수 있다.
아래의 표 11은 화면 내 예측 및 화면 간 예측에서 사용되는 부호화 단위의 최소 사이즈가 상이하게 설정되는 방법을 나타낸 것이다.
Figure pat00011
표 11을 참조하면, 화면 내 예측을 수행하는 부호화 단위의 크기가 화면 간 예측을 수행하는 부호화 단위의 크기보다 한 단계 작은 크기로 설정됨으로써 화면 내 예측을 수행시 화면 간 예측을 수행할 때 보다 좀 더 작은 단위의 부호화 단위에서 예측을 수행하는 방법을 통해 화질을 전체적으로 향상 시킬 수 있다.
화면 간 예측을 수행하는 최소 부호화 단위의 크기는 아래의 수학식 1과 같이 최소 부호화 단위의 크기 정보를 나타내는 구문 요소인 log2_min_coding_unit_size_minus3을 기초로 산출될 수 있고, 화면 내 예측을 수행하는 최소 부호화 단위의 크기는 아래의 수학식 1과 같이 최소 부호화 단위의 크기보다 한 단계 작은 크기로 결정될 수 있다.
Figure pat00012
표 12는 부호화 단위를 분할할지 여부를 판단하는 구문을 나타낸 것이다.
화면 내 예측을 수행하는 최소 부호화 단위의 크기와 화면 간 예측을 수행하는 최소 부호화 단위의 크기를 기초로 최소 부호화 단위가 아닐 경우에만 현재 부호화 단위가 분할될지 여부를 판단하는 구문 요소인 split_coding_unit_flag를 판단할 수 있다.
Figure pat00013
표 13에서는 부호화 단위를 기초로 화면 내 예측이 수행될 경우를 나타낸 구문이다.
Figure pat00014
표 13에서는 화면 내 예측이 수행된 부호화 단위는 예측 단위로 분할되지 않으므로 부호화 단위가 예측 단위로 분할되는지 여부를 표시하는 구문 요소인 intra_split_flag를 사용하지 않고 화면 내 예측이 수행된 부호화 단위에 대해 combined_intra_pred_flag를 통해 부호화 단위의 예측 모드 정보를 얻을 수 있다.
표 11 내지 표 13에서 본 발명의 또 다른 실시예에 따른 부호화 단위에 기초한 예측 방법에서는 전술한 바와 같이 부호화 단위를 예측을 수행하는 블록으로 사용하여 화면 내 예측 및 화면 간 예측을 수행함으로써 부호화 및 복호화의 복잡도를 낮출 수 있고 낮은 지연을 요구하는 구현에서 활용될 수 있다.
본 발명의 또 다른 실시예에 따른 변환 단위 크기 설정 방법에서는 부호화 단위의 크기와 변환 단위의 크기를 동일하게 설정할 수 있다. 변환 단위의 크기를 부호화 단위의 크기와 동일하게 하는 방법을 통해서 낮은 복잡도로 부호화 및 복호화를 수행할 수 있다.
아래의 표 14는 부호화 단위의 크기와 변환 단위의 크기를 동일하게 하는 경우를 나타낸 표이다.
Figure pat00015
표 14를 참조하면 부호화 단위와 변환 단위의 크기를 동일하게 함으로써 변환 단위의 분할 여부 정보를 표시하는 split_transform_flag 정보가 필요없이도 변환 단위의 크기 정보를 얻을 수 있고 부호화 단위의 크기를 기초로 역변환을 수행할 수 있다.
예를 들어, 전술한 바와 같은 부호화 단위의 크기 분할 여부를 나타내는 구문 요소인 cuDepth, cu_split_pred_part_mode, pred_type 또는 split_coding_unit_flag와 같은 구문 요소 정보를 기초로 변환 단위의 크기 정보 및 분할 정보를 얻어낼 수 있다. 또한, 변환 단위를 따로 정의하지 않고 분할된 부호화 단위를 변환 단위로 사용하는 방법도 사용할 수 있다.
부호화 단위와 변환 단위의 크기를 동일하게 사용할 경우 부호화 및 복호화를 수행시 낮은 복잡도로 부호화 복호화를 수행할 수 있다. 부호화 단위와 변환 단위의 크기가 동일하므로 예측 단위의 분할 정보에 종속하지 않고 독립적으로 변환 단위의 크기를 결정할 수 있으므로 예측 단위와 관계 없이 현재 픽쳐에서 변환 단위 분할 정보를 얻을 수 있다.
본 발명의 또 다른 실시예에 따른 부호화 단위 크기 설정 방법에서는 예측 방법에 따라 예측을 수행하는 최대 부호화 단위의 사이즈를 다르게 할 수 있다.
예측이 수행되는 최대 부호화 단위의 크기를 제한하는 방법은 특정 파라메터 셋을 기초로 정의될 수 있다.
아래의 표 15는 SPS(Sequence Parameter Set)에서 정의된 예측 방법에 따른 부호화 단위의 크기를 나타낸 것이다.
Figure pat00016
표 15를 참조하면, 화면 간 예측을 수행하는 예측 단위 중 가장 큰 부호화 단위의 너비를 나타내는 max_coding_unit_width_inter, 화면 간 예측을 수행하는 예측 단위 중 가장 큰 부호화 단위의 높이를 나타내는 max_coding_unit_height_inter, 화면 내 예측을 수행하는 예측 단위 중 가장 큰 부호화 단위의 너비를 나타내는 max_coding_unit_width_intra, 화면 내 예측을 수행하는 예측 단위 중 가장 큰 부호화 단위의 높이를 나타내는 max_coding_unit_height_intra를 구문 요소로 정의하여 해당값을 기초로 화면 간 예측이 수행되는 부호화 단위와 화면 내 예측이 수행되는 최대 부호화 단위의 크기를 다르게 할 수 있다.
또 다른 방법으로 아래의 표 16과 같은 구문 요소를 이용하여 각각의 예측을 수행하는 최대 부호화 단위의 크기를 정의할 수도 있다.
Figure pat00017
표 16을 참조하면, 표 15와 마찬가지로 화면 간 예측을 수행하는 가장 큰 부호화 단위의 너비를 나타내는 구문 요소를 max_coding_unit_width_inter로 정의하고 화면 간 예측을 수행하는 가장 큰 부호화 단위의 높이를 max_coding_unit_height_inter로 정의할 수 있다. 하지만, 표 15와는 다르게 화면 내 예측을 수행하는 가장 큰 부호화 단위의 너비를 나타내기 위해 화면 간 예측을 수행하는 부호화 단위의 너비와 화면 내 예측을 수행하는 부호화 단위의 너비 사이의 차를 나타내는 정보인 difference_between_inter_intra_width와 화면 내 예측을 수행하는 가장 큰 부호화 단위의 높이를 나타내기 위해 화면 간 예측을 수행하는 부호화 단위의 높이와 화면 내 예측을 수행하는 부호화 단위의 높이 사이의 차를 나타내는 정보인 difference_between_inter_intra_height를 기초로 화면 내 예측을 수행하는 부호화 단위의 최대 부호화 단위의 너비와 최대 부호화 단위의 높이를 나타낼 수 있다.
difference_between_inter_intra_width와 difference_between_inter_intra_height는 아래의 수학식 2와 같이 산출될 수 있다.
Figure pat00018
또 다른 방법으로 아래의 표 17과 같은 구문 요소를 이용하여 각각의 예측을 수행하는 부호화 단위의 크기를 정의할 수도 있다.
Figure pat00019
표 17을 참조하면, 화면 간 예측을 수행하는 가장 큰 부호화 단위의 너비를 나타내는 max_coding_unit_width_inter와 화면 간 예측을 수행하는 가장 큰 부호화 단위의 높이를 나타내는 max_coding_unit_height_inter만을 파라메터 셋에 정의할 수 있다.
화면 내 예측을 수행하는 예측 단위 중 가장 큰 부호화 단위의 너비를 나타내는 max_coding_unit_width_intra, 화면 내 예측을 수행하는 예측 단위 중 가장 큰 부호화 단위의 높이를 나타내는 max_coding_unit_height_intra는 정의된 max_coding_unit_width_inter와 max_coding_unit_height_inter로부터 아래의 수학식 3에 의해 도출될 수 있다.
Figure pat00020
또 다른 방법으로 아래의 표 18과 같은 구문 요소를 이용하여 각각의 예측을 수행하는 부호화 단위의 크기를 정의할 수 있다.
Figure pat00021
표 18을 참조하면, 가장 큰 부호화 단위의 크기를 정의하는 max_coding_unit_size를 정의하고 화면 내 예측 및 화면 간 예측을 수행하기 위한 최대 부호화 단위의 너비를 max_coding_unit_width로 화면 내 예측 및 화면 간 예측을 수행하기 위한 최대 부호화 단위의 높이를 max_coding_unit_height로 정의한 후 max_coding_unit_size에서 설정된 값을 max_coding_unit_width와 max_coding_unit_height의 값으로 사용할 수 있다. 즉, 화면 내 예측과 화면 간 예측을 수행하는 최대 부호화 단위의 크기는 동일하게 설정될 수 있다.
또 다른 방법으로 아래의 표 19와 같은 구문 요소를 이용하여 각각의 예측을 수행하는 부호화 단위의 크기를 정의할 수 있다.
Figure pat00022
표 19를 참조하면, 가장 큰 부호화 단위의 크기를 나타내는 max_coding_unit_size와 화면 간 예측을 수행하는 가장 큰 부호화 단위와 화면 내 예측을 수행하는 가장 큰 부호화 단위의 크기의 차이를 나타내는 difference_between_inter_intra를 기초로 아래의 수학식 4를 통해 표 15에서 정의한 구문 요소(max_coding_unit_width_inter, max_coding_unit_height_inter, max_coding_unit_width_intra, max_coding_unit_height_intra)를 산출해낼 수 있다.
Figure pat00023
또 다른 방법으로 아래의 표 20과 같은 구문 요소를 이용하여 각각의 예측을 수행하는 부호화 단위의 크기를 정의할 수 있다.
Figure pat00024
가장 큰 부호화 단위의 크기를 나타내는 구문 요소인 max_coding_unit_size를 기초로 아래의 수학식 5를 통해 표 15에서 정의한 구문 요소(max_coding_unit_width_inter, max_coding_unit_height_inter, max_coding_unit_width_intra, max_coding_unit_height_intra)를 산출할 수 있다.
Figure pat00025
이상의 표 15에서 표 20의 실시예들은 화면 간 예측을 수행하는 최대 부호화 단위의 너비 및 높이, 화면 내 예측을 수행하는 최대 부호화 단위의 너비 및 높이에 관련된 정보를 얻기 위한 실시예들로써 본 발명의 본질에서 벋어나지 않는 한 다른 구현 방법 및 실시예들도 가능하다.
도 12는 본 발명의 또 다른 실시예에 따른 화면 내 예측 및 화면 간 예측을 수행하기 위한 블록 분할 방법을 나타낸 개념도이다.
도 12를 참조하면, 화면 내 예측을 수행하는 블록은 2Nx2N의 부호화 단위를 부호화 단위와 동일한 크기를 사용하는 2Nx2N의 예측 단위(1200)와 2Nx2N 단위의 부호화 단위를 NxN으로 분할한 예측 단위(1205)로 분할할 수 있다.
화면 간 예측을 수행하는 블록은 2Nx2N의 부호화 단위를 부호화 단위와 동일한 크기를 사용하는 2Nx2N의 예측 단위(1210), 2Nx2N 단위의 부호화 단위를 NxN으로 분할한 예측 단위(1215), 2Nx2N 단위의 부호화 단위를 2NxN으로 분할한 예측 단위(1220), 2Nx2N 단위의 부호화 단위를 Nx2N으로 분할한 예측 단위(1225)로 분할하여 사용할 수 있다.
본 발명의 일실시예에 따르면, 화면 내 예측 및 화면 간 예측에 대하여 블록분할 방법에 따라 소정의 범주로 나누어 예측을 수행할 수 있다.
아래의 표 21은 화면 내 예측 방법을 분할된 예측 단위 형태에 따라 소정의 범주로 구분한 것이다.
표 21을 참조하면, 화면 내 예측을 수행하기 위한 블록 분할의 범주로 1 형태 분할 방법과 2 형태 분할 방법으로 구분할 수 있다.
Figure pat00026
1 형태 분할 방법의 경우, 부호화 단위의 크기와 예측 단위의 크기가 동일한 2Nx2N 블록(1200)만을 사용하여 화면 내 예측을 수행하는 방법이고, 2 형태 분할 방법의 경우, 부호화 단위의 크기와 예측 단위의 크기가 동일한 2Nx2N 블록(1200)과 2Nx2N 크기의 부호화 단위를 4개의 NxN 크기의 예측 단위로 분할한 NxN 블록(1205)을 사용하여 화면 내 예측을 수행하는 방법이다.
2 형태 분할 방법에서 2Nx2N 크기의 부호화 단위를 4개의 NxN 크기의 부호화 단위로 분할하여 화면 내 예측을 수행하는 방법은 전술한 바와 같이 부호화 단위의 크기가 최소 부호화 단위일때 수행될 수 있고, 가장 작은 부호화 단위의 사이즈는 예를 들어, 128x128, 64x64, 32x32, 16x16, 8x8 등 다양한 크기로 설정될 수 있다.
아래의 표 22는 화면 간 예측 방법을 분할된 예측 단위 형태에 따라 소정의 범주로 구분한 것이다.
표 22를 참조하면, 화면 내 예측을 수행하기 위한 블록 분할의 범주로 3 형태 분할 방법과 4 형태 분할 방법으로 구분할 수 있다.
Figure pat00027
3 형태 분할 방법은 2Nx2N 크기의 부호화 단위를 2Nx2N(1210), 2NxN(1220), Nx2N(1225)의 예측 단위로 분할하는 것이고 4 형태 분할 방법은 2Nx2N 크기의 부호화 단위를 2Nx2N(1210), 2NxN(1215), Nx2N(1220), NxN(1225)의 예측 단위로 분할하는 것이다.
4 형태 분할 방법에서 NxN 크기(1225)의 분할은 부호화 단위의 크기가 최소 부호화 단위일 때만 사용할 수 있고 가장 작은 부호화 단위의 사이즈는 전술한 바와 같이 다양하게 설정될 수 있다.
최소 부호화 단위의 사이즈가 8x8 인 경우, NxN 분할을 사용하지 않는 3 형태 분할 방법을 사용할 것인지 아니면, NxN 분할을 사용하는 4형태 분할 방법을 사용할 것인지에 대한 정보를 전송하기 위한 하나의 실시예로 화면 간 예측을 수행시 NxN 예측을 하지 않도록 설정하는 플래그 정보를 사용할 수 있다. 예를 들어, 최소 부호화 단위의 사이즈가 8x8인 경우 4x4 예측을 하지 못하도록 하는 플래그(disable_inter_4x4_flag)또는 최소 부호화 단위의 사이즈가 8x8인 경우 4x4 예측을 하도록 하는 플래그(inter_4x4_enabled_flag)를 사용하여 4x4 예측 단위에 화면 간 예측을 수행하지 않을 수 있다. 이러한 플래그 정보는 SPS와 같은 소정의 파라메터 셋에 정의되어 사용될 수 있다. 위의 두 플래그는 동일한 역할을 가진 플래그이므로 이하, 본 발명의 실시예에서는 inter_4x4_enabled_flag를 기준으로 설명한다
본 발명의 실시예에 따른 화면 간 예측 방법에서는 최소 부호화 단위의 크기인 8x8을 기준으로 inter_4x4_enabled_flag는 1일 경우, 8x8 크기의 부호화 블록에 대해 4x4 크기의 예측 단위를 사용한 화면 내 예측 방법을 사용할 수 있도록 하여 4 형태 분할 방법을 사용할 수 있도록 하고, inter_4x4_enabled_flag는 0이고 부호화 단위의 크기가 8x8일 경우, 8x8 크기의 부호화 블록에 대해 4x4 크기의 예측 단위를 사용한 화면 내 예측 방법을 사용할 수 없도록 하여 3형태 분할 방법을 사용하도록 할 수 있다. 이하의 본 발명의 실시예에서는 최소 부호화 단위의 크기가 8x8인 경우, 복수개의 4x4 크기의 예측 블록으로 나누어서 화면 간 예측을 수행하는 것을 허용하는 allowInterNxN이라는 플래그를 새롭게 정의하여 부호화 단위의 크기가 8보다 크거나, inter_4x4_enabled_flag가 1인 경우, allowInterNxN을 참으로 설정하고, 부호화 단위의 크기가 8이고 inter_4x4_enabled_flag가 0인 경우, allowInterNxN을 거짓으로 설정하여 3 형태 분할 방법 또는 4 형태 분할 방법을 구현할 수 있다.
아래의 표 23은 allowInterNxN의 값이 참인 경우, 분할 정보를 포함하는 구문 요소인 cu_split_pred_part_mode의 인덱스를 정의한 표이고, 표 24는 allowInterNxN의 값이 거짓인 경우, 분할 정보를 포함하는 구문 요소인 cu_split_pred_part_mode의 인덱스를 정의한 표이다.
Figure pat00028
Figure pat00029
표 23 및 표 24를 참조하면, allowInterNxN의 값이 참인 경우, cu_spilt_pred_part_mode의 인덱스값이 5일 때 화면 간 예측을 수행시 NxN블록을 사용하지만, allowInterNxN의 값이 거짓인 경우, cu_spilt_pred_part_mode의 인덱스값이 5일 때 화면 간 예측을 수행시 NxN블록을 사용하지 않는다. 즉, allowInterNxN의 값이 참인 경우, 3 형태 분할 방법을 사용하고, allowInterNxN의 값이 거짓인 경우, 4 형태 분할 방법을 사용한다.
전술한 화면 간 예측을 수행시 소정의 플래그를 사용하여 예측을 수행하는데사용되사용되는 블록을 구분하는 방법은 하나의 실시예로써 본 발명의 본질에서 벋어나지 않는 한 다른 방법을 사용할 수 있고 이러한 방법 또한 본 발명의 권리 범위에 포함된다. 예를 들어, 화면 간 예측에서 4x4 블록을 예측 단위로 사용하여 화면 간 예측이 가능한지 여부를 표시하는 플래그인 inter_4x4_enabled_flag는 하나의 예시로서 최소 부호화 단위의 크기가 8x8가 아닐 경우, 다른 플래그 정보를 사용하여 최소 부호화 단위에서 복수의 예측 단위로 분할이 가능한지 여부를 나타내는 플래그를 사용할 수 있다.
화면 내 예측 방법의 경우, 표 21에서 전술한 바와 같이 부호화 단위의 크기가 최소 부호화 단위와 같은지 여부에 따라 1 형태 분할을 사용할 것인지 아니면 2 형태 분할을 사용할 것인지에 대해 결정할 수 있다. 이하의 본 발명의 실시예에서는 화면 내 예측을 수행시 사용되는 블록의 분할 형태인 1 형태 분할 방법과 2 형태 분할 방법과 화면 간 예측을 수행시 사용되는 블록의 분할 형태인 3 형태 분할 방법과 4 형태 분할 방법의 조합을 나타낸다. 즉, 표 21 및 표 22에서 기술된 화면 내 예측 방법 및 화면 간 예측 방법에 사용되는 블록 분할의 범주는 여러가지 조합으로 사용되어 픽쳐의 예측에 사용되는 블록 분할 방법을 결정할 수 있다.
화면 내 예측을 사용하는 예측 단위를 포함하는 부호화 단위만을 포함하는 I슬라이스에 대하여 1 형태 분할 방법을 사용하는 경우와 2 형태 분할을 사용하는 경우에 대해 아래의 표 23과 같은 방법을 사용해 분할 타입에 관련된 정보를 전송할 수 있다.
Figure pat00030
표 25을 참조하면, I 슬라이스에서 1 형태 분할 방법을 사용하는 경우는 예측 단위로 분할하는 방법이 하나이기 때문에 분할 방법을 표현하기 위한 추가의 비트가 없이도 분할 정보를 표현할 수 있다. 하지만, I 슬라이스에서 2 형태 분할 방법을 사용하는 경우는 부호화 단위가 최소 부호화 단위이면 2Nx2N을 화면 내 예측을 수행하기 위한 예측 단위로 사용하지만 부호화 단위가 최소 부호화 단위이면 화면 내 예측을 수행하기 위한 예측 단위가 2Nx2N인지 아니면 NxN인지를 표시하기 위해 특정한 비트 정보를 이용하여 분할 타입을 표현할 수 있다. 예를 들어, 부호화 단위가 최소 부호화 단위이고 화면 내 예측을 수행하기 위한 예측 단위의 크기를 부호화 단위의 크기와 동일하게 설정하면(2Nx2N), 0으로 현재 부호화 단위의 분할 여부 정보를 표현할 수 있고, 부호화 단위가 최소 부호화 단위이고 화면 내 예측을 수행하기 위한 예측 단위의 크기를 부호화 단위를 4 분할한 크기로 설정하면(NxN), 1로써 현재 부호화 단위의 분할 여부 정보를 표현할 수 있다.
전술한 소정의 정보를 표현하기 위한 이진 부호화 방법 및 이진 비트는 하나의 실시예로써 이진 부호화 방법에 따라 달라질 수 있고, 이러한 변형도 본 발명의 권리 범위에 포함된다.
I 슬라이스가 아닌 P 슬라이스 또는 B 슬라이스에서는 화면 내 예측을 수행하기 위한 분할 방법인 1 형태 분할 방법 및 2 형태 분할 방법과 화면 간 예측을 수행하기 위한 3 형태 분할 방법과 4 형태 분할 방법이 조합되어 사용될 수 있다.
표 26은 본 발명의 실시예에 따른 화면 내 예측이 사용된 부호화 단위에서 사용되는 예측 단위와 화면 간 예측이 사용된 부호화 단위에서 사용되는 예측 단위의 정보를 전송하기 위한 신호 비트를 나타낸 표이다.
Figure pat00031
표 26를 참조하면, 화면 내 예측의 경우, 1 형태 분할, 화면 간 예측의 경우, 3 형태 분할이 사용될 수 있다. 전술한 바와 같이 inter_4x4_enabled_flag를 사용하여 현재 화면 간 예측의 분할 정보를 표현할 수 있다.
부호화 단위가 화면 내 예측을 사용하였을 경우의 신호는 000, 특정 부호화 단위가 화면 간 예측을 사용하였을 경우로써 2Nx2N의 예측 단위를 사용할 경우는 1, 2NxN의 예측 단위를 사용할 경우는 01, Nx2N의 예측 단위를 사용할 경우는 001로 표현될 수 있고 이러한 이진 부호를 통해 현재 부호화 단위에서 사용된 예측 단위를 구분하여 표현할 수 있다.
복호화기에서는 이러한 이진 부호 정보를 기초로 현재 프레임의 부호화 단위에서 사용된 예측 방법 및 부호화 단위의 분할 방법 정보를 제공받을 수 있다.
표 27은 본 발명의 또 다른 실시예에 따른 화면 내 예측이 사용된 부호화 단위에서 사용되는 예측 단위와 화면 간 예측이 사용된 부호화 단위에서 사용되는 예측 단위의 정보를 전송하기 위한 신호 비트를 나타낸 표이다.
Figure pat00032
표 27을 참조하면, 화면 내 예측의 경우, 1 형태 분할, 화면 간 예측의 경우, 4 형태 분할이 사용될 수 있다.
특정 부호화 단위가 최소 부호화 단위 크기에서 화면 내 예측을 사용하였을 경우는 0000최소 부호화 단위 크기가 아니고 화면 내 예측을 사용하였을 경우는 000, 특정 부호화 단위가 화면 간 예측을 사용하였을 경우로써 2Nx2N의 예측 단위를 사용할 경우는 1, 2NxN의 예측 단위를 사용할 경우는 01, Nx2N의 예측 단위를 사용할 경우는 001, 최소 부호화 단위의 크기에서는 NxN의 예측 단위를 사용할 수 있고 NxN 예측 단위를 사용할 경우는 0001을 사용하여 현재 부호화 단위의 분할 정보를 표현할 수 있다. 전술한 바와 같이 inter_4x4_enabled_flag를 사용하여 현재 화면 간 예측의 분할 정보를 표현할 수 있다.
마찬가지로 복호화기에서는 이러한 이진 부호 정보를 기초로 현재 프레임의 부호화 단위에서 사용된 예측 방법 및 부호화 단위의 분할 방법 정보를 제공받을 수 있다.
표 25 및 표 27와 같이 화면 내 예측 방법으로 한가지 방법이 사용되고 화면 내 예측 부호화 단위에서 화면 내 예측을 사용하였는지 또는 화면 간 예측을 사용하였는지 여부를 판단할 수 있는 경우, 화면 내 예측에 사용된 분할의 종류를 나타내기 위한 이진 부호는 사용되지 않을 수 있다.
표 28은 본 발명의 실시예에 따른 화면 내 예측이 사용된 부호화 단위에서 사용되는 예측 단위와 화면 간 예측이 사용된 부호화 단위에서 사용되는 예측 단위의 정보를 전송하기 위한 신호 비트를 나타낸 표이다.
Figure pat00033
표 28을 참조하면, 화면 내 예측의 경우, 2 형태 분할, 화면 간 예측의 경우, 3 형태 분할이 사용될 수 있다.
특정 부호화 단위가 화면 내 예측을 사용하였을 경우, 2 형태 분할 중 어떠한 분할 방법을 사용하였는지 여부 및 현재 부호화 단위가 최소 부호화 단위인지 여부에 따라 이진 부호를 다르게 할당하여 현재 부호화 단위가 예측 단위로 어떻게 분할되었는지를 부호화할 수 있다.
화면 내 예측에서 최소 부호화 단위가 아닌 경우, 2Nx2N 분할만을 사용하고 최소 부호화 단위인 경우, 2Nx2N과 NxN 분할을 사용하므로 최소 부호화 단위일 경우 화면 내 예측을 수행하는 부호화 단위에서 어떠한 분할 방법을 사용하였는지를 표시할 수 있는 이진 부호화 비트를 다르게 설정하여 현재 부호화 단위의 분할 방법 정보를 표현할 수 있다.
최소 부호화 단위일 경우, 2진 부호화 비트의 할당을 다르게 하는 것도 가능하지만, 부호화 단위의 크기 정보를 미리 판단할 수 있다면 2Nx2N 크기의 분할을 수행한 경우에 있어서, 현재 부호화 단위의 크기가 최소 부호화 단위인지 여부에 상관없이 동일한 비트를 할당하는 것도 가능하다.
또한, 전술한 바와 같이 현재 부호화 단위가 화면 내 예측인지를 미리 판단할 수 있고 부호화 단위의 크기가 최소 부호화 단위보다 큰 경우 분할 정보를 따로 이진 부호화하지 않을 수도 있고, 최소 부호화 단위이고 부호화 단위를 NxN으로 분할할 경우에 한해서 특정한 이진 부호를 기초로 한 이진 정보를 전송함으로써 현재 부호화 단위의 화면 내 예측을 위한 분할 정보를 표현할 수 있다.
특정 부호화 단위가 화면 간 예측을 사용하였을 경우, 3 형태 분할을 사용하므로 부호화 단위에서 화면 간 예측을 수행하기 위해 2Nx2N, 2NxN, NxN 중 어떠한 분할 방법을 사용하였는지를 나타내기 위해 표 28에서와 같은 이진 부호를 사용할 수 있다.
표 29는 본 발명의 실시예에 따른 화면 내 예측이 사용된 부호화 단위에서 사용되는 예측 단위와 화면 간 예측이 사용된 부호화 단위에서 사용되는 예측 단위의 정보를 전송하기 위한 신호 비트를 나타낸 표이다.
Figure pat00034
표 29를 참조하면, 화면 내 예측의 경우, 2 형태 분할, 화면 간 예측의 경우, 4 형태 분할이 사용될 수 있다.
특정 부호화 단위가 화면 내 예측을 사용하였을 경우, 2 형태 분할 중 어떠한 분할 방법을 사용하였는지 여부 및 현재 부호화 단위가 최소 부호화 단위인지 여부에 따라 이진 부호를 다르게 할당하여 현재 부호화 단위가 예측 단위로 어떻게 분할되었는지를 부호화할 수 있다.
표 29와 같이 화면 내 예측에서 최소 부호화 단위가 아닌 경우, 2Nx2N 분할만을 사용하고 최소 부호화 단위인 경우, 2Nx2N과 NxN 분할을 사용하므로 최소 부호화 단위일 경우 화면 내 예측을 수행하는 부호화 단위에서 어떠한 분할 방법을 사용하였는지를 표시할 수 있는 이진 부호를 다르게 설정하여 현재 부호화 단위의 분할 방법 정보를 표현할 수 있다.
표 25 내지 표 29와 같이 영상의 화면 내 예측 및 화면 간 예측에 사용되는 블록을 특정한 범주로 구분함으로써 영상의 부호화에 필요한 시간 및 영상의 복호화에 사용되는 시간을 감소시킬 수 있다.
표 25 내지 표 29에서 특정한 분할 타입 정보를 표시하기 위한 이진 부호화 방법은 다양하게 사용될 수 있고, 표 25 내지 표 29에서 표시된 이진 부호화 방법에 한정되지 않는다.
또한 특정한 분할 방법이 많이 사용되는 경우, 분할 방법과 이진 부호 사이의 매핑 정보가 포함되어 있는 매핑 테이블에서 많이 사용되는 분할 방법일수록 적은 수의 비트를 가지는 이진 부호를 할당하는 방법을 사용할 수 있다. 이러한 방법을 구현하기 위해 특정한 분할 방법을 사용할 경우, 매핑 테이블 순서상 바로 위에 위치한 상대적으로 더 작은 이진 부호화 비트가 할당되어 있는 분할 방법의 이진 부호화 비트와 현재 사용된 분할 방법에 할당된 이진 부호화 비트를 서로 변경함으로써 많이 사용되는 분할 방법에 적은 비트수를 할당할 수 있다. 또 다른 방법으로 카운터를 이용하여 특정한 임계값 이상이 되면 매핑 테이블상 이진 부호화의 할당을 변화시키는 방법도 사용될 수 있다.
부호화 단위의 분할 정보는 표 25 내지 표 29와 같이 독립된 정보로 표현되는 것도 가능하지만, 예를 들어, 예측 단위가 화면 간 예측을 수행시 예측 방법(예를 들어, Merge, AMVP, SKIP 등) 중 어떠한 방법을 사용했는지에 관련된 정보와 같은 부가적인 정보와 결합되어 표23 및 24와 같이 새로운 플래그 정보로 정의되는 것도 가능하다.
또한, 전술한 바와 같이 표 25 내지 표 29에서 사용된 이진 신호는 임의적인것으로써 다른 구문 구조에서 추가의 정보를 얻을 수 있다면, 현재 부호화 단위의 분할 방법을 표현하기 위한 이진 신호는 변화되거나 특정한 이진 신호를 사용하지 않고도 추정하는 방법을 사용하여 현재 부호화 단위의 분할 방법을 표현할 수 있다.
도 13은 본 발명의 또 다른 실시예에 따른 예측을 수행하는 블록을 소정의 범주로 구분하는 방법을 설명하기 위한 개념도이다.
도 13의 상단을 참조하면, 본 발명의 또 다른 실시예에 따른 화면 내 예측을 수행하기 위한 블록을 소정의 범주 구분하는 방법에서는 화면 내 예측 방법으로 근거리 화면 내 예측 방법(SDIP)을 추가적으로 사용될 수 있다. 근거리 화면 내 예측 방법을 화면 내 예측 방법으로 추가적으로 사용할 경우, 화면 내 예측을 수행시 사용할 수 있는 분할 단위로써 2Nxh(1300), hx2N(1305)이 추가될 수 있고 부호화 단위의 추가적인 분할 방법의 조합이 생성될 수 있다.
도 13의 하단을 참조하면, 본 발명의 또 다른 실시예에 따른 화면 간 예측을 수행하기 위한 블록을 소정의 범주 구분하는 방법에서는 AMP(Asymmetric Motion Partitioning, 이하, 비대칭 블록 분할 방법도 동일한 의미로 사용함) 방법을 추가적으로 사용할 수 있다. AMP 방법을 추가적으로 사용할 경우, 화면 간 예측을 수행시 사용할 수 있는 분할 단위로써 2NxnU(1310), 2NxnD(1315), hLx2N(1320), nRx2N(1325)을 사용할 수 있다. 즉, 근거리 화면 내 예측 방법 및 비대칭 움직임 분할 방법도 위의 표 25 내지 표 29에서 처럼 다양한 조합으로 생성되어 소정의 슬라이스에서 예측에 사용될 수 있다.
이상에서 설명한 영상 부호화 및 영상 복호화 방법은 도 1 및 도 2에서 전술한 각 영상 부호화기 및 영상 복호화기 장치의 각 구성부에서 구현될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110 : 예측부 115 : 변환부
120 : 양자화부 130 : 엔트로피 부호화부
145 : 필터부

Claims (3)

  1. 화면 내 예측이 수행되는 변환 단위를 특정하는 단계; 및
    상기 변환 블록 주변의 참조 픽셀을 이용하여 상기 변환 단위에 대해 상기 화면 내 예측을 수행하는 단계를 포함하고,
    상기 상기 변환 블록의 가장 상측 및 가장 좌측의 좌표를 (Tx,Ty), 상기 변환 블록의 높이 및 너비를 N이라 하면,
    상기 화면 내 예측을 위한 참조 픽셀은, 상기 변환 단위의 좌측에 존재하며 (Tx-1, Ty) 부터 (Tx-1, Ty+2*N -1)에 위치하는 픽셀, (Tx-1,Ty-1)에 위치하는 픽셀, 상기 변환 단위의 상단에 존재하며 (Tx, Ty-1) 부터 (Tx +2*N -1, Ty-1)에 위치하는 픽셀을 포함하는 영상 복호화 방법.
  2. 제1항에 있어서,
    소정의 화면 내 예측 모드로 화면 내 예측이 수행되는 하나의 예측 단위의 크기가 2Nx2N일 경우, 상기 변환 단위의 크기는 NxN의 크기를 갖는 것을 특징으로 하는 영상 복호화 방법.
  3. 제1항에 있어서,
    소정의 화면 내 예측 모드로 부호화된 예측 단위에 상기 복수의 변환 단위가 포함되는 경우, 상기 복수의 변환 단위에 대해 화면 내 예측을 수행하는 단계는,
    상기 소정의 화면 내 예측 모드를 기초로 제1 변환 단위를 예측한 후 복원하는 단계;
    상기 제1 변환 단위를 복원한 결과 및 상기 소정의 화면 내 예측 모드를 기초로 상기 제1 변환 단위의 우측에 인접한 제2 변환 단위를 예측한 후 복원하는 단계;
    상기 제1 변환 단위 및 상기 제2 변환 단위를 복원한 결과 및 상기 소정의 화면 내 예측 모드를 기초로 상기 제1 변환 단위의 하측에 인접한 제3 변환 단위를 예측한 후 복원하는 단계; 및
    상기 제1 변환 단위, 상기 제2 변환 단위 및 상기 제3 변환 단위를 복원한 결과 및 상기 소정의 화면 내 예측 모드를 기초로 상기 제2 변환 단위의 하측에 인접하고, 상기 제3 변환 단위의 우측에 인접한 제4 변환 단위를 예측한 후 복원하는 단계를 포함하는 영상 복호화 방법.
KR1020147015063A 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치 KR101579392B1 (ko)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US38657910P 2010-09-27 2010-09-27
US61/386,579 2010-09-27
US38859210P 2010-09-30 2010-09-30
US61/388,592 2010-09-30
US38861210P 2010-10-01 2010-10-01
US61/388,612 2010-10-01
US40563810P 2010-10-21 2010-10-21
US40563510P 2010-10-21 2010-10-21
US61/405,635 2010-10-21
US61/405,638 2010-10-21
US42360210P 2010-12-16 2010-12-16
US61/423,602 2010-12-16
PCT/KR2011/006515 WO2012043989A2 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137005823A Division KR101465920B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치

Related Child Applications (4)

Application Number Title Priority Date Filing Date
KR1020157005637A Division KR101583201B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치
KR1020157005636A Division KR101583200B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치
KR1020157005634A Division KR101583198B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치
KR1020157005635A Division KR101583199B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치

Publications (2)

Publication Number Publication Date
KR20140076646A true KR20140076646A (ko) 2014-06-20
KR101579392B1 KR101579392B1 (ko) 2015-12-21

Family

ID=45893602

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020157036939A KR101719448B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치
KR1020157005637A KR101583201B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치
KR1020157005635A KR101583199B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치
KR1020147015063A KR101579392B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치
KR1020157005634A KR101583198B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치
KR1020137005823A KR101465920B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치
KR1020157005636A KR101583200B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020157036939A KR101719448B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치
KR1020157005637A KR101583201B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치
KR1020157005635A KR101583199B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020157005634A KR101583198B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치
KR1020137005823A KR101465920B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치
KR1020157005636A KR101583200B1 (ko) 2010-09-27 2011-09-02 블록 분할 방법 및 복호화 장치

Country Status (14)

Country Link
US (4) US10863196B2 (ko)
EP (4) EP3849194B1 (ko)
KR (7) KR101719448B1 (ko)
CN (8) CN108650518B (ko)
DK (2) DK3849194T3 (ko)
ES (4) ES2868133T3 (ko)
FI (1) FI4084478T3 (ko)
HK (5) HK1257970A1 (ko)
HR (1) HRP20231580T1 (ko)
HU (3) HUE064571T2 (ko)
PL (4) PL3849194T3 (ko)
PT (2) PT2624567T (ko)
SI (2) SI3849194T1 (ko)
WO (1) WO2012043989A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160007929A (ko) * 2014-07-10 2016-01-21 전자부품연구원 HEVC 부호화기에서의 적응적인 CU depth 범위 예측 방법

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008175B2 (en) * 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
WO2012063878A1 (ja) * 2010-11-10 2012-05-18 ソニー株式会社 画像処理装置と画像処理方法
US20120163457A1 (en) * 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
US10992958B2 (en) 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
US8948271B2 (en) * 2011-01-13 2015-02-03 Texas Instruments Incorporated Method and apparatus for a low complexity transform unit partitioning structure for HEVC
WO2012134046A2 (ko) 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
KR101383775B1 (ko) 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
RU2602672C2 (ru) 2011-06-23 2016-11-20 Сан Пэтент Траст Способ декодирования изображения, способ кодирования изображения, устройство декодирования изображения, устройство кодирования изображения и устройство кодирования и декодирования изображения
WO2012176464A1 (ja) 2011-06-24 2012-12-27 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
RU2603552C2 (ru) * 2011-06-24 2016-11-27 Сан Пэтент Траст Способ декодирования изображения, способ кодирования изображения, устройство декодирования изображения, устройство кодирования изображения и устройство кодирования и декодирования изображения
MX2013013483A (es) 2011-06-27 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
MX2013012980A (es) 2011-06-28 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodififcacion de imagenes.
WO2013001767A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
KR101943049B1 (ko) * 2011-06-30 2019-01-29 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
AU2012277219A1 (en) 2011-06-30 2013-09-19 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
WO2013001770A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
CN102857755B (zh) * 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
CN103765885B (zh) 2011-07-11 2017-04-12 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置
CN107968945B (zh) * 2011-09-14 2021-09-14 三星电子株式会社 对视频进行解码的方法和对视频进行编码的方法
CN103797794B (zh) * 2011-09-16 2017-11-03 寰发股份有限公司 用于编码的方法和装置
JP2013085096A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
BR112014009433B1 (pt) * 2011-10-17 2023-01-24 Kt Corporation Método de decodificação de vídeo
KR102030718B1 (ko) 2011-10-18 2019-10-10 주식회사 케이티 영상 부호화 방법, 영상 복호화 방법, 영상 부호화기 및 영상 복호화기
CN105306932B (zh) * 2011-10-24 2018-11-13 英孚布瑞智有限私人贸易公司 用于图像解码的方法和装置
CN107959852A (zh) * 2011-11-08 2018-04-24 株式会社Kt 对视频信号进行解码的方法
US9955152B2 (en) * 2012-02-07 2018-04-24 Sun Patent Trust Image coding method and image decoding method
US9538172B2 (en) * 2012-04-11 2017-01-03 Qualcomm Incorporated Grouping bypass coded syntax elements in video coding
US10154257B2 (en) * 2012-04-13 2018-12-11 Sun Patent Trust Image coding method in which offset is applied when an image is coded, and image decoding method in which offset is applied when an image is decoded
US9912944B2 (en) * 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9264710B2 (en) * 2012-07-06 2016-02-16 Texas Instruments Incorporated Method and system for video picture intra-prediction estimation
EP2951999A4 (en) * 2013-01-30 2016-07-20 Intel Corp CONTENT PARAMETRIC TRANSFORMATIONS FOR CODING VIDEOS OF THE NEXT GENERATION
CN109379603A (zh) * 2013-04-07 2019-02-22 杜比国际公司 用信号通知输出层集的改变
JP6337380B2 (ja) * 2013-07-31 2018-06-06 サン パテント トラスト 画像符号化方法および画像符号化装置
CA2939170A1 (en) * 2014-03-13 2015-09-17 Qualcomm Incorporated Constrained depth intra mode coding for 3d video coding
KR102403685B1 (ko) * 2015-03-23 2022-05-30 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2016178485A1 (ko) * 2015-05-05 2016-11-10 엘지전자 주식회사 영상 코딩 시스템에서 코딩 유닛 처리 방법 및 장치
US20170134732A1 (en) * 2015-11-05 2017-05-11 Broadcom Corporation Systems and methods for digital media communication using syntax planes in hierarchical trees
WO2017151877A1 (en) 2016-03-02 2017-09-08 MatrixView, Inc. Apparatus and method to improve image or video quality or encoding performance by enhancing discrete cosine transform coefficients
EP3442231A4 (en) * 2016-05-02 2019-12-04 Industry - University Cooperation Foundation Hanyang University BILDCODE / DECODE PROCESS AND DEVICE USING INTRA-SCREEN PREDICTION
KR102523384B1 (ko) * 2016-06-17 2023-04-20 세종대학교 산학협력단 비디오 신호의 복호화 방법 및 이의 장치
ES2711230R1 (es) 2016-09-20 2021-04-07 Kt Corp Metodo y aparato para procesar una senal de video
KR102528387B1 (ko) * 2017-01-09 2023-05-03 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2018174617A1 (ko) * 2017-03-22 2018-09-27 한국전자통신연구원 블록 형태에 기반한 예측 방법 및 장치
KR20230143626A (ko) 2017-03-22 2023-10-12 한양대학교 산학협력단 영상을 구성하는 화소값 범위를 이용한 영상 부호화/복호화 방법
CN117255197A (zh) * 2017-03-22 2023-12-19 韩国电子通信研究院 基于块形式的预测方法和装置
EP3673657A1 (en) * 2017-08-22 2020-07-01 Panasonic Intellectual Property Corporation of America Image encoder, image decoder, image encoding method, and image decoding method
US20200275099A1 (en) * 2017-09-19 2020-08-27 Samsung Electronics Co., Ltd. Image encoding method and device, and image decoding method and device
WO2019194514A1 (ko) 2018-04-01 2019-10-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019194502A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP7384902B2 (ja) * 2018-09-14 2023-11-21 華為技術有限公司 映像符号化におけるスライシング及びタイリング
CN114830654A (zh) * 2019-12-23 2022-07-29 华为技术有限公司 译码块分割限制推导的编码器、解码器和对应方法
CN111212284B (zh) * 2020-01-10 2021-09-28 郑州师范学院 一种自适应块尺寸的视频隐写方法
US11770535B2 (en) * 2021-02-19 2023-09-26 Samsung Display Co., Ltd. Systems and methods for joint color channel entropy encoding with positive reconstruction error
US20220321909A1 (en) * 2021-03-31 2022-10-06 Tencent America LLC Harmonized design between multiple reference line intra prediction and transform partitioning
US11562460B1 (en) 2021-06-25 2023-01-24 Meta Platforms, Inc. High performance hardware scaler

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08215326A (ja) 1995-02-15 1996-08-27 Polymer Giya Kk 墜落防止装置
EP1835762A3 (en) * 1996-05-28 2007-10-03 Matsushita Electric Industrial Co., Ltd. decoding apparatus with intra prediction
JP3748489B2 (ja) * 1998-03-11 2006-02-22 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
US7031517B1 (en) * 1998-10-02 2006-04-18 Canon Kabushiki Kaisha Method and apparatus for segmenting images
CN100566420C (zh) * 2002-07-15 2009-12-02 株式会社日立制作所 动态图像的编码方法
JP2004249062A (ja) 2002-12-27 2004-09-09 Prop:Kk 安全帯のロープ巻取器
MXPA05007384A (es) * 2003-01-07 2005-09-12 Thomson Licensing Sa Intra/inter codificacion mezclada de video de divisiones de macrobloque.
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
US7792188B2 (en) * 2004-06-27 2010-09-07 Apple Inc. Selecting encoding types and predictive modes for encoding video data
KR20060010242A (ko) 2004-07-27 2006-02-02 (주)지엔에스테크 작업자의 낙하 방지 장치
KR20060123939A (ko) * 2005-05-30 2006-12-05 삼성전자주식회사 영상의 복부호화 방법 및 장치
KR100750128B1 (ko) * 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100727988B1 (ko) * 2005-10-01 2007-06-13 삼성전자주식회사 변환 영역에서의 ｄｃ 계수 예측 방법 및 장치
KR100750137B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치
GB2432140A (en) 2005-11-15 2007-05-16 Latchways Plc Fall arrest safety device
KR100977101B1 (ko) * 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
AU2006346583B2 (en) * 2006-07-28 2011-04-28 Kabushiki Kaisha Toshiba Image encoding and decoding method and apparatus
KR101266168B1 (ko) * 2006-08-16 2013-05-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP4853199B2 (ja) * 2006-09-25 2012-01-11 株式会社ニコン 画像圧縮方法、装置、電子カメラ、およびプログラム
US20080101473A1 (en) * 2006-10-26 2008-05-01 Matsushita Electric Industrial Co., Ltd. Transcoding apparatus and transcoding method
US8335261B2 (en) * 2007-01-08 2012-12-18 Qualcomm Incorporated Variable length coding techniques for coded block patterns
US7953284B2 (en) 2007-03-29 2011-05-31 James Au Selective information handling for video processing
JP5188875B2 (ja) 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
US8345968B2 (en) 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
CN101415121B (zh) * 2007-10-15 2010-09-29 华为技术有限公司 一种自适应的帧预测的方法及装置
KR100951301B1 (ko) * 2007-12-17 2010-04-02 한국과학기술원 비디오 부호화에서의 화면간/화면내 예측 부호화 방법
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
KR101608426B1 (ko) * 2008-03-28 2016-04-04 삼성전자주식회사 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
CN101365138B (zh) * 2008-10-10 2010-12-08 中国航天科技集团公司第五研究院第五〇四研究所 一种jpeg2000图像压缩处理系统
WO2010067624A1 (ja) * 2008-12-12 2010-06-17 パナソニック株式会社 トランスコード装置、トランスコード方法及びデジタルレコーダー
KR20100079037A (ko) * 2008-12-30 2010-07-08 삼성전자주식회사 비디오 영상 부호화 방법 및 장치
KR20100095992A (ko) * 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
KR20100122386A (ko) 2009-05-12 2010-11-22 삼성전자주식회사 영상 시퀀스에 인위적으로 삽입된 적어도 하나의 영상 프레임을 부호화/복호화하는 방법 및 장치
US8498330B2 (en) 2009-06-29 2013-07-30 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for coding mode selection
KR20110017302A (ko) * 2009-08-13 2011-02-21 삼성전자주식회사 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치
KR101452859B1 (ko) * 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
KR101624649B1 (ko) * 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR20110017719A (ko) * 2009-08-14 2011-02-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101452860B1 (ko) * 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US20110194613A1 (en) * 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kemal Ugur et al., "Description of video coding technology proposal by Tandberg, Nokia, Erisson", JCTVC-A119, 23 March, 2010..* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160007929A (ko) * 2014-07-10 2016-01-21 전자부품연구원 HEVC 부호화기에서의 적응적인 CU depth 범위 예측 방법

Also Published As

Publication number Publication date
US20130177079A1 (en) 2013-07-11
KR20150031499A (ko) 2015-03-24
PL2624567T3 (pl) 2020-07-27
KR20150034293A (ko) 2015-04-02
CN108347620B (zh) 2022-08-30
EP2624567A2 (en) 2013-08-07
EP3849194B1 (en) 2022-08-03
ES2926171T3 (es) 2022-10-24
US20220321911A1 (en) 2022-10-06
CN108366270A (zh) 2018-08-03
SI3849194T1 (sl) 2022-10-28
US10863196B2 (en) 2020-12-08
CN108737843B (zh) 2022-12-27
KR20150034294A (ko) 2015-04-02
HRP20231580T1 (hr) 2024-03-15
EP3675501A1 (en) 2020-07-01
HUE049395T2 (hu) 2020-09-28
FI4084478T3 (fi) 2023-12-05
CN108737842A (zh) 2018-11-02
EP2624567A4 (en) 2018-01-03
ES2967280T3 (es) 2024-04-29
EP4084478B1 (en) 2023-11-01
CN108737843A (zh) 2018-11-02
EP4084478A1 (en) 2022-11-02
KR101583198B1 (ko) 2016-01-07
KR101579392B1 (ko) 2015-12-21
PT3849194T (pt) 2022-09-13
US20210092442A1 (en) 2021-03-25
KR101583199B1 (ko) 2016-01-07
CN108347620A (zh) 2018-07-31
WO2012043989A3 (ko) 2012-05-24
HUE059881T2 (hu) 2023-01-28
HUE064571T2 (hu) 2024-03-28
CN108650518B (zh) 2022-04-08
KR20160006250A (ko) 2016-01-18
CN105392017A (zh) 2016-03-09
KR20150031498A (ko) 2015-03-24
EP3849194A1 (en) 2021-07-14
KR101583200B1 (ko) 2016-01-07
SI4084478T1 (sl) 2024-02-29
HK1257970A1 (zh) 2019-11-01
HK1257968A1 (zh) 2019-11-01
US11895333B2 (en) 2024-02-06
KR101583201B1 (ko) 2016-01-07
PL3675501T3 (pl) 2021-09-06
KR20130064781A (ko) 2013-06-18
CN103141105B (zh) 2018-05-15
PT2624567T (pt) 2020-04-22
US11375233B2 (en) 2022-06-28
WO2012043989A2 (ko) 2012-04-05
EP2624567B1 (en) 2020-03-18
CN108650518A (zh) 2018-10-12
CN108668137B (zh) 2022-12-23
HK1257969A1 (zh) 2019-11-01
KR101465920B1 (ko) 2014-11-28
CN108668137A (zh) 2018-10-16
US20220295097A1 (en) 2022-09-15
PL3849194T3 (pl) 2022-10-31
EP3675501B1 (en) 2021-03-24
ES2868133T3 (es) 2021-10-21
DK3849194T3 (da) 2022-09-05
CN105392017B (zh) 2020-03-10
KR101719448B1 (ko) 2017-03-23
HK1257974A1 (zh) 2019-11-01
ES2784198T3 (es) 2020-09-23
HK1257808A1 (zh) 2019-11-01
CN103141105A (zh) 2013-06-05
CN108366270B (zh) 2022-05-27
PL4084478T3 (pl) 2024-04-02
CN108737842B (zh) 2022-05-31
DK2624567T3 (da) 2020-04-14

Similar Documents

Publication Publication Date Title
KR101583198B1 (ko) 블록 분할 방법 및 복호화 장치
JP7282239B2 (ja) 復号化方法及び符号化方法
KR101859079B1 (ko) 화면 내 예측 모드에 기초한 적응적인 변환 방법 및 이러한 방법을 사용하는 장치
KR101965388B1 (ko) 양자화 계수 부/복호화 방법 및 이러한 방법을 사용하는 장치
KR20170026276A (ko) 비디오 신호 처리 방법 및 장치
KR20180025284A (ko) 비디오 신호 처리 방법 및 장치
KR20180025283A (ko) 비디오 신호 처리 방법 및 장치
KR20140018873A (ko) 영상 정보 부호화 방법 및 복호화 방법
US11190769B2 (en) Method and apparatus for coding image using adaptation parameter set
KR20180086094A (ko) 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR101468078B1 (ko) 화면 내 예측 방법 및 장치
KR20170142870A (ko) 비디오 신호의 복호화 방법 및 이의 장치
KR20210035062A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20180072539A (ko) 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR20210082877A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20210085404A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20210082876A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20181114

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191114

Year of fee payment: 5