KR20180086094A - 비디오 신호의 부호화 또는 복호화 방법 및 장치 - Google Patents

비디오 신호의 부호화 또는 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20180086094A
KR20180086094A KR1020170010077A KR20170010077A KR20180086094A KR 20180086094 A KR20180086094 A KR 20180086094A KR 1020170010077 A KR1020170010077 A KR 1020170010077A KR 20170010077 A KR20170010077 A KR 20170010077A KR 20180086094 A KR20180086094 A KR 20180086094A
Authority
KR
South Korea
Prior art keywords
intra
reference sample
prediction mode
available
picture prediction
Prior art date
Application number
KR1020170010077A
Other languages
English (en)
Inventor
한종기
이재영
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020170010077A priority Critical patent/KR20180086094A/ko
Priority to PCT/KR2017/015236 priority patent/WO2018117686A2/ko
Publication of KR20180086094A publication Critical patent/KR20180086094A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 신호의 복호화 방법 및 이의 장치에 관한 것이다. 본 발명의 일 실시예에 따른 복호화 방법은, 현재 블록의 주변에 위치하는 참조 샘플 영역 내의 샘플이 상기 현재 블록의 화면내 예측을 위하여 이용 가능한지 여부를 판단하여 이용 가능한 참조 샘플 영역과 이용 가능하지 아니한 참조 샘플 영역을 구분하는 단계; 상기 현재 블록의 주변 블록의 화면내 예측 모드를 획득하는 단계; 및 상기 주변 블록의 화면내 예측 모드가 상기 이용 가능하지 아니한 참조 샘플 영역의 샘플을 이용하는지 여부에 기초하여 상기 현재 블록의 가장 가능성 있는 화면내 예측 모드 리스트를 획득하는 단계를 포함한다.

Description

비디오 신호의 부호화 또는 복호화 방법 및 장치{METHOD AND APPARATUS FOR ENCODING OR DECODING VIDEO SIGNAL}
본 발명은 비디오 신호의 부호화 또는 복호화 방법 및 장치에 관한 것으로서, 더욱 상세하게는, 현재 블록의 주변 참조 샘플 중 이용 가능하지 아니한 참조 샘플 영역의 참조 샘플을 생성하는 방법 및 이의 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비하여 상대적으로 데이터량이 증가하기 때문에, 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용하여 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위하여 고효율의 영상 압축 기술들이 활용될 수 있다.
영상 압축 기술로 현재 블록의 정보를 그대로 전송하지 않고 현재 블록의 주변 블록들의 정보를 이용하여 예측하는 방법을 사용할 수 있으며, 이러한 예측 방법으로는 현재 픽처의 이전 또는 이후 픽처로부터 현재 픽처에 포함된 샘플값을 예측하는 화면간 예측 기술, 현재 픽처 내의 픽셀 정보를 이용하여 현재 픽처에 포함된 샘플값을 예측하는 화면내 예측 기술을 사용할 수 있다. 또한, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고, 이러한 영상 압축 기술을 이용하여 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.
예측 방법 중 화면간 예측(inter prediction) 방법에서는 다른 픽처의 정보를 참조하여 현재 픽처(picture)의 샘플값을 예측하며, 화면내 예측(intra prediction)에서는 동일한 픽처 내에서 픽셀 간 연관 관계를 이용하여 샘플값을 예측한다. 즉, 화면내 예측을 수행하는 경우에는 현재 블록을 부호화하기 위하여 참조 픽처를 참조하는 것이 아니라, 부호화하려는 현재 블록과 공간적으로 인접한 참조 샘플 영역에 위치하는 참조 샘플들의 샘플값을 이용하여 현재 블록의 화면내 예측 모드를 결정하여 화면내 예측을 수행할 수 있다.
상기 참조 샘플 영역에 위치하는 샘플들은 화면내 예측을 위하여 이용 가능한(available) 샘플들과 이용 가능하지 아니한(unavailable) 샘플들을 모두 포함한다. 상기 참조 샘플이 이용 가능하지 아니한 경우에는 주변의 이용 가능한 샘플들의 샘플값을 복사하여 이용하거나 기설정된 샘플값을 할당한 후, 화면내 예측에 이용하고 있다. 그러나, 이러한 방법들은 화면내 예측 부호화 효율을 저하시키는 문제점이 발생한다.
본 발명이 해결하고자 하는 과제는 원 영상에 가까운 고해상도의 영상을 부호화 및 복호화 하기 위한 화면내 예측을 위한 참조 샘플을 생성하는 방법 및 이를 수행하는 비디오 신호의 부호화 및 복호화 장치를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 과제는 영상의 부호화 및 복호화 효율을 증가시키기 위한 비디오 신호의 부호화 및 복호화 방법 및 장치를 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 비디오 신호의 복호화 방법은, 현재 블록의 주변에 위치하는 참조 샘플 영역 내의 샘플이 상기 현재 블록의 화면내 예측을 위하여 이용 가능한지 여부를 판단하여 이용 가능한 참조 샘플 영역과 이용 가능하지 아니한 참조 샘플 영역을 구분하는 단계; 상기 현재 블록의 주변 블록의 화면내 예측 모드를 획득하는 단계; 및 상기 주변 블록의 화면내 예측 모드가 상기 이용 가능하지 아니한 참조 샘플 영역의 샘플을 이용하는지 여부에 기초하여 상기 현재 블록의 가장 가능성 있는 화면내 예측 모드 리스트를 획득하는 단계를 포함한다.
상기 가장 가능성 있는 화면내 예측 모드 리스트를 획득하는 단계는, 상기 이용 가능한 참조 샘플 영역만을 이용하는 상기 주변 블록의 화면내 예측 모드를 짧은 코드워드를 사용하는 인덱스에 우선적으로 할당할 수 있다.
일 실시예에서, 상기 가장 가능성 있는 화면내 예측 모드 리스트를 획득하는 단계는, 상기 주변 블록의 화면내 예측 모드가 상기 이용 가능하지 아니한 참조 샘플 영역 중 이용하는 샘플의 개수가 많을수록 긴 코드워드를 사용하는 인덱스에 상기 화면내 예측 모드를 할당할 수 있다. 또한, 상기 이용 가능한 참조 샘플 영역과 이용 가능하지 아니한 참조 샘플 영역을 구분하는 단계는 각각의 샘플이 상기 현재 블록의 화면내 예측에 이용 가능한지 여부를 나타내는 샘플 이용가부 정보에 기초하여 결정될 수 있다.
상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 비디오 신호의 복호화 방법은, 현재 블록의 주변에 위치하는 참조 샘플 영역 내의 샘플이 상기 현재 블록의 화면내 예측을 위하여 이용 가능한지 여부를 판단하여 이용 가능한 참조 샘플 영역 및 이용 가능하지 아니한 참조 샘플 영역을 구분하는 단계; 상기 참조 샘플 영역 내의 샘플을 이용하여 현재 블록의 가장 가능성 있는 화면내 예측 모드 리스트를 획득하는 단계; 및 상기 구분된 이용 가능하지 아니한 참조 샘플 영역의 이용여부를 고려하여, 상기 리스트에 포함되지 아니한 화면내 예측 모드를 포함하는 잔여 화면내 예측 모드를 설정하는 단계를 포함한다.
일 실시예에서, 상기 잔여 화면내 예측 모드를 설정하는 단계는, 상기 잔여 화면내 예측 모드가 상기 이용 가능한 참조 샘플 영역만을 이용하는 경우 짧은 코드워드를 사용하는 인덱스에 우선적으로 할당할 수 있다. 또는, 상기 잔여 화면내 예측 모드를 설정하는 단계는, 상기 잔여 화면내 예측 모드가 상기 이용 가능하지 아니한 참조 샘플 영역 중 이용하는 샘플의 개수가 많을수록 긴 코드워드를 사용하는 인덱스에 상기 화면내 예측 모드를 할당할 수 있다.
또한, 상기 이용 가능한 참조 샘플 영역과 이용 가능하지 아니한 참조 샘플 영역을 구분하는 단계는 각각의 샘플이 상기 현재 블록의 화면내 예측에 이용가능한지 여부를 나타내는 샘플 이용가부 정보에 기초하여 결정될 수 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 비디오 신호의 복호화 장치는, 현재 블록의 주변에 위치하는 참조 샘플 영역 내의 샘플이 상기 현재 블록의 화면내 예측을 위하여 이용 가능한지 여부를 판단하여 이용 가능한 참조 샘플 영역과 이용 가능하지 아니한 참조 샘플 영역을 구분하는 참조 샘플 이용가능 판단부; 상기 현재 블록의 주변 블록의 화면내 예측 모드를 획득하는 화면내 예측 모드 획득부; 및 상기 주변 블록의 화면내 예측 모드가 상기 이용 가능하지 아니한 참조 샘플 영역의 샘플을 이용하는지 여부에 기초하여 상기 현재 블록의 가장 가능성 있는 화면내 예측 모드 리스트를 획득하는 MPM 리스트 구성부를 포함한다.
일 실시예에서, 상기 MPM 리스트 구성부는 상기 이용 가능한 참조 샘플 영역만을 이용하는 상기 주변 블록의 화면내 예측 모드를 짧은 코드워드를 사용하는 인덱스에 우선적으로 할당할 수 있다. 또한, 상기 MPM 리스트 구성부는 상기 주변 블록의 화면내 예측 모드가 상기 이용 가능하지 아니한 참조 샘플 영역 중 이용하는 샘플의 개수가 많을수록 긴 코드워드를 사용하는 인덱스에 상기 화면내 예측 모드를 할당할 수 있다.
상기 참조 샘플 이용가능 판단부는 샘플이 상기 현재 블록의 화면내 예측에 이용가능한지 여부를 나타내는 샘플 이용가부 정보에 기초하여 결정될 수 있다.
상기 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 비디오 신호의 복호화 장치는, 현재 블록의 주변에 위치하는 참조 샘플 영역 내의 샘플이 상기 현재 블록의 화면내 예측을 위하여 이용 가능한지 여부를 판단하여 이용 가능한 참조 샘플 영역 및 이용 가능하지 아니한 참조 샘플 영역을 구분하는 참조 샘플 이용가능 판단부; 상기 참조 샘플 영역 내의 샘플을 이용하여 현재 블록의 가장 가능성 있는 화면내 예측 모드 리스트를 획득하는 MPM 리스트 구성부; 및 상기 구분된 이용 가능하지 아니한 참조 샘플 영역의 이용여부를 고려하여, 상기 리스트에 포함되지 아니한 화면내 예측 모드를 포함하는 잔여 화면내 예측 모드를 설정하는 잔여 화면내 예측 모드 리스트 구성부를 포함할 수 있다.
상기 잔여 화면내 예측 모드 리스트 구성부는 상기 잔여 화면내 예측 모드가 상기 이용 가능한 참조 샘플 영역만을 이용하는 경우 짧은 코드워드를 사용하는 인덱스에 우선적으로 할당할 수 있으며, 상기 잔여 화면내 예측 모드 리스트 구성부는 상기 잔여 화면내 예측 모드가 상기 이용 가능하지 아니한 참조 샘플 영역 중 이용하는 샘플의 개수가 많을수록 긴 코드워드를 사용하는 인덱스에 상기 화면내 예측 모드를 할당할 수 있다.
일 실시예에서, 상기 참조 샘플 이용가능 판단부에서 상기 이용 가능한 참조 샘플 영역과 이용 가능하지 아니한 참조 샘플 영역을 구분하는 단계는 각각의 샘플이 상기 현재 블록의 화면내 예측에 이용가능한지 여부를 나타내는 샘플 이용가부 정보에 기초하여 결정될 수 있다.
본 발명의 실시예에 따르면, 현재 블록의 가장 가능성 있는 화면내 예측 모드가 상기 현재 블록의 주변에 위치하는 참조 샘플 영역 중 이용 가능하지 아니한 참조 샘플 영역을 참조하는 경우, 상기 가장 가능성 있는 화면내 예측 모드를 가장 가능성 있는 화면내 예측 모드 리스트를 구성하는 인덱스 중 긴 코드워드를 이용하는 인덱스에 할당함으로써, 영상의 코딩 효율을 증가시키기 위한 비디오 신호의 복호화 방법 및 장치를 제공하는 것이다.
또한, 본 발명의 다른 실시예에 따르면, 현재 블록의 가장 가능성 있는 화면내 예측 모드 리스트에 포함되지 아니하는 잔여 화면내 예측 모드들 중 이용 가능하지 아니한 참조 샘플 영역을 참조하는 잔여 화면내 예측 모드를 다른 잔여 화면내 예측 모드보다 긴 코드워드를 가지는 인덱스에 할당함으로써, 고해상도의 영상을 부호화 및 복호화할 수 있고, 코딩 효율을 증가시킬 수 있는 비디오 신호의 복호화 방법 및 장치를 제공하는 것이다.
도 1은 본 발명의 일 실시예에 따른 비디오 부호화 장치를 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 복호화 장치를 개략적으로 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 현재 블록의 참조 샘플 영역을 설명하기 위한 개략도이다.
도 4a 내지 도 6a는 종래의 참조 샘플 영역 중 이용 가능하지 아니한 영역에 대하여 참조 샘플을 생성하는 방법들을 나타내는 것이다.
도 6b 및 도 7은 본 발명의 일 실시예에 따른 현재 블록의 참조 샘플 영역 중 이용 가능하지 아니한 영역에 대하여 참조 샘플을 생성하는 방법을 설명하기 위한 개략도이다.
도 8은 도 6b를 참조하여 본 발명의 일 실시예에 따른 이용 가능하지 아니한 영역의 참조 샘플을 생성하는 방법을 나타내는 신택스(syntax)이다.
도 9 내지 도 12는 본 발명의 다양한 실시예에 따른 현재 블록의 참조 샘플 영역 중 이용 가능하지 아니한 영역에 대하여 참조 샘플을 생성하는 방법들을 설명하기 위한 개략도이다.
도 13은 본 발명의 일 실시예에 따른 현재 블록의 화면내 예측 모드가 이용 가능하지 아니한 참조 샘플 영역을 참조하는 방법을 설명하기 위한 것이다.
도 14 및 도 15는 본 발명의 일 실시예에 따른 현재 블록의 가장 가능성 있는 화면내 예측 모드 리스트를 구성하는 방법을 설명하기 위한 것이다.
도 16 및 도 17은 본 발명의 다른 실시예에 따른 현재 블록의 잔여 화면내 예측 모드 리스트를 구성하는 방법을 설명하기 위한 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
또한, 도면에서 각 유닛의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장된 것이며, 도면상에서 동일 부호는 동일한 요소를 지칭한다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다 (comprise)" 및/또는 "포함하는 (comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
본 명세서에서 제 1, 제 2 등의 용어가 다양한 구성요소, 부재, 부품, 영역, 및/또는 부분들을 설명하기 위하여 사용되지만, 이들 구성요소, 부재, 부품, 영역, 및/또는 부분들은 이들 용어에 의해 한정되어서는 안됨은 자명하다. 이들 용어는 하나의 구성요소, 부재, 부품, 영역 또는 부분을 다른 영역 또는 부분과 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제 1 구성요소, 부재, 부품, 영역 또는 부분은 본 발명의 가르침으로부터 벗어나지 않고서도 제 2 구성요소, 부재, 부품, 영역 또는 부분을 지칭할 수 있다. 또한, 및/또는 용어는 복수의 관련되어 기재되는 항목들의 조합 또는 복수의 관련되어 기재되는 항목들 중의 어느 항목을 포함한다.
어느 구성요소가 다른 구성요소에 "연결되어" 있거나 "접속되어" 있다고 언급되는 경우에는, 상기 다른 구성요소에 직접적으로 연결되어 있거나 접속되어 있는 경우 뿐 아니라, 상기 어느 구성요소와 상기 다른 구성요소 사이에 다른 구성요소가 존재하는 경우를 포함하여 이해되어야 한다. 그러나, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있거나 "직접 접속되어" 있다고 지칭되는 경우에는, 중간에 다른 구성요소가 존재하지 아니하고 상기 어느 구성요소와 상기 다른 구성요소가 직접 연결 또는 접속된 것으로 이해되어야 할 것이다.
이하, 본 발명의 실시예들은 본 발명의 이상적인 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 부재들의 크기와 형상은 설명의 편의와 명확성을 위하여 과장될 수 있으며, 실제 구현시, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니된다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 나타낸 블록도이다.
도 1을 참조하면, 영상 부호화 장치(100)는 픽처 분할부(105), 화면간 예측부(110), 화면내 예측부(115), 변환부(120), 양자화부(125), 재정렬부(130), 엔트로피 부호화부(135), 역양자화부(140), 역변환부(145), 필터부(150) 및 메모리(155)를 포함한다.
도 1에 나타난 각 구성요소들은 영상 부호화 장치에서 서로 다른 특징적인 기능들을 나타내기 위하여 독립적으로 도시한 것이며, 각 구성요소들이 분리된 하드웨어나 각각 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성요소는 설명의 편의상 각각의 구성요소로 나열하여 포함한 것으로 각 구성요소 중 적어도 두 개의 구성요소가 합쳐져 하나의 구성요소로 이루어지거나, 하나의 구성요소가 복수개의 구성요소로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성요소가 통합된 실시예 또는 분리된 실시예도 본 발명의 본질적인 측면에서 벗어나지 않는 한 본 발명의 권리범위에 포함될 수 있다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위로 분할할 수 있다. 상기 처리 단위는 예측 단위(Prediction Unit, 이하 'PU'라 함)일 수 있고, 변환 단위(Transform Unit, 이하 'TU'라 함)일 수도 있으며, 코딩 단위(Coding Unit, 이하 'CU'라 함)일 수도 있다. 다만, 본 명세서에서는 설명의 편의를 위해, 예측 단위를 예측 블록, 변환 단위를 변환 블록, 부호화 또는 복호화 단위를 부호화 블록 또는 복호화 블록으로 표현할 수도 있다.
일 실시예에서, 픽처 분할부(105)는 하나의 픽처에 대하여 복수의 부호화 단위, 예측 단위, 및 변환 단위의 조합으로 분할하고, 소정의 기준(예를 들어, 비용 함수)에 기초하여 하나의 부호화 단위, 예측 단위, 및 변환 단위의 조합을 선택하여 픽처를 부호화할 수 있다.
예를 들어, 하나의 픽처는 복수 개의 부호화 단위로 분할될 수 있다. 일 실시예에서, 하나의 픽처는 쿼드 트리 구조(Quad Tree Structure) 또는 바이너리 트리 구조와 같은 재귀적인 트리 구조를 사용하여 상기 부호화 단위를 분할할 수 있으며, 하나의 영상 또는 최대 크기 부호화 단위(largest coding unit)를 루트로 하여 다른 부호화 단위로 분할되는 부호화 단위는 분할된 부호화 단위의 개수만큼의 자식 노드를 가지고 분할될 수 있다. 이러한 과정을 통하여 더 이상 분할되지 아니하는 부호화 단위는 리프 노드가 될 수 있다. 예를 들어, 하나의 부호화 단위에 대하여 정방형 분할만이 가능하다고 가정한 경우에는 하나의 부호화 단위는 최대 4개의 부호화 단위로 분할될 수 있다. 그러나, 본 발명에서는 상기 부호화 단위, 예측 단위 및/또는 변환 단위는 분할 시 대칭 분할에 한정하지 아니하고, 비대칭 분할(Asymmetric Partition)도 가능하며 4개의 분할 뿐만 아니라 2개의 분할도 가능하며, 이러한 분할 개수는 예시적일 뿐 본 발명이 이에 한정되는 것은 아니다.
예측 단위는 하나의 부호화 단위 내에서 동일한 크기의 적어도 하나의 정사각형 또는 직사각형 등의 형태를 가지고 분할된 것일 수 있고, 하나의 부호화 단위 내에서 분할된 예측 단위 중 어느 하나의 예측 단위가 다른 하나의 예측 단위와 상이한 형태와 크기를 가지도록 분할될 수도 있다.
예측부는 화면간 예측(inter prediction)을 수행하는 화면간 예측부(110) 및 화면내 예측(intra prediction)을 수행하는 화면내 예측부(115)를 포함할 수 있다. 코딩 효율을 높이기 위하여, 영상 신호를 그대로 부호화하는 것이 아니라, 이미 부호화 및 복호화가 완료된 픽처 내부의 특정 영역을 이용하여 영상을 예측하고, 원래의 영상과 예측 영상 사이의 레지듀얼 값을 부호화한다. 또한, 예측을 위하여 사용된 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 부호화부(135)에서 부호화되어 복호화부에 전달될 수 있다. 특정한 부호화 모드를 이용하는 경우에는 예측부(110, 115)를 통하여 예측 블록을 생성하지 아니하고, 원본 블록을 그대로 부호화하여 복호화부에 전송하는 것도 가능하다.
일 실시예에서, 예측부(110, 115)는 예측 단위에 대하여 화면간 예측을 수행할 것인지 화면내 예측을 수행할 것인지를 결정하고, 화면간 예측 모드, 움직임 벡터, 및 참조 픽쳐와 같은 상기 예측 방법 각각에 따른 구체적인 정보들을 결정할 수 있다. 이 경우, 예측이 수행되는 처리 단위와 예측 방법, 그리고 세부 처리 단위는 각각 다를 수 있다. 예를 들어, 예측 모드와 예측 방법은 예측 단위에 따라 결정되더라도, 예측의 수행은 변환 단위에 따라 수행될 수 있다.
예측부(110, 115)는, 픽처 분할부(105)에서 분할된 픽처의 처리 단위에 대하여 예측을 수행하여 예측된 샘플로 구성되는 예측 블록을 생성할 수 있다. 예측부(110, 115)에서의 픽처 처리 단위는 코딩 단위일 수 있고, 변환 단위일 수도 있으며, 예측 단위일 수도 있다.
화면간 예측부(110)는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나 이상의 픽처의 정보를 기초로 예측 단위를 예측할 수 있고, 경우에 따라 현재 픽처 내의 부호화가 완료된 일부 영역의 정보를 기초로 예측 단위를 예측할 수 있다. 화면간 예측부(110)는 참조 픽처 보간부, 움직임 예측부, 및 움직임 보상부를 포함할 수 있다.
일 실시예에서, 화면간 예측부(110)에서 예측을 위하여 이용되는 상기 하나 이상의 픽처의 정보는 이미 부호화 및 복호화가 진행된 픽처들의 정보일 수 있고, 임의의 방법으로 변형되어 저장된 픽처들의 정보일 수 있다. 예를 들어, 상기 임의의 방법으로 변형되어 저장된 픽처는 부호화 및 복호화가 진행된 픽처를 확대 또는 축소한 픽처일 수 있고, 또는 픽처 내의 모든 픽셀 값의 밝기를 변형시키거나, 칼라 포맷을 변형시킨 픽처일 수도 있다.
참조 픽처 보간부는 메모리(155)로부터 참조 픽처 정보를 제공받아 참조 픽처에서 정수 픽셀 이하의 픽셀 정보를 생성할 수 있다. 휘도 픽셀의 경우, 필터의 계수를 달리하는 DCT 기반의 8-탭 보간 필터(DCT-based Interpolation Filter)를 이용하여 1/4 픽셀 단위로 정수 이하의 픽셀 정보를 생성할 수 있다. 색차 신호의 경우에는 필터의 계수를 달리하는 DCT 기반의 4-탭 보간 필터(DCT-based Interpolation Filter)를 이용하여 1/8 픽셀 단위로 정수 이하의 픽셀 정보를 생성할 수 있다. 그러나, 필터의 종류 및 정수 이하의 픽셀 정보를 생성하는 단위는 이에 한정되지는 아니하고, 다양한 보간 필터를 이용하여 정수 이하의 픽셀 정보를 생성하는 단위가 결정될 수 있을 것이다.
움직임 예측부는 상기 참조 픽처 보간부에 의하여 보간된 참조 픽처를 기초로 하여 움직임 예측을 수행할 수 있다. 움직임 벡터를 산출하기 위하여 다양한 방법이 사용될 수 있다. 움직임 벡터는 보간된 픽셀을 기초로 하여 정수 픽셀 단위 또는 1/4 또는 1/8 픽셀 단위의 움직임 벡터값을 가질 수 있다. 일 실시예에서는, 움직임 예측부에서 움직임 예측 방법을 다르게 하여 현재 블록의 예측 단위를 예측할 수 있다. 상기 움직임 예측 방법은 머지(Merge) 방법, AMVP(Advanced Motion Vector Prediction) 방법, 및 스킵(Skip) 방법을 포함하여 다양한 방법이 사용될 수 있다. 이와 같이, 화면간 예측부(110)에서 선택된 참조 픽처의 인덱스, 움직임 벡터 예측자(MVP), 레지듀얼 신호를 포함하는 정보들은 엔트로피 코딩되어 복호화기로 전송될 수 있다.
화면내 예측부(115)는 화면간 예측과 달리 현재 픽처 내의 픽셀 정보인 현재 블록 주변의 참조 픽셀 정보들을 기초로 하여 예측 단위를 생성할 수 있다. 상기 예측 단위의 주변 블록들은 화면간 예측을 수행한 블록인 경우, 즉, 참조 픽셀이 화면간 예측을 수행한 픽셀인 경우에는 화면간 예측을 수행한 블록에 포함되는 참조 픽셀을 주변의 화면내 예측을 수행한 블록의 참조 픽셀 정보로 대체하여 사용할 수도 있다.
상기 참조 픽셀이 이용 가능하지 아니하는 경우(unavailable)에는 이를 이용 가능하도록 설정하는 것이 선행되어야 한다. 일반적으로 이와 같은 경우, 상기 이용 가능하지 아니한 참조 픽셀은 이용 가능한(available) 주변 픽셀들 중 적어도 하나의 참조 픽셀로 대체하여 사용되거나 기설정된 샘플값을 할당하여 이용해왔다.
그러나, 이러한 이용 가능하지 아니한 참조 픽셀에 이용 가능한 참조 픽셀을 복사하여 이용하는 방법은, 현재 영상의 복호화시 화면내 예측 부호화 효율을 저하시키는 문제점이 발생할 수 있다. 본 발명의 다양한 실시예에 따르면, 이러한 문제점을 해결하기 위하여, 참조 샘플 영역 내의 이용 가능한 적어도 두 개 이상의 참조 픽셀들을 이용하거나 기 획득된 현재 블록과 관련된 정보들을 이용하여 이용 가능하지 아니한 참조 픽셀들을 다양한 방법으로 생성할 수 있다. 이와 관련한 자세한 설명은 후술하기로 한다.
또한, 화면내 예측부(115)는 화면내 예측 모드를 부호화하기 위하여 이웃 블록들로부터 획득한 가장 가능성 있는 화면내 예측 모드(MPM: Most Probable Mode)을 이용할 수 있다. 본 발명의 다양한 실시예에 따르면, 상기 가장 가능성 있는 화면내 예측 모드들로 구성되는 가장 가능성 있는 화면내 예측 모드 리스트(MPM List)는 다양한 방법으로 구성될 수 있다. 이를 위하여, 현재 블록의 주변에 위치하는 참조 샘플 영역의 샘플들이 이용되는데, 상기 참조 샘플 영역의 샘플들이 현재 블록의 화면내 예측을 위하여 이용 가능한지 여부에 따라 상기 가장 가능성 있는 화면내 예측 모드 리스트를 가변적으로 결정할 수 있는 바, 이와 관련한 자세한 설명은 후술하기로 한다.
화면내 예측부(115)가 화면내 예측을 수행하는 경우에도 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 서로 다를 수 있다. 예를 들어, 예측 모드가 예측 단위(PU)로 정해져서 상기 예측 단위로 예측이 수행될 수도 있고, 예측 모드는 예측 단위로 정해지되 예측의 수행은 변환 단위(TU)로 수행될 수도 있다.
화면내 예측의 예측 모드는 65개의 방향성 예측 모드 및 적어도 2 개 이상의 비방향성 모드를 포함할 수 있다. 상기 비방향성 모드는 DC 예측 모드 및 플래너 모드(Planar Mode)를 포함할 수 있다. 상기 67개의 화면간 예측 모드의 개수는 예시적일 뿐, 본 발명이 이에 한정되는 것은 아니며, 다양한 방법으로 예측하기 위하여 더 많은 방향성 또는 비방향성 모드로 화면내 예측을 수행할 수 있다.
일 실시예에서, 화면내 예측은 참조 픽셀에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이 경우, 상기 참조 픽셀에 필터를 적용할지 여부는 현재 블록의 화면내 예측 모드 및/또는 크기에 따라 결정될 수 있다.
예측 단위(PU)는 더 이상 분할되지 않는 코딩 유닛(CU)으로부터 다양한 사이즈 및 형태로 결정될 수 있다. 예를 들어, 화면간 예측의 경우 예측 단위는 2N x 2N, 2N x N, N x 2N 또는 N x N와 같은 크기를 가질 수 있다. 화면내 예측의 경우 예측 단위는 2N x 2N 또는 N x N (N은 정수)와 같은 크기를 가질 수 있으나, 이와 같은 정방향 크기 뿐만 아니라 비정방향 크기 모양으로도 화면내 예측을 수행할 수 있다. 이 경우, N x N 크기의 예측 단위는 특정한 경우에만 적용하도록 설정할 수도 있다. 또한, 상술한 크기의 예측 단위 이외에도, N x mN, mN x N, 2N x mN 또는 mN x 2N (m은 분수 또는 정수임) 와 같은 크기를 갖는 화면내 예측 단위를 더 정의하여 사용할 수도 있다.
화면내 예측부(115)에서 생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(120)에 입력될 수 있다. 또한, 예측을 위하여 사용되는 예측 모드 정보, 보간 필터 정보 등은 레지듀얼 값과 함께 엔트로피 부호화부(135)에서 부호화되어 복호화기로 전달될 수 있다.
변환부(120)는 변환 단위로 원본 블록과 예측부(110, 115)를 통하여 생성된 예측 단위의 레지듀얼 값 정보를 포함하는 레지듀얼 블록을 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen Loeve Transform)과 같은 변환 방법을 이용하여 변환시킬 수 있다. 레지듀얼 블록을 변환하기 위하여 DCT, DST 또는 KLT 를 적용할지는 레지듀얼 블록을 생성하기 위하여 사용된 예측 단위의 화면내 예측 모드 정보를 기초로 결정할 수 있다.
변환부(120)에서의 변환 단위는 TU일 수 있고, 쿼드 트리(quad tree) 구조를 가질 수 있다. 일 실시예에서, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다.
양자화부(125)는 변환부(120)에서 변환된 레지듀얼 값들을 양자화하여 양자화 계수를 생성할 수 있다. 일 실시예에서, 상기 변환된 레지듀얼 값들은 주파수 영역으로 변환된 값일 수 있다. 상기 양자화 계수는 변환 단위에 따라 또는 영상의 중요도에 따라 변경될 수 있으며, 양자화부(125)에서 산출된 값은 역양자화부(140) 및 재정렬부(130)에 제공될 수 있다.
재정렬부(130)는 양자화부(125)로부터 제공된 양자화 계수를 재정렬할 수 있다. 재정렬부(130)는 상기 양자화 계수를 재정렬함으로써 엔트로피 부호화부(135)에서의 부호화 효율을 향상시킬 수 있다. 재정렬부(130)는 계수 스캐닝(Coefficient Scanning) 방법을 통하여 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 상기 계수 스캐닝 방법은 변환 단위의 크기 및 화면내 예측 모드에 따라 어떠한 스캔 방법이 사용될지 여부가 결정될 수 있다. 상기 계수 스캐닝 방법은 지그-재그 스캔, 2차원의 블록 형태의 계수를 열 방향으로 스캔하는 수직 스캔, 및 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔을 포함할 수 있다. 일 실시예에서, 재정렬부(130)는 양자화부에서 전송되는 계수들의 확률적인 통계를 기반으로 계수 스캐닝의 순서를 변경함으로써 엔트로피 부호화부(135)에서의 엔트로피 부호화 효율을 높일 수도 있다.
엔트로피 부호화부(135)는 재정렬부(130)에 의하여 재정렬된 양자화 계수들에 대한 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Content-Adaptive Binary Arithmetic Coding)과 같은 다양한 부호화 방법을 이용할 수 있다.
엔트로피 부호화부(135)는 재정렬부(130) 및 예측부(110, 115)로부터 전달받은 코딩 유닛의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, 예측 유닛 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보와 같은 다양한 정보를 부호화할 수 있다. 또한, 일 실시예에서 엔트로피 부호화부(135)는 필요한 경우에, 전송하는 파라미터 셋 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(140)는 양자화부(125)에서 양자화된 값들을 역양자화하고, 역변환부(145)는 역양자화부(140)에서 역양자화된 값들을 역변화한다. 역양자화부(140) 및 역변환부(145)에서 생성된 레지듀얼 값은 예측부(110,115)에서 예측된 예측 블록과 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다. 상기 생성된 복원 블록들로 구성된 영상은 움직임 보상 영상 또는 MC 영상(Motion Compensated Picture)일 수 있다.
상기 움직임 보상 영상은 필터부(150)에 입력될 수 있다. 필터부(150)는 디블록킹 필터부, 오프셋 보정부(Sample Adaptive Offset, SAO), 및 적응적 루프 필터부(Adaptive Loop Filter, ALF)를 포함할 수 있으며, 요약하자면, 상기 움직임 보상 영상는 디블록킹 필터부에서 디블록킹 필터가 적용되어 블록킹 잡음(blocking artifact)를 감소 또는 제거 시킨 후, 오프셋 보정부에 입력되어 오프셋을 보정시킬 수 있다. 상기 오프셋 보정부에서 출력된 픽처는 상기 적응적 루프 필터부에 입력되어 ALF(Adaptive Loop Filter) 필터를 통과하며, 상기 필터를 통과한 픽처는 메모리(155)로 전송될 수 있다.
필터부(150)에 대하여 구체적으로 설명하면, 상기 디블록킹 필터부는 복원된 픽처에서 블록 간의 경계에 생성된 블록 내의 왜곡을 제거할 수 있다. 디블록킹을 수행할지 여부를 판단하기 위해서는 블록에 포함된 몇 개의 열 또는 행에 포함된 픽셀을 기초로 현재 블록에 디블록킹 필터를 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용하는 경우, 필요한 디블록킹 필터링 강도에 따라 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)를 적용할 수 있다. 또한, 디블록킹 필터를 적용함에 있어 수직 필터링 및 수평 필터링 수행시 수평 방향 필터링 및 수직 방향 필터링이 병행 처리되도록 할 수 있다.
오프셋 보정부는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋을 보정할 수 있다. 특정 픽처에 대한 오프셋을 보정하기 위하여 영상에 포함된 픽셀을 일정한 수의 영역으로 구분한 후, 오프셋을 수행할 영역을 결정하고, 해당 영역에 오프셋을 적용하는 방법(Band Offset) 또는 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법(Edge Offset)의 형태로 적용될 수 있다. 그러나, 일 실시예에서 화면간 예측에 사용되는 복원 블록에 대하여는 필터부(150)에서 필터링을 적용하지 아니할 수 있다.
적응적 루프 필터부(Adaptive Loop Filter, ALF)는 필터링한 복원 영상과 원래의 영상을 비교한 값을 기초로, 고효율을 적용하는 경우에만 수행될 수 있다. 영상에 포함된 픽셀을 소정의 그룹으로 나눈 후, 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. 상기 ALF를 적용할지 여부에 관련된 정보는 휘도 신호는 부호화 단위(Coding Unit, CU) 별로 전송될 수 있고, 각각의 블록에 따라 적용될 ALF 필터의 모양 및 필터 계수는 달라질 수 있다. 또한, 적용 대상 블록의 특성에 관계없이 동일한 형태(고정된 형태)의 ALF 필터가 적용될 수도 있다.
메모리(155)는 필터부(150)을 통하여 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(155)에 저장된 복원 블록 또는 픽처는 화면간 예측을 수행하는 화면간 예측부(110) 또는 화면내 예측부(115)에 제공될 수 있다. 화면내 예측부(115)에서 사용되는 복원 블록들의 화소값은 디블록킹 필터부, 오프셋 보정부, 및 적응적 루프 필터부가 적용되지 아니한 데이터들 일 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 나타낸 블록도이다. 도 2 를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 화면간 예측부(230), 화면내 예측부(235), 필터부(240), 메모리(245)를 포함한다.
영상 부호화 장치로부터 영상 비트스트림이 입력되는 경우, 입력된 비트스트림은 부호화 장치에서 영상 정보가 처리된 절차의 역과정으로 복호화될 수 있다. 예를 들어, 영상 부호화 장치에서 엔트로피 부호화를 수행하기 위하여 CAVLC와 같은 가변 길이 부호화(Variable Length Coding: VLC, 이하 'VLC'라 함)가 사용된 경우에는, 엔트로피 복호화부(210)도 부호화 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 복호화를 수행할 수 있다. 또한, 부호화 장치에서 엔트로피 부호화를 수행하기 위하여 CABAC을 이용한 경우에는 엔트로피 복호화부(210)에서 이에 대응하여 CABAC을 이용한 엔트로피 복호화를 수행할 수 있다.
엔트로피 복호화부(210)에서는 복호화된 정보 중 예측 블록을 생성하기 위한 정보를 화면간 예측부(230) 및 화면내 예측부(235)로 제공하고, 엔트로피 복호화부에서 엔트로피 복호화가 수행된 레지듀얼 값은 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트스트림을 영상 부호화기에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 부호화 장치에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 부호화 장치에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통하여 재정렬을 수행할 수 있다.
역양자화부(220)는 부호화 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다. 역변환부(225)는 영상 부호화 장치에서 수행된 양자화 결과에 대하여, 부호화 장치의 변환부가 수행한 DCT, DST, 또는 KLT 에 대해 역DCT, 역DST, 또는 역KLT를 수행할 수 있다. 역변환은 부호화 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서는 예측 방법, 현재 블록의 크기 및 예측 방향과 같은 정보에 따라 DCT, DST, 또는 KLT를 선택적으로 수행할 수 있고, 복호화 장치의 역변환부(225)는 부호화 장치의 변환부에서 수행된 변환 정보를 기초로 역변환 방법이 결정되어 역변환을 수행할 수 있다.
예측부(230, 235)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성과 관련된 정보와 메모리(245)에서 제공된 이전에 복호화된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다. 복원 블록은 예측부(230, 235)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용하여 생성될 수 있다. 예측부(230, 235)에서 수행하는 구체적인 예측의 방법은 부호화 장치의 예측부(110, 115)에서 수행되는 예측의 방법과 동일할 수 있다.
예측부(230, 235)는 예측 단위 판별부(미도시), 화면간 예측부(230), 및 화면내 예측부(235)를 포함할 수 있다. 예측 단위 판별부는 엔트로피 복호화부(210)에서 입력되는 예측 단위 정보, 화면내 예측 방법의 예측 모드 정보, 화면간 예측 방법의 움직임 예측 관련 정보와 같은 다양한 정보를 입력 받아, 현재 부호화 단위에서의 예측 단위를 구분하고, 예측 단위가 화면간 예측을 수행하는지 아니면 화면내 예측을 수행하는지 여부를 판별할 수 있다.
화면간 예측부(230)는 영상 부호화기에서 제공된 현재 예측 단위의 화면간 예측에 필요한 정보를 이용하여 현재 예측 단위가 포함된 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 예측 단위에 대한 화면간 예측을 수행할 수 있다.
구체적으로 화면간 예측에서는 현재 블록에 대하여, 참조 픽처를 선택하고 현재 블록과 동일한 크기의 참조 블록을 선택하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 이 때, 참조 픽처의 정보를 이용하기 위하여, 현재 픽처의 주변 블록들의 정보를 이용할 수 있다. 예를 들어, 스킵(skip) 모드, 머지(merge) 모드, 및 AMVP(Advanced Motion Vector Prediction)와 같은 방법을 이용하여 주변 블록의 정보에 기반하여 현재 블록에 대한 예측 블록을 생성할 수 있다.
예측 블록은 1/2 픽셀 샘플 단위와 1/4 픽셀 샘플 단위와 같이 정수 이하의 샘플 단위로 생성될 수 있다. 이 경우, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다. 예를 들어, 휘도 픽셀에 대해서는 1/4 픽셀 단위로, 색차 픽셀에 대하여는 1/8 픽셀 단위로 표현될 수 있다.
현재 블록의 화면간 예측에 필요한 움직임 벡터 및 참조 픽처 인덱스를 포함하는 움직임 정보는 부호화 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
화면내 예측부(235)는 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성할 수 있다. 예측 단위가 화면내 예측을 수행한 예측 단위인 경우에는 영상 부호화기에서 제공된 예측 단위의 화면내 예측 모드 정보를 기초로 화면내 예측을 수행할 수 있다. 상기 예측 단위의 주변 블록들은 화면간 예측을 수행한 블록인 경우, 즉, 참조 픽셀이 화면간 예측을 수행한 픽셀인 경우에는 화면간 예측을 수행한 블록에 포함되는 참조 픽셀을 주변의 화면내 예측을 수행한 블록의 참조 픽셀 정보로 대체하여 사용할 수도 있다.
상기 참조 픽셀이 이용 가능하지 아니하는 경우(unavailable)에는 이를 이용 가능하도록 설정하는 것이 선행되어야 한다. 일반적으로 이와 같은 경우, 상기 이용 가능하지 아니한 참조 픽셀은 이용 가능한(available) 주변 픽셀값들 중 적어도 하나의 참조 픽셀로 대체하여 사용되거나 기설정된 샘플값을 할당하여 이용해왔으며, 이에 대한 자세한 설명은 도 3 내지 도 4c를 참조하여 후술하기로 한다.
그러나, 이러한 이용 가능하지 아니한 참조 픽셀에 이용 가능한 참조 픽셀을 복사하여 이용하는 방법은, 현재 영상의 복호화시 화면내 예측 부호화 효율을 저하시키는 문제점이 발생할 수 있다. 본 발명의 다양한 실시예에 따르면, 이러한 문제점을 해결하기 위하여, 참조 샘플 영역 내의 이용 가능한 적어도 두 개 이상의 참조 픽셀들을 이용하거나 기 획득된 현재 블록과 관련된 정보들을 이용하여 이용 가능하지 아니한 참조 픽셀들을 다양한 방법으로 생성할 수 있다. 이와 관련한 자세한 설명은 도 5 내지 도 12를 참조하여 후술하기로 한다.
또한, 화면내 예측부(235)는 화면내 예측 모드를 부호화하기 위하여 이웃 블록들로부터 획득한 가장 가능성 있는 화면내 예측 모드(MPM: Most Probable Mode)을 이용할 수 있다. 일 실시예에서, 상기 가장 가능성 있는 화면내 예측 모드는 현재 블록의 공간적 이웃 블록의 화면내 예측 모드를 이용할 수 있다.
일 실시예에서, 화면내 예측부(235)에서 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 서로 다를 수 있다. 예를 들어, 예측 단위로 예측 모드가 정해져 예측 단위로 예측이 수행될 수 있고, 예측 단위로 예측 모드가 정해지고 변환 단위로 화면내 예측이 수행될 수도 있다.
예를 들어, 먼저 현재 블록의 공간적으로 좌측과 상측 이웃 블록의 화면내 예측 블록을 비교하여, 두 개의 화면내 예측 모드가 다르면 좌측 이웃 블록의 화면내 예측 모드를 첫번째 가장 가능성 있는 화면내 예측 모드 인덱스에 할당하고, 상측 이웃 블록의 화면내 예측 모드를 두번째 가장 가능성 있는 화면내 예측 모드 인덱스에 할당한다. 상기 상측 이웃 블록 및 상기 좌측 이웃 블록의 화면내 예측 모드가 모두 플라나(planar) 또는 DC 모드가 아닌 경우에는, 세번째 가장 가능성 있는 화면내 예측 모드 인덱스에 플라나 또는 DC 모드를 할당할 수 있다.
만일 상기 상측 이웃 블록 및 상기 좌측 이웃 블록의 화면내 예측 모드가 동일한 경우에는, 상기 좌측 이웃 블록의 화면내 예측 모드가 플라나 또는 DC 모드인지 판단하고, 플라나 또는 DC 모드인 경우에는 첫번째 가장 가능성 있는 화면내 예측 모드 인덱스에 플라나를 할당하고, 두번째 가장 가능성 있는 화면내 예측 모드 인덱스에 DC 모드를 할당할 수 있다. 이후, 세번째 가장 가능성 있는 화면내 예측 모드 인덱스에는 수직(Vertical) 모드를 할당할 수 있다. 만일 상기 좌측 이웃 블록의 화면내 예측 모드가 플라나 또는 DC 모드가 아닌 방향성 모드인 경우에는 세 개의 가장 가능성 있는 화면내 예측 모드 인덱스에 상기 좌측 이웃 블록의 화면내 예측 모드 및 상기 화면내 예측 모드의 주변 모드(±1)를 가장 가능성 있는 화면내 예측 모드 리스트의 인덱스에 할당할 수 있다.
그러나, 현재 블록을 원본 블록과 더욱 유사하게 예측하기 위하여는 상기 현재 블록의 화면내 예측 모드를 결정하기 위하여 더 많은 가장 가능성 있는 화면내 예측 모드들을 이용할 필요가 있다. 그러므로, 상기 방법 이외에도 현재 블록의 가장 가능성 있는 화면내 예측 모드 리스트를 구성하기 위하여, 다음과 같은 방법이 이용될 수 있다.
일 실시예에서, 현재 블록의 화면내 예측 모드를 부호화하기 위하여 6개의 가장 가능성 있는 화면내 예측 모드를 이용할 수 있다. 상기 가장 가능성 있는 화면내 예측 모드 획득을 위하여 이용되는 이웃 블록들은 현재 블록의 좌측 상측 블록, 상측 블록, 상측 우측 블록, 좌측 블록, 및 좌측 하측 블록일 수 있다.
예를 들면, 상기 다섯 개의 이웃 블록들을 스캔하며 상기 이웃 블록들의 화면내 예측 모드를 가장 가능성 있는 화면내 예측 모드 리스트에 할당할 수 있다. 이 경우, 상기 다섯 개의 이웃 블록들로부터 화면내 예측 모드 이외에 플라나 모드 및 DC 모드를 가장 가능성 있는 화면내 예측 모드 리스트에 할당할 수 있다. 또한, 중복되는 가장 가능성 있는 화면내 예측 모드는 리스트에 중복하여 할당하지 아니한다.
이와 같이 설정된 초기 가장 가능성 있는 화면내 예측 모드 리스트의 화면내 예측 모드가 6개가 되지 아니하면, 상기 초기 가장 가능성 있는 화면내 예측 모드 리스트에 포함된 화면내 예측 모드 중 방향성을 가지는 화면내 예측 모드의 주변(±1) 모드를 상기 가장 가능성 있는 화면내 예측 모드 리스트에 포함시킨다. 그럼에도 불구하고, 상기 리스트의 화면내 예측 모드가 6개가 되지 아니하는 경우에는, 수직 방향의 화면내 예측 모드, 수평 방향의 화면내 예측 모드, 제 1 대각선 방향의 화면내 예측 모드(2), 제 2 대각선 방향의 화면내 예측 모드(34) 순으로 상기 가장 가능성 있는 화면내 예측 모드 리스트에 포함시켜 완성할 수 있다.
현재 블록의 화면내 예측 모드를 시그널링 하는 방법은 하기 표 1과 같다. 먼저 현재 블록의 화면내 예측 모드가 6 개의 가장 가능성 있는 화면내 예측 모드 중 하나와 동일한지 여부를 나타내는 MPM 플래그를 전송할 수 있다. 만일 현재 블록의 화면내 예측 모드가 6 개의 MPM 중 하나와 동일하다면, 상기 MPM 플래그는 1로 설정되고 6개의 MPM 중 어느 것과도 동일하지 아니하다면 상기 MPM 플래그는 0으로 설정될 것이다. 또한, 상기 MPM 플래그가 1 인 경우, 6 개의 MPM 중 어느 MPM 가 동일한지를 나타내는 정보가 전송될 수 있다. 그러나, 상기 MPM 플래그가 0 인 경우, 6 개의 MPM 을 제외한 잔여 화면내 예측 모드들의 인덱스를 0 내지 60 으로 재할당하고, 4 의 배수에 해당하는 인덱스들을 'selected mode set' 로, 나머지 인덱스들을 'non-selected mode set' 으로 설정한다.
MPM Flag MPM Index 이진화 방법
1 0 ~ 5 Truncated binary code
0 모드 셋 플래그
(selected_mode_set)		 잔여 화면내 예측 모드 인덱스 이진화
(Binarization)
1 0 ~ 15 고정 4비트
0 0 ~ 44 가변 비트
현재 블록의 화면내 예측 모드의 인덱스가 위 모드 셋 중 어느 셋에 포함되는지 여부를 나타내는 모드 셋 플래그(selected_mode_set)를 더 전송할 수 있다. 예를 들어, 현재 블록의 화면내 예측 모드의 인덱스가 selected mode set에 포함되는 경우, 상기 모드 셋 플래그를 1로 설정하고, non-selected mode set에 포함되는 경우 상기 모드 셋 플래그는 0 으로 설정할 수 있다. 또한, 현재 블록의 화면내 예측 모드의 인덱스가 selected mode set에 포함되는 경우에는, 고정된 4 비트를 이용하여 상기 화면내 예측 모드의 인덱스를 전송할 수 있으며, 현재 블록의 화면내 예측 모드의 인덱스가 non-selected mode set에 포함되는 경우에는, truncated binary code를 이용하여 가변적으로 인덱스를 설정하여 전송할 수 있다.
상기 가장 가능성 있는 화면내 예측 모드 리스트를 설정할 때, 일반적으로 화면내 예측 모드를 나타내는 인덱스 및 상기 인덱스를 위하여 부여되는 코드워드는 기설정 되어 있다. 그러나, 현재 블록의 화면내 예측을 위하여 참조되는 참조 샘플 영역에 이용 가능하지 아니한 참조 샘플이 포함되어 있는 경우, 화면내 예측 모드에서 이용 가능하지 아니한 참조 샘플 영역을 참조하는 모드들은 예측 블록을 생성할 때, 다른 모드들에 비하여 부호화 효율이 낮을 수 있다. 이는 일반적으로 이용 가능하지 아니한 참조 샘플 영역의 샘플값에 이용 가능한 참조 샘플값을 복사하여 사용하기 때문이다.
그러므로, 본 발명의 일 실시예에 따른 참조 샘플 생성 방법은 다양한 방법으로 이용 가능한 참조 샘플을 이용하여 이용 가능하지 아니한 참조 샘플을 생성한 후, 화면내 예측을 수행한다. 또한, 상기 가장 가능성 있는 화면내 예측 모드 리스트를 설정할 때, 가장 가능성 있는 화면내 예측 모드가 이용 가능하지 아니한 참조 샘플 영역을 이용하는지 여부를 고려하여 상기 리스트 내의 인덱스 할당을 결정할 수 있으며, 이는 잔여 화면내 예측 모드의 인덱스 구성시에도 마찬가지이다. 이와 관련된 가장 가능성 있는 화면내 예측 모드 리스트 구성 방법 및 잔여 화면내 예측 모드 리스트 구성 방법은 추후 도 13 내지 도 17을 참조하여 설명하기로 한다.
일실시예에서, 화면내 예측부(235)에는 AIS(Adaptive Intra Smoothing) 필터부, 참조 픽셀 보간부, DC 필터부를 포함할 수 있다. 상기 AIS 필터부는 현재 블록의 참조 픽셀에 필터링을 수행하는 부분으로써 현재 예측 단위의 예측 모드에 따라 필터의 적용 여부를 결정하여 적용할 수 있다. 영상 부호화기에서 제공된 예측 단위의 예측 모드 및 AIS 필터 정보를 이용하여 현재 블록의 참조 픽셀에 AIS 필터링을 수행할 수 있다. 현재 블록의 예측 모드가 AIS 필터링을 수행하지 아니하는 모드인 경우에는, 상기 AIS 필터부는 현재 블록에 적용되지 아니할 수 있다.
참조 픽셀 보간부는 예측 단위의 예측 모드가 참조 픽셀을 보간한 샘플값을 기초로 화면내 예측을 수행하는 예측 단위인 경우에, 참조 픽셀을 보간하여 정수값 이하의 픽셀 단위의 참조 픽셀을 생성할 수 있다. 현재 예측 단위의 예측 모드가 참조 픽셀을 보간하지 아니하고 예측 블록을 생성하는 예측 모드인 경우, 참조 픽셀은 보간되지 아니할 수 있다. DC 필터부는 현재 블록의 예측 모드가 DC 모드인 경우에 필터링을 통하여 예측 블록을 생성할 수 있다.
복원된 블록 및/또는 픽처는 필터부(240)로 제공될 수 있다. 필터부(240)는 복원된 블록 및/또는 픽처에 디블록킹 필터부, 오프셋 보정부(Sample Adaptive Offset) 및/또는 적응적 루프 필터부를 포함할 수 있다. 상기 디블록킹 필터부는 영상 부호화기로부터 해당 블록 또는 픽처에 디블록킹 필터가 적용되었는지 여부를 나타내는 정보 및 디블록킹 필터가 적용된 경우 강한 필터 또는 약한 필터를 적용하였는지를 나타내는 정보를 제공받을 수 있다. 상기 디블록킹 필터부는 영상 부호화기에서 제공된 디블록킹 필터 관련 정보를 제공받고, 영상 복호화기에서 해당 블록에 대한 디블록킹 필터링을 수행할 수 있다.
상기 오프셋 보정부는 부호화시 영상에 적용된 오프셋 보정의 종류 및 오프셋 값 정보 등을 기초로 복원된 영상에 오프셋 보정을 수행할 수 있다. 상기 적응적 루프 필터부는 부호화기로부터 제공된 적응적 루프 필터의 적용 여부에 관한 정보, 적응적 루프 필터의 계수 정보와 같은 정보들을 기초로 부호화 단위로 적용될 수 있다. 상기 적응적 루프 필터와 관련된 정보들은 특정 파라미터 셋(parameter set)에 포함되어 제공될 수 있다.
메모리(245)는 복원된 픽처 또는 블록을 저장하여 이후에 참조 픽처 또는 참조 블록으로 사용할 수 있고, 또한 복원된 픽처를 출력부로 제공할 수 있다.
본 명세서에서는 설명의 편의를 위하여 생략하였지만, 복호화 장치에 입력되는 비트스트림은 파싱(parsing) 단계를 거쳐 엔트로피 복호화부로 입력될 수 있다. 또한, 엔트로피 복호화부에서 파싱 과정을 수행하도록 할 수 있다.
본 명세서에서 코딩은 경우에 따라 부호화 또는 복호화로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements), 플래그(flag) 등을 모두 포함하는 것으로 이해될 수 있다. '화면' 또는 '픽처(picture)'는 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미하며, '슬라이스(slice)', '프레임(frame)' 등은 실제 비디오 신호의 코딩에 있어서 픽처의 일부를 구성하는 단위이며, 필요에 따라서는 픽처와 서로 혼용되어 사용될 수 있다.
'픽셀(pixel)', '픽셀' 또는 'pel'은 하나의 영상을 구성하는 최소의 단위를 나타낸다. 또한, 특정한 픽셀의 값을 나타내는 용어로서, '샘플(sample)'을 사용할 수 있다. 샘플은 휘도(Luma) 및 색차(Chroma) 성분으로 나누어질 수 있으나, 일반적으로는 이를 모두 포함하는 용어로 사용될 수 있다. 상기에서 색차 성분은 정해진 색상들 간의 차이를 나타내는 것으로 일반적으로 Cb 및 Cr로 구성된다.
'유닛(unit)'은 상술한 부호화 유닛, 예측 유닛, 변환 유닛과 같이 영상 처리의 기본 단위 또는 영상의 특정 위치를 지칭하며, 경우에 따라서는 '블록' 또는 '영역(area)'등의 용어와 서로 혼용하여 사용될 수 있다. 또한, 블록은 M개의 열과 N개의 행으로 구성된 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타내는 용어로 사용될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 현재 블록의 참조 샘플 영역을 설명하기 위한 개략도이다.
도 3을 참조하면, 현재 블록(10)은 정방형(square)이거나 비-정방형의 다양한 모양의 블록일 수 있다. 이러한 현재 블록(10)는 가로 길이(A) X 세로 길이(B)의 사각형 형태일 수 있다. 현재 블록(10)의 크기가 A X B 인 경우, 현재 블록(10)의 주변은 화면내 예측을 위하여 이용되는 참조 샘플들이 위치하는 참조 샘플 영역(20, 30, 40)이 위치할 수 있다.
상기 참조 샘플 영역은 현재 블록(10)의 상측에 위치하는 상측 참조 샘플 영역(20), 코너 참조 샘플 영역(30), 및 좌측 참조 샘플 영역(40)을 포함할 수 있다. 일 실시예에서, 상측 참조 샘플 영역(20) 및 좌측 참조 샘플 영역(40)의 길이는 현재 블록(10)의 가로 길이(A) 및 세로 길이(B)의 합과 동일할 수 있다. 또한, 상측 참조 샘플 영역(20), 코너 참조 샘플 영역(30), 및 좌측 참조 샘플 영역(40)은 적어도 하나 이상의 픽셀들을 포함하며, 상기 픽셀들은 이용 가능한(available) 참조 픽셀 뿐 아니라, 화면내 예측에 이용 가능하지 아니한(unavailable) 픽셀들을 포함할 수 있다.
현재 블록(10)의 주변에 위치하는 참조 샘플 영역은 이용 가능한 참조 픽셀들을 포함하는 이용 가능한 참조 샘플 영역(■) 및 이용 가능하지 아니한 영역을 포함하는 이용 가능하지 아니한 참조 샘플 영역(□)을 포함할 수 있다. 상기 참조 샘플 영역에 이용 가능하지 아니한 참조 샘플 영역이 포함되는 경우, 상기 이용 가능한 참조 샘플 영역의 참조 샘플들을 이용하여 상기 이용 가능하지 아니한 참조 샘플 영역의 참조 샘플들을 생성하여야 한다.
도 4a 내지 도 6a는 이용 가능하지 아니한 참조 샘플 영역의 참조 샘플들을 생성하는 방법을 설명하기 위한 개략도이다. 도 4a를 참조하면, 이용 가능하지 아니한 참조 샘플 영역은 상측 참조 샘플 영역 중 현재 블록(10)의 오른쪽에 위치할 수 있다. 이 경우, 이용 가능한 참조 샘플 영역 중 R 위치의 참조 샘플을 이용 가능하지 아니한 참조 샘플 영역인 우측 방향으로 복사하여 참조 샘플들을 생성할 수 있다. 도 4b를 참조하면, 좌측 참조 샘플 영역 중 현재 블록(10)의 하측에 이용 가능하지 아니한 참조 샘플 영역이 존재할 수 있으며, 이 경우, 좌측 참조 샘플 영역 중 이용 가능하지 아니한 참조 샘플 영역에 가장 인접한 픽셀인 R 위치의 참조 샘플을 상기 이용 가능하지 아니한 참조 샘플 영역으로 복사하여 참조 샘플들을 생성할 수 있다.
또한, 도 4c를 참조하면, 이용 가능하지 아니한 참조 샘플 영역은 이용 가능한 참조 샘플 영역 사이에 형성될 수 있다. 이 경우, 상기 이용 가능한 참조 샘플 영역 중 이용 가능하지 아니한 참조 샘플 영역에 가장 인접한 픽셀 중 하나인 R 위치의 참조 샘플을 상기 이용 가능하지 아니한 참조 샘플 영역으로 복사하여 이용할 수 있다.
이와 같이, 현재 블록(10)의 참조 샘플 영역 중 이용 가능하지 아니한 참조 샘플 영역과 이용 가능한 참조 샘플 영역이 공존하는 경우, 종래에는 상기 이용 가능한 참조 샘플 영역 중 하나의 참조 샘플 값을 복사하여 상기 이용 가능하지 아니한 참조 샘플 영역의 샘플값을 생성하였다. 그러나, 상기 이용 가능하지 아니한 참조 샘플 영역의 모든 픽셀값들은 상기 이용 가능한 참조 샘플 영역의 특정 참조 샘플로부터 복사하여 생성하였기 때문에 모두 동일한 샘플값을 가지게 된다. 따라서, 이러한 패딩 방법은 화면내 예측의 부호화 효율을 저하시킬 수 있다.
도 5에 나타난 바와 같이, 현재 블록(20)이 픽쳐, 슬라이스 또는 세그먼트의 경계에 접하는 경우에는 참조 샘플 영역(35) 중 이용 가능한 참조 샘플이 존재하지 아니할 수 있다. 즉, 참조 샘플 영역에 이용 가능하지 아니한 참조 샘플 영역만이 존재하며, 상기 이용 가능하지 아니한 참조 샘플 영역의 참조 샘플들을 생성하기 위한 이용 가능한 참조 샘플들도 존재하지 아니한다. 이러한 경우, 일반적으로 화면내 예측을 위한 참조 샘플은 하기 수학식 1와 같이 샘플값을 표현하는 비트 깊이(Bit Depth)에 따른 중간값을 DC값으로 이용할 수 있다.
Figure pat00001
상기 수학식 1에 따르면, 예를 들어, 샘플값을 표현하기 위하여 8 비트를 사용하는 경우, 현재 블록(20)의 참조 샘플 영역(35)의 이용 가능하지 아니한 참조 샘플들의 샘플값은 중간값인 128으로 설정함으로써, 화면내 예측을 위한 참조 샘플들을 생성할 수 있다. 상기 수학식 1과 관련된 개념도를 도 6a에 나타냈다. 이러한 참조 샘플 생성 방법도 현재 블록(20)의 실제 샘플값과 관련된 정보의 고려없이 기설정된 비트수를 이용하여 현재 블록(20)의 화면내 예측을 위한 참조 샘플의 샘플값을 설정하는 것이므로, 화면내 예측의 코딩 효율을 저하시키게 된다.
이러한 문제점들을 해결하기 위하여, 현재 블록의 참조 샘플 영역에 이용 가능한 참조 샘플 영역이 존재하지 아니하는 경우 및 상기 이용 가능한 참조 샘플 영역이 적어도 일부 존재하는 경우 코딩 효율을 향상시키는 참조 샘플 생성 방법에 대하여 설명한다.
도 6b 내지 도 7은 본 발명의 일 실시예에 따른 현재 블록의 참조 샘플 영역 중 이용 가능하지 아니한 영역에 대하여 참조 샘플을 생성하는 방법을 설명하기 위한 개략도이다.
예를 들면, 현재 블록이 픽쳐, 슬라이스, 또는 세그먼트의 경계 블록인 경우, 상기 현재 블록의 화면내 예측을 위한 참조 샘플 영역에는 이용 가능한 참조 샘플들이 존재하지 아니한다. 이 경우, 일반적으로 현재 블록의 상측, 상측 코너, 및 좌측의 참조 샘플 영역의 참조 샘플값으로 상기 수학식 1 및 도 6a에 나타난 바와 같이, 샘플값 표현을 위하여 할당된 비트수를 이용하여 이의 중간값을 참조 샘플의 샘플값으로 사용하였다.
그러나, 본 발명에서는 현재 블록의 참조 샘플 영역에 이용 가능한 참조 샘플이 존재하지 아니하는 경우에는, 현재 블록과 연관된 최대 및 최소 화소값을 이용하여 참조 샘플들을 생성할 수 있다. 일 실시예에서, 상기 참조 샘플 영역에 이용 가능한 참조 샘플이 존재하지 아니하는 경우는 상기 이용 가능한 참조 샘플이 하나도 존재하지 아니하는 경우 뿐 아니라, 참조 샘플 영역의 이용 가능한 참조 샘플의 개수보다 이용 가능하지 아니한 참조 샘플의 개수가 더 많은 경우를 포함한다. 예를 들어, 이는 현재 블록이 픽처, 슬라이스 또는 세그먼트의 경계에 위치하는 블록인 경우일 수 있다. 또한, 상기 참조 샘플 영역에 이용 가능한 참조 샘플이 존재하지 아니하는 경우는 현재 블록의 주변에 복호된 화소가 없는 경우일 수도 있다.
도 6b에 나타난 바와 같이, 참조 샘플 영역에 이용 가능한 참조 샘플이 존재하지 아니하는 경우, 비트스트림으로부터 현재 블록이 포함된 픽처 또는 슬라이스의 최대 샘플값 및 최소 샘플값을 획득할 수 있다. 상기 최대 샘플값 및 상기 최소 샘플값은 도 6a에 도시된 현재 블록의 샘플값을 표현하기 위하여 할당되는 비트수가 표현할 수 있는 최대 및 최소값 범위 내의 값일 수 있다. 상기 획득된 최대 샘플값 및 최소 샘플값의 중간값을 상기 참조 샘플 영역의 이용 가능하지 아니한 참조 샘플 영역에 할당하여 현재 블록의 참조 샘플들을 생성할 수 있다.
따라서, 본 발명의 일 실시예에 따른 참조 샘플 생성 방법은, 종래의 샘플값을 표현하기 위한 비트수를 이용하여 참조 샘플을 생성하는 방법에 비하여, 현재 블록의 샘플값에 관련성이 높은 정보를 이용함으로써 원 영상에 가까운 영상을 코딩할 수 있다. 일 실시예에서는, 상기 최대 및 최소 샘플값은 현재 블록이 포함되는 픽처 또는 슬라이스 단위로 비트스트림에 포함될 수 있으나, 본 발명은 이에 한정되지 아니하고, 현재 블록을 포함하는 상위 파라미터에 설정된 최대 및 최소 샘플값 또는 블록 단위로 설정된 최대 및 최소 샘플값이면 무방하다. 또한, 상기 최대 및 최소 샘플값을 획득하는 방법은 본 발명에 한정되지 아니한다.
예를 들어, 도 7을 참조하면, 현재 블록이 픽처의 경계에 위치하는 블록이고, 픽처 단위로 전송되는 최대 샘플값으로 230 을, 최소 샘플값으로 50 을 획득할 수 있다. 이 때, 현재 블록의 참조 샘플값을 하기 수학식 2와 같이 계산하여 설정할 수 있다.
Figure pat00002
수학식 2에 의하여 계산된 중간값 140을 참조 샘플 영역의 참조 샘플값으로 설정하고, 상기 참조 샘플들을 현재 블록의 화면내 예측에 이용할 수 있다. 이와 같은 참조 샘플 생성 방법은 종래의 방법에 비하여 현재 블록과 상대적으로 관련성이 높은 샘플값을 이용 가능하지 아니한 참조 샘플에 설정하여 이용할 수 있으므로, 코딩 효율을 높일 수 있게 된다.
도 8은 본 발명의 일 실시예에 따라 비트스트림의 상위 파라미터로부터 획득한 최대 및 최소 샘플값, 즉, 픽셀값을 이용하여 참조 샘플을 생성하는 방법을 나타내는 신택스이다.
도 8에 나타낸 바와 같이, Sequence Parameter Set(SPS)의 explicit_min_max_value_flag 가 '1'인 경우, 부호화기는 최대 샘플값과 최소 샘플값을 상위 파라미터에 시그널링하여 복호화기에 전송하고, explicit_min_max_value_flag 가 '0'인 경우, 최대 샘플값과 최소 샘플값을 복호화기에 전송하지 않는다. 복호화기에서, 만일 explicit_min_max_value_flag가 '1'인 경우, 슬라이드 헤더에서 explicit_min_max_slice_flag 를 복호화한다. 복호화된 explicit_min_max_slice_flag 의 값이 '1'인 경우, 휘도 신호에 대한 최소 샘플값을 나타내는 explicit_min_value[0]와 최대 화소값을 나타내는 explicit_max_value[0] 를 복호화한다. 또한, explicit_min_max_slice_chroma_flag 를 복호화하여 색차 신호에 대한 최대 및 최소 샘플값의 전송 여부를 결정한다. 여기서, explicit_min_max_slice_chroma_flag 의 값이 '1'인 경우, 색차 신호의 최대 및 최소 화소값을 나타내는 explicit_min_value[cIdx]와 explicit_max_value[cIdx]를 각 색차 신호마다 복호화한다. 반대로 explicit_min_max_slice_chroma_flag 의 값이 '0 인 경우, 색차 신호에 대한 최대 및 최소 샘플값은 복호화하지 않는다.
도 9 내지 도 12는 본 발명의 다양한 실시예에 따른 현재 블록의 참조 샘플 영역 중 이용 가능하지 아니한 영역에 대하여 참조 샘플을 생성하는 방법들을 설명하기 위한 개략도이다. 일 실시예에서, 상기 참조 샘플 영역은 적어도 하나 이상의 이용 가능하지 아니한 참조 샘플 영역을 포함할 수 있다.
도 9를 참조하면, 현재 블록(10)의 화면내 예측을 위하여 이용되는 참조 샘플 영역은 현재 블록(10)의 상측 및 좌측에 인접하여 위치할 수 있다. 상기 참조 샘플 영역은 이용 가능한 참조 샘플들이 위치하는 이용 가능한 참조 샘플 영역(50) 및 픽셀들이 이용 가능하지 아니한 참조 샘플 영역(55)을 포함한다.
일 실시예에서는, 상기 이용 가능하지 아니한 참조 샘플 영역(55)에 위치하는 픽셀들에 대하여, 이용 가능한 참조 샘플 영역의 적어도 하나 이상의 참조 샘플을 이용하여 이용 가능하지 아니한 참조 샘플 영역에 대한 패딩을 수행할 수 있다. 예를 들어, 이용 가능한 참조 샘플 영역 중 이용 가능하지 아니한 참조 샘플 영역에 인접한 두 개 이상의 참조 샘플의 샘플값으로부터 오프셋 값, 필터 계수, 기울기 값, 또는 픽셀 차이값을 계산하여 이를 반영한 패딩을 수행할 수 있다.
여기서 상기 오프셋 값, 필터 계수, 기울기 값, 또는 픽셀 차이값을 계산하기 위하여 이용되는 이용 가능한 참조 샘플의 개수는 제한되지 아니한다. 또한, 상기 오프셋 값, 필터 계수, 기울기 값, 또는 픽셀 차이값 등을 계산하는 방법도 본 발명에 제한되지 아니한다. 일 실시예에서, 이용 가능하지 아니한 참조 샘플 영역의 참조 샘플들을 생성하기 위하여 이용되는 이용 가능한 참조 샘플들의 개수 및 이들의 위치는 본 발명에서 한정되지 아니하며, 참조 샘플 영역 내의 적어도 하나 이상의 이용 가능한 참조 샘플들을 이용할 수 있다.
본 발명에서 이용 가능하지 아니한 참조 샘플을 생성하기 위하여는, 먼저 참조 샘플 영역(50, 55)의 각각의 픽셀들이 화면내 예측을 위하여 이용 가능한지 여부를 확인한다. 이후, 일부 참조 픽셀이 이용 가능하지 아니한 경우, 이용 가능한 참조 샘플 영역의 적어도 하나 이상의 픽셀들을 이용하여 이용 가능하지 아니한 참조 샘플값을 생성할 수 있다. 상기 참조 샘플을 생성하는 다양한 방법은 상기 참조 샘플 영역 중 이용 가능하지 아니한 참조 샘플 영역의 위치 및 개수에 따라 달라질 수 있으며, 상세한 방법은 도 10 내지 12를 참조하여 설명한다.
도 10을 참조하면, 이용 가능하지 않은 참조 샘플을 생성하기 위하여 이용 가능한 참조 샘플 영역(70) 중 적어도 두 개 이상의 이용 가능한 참조 샘플들 A 및 B(71, 72)를 이용할 수 있다. 여기서 이용 가능한 참조 샘플들 A 및 B(71, 72)는 서로 인접한 참조 샘플들일 수 있다. 예를 들어, 상기 이용 가능한 참조 샘플들을 이용하여 오프셋 값 β 을 획득할 수 있으며, 상기 오프셋 값은 이용 가능하지 아니한 참조 샘플 영역의 참조 샘플들(72, 73, ..., 7N)을 생성하기 위하여 이용될 수 있다. 이와 같은 방법으로 생성되는 이용 가능하지 아니한 참조 샘플 영역의 참조 샘플들의 샘플값은 다음 수학식 3에 의하여 산출될 수 있다.
Figure pat00003
상기 이용 가능한 참조 샘플들은 세 개 이상일 수 있으며, 이들로부터 획득되는 오프셋 값은 수학식 3의 수식 뿐만 아니라, 세 개 이상의 참조 샘플들의 중간값 또는 평균값일 수 있다. 또한, 상기 이용 가능한 참조 샘플들은 적어도 한 쌍의 서로 인접하게 위치하는 픽셀들이면 무방하며, 세 개 이상인 경우 서로 인접하지 아니하는 픽셀들도 포함될 수 있다. 일 실시예에서, 상기 이용 가능한 참조 샘플들은 이용 가능하지 아니한 참조 샘플 영역과 가장 인접한 위치의 픽셀들일 수 있으나, 이에 한정되지 아니하고, 상기 이용 가능한 참조 샘플들의 위치는 제한되지 아니한다.
또한, 이용 가능하지 않은 참조 샘플 영역의 참조 샘플들을 생성하기 위하여 사용되는 이용 가능한 참조 샘플들은 도 11 및 도 12에 나타난 바와 같이, 인접하지 아니할 수도 있다. 도 11을 참조하면, 현재 블록의 참조 샘플 영역은 적어도 두 개 이상의 이용 가능한 참조 샘플들 A 및 B(81, 82)을 포함할 수 있으며, 상기 참조 샘플 A 및 B는 서로 인접하지 아니한 이격된 위치의 픽셀들일 수 있다.
본 발명의 일 실시예에 따른 참조 샘플 생성 방법은, 상기 이용 가능한 참조 샘플들 A 및 B(81, 82)을 이용하여 이용 가능하지 아니한 영역의 참조 샘플들을 생성할 수 있다. 예를 들면, 하기 수학식 4에 나타낸 바와 같이, 상기 이용 가능한 참조 샘플들 A 및 B, 및 상기 참조 샘플들의 거리를 이용하여 오프셋 값 β를 산출할 수 있다. 이와 같이 산출된 오프셋 값을 이용 가능하지 아니한 참조 샘플 영역과 가장 인접한 이용 가능한 참조 샘플값(B)에 더하여 상기 이용 가능하지 아니한 영역의 참조 샘플들(83, 84, ..., 8N)을 생성할 수 있다.
Figure pat00004
상기 β 는 오프셋 값, S 는 참조 샘플 A 및 B 사이의 거리, Ro는 이용 가능한 참조 샘플들과 가장 인접한 이용 가능하지 않은 참조 샘플의 샘플값이며, Rk 는 이용 가능하지 않은 참조 샘플 영역의 참조 샘플의 샘플값이다.
일 실시예에서, 상기 이용 가능하지 아니한 참조 샘플들은 세 개 이상일 수 있으며, 이들로부터 획득되는 오프셋 값은 수학식 4의 수식 뿐만 아니라, 세 개 이상의 참조 샘플들의 중간값 또는 평균값일 수 있다. 또한, 상기 이용 가능한 참조 샘플들은 서로 인접하지 아니한 픽셀들이면 무방하며, 이들의 위치는 본 발명의 실시예에 제한되지 아니한다.
도 12를 참조하면, 본 발명의 다른 실시예에 따른 참조 샘플의 생성 방법은, 서로 인접하지 아니하는 두 개 이상의 이용 가능한 참조 샘플들로부터 가중치를 획득하여 이를 이용할 수 있다.
본 발명의 일 실시예에 따른 참조 샘플 생성 방법은, 상기 이용 가능한 참조 샘플들 A 및 B(91, 92)을 이용하여 이용 가능하지 아니한 영역의 참조 샘플들을 생성할 수 있다. 먼저 하기 수학식 5에 나타낸 바와 같이, 상기 이용 가능한 참조 샘플들 A 및 B(91, 92)의 샘플값들을 이용하여 먼저 가중치 값 ω1 및 ω2 을 먼저 산출할 수 있다. 가중치 값 ω1 및 ω2 는 이용 가능한 참조 샘플 사이의 이용 가능하지 아니한 참조 샘플들 Rk 위치마다 다르게 설정할 수 있다. 예를 들면, 제 1 가중치 ω1 는 참조 샘플 생성에 사용되는 이용 가능한 참조 샘플들 A 및 B(91, 92) 사이의 거리를 D 라고 할 때, D + 1 을 분모로 하고, D+1 에 참조 샘플 A와 생성하려고 하는 참조 샘플 Rk 사이 거리를 뺀 값을 분자로 갖도록 하여 설정할 수 있다. 제 2 가중치 ω2 는 D + 1 을 분모로 하고, 참조 샘플 A와 생성하려고 하는 참조 샘플 Rk 사이의 거리를 분자로 갖는 값으로 설정할 수 있다. 상기 제 1 가중치 및 제 2 가중치를 이용하여 수학식 5와 같이 이용 가능하지 아니한 영역의 참조 샘플들(93, 94, ..., 9N)을 생성할 수 있다.
Figure pat00005
일 실시예에서, 상기 이용 가능하지 아니한 참조 샘플들은 세 개 이상일 수 있으며, 이들로부터 획득되는 가중치 값은 수학식 5의 수식 뿐만 아니라, 세 개 이상의 참조 샘플들 중 두 개의 참조 샘플들로부터 산출된 값일 수 있다. 또한, 상기 이용 가능한 참조 샘플들은 서로 인접하지 아니한 픽셀들이면 무방하며, 이들의 위치는 본 발명의 실시예에 제한되지 아니한다.
이와 같이, 본 발명의 일 실시예에 따른 참조 샘플 생성 방법은, 현재 블록의 주변에 위치하는 참조 샘플 영역의 이용 가능한 참조 샘플들을 두 개 이상 이용하여 상기 참조 샘플 영역의 이용 가능하지 아니한 참조 샘플들을 생성함으로써, 기존의 방법보다 더 원 영상에 가까운 고해상도의 영상을 부호화 및 복호화 할 수 있는 비디오 신호의 복호화 방법 및 장치를 제공하는 것이다.
도 13은 본 발명의 일 실시예에 따른 현재 블록의 화면내 예측 모드가 이용 가능하지 아니한 참조 샘플 영역을 참조하는 방법을 설명하기 위한 것이다.
도 13을 참조하면, 현재 블록(10)은 상측 주변 및 좌측 주변에 화면내 예측시 참조하는 참조 샘플 영역(300)을 형성할 수 있다. 참조 샘플 영역(300)은 이용 가능하지 아니한(unavailable) 샘플이 존재하는 경우 화면내 예측을 위하여 이용 가능한 참조 샘플 영역(310) 및 이용 가능하지 아니한 참조 샘플 영역(320)을 포함할 수 있다. 도 13의 우측에 나타난 바와 같이, 현재 블록(10)이 화면내 예측을 수행하면 참조 샘플 영역(300)에 위치하는 참조 샘플들을 참조할 수 있다. 이 때, 화면내 예측 모드에 따라 이용 가능한 참조 샘플 영역(310)의 샘플들을 참조할 수도 있고, 이용 가능하지 아니한 참조 샘플 영역(320)의 샘플들을 참조할 수도 있다.
본 발명의 참조 샘플 생성 방법은, 이와 같이 이용 가능하지 아니한 참조 샘플 영역(320)의 샘플값을 이용 가능한 참조 샘플 영역(310)의 적어도 두 개 이상의 참조 샘플들을 이용하여 생성할 수 있다. 만일 현재 블록(10)의 화면내 예측 모드가 이용 가능하지 아니한 참조 샘플 영역(320)의 샘플들을 참조하는 모드이면, 도 3 내지 도 12를 참조하여 설명된 참조 샘플의 생성 방법에 의하여 생성된 이용 가능하지 아니한 참조 샘플 영역(320)의 참조 샘플들을 이용하여 화면내 예측이 수행될 수 있다.
도 14 및 도 15는 본 발명의 일 실시예에 따른 가장 가능성 있는 화면내 예측 모드 리스트를 구성하는 방법을 설명하기 위한 것이다.
도 14를 참조하면, 현재 블록(10)은 좌측 블록(400) 및 상측 블록(500)의 화면내 예측 모드를 참조하여 현재 블록(10)의 가장 가능성 있는 화면내 예측 모드 리스트(MPM_List)를 구성할 수 있다. 예를 들어, 좌측 블록(400)의 화면내 예측 모드가 66이고, 상측 블록(500)의 화면내 예측 모드가 36일 수 있으며, 화살표는 화면내 예측 방향을 나타낸다. 이 경우, 좌측 블록(400)의 화면내 예측 모드 66은 이용 가능하지 아니한 참조 샘플 영역(320)을 참조하는 화면내 예측 모드이고, 상측 블록(500)의 화면내 예측 모드 36은 이용 가능한 참조 샘플 영역(310)을 참조하는 화면내 예측 모드로, 상측 블록(500)의 화면내 예측 모드 36이 현재 블록(10)과 더 관련성이 높은 참조 샘플, 즉, 이용 가능한 참조 샘플 영역(310)의 참조 샘플, 을 참조하는 모드일 수 있다. 그러므로, 본 발명의 MPM 리스트 구성 방법은 이용 가능한 참조 샘플 영역을 참조하는 화면내 예측 모드를 상대적으로 더 짧은 코드워드를 사용하는 가장 가능성 있는 화면내 예측 모드 리스트의 인덱스에 할당할 수 있다.
일 실시예에서, 가장 가능성 있는 화면내 예측 모드 리스트를 구성하는 방법은 현재 블록의 화면내 예측을 위한 참조 샘플 영역 중 이용 가능하지 아니한 참조 샘플 영역의 고려 여부에 따라 결정될 수 있다. 현재 블록(10)의 참조 샘플 영역은 이용 가능한 참조 샘플 영역(310) 및 이용 가능하지 아니한 참조 샘플 영역(320)으로 구분될 수 있다. 이후, 현재 블록(10)의 주변 블록(400, 500)의 화면내 예측 모드가 이용 가능하지 아니한 참조 샘플 영역(320)을 참조하는 화면내 예측 모드인 경우, 이용 가능한 참조 샘플 영역(31)을 참조하는 화면내 예측 모드 보다 긴 코드워드를 사용하는 가장 가능성 있는 화면내 예측 모드 리스트 내의 인덱스에 할당될 수 있다. 이 때, 현재 블록(10)의 주변 블록(400, 500)의 화면내 예측 모드의 스캔 순서는 제한되지 아니한다.
도 15는 종래의 가장 가능성 있는 화면내 예측 모드 리스트와 본 발명의 리스트 구성 방법을 비교한 것이다. 도 14 및 도 15를 참조하면, 기존의 방법으로 가장 가능성 있는 화면내 예측 모드 리스트를 구성하는 경우, 좌측 블록의 화면내 예측 모드를 상측 블록의 화면내 예측 모드보다 먼저 리스트의 인덱스에 할당하므로, 66번 모드는 리스트의 0번 인덱스에 할당되고, 36번 모드는 리스트의 1번 인덱스에 할당된다. 그러나, 본 발명의 리스트 구성 방법에 따르면, 66번 모드는 이용 가능하지 아니한 참조 샘플 영역을 참조하므로 이용 가능한 참조 샘플 영역을 참조하는 36번 모드보다 더 높은 인덱스를 할당하여 36번 모드를 리스트의 0번 인덱스에, 그리고, 66번 모드를 리스트의 1번 인덱스에 할당할 수 있다. 이러한 이용 가능하지 아니한 참조 샘플 영역의 참조 여부를 고려하여 가장 가능성 있는 화면내 예측 모드 리스트를 구성하는 방법은, 잔여 화면내 예측 모드 리스트 구성에도 적용될 수 있다.
도 16 및 도 17은 본 발명의 다른 실시예에 따른 현재 블록의 잔여 화면내 예측 모드 리스트를 구성하는 방법을 설명하기 위한 것이다.
도 16을 참조하면, 현재 블록(10)의 참조 샘플 영역 중 이용 가능하지 아니한 참조 샘플 영역(420)이 존재하는 경우, 현재 블록(10)의 잔여 화면내 예측 모드 리스트의 구성시 이용 가능하지 아니한 참조 샘플 영역(420)을 참조하는 화면내 예측 모드에 긴 코드워드를 할당할 수 있고, 이용 가능한 참조 샘플 영역을 참조하는 화면내 예측 모드들에 대해 상대적으로 짧은 코드워드를 할당할 수 있다.
도 17을 참조하면, 현재 블록(10)이 67 개의 화면내 예측 모드를 사용하고, 현재 블록(10)의 참조 샘플 영역 중 좌측 하단에 이용 가능하지 아니한 참조 샘플 영역(420)을 포함하는 경우, 현재 블록(10)의 화면내 예측 모드 중 2 내지 17 번 모드는 종래의 및 도 3 내지 도 12를 참조하여 설명한 다양한 패딩 방법으로 생성된 이용 가능하지 아니한 참조 샘플 영역(420)의 참조 샘플들을 사용하여 예측 블록을 생성할 수 있다. 이 경우, 2 내지 17번 화면내 예측 모드는 다른 화면내 예측 모드에 비하여 긴 코드워드를 갖는 잔여 화면내 예측 모드 리스트의 인덱스에 할당할 수 있다.
일 실시예에서, 이용 가능하지 아니한 참조 샘플 영역(420)을 참조하는 2 내지 17번 모드에서 2 번 모드는 17 번 모드보다 더 많은 이용 가능하지 아니한 참조 샘플 영역(420)의 참조 샘플들을 이용할 수 있다. 그러므로, 잔여 화면내 예측 모드 리스트에 17 번 모드보다 더 긴 코드워드를 갖는 인덱스에 2 번 모드를 할당할 수 있다. 즉, 이용 가능하지 아니한 참조 샘플 영역(420)의 참조 샘플들을 더 많이 참조하는 화면내 예측 모드일수록 잔여 화면내 예측 모드 리스트 중 긴 코드워드를 갖는 인덱스에 할당할 수 있다. 또한, 2 내지 17번 모드 이외에 이용 가능한 참조 샘플 영역(410)의 참조 샘플들을 사용하여 예측 블록을 생성하는 화면내 예측 모드는 2 내지 17번 모드 보다 짧은 코드워드를 가지는 인덱스에 할당할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 가장 가능성 있는 화면내 예측 모드 리스트 및 잔여 화면내 예측 모드 리스트 구성 방법은, 이용 가능하지 아니한 참조 샘플 영역의 샘플들을 참조하는 화면내 예측 모드를 이용 가능한 참조 샘플 영역의 샘플들을 참조하는 화면내 예측 모드보다 긴 코드워드를 갖는 인덱스에 할당함으로써, 고해상도의 영상을 부호화 및 복호화할 수 있고, 코딩 효율을 증가시킬 수 있는 비디오 신호의 복호화 방법 및 장치를 제공하는 것이다.
이상에서 설명한 본 발명이 전술한 실시예 및 첨부된 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

Claims (16)

  1. 현재 블록의 주변에 위치하는 참조 샘플 영역 내의 샘플이 상기 현재 블록의 화면내 예측을 위하여 이용 가능한지 여부를 판단하여 이용 가능한 참조 샘플 영역과 이용 가능하지 아니한 참조 샘플 영역을 구분하는 단계;
    상기 현재 블록의 주변 블록의 화면내 예측 모드를 획득하는 단계; 및
    상기 주변 블록의 화면내 예측 모드가 상기 이용 가능하지 아니한 참조 샘플 영역의 샘플을 이용하는지 여부에 기초하여 상기 현재 블록의 가장 가능성 있는 화면내 예측 모드 리스트를 획득하는 단계를 포함하는 비디오 신호의 복호화 방법.
  2. 제 1 항에 있어서,
    상기 가장 가능성 있는 화면내 예측 모드 리스트를 획득하는 단계는,
    상기 이용 가능한 참조 샘플 영역만을 이용하는 상기 주변 블록의 화면내 예측 모드를 짧은 코드워드를 사용하는 인덱스에 우선적으로 할당하는 비디오 신호의 복호화 방법.
  3. 제 1 항에 있어서,
    상기 가장 가능성 있는 화면내 예측 모드 리스트를 획득하는 단계는,
    상기 주변 블록의 화면내 예측 모드가 상기 이용 가능하지 아니한 참조 샘플 영역 중 이용하는 샘플의 개수가 많을수록 긴 코드워드를 사용하는 인덱스에 상기 화면내 예측 모드를 할당하는 비디오 신호의 복호화 방법.
  4. 제 1 항에 있어서,
    상기 이용 가능한 참조 샘플 영역과 이용 가능하지 아니한 참조 샘플 영역을 구분하는 단계는 각각의 샘플이 상기 현재 블록의 화면내 예측에 이용가능한지 여부를 나타내는 샘플 이용가부 정보에 기초하여 결정되는 비디오 신호의 복호화 방법.
  5. 현재 블록의 주변에 위치하는 참조 샘플 영역 내의 샘플이 상기 현재 블록의 화면내 예측을 위하여 이용 가능한지 여부를 판단하여 이용 가능한 참조 샘플 영역 및 이용 가능하지 아니한 참조 샘플 영역을 구분하는 단계;
    상기 참조 샘플 영역 내의 샘플을 이용하여 현재 블록의 가장 가능성 있는 화면내 예측 모드 리스트를 획득하는 단계; 및
    상기 구분된 이용 가능하지 아니한 참조 샘플 영역의 이용여부를 고려하여, 상기 리스트에 포함되지 아니한 화면내 예측 모드를 포함하는 잔여 화면내 예측 모드를 설정하는 단계를 포함하는 비디오 신호의 복호화 방법.
  6. 제 5 항에 있어서,
    상기 잔여 화면내 예측 모드를 설정하는 단계는, 상기 잔여 화면내 예측 모드가 상기 이용 가능한 참조 샘플 영역만을 이용하는 경우 짧은 코드워드를 사용하는 인덱스에 우선적으로 할당하는 비디오 신호의 복호화 방법.
  7. 제 5 항에 있어서,
    상기 잔여 화면내 예측 모드를 설정하는 단계는, 상기 잔여 화면내 예측 모드가 상기 이용 가능하지 아니한 참조 샘플 영역 중 이용하는 샘플의 개수가 많을수록 긴 코드워드를 사용하는 인덱스에 상기 화면내 예측 모드를 할당하는 비디오 신호의 복호화 방법.
  8. 제 5 항에 있어서,
    상기 이용 가능한 참조 샘플 영역과 이용 가능하지 아니한 참조 샘플 영역을 구분하는 단계는 각각의 샘플이 상기 현재 블록의 화면내 예측에 이용가능한지 여부를 나타내는 샘플 이용가부 정보에 기초하여 결정되는 비디오 신호의 복호화 방법.
  9. 현재 블록의 주변에 위치하는 참조 샘플 영역 내의 샘플이 상기 현재 블록의 화면내 예측을 위하여 이용 가능한지 여부를 판단하여 이용 가능한 참조 샘플 영역과 이용 가능하지 아니한 참조 샘플 영역을 구분하는 참조 샘플 이용가능 판단부;
    상기 현재 블록의 주변 블록의 화면내 예측 모드를 획득하는 화면내 예측 모드 획득부; 및
    상기 주변 블록의 화면내 예측 모드가 상기 이용 가능하지 아니한 참조 샘플 영역의 샘플을 이용하는지 여부에 기초하여 상기 현재 블록의 가장 가능성 있는 화면내 예측 모드 리스트를 획득하는 MPM 리스트 구성부를 포함하는 비디오 신호의 복호화 장치.
  10. 제 9 항에 있어서,
    상기 MPM 리스트 구성부는 상기 이용 가능한 참조 샘플 영역만을 이용하는 상기 주변 블록의 화면내 예측 모드를 짧은 코드워드를 사용하는 인덱스에 우선적으로 할당하는 비디오 신호의 복호화 장치.
  11. 제 9 항에 있어서,
    상기 MPM 리스트 구성부는 상기 주변 블록의 화면내 예측 모드가 상기 이용 가능하지 아니한 참조 샘플 영역 중 이용하는 샘플의 개수가 많을수록 긴 코드워드를 사용하는 인덱스에 상기 화면내 예측 모드를 할당하는 비디오 신호의 복호화 장치.
  12. 제 9 항에 있어서,
    상기 참조 샘플 이용가능 판단부는 샘플이 상기 현재 블록의 화면내 예측에 이용가능한지 여부를 나타내는 샘플 이용가부 정보에 기초하여 결정되는 비디오 신호의 복호화 장치.
  13. 현재 블록의 주변에 위치하는 참조 샘플 영역 내의 샘플이 상기 현재 블록의 화면내 예측을 위하여 이용 가능한지 여부를 판단하여 이용 가능한 참조 샘플 영역 및 이용 가능하지 아니한 참조 샘플 영역을 구분하는 참조 샘플 이용가능 판단부;
    상기 참조 샘플 영역 내의 샘플을 이용하여 현재 블록의 가장 가능성 있는 화면내 예측 모드 리스트를 획득하는 MPM 리스트 구성부; 및
    상기 구분된 이용 가능하지 아니한 참조 샘플 영역의 이용여부를 고려하여, 상기 리스트에 포함되지 아니한 화면내 예측 모드를 포함하는 잔여 화면내 예측 모드를 설정하는 잔여 화면내 예측 모드 리스트 구성부를 포함하는 비디오 신호의 복호화 장치.
  14. 제 13 항에 있어서,
    상기 잔여 화면내 예측 모드 리스트 구성부는 상기 잔여 화면내 예측 모드가 상기 이용 가능한 참조 샘플 영역만을 이용하는 경우 짧은 코드워드를 사용하는 인덱스에 우선적으로 할당하는 비디오 신호의 복호화 장치.
  15. 제 13 항에 있어서,
    상기 잔여 화면내 예측 모드 리스트 구성부는 상기 잔여 화면내 예측 모드가 상기 이용 가능하지 아니한 참조 샘플 영역 중 이용하는 샘플의 개수가 많을수록 긴 코드워드를 사용하는 인덱스에 상기 화면내 예측 모드를 할당하는 비디오 신호의 복호화 장치.
  16. 제 13 항에 있어서,
    상기 참조 샘플 이용가능 판단부는 상기 이용 가능한 참조 샘플 영역과 이용 가능하지 아니한 참조 샘플 영역을 구분하는 단계는 각각의 샘플이 상기 현재 블록의 화면내 예측에 이용가능한지 여부를 나타내는 샘플 이용가부 정보에 기초하여 결정되는 비디오 신호의 복호화 장치.
KR1020170010077A 2016-12-21 2017-01-20 비디오 신호의 부호화 또는 복호화 방법 및 장치 KR20180086094A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170010077A KR20180086094A (ko) 2017-01-20 2017-01-20 비디오 신호의 부호화 또는 복호화 방법 및 장치
PCT/KR2017/015236 WO2018117686A2 (ko) 2016-12-21 2017-12-21 비디오 신호의 부호화 또는 복호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170010077A KR20180086094A (ko) 2017-01-20 2017-01-20 비디오 신호의 부호화 또는 복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20180086094A true KR20180086094A (ko) 2018-07-30

Family

ID=63048471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170010077A KR20180086094A (ko) 2016-12-21 2017-01-20 비디오 신호의 부호화 또는 복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20180086094A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020071871A1 (ko) * 2018-10-05 2020-04-09 엘지전자 주식회사 영상 서비스 처리 방법 및 그 장치
WO2020175918A1 (ko) * 2019-02-26 2020-09-03 엘지전자 주식회사 단일화된 mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 장치
WO2020251330A1 (ko) * 2019-06-13 2020-12-17 엘지전자 주식회사 단순화된 mpm 리스트 생성 방법을 활용하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020251329A1 (ko) * 2019-06-13 2020-12-17 엘지전자 주식회사 Mip 모드 매핑이 단순화된 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020256483A1 (ko) * 2019-06-21 2020-12-24 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2020262951A1 (ko) * 2019-06-24 2020-12-30 현대자동차주식회사 동영상 데이터의 인트라 예측 코딩을 위한 방법 및 장치

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11778230B2 (en) 2018-10-05 2023-10-03 Lg Electronics Inc. Method and apparatus for processing image service
WO2020071871A1 (ko) * 2018-10-05 2020-04-09 엘지전자 주식회사 영상 서비스 처리 방법 및 그 장치
US11516506B2 (en) 2018-10-05 2022-11-29 Lg Electronics Inc. Method and apparatus for processing image service
WO2020175918A1 (ko) * 2019-02-26 2020-09-03 엘지전자 주식회사 단일화된 mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 장치
US11902572B2 (en) 2019-02-26 2024-02-13 Lg Electronics Inc. Intra prediction-based image coding method and apparatus using unified MPM list
WO2020251330A1 (ko) * 2019-06-13 2020-12-17 엘지전자 주식회사 단순화된 mpm 리스트 생성 방법을 활용하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020251329A1 (ko) * 2019-06-13 2020-12-17 엘지전자 주식회사 Mip 모드 매핑이 단순화된 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11533479B2 (en) 2019-06-13 2022-12-20 Lg Electronics Inc. Image encoding/decoding method and device for utilizing simplified MPM list generation method, and method for transmitting bitstream
US11889069B2 (en) 2019-06-13 2024-01-30 Lg Electronics Inc. Image encoding/decoding method and device for utilizing simplified MPM list generation method, and method for transmitting bitstream
WO2020256483A1 (ko) * 2019-06-21 2020-12-24 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US12075056B2 (en) 2019-06-21 2024-08-27 Samsung Electronics Co., Ltd. Video encoding method and device, and video decoding method and device
US11792418B2 (en) 2019-06-24 2023-10-17 Hyundai Motor Company Method and apparatus for intra-prediction coding of video data
US11800127B2 (en) 2019-06-24 2023-10-24 Hyundai Motor Company Method and apparatus for intra-prediction coding of video data
US11589065B2 (en) 2019-06-24 2023-02-21 Hyundai Motor Company Method and apparatus for intra-prediction coding of video data
WO2020262951A1 (ko) * 2019-06-24 2020-12-30 현대자동차주식회사 동영상 데이터의 인트라 예측 코딩을 위한 방법 및 장치
US11909994B2 (en) 2019-06-24 2024-02-20 Hyundai Motor Company Method and apparatus for intra-prediction coding of video data
US11917181B2 (en) 2019-06-24 2024-02-27 Hyundai Motor Company Method and apparatus for intra-prediction coding of video data
US11917180B2 (en) 2019-06-24 2024-02-27 Hyundai Motor Company Method and apparatus for intra-prediction coding of video data

Similar Documents

Publication Publication Date Title
US11107253B2 (en) Image processing method, and image decoding and encoding method using same
EP3843402B1 (en) Image signal encoding/decoding method and apparatus therefor
KR102540995B1 (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
US20230336769A1 (en) Method and Apparatus for Encoding or Decoding Video Signal
KR102691340B1 (ko) 비디오 신호 처리 방법 및 장치
CN117412035A (zh) 用于处理视频信号的方法和设备
KR102596896B1 (ko) 비디오 신호 처리 방법 및 장치
KR20190024212A (ko) 타일 구조의 구성 방법 및 이의 장치
KR20180086094A (ko) 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR20180038371A (ko) 비디오 신호의 복호화 방법 및 이의 장치
US11736712B2 (en) Method and apparatus for encoding or decoding video signal
US11190769B2 (en) Method and apparatus for coding image using adaptation parameter set
US11876961B2 (en) Method and apparatus for encoding/decoding an image based on in-loop filter
KR20230054805A (ko) 비디오 신호의 복호화 방법 및 이의 장치
KR20180033030A (ko) 적응적 블록 분할에 기반한 비디오 신호 처리 방법 및 장치
KR102345458B1 (ko) 예측 모션 벡터 리스트를 구성하는 방법 및 이의 장치
KR101468078B1 (ko) 화면 내 예측 방법 및 장치
KR20230074086A (ko) 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR102435502B1 (ko) 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR102447951B1 (ko) 비디오 신호의 복호화 방법 및 이의 장치
KR102523384B1 (ko) 비디오 신호의 복호화 방법 및 이의 장치
KR102534604B1 (ko) 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR20180086093A (ko) 비디오 신호의 부호화 또는 복호화 방법 및 장치
KR20210082877A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20210082876A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A201 Request for examination