KR102492009B1 - 영상 정보 부호화 및 복호화 방법 - Google Patents

영상 정보 부호화 및 복호화 방법 Download PDF

Info

Publication number
KR102492009B1
KR102492009B1 KR1020217040181A KR20217040181A KR102492009B1 KR 102492009 B1 KR102492009 B1 KR 102492009B1 KR 1020217040181 A KR1020217040181 A KR 1020217040181A KR 20217040181 A KR20217040181 A KR 20217040181A KR 102492009 B1 KR102492009 B1 KR 102492009B1
Authority
KR
South Korea
Prior art keywords
offset
sao
band
information
bands
Prior art date
Application number
KR1020217040181A
Other languages
English (en)
Other versions
KR20210152033A (ko
Inventor
박승욱
임재현
김정선
박준영
최영희
전병문
전용준
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20210152033A publication Critical patent/KR20210152033A/ko
Application granted granted Critical
Publication of KR102492009B1 publication Critical patent/KR102492009B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 정보 부호화 및 복호화 방법과 그 장치에 관한 것으로서, 본 발명에 따른 영상 정보 부호화 방법의 일 실시형태는 본 발명의 다른 실시형태는 영상 정보 부호화 방법으로서, 복원 블록을 생성하는 단계, 상기 복원 블록에 디블록킹 필터를 적용하는 단계, 상기 디블록킹 필터가 적용된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 단계 및 상기 SAO 적용에 관한 정보를 전송하는 단계를 포함하며, 상기 SAO 적용 단계에서는 크로마 픽셀에 대하여 SAO를 적용하고, 상기 정보 전송 단계에서는 크로마 픽셀에 대한 SAO 적용 여부에 대한 정보와 함께 영역 정보, 상기 SAO 적용 영역의 분할 정보, SAO 타입 정보 및 SAO 오프셋 정보 중 적어도 하나를 전송할 수 있다.

Description

영상 정보 부호화 및 복호화 방법{IMAGE INFORMATION ENCODING AND DECODING METHOD}
본 발명은 영상 정보 압축 기술에 관한 것으로서, 더 구체적으로는 인-루프 필터(in-loop filter)로서 SAO(Sample Adaptive Offset)을 적용하는 방법에 관한 것이다.
최근, 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상의 고해상도, 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. 따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우, 정보의 전송 비용과 저장 비용이 증가하게 된다.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
영상 압축의 효율을 높이기 위해, 화면 간 예측과 화면 내 예측을 이용할 수 있다. 화면 간 예측 방법에서는 다른 픽처의 정보를 참조하여 현재 픽처(picture)의 화소값을 예측하며, 화면 내 예측 방법에서는 동일한 픽처 내에서 화소 간 연관 관계를 이용하여 화소값을 예측한다.
본 발명의 기술적 과제는 영상 복원 효과를 향상시키기 위해 SAO를 적응적으로 적용하는 방법을 제공하는 것이다.
본 발명의 다른 기술적 과제는 세기(intensity)별로 픽셀의 발생 빈도를 고려하여 SAO를 적용하는 방법을 제공하는 것이다.
본 발명의 다른 기술적 과제는 유효 밴드에 대해서만 SAO를 적용하기 위한 정보를 부호화기로부터 복호화기에 전달하기 위한 방법을 제공하는 것이다.
본 발명의 다른 기술적 과제는 SAO 적용 유닛에 따라서 SAO를 복수 적용하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 기술적 과제는 형상 복원 효과를 높이기 위해 크로마 픽셀에 대해서 SAO를 적용하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 다른 기술적 과제는 크로마 픽셀의 특성으로 고려하여 SAO를 적용하는 방법을 제공하는 것을 목적으로 한다.
(1) 본 발명의 일 실시형태는 영상 정보 부호화 방법으로서, 복원 블록을 생성하는 단계, 상기 복원 블록에 디블록킹 필터를 적용하는 단계, 상기 디블록킹 필터가 적용된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 단계 및 상기 SAO 적용에 관한 정보를 전송하는 단계를 포함하며, 상기 SAO를 적용하는 단계에서는 SAO를 적용하는 SAO 적용 영역에 따라서 SAO를 적응적으로 적용할 수 있다.
(2) (1)에서, 상기 SAO 적용 단계에서는 발생 빈도가 높은 세기(intensity)의 구간에 대해서는 더 조밀한 세기 단위로 밴드를 나누어 밴드 오프셋을 적용할 수 있다.
(3) (1)에서, 상기 SAO 적용 단계에서는 발생 빈도가 높은 세기(intensity)의 구간에 대해서 밴드 오프셋을 적용할 수 있으며, 상기 정보 전송 단계에서는 상기 밴드 오프셋이 적용된 구간에 대한 정보를 전송할 수 있다.
(4) (1)에서, 상기 SAO 적용 단계에서는 발생 빈도가 높은 밴드에 대해서만 오프셋을 적용할 수도 있으며, 상기 정보 전송 단계에서는 상기 적용된 오프셋에 관한 정보를 전송할 수 있다.
(5) (1)에서, 상기 SAO 적용 단계에서는 하나의 SAO 적용 영역의 각 화소에 대하여, 서로 다른 복수의 에지 오프셋을 선택적으로 적용할 수 있다.
(6) 본 발명의 다른 실시형태는 영상 정보 부호화 방법으로서, 복원 블록을 생성하는 단계, 상기 복원 블록에 디블록킹 필터를 적용하는 단계, 상기 디블록킹 필터가 적용된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 단계 및 상기 SAO 적용에 관한 정보를 전송하는 단계를 포함하며, 상기 SAO 적용 단계에서는 크로마 픽셀에 대하여 SAO를 적용하고, 상기 정보 전송 단계에서는 크로마 픽셀에 대한 SAO 적용 여부에 대한 정보와 함께 영역 정보, 상기 SAO 적용 영역의 분할 정보, SAO 타입 정보 및 SAO 오프셋 정보 중 적어도 하나를 전송할 수 있다.
(7) (6)에서, 상기 SAO 적용 단계에서는 루마에 대한 SAO 적용 영역과는 별도로 크로마에 대한 SAO 적용 영역을 설정할 수 있다.
(8) (6)에서, 상기 SAO 적용 단계에서는 크로마 픽셀의 세기를 분류하고, 전체 세기 구간 중 발생 빈도가 높은 구간에 위치하는 밴드에 대해서 밴드 오프셋을 적용할 수 있다.
(9) (6)에서, 상기 SAO 적용 단계에서는 현재 크로마 픽셀과 주변 크로마 픽셀의 관계가, 주변 크로마 픽셀 중 적어도 하나의 세기가 현재 크로마 픽셀의 세기보다 큰 경우와 주변 크로마 픽셀 중 적어도 하나의 세기가 현재 크로마 픽셀의 세기보다 작은 경우 중 어느 경우에 속하는지를 결정하고, 상기 결정에 따라 상기 현재 크로마 픽셀에 에지 오프셋을 적용할 수 있다.
(10) (6)에서, 상기 정보 전송 단계에는 루마에 대한 것인지 크로마에 대한 것인지를 구분하여 SAO 정보를 전송할 수 있다.
(11) 본 발명의 또 다른 실시형태는 영상 정보 복호화 방법으로서, 정보를 수신하는 단계, 상기 정보를 기반으로 복원 블록을 생성하는 단계, 상기 복원 블록에 디블록킹 필터를 적용하는 단계 및 상기 디블록킹 필터가 적용된 복원 블록에 SAO(Sample Adaptive Offset)를 적용하는 단계를 포함하며, 상기 SAO를 적용하는 단계에서는 SAO를 적용하는 SAO 적용 영역에 따라서 SAO를 적응적으로 적용할 수 있다.
(12) (11)에서, 상기 SAO 적용 단계에서는 발생 빈도가 높은 세기(intensity)의 구간에 대해서는 더 조밀한 세기 단위로 밴드를 나누어 밴드 오프셋을 적용할 수 있다.
(13) (11)에서, 상기 SAO 적용 단계에서는 발생 빈도가 높은 세기(intensity)의 구간에 대해서 밴드 오프셋을 적용하며, 상기 발생 빈도가 높은 세기의 구간은 상기 수신한 정보를 기반으로 결정될 수 있다.
(14) (11)에서, 상기 SAO 적용 단계에서는, 전체 밴드들 중에서 상기 수신한 정보에 포함된 오프셋에 대응하는 밴드에만 상기 오프셋을 적용할 수도 있다.
(15) (11)에서, 상기 SAO 적용 단계에서는 하나의 SAO 적용 영역의 각 화소에 대하여, 서로 다른 복수의 에지 오프셋을 선택적으로 적용하며, 상기 선택적으로 적용되는 에지 오프셋은 상기 수신한 정보를 기반으로 결정될 수 있다.
(16) 본 발명의 또 다른 실시형태는 영상 정보 복호화 방법으로서, 정보를 수신하는 단계, 상기 정보를 기반으로 복원 블록을 생성하는 단계, 상기 복원 블록에 디블록킹 필터를 적용하는 단계 및 상기 디블록킹 필터가 적용된 복원 블록에 SAO(Sample Adaptive Offset)를 적용하는 단계를 포함하며, 상기 SAO 적용 단계에서는 크로마 픽셀에 대하여 SAO를 적용하고, 상기 정보 수신 단계에서 수신된 정보는 크로마 픽셀에 대한 SAO 적용 여부에 대한 정보와 함께 영역 정보, 상기 SAO 적용 영역의 분할 정보, SAO 타입 정보 및 SAO 오프셋 정보 중 적어도 하나를 포함할 수 있다.
(17) (16)에 있어서, 상기 SAO 적용 단계에서 크로마에 대한 SAO 적용 영역은 루마에 대한 SAO 적용 영역과는 별도로 설정될 수 있다.
(18) (16)에 있어서, 상기 SAO 적용 단계에서는 크로마 픽셀의 세기를 분류하고, 전체 세기 구간 중 발생 빈도가 높은 구간에 위치하는 밴드에 대해서 밴드 오프셋을 적용할 수 있다.
(19) (16)에 있어서, 상기 SAO 적용 단계에서는 현재 크로마 픽셀과 주변 크로마 픽셀의 관계가, 주변 크로마 픽셀 중 적어도 하나의 세기가 현재 크로마 픽셀의 세기보다 큰 경우와 주변 크로마 픽셀 중 적어도 하나의 세기가 현재 크로마 픽셀의 세기보다 작은 경우 중 어느 경우에 속하는지를 결정하고, 상기 결정에 따라 상기 현재 크로마 픽셀에 에지 오프셋을 적용하며, 상기 에지 오프셋의 값은 상기 수신 단계에서 수신한 정보에 기반하여 결정될 수 있다.
(20) (16)에 있어서, 상기 정보 수신 단계에서 수신되는 정보는 루마에 대한 정보인지 크로마에 대한 정보인지를 또는 크로마와 루마 모두에 대한 것인지가 지시되어 있을 수 있다.
본 발명에 의하면, SAO를 적응적으로 적용함으로써 영상 복원의 효과를 높일 수 있다.
본 발명에 의하면, 세기(intensity)별로 픽셀의 발생 빈도를 고려하여 SAO를 적용함으로써 영상 복원의 효과를 높일 수 있다.
본 발명에 의하면, 유효 밴드에 대해서만 SAO를 적용하고, 관련 정보를 부호화기로부터 복호화기에 전달함으로써, 정보 전달량을 줄일 수 있다.
본 발명에 의하면, SAO 적용 유닛에 따라서 SAO를 복수 적용함으로써 영상 복원의효과를 높일 수 있다.
본 발명에 의하면, 크로마 픽셀에 SAO를 적용함으로써 영상 복원 효과를 높일 수 있다.
본 발명에 의하면, 크로마 픽셀에 SAO를 적용하는 경우에 크로마 픽셀의 특성을 고려함으로써 영상 복원의 효과를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치(부호화기)를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화기를 개략적으로 나타낸 블록도이다.
도 3은 밴드 오프셋을 개략적으로 설명하는 도면이다.
도 4는 소정의 영상에 있어서, 해당 영상의 특성에 따른 히스토그램의 일 예를 나타낸 것이다.
도 5는 전체 픽셀에 대한 세기(intensity)를 적응적으로 나누어 밴드 오프셋을 적용하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 6은 전체 픽셀에 대한 밴드를 적응적으로 나누어 밴드 오프셋을 적용하는 방법의 다른 예를 개략적으로 설명하는 도면이다.
도 7은 블록 내에서 방향별로 나타날 수 있는 에지의 대표적인 형태를 예로서 나타낸 것이다.
도 8은 에지 오프셋의 대표적인 4가지 에지 타입을 현재 픽셀(C)을 기준으로 나타낸 것이다.
도 9는 현재 픽셀과 주변 픽셀의 세기(intensity)를 비교하고, 네 가지 카테고리로 나눈 것을 개략적으로 설명하는 도면이다.
도 10은 SAO를 적용하는 영역으로서 SAO 적용 유닛을 개략적으로 설명하는 도면이다.
도 11은 동일한 영상에 대한 히스토그램의 로컬(local) 분포를 나타낸 것이다.
도 12는 크로마 픽셀에 대해서 전체 밴드 중 일부 밴드에 대해서만 밴드오프셋을 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 13은 크로마 픽셀에 대해서 전체 밴드 중 일부 밴드에 대해서만 밴드오프셋을 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 14는 본 발명이 적용되는 시스템에서 부호화기의 동작을 개략적으로 나타내는 순서도이다.
도 15는 본 발명이 적용된 시스템에서 복호화기의 동작을 개략적으로 설명하는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치(부호화기)를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 영상 부호화 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 부호화부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다.
예측부(110)는 후술하는 바와 같이, 화면 간 예측을 수행하는 화면 간 예측부와 화면 내 예측을 수행하는 화면 내 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 해당 처리 단위에 대하여 실시되는 예측이 화면 간 예측인지 화면 내 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)를 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
화면 간 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 화면 내 예측을 통해서는 현재 픽처 내의 화소 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
*화면 간 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU와 동일한 크기의 참조 블록을 정수 화소 샘플 단위로 선택할 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록을 생성한다. 화면 내 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 예측 블록은 1/2 화소 샘플 단위와 1/4 화소 샘플 단위와 같이 정수 이하 샘플 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 화소 이하의 단위로 표현될 수 있다. 예컨대 휘도 화소에 대해서는 1/4 화소 단위로, 색차 화소에 대해서는 1/8 화소 단위로 표현될 수 있다.
화면 간 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 부호화되어 복호화기에 전달된다.
화면 내 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 화면 내 예측이 수행될 수도 있다.
화면 내 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플레너 모드(Planar 모드)을 포함할 수 있다.
화면 내 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
PU는 다양한 사이즈/형태를 가질 수 있으며, 예컨대 화면 간 예측의 경우에 PU는 2N×2N, 2N×N, N×2N, 또는 N×N 등의 크기를 가질 수 있다. 화면 내 예측의 경우에 PU는 2N×2N 또는 N×N (N은 정수) 등의 크기를 가질 수 있다. 이때, N×N 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 코딩 유닛에 대해서만 NxN의 PU를 이용하도록 정하거나 화면 내 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN, mN×N, 2N×mN 또는 mN×2N (m<1) 등의 크기를 가지는 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 부호화부(130)에서 부호화되어 복호화기에 전달된다.
변환부(115)는 변환 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다. 변환부(115)에서의 변환 단위는 TU일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 레지듀얼 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 계수를 재정렬한다. 양자화 계수를 재정렬함으로써 엔트로피 부호화부(130)에서의 부호화의 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 부호화부(130)에서의 엔트로피 부호화 효율을 높일 수도 있다.
엔트로피 부호화부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다. 엔트로피 부호화부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
또한, 엔트로피 부호화부(130)는 필요한 경우에, 전송하는 파라미터 셋 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값은 예측부(110)에서 예측된 예측 블록과 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 화소 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 화면 간 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 화면 간 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화기를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 영상 복호화기(200)는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
영상 부호화기에서 영상 비트 스트림이 입력된 경우, 입력된 비트 스트림은 영상 부호화기에서 영상 정보가 처리된 절차에 따라서 복호화될 수 있다.
예컨대, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 ‘VLC’ 라 함)가 사용된 경우에, 엔트로피 복호화부(210)도 부호화기에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 복호화를 수행할 수 있다. 또한, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 복호화부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 복호화를 수행할 수 있다.
엔트로피 복호화부(210)에서 복호화된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고 엔트로피 복호화부에서 엔트로피 복호화가 수행된 레지듀얼 값은 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트 스트림을 영상 부호화기에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 부호화기에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 해당 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 부호화기에서 수행된 양자화 결과에 대해, 부호화기의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 부호화기에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 부호화기의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 복호화기의 역변환부(225)는 부호화기의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 복호화된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다. 복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드(화면 내 예측 모드)인 경우에, 현재 픽처 내의 화소 정보를 기초로 예측 블록을 생성하는 화면 내 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드(화면 간 예측 모드)인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 화면 간 예측을 수행할 수 있다. 이때, 영상 부호화기에서 제공된 현재 PU의 화면 간 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 부호화기로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 적응적 루프 필터링 등을 적용한다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
한편, 상술한 바와 같이, 부호화기 및 복호화기의 필터부는 인-루프(in-loop) 필터로서 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loof Filter)를 적용할 수 있다.
디블록킹 필터는 블록 단위의 예측, 변환, 양자화에 따른 블록 간의 아티팩트(artifacts)를 제거한다. 디블록킹 필터는 예측 유닛 에지(edge) 또는 변환 유닛 에지에 적용되며, 디블록킹 필터를 적용하기 위한 소정의 최저 블록 사이즈를 설정할 수 있다.
디블록킹 필터를 적용하기 위해서, 우선 수평 혹은 수직 필터 경계(boundary)의 BS(Boundary Strength)를 결정한다. BS를 기반으로 필터링을 수행할 것인지를 블록 단위로 결정한다. 필터링을 수행하기로 결정하면, 어떤 필터를 적용할 것인지를 정한다. 적용할 필터는 위크 필터(weak filter)와 스트롱 필터(strong filter) 중에서 선택될 수 있다. 필터링부는 선택된 필터를 해당 블록의 경계에 적용한다.
SAO는 디블록킹 필터링을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋 차이를 복원해주는 절차이다. SAO는 부호화 에러(coding error)를 보상해주는 것으로서, 이 경우 부호화 에러는 양자화 등에 기인한 것일 수 있다.
상술한 바와 같이, SAO에는 밴드 오프셋(band offset)과 에지 오프셋(edge offset)의 두 가지 타입이 있다.
도 3은 밴드 오프셋을 개략적으로 설명하는 도면이다.
밴드 오프셋을 적용하기 위해서, SAO 적용 유닛 내의 픽셀들은 각 픽셀의 세기(intensity)에 따라서 분류된다. 전체 세기의 범위는 소정 개수의 세기 구간(intensity interval) 즉, 밴드(band)로 나뉠 수 있다. 각 밴드는 해당 세기 간격(interval) 내의 세기를 가지는 픽셀들을 포함하게 된다. 각 밴드별로 적용되는 오프셋이 정해질 수 있다.
N 비트 픽셀들로 구성되는 영상에 대해서는, 전체 세기 구간은 0~2N-1이 된다. 예컨대, 8비트 픽셀의 경우에는 0~255의 세기 구간을 가지게 된다. 도 3에서는 전체 세기 구간을 32개의 동일한 세기 간격을 가지는 밴드로 나누는 예를 도시하고 있다.
도 3을 참조하면, 각 밴드의 세기 구간은 8이 된다. 32개의 밴드는 중앙의 제1 그룹과 주변의 제2 그룹으로 나눌 수 있다. 제1 그룹은 16개의 밴드로 구성되고, 제2 그룹 역시 16개의 밴드로 구성될 수 있다. 오프셋은 각 밴드별로 적용되며, 각 밴드별로 오프셋 값이 복호화기에 전송될 수 있다.
복호화기에서는 부호화기에서 밴드오프셋을 적용하는 과정과 동일하게 픽셀들을 그룹핑(grouping) 하고 밴드별로 전송된 오프셋 값을 적용한다.
ALF는 빈너 필터(Wiener filter)를 이용하여 부호화 에러를 보상한다. ALF는 SAO와 달리 슬라이스 내에 글로벌하게 적용된다. ALF는 SAO를 적용한 뒤에 적용될 수 있으며, HE(High Efficiency)의 경우에만 적용되도록 할 수도 있다. ALF를 적용하기 위한 정보(필터 계수, 온/오프 정보, 필터 형태(shape) 등)는 슬라이스 헤더(slice header)를 통해 복호화기에 전달될 수 있다. ALF에 이용되는 필터의 형태는 2 차원 다이아몬드 형태, 2 차원 십자가 형태 등 다양한 대칭 형태가 사용될 수 있다.
한편, SAO를 적용하는 영역에, 즉 SAO 적용 유닛에 따라서 SAO를 적응적으로 적용하는 것을 고려할 수 있다. 이하, 본 발명이 적용되는 시스템에서 적응적인 SAO를 수행하는 방법을 밴드 오프셋과 에지 오프셋으로 나누어 설명한다.
<밴드 오프셋의 적응적인 적용>
도 4는 소정의 영상에 있어서, 해당 영상의 특성에 따른 히스토그램의 일 예를 나타낸 것이다. 구체적으로 도 4는 도 11의 (b)와 같이 루마 특성에 따른 히스토그램을 나타낸다.
도 4를 참조하면, 영상의 특성에 따라서, 히스토그램은 다양한 분포를 가지는 것을 알 수 있다. 따라서, 픽셀의 범위(pixel range)를 적응적으로 나누어 밴드 오프셋을 적용할 수 있다. 즉, 픽셀이 가질 수 있는 세기의 범위(intensity range)에 대한 밴드들을 적응적으로 설정하여 오프셋을 적용하는 방법을 고려할 수 있다.
예컨대, 전체 세기(intensity) 범위에서 해당 블록의 영상에 대한 히스토그램이 중심부에 집중되어 있다면, 중심부를 더 세밀하게 나누어 밴드를 설정하고, 주변부는 조금 덜 세밀하게 나누어 밴드를 설정하는 방법을 생각할 수 있다. 구체적으로 N 비트의 픽셀에 대하여, 전체 세기 범위(0 ~ 2N-1)에서 중심부에 픽셀이 집중되어 있다면, 중심부에 작은 세기 구간(intensity interval)을 가지는 M 개의 밴드를 설정하고, 주변부에 큰 세기 구간을 가지는 L개의 밴드를 설정할 수 있다.
반대로, 전체 세기(intensity) 범위에서 해당 블록의 영상에 대한 히스토그램이 주변부에 집중되어 있다면, 주변부를 더 세밀하게 나누어 밴드를 설정하고, 중심부는 조금 덜 세밀하게 나누어 밴드를 설정하는 방법을 생각할 수 있다. 구체적으로 N 비트의 픽셀에 대하여, 전체 세기 범위(0 ~ 2N-1)에서 주변부에 픽셀이 집중되어 있다면, 주변부에 작은 세기 구간(intensity interval)을 가지는 M 개의 밴드를 설정하고, 중심부에 큰 세기 구간을 가지는 L개의 밴드를 설정할 수 있다.
도 5는 전체 픽셀에 대한 세기(intensity) 범위(range)를 적응적으로 나누어 밴드 오프셋을 적용하는 방법의 일 예를 개략적으로 설명하는 도면이다. 도 5에서는 중심부에 픽셀이 집중되어 있는 경우를 예로서 설명하고 있다.
도 5의 예에서, 픽셀 값 범위, 즉 픽셀의 세기 범위가 256(0 ~ 28-1)이라고 하면, 중심부의 제1 그룹은 4 픽셀 값(예컨대, 세기(intensity)의 네 간격)씩 16개의 밴드로 세밀하게 나누고, 주변부의 제2 그룹은 16 픽셀 값씩 12개의 밴드로 다소 러프(rough)하게 나눌 수 있다.
또한, 해당 블록의 영상에 대한 히스토그램이 전체 밴드의 주변부에 집중되어 있는 경우에는, 도 5의 예와 반대로 중심부의 제1 그룹을 16 픽셀 값씩 12개의 밴드로 나누고, 주변부의 제2 그룹은 4 픽셀 값씩 16개의 밴드로 나눌 수도 있다.
한편, 전체 세기 범위를 두 개의 밴드 그룹으로 분류하지 않고 SAO 적용 유닛에 따라서 더 많은 밴드 그룹으로 분류하는 방법을 고려할 수 있다. 더 많은 밴드 그룹으로 분류하여 오프셋을 적용함으로써, 영상 복원의 효과를 높일 수 있다. 예컨대, 밴드들을 두 그룹으로 나누는 것이 아니라, N 개의 그룹으로 나누어 일부 픽셀 값 범위(range)에 대해서는 더 세밀한 오프셋을 적용하도록 할 수 있다.
도 6은 전체 픽셀에 대한 세기(intensity) 범위(range)를 적응적으로 나누어 밴드 오프셋을 적용하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 6의 예에서는 전체 세기 범위를 밴드로 나누고, 밴드들을 4개의 그룹으로 나누어 밴드 오프셋을 적용하는 것을 설명하고 있다. 도 6과 같이 전체 세기 범위를 2개의 그룹이 아니라, 더 많은 그룹으로 나누어 각 그룹에 대한 오프셋을 정보를 전송함으로써 영상의 국지적(local) 특성을 더 잘 반영할 수 있다.
한편, 밴드 오프셋을 적용할 때 각 그룹이 커버하는 픽셀 값 범위(range), 즉 세기 구간이 고정되어 있으면, 그룹 내 특정 밴드의 발생 회수가 적을지라도 혹은 해당 밴드에 대한 밴드 오프셋의 값이 0일지라도 관련 정보를 전송하게 된다. 따라서, 이를 방지하기 위해 부호화기에서 현재 픽처에 적용되는 밴드 오프셋의 범위(range)를 전송하도록 할 수 있다. 예컨대, 부호화기는 현재 픽처에서 어느 비트뎁스 구간, 즉 어느 세기 구간에 밴드오프셋이 적용되는지에 관한 정보를 복호화기에 전달할 수 있다.
현재 픽처의 오프셋들이 주로 특정한 픽셀 값(예컨대, 세기) 범위(range) 에서 주로 발생한다면, 균일 간격 밴드에 대하여 밴드 오프셋을 사용하는 경우에 밴드 오프셋의 적용을 시작하는 밴드와 밴드 오프셋의 적용을 종료하는 밴드를 지정함으로써 불필요한 오프셋 정보가 전송되거나 불필요한 오프셋이 수행되는 것을 방지할 수 있다.
가령, 현재 픽처에서 오프셋이 주로 발생하여 밴드 오프셋을 적용해야 하는 픽셀 값(예컨대, 세기) 범위가 32에서 160 사이이고, 0~256의 픽셀 값(예컨대, 세기) 범위에 대해서 각 밴드의 크기가 균일하게 8이라고 할 때, 부호화기는 총 32개의 밴드 중에서 밴드 오프셋이 적용되기 시작하는 밴드와 밴드 오프셋의 적용이 종료하는 밴드를 지시하는 band_start 및 band_end과 같은 정보를 복호화기에 전달할 수 있다. 전체 밴드들 중 4번째 밴드부터 밴드 오프셋이 적용되고, 20번째 밴드에서 밴드 오프셋의 적용이 종료된다면, band_start=4 및 band_end=20과 같은 정보가 전송될 수 있다.
또한, 각 밴드에 속하는 픽셀 값의 발생 회수, 즉 각 밴드의 발생 회수를 카운트하여 픽셀의 발생 빈도가 높은 밴드에 대해서만 밴드 오프셋의 오프셋 값을 전송하도록 할 수도 있다.
예컨대, 0부터 31의 32개 밴드 중에서, 발생 빈도가 높은 밴드가 0, 4, 5, 6, 7, 9, 12, 15, 19, 20, 23, 25라고 할 때, 부호화기는 발생 빈도가 높은 밴드에 대해서만 밴드 오프셋으로 적용할 오프셋 값을 복호화기에 전송하고, 발생 빈도가 낮은 밴드에 대해서는 밴드 오프셋으로 적용할 오프셋 값을 전용하지 않을 수 있다.
이 경우에 부호화기는 어떤 밴드에 대한 오프셋 값을 전송하는지에 관한 정보를 복호화기에 추가로 전송할 수 있다.
SAO의 두 번째 타입으로서, 픽셀별 에지 정보를 고려한 에지 오프셋이 있다. 에지 오프셋은 현재 픽셀을 기준으로 한 에지의 방향 그리고 현재 픽셀과 주변 픽셀의 세기를 고려하여 적용한다.
도 7은 블록 내에서 방향별로 나타날 수 있는 에지의 대표적인 형태를 예로서 나타낸 것이다. 도 7을 참조하면, 도 7의 (a) 내지 (d)에는 0도의 방향을 가지는 에지, 90도의 방향을 가지는 에지, 135도의 방향을 가지는 에지, 45도의 방향을 가지는 에지가 각각 나타나 있다. 따라서, 에지 오프셋은 에지의 각도 또는 방향에 따라 하나의 필터링을 위한 유닛, 즉 SAO 적용 유닛(최소 단위는 LCU)을 위한 4 가지 종류가 사용될 수 있다. 이하, 설명의 편의를 위해, 도 7과 같은 SAO 작용 유닛상의 4가지 에지 종류를 에지 오프셋의 에지 타입이라고 한다.
도 8은 에지 오프셋의 대표적인 4가지 에지 타입을 현재 픽셀(C)을 기준으로 나타낸 것이다. 도 8을 참조하면, 도 8의 (a)는 1차원 0 도(0 degree)의 에지를 나타내며, (b)는 1차원 90도의 에지를 나타내고, (c)는 1차원 135도의 에지를 나타내며, (d)는 1차원 45도의 에지를 나타낸다. 도 8에 도시된 네 방향의 에지 타입에 따라서, 네 가지 에지 오프셋이 이용될 수 있다. 각 SAO 적용 유닛에 대해서, 네 가지 에지 타입 중 하나에 대응하는 오프셋이 적용될 수 있다.
에지 타입이 결정된 뒤, 에지 오프셋을 적용하기 위해 현재 픽셀과 주변 픽셀 사이의 관계를 고려할 수 있다.
도 9는 현재 픽셀과 주변 픽셀의 세기(intensity)를 비교하고, 네 가지 카테고리로 나눈 것을 개략적으로 설명하는 도면이다. 도 9를 참조하면, 도 9의 (a) 내지 (d)는 각 카테고리별로 현재 픽셀(C)과 인접 픽셀의 분포를 나타낸 것이다. 도 9의 (a)에 도시된 카테고리는 현재 픽셀(C)보다 인접하는 두 픽셀의 세기가 더 큰 경우를 나타낸다. 도 9의 (b)에 도시된 카테고리는 현재 픽셀에 인접하는 두 픽셀 중 한 픽셀의 세기가 현재 픽셀보다 작은 두 경우를 나타낸다. 도 9의 (c)에 도시된 카테고리는 현재 픽셀에 인접하는 두 픽셀 중 한 픽셀의 세기가 현재 픽셀보다 큰 두 경우를 나타낸다. 도 9의 (d)에 도시된 카테고리는 현재 픽셀에 인접하는 두 픽셀의 세기가 현재 픽셀보다 작은 경우를 나타낸다.
예컨대, 도 9의 (a)와 (d)는 현재 픽셀의 세기가 주변 픽셀의 세기와 대비하여 더 크거나 더 작은 경우를 나타낸다. 또한, 도 9의 (b)와 (d)는 현재 픽셀이 소정의 영역의 경계(boundary)에 위치하는 경우에 나타날 수도 있다.
표 1은 도 9에 도시된 네 가지 카테고리를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00001
표 1에서 C는 현재 픽셀을 나타낸다. 표 1의 카테고리 1은 도 9의 (a)에 대응하며, 표 1의 카테고리 2는 도 9의 (b)에 대응하고, 표 1의 카테고리 3은 도 9의 (c)에 대응하며, 표 1의 카테고리 4는 도 9의 (d)에 대응한다.
부호화기는 각 카테고리별로 에지 오프셋 값을 전송한다. 복호화기는 픽셀들에 대한 에지 타입과 카테고리에 대응하는 에지 오프셋 값을 더해서 픽셀을 복원할 수 있다. 예컨대, 현재 픽셀이 도 7의 4 가지 에지 타입 중 어느 모드에 속하는지를 결정한 뒤에, 표 1의 카테고리 중 어느 카테고리에 속하는지를 결정해서 해당 카테고리의 오프셋을 현재 픽셀에 적용할 수 있다.
한편, 필터링 유닛, 즉 SAO적용 유닛은 LCU(Largest Coding Unit)보다 같거나 큰 사이즈의 유닛으로서, LCU 경계에 맞춰 정렬되는(aligned) 유닛들이다.
*SAO가 적용되는 유닛은 하나의 픽처가 쿼드 트리(quadtree) 구조로 분리된 영역으로서, 부호화기는 각 SAO 적용 유닛별로 SAO 적용 여부, 오프셋 타입, 오프셋의 값을 결정하여 복호화기에 전송할 수 있다. 여기서 오프셋 타입을 결정한다는 것은 복수의 밴드 오프셋과 복수의 에지 오프셋 중 어느 것을 적용하는가를 결정하는 것이다.
도 10은 SAO 적용 유닛을 개략적으로 설명하는 도면이다. 도 10에서는 WQVGA(416x240) 영상을 쿼드트리(quadtree) 구조로 분할한 SAO 적용 유닛을 나타내고 있다. 각 SAO 적용 유닛은 최소한 LCU보다 커야 하며, LCU의 경계를 따라서 분할될 수 있다.
상술한 바와 같이, SAO 적용 유닛의 가장 작은 단위는 LCU이지만, 작은 영상일수록 LCU는 단일 오프셋을 적용하기에 너무 큰 사이즈일 수 있다. 예컨대, LCU가 64x64인 경우에, LCU는 단일 오프셋만으로 원본 영상을 복원하기에 너무 큰 SAO 적용 유닛이 될 수 있다. 가령, 하나의 LCU 안에 서로 다른 둘 이상의 에지가 존재하는 경우에는, 하나의 LCU 안에 둘 이상의 오프셋이 사용하도록 할 수도 있다.
하나의 SAO 적용 유닛 내에 복수의 에지 오프셋이 적용되는 경우에는, 영역 내 에지의 방향에 따라서 도 8의 (a) 내지 (d) 중 복수의 에지 타입을 선택해서 적용할 수 있다.
<SAO 신택스 구조>
표 2는 SAO를 적용하기 위한 신택스 구조로서 시퀀스 파라미터 셋 신택스의 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00002
표 2에서는 현재 시퀀스에 SAO가 적용되는지를 지시하는 정보의 예를 나타내고 있다. 예컨대, 표 2의 신택스에서sao_used_flag의 값이 0이면 현재 시퀀스에 대해서는 SAO가 사용되지 않는 것(disabled)을 지시하며, sao_used_flag의 값이 1이면 현재 시퀀스에 대해 SAO가 사용될 수 있는 것(enabled)을 지시한다.
표 3은 SAO를 적용하기 위한 신택스 구조로서 슬라이스 해더 신택스의 일 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00003
표 3에 나타난 슬라이스 헤더 신택스를 통해서, SAO 적용을 위한 SAO 파라미터(sao_param())를 지시할 수 있다.
표 4는 SAO를 적용하기 위한 신택스 구조로서 SAO 파라미터 신택스의 일 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00004
슬라이스 헤더 신택스에서 SAO 파라미터가 지시되면, SAO 파라미터 신택스 상에서 SAO를 적용하기 위해 필요한 파라미터들이 전송된다. 전송되는 파라미터들은 표 4의 예에서와 같이, SAO 적용 영역의 분할에 관한 sao_split_param과 SAO로 적용되는 오프셋에 관한 sao_offset_param 등이 있다.
표 4의 예에서, sao_flag의 값이 1이면 현재 픽처의 적어도 일부에 대해서SAO가 적용될 수 있다(enable)는 것을 지시하며, sao_flag의 값이 0이면 현재 픽처 전체에 대해서 SAO가 적용될 수 없다(disabled)는 것을 지시한다. 따라서, sao_flag의 값이 1이면 SAO 파라미터들이 지시될 수 있다.
표 5는 SAO를 적용하기 위한 신택스 구조로서 SAO 파라미터 중 분할에 관한 sao_split_param 신택스의 일 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00005
표 5의 예에서 sao_split_param(x, y, Depth)는 sao_split_flag를 통해 (x, y)가 지정하는 위치 및 ‘Depth’가 지정하는 깊이에서의 SAO 적용 유닛이 더 분할되는지를 지시한다. sao_split_flag의 값이 0이면 현재 영역(region)이 리프(leaf)라는 것을 지시한다. 따라서, 현재 영역은 SAO 적용을 위해 더 이상 분할되지 않는다. sao_split_flag의 값이 1이면 현재 영역은 네 개의 자식(children) 영역으로 더 분할된다는 것을 지시한다. SAO 적용 영역이 분할되면, 분할된 네 영역에 대한 분할 파라미터(pqao_split-param)가 지시될 수 있다.
pqao_split_param는 SAO 적용 유닛이 더 분할되는 것을 sao_split_param(x, y, Depth)가 지시하는 경우에, 분할된 영역별로 SAO 적용 유닛이 더 분할되는지를 지시한다. 해당 깊이에서 SAO 적용 유닛의 분할 여부를 지시한다는 점에서, 신택스 pqao_split_param 대신에 분할된 영역에 대해서 신택스 sao_split_param를 재차 사용하되, 지시하는 영역의 깊이를 변경하여 적용하도록 할 수도 있다. 예컨대, SAO 를 적용하기 위한 영역의 분할 여부를 지시함에 있어서, 분할 여부의 지시 대상이 되는 영역과 그 깊이가(x0, y0, saoDepth)라고 할 때, sao_split_param(x0, y0, saoDepth)가 해당 영역 (x0, y0)이 분할된다는 것을 지시한 경우에는, 분할된 각 영역 (x0+0, y0+0), (x0+0, y0+1), (x0+1, y0+0), (x0+1, y0+1)에 대해, 깊이를 ‘saoDepth+1’으로 조정하여 다시 분할 여부를 지시할 수 있다.
표 6은 sao_split_param을 분할된 영역에 다시 적용하는 신택스 구조의 일 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00006
표 6에서, NumSaoClass는 SAO 카테고리 혹은 SAO 오프셋의 개수를 나타낸다.
표 7은 SAO를 적용하기 위한 신택스 구조로서 SAO 파라미터 중 오프셋에 관한 sao_offset_param 신택스의 일 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00007
표 7을 참조하면, SAO 적용 영역이 분할되는 경우에는 분할되는 각 영역 별로 오프셋 파라미터를 지시할 수 있다.
SAO 적용 영역이 더 이상 분할되지 않는 경우에는 해당 SAO 적용 영역에 대한 오프셋 타입이 지시된다.
표 7의 예에서, sao_type_index는 현재 영역에 적용되는 오프셋 타입을 지시한다. 현재 영역에 적용되는 오프셋 타입(sao 타입, sao_type_idx)에 따라서SAO오프셋의 개수 또는 SAO 카테고리의 개수가 결정될 수 있으며, 오프셋 타입에 따른 SAO 오프셋의 개수 또는 SAO 카테고리의 개수를 나타내는 신택스 정보의 예로서, 표 6의 PqaoOffsetNum[sao_type_idx]를 들 수 있다.
*또한, 표 7의 예에서, start_offset은 사용되는 밴드오프셋 또는 에지오프셋의 가장 작은 수(the smallest number)를 나타낸다. start_offset이 이용될 수 없는 경우라면(if ‘start_offset’ is not available), start_offset이 0의 값을 가지는 것으로 추정될 수도 있다. 또한, end_offset은 이용되는 밴드오프셋 또는 에지오프셋의 가장 큰 수(the largest number)를 지시한다. end_offset이 이용될 수 없는 경우라면, end_offset의 값을 상술한 바와 같이 sao 타입(sao_type_idx)에 따라서 결정되는 SAO 카테고리의 수(오프셋의 수), PqaoOffsetNum[sao_type_idx]로 설정할 수 있다.
표 8은 SAO 오프셋 타입의 일 예를 개략적으로 나타낸 것이다. 표 7을 통해서, 상술한 바와 같이, 오프셋 타입에 따라서 SAO 카테고리(오프셋의 개수)를 결정할 수도 있다.
Figure 112021141939228-pat00008
표 8과 같이, SAO 타입 인덱스는 에지 오프셋과 밴드 오프셋들 중에서 하나를 지시할 수 있다. 표 8에서는 전체 밴드를 두 개의 그룹으로 나누어 밴드 오프셋을 적용하는 경우를 예로서 나타낸 것으로서, SAO 타입 인덱스는 4개의 에지 오프셋과 두 개의 밴드 오프셋 중 하나를 지시한다. 각 SOA 타입을 구성하는 카테고리별로 오프셋 값이 설정된다. 예컨대, 에지 오프셋의 경우에는 각 에지 타입에 대하여 현재 픽셀과 주변 픽셀의 세기에 따른 4 개씩의 카테고리별로 오프셋 값이 설정될 수 있다.
표 9는 밴드 그룹을 적응적으로 나누어 밴드 오프셋을 적용하는 경우의 SAO 오프셋 타입에 관한 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00009
표 9의 예에서는 중앙 밴드와 주변 밴드의 카테고리 개수를 달리하고 있다. 예컨대, 256 픽셀의 경우에, 표 8의 경우에는 8 픽셀 값씩 16개 밴드로 구성되는 중앙 밴드와 주변 밴드를 구성한 반면에, 표 9의 경우에는 4 픽셀 값씩의 16개 밴드로 구성된 중앙 밴드와 16 픽셀 값씩의 12 개 밴드로 구성된 주변 밴드를 이용해서 밴드 오프셋을 적용한다. 따라서, 중앙의 밴드들에 대하여 더 세밀하게 오프셋을 적용할 수 있다.
표 10은 밴드 그룹을 적응적으로 나누어 밴드오프셋을 적용하는 경우의 SAO 오프셋 타입에 관한 다른 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00010
표 10에서는 표 9의 경우와 달리, 주변 밴드를 더 세밀하게 나누어 밴드 오프셋을 적용하는 예를 나타내고 있다. 예컨대, 표 10에서는 16 픽셀 값씩의 12개 밴드로 구성된 중앙 밴드와 4 픽셀 값씩의 16 개 밴드로 구성된 주변 밴드를 이용해서 밴드 오프셋을 적용한다. 따라서, 주변의 밴드들에 더 세밀하게 오프셋을 적용할 수 있다.
표 11은 더 많은 밴드 그룹을 지정하여 밴드오프셋을 적용하는 경우의 SAO 타입에 관한 테이블의 예이다.
Figure 112021141939228-pat00011
표 11의 예에서는 8 픽셀 값씩의 8 밴드로 각 밴드 그룹을 형성한다. 각 밴드 그룹은 도 6과 전체 밴드에 대해 좌측부터 차례로 그루핑될 수 있다.
표 7에서는 표 8 내지 11 등에 나타낸 바와 같은 SAO 타입들 중 현재 픽셀에 적용될 SAO 타입을 상술한 sao_type_idx를 통해서 지시할 수 있다. 표 7과 표 8 내지 11을 참조하면, sao_type_idx의 값이 5이상인 경우에는 밴드 오프셋이 적용된다.
표 12는 SAO를 적용하기 위한 신택스 구조로서 SAO 파라미터 중 오프셋에 관한 sao_offset_param 신택스의 다른 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00012
표 12에서는 유효한 밴드 오프셋만을 전송하는 신택스 구조의 예를 나타낸 것이다. 여기서 유효한 밴드 오프셋은 적용 가능한 밴드 오프셋을 의미한다.
유효한 밴드 오프셋에 관한 정보만 전송되므로, 적용하는 밴드 오프셋의 개수에 관한 정보, 밴드 오프셋을 지시하는 정보, 오프셋의 값을 지시하는 정보 등이 전송될 필요가 있다.
total_offset_num_minus_one은 밴드 오프셋의 전체 오프셋 개수를 지시한다. offset_idx[i]는 sao_type_idx를 통해 지시된 밴드 오프셋에 대해, 어떤 카테고리에 해당하는지를 지시한다. sao_offset은 해당 위치 및 깊이에서 offset_idx[i]를 통해 지시된 카테고리에 대한 오프셋 값을 지시한다.
상술한 바와 같이, 하나의 SAO 적용 유닛에 대해 복수의 에지 오프셋을 적용할 수 있다. 표 13은 하나의 SAO 적용 유닛에 복수의 에지 오프셋을 적용하는 경우의 신택스 구조를 개략적으로 나타낸 일 예이다.
Figure 112021141939228-pat00013
표 13과 표 8 내지 11을 참조하면, sao_type_idx의 값이 5보다 작은 경우에는 에지 오프셋이 적용된다. num_edge_offset은 에지 오프셋의 전체 오프셋 개수를 지시한다.
표 13을 참조하면, num_edge_offset이 지시하는 만큼 해당 SAO 적용 영역에 에지 오프셋을 적용할 수 있다.
<크로마에 대한 SAO 적용>
한편, SAO를 적용함에 있어서, 루마와 크로마 사이의 차이를 고려하여, 크로마에 대해 SAO를 적용할 수 있다.
도 11은 동일한 영상에 대한 히스토그램의 로컬(local) 분포를 나타낸 것이다.
예컨대, 동일한 동영상의 한 이미지인 도 11 (a)의 A와 B 영역에 대하여, 도 11 (b)는 루마 오리지널(luma original) 영상과 복원된(reconstructed) 영상 간의 히스토그램 차이를 나타내고 있다.
도 11 (c)는 도 11 (a)의 A와 B 영역에 대하여, 크로마(Cr) 오리지널 영상과 복원된 영상 간의 히스토그램 차이를 나타내고 있다. 또한, 도 11(d)는 크로마(Cb) 오리지널 영상과 복원된 영상 간의 히스토그램 차이를 나타내고 있다.
도 11을 참조하면, 동일한 영상에 대하여, 루마와 크로마 사이에 영상 특성의 차이가 존재하는 것을 알 수 있다. 따라서, 루마 픽셀에 대한 신호(signal)의 오프셋뿐만 아니라, 루마 신호와 크로마 신호의 특성이 도 11에서 도시된 예와 같이 상이함을 고려하여, 크로마 픽셀에 대한 신호(signal)의 오프셋도 독립적으로 전송하도록 할 수 있다. 가령, 루마 픽셀의 수와 크로마 픽셀의 수를 고려하여, 크로마 픽셀에는 루마 픽셀에 대한 비트뎁스(bitdepth)의 크기보다 실질적으로 작은 비트뎁스에 오프셋을 적용하도록 할 수 있다.
예컨대, 크로마 신호의 범위(range), 즉 크로마 픽셀의 픽셀 값의 범위가 0~2N-1(N은 비트뎁스)이라면, 전체 비트뎁스의 크기, 즉 픽셀 값의 범위(range)를 도 12 또는 도 13의 예와 같이 나눌 수 있다.
도 12는 크로마 픽셀에 대해서 전체 밴드 중 일부 밴드에 대해서만 밴드 오프셋을 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 12를 참조하면, 전체 2*K 개의 밴드 중에 중심의 K개 밴드로 구성된 중심 밴드들에 크로마 픽셀들을 할당하고, 밴드오프셋을 적용할 수 있다.
밴드 오프셋이 적용되는 각 밴드에 할당된 인덱스(1, 2, ..., K)에 대한 오프셋 값은 부호화기로부터 복호화기에 전달될 수 있다. 밴드 오프셋이 적용되지 않는 주변 밴드들에 대한 오프셋 값은 해당 인덱스를 0으로 지정하여, 크로마 픽셀에 대해서는 해당 오프셋이 지시되지 않도록 할 수 있다. 0의 값을 갖는 인덱스는 밴드 오프셋을 적용하지 않는 것을 지시할 수도 있고, 밴드 오프셋의 오프셋 값이 0이라는 것을 지시할 수도 있다.
도 13은 크로마 픽셀에 대해서 전체 밴드 중 일부 밴드에 대해서만 밴드 오프셋을 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 13을 참조하면, 전체 2*K 개의 밴드 중에 주변의 K개 밴드로 구성된 잔여 밴드들에 크로마 픽셀들을 할당하고, 밴드 오프셋을 적용할 수 있다.
밴드 오프셋이 적용되는 각 밴드에 할당된 인덱스(1, 2, ..., K/2, K/2+1, ..., K)에 대한 오프셋 값은 부호화기로부터 복호화기에 전달될 수 있다. 밴드 오프셋이 적용되지 않는 중심 밴드에 대한 오프셋 값은 해당 인덱스를 0으로 지정하여, 크로마 픽셀에 대해서는 해당 오프셋이 지시되지 않도록 할 수 있다. 0의 값을 갖는 인덱스는 밴드 오프셋을 적용하지 않는 것을 지시할 수도 있고, 밴드 오프셋의 오프셋 값이 0이라는 것을 지시할 수도 있다.
도 12와 도 13의 예에 있어서, K의 값이 16으로 설정되었다고 가정하면, 전체 픽셀 값 범위를 32개의 밴드로 나누고, 중심부 16개 밴드와 주변부 16개 밴드의 2 그룹으로 나누어 밴드 오프셋을 적용할 수 있다.
루마 픽셀에 대한 신호(픽셀 값)와 대비할 때, 크로마 픽셀에 대한 신호(픽셀 값)의 변량(variance)이 적다는 것을 고려하여, 전체 밴드의 수를 줄여서 K=8로 설정할 수도 있다. K=8인 경우에, 밴드 오프셋을 적용하기 위한 전체 밴드 수는 16개가 된다. 8개의 중심부 밴드들과 8개의 주변부 밴드들로 크로마 픽셀에 대해 밴드 오프셋을 적용할 수 있다. 여기서, 루마 픽셀에 대한 신호(루마 신호)는 루마 픽셀의 픽셀 값(예컨대, 세기)으로서, 이하 설명의 편의를 위해 ‘루마 신호’라 한다.
표 14는 SAO를 크로마에 적용하기 위한 신택스 구조로서 SAO 파라미터 중 오프셋에 관한 sao_offset_param 신택스의 일 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00014
표 14를 참조하면, sao_type_cr_idx는 크로마(Cr) 신호에 대한 오프셋 타입을 지시한다. 또한, sao_type_cb_idx는 크로마(Cb) 신호에 대한 오프셋 타입을 지시한다. sao_cr_offset은 크로마(Cr) 신호에 대한 오프셋 값을 지시한다. sao_cb_offset은 크로마(Cb) 신호에 대한 오프셋 값을 지시한다.
표 14의 예에서는, 크로마(Cr) 신호에 적용되는 오프셋 타입이 sao_type_cr_idx에 의해 지시되면 현재 픽셀에 대해서 sao_cr_offset이 지시하는 오프셋 값을 적용할 수 있다. 또한, 크로마(Cb) 신호에 적용되는 오프셋 타입이 sao_type_cb_idx에 의해 지시되면 현재 픽셀에 대해서 sao_cb_offset이 지시하는 오프셋 값을 적용할 수 있다.
한편, 크로마와 루마의 특성 차이를 고려하여 크로마 오프셋의 성능을 유지하면서 부가 정보를 줄이도록 할 수도 있다. 예컨대, 크로마 신호(signal)는 루마 신호에 대비할 때 에지 성분이 상대적으로 적고 단순하다.
따라서, 루마의 경우와 같이 에지 오프셋에 대한 카테고리를 4개 설정하는 것보다 2개 설정함으로써 부가 정보를 줄일 수 있다. 예컨대, 표 1의 에지 오프셋 테이블에서 카테고리 1과 카테고리 3을 하나의 카테고리로 묶고, 카테고리 2와 카테고리 4를 다른 하나의 카테고리로 묶을 수 있다. 카테고리를 병합함으로써, 에지 오프셋이 적용되는 경우에는 전송되는 오프셋의 값을 줄일 수 있다.
표 15는 크로마 픽셀에 대해 적용하는 에지 오프셋 카테고리의 일 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00015
표 15를 참조하면, 에지의 방향(각도)가 정해졌을 때, 현재 픽셀(C)의 세기가 에지를 형성하는 2 개의 인접 픽셀의 세기보다 작은 경우 또는 현재 픽셀(C)의 세기가 하나의 인접 픽셀의 세기보다 작은 경우를 하나의 카테고리(카테고리 1)로 설정한다.
또한, 에지의 방향(각도)가 정해졌을 때, 현재 픽셀(C)의 세기가 에지를 형성하는 2 개의 인접 픽셀의 세기보다 큰 경우 또는 현재 픽셀(C)의 세기가 하나의 인접 픽셀의 세기보다 큰 경우를 하나의 카테고리(카테고리 2)로 설정한다.
표 16은 에지 오프셋에 대한 카테고리를 표 15와 같이 병합하고 밴드 오프셋을 적용하는 밴드의 수를 도 12와 같이 적용한 경우에 대한 SAO 타입 인덱스 테이블의 일 예를 나타낸 것이다.
Figure 112021141939228-pat00016
표 16을 참조하면, 크로마 픽셀에 대해서 에지 오프셋의 경우에는 SAO 카테고리 개수를 2개로 줄이고, 밴드 오프셋의 경우에는 중앙의 8 밴드에 대해서 적용하도록 함으로써, 전송 정보의 양을 줄일 수 있다.
표 17은 에지 오프셋에 대한 카테고리를 표 15와 같이 병합하고 밴드 오프셋을 적용하는 밴드의 수를 도 13과 같이 적용한 경우에 대한 SAO 타입 인덱스 테이블의 일 예를 나타낸 것이다.
Figure 112021141939228-pat00017
표 17을 참조하면, 크로마 픽셀에 대해서 에지 오프셋의 경우에는 SAO 카테고리 개수를 2개로 줄이고, 밴드 오프셋의 경우에는 주변의 8 밴드에 대해서 적용하도록 함으로써, 전송 정보의 양을 줄일 수 있다.
상술한 표 14는 루마 픽셀에 대한 신호와 크로마 픽셀에 대한 신호 간에 동일한 필터링 파티션을 적용한 경우, 즉 루마 픽셀과 크로마 픽셀에 대해서 동일한 SAO 적용 유닛을 이용하는 경우에 대한 신택스 구조의 일 예이다.
이와 관련하여, 루마 픽셀에 대한 신호와 크로마 픽셀에 대한 신호 간에 독립적인 필터링 파티션을 사용하도록 할 수 있다. 즉 루마 픽셀과 크로마 픽셀에 대해서 독립적인 SAO 적용 유닛을 사용하도록 할 수 있다.
표 18은 루마 픽셀과 크로마 픽셀에 대해 독립적인 파티션을 이용하는 경우에 대한 신택스 구조의 일 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00018
표 18의 예에서, sao_flag의 값이 1이면 루마 신호에 대해 SAO가 이용된다는 것을 지시한다. sao_flag의 값이 0이면 루마 신호에 대해 SAO가 이용되지 않는다는 것을 지시한다.
sao_flag_cb의 값이 1이면 Cb 신호에 대해 SAO가 이용된다는 것을 지시한다. sao_flag_cb의 값이 0이면, Cb 신호에 대해 SAO가 이용되지 않는다는 것을 지시한다.
또한, sao_flag_cr의 값이 1이면 Cr 신호에 대해 SAO가 이용된다는 것을 지시한다. sao_flag_cr의 값이 0이면, Cr 신호에 대해 SAO 가 이용되지 않는다는 것을 지시한다.
표 18을 참조하면, sao_offset_param(x1, x2, x3, x4)에서 x1과 x2는 해당 sao_offset_param이 적용되는 영역의 위치를 특정하며, x3은 해당 sao_offset_param이 적용되는 영역의 깊이를 특정하며, x4는 해당 sao_offset_param이 루마(luma)에 대한 것인지, Cr에 관한 것인지, Cb에 관한 것인지를 지시한다.
sao_flag, sao_flag_cr, sao_flag_cb의 값이 1이면, 루마, Cr, Cb에 대해 SAO가 각각 적용되며, 필요한 파라미터, 예컨대 sao_split_param, sao_offset_param 등이 지시된다. SAO 파라미터들 후술하는 도 18 및 도 19의 예와 같이 전송될 수 있다.
표 19는 루마 픽셀과 크로마 픽셀에 대해 독립적인 파티션을 적용하는 경우에 대한 신택스 구조로서 분할 파라미터에 관한 일 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00019
표 19를 참조하면, sao_split_flag의 값이 0이면 현재 영역이 리프(leaf)라는 것을 지시한다. 따라서, 현재 영역은 더 이상 분할되지 않는다. sao_split_flag의 값이 1이면 현재 영역은 4 개의 자녀 영역(children region)으로 더 분할된다. sao_split_flag(x, y, Depth, component)에서 (x, y)는 영역의 위치를 지시하며, Depth는 영역의 깊이를 지시한다. 또한, ‘component’는 sao_split_flag가 루마에 대한 것인지, Cr에 대한 것인지, Cb에 대한 것인지를 지시한다.
sao_split_flag의 값이 1로서 해당 영역이 더 분할되는 경우에는, 분할된 네 영역에서의 루마(luma), Cr 및/또는 Cb에 대한 sao_split_param을 전송할 수 있다.
표 20은 루마 픽셀과 크로마 픽셀에 대해 독립적인 파티션을 적용하는 경우에 대한 신택스 구조로서 오프셋 파라미터에 관한 일 예를 개략적으로 나타낸 것이다.
Figure 112021141939228-pat00020
표 20의 예에서, sao_type_idx는 현재 영역에 적용되는 오프셋 타입을 지시한다. sao_type_idx가 지시하는 오프셋 타입은 표 8 내지 11 또는 표 16 내지 17 등과 같은 SAO 타입 테이블상에서 해당하는 오프셋 타입을 지시하도록 할 수 있다.
sao_offset은 픽셀 그룹, 즉 전체 픽셀 값을 상술한 바와 같이 밴드의 그룹으로 분류한 경우에, 각 그룹에 적용되는 오프셋을 지시한다.
도 14는 본 발명이 적용되는 시스템에서 부호화기의 동작을 개략적으로 나타내는 순서도이다.
도 14를 참조하면, 부호화기는 블록을 복원한다(S1410). 부호화기는 예측 블록과 현재 블록을 기반으로 생성된 레지듀얼 블록을 변환하고, 양자화한 뒤에 역양자화화 및 역변환을 거쳐서 복원된 레지듀얼 블록을 생성한다.
이어서, 부호화기는 복원된 블록에 루프 필터를 적용한다(S1420). 루프 필터는 도 1의 필터부에서 적용될 수 있으며, 디블록킹 필터, SAO. ALF 등이 적용될 수 있다. 이때, SAO는 디블록킹 필터가 적용된 영상에 픽셀 단위로 적용될 수 있으며, ALF는 SAO가 적용된 영상에 적용될 수 있다. ALF는 HE(High Efficiency)의 경우에만 적용될 수도 있다.
SAO가 적용되는 경우에, 필터부는 픽셀 단위로 오프셋을 적용할 수 있다. 이때, 필터부는 밴드오프셋의 적용을 위해 오프셋의 개수(밴드의 개수), 밴드의 그룹 등을 적응적으로 정할 수도 있고, 유효한 밴드에 대한 오프셋만을 복호화기에 전송할 수도 있다. 또한, 필터부는 에지 오프셋을 SAO 적용 영역 내에 복수 적용하도록 할 수도 있다. 구체적인 내용은 상술한 바와 같다.
또한, 필터부는 SAO를 크로마 픽셀에 대해서 적용할 수 있다. SAO를 적용하기 위한 영역을 루마와 크로마의 경우에 독립적으로 규정할 수도 있다. 아울러, 크로마에 대한 밴드 오프셋의 경우에, 밴드의 개수와 그룹을 크로마 픽셀에 오프셋을 적용하기 위해 결정할 수도 있다. 크로마에 대한 에지 오프셋에 대하여, 각 에지의 방향에 따른 카테고리의 개수를 조정할 수도 있다. 구체적인 내용은 상술한 바와 같다.
복호화기는 이어서 SAO 등이 적용된 영상 정보 및 SAO 등에 관한 영상 정보가 포함된 비트스트림을 복호화기에 전송할 수 있다(S1430).
도 15는 본 발명이 적용된 시스템에서 복호화기의 동작을 개략적으로 설명하는 순서도이다.
도 15를 참조하면, 복호화기는 우선 부호화기로부터 비트 스트림을 수신한다(S1510). 수신한 비트 스트림에는, 영상 정보뿐만 아니라, 영상 정보를 복원하기 위해 필요한 정보가 포함되어 있다.
복호화기는 수신한 정보를 기반으로 블록을 복원한다(S1520). 복호화기는 예측에 의해 생성된 예측 블록과 역양자화 및 역변환을 통해 생성한 레지듀얼 블록을 기반으로 복원 블록을 생성한다.
복호화기는 복원 블록에 루프 필터를 적용한다(S1530). 루프 필터링은 도 2의 필터부에서 수행될 수 있다. 필터부에서는 디블록킹 필터, SAO, ALF 등을 적용할 수 있다. 이때, SAO는 디블록킹 필터가 적용된 영상에 픽셀 단위로 적용될 수 있으며, ALF는 SAO가 적용된 영상에 적용될 수 있다. ALF는 HE(High Efficiency)의 경우에만 적용될 수도 있다.
SAO가 적용되는 경우에, 필터부는 픽셀 단위로 오프셋을 적용할 수 있다. 이때, 필터부는 부호화기로부터 전송된 신택스 엘리먼트에 기반해서 SAO 파라미터를 유도할 수 있다. SAO 파라미터 등 SAO 적용에 관한 정보가 지시하는 오프셋의 개수(밴드의 개수), 밴드의 그룹 등에 기반해서 필터부는 밴드 오프셋을 현재 픽셀에 적용할 수 있다. 이때, 유효한 밴드에 대한 오프셋만이 복호화기에 전송될 수도 있다. 또한, 필터부는 SAO 파라미터 등이 지시하는 바에 따라서, 해당 SAO 적용 영역 내에 에지 오프 셋을 복수 적용할 수도 있다. 구체적인 내용은 상술한 바와 같다.
또한, 필터부는 SAO를 크로마 픽셀에 대해서 적용할 수 있다. SAO를 적용하기 위한 영역이 루마와 크로마의 경우에 독립적으로 규정되어 관련된 정보가 부호화기로부터 전송될 수 있다. 아울러, 크로마 픽셀에 밴드 오프셋을 적용하기 위한 밴드의 개수와 그룹에 관한 정보 및 크로마 픽셀에 에지 오프셋을 적용하기 위한 카테고리의 개수에 관한 정보 역시 부호화기로부터 전송될 수 있다. 복호화기는 전송된 정보를 기반으로 크로마 픽셀에 대한 SAO를 수행할 수 있다. 구체적인 내용은 상술한 바와 같다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (9)

  1. 비트스트림으로부터 예측 정보 및 오프셋 정보를 포함하는 영상 정보를 획득하는 단계;
    상기 예측 정보를 기반으로 예측 샘플을 도출하는 단계;
    상기 예측 샘플을 기반으로 복원 픽처를 생성하는 단계; 및
    상기 복원 픽처에 인루프 필터링 프로세스를 적용하는 단계를 포함하되,
    상기 인루프 필터링 프로세스를 적용하는 단계는,
    상기 복원 픽처에 디블록킹 필터링 프로세스를 적용하는 단계; 및
    상기 디블록킹 필터링 프로세스가 적용된 복원 픽처의 루마 샘플 또는 크로마 샘플 중 적어도 하나에 SAO(Sample Adaptive Offset) 프로세스를 적용하는 단계를 포함하고,
    상기 오프셋 정보는 상기 SAO 프로세스가 상기 루마 샘플에 적용될 수 있는지 여부를 지시하는 제1 플래그 정보 및 상기 SAO 프로세스가 상기 크로마 샘플에 적용될 수 있는지 여부를 지시하는 제2 플래그 정보를 포함하고,
    상기 오프셋 정보는 밴드 오프셋 및 엣지 오프셋을 포함하는 오프셋 타입들 중 하나가 적용됨을 나타내는 오프셋 타입 정보를 포함하고,
    상기 오프셋 타입 정보가 상기 밴드 오프셋이 적용됨을 나타내는 것을 기반으로, 상기 오프셋 정보는 32개의 밴드들 중 하나를 n개의 밴드들을 포함하는 밴드 그룹의 시작 밴드(start band)로 지시하는 시작 밴드 정보를 포함하고, 상기 밴드 그룹은 상기 시작 밴드를 기반으로 결정되고, 상기 밴드 그룹은 상기 n개의 밴드들의 마지막 밴드(end band)를 지시하는 마지막 밴드 정보를 기반으로 더 결정되고, 상기 n개의 밴드들 중 하나의 밴드에 연관된 오프셋 값이 상기 루마 샘플 또는 상기 크로마 샘플에 적용되고, 상기 n은 정수인 것을 특징으로 하는 영상 복호화 방법.
  2. 제1항에 있어서, 상기 SAO 프로세스를 적용하는 단계에서는 발생 빈도가 높은 세기(intensity)의 구간에 대해서는 더 조밀한 세기 단위로 밴드를 나누어 밴드 오프셋을 적용하는 것을 특징으로 하는 영상 복호화 방법.
  3. 제1항에 있어서, 상기 n은 특정 상수로 미리 결정된 것을 특징으로 하는 영상 복호화 방법.
  4. 제1항에 있어서,
    상기 오프셋 정보는 상기 n개의 밴드들에 각각 연관된 오프셋 값 정보를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  5. 현재 픽처 내 예측 샘플을 도출하는 단계;
    상기 예측 샘플을 기반으로 복원 픽처를 생성하는 단계;
    상기 복원 픽처에 인루프 필터링 프로세스를 적용하되, 상기 인루프 필터링 프로세스를 적용하는 단계는, 상기 복원 픽처에 디블록킹 필터링 프로세스를 적용하는 단계; 및 상기 디블록킹 필터링 프로세스가 적용된 복원 픽처의 루마 샘플 또는 크로마 샘플 중 적어도 하나에 SAO(Sample Adaptive Offset) 프로세스를 적용하는 단계를 포함하는 단계; 및
    상기 예측 샘플에 대한 예측 정보 및 상기 SAO 프로세스에 대한 오프셋 정보를 포함하는 영상 정보를 인코딩하는 단계를 포함하고,
    상기 오프셋 정보는 상기 SAO 프로세스가 상기 루마 샘플에 적용될 수 있는지 여부를 지시하는 제1 플래그 정보 및 상기 SAO 프로세스가 상기 크로마 샘플에 적용될 수 있는지 여부를 지시하는 제2 플래그 정보를 포함하고,
    상기 오프셋 정보는 밴드 오프셋 및 엣지 오프셋을 포함하는 오프셋 타입들 중 하나가 적용됨을 나타내는 오프셋 타입 정보를 포함하고,
    상기 오프셋 타입 정보가 상기 밴드 오프셋이 적용됨을 나타내는 것을 기반으로, 상기 오프셋 정보는 32개의 밴드들 중 하나를 n개의 밴드들을 포함하는 밴드 그룹의 시작 밴드(start band)로 지시하는 시작 밴드 정보를 포함하고, 상기 밴드 그룹은 상기 시작 밴드를 기반으로 결정되고, 상기 밴드 그룹은 상기 n개의 밴드들의 마지막 밴드(end band)를 지시하는 마지막 밴드 정보를 기반으로 더 결정되고, 상기 n개의 밴드들 중 하나의 밴드에 연관된 오프셋 값이 상기 루마 샘플 또는 상기 크로마 샘플에 적용되고, 상기 n은 정수인 것을 특징으로 하는 영상 부호화 방법.
  6. 제5항에 있어서, 상기 n은 특정 상수로 미리 결정된 것을 특징으로 하는 영상 부호화 방법.
  7. 컴퓨터로 판독 가능한 디지털 저장 매체로서, 특정 방법에 의하여 생성된 비트스트림을 저장하고, 상기 특정 방법은
    현재 픽처 내 예측 샘플을 도출하는 단계;
    상기 예측 샘플을 기반으로 복원 픽처를 생성하는 단계;
    상기 복원 픽처에 인루프 필터링 프로세스를 적용하되, 상기 인루프 필터링 프로세스를 적용하는 단계는, 상기 복원 픽처에 디블록킹 필터링 프로세스를 적용하는 단계; 및 상기 디블록킹 필터링 프로세스가 적용된 복원 픽처의 루마 샘플 또는 크로마 샘플 중 적어도 하나에 SAO(Sample Adaptive Offset) 프로세스를 적용하는 단계를 포함하는 단계;
    상기 예측 샘플에 대한 예측 정보 및 상기 SAO 프로세스에 대한 오프셋 정보를 포함하는 영상 정보를 인코딩하는 단계; 및
    상기 영상 정보를 포함하는 상기 비트스트림을 생성하는 단계를 포함하고,
    상기 오프셋 정보는 상기 SAO 프로세스가 상기 루마 샘플에 적용될 수 있는지 여부를 지시하는 제1 플래그 정보 및 상기 SAO 프로세스가 상기 크로마 샘플에 적용될 수 있는지 여부를 지시하는 제2 플래그 정보를 포함하고,
    상기 오프셋 정보는 밴드 오프셋 및 엣지 오프셋을 포함하는 오프셋 타입들 중 하나가 적용됨을 나타내는 오프셋 타입 정보를 포함하고,
    상기 오프셋 타입 정보가 상기 밴드 오프셋이 적용됨을 나타내는 것을 기반으로, 상기 오프셋 정보는 32개의 밴드들 중 하나를 n개의 밴드들을 포함하는 밴드 그룹의 시작 밴드(start band)로 지시하는 시작 밴드 정보를 포함하고, 상기 밴드 그룹은 상기 시작 밴드를 기반으로 결정되고, 상기 밴드 그룹은 상기 n개의 밴드들의 마지막 밴드(end band)를 지시하는 마지막 밴드 정보를 기반으로 더 결정되고, 상기 n개의 밴드들 중 하나의 밴드에 연관된 오프셋 값이 상기 루마 샘플 또는 상기 크로마 샘플에 적용되고, 상기 n은 정수인 것을 특징으로 하는 디지털 저장 매체.
  8. 제7항에 있어서, 상기 n은 특정 상수로 미리 결정된 것을 특징으로 하는 디지털 저장 매체.
  9. 제7항에 있어서,
    상기 오프셋 정보는 상기 n개의 밴드들에 각각 연관된 오프셋 값 정보를 포함하는 것을 특징으로 하는 디지털 저장 매체.
KR1020217040181A 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법 KR102492009B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161500617P 2011-06-24 2011-06-24
US61/500,617 2011-06-24
KR1020217007484A KR102338406B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법
PCT/KR2011/009720 WO2012176964A1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217007484A Division KR102338406B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법

Publications (2)

Publication Number Publication Date
KR20210152033A KR20210152033A (ko) 2021-12-14
KR102492009B1 true KR102492009B1 (ko) 2023-01-26

Family

ID=47422770

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020217007484A KR102338406B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법
KR1020187029923A KR102006479B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법
KR1020137034682A KR101807810B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법
KR1020217040181A KR102492009B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법
KR1020197022192A KR102104594B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법
KR1020207011364A KR102229157B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법
KR1020177035129A KR101910618B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020217007484A KR102338406B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법
KR1020187029923A KR102006479B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법
KR1020137034682A KR101807810B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020197022192A KR102104594B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법
KR1020207011364A KR102229157B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법
KR1020177035129A KR101910618B1 (ko) 2011-06-24 2011-12-16 영상 정보 부호화 및 복호화 방법

Country Status (7)

Country Link
US (8) US9294770B2 (ko)
EP (1) EP2725790A4 (ko)
KR (7) KR102338406B1 (ko)
CN (5) CN107426579B (ko)
CA (5) CA3203096A1 (ko)
MX (1) MX2014000042A (ko)
WO (1) WO2012176964A1 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3280144T3 (pl) * 2011-06-14 2021-06-14 Lg Electronics Inc. Sposób kodowania i dekodowania informacji o obrazie
CN107426579B (zh) 2011-06-24 2020-03-10 Lg 电子株式会社 图像信息编码和解码方法
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US9277194B2 (en) 2011-11-08 2016-03-01 Texas Instruments Incorporated Method and apparatus for image and video coding using hierarchical sample adaptive band offset
BR112014012351A2 (pt) * 2011-11-08 2017-05-30 Motorola Mobility Llc dispositivos e métodos para codificação e/ou de sinalização de deslocamento adaptado de amostra
KR101638720B1 (ko) * 2012-05-29 2016-07-20 미디어텍 인크. 샘플 어댑티브 오프셋 정보를 부호화하는 방법 및 장치
WO2015002444A1 (ko) * 2013-07-01 2015-01-08 삼성전자 주식회사 필터링을 수반한 비디오 부호화 및 복호화 방법 및 그 장치
US20150036738A1 (en) 2013-07-30 2015-02-05 Texas Instruments Incorporated Method and apparatus for real-time sao parameter estimation
KR102307350B1 (ko) * 2013-12-12 2021-09-30 삼성전자주식회사 Sao 파라미터를 시그널링하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN110072106B (zh) * 2013-12-13 2022-06-07 北京三星通信技术研究有限公司 视频编解码中像素处理的方法和装置
KR102301654B1 (ko) * 2014-04-11 2021-09-13 한국전자통신연구원 적응적 오프셋 필터 적용 방법 및 장치
CN105530519B (zh) * 2014-09-29 2018-09-25 炬芯（珠海）科技有限公司 一种环内滤波方法及装置
WO2016145240A1 (en) * 2015-03-10 2016-09-15 Apple Inc. Video encoding optimization of extended spaces including last stage processes
US9872026B2 (en) * 2015-06-12 2018-01-16 Intel Corporation Sample adaptive offset coding
US10455228B2 (en) 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
KR101981687B1 (ko) * 2016-05-04 2019-05-24 한국항공대학교산학협력단 오프셋 정보 부호화 및 복호화 방법 및 장치
EP3291553A1 (en) * 2016-08-30 2018-03-07 Thomson Licensing Method and apparatus for video coding with sample adaptive offset
EP3550842A4 (en) * 2016-12-30 2020-06-10 Huawei Technologies Co., Ltd. IMAGE FILTERING METHOD, APPARATUS AND DEVICE
US11811975B2 (en) 2017-05-31 2023-11-07 Interdigital Madison Patent Holdings, Sas Method and a device for picture encoding and decoding
KR102617469B1 (ko) * 2017-10-23 2023-12-26 에스케이텔레콤 주식회사 Sao 필터링을 위한 방법 및 장치
WO2019083243A1 (ko) * 2017-10-23 2019-05-02 에스케이텔레콤 주식회사 Sao 필터링을 위한 방법 및 장치
WO2019135294A1 (ja) * 2018-01-05 2019-07-11 株式会社ソシオネクスト 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム
US11095876B2 (en) 2018-01-26 2021-08-17 Samsung Electronics Co., Ltd. Image processing device
KR102465206B1 (ko) * 2018-01-26 2022-11-09 삼성전자주식회사 이미지 처리 장치
CN110881126B (zh) 2018-09-05 2024-01-30 华为技术有限公司 色度块预测方法以及设备
KR20210136988A (ko) * 2019-04-03 2021-11-17 엘지전자 주식회사 비디오 또는 영상 코딩 방법 및 그 장치
WO2020204412A1 (ko) * 2019-04-03 2020-10-08 엘지전자 주식회사 적응적 루프 필터 절차를 동반한 비디오 또는 영상 코딩
WO2020204420A1 (ko) * 2019-04-03 2020-10-08 엘지전자 주식회사 필터링 기반 비디오 또는 영상 코딩
WO2020242260A1 (ko) * 2019-05-31 2020-12-03 한국전자통신연구원 전역적 문맥을 이용하는 기계 학습 기반의 이미지 압축을 위한 방법 및 장치
KR20220019243A (ko) * 2019-07-08 2022-02-16 엘지전자 주식회사 인루프 필터링 기반 비디오 또는 영상 코딩
US20220295059A1 (en) * 2019-08-13 2022-09-15 Electronics And Telecommunications Research Institute Method, apparatus, and recording medium for encoding/decoding image by using partitioning
WO2021054790A1 (ko) * 2019-09-18 2021-03-25 한국전자통신연구원 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
JP2021158633A (ja) * 2020-03-30 2021-10-07 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN116366859A (zh) * 2020-07-28 2023-06-30 北京达佳互联信息技术有限公司 对视频信号进行解码的方法、设备和介质
WO2022035687A1 (en) * 2020-08-13 2022-02-17 Beijing Dajia Internet Information Technology Co., Ltd. Chroma coding enhancement in cross-component sample adaptive offset
EP4295576A1 (en) * 2021-02-22 2023-12-27 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement cross-component sample adaptive offset
EP4309364A1 (en) * 2021-03-18 2024-01-24 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement in cross-component sample adaptive offset

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US7430336B2 (en) 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
KR100657268B1 (ko) * 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
WO2006104365A1 (en) * 2005-04-01 2006-10-05 Lg Electronics Inc. Method for scalably encoding and decoding video signal
US7751484B2 (en) * 2005-04-27 2010-07-06 Lsi Corporation Method for composite video artifacts reduction
US7718881B2 (en) * 2005-06-01 2010-05-18 Koninklijke Philips Electronics N.V. Method and electronic device for determining a characteristic of a content item
CA2779498C (en) * 2005-07-20 2015-06-30 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
KR100727970B1 (ko) * 2005-08-30 2007-06-13 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
CN101399991B (zh) * 2007-09-26 2010-11-10 华为技术有限公司 一种视频解码的方法和装置
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US8576906B2 (en) * 2008-01-08 2013-11-05 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filtering
US8237863B2 (en) * 2008-01-12 2012-08-07 Huaya Microelectronics Adaptive gain and offset control in a digital video decoder
WO2009136743A2 (ko) * 2008-05-07 2009-11-12 Lg전자 비디오 신호의 디코딩 방법 및 장치
KR101567974B1 (ko) 2009-01-05 2015-11-10 에스케이 텔레콤주식회사 블록 모드 부호화/복호화 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
JP5146388B2 (ja) 2009-04-03 2013-02-20 沖電気工業株式会社 映像圧縮符号化データの復号装置
US8394561B2 (en) * 2009-07-20 2013-03-12 Xerox Corporation Colored toners
CN101783957B (zh) * 2010-03-12 2012-04-18 清华大学 一种视频预测编码方法和装置
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
CN101895761B (zh) * 2010-07-29 2013-01-23 江苏大学 一种快速帧内预测算法
US9819966B2 (en) * 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US20130177078A1 (en) * 2010-09-30 2013-07-11 Electronics And Telecommunications Research Institute Apparatus and method for encoding/decoding video using adaptive prediction block filtering
JP5485851B2 (ja) 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
BR112013011053A8 (pt) * 2010-11-10 2016-08-23 Sony Corp Dispositivo e método de processamento de imagem
EP2661879B1 (en) * 2011-01-03 2019-07-10 HFI Innovation Inc. Method of filter-unit based in-loop filtering
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
JP5763210B2 (ja) * 2011-04-21 2015-08-12 メディアテック インコーポレイテッド 改良されたループ型フィルタリング処理のための方法と装置
KR101567467B1 (ko) * 2011-05-10 2015-11-09 미디어텍 인크. 루프내 필터 버퍼의 감소를 위한 방법 및 장치
US9008170B2 (en) * 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
US20120294353A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
WO2012155553A1 (en) 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and method of sample adaptive offset for luma and chroma components
KR101539312B1 (ko) * 2011-05-27 2015-07-24 미디어텍 인크. 비디오 프로세싱에 대한 라인 버퍼 감소를 위한 방법 및 장치
PL3280144T3 (pl) * 2011-06-14 2021-06-14 Lg Electronics Inc. Sposób kodowania i dekodowania informacji o obrazie
US10038903B2 (en) 2011-06-22 2018-07-31 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation in video coding
US10484693B2 (en) 2011-06-22 2019-11-19 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation for image and video coding
PL3361725T3 (pl) 2011-06-23 2020-07-13 Huawei Technologies Co., Ltd. Urządzenie do dekodowania przesunięcia, urządzenie do kodowania przesunięcia, urządzenie do filtrowania obrazu i struktura danych
CN107426579B (zh) * 2011-06-24 2020-03-10 Lg 电子株式会社 图像信息编码和解码方法
WO2013042884A1 (ko) * 2011-09-19 2013-03-28 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
US20130113880A1 (en) * 2011-11-08 2013-05-09 Jie Zhao High Efficiency Video Coding (HEVC) Adaptive Loop Filter
US9282328B2 (en) * 2012-02-10 2016-03-08 Broadcom Corporation Sample adaptive offset (SAO) in accordance with video coding
CN104255031B (zh) * 2012-02-29 2017-12-22 Lg 电子株式会社 层间预测方法和使用层间预测方法的装置
US9628822B2 (en) * 2014-01-30 2017-04-18 Qualcomm Incorporated Low complexity sample adaptive offset encoding
EP3203738A4 (en) * 2014-10-31 2017-10-04 Samsung Electronics Co., Ltd. Video encoding method applying multi-offset scheme and apparatus therefor, and video decoding method and apparatus therefor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C-M Fu et al: "CE13: Sample Adaptive Offset with LCU-Independent Decoding", no. JCTVC-E049, 10 March 2011.*

Also Published As

Publication number Publication date
US20220191489A1 (en) 2022-06-16
KR102104594B1 (ko) 2020-04-24
KR20170139169A (ko) 2017-12-18
CA3203096A1 (en) 2012-12-27
CA3039403C (en) 2021-06-08
US9743083B2 (en) 2017-08-22
CA2982695A1 (en) 2012-12-27
US20170310963A1 (en) 2017-10-26
CN107426579B (zh) 2020-03-10
CA3116207A1 (en) 2012-12-27
CN107426578B (zh) 2020-03-20
CA2840476C (en) 2018-01-02
CN103765904A (zh) 2014-04-30
CN107105242B (zh) 2020-03-06
US11303893B2 (en) 2022-04-12
WO2012176964A1 (ko) 2012-12-27
US20150195534A1 (en) 2015-07-09
US20210152822A1 (en) 2021-05-20
CA2840476A1 (en) 2012-12-27
US11700369B2 (en) 2023-07-11
US20200120341A1 (en) 2020-04-16
US10091505B2 (en) 2018-10-02
EP2725790A4 (en) 2014-12-10
KR20140038476A (ko) 2014-03-28
US20160119620A1 (en) 2016-04-28
CN107105242A (zh) 2017-08-29
CA2982695C (en) 2019-05-21
KR20210152033A (ko) 2021-12-14
KR101910618B1 (ko) 2018-10-23
KR102229157B1 (ko) 2021-03-17
KR102338406B1 (ko) 2021-12-10
CN103765904B (zh) 2017-04-26
US20140126630A1 (en) 2014-05-08
KR20210031776A (ko) 2021-03-22
US10547837B2 (en) 2020-01-28
KR102006479B1 (ko) 2019-08-01
CA3039403A1 (en) 2012-12-27
CN107426578A (zh) 2017-12-01
EP2725790A1 (en) 2014-04-30
KR20200043546A (ko) 2020-04-27
US10944968B2 (en) 2021-03-09
CN107426579A (zh) 2017-12-01
CN107105305A (zh) 2017-08-29
CA3116207C (en) 2023-08-01
MX2014000042A (es) 2014-02-17
KR101807810B1 (ko) 2017-12-11
CN107105305B (zh) 2020-04-03
KR20180116468A (ko) 2018-10-24
US20190014317A1 (en) 2019-01-10
US9294770B2 (en) 2016-03-22
KR20190091568A (ko) 2019-08-06
US9253489B2 (en) 2016-02-02

Similar Documents

Publication Publication Date Title
KR102492009B1 (ko) 영상 정보 부호화 및 복호화 방법
KR102479046B1 (ko) 영상 정보 인코딩 및 디코딩 방법
CN107249131B (zh) 视频解码装置和视频编码装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant